Capturing outcomes of competency-based medical education: The call and the challenge Elaine Van Mellea,b , Andrew K. Halla,c , Daniel J. Schumacherd,e , Benjamin Kinneare , Larry Gruppenf , Brent Thomaa,g , Holly Caretta-Weyerh , Lara J. Cookea,i and Jason R. Franka,j ; On behalf of the ICBME Collaborators
도입 Introduction
CMBE 이니셔티브가 거의 20년 동안 여러 국가에서 시행된 후에도 여전히 의문점은 남아 있다. CBME의 기대한 성과가 달성되고 있습니까? after CMBE initiatives have been implemented in multiple countries for nearly 20years the question remains: Are the desired outcomes of CBME being achieved?
요구: 성과의 중요성 The call: The importance of outcomes
맥가히(1978)는 [의대에서 가르치는 것]과 [의료 실천에 필요한 것] 사이의 낮은 상관관계를 변화의 근거로 언급하며 CBME의 전반적인 목적은 [졸업하는 의사가 복무하는 모집단의 건강 요구]와 [의학 교육과정]를 정렬하는 것이라고 주장했다. 프랭크 외 연구진(2010)은 [사회적 책무성 원칙]을 적용하면서 '(보건직업 교육의 궁극적 목적은) 국가 내 및 국가 간 보건 형평성을 증진시키는 데 필수적인 고품질 종합 서비스의 보편적 적용범위를 보장하는 것'이라고 설명했다. 비록 CBME 결과를 평가하는 문헌이 증가하고 있지만, 이러한 목표가 달성되고 있다는 것은 아직 입증되지 않았다. Citing a low correlation between what is taught in medical schools and what is needed for medical practice as a rationale for change, McGaghie (1978) argued that the overall purpose of CBME was to align the medical curricula and the health needs of the population that graduating physicians serve. Applying the principle of social accountability, Frank et al. (2010) elaborated: ‘The ultimate purpose (of health professions education) is to assure universal coverage of the high-quality comprehensive services that are essential to advance opportunity for health equity within and between countries.’ Although the literature evaluating CBME outcomes is growing, it has not yet been demonstrated that these goals are being achieved.
일부 연구에서는 CBME가 교육생에게 학습 로드맵을 제공할 수 있다고 제안하지만(Schumacher et al. 2013), [학습자에게 제공되는 피드백이 진정으로 개선되었는지 여부]는 불분명합니다(Marcotte et al. 2019; Tomiak et al. 2020). 역량 기반 시간 가변 훈련 모델이 점점 더 널리 퍼지고 있지만, 적어도 부분적으로는, 시간 가변 훈련이 환자 치료에 미치는 영향 때문에 구현하기가 쉽지 않다. Some studies suggest CBME may provide trainees with a road map for learning (Schumacher et al. 2013), but it is unclear if feedback to learners has truly improved (Marcotte et al. 2019; Raaum et al. 2019; Tomiak et al. 2020). Competency-based time-variable training models are becoming more widespread (Andrews et al. 2018; Litwack and Brower 2018; Mejicano and Bumsted 2018), but they remain challenging to implement in part because of the impact of time-variable training on health care systems CBME’s impact on patient care is also unknown.
CBME의 성과에 대한 문헌은 아직 가장 초기 단계에 있는 것으로 보인다. 요약하자면 해야 할 일이 훨씬 더 많다. Outcomes literature in CBME, it seems, is in its earliest stages. In sum, there is much more work to be done.
당면 과제: 복잡한 서비스 개입으로서의 CBME The challenge: CBME as a complex service intervention
보건직업 교육은 효과적인 학습에서 양질의 서비스로, 보건 및 전문 교육을 개선하여 개인, 가족, 지역사회의 안녕에 필수적인 기여를 하는 일련의 사건으로 설명할 수 있다. 이러한 흐름 내에서, 다양한 다운스트림 결과에 [기여할 수도 있고 기여하지 않을 수도 있는] 수많은 투입물input을 포함하는 의료 훈련의 복잡성 때문에, 교육 개입에 따른 결과를 측정하기가 어렵다(Tamblyn 1999). 이러한 어려움은 CBME의 경우에 특히 두드러진다. Health professions education can be described as a chain of events flowing from effective learning to high-quality services to improved health and professional education, thereby making an essential contribution to the well-being of individuals, families, and communities. Within this flow, it is difficult to measure the outcomes from any educational intervention because of the complexity of medical training, which involves innumerable inputs that may or may not contribute to a variety of downstream outcomes (Tamblyn 1999). This difficulty is particularly salient in the case of CBME.
[시간 경과에 따라 여러 결과를 초래할 수 있는 다중 활동]의 존재가 CBME를 CSI로 인정하게끔 만든다(Holmboe et al. 2017). The existence of multiple activities, which potentially can lead to multiple outcomes unfolding over time, qualifies CBME as a CSI (Holmboe et al. 2017) where,
(…학습 경험, 교수 방법 및 평가 시스템 등) 모든 커리큘럼 요소는 점점 정교해지는 의료의 연속체에 걸쳐 누적 학습을 촉진하는 방식으로 함께 작동한다. (Van Melle et al. 2017, 페이지 752) … all curricular elements — learning experiences, teaching methods, and systems of assessment — work together in a way that promotes cumulative learning across the continuum of increasing medical sophistication. (Van Melle et al. 2017, p. 752).
CSI로서, CBME는 국지적 상황에 대한 개선, 재창조 및 적응이 진행 중인 역동적 시스템으로서 기능한다(Pawson et al. 2005). 예를 들어,
각 CBME 프로그램은 서로 다른 수의 임상 교사들을 접할 수 있으며, 이들 모두는 교육에 대한 관심과 전문 지식을 가지고 있다.
각 프로그램은 학습자 수와 배경 준비에 있어서도 다릅니다.
As a CSI, CBME functions as a dynamic system where refinement, reinvention, and adaptation to local circumstances are ongoing (Pawson et al. 2005). For example,
each CBME program has access to a different number of clinical teachers, all of whom have differing levels of interest and expertise in teaching.
Each program differs as well in terms of the number of learners and their background preparation.
궁극적으로, CBME의 구현에 있어서 어떤 두 개의 프로그램은 결코 완전히 똑같지 않을 것이다.
실제로, 특정 설정 내의 조건에 의해 영향을 받는 활동과 자원의 끝없는 조합이 있을 수 있으며, 이 모든 것이 서로 다른 결과를 실현하도록 이끌 수 있다. 상황에 대한 이러한 민감성과 시간에 따른 적응은 CBME와 관련하여 결과를 검토할 때 독특한 문제를 제기한다.
Ultimately then, no two programs will ever be exactly alike in their implementation of CBME.
In practice, there can be an endless combination of activities and resources, influenced by the conditions within a particular setting, all of which can lead to the realization of different outcomes. This sensitivity to context, and adaptation over time, poses a unique challenge when examining outcomes in relation to CBME.
역설적으로, 이 문제는 논리 모델을 사용하여 가장 잘 설명된다.
Paradoxically, this challenge is best illustrated by using a logic model.
CBME 로직 모델 A CBME logic model
프로그램 평가에 사용되는 일반적인 도구인 [로직 모델]은 프로그램이 어떻게 작동하는지를, 즉 핵심 활동이 어떻게 작동하여 원하는 결과를 도출하는지를 보여주는 다이어그램입니다(Funnell and Rogers 2011; Van Melle 2016). 우리는 전형적으로 논리 모델이 프로그램의 요소들 간의 논리적이고 선형적인 관계(입력, 활동, 출력, 결과)를 보여주기 위해 사용되기 때문에 '역설적'이라고 말한다. A common tool used in program evaluation, a logic model is a diagram that shows how a program is thought to work, that is, how key activities work to produce desired outcomes (Funnell and Rogers 2011; Van Melle 2016). We say ‘paradoxically’ because typically logic models are used to show the logical, linear relationship between elements of a program: inputs, activities, outputs, and outcomes.
보다 포괄적인 CBME 논리 모델은 보충 부록 1에 제시되어 있습니다. 초기 논리 모델 설계는 프로그램 활동과 결과 사이의 의도된 연결을 설명하는 데 도움이 될 것입니다. 시간이 지남에 따라, 모형의 세부사항은 프로그램 활동과 결과 사이의 실제 관계를 반영하도록 수정될 수 있다. CSI로서 CBME는 [특정 컨텍스트 내에서 다양한 측면이 조정됨에 따라 지속적인 개선과 타협을 겪을 것]이기 때문에 이는 매우 중요합니다. '블랙박스 개방'으로 설명되는, 프로세스를 결과에 연결하는 것은 교육 개혁 이니셔티브로서 CBME의 잠재성에 대한 강력한 이해를 확보하는 데 있어 중요한 단계이다(Cuban 2013). 따라서, 우리는 CBME 결과를 검토할 때 다음의 6가지 전략을 고려할 것을 제안합니다. a more comprehensive CBME logic model is provided in Supplementary Appendix 1). An initial logic model design will help to illustrate intended connections between program activities and outcomes. Over time, as evidence is collected, the details of the model may be adapted to reflect the actual relationship between program activities and outcomes. This is critical because CBME, as a CSI, will undergo constant refinement and compromise as various aspects are adapted within specific contexts. Described as ‘opening the black box,’ linking processes to outcomes is a critical step in ensuring that we develop a robust understanding of the potential of CBME as an educational reform initiative (Cuban 2013). Accordingly, we propose that the following six strategies be taken into consideration when examining CBME outcomes.
관심 성과를 명확하게 식별 Clearly identify the outcome of interest
CBME와 관련된 수많은 성과가 있습니다. 이러한 샘플은 논리 모델에 캡처됩니다(그림 1 참조). 그러나 고려할 수 있는 다른 많은 CBME 관련 결과도 있다(Chan et al. 2020). 따라서, [CBME의 어떤 측면이 조사되고 있는지 신중하게 설명]하기 위해서는, 다양한 성과를 검토하는 것이 중요합니다. 예를 들어, CBME의 결과는 가장 먼저 프로그램 관련 변화가 나타나는 등 시간에 민감한 경향이 있다.
로직 모델에서 '근위proximal' 성과로 분류되는 이러한 결과는 프로그램 활동과 직접 관련이 있는 경향이 있으며 결과를 검토할 때 합리적인 출발점을 제공한다.
시간이 지남에 따라 [프로그램 변화가 누적]되면서 [시스템 전반에 걸쳐 더 많은 변화]가 나타나기 시작합니다.
이 모멘텀은 더 광범위하거나 많은 '원위distal' 성과를 조사할 수 있는 기반을 제공하여, CBME를 환자 치료 결과 향상과 인구 건강 요구 충족에 궁극적으로 연결할 수 있는 능력을 제공합니다.
There are numerous outcomes affiliated with CBME. A sample of these is captured on the logic model (see Figure 1). There are many other CBME-related outcomes, however, that can also be considered (Chan et al. 2020). So, it is important when examining outcomes to carefully articulate which aspects of CBME are under investigation. For example, outcomes in CBME tend to be time sensitive, with program-related changes being the first to appear.
Identified as ‘proximal’ on the logic model, these outcomes tend to be directly related to program activities and provide a reasonable starting point when examining outcomes.
Over time, as program changes accumulate, more system-wide changes begin to emerge.
This momentum paves the way for the examination of broader or more ‘distal’ outcomes and provides the capacity to ultimately connect CBME to enhanced patient care outcomes and meeting population health needs.
산출물output과 성과outcome의 구별 Distinguish between outputs and outcomes
CBME의 영향을 평가할 때 산출과 성과를 구분하는 것이 중요하다.
성과는 CBME의 결과로 야기된 주요 이해관계자들의 행동, 관계 및 행동의 변화를 설명하는 것이다(Earl. et al. 2001).
산출은 CBME의 구성요소가 진행 중이거나 구현되었음을 나타내는 지표이다(Frye와 Hemmer 2012).
When evaluating the impact of CBME, it is important to distinguish between outcomes and outputs.
Outcomes are a description of the changes in the behavior, relationships, and/or actions of key stakeholders brought about as a result of CBME (Earl et al. 2001).
In contrast, outputs are indicators that a component of CBME is underway or has been implemented (Frye and Hemmer 2012).
비록 산출 지표는프로그램 구현의 설명에 중요하지만, CBME의 영향과 관련한 결론을 도출하기는 어렵다. Although output indicators are important for the description of program implementation, they do not allow conclusions to be drawn regarding the impact of CBME.
[교수개발]은 CBME(Hall et al. 2019; Sirianni et al. 2020)를 구현하기 위한 중요한 구성요소이므로, 이를 위한 활동 수준(세션 수와 유형, 참석 교수 수 등)을 포착하는 것이 중요하다. 그러나 이는 산출에 해당하고, 산출을 기술하더라도 교수개발 이니셔티브의 실제 성과, 즉 실무가 실제로 변경되는 정도에 대해 알려주지는 않는다. CBME를 설명하기 위해 출력 데이터가 필요하지만, CBME 구현이 성공적으로 달성되었는지 여부를 판단하려면 산출 데이터가 성과 데이터와 함께 제공되어야 합니다. Faculty development is important component of implementing CBME (Hall et al. 2019; Sirianni et al. 2020), so capturing the level of activity dedicated to this (number and type of sessions, number of faculty attending, etc.) is valuable. However, describing these outputs does not allow us to say anything about the actual outcome of these faculty development initiatives, that is, the extent to which practice is actually changed. Although output data are necessary to describe CBME, they must be accompanied by outcomes if we are to determine whether CBME implementation has been successfully achieved.
귀인 대 기여를 신중하게 고려합니다. Carefully consider attribution versus contribution
CSI의 결과를 측정할 때 가장 큰 문제는 귀인과 기여를 구분하는 것이다.
귀인은 행동과 결과 사이에 직접적인 인과 관계가 있다고 가정하고 개인이 그 결과에 대해 책임지는 정도를 판단하려고 한다(Schumacher, Dornoff, et al. 2020).
기여는 다른 여러 변수들도 그 성과와 연결될 수 있는 특정 조치가 그 결과에 미치는 정도를 고려한다(Van Melle et al. 2017).
귀인 분석은 개인의 수행능력과 성과를 판단할 수 있는 풍부한 정보를 제공하는 반면,
기여 분석은 조사examination결과에 영향을 미치는 무수한 요소들을 신중하게 기술하고 예상할 수 있게 한다.
A major issue when measuring outcomes of CSIs is distinguishing between attribution and contribution.
Attribution assumes that there is a direct causal link between an action and an outcome and seeks to determine the extent to which an individual is responsible for that outcome (Schumacher, Dornoff, et al. 2020).
In contrast, contribution considers the degree to which a particular action influences a particular outcome where several other variables can also be connected to that outcome (Van Melle et al. 2017).
Analysis of attribution therefore provides rich information on which to judge individual performance and outcomes, whereas
analysis of contribution allows for a careful delineation and anticipation of the myriad of factors influencing the outcome under examination.
[귀인 (분석)]의 사례로, 슈마허 외 연구진(2018)은 소아응급과에서 일하는 전공의가 환자에게 퇴원 지침을 제공하는 주된 책임이 있음을 발견했다. 따라서 한 전공의가 여러 환자에 걸쳐서 이 활동을 완료하는 정도를 결정하는 것은 [개별 전공의의 성과에 대한 높은 충실도의 통찰력]을 제공한다.
반면, 전공의가 [정신건강 문제가 있는 환자를 치료할 수 있는 능력을 가지고 졸업하는 정도]를 검토하는 것은 아마도 수많은 기여 요인을 가지고 있을 것이다.
개인 수준(예: 전공의를 효과적으로 훈련할 시간과 관심을 가진 정신 건강 관리 기술을 보유한 교수진, 레지던트 프로그램에 정신 건강 교육이 존재하는지 확인하는 것을 중요시하는 프로그램 리더)
프로그램 수준(예: 레지던트 커리큘럼에서 정신 건강 불만이 있는 환자를 돌보는 데 있어 의미 있고 종적인 훈련 경험) 및
시스템 수준(예: 정신건강 문제가 있는 환자를 돌볼 자원과 인력을 보장하는 기관 지도자)
As an example of attribution, Schumacher et al. (2018) have found that residents working in the pediatric emergency department are primarily responsible for providing discharge instructions to patients. Thus, determining the extent to which they complete this activity across patients provides high-fidelity insight into the performance outcomes of individual residents. On the other hand, examining the extent to which residents graduate with the ability to provide care for patients presenting with mental health concerns probably has a myriad of contributing factors at the
individual level (e.g. faculty with mental health care skills with the time and interest to effectively train residents, program leaders who value ensuring that mental health training exists in the residency program),
program level (e.g. meaningful and longitudinal training experiences in caring for patients with mental health complaints in the residency curriculum), and
systems level (e.g. institutional leaders who ensure resources and personnel to care for patients with mental health concerns are present).
[기여 분석]을 통해 조사 대상 성과에 영향을 미치는 수많은 요인에 대한 신중한 설명과 예상을 할 수 있을 것이다(Van Melle et al. 2017). A contribution analysis would allow for the careful delineation and anticipation of the myriad of factors influencing the outcome under examination (Van Melle et al. 2017).
귀인 또는 기여 관점을 선택할 것인지에 대한 결정은 간단하거나 명확하지 않습니다. 귀인과 기여는 보완 개념으로 보아야 한다(Sebok-Syer et al. 2018). The decision about whether to select an attribution or a contribution perspective is seldom simple or clear. attribution and contribution should be viewed as complementary concepts (Sebok-Syer et al. 2018).
구현의 충실성 및 무결성에 결과 연결 Connect outcomes to fidelity and integrity of implementation
[성과 평가]는 [구현의 충실도]를 측정하지 않고 완료될 수 없다. (계획된 프로토콜에도 불구하고) 환자 특성과 실제로 어떤 약물이 투여되었는지 문서화해야 하는 임상시험과 유사하게, 측정 전에 [CBME 구현에 대한 명확하고 명확한 설명]이 필요하며, 결과에 대한 결론을 도출해야 한다. 예를 들어, 2013년 연구에서는 역량 기반 커리큘럼이 의료 실무에 더 잘 준비된 졸업생을 배출하지 않는다고 결론지었다(Kerdijk et al. 2013). 그러나 교육 과정의 15%만이 역량 개발에 전념했고, 교육이나 학습에는 큰 변화가 없었다는 점을 고려할 때, 이 연구가 실제로 CBME 커리큘럼의 연구로 분류될 수 있을지는 의문이다. Outcomes evaluation is not complete without measurement of the fidelity of implementation. Analogous to clinical trials, in which it is imperative todocument patient characteristics and what drug was actu-ally given (despite planned protocols), clear and explicitdescriptions of CBME implementations are needed beforemeasurements are taken and/or conclusions are drawnregarding outcomes. For example, a 2013 study concludedthat competency-based curricula do not produce graduateswho are better prepared for medical practice (Kerdijk et al.2013). Given, however, that only 15% of the curriculum was devoted to competency development and there were not any significant changes to teaching or learning, it isquestionable if this research could actually be classified asa study of a CBME curriculum.
그러나 프로그램이 CBME의 모든 필수 구성 요소(예: 달성된 충실도)를 구현했을 수 있지만 CBME의 진정한 의도(예: 달성된 무결성)를 여전히 실현하지 못했을 수도 있다는 점도 유의해야 합니다. It is also critical to note, however, that a program may have implemented all of the required components of CBME (e.g. achieved fidelity) but may still not have realized the true intention of CBME (e.g. achieved integrity).
즉, 충실도는 모든 프로그램에 의해 입증되었지만, [이행의 무결성(즉, CBME 원칙이 존재한 정도)]은 매우 가변적이었다. 이상적으로는 CBME를 제안된 결과에 정확하게 연결하기 위해 [구현의 충실성]과 [구현의 무결성]을 모두 평가해야 합니다. In other words, fidelity was demonstrated by all programs, but the integrity of implementation (i.e. the degree to which the principles of CBME were present; Patton 2016) was highly variable. Ideally, then, we should evaluate both the fidelity and integrity of implementation to ensure we are accurately connecting CBME to proposed outcomes.
따라서, 우리는 결과 평가 노력에 참여하는 저자들이 [커리큘럼, 평가, 프로그램 구조와 과정에 대한 상세한 설명]을 포함하도록 장려한다. 단순히 '우리는 CBME를 구현했고, 여기에 일어난 일이 있다'고 말하는 것은 적절하지 않다. [구현의 맥락]과 [구현 자체의 세부사항을 명확하게 설명]하는 평가 전략은 더 효과적이고 일반화될 수 있으며, 의미 있는 적응을 가져올 가능성이 더 높다(Hall et al. 2020).
Accordingly, we encourage authors engaging in outcome evaluation efforts to include detailed descriptions of their curricula, assessments, and program structure and processes. It is not adequate to simply state ‘we implemented CBME and here is what happened.’ Evaluation strategies that clearly describe the context of implementation and the details of the implementation itself will be more impactful and generalizable and will more likely result in meaningful adaptation (Hall et al. 2020).
예상치 못한 결과에 주의를 기울이기 Pay attention to unanticipated outcomes
활동의 다양성과 잠재적 상호작용을 감안할 때, [예상치 못한 창발적 결과]가 CSI의 특징이다. 따라서 CBME의 영향을 조사할 때 예상치 못한 결과에 주의를 기울이는 것이 특히 중요합니다. Given the multiplicity of activities and their potential interactions, emergent, unanticipated outcomes are a feature of a CSI. Therefore, paying attention to unexpected outcomes is particularly salient when examining the impact of CBME.
이러한 주제를 반영하여, 최근 보고서는 CBME 평가 과정의 결과로 경험한 행정적 부담에 대한 일부 전공의들의 고민을 강조하였고, 나아가 이러한 대응을 전공의 웰니스에 대한 잠재적인 부정적 영향과 연관시켰다. 실제로, 이정표를 강조하면 엄청난 수의 평가가 이루어질 수 있다는 가능성에 대해서는 문헌에서 언급하였다(Norman et al. 2014). 이러한 새로운 우려에 주의를 기울이고 신속하게 대응하는 것은 CBME 결과를 검토하는 데 있어 중요한 측면입니다. Echoing this theme, a recent report highlighted some residents’ distress over the administrative burden they experienced as a result of the CBME assessment process and, furthermore, linked this response to a potential negative impact on resident wellness . Indeed, the potential that an emphasis on milestones might lead to an overwhelming number of assessments has been noted in the literature (Norman et al. 2014). Paying attention and responding quickly to these emergent concerns is an important aspect of examining CBME outcomes.
그러나 예기치 못한 결과도 본질적으로 긍정적일 수 있다는 점에 유의해야 한다. 예를 들어 그리피스 외 연구진(2019)은 가정의학 프로그램에서 CBME를 구현하면 교수진의 교수 참여가 예상외로 향상된다는 사실을 발견했다. 예기치 못한 결과가, 본질적으로 긍정적이든 부정적이든 중요한 점은, 종종 연구 설계의 사소한 요소라는 것이다(Patton 2010).
It should be noted, however, that unanticipated outcomes can also be positive in nature. For example, Griffiths et al. (2019) found that implementation of CBME in a family medicine program unexpectedly enhanced engagement of faculty in teaching. Whether unanticipated outcomes are positive or negative in nature, the important point is that they are often a token element of a research design (Patton 2010).
방법론적 다원주의를 수용하다. Embrace methodological pluralism
전통적으로, [무작위 통제 시험]은 의학 연구 방법론의 황금률로 칭송받고 있다. 이 표준에 반하여, '교육 연구는 (다른 과학이 신약 개발에 관여하는 것과 같은 방식으로) 실천의 기준으로 의존하기에는 너무 부드럽고, 질척거리고, 신뢰할 수 없으며, 부정확한 것으로 간주된다' (Berliner 2002, 페이지 18). 그러나 Berliner(2002)가 설명했듯이, 지역적 조건의 강력한 영향과 교육 개입에서 어디서나 볼 수 있는 무수한 상호작용은 우리의 [좁은 방법론적 도구상자 밖에서 생각해야 할 필요성]을 만들어낸다.
Traditionally, the randomized controlled trial is hailed as the gold standard of research methodology in medicine. Against this standard, ‘educational research is considered too soft, squishy, unreliable, and imprecise to rely on as a basis for practice in the same way that other sciences are involved in … developing new drugs’ (Berliner 2002,p. 18). As Berliner (2002) goes on to describe, however, the powerful influence of local conditions and the myriad of interactions ubiquitous in educational interventions create an imperative for thinking outside of our narrow methodological toolbox.
다시 말해, CSI의 경우, 민족지학, 사례 연구, 설문 조사, 시계열 및 디자인 연구와 같은 다양한 방법을 수용해야 합니다. 이 연구는 단일 방법을 촉진하기 보다는 특정 맥락에서 어떤 메커니즘이 결과로 이어지는지를 검토하는 데 초점을 맞춰야 한다(Pawson et al. 2005; Regehr 2010; Hazi et al. 2013). 단일 방법에서 명시적이고 포괄적인 서술로 강조점을 이동하면 복잡성 조건에서 실현된 결과에 대한 귀중한 통찰력을 제공하는 데 필요한 연구인 혁신적 종합 연구를 수용할 수 있다(Pawson et al. 2005; Rycroft-Malone et al. 2012; Baxter et al. 2014).
In other words, in the case of CSIs, we should be embracing a multitude of methods, such as ethnography, case studies, survey research, time series, and design research, to name a few. Rather than promoting a single method, this research should focus on generating a rich understanding of examining which mechanisms lead to outcomes within specific contexts (Pawson et al. 2005; Regehr 2010; Haji et al. 2013). Moving the emphasis away from a single method to creating explicit and comprehensive descriptions will allow us to embrace innovative synthesis studies, the kinds of studies required to provide valuable insights into outcomes realized under conditions of complexity (Pawson et al. 2005; Rycroft-Malone et al. 2012; Baxter et al. 2014).
복잡한 서비스 개입은 다음과 같이 정의됩니다. 여러 상호 작용 구성 요소를 사용한 개입입니다.
Complex Service Intervention is defined as: An intervention with several interacting components.
복잡성의 차원은 다음과 같습니다. The dimensions of complexity include:
실험 및 관리 개입 내의 성분 간 및 교호작용 수입니다. Number of and interactions between components within the experimental and control interventions.
개입을 전달하거나 받는 사람이 요구하는 행동의 수와 어려움. Number and difficulty of behaviors required by those delivering or receiving the intervention.
개입의 대상이 되는 그룹 또는 조직 수준 수입니다. Number of groups or organizational levels targeted by the intervention.
결과의 수와 변동성. Number and variability of outcomes.
허용되는 개입의 유연성 또는 맞춤화 정도입니다. Degree of flexibility or tailoring of the intervention permitted.
프로그램 평가는 다음과 같이 정의됩니다. 의사결정을 위한 프로그램의 품질에 대한 체계적인 조사. Program Evaluation is defined as: The systematic investigation of the quality of programs for the purpose of decision-making.
논리 모델은 다음과 같이 정의됩니다. 프로그램 구성 요소가 함께 작동하여 의도된 결과를 생성하는 방법을 보여주는 일반적인 시각적 도구입니다. Logic Model is defined as: A common visual tool that illustrates how the program components should work together to produce intended outcomes.
역량 기반 의료 교육은 다음과 같이 정의됩니다. 의사가 근본적으로 대학원 결과 능력을 지향하고 사회적 및 환자 요구 분석에서 도출된 역량을 중심으로 조직되는 실무 준비를 위한 접근 방식입니다. 시간 기반 교육을 강조하지 않고 책임, 유연성 및 학습자 중심성을 향상시킵니다.
Competency-based Medical Education is defined as: An approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and organized around competencies derived from an analysis of societal and patient needs. It de-emphasizes time-based training and promises greater accountability, flexibility, and learner-centeredness.
Griffiths J, Dalgarno N, Schultz K, Han H, Van Melle E. 2019. Competency-based medical education implementation: are we transforming the culture of assessment? Med Teach. 41(7):811–818.
Morcke AM, Dornan T, Eika B. 2013. Outcome (competency) based education: an exploration of its origins, theoretical basis, and empirical evidence. Adv Health Sci Educ Theory Pract. 18(4):851–863.
Patton MQ. 2016. What is essential in developmental evaluation? On integrity, fidelity, adultery, abstinence, impotence, long-term commitment, integrity, and sensitivity in implementing evaluation models. Am J Eval. 37(2):250–265.
Med Teach. 2021 Jun 12;1-7.
doi: 10.1080/0142159X.2021.1925640.Online ahead of print.
Capturing outcomes of competency-based medical education: The call and the challenge
There is an urgent need to capture the outcomes of the ongoing global implementation of competency-based medical education (CBME). However, the measurement of downstream outcomes following educational innovations, such as CBME is fraught with challenges stemming from the complexities of medical training, the breadth and variability of inputs, and the difficulties attributing outcomes to specific educational elements. In this article, we present a logic model for CBME to conceptualize an impact pathway relating to CBME and facilitate outcomes evaluation. We further identify six strategies to mitigate the challenges of outcomes measurement: (1) clearly identify the outcome of interest, (2) distinguish between outputs and outcomes, (3) carefully consider attributionversuscontribution, (4) connect outcomes to the fidelity and integrity of implementation, (5) pay attention to unanticipated outcomes, and (6) embrace methodological pluralism. Embracing these challenges, we argue that careful and thoughtful evaluation strategies will move us forward in answering the all-important question: Are the desired outcomes of CBME being achieved?
Perceptions of competency-based medical education from medical student discussion forums Anahita Dehmoobad Sharifabadi,1 Chantalle Clarkin2 & Asif Doja1,3
도입 INTRODUCTION
대학원 교육의 전통적인 패러다임은 모든 의료 훈련생에게 [고정된 타임라인]과 [표준화된 의료 콘텐츠 노출]을 사용하는 [시간 기반 접근법]에 의존한다.1 그러나 의료 서비스 제공의 진화하는 환경은 미래의 의사에게 더 많은 책임감을 요구하며, [의료 교육 완료 후, 정의된 역량과 성과]를 요구한다.2-4 이와 같이 역량 기반 의학교육(CBME)은 의료교육에 대한 [성과기반 접근법]을 제공하기 위해 개발되었다. The traditional paradigm of postgraduate education relies on a time-based approach, where a fixed timeline and standardised exposure to medical content is used for all medical trainees.1 However, the evolving landscape of health care delivery demands more accountability from future physicians, with defined competencies and outcomes after the completion of their medical training.2–4 As such, competency-based medical education (CBME) was developed to provide an outcome-based approach to medical education.
북미에 CBME의 도입은 전문의를 위한 Canadian Medical Education Directives for Specialists Competency Framework 및 ACGME(Acreditation Council for Graduate Medical Education) 마일스톤 프로젝트와 같은 역량 프레임워크 개발을 통해 시작되었습니다.3 The introduction of CBME in North America was initiated through the development of competency frameworks, such as the Canadian Medical Education Directives for Specialists Physician Competency Framework and the Accreditation Council for Graduate Medical Education (ACGME) Milestones Project.3
하지만, CBME의 이론적 개념의 구현은 많은 면에서 도전적이었다.5 CBME의 [실질적, 물류적 과제]는 CBME를 구현하는 프로그램의 관리 부하 증가, 교육과 서비스가 서로 얽혀 있는 개념, 자원 증가의 필요성 등이다.6 또한, [역량에 대한 공유된 정의의 결여]와 [수련생의 임상 기술을 대변할 수 있는 역량의 부족]과 같은 [이론적 난제]들은 더 큰 난제들을 제기한다.6 이론적 역량을 임상 실무로 전환하기 위한 노력으로 교육생에 맞춘 적절한 수준의 감독 하에 수행되는 업무 또는 책임인 위임가능 전문 활동(EPA)이 구현되었습니다.6 However, the implementation of the theoretical concepts of CBME has been challenging in many aspects.5 The practical and logistical challenges of CBME include increases in the administrative load of programmes implementing CBME, the concept of training and service being intertwined, and the need for increased resources.6 Additionally, theoretical challenges such as the lack of a shared definition of competencies and the ability of competencies to represent trainees’ clinical skills pose further challenges.6 In an effort to translate theoretical competencies into clinical practice, entrustable professional activities (EPA) have been implemented, which are tasks or responsibilities performed under appropriate levels of supervision tailored to trainees.6
현재 CBME에 관한 문헌은 전문가 의견 7,8에 중점을 두고 있으며, CBME에 대한 교육생들의 인식에 대한 정보가 한정되어 있다. 이는 CBME의 여러 측면에 대한 교육생들의 시각과 교육생들의 시각이 상충된다는 것을 보여주는 연구로서 문제가 있다. 9,10 예를 들어, 교육생들은 '마일스톤'에 있는 용어를 완전히 이해하는 데 어려움을 겪고 있다. 또한 [임상 역량]의 이해에 있어서 훈련생과 교육자 사이에 평가와 상당한 차이가 존재한다.11,12 The current literature on CBME focuses heavily on expert opinions7,8 and there is limited information available on trainees’ perceptions of CBME. This is problematic as studies have illustrated that trainees’ and staff’s views on several aspects of CBME are discordant.9,10 For example, trainees struggle to fully comprehend the language of a ‘milestone’ assessment and significant gaps exist between trainees and educators in understanding clinical competence.11,12
[수련생이 가지고 있는 인식이 CBME의 성공적인 구현에 근본적으로 영향을 미친다는 점]을 감안할 때, 이러한 관점을 충분히 탐구하는 것이 필수적입니다.14 Given that the perception of trainees fundamentally impacts the successful implementation of CBME, it is essential to explore these perspectives fully.14
[온라인 토론 포럼]은 최근 의학 교육의 다양한 주제에 대한 통찰력의 연구 도구가 되고 있다.15-17 포럼은 다양한 수준의 교육 포스터가 익명으로 참여할 수 있는 디지털 개방형 액세스 플랫폼입니다. 이러한 포럼은 공식적인 연구 그룹과는 달리 교육생들 간의 솔직하고 진실한 토론을 촉진할 수 있습니다. Premed 101과 SDN(Student Doctor Network)은 각각 캐나다 및 미국 포럼의 예입니다.
Online discussion forums have recently become a research tool for insight into various topics in medical education.15–17 Forums are digital openaccess platforms where posters from various levels of training can participate anonymously. These forums, as opposed to formal research groups, can promote honest and authentic discussions amongst trainees. Premed 101 and the Student Doctor Network (SDN) are examples of Canadian and American forums, respectively.
방법 METHODS
[사회구성주의 패러다임]은 이 연구의 인식론적 토대를 제공했다. 이 연구는 다음과 같은 구성주의 원칙을 고려하여 고안되었다: 개별적 지식은 개인이 경험적 세계와 적합성과 일관성을 유지하기 위해 시도하는 주관적 구성의 복잡하고 비선형적이며 지속적인 과정이다.18 A social constructivist paradigm provided the epistemological foundation for this study. This study was designed with consideration of the following constructivist principles: individual knowing is a complex, non-linear, continuous process of subjective construal through which the individual attempts to maintain fitness and coherence with the experiential world.18
사회구성주의 측면에서 [개인의 지식]은 자신이 참여하는 집단적 지식과 더 큰 사회적 실천에 의해 뿌리내리고 전개되고 형성되는 것으로 본다. 이와 같이 [사회적 구성]은 단순히 학습을 촉진하거나 영향을 미치는 것이 아니라, 근본적인 방법으로 학습을 구체화하고 정의합니다. 이러한 지식 관점을 고려할 때, [대화식 비동기식 온라인 토론 포럼]에 참여하는 것은 [의학교육에서의 지식 구축 과정과 그 퀄리티]를 모두 프레임할 수 있습니다.
In terms of social constructivism, individual knowing is viewed as being rooted in, unfolding from and shaped by collective knowledge and larger social practices one participates in.19 As such, social constructions do not simply facilitate or influence learning, but shape and define it in fundamental ways.18 Given this view of knowledge, engagement in interactive, asynchronous online discussion forums can frame both the process and quality of knowledge building in medical education.
우리는 Premed 101, 캐나다 웹사이트, SDN의 원본 게시물과 응답 게시물을 조사했다. 특히 CBME와 관련된 스레드를 찾고 있다. 이 두 포럼은 의료 전문가들 사이에서 가장 널리 사용되는 토론 포럼이기 때문에 분석을 위해 선택되었다.각 국가의 연방정부에 의해 살해되었다. We examined original postings and response posts fromPremed 101 (http://forums.premed101.com/), a Canadian website, and SDN (http://www.studentd octor.net/), an American website, specifically looking for threads pertinent to CBME. These two forums were selected for analysis because they are the most widely used discussion forums amongst medical professionals in each respective country.
데이터 집합에서 새로운 테마를 식별하기 위해 [귀납적 내용 분석]이 사용되었습니다. 이 정성적 접근법에서 범주들은 이론 기반 범주화 매트릭스 없이 원시 데이터로부터 생성된다.21 데이터 및 분석 프로세스의 조직에는 개방형 코딩, 범주화 및 추상화가 포함되었다.22
먼저, 한 저자(ADS)는 일련의 예비 코드를 생성하기 위해 데이터를 한 줄씩 검토했다.22
그런 다음 두 번째 작성자(CC)는 예비 코드를 사용하여 600개의 게시물을 검토하고 공동 코딩하여 이를 더욱 세분화하고 개정했다. 작성자(ADS, CC 및 AD)는 데이터의 초기 인상과 예비 코드를 논의하기 위해 모였습니다.
이 단계에 이어서, 중복성을 최소화하고 유사성과 차이를 강조하기 위해 코드를 테마로 재분류하는 과정을 통해 데이터로부터 범주가 생성되었다.
마지막으로, 추상화 과정에서 연구 주제에 대한 일반적인 설명이 작성되었고, 통일된 주제와 하위 주제를 중심으로 코드가 재구성되었으며, 실례가 식별되었다.
Inductive content analysis was used to identify emergent themes in the dataset. In this qualitative approach, categories are created from the raw data without a theory-based categorisation matrix.21 The organisation of data and analytical process included open coding, creating categories and abstraction.22
First, one author (ADS) reviewed the data, line by line, to generate a set of preliminary codes.22
A second author (CC) then reviewed and co-coded a subset of 600 posts using the preliminary codes, in order to further refine and revise them. The authors (ADS, CC and AD) then assembled to discuss initial impressions of the data and the preliminary codes.
Following this step, categorisations were created from the data through a process of regrouping codes into themes in order to minimise redundancy and highlight similarities and differences.
Finally, during abstraction, a general description of the research topic was formulated, codes were reorganised around unified themes and sub-themes, and illustrative examples were identified.
추상화 중에 저자들(ADS, CC, AD)이 만나 주제를 논의하고 선택된 인용문을 검토하며 합의를 도출했습니다. 합의를 도출하는 과정에는 다양한 해석에 의문을 제기하고 해석의 차이가 어디에서 비롯되었는지 탐구하기 위해 데이터에서 한 걸음 물러나는 과정이 포함되었으며, 이는 종종 가치 있는 반사적 통찰력을 드러냈습니다. 두 포럼의 데이터셋에 대한 분석이 완료되면 각 포럼의 결과를 비교, 대조 및 통합하기 위해 교차 분석을 수행했습니다. 교차 포럼 분석은 충분한 이해의 깊이를 가져와서 개념의 미묘함을 이해하고 결과를 명확히 표현하기 위해 건설적으로 사용되었습니다.23
During abstraction, the authors (ADS, CC and AD) met to discuss themes, review the selected quotes and establish consensus. Establishing consensus involved questioning divergent interpretations and stepping back from the data to explore where the differences in interpretation stemmed from, which often revealed valuable reflexive insight. Once analysis was complete for the datasets from both forums, we conducted a cross analysis in order to compare, contrast and synthesise the findings from each forum. Cross-forum analysis resulted in a sufficient depth of understanding, such that the subtlety of concepts was understood and used constructively to articulate the findings.23
우리는 데이터의 하위 집합의 코딩, 반복적인 팀 토론, 코딩의 모든 단계에서 합의된 조치 수립, 모든 코딩 및 데이터 관련 의사결정에 대한 상세한 감사 평가 유지 등 여러 가지 방법으로 조사 결과의 신뢰도trustworthiness를 향상시켰다.
저자(ADS, CC 및 AD)는 또한 연구자와 임상의로서 경험, 가치, 문화 및 잠재적 편견을 반영하면서 과정 전반에 걸쳐 자신의 입장을 고려했다.
연구 개념화 동안 그리고 데이터 수집 전략을 개발하기 전에, 반사성을 향한 우리의 첫 번째 단계 중 하나는 본 연구의 가장 흥미로운 측면과 그 이유를 포함하여 우리의 배경과 관점에 대한 논의를 포함했다.
우리는 연구 내내 이러한 대화를 다시 살펴보면서, 우리의 가정들이 우리의 발견에 영향을 미칠 수 있는지에 대해 의문을 품었다.
우리 전문직 간 팀은 의대 3학년(ADS), 보건직 교육에 중점을 둔 질적 간호사 연구원(CC), 의대 교육 연구원이기도 한 의사(AD)로 구성됐다. 이러한 분야, 교육, 경험의 다양성은 토론과 해석에 풍부함을 더했다.
We enhanced the trustworthiness of our findings in a number of ways, including the co-coding of a subset of data, repeated team discussions, consensus-establishing measures at all phases of coding, and maintaining detailed audit trials of all coding and data-related decisions.
The authors (ADS, CC and AD) also considered their own positioning throughout the process, reflecting on their experiences, values, culture and potential biases as researchers and clinicians.
During study conceptualisation and prior to the development of a data collection strategy, one of our first steps towards reflexivity involved the discussion of our backgrounds and views, including the aspects of this study that interested us most and why.
We revisited these conversations throughout the study, questioning whether our own assumptions could have an influence on our findings.
Our interprofessional team was composed of a third-year medical student (ADS), a qualitative nurse researcher (CC) with a focus on health professions education, and a physician (AD) who was also a medical education researcher. This diversity of fields, education and experience added richness to discussions and interpretations.
A total of 3623 posts from70 discussion threads were examined; 867 posts from20 threads were from Premed 101 (Canadian) and 2756 posts were from50 threads in the SDN(American) forum.
CBME가 전공의 수련 기간에 미치는 영향 Effect of CBME on length of residency
[캐나다 포럼]에서 공통적으로 논의되는 주제는 CBME가 전공의 수련 기간에 미치는 잠재적인 영향에 초점을 맞췄다. 구체적으로, 대부분의 글쓴이는 역량이 완성되면 레지던트의 기간이 단축될 수 있는지 여부에 관심이 있었다. 그러나, 대부분의 게시물들은 특히 로지스틱 문제로 인해 CBME가 시행될 때 훈련 시간이 영향을 받지 않을 가능성이 높다는 것을 인정했다. 조기졸업으로 인해 인력문제가 발생하는 것에 대한 논의도 있었고, 전공의의 조기졸업이 환자진료에 영향을 미칠지, 다른 수련생들의 업무량을 늘릴지에 대한 의문도 제기되었다. 다른 이들은 CBME가 모든 역량을 포괄적으로 다루기 위해 가정의학 레지던시 프로그램을 2년에서 3년으로 연장할 수 있다는 사실에 대해 논의했다. 토론토 대학교 정형외과 프로그램에 관한 사례들이 있었는데, 이 프로그램들은 졸업생들이 더 빨리 교육을 마칠 수 있을 것이라는 인식을 보도했고, 글쓴이들은 다른 프로그램들이 그 뒤를 따를지 궁금했다. A common discussion topic in the Canadian forums focused on the potential impact of CBME on the length of residency. Specifically, most posters were interested in knowing whether the length of a residency could be shortened upon completion of competencies. However, most posts acknowledged that the training times are not likely to be affected when CBME is implemented, particularly as a result of logistical issues. There were also discussions about early graduation creating workforce issues, and questions were raised around whether early graduation of residents would impact patient care or increase the workload for other trainees. Others discussed the fact that CBME may lengthen the family medicine residency programme from 2 to 3 years to cover all competencies comprehensively. There were examples regarding the University of Toronto Orthopedics Surgery programme, which reported the perception that their graduates may be able to finish training more quickly, and posters wondered if other programmes would follow suit.
[조기 졸업 가능성]에 대한 비슷한 논의가 SDN의 초기 실마리에 있었다. 한 글타래에서는 캐나다에서와 같이 가정의학 레지던스를 3년 프로그램에서 2년 프로그램으로 단축할 수 있는 가능성에 대해 논의했다. 특히 캐나다 포럼에 비해 [수련 시간이 변하지 않을 것이라는 인식]이 적은 대신, CBME 훈련 시간 단축에 대한 열정이 더 큰 것으로 보였다. 또한 전공의 수련 기간 단축이 교육인원을 충원하여 교육능력을 높이고 인력난을 해결할 수 있는 가능성에 대한 논의도 있었다.
Similar discussions regarding the potential for early graduation were present in the earlier threads on SDN. One thread discussed the possibility of shortening family medicine residencies from a 3-year programme to a 2-year programme, as in Canada. Notably, compared to the Canadian forums, there seemed to be less recognition that training times will not change and instead more enthusiasm for CBME shortening training times. There was also discussion around the potential for shorter residencies to increase training capacities and address workforce shortages by recruiting more trainees.
CBME가 전공의 수련 후 노력에 미치는 영향 Effect of CBME on post-residency endeavours
[캐나다 포럼]에서 두 번째로 많이 논의된 레지던트 트레이닝은 CBME가 레지던트를 넘어 훈련과 실습에 미치는 영향이었다. 이러한 논의에서 CBME는 [인증 유지MoC의 필요성]이 발생할 때 practice로 확장되는 것을 주로 논의하였다. 글쓴이들은 환자에 대한 책임을 보장하고 의료 오류를 방지하기 위해 특정 역량의 기관을 인증하는 방식으로 향후 auditing의 가능성을 논의했다. [고도로 전문화된 관심사]를 가진 학술병원에서 근무하는 의사들에게는 [포괄적인 전문성 재평가 검사]가 어려울 수 있다는 논의가 있었다. 또한 참가자들은 실무에 대한 영향, 잠재적 손실 수익 및 교정조치 등 재인증MoC 심사 실패의 영향에 대해 논의하였다. 또한 전임의 과정을 조기에 마치는 것이 미치는 영향에 대한 논의가 있었다. 참가자들은 전임의 프로그램에 지원할 때 전공의를 조기에 마치는 것이 자산asset으로 간주되는지 여부와 7월 1일의 표준 프로그램 시작일에 조기 마치는 것이 미치는 영향에 대해 궁금해했다.
In the Canadian forum, the second most common discussion on residency training was CBME’s effect on training and practice beyond residency. The discussions in these threads primarily discussed CBME’s extension into practice when the need for maintenance of certification arises. Posters discussed the possibility of future auditing by accrediting bodies of certain competencies in order to ensure accountability to patients and prevent medical errors. There were discussions that broad-specialty reassessment examinations may be difficult for physicians who work in academic hospitals with highly specialised interests. Participants also discussed the impact of failing recertification examinations, including the implications for practice, potential lost income and remediation. Furthermore, there was discussion around the effect of finishing fellowship training earlier; participants wondered if finishing residency early was considered an asset when applying to fellowship programmes and also the impact of finishing early on the standard programme start dates of 1 July.
평가의 주관성 Subjective nature of evaluations
평가의 주관성 주제는 캐나다와 미국 포럼에서 공통적으로 언급되었다. 주관성은
(i) 역량의 주관성 및
(ii) 스텝이 학생을 평가하는 과정의 주관성
...두 부분으로 설명되었다. The topic of subjectivity in evaluations was commonly mentioned in both the Canadianand American forums. Subjectivity was described in two parts: (i) subjectivity in competencies, and (ii) subjectivity in the process of staff evaluating the students.
캐나다 포럼에서 참가자들은 [역량을 정의하고 다양한 등급의 역량 사이의 모호성을 제거하는 것]이 정말 어려운 부분이 될 수 있음에 대해 논의했다. 특히, 외과 전문의의 경우 역량을 획득하기 위해 필요한 임의의 수의 절차가 있는지 여부를 묻는 글쓴이도 있었다. 대인 역학관계가 학생 평가에 미치는 영향도 우려했다. 구체적으로, 많은 글쓴이들은 교육생들의 성격에 대한 [프리셉터의 개인적인 인상]이 임상 평가에 미치는 영향에 대해 궁금해했다. In the Canadian forum, participants discussed how the real challenge will be to define competencies and to remove the ambiguity between various grades of competency. Specifically, for surgical specialties, posters questioned if there would be an arbitrary number of procedures required to obtain competency. Another concern was the effect of interpersonal dynamics on the evaluation of students. Specifically, many posters wondered about the effect of preceptors’ personal impressions of trainees’ personalities on their clinical evaluations.
미국 포럼에서도 [역량의 채점grading에 대한 공통된 정의]가 없는 것에 대해 비슷한 우려가 제기되었다. 글쓴이들은 역량이 스펙트럼이며 잘못 정의된 등급 시스템은 임상 기술의 복잡성을 적절히 포함할 수 없다고 언급했습니다. 다른 이들은 평가 척도가 '의미 없는(또는 적어도 애매한) 데이터의 과잉'을 나타낸다고 언급했다. 대인 관계 역학이 평가에 미치는 영향에 대한 강조도 더 강했다. 글쓴이들은 전공의에 대한 평가가 '특정 직함(PD)을 가진 한 사람의 변덕'에 의해 통제될 것이라고 우려했다. 또한 환경적 요인도 평가의 주관성에 기여할 수 있음을 인식하였다. 예를 들어, 전공의의 역량은 프로그램 내 다른 전공의와 비교한 상대적 역량에 의존할 것이다.
In the American forums, similar concerns were raised regarding the lack of shared definitions in grading competencies. Posters mentioned that competence is a spectrum and poorly defined grading systems cannot adequately encompass the complexity of clinical skills. Others mentioned that assessment scales represent an ‘overabundance of meaningless (or at least ambiguous) data’. There was also a stronger emphasis on the effect of interpersonal dynamics on evaluations; posters worried that their assessments would be controlled by ‘the whims of one person holding a specific title (the program director)’. Furthermore, posters recognised that environmental factors may contribute to the subjectivity in evaluations; for example, perceived competency of residents would also be dependent on the relative competence of other residents in the programme.
CBME 교육생 중심 육성 CBME promoting trainee-centred education
캐나다 포럼에서는 많은 포스터들이 [수련생 중심의 교육]이 CBME의 초점이 될 것이라고 논의하였고, 구체적으로 전공의들은 숙련된 영역에 대한 시간 투자를 줄이고, 약점에 집중할 수 있는 시간을 더 할당할 수 있는 가능성에 대해 논의하였다. 훈련생들은 이러한 접근법을 자격을 얻기 위해 일련의 기술을 충족시켜야 하는 좀 더 견습적 유형의 모델로 규정하였다. [가정의학과 내과와 같은 대형 프로그램]에서는 수련자 중심의 교육 개념을 추구하는 것이 더 어려울 수 있는 반면, [소규모 프로그램]에서는 각 전공의의 변화를 보다 유연하게 할 수 있는 방법에 대해 논의하였다. In the Canadian forum, many posters discussed that trainee-centred education would be the focus of CBME. Specifically, residents discussed the possibility of shortening aspects of residency where one is more proficient and allocating more time to focus on weaknesses. Trainees labelled this approach as more of an apprenticeship type of model, where a set of skills would need to be met for qualification. Other posters discussed how with larger programmes, such as family medicine or internal medicine, it may be more difficult to pursue the concept of trainee-centred education, whereas smaller programmes may allow more flexibility to make changes for each resident.
전공의 직위 종료 Terminating a resident’s position
CBME가 전공의 직위 종료에 미치는 영향도 논의됐다. 특히, 이것은 미국 포럼에서 CBME와 관련하여 가장 많이 논의된 주제 중 하나였다. 글쓴이들은 전공의의 수련 종료를 위한 도구로서의 역량 사용에 대해 논의했다. 전문직업성은 그렇지 않으면 실적이 좋은 전공의를 정직suspend시키기 위한 '객관적 자료'로 활용될 수 있는 매우 주관적인 역량으로 평가되었다. '전문직업성' 역량에 대한 논의는 역량에 기반한 평가가 권력의 남용 가능성을 전파한다는 내용의 글을 통해 전공의 수련 종료에 관한 실마리를 지배했다. 글쓴이들은 열악한 전공의 성과가 용인되어서는 안 되지만, 궁극적으로 수련생이 힘들게 얻어낸 경력을 종결시킬 수 있는 주관적이고 '변덕스러운' 평가 시스템도 허용되어서는 안 된다고 입을 모았다. 또한 역량이 충족되지 않을 때 재교육 프로세스를 다루면서, 프로그램마다 전공의의 'due process'에 대한 해석이 다를 수 있으며, 이는 특정 프로그램을 지원할 것인가에 대한 결정에 영향을 미칠 수 있다고 언급하였다.
The impact of CBME on termination of a resident’s position was also discussed. Notably, this was one of the most discussed themes pertaining to CBME in the American forum. Posters discussed the use of competencies as a tool for termination of a resident’s position. Professionalism was viewed as a highly subjective competency that could be used as ‘objective data’ to suspend otherwise well-performing residents. Discussion of the ‘professionalism’ competency dominated the threads regarding termination of a resident’s position, with one poster commenting that competency-based evaluations propagate potential abuses of power. Posters agreed that although poor resident performance should not be acceptable, neither should subjective and ‘capricious’ evaluation systems that ultimately could terminate a trainee’s hard-earned career. Furthermore, in addressing the remediation process when competencies are not met, it was mentioned that there is variability between programmes’ interpretations of the ‘due process’ for residents, which may affect their decisions to pursue certain programmes.
CBME의 장점 The advantages of CBME
Premed 101 참가자들은 CBME의 다양한 장점들에 대해 언급했다. 구체적으로, CBME가 어떻게 practice로의 전환을 돕는지 논의했습니다. 1년 일찍 자격 시험을 통과하면 병원에서 특정 기술을 미세 조정하고 실무에 대한 준비를 강화할 수 있는 시간을 제공합니다. 여분의 1년은, 관리감독이 아마도 불필요하다는 전제하에, [완전한 자격을 갖춘 전공의들이 잠재적으로 더 많은 환자들에게 보살핌을 제공할 수 있기 때문에] 시스템에 유익할 것이다. 다른 이들은 역량이 역량 보장을 위한 관리 가능한 단계를 제공한다고 언급했습니다.
Participants on Premed 101 mentioned various other aspects of CBME that were felt to be advantageous. Specifically, posters discussed how CBME helps with transition into practice; finishing qualifying examinations 1 year earlier would provide time in the hospital to fine tune specific skills and become more prepared for practice. This extra year would also be of benefit to the system as fully competent residents could potentially provide care to a greater number of patients, given that supervision would probably not be required. Others mentioned that competencies provide more manageable steps to ensuring competency.
확인란 대신 학습 경험 확보 Gaining learning experience versus simply checking boxes
SDN에서는 [학습의 품질]에 대한 CBME의 시사점에 대해 많은 논의가 있었다. CBME가 인증 요건을 충족하기 위해 [임상 경험과 순수 학습]에서 [체크박스]로 초점이 달라질 것이라고 논의했다. 다른 이들은 현재의 역량이 전문성의 임상적 복잡성을 충분히 다루지 못하는 방법에 대해 논의했다. 특히 외과 전공에 대해서, 최소한의 시술 요건은 충족하더라도, 사례 및 합병증 관리에 진정으로 편안하기 위해서는 더 많은 절차를 수행해야 한다는 것을 알 수 있습니다. 다른 이들은 [최소요구사항]이 어떻게 '충분히 양호good enough'하도록 설정될 수 있는 것인지, 그러한 [최소규정]이 졸업의사들에게 [낮은 기준]을 제공하게 될 것이라고 논의하였다. 또한 많은 이들은 [in practice에서 시간과 노출의 가치]가 얼마나 중요한지에 대해 논의하였다. 구체적으로, 어떤 평가도 감독된 실무와 가르침의 가치를 대체할 수 없을 것이라고 보았다.
On the SDN, there were many discussions around the implications of CBME for the quality of learning; posters discussed how CBME may shift the focus from gaining clinical experience and pure learning to checking boxes in order to satisfy accreditation requirements. Others discussed how the current competencies do not sufficiently address the clinical complexity of their specialty. Specifically, posters in surgical specialties indicated that although they have completed the minimum procedural requirements of competencies, they know that they will need to continue to perform many more procedures to be truly comfortable with managing cases and complications. Others discussed how the minimum requirements are set to be ‘good enough’ and that such minimums provide low standards for graduating physicians. Many also discussed how the value of time and exposure in practice are vital; specifically, that no amount of assessment could replace the value of supervised practice and teaching.
고찰 DISCUSSION
Premed 101 및 SDN 포럼의 분석에서는 CBME에 대한 세 가지 주요 연구 결과를 강조했습니다.
(i) 캐나다 포럼에서 CBME의 인식 분석의 주요 주제는 전공의 기간과 전공의 후 기간에 미치는 영향에 대한 우려였다.
(ii) 미국 포럼에서 눈에 띄는 주제는 CBME가 제안한 평가 구조의 주관성과 전공의의 수련 종료에 미치는 영향에 대한 우려였다.
(iii) 두 포럼에서 교육생은 CBME의 여러 측면에서 명확성을 원한다.
Our analysis of the Premed 101 and SDN forums highlighted three key findings regarding CBME:
(i) the main themes in the analysis of perceptions of CBME in the Canadian forums were concerns about its effects on the length of residency and postresidency,
(ii) in the American forums, the prominent theme was concern around subjectivity in the evaluation structures proposed by CBME and its effects on termination of residents, and
(iii) in both forums, trainees desire clarity in several aspects of CBME.
미국 포럼 논의는 캐나다 포럼보다 전공의의 직위 종료 가능성에 있어 CBME의 역할에 더 초점이 맞춰졌다. 이 주제에 대한 논의는 과거 전공의의 포지션이 종료terminated된 다양한 프로그램의 구체적인 사례로 뒷받침되었다. 이는 CBME가 캐나다에 비해 미국에서 더 오랜 개발 및 구현 역사를 가지고 있기 때문일 수 있습니다. The American forum discussions had a more prominent focus on the role of CBME in the potential termination of residents’ positions than the Canadian forum. Discussions around this topic were supported by concrete examples from various programmes that residents’ positions had been terminated in the past. This may be attributed to CBME’s longer history of development and implementation in America compared to Canada.
[평가의 주관성]은 미국 포럼의 또 다른 주요 주제였으며 캐나다 포럼에서는 덜 흔하게 논의되었다. 두 포럼은 평가 구조의 주관성에 관한 유사한 이슈를 논의했다. 특히, 역량이 잘 정의되지 않아 훈련생과 평가자 사이에 공통된 이해가 부족할 수 있다. 이것은 예시를 보여주는 이전 문헌과 일치한다 - [평가에 사용되는 일부 역량 측정 도구의 타당성 결여] 및 역량에 대한 [명확한 지침]과 [기대치의 모호성을 줄이는 구체적인 피드백]에 대한 훈련생들의 관심 Subjectivity in evaluation was another major theme in the American forums and less commonly discussed in the Canadian forums. Both forums discussed similar issues regarding the subjectivity in the structure of evaluations; specifically, that competencies are sometimes not well defined, leading to lack of a common understanding between trainees and assessors. This is in agreement with previous literature illustrating the lack of validity in some competency measurement tools used for evaluation26–28 and trainees’ interests in clear guidance on competencies and specific feedback that reduces ambiguity in expectations.10,29
흥미롭게도, 교육생들이 CBME에서 평가의 주관성에 대해 강하게 반대하는 것 같지만, 전문가들은 어느 정도의 주관성이 평가에 유익하다고 본다.6 평가에 대한 내과 의사의 인식에 대한 연구는 'non-competency construct'가 교육생 평가에 확실히 역할을 하고 있음을 시사했다. 또한 평가의 표준화는 전공의의 성과를 제대로 묘사하지 못할 수 있다는 것을 의미한다. 이러한 불협화음을 감안할 때 교육생이 평가에 대해서 다른 인식을 가지고 있음을 인정하고, 이들의 주관성을 둘러싼 불안과 좌절을 탐구하는 것이 중요하다. Interestingly, although trainees seem to strongly oppose the subjectivity of evaluations in CBME, experts view a certain degree of subjectivity as beneficial to assessments.6 A study of internal medicine physicians’ perceptions regarding evaluations suggested that ‘noncompetency constructs’ certainly play a role in trainee evaluations and that standardisation of assessments may not authentically portray residents’ performance.30 Given these discordant views, it is important to acknowledge trainees’ differing perceptions of evaluations and seek to explore the anxiety and frustration that surround subjectivity.
CBME가 [교육 경험을 강화]하기보다는 [체크리스트 역할만을 하게 될 것]이라는 생각도 포럼에서 널리 논의되었다. 이 주제는 특히 포스터들이 현재의 역량이 훈련의 최소 기준을 어떻게 측정하는지를 자주 논의하는 미국 포럼에서 두드러졌다. 이러한 우려는 전문가와 교육자가 [CBME의 관료적 성격]과 훈련의 초점을 [학습]에서 [최소 기준을 테스트하기 위한 '교육']으로 전환하는 데 미치는 영향에 대해 우려하는 문헌에서도 비슷하게 설명된다.
The idea of CBME serving as a checklist rather than enhancing educational experience was also widely discussed in the forums. This theme was particularly prominent in the American forum where posters frequently discussed how the current competencies often measure the minimum standards for training. These concerns are similarly described in the literature, where experts and educators are concerned about the bureaucratic nature of CBME and its impact on shifting the focus of training from learning to ‘teaching to test’ the minimum standards.6,28,33–35
CBME에 대해 의대생들을 인터뷰하는 연구에서도, 비슷하게 [학생들이 최소한의 기준을 넘어서서 배우려는 동기]를 설명한다. 중요한 것은, EPA의 개발이, 모든 훈련생이 할당된 임상 과제에서 적절한 수준의 역량을 달성할 수 있는 표준화된 접근법이 가능해지지만, 반드시 훈련과 노출을 제한하는 것은 아니라는 점이다. 오히려, 훈련생은 자신이 강점을 가지는 영역에서 EPA를 더 빨리 달성할 수 있지만, 시간 기반 교육은 다양한 임상 상황에서 지속적인 노출을 제공할 수 있으며, 이것이 궁극적으로 더 포괄적일 수 있다. 따라서 전공의 커리큘럼 프로그램은 [적절한 시간 기반 노출 기간으로 모든 임상 기술에서 적절한 표준화된 역량을 보장하는 것]과 [여러가지 임상 상황에서 EPA를 실천하는 것] 사이에서 균형을 이루어야 한다.
A study interviewing medical students about CBME similarly describes students’ motivation to learn beyond the minimum standards.10 Importantly, the development of EPAs allows a standardised approach for all trainees to achieve an appropriate level of competence in assigned clinical tasks, but does not necessarily limit one’s training and exposure. Conversely, although a trainee may accomplish EPAs faster in his or her areas of clinical strength, time-based education may provide continued exposure within various clinical situations, which can ultimately be more comprehensive. Therefore, residency curriculum programmes must strike a balance between ensuring adequate standardised competency in all clinical skills with appropriate time-based length of exposure and practising EPAs in different clinical situations.
캐나다 포럼의 주요 주제는 [CBME가 훈련 기간에 미치는 영향]이었다. 글쓴이들은 일반적으로 훈련의 길이가 바뀔 것 같지 않다고 동의했지만, 더 많은 참가자들이 역량의 구현이 훈련의 길이를 단축시킬 것이라고 가정했다. A major theme in the Canadian forums was the effect of CBME on the length of training. Posters generally agreed that the length of training is not likely to change, but more participants postulated that the implementation of competencies would shorten the length of training,
짧은 훈련의 효용에 대한 근거는 뒤섞여 있다. 비록 전공의 기간이 짧으면 수련의 비용이 낮아질 가능성이 있지만, 37,38 이것은 교육적 이득을 희생하는 것일 수 있다.39
There is also mixed evidence regarding the benefits of shorter training; although shorter residencies present the potential for lower training costs,37,38 this may be at the expense of educational gains.39
강점과 한계 Strengths and limitations
연구의 함의 Implications of the study findings
우리의 결과는 교육생들과 함께 다양한 문제를 해결하기 위한 프로그램의 필요성을 강조합니다. Our results emphasise the need for programmes to address various issues with trainees;
1 CBME에 의해 교육 기간이 영향을 받을지 여부 및 만약 영향을 받는다면 그 방식에 대한 명확성 제공. 1 Providing clarity on if and how the length of training will be affected by CBME.
2 인증 유지MoC에 대한 CBME의 의미 논의. 2 Discussing the implications of CBME for maintenance of certification.
3 CBME에서 평가 및 평가를 수행하는 방법에 대한 명확한 지침. 여기에는 수련생 재교육 프로세스에서 투명성과 협력에 대한 내용도 포함한다. 3 Providing clear guidelines on how assessment and evaluation are undertaken in CBME, including transparency and collaboration on trainee remediation processes.
4 다양한 임상 환경에서 EPA에 대한 시간 기반 노출의 균형을 맞추고 필요한 모든 EPA에서 표준화된 역량을 보장한다. 4 Balancing time-based exposure to EPAs in various clinical settings and ensuring standardised competencies in all required EPAs.
5 훈련생 중심의 관점에서 CBME의 기존 교육 방법 대비 장점을 강조합니다.
5 Highlighting the advantages of CBME versus traditional methods of training in a trainee-focused perspective.
Med Educ. 2019 Jul;53(7):666-676.
doi: 10.1111/medu.13803.Epub 2019 Jan 28.
Perceptions of competency-based medical education from medical student discussion forums
Background:Competency-based medical education (CBME) is becoming widely implemented in medical education. Trainees' perceptions of CBME are important factors in the implementation and acceptance of CBME. Online discussion groups allow unique insight into trainees' perceptions of CBME during residency training.Results:Medical residents and students participating in the discussion forums emphasised select themes regarding the implementation of CBME in residency training. Concerns about CBME in Canada primarily involved its implications for the length of residency and post-residency opportunities. Posts on the American forum had a prominent focus on differing areas, such as the subjectivity in the assessment of core competencies and the role of CBME in termination of a resident's position.
Conclusions:Online discussion groups have the potential to provide unique insight into perceptions of CBME. The presented concerns may have implications for refining the model of CBME and illustrate the importance of providing clarification for trainees regarding length of training and evaluation structures from those involved in designing of CBME programmes.
Methods:We analysed 867 posts from 20 discussion threads in Premed 101 (Canadian) and 2756 posts from 50 threads in Student Doctor Network (SDN) (American) using NVivo 11. Inductive content analysis was used to develop a data-driven coding scheme that evolved throughout the analysis. Measures were taken to ensure the trustworthiness of findings, including co-coding of a subsample of 600 posts, peer debriefing, consensus-based analytical decision making and the maintenance of an audit trial.
Assumptions About Competency-Based Medical Education and the State of the Underlying Evidence: A Critical Narrative Review Ryan Brydges, PhD, Victoria A. Boyd, MA, Walter Tavares, PhD, Shiphra Ginsburg, MD, PhD, Ayelet Kuper, MD, DPhil, Melanie Anderson, MLIS, and Lynfa Stroud, MD, MEd
역량 기반 의학 교육(CBME) —의사 및 의사 교육 프로그램의 설계, 구현, 평가 및 평가에 대한 성과 기반 접근 방식1— 은 광범위한 논의와 논쟁을 불러일으켰다. 개념적 프레임워크, 사고 논문, 합의문, 구현 문서, 기관별 서술은 CBME의 가능성과 과제에 대해 말한다. CBME를 지원하기 위해 많은 내용이 작성되었지만, 많은 학자들은 [기존 증거가 구현 관행이나 프로그램적 연구 안건에 거의 영향을 주지 않는다는 점]에 주목하며 증거 기반evidence base을 의심해 왔다. 예를 들어, 최근 CBME 관련 위탁 전문 활동(EPA) 사용에 대한 증거를 체계적으로 검토한 결과, O'Dowd 등은 EPA의 평가 또는 이행을 평가한 49개 연구 중 12개만 발견했다. 나머지는 EPA 목록 개발에만 초점을 맞췄다.
Competency-based medical education (CBME)—an outcomes-based approach to the design, implementation, assessment, and evaluation of physicians and physician training programs1—has stirred extensive discussion and debate. Conceptual frameworks, thought papers, consensus statements, implementation documents, and institution-specific descriptions speak to the possibilities and challenges of CBME.2 While much has been written in support of CBME, many scholars have questioned its evidence base,3–6 noting that the existing evidence rarely informs either implementation practices7 or programmatic research agendas. For example, in a recent systematic review of evidence for the CBME-related use of entrustable professional activities (EPAs), O’Dowd et al found just 12 of 49 studies evaluated the assessment or implementation of EPAs; the remainder focused solely on developing lists of EPAs.8
CBME를 구현하는 방법에 대한 초안 "공통 프레임워크"가 최근에야 제안되었다.10 따라서, 교육자들은 대부분 개념적 [논문에 요약된 원칙과 역량에 대한 자신의 암묵적 가정]을 바탕으로 CBME를 구현했다. A draft “common framework” for how to implement CBME has been proposed only recently.10 Consequently, educators have mostly implemented CBME based on how they and their organizational leaders have interpreted the principles outlined in conceptual papers, as well as on their own tacit assumptions about competence.
우리는 [가정]을 [지속적인 증거 없이 사람들이 당연하다고 여기는 진술 또는 주장]으로 정의합니다.11 이러한 가정(예: 역량은 관찰 가능하고 측정 가능한 행동으로 분해될 수 있습니다)은 교육자와 연구자가 CBME 구현 및 연구에 대한 결정을 위해 문헌을 사용하는 렌즈를 나타냅니다. We define an assumption as a statement or claim people take for granted as fact, without ongoing proof.11 These assumptions (e.g., competence can be broken down into observable, measurable behaviors) represent the lenses through which educators and researchers use the literature to make decisions about CBME implementation and research.
우리 팀의 구성원(V.A.B., S.G., R.B., A.K.)은 CBME의 현대적 논의의 기초가 되는 가정을 식별하고 종합하는 CDA를 이전에 완료했다. Members of our team (V.A.B., S.G., R.B., A.K.) previously completed a CDA that identified and synthesized the assumptions underlying contemporary discussions of CBME.
그러나 CDA는 [저자들이 합성한 '가정'의 목록]을 제공하지 않았다. 즉, 의료 교육 커뮤니티는 CBME에 대한 가정과 그러한 가정의 기초가 되는 근거의 상태에 대해 완전한 인식을 가지고 있지 않다. However, the CDA did not provide a list of the assumptions the authors had synthesized, meaning the medical education community does not have a full appreciation of the assumptions it has made about CBME nor of the state of the evidence underlying those assumptions.
역량과 CBME에 대한 깊이 있는 가정은 교육 및 연구 관행을 밀고, 활성화 및 제한합니다. 다음 가정을 예로 들 수 있습니다. 역량 평가는 실제로 타당하고 신뢰할 수 있는 방식으로 수행되어야 한다. 이러한 가정에 대한 증거는 CBME를 이행하는 교육자가 작업장에서 모든 평가를 수행해야 하는지 또는 시뮬레이션 기반 환경(및 다른 곳)에서 일부 평가를 수행할 수 있는지를 결정하는 데 도움이 될 것이다. Deeply held assumptions about competence and CBME inform, enable, and limit educational and research practices. Take the following assumption as an example: Competency assessment must take place in practice to be valid and reliable. Evidence about this assumption would help educators implementing CBME decide whether they must conduct all assessments in the workplace or whether they could conduct some in simulation- based settings (and elsewhere).
이러한 격차를 해소하기 위해 우리는 다음 질문에 대한 답변을 목표로 한 비판적 서술 검토을 실시했습니다. 의료 교육 커뮤니티가 역량과 CBME 접근법에 대해 가정해 온 근거의 상태는 어떠한가?To fill this gap, we conducted a critical narrative review15,16 that aimed to answer the following question: What is the state of the evidence for the assumptions the medical education community has made about competence and the CBME approach?
방법 Method
디자인 Design
비판적 서술 검토를 완료하면서, Grant와 Booth 15 및 Dixon-Woods et al, 16의 작업을 따랐다.
주제에 대한 가장 중요한 기사를 식별하고,
(방법론적 질보다는) 판단된 기여에 따라 평가하고,
증거에 대한 성찰적 해석을 제공하는 것을 제안한다 (정량적, 정성적, 혼합적 데이터).
In completing our critical narrative review, we followed the works of Grant and Booth15 and Dixon-Woods et al,16 which suggest aiming
to identify the most significant articles on a topic,
to evaluate them according to their judged contributions (rather than their methodological quality), and
to offer a reflexive interpretation of the evidence (i.e., quantitative, qualitative, and mixed data).
연구팀은 지식 종합의 결과를 설계, 구현 및 분석하는 이러한 [귀납적 접근법]이 동료 검토 문헌에서 찾을 것으로 예상되는 혼합 증거를 해석하고 비판할 수 있는 가장 큰 잠재력을 제공할 것이라고 판단했다. 따라서 우리는 CBME 접근법에 대해 발견한 증거로부터 지식이 어떻게 구성되었는지를 판단하고 향후 연구 관행에 대한 함축적인 이해를 심화하면서 [반복적 접근법]을 사용하여 연구 결과를 종합하고 해석했다.
Our team judged that this inductive approach to designing, implementing, and analyzing the results of our knowledge synthesis would yield the greatest potential for interpreting and critiquing the mixed evidence we expected to find in the peer-reviewed literature.17 Thus, we synthesized and interpreted our findings using an iterative approach, judging how knowledge has been constructed from the evidence we found about CBME approaches and deepening our understanding of the implications for future research practices.16,17
우리는 지역 및 국가 이해관계자들을 조사하여 a와 b를 수행했다. 이로서 발표된 논문의 최종 데이터베이스 범위가 통합에 집중되고 실현 가능한지 확인하고자 하였다.
(a) 이러한 가정을 정리하고 우선 순위를 정하며
(b) 일부 가정을 "핵심"으로 선택했다.
We surveyed local and national stakeholders to
(a) organize and prioritize these assumptions and
(b) select some assumptions as “core”
...to ensure the scope of our eventual database of published papers would be focused and feasible to synthesize.
다양한 관점에서 증거를 평가하기 위해, 우리는 포스트 포지티브에서 인지주의자, 구성주의자, 혁신에 이르기까지 교육의 패러다임 스펙트럼을 대표하는 연구팀을 개발했다. 복수의 패러다임을 표현하면 포함된 연구에 보고된 가정과 관련 근거에 대한 존경스럽고 균형 잡힌 판단을 내릴 수 있다고 가정했다. To appraise the evidence from multiple perspectives,19 we developed a research team that represented a spectrum of paradigms of education, from postpositivist to cognitivist to constructivist to transformative. We assumed that representing multiple paradigms would enable us to produce a respectful and balanced judgment of the assumptions and the associated evidence reported in the included studies.
이전 작업: CDA에서 식별된 가정 Prior work: Assumptions identified in the CDA
CDA 팀은 광범위한 문헌 기관 내의 강의를 탐색하면서 지배적인 CBME 프레임워크와 역량 구성을 뒷받침하는 31가지 가정을 식별했다. In exploring the discourses within that extensive body of literature, the CDA team identified 31 assumptions underpinning dominant CBME frameworks and the construct of competence.
1단계: 핵심 가정을 식별하기 위한 팀 조사 Phase 1: Team survey to identify core assumptions
본 검토에서 사용할 31가지 가정 각각에 대한 언어를 다듬고 완성한 후, 실증 연구에 적합한 항목을 중심으로 목록을 가장 중요한 항목으로 축소하고자 했습니다. After refining and finalizing the language for each of the 31 assumptions for use in the present review, we sought to reduce the list to the most significant items, with a focus on those that were amenable to empirical research.
질문:
"이러한 가정을 지지하거나 반박하기 위해 엄격한 증거를 수집하는 것이 가능합니까?" (시험 가능 여부) 및
"이 가정은 CBME 프레임워크/구현 성공의 '핵심'입니까?" (핵심 여부)
questions:
“Is it possible to gather rigorous evidence to support or refute this assumption?” (testable or not) and
“Is this assumption ‘core’ to the success of CBME frameworks/implementations?” (core or not).
2단계: 정밀 검색 및 비판적 서술 검토 Phase 2: Precise search and critical narrative review
설문 조사 결과를 사용하여 문헌 검색 용어와 검토 프로세스를 구성했습니다. 우리는 사서 설계되고 정밀한 검색을 비판적 서술 검토와 결합하기로 결정했다.16 여기에는 연구 질문을 더욱 세분화하고, 데이터 소스를 식별하고, 연구 선택과 선별 기준을 지정하고, 데이터를 추출하는 작업이 포함되었다. We used the survey findings to inform how we constructed our literature search terminology and our review process. We chose to combine a librarian-designed, precise search with a critical narrative review.16 This involved further refining our research question, identifying data sources, specifying study selection and screening criteria, and extracting data.
검토 질문. Review question.
데이터 원본, 검색 전략 및 포함 기준. Data sources, search strategy, and inclusion criteria.
보건직의 역량, 역량, 역량 기반 교육에 초점을 맞춘 영어, 경험적 연구 데이터베이스를 구축하는 것을 목표로 했습니다. We aimed to assemble a database of English-language, empirical studies focused on competence, competency, and competency-based education in the health professions.
선택 및 선별 프로세스를 학습합니다. Study selection and screening process.
추상적 선별 단계에서 검토 질문과 관련된 원본 연구 보고 데이터를 식별하는 데 목적을 둔 기준을 사용하여 연구 포함을 판단했다. In the abstract screening step, we judged study inclusion using criteria aimed at identifying original studies reporting data relevant to our review question:
데이터 추출. Data extraction.
그런 다음 각 가정에 대해, 각 평가자는 증거가 가정을 뒷받침하는지, 가정을 뒷받침하지 않는지, 또는 혼합되었는지(즉, 데이터에 대한 서로 다른 해석을 시사하는 최소 2개의 근거 출처) 판단했습니다. 평가관은 또한 "불확실"을 선택할 수 있는 옵션이 있었다. 코딩 짝coding pair은 정기적으로 만나 충돌을 해결했습니다. For each assumption, each rater then judged whether the evidence supported the assumption, did not support the assumption, or was mixed (i.e., at least 2 evidence sources suggesting different interpretations of the data). Raters also had the option to select “unsure.” Coding pairs met regularly to resolve any conflicts.
3단계: 가정의 주제 분석 Phase 3: Thematic analysis of the assumptions
비록 우리는 모든 31가지 가정에 대해 2단계에서 증거를 검토하지는 않았지만, 일련의 정제된 가정에 대한 분석은 의학 교육 커뮤니티가 앞으로의 가정을 어떻게 공식화하고 평가하는지 알려줄 것이라고 결정했다. 따라서, 우리는 공유 또는 대조적인 목적과 가정의 초점의 패턴을 식별하고 분류하기 위해 31가지 가정에 대한 간단한 전통적conventional 내용 분석을 수행하였습니다.21 Although we did not review evidence in phase 2 for all 31 assumptions, we decided that an analysis of our set of refined assumptions would inform how the medical education community formulates and evaluates its assumptions going forward. Therefore, we conducted a simple conventional content analysis of the 31 assumptions to identify and categorize patterns in the shared or contrasting purposes and foci of the assumptions.21
결과 Results
1단계: "핵심"으로 식별된 가정 Phase 1: Assumptions identified as “core”
우리의 조사에서, 31가지 가정 중 거의 모든 가정은 [경험적으로 연구될 수 있는지]를 묻는 질문에 대해 높은 "예스" 응답을 받았습니다. 따라서, 위에서 설명한 바와 같이, 우리는 가정들이 CBME 프레임워크/구현에 핵심적이었는지를 묻는 두 번째 질문에 "그렇다"는 답변을 강조하였다. "찬성" 투표수를 최소 2 포인트 초과하여 "찬성" 투표수를 받은 가정만 "핵심"으로 정의하기로 한 우리의 결정은 [15개의 핵심 가정]을 산출했습니다.
In our survey, nearly all of the 31 assumptions received a high “yes” response to the question asking whether they could be studied empirically. Thus, as described above, we emphasized “yes” responses to the second question asking whether the assumptions were core to the success of CBME frameworks/ implementations. Our decision to define as “core” only those assumptions receiving a “yes” vote count exceeding the “no” vote count by at least 2 points yielded 15 core assumptions. (The full survey results are available in Supplemental Digital Appendix 2 at http://links.lww.com/ACADMED/B32.)
2단계: 15가지 핵심 가정에 대한 근거 합성 Phase 2: Synthesis of evidence for the 15 core assumptions
우리의 정밀한 문헌 검색 결과 8,086개의 고유 연구가 나왔고, 이를 선별 프로세스는 전체 텍스트 검토를 위한 709개의 연구와 데이터 추출에 대한 189개의 연구로 개선되었다(그림 1). 초록 스크리닝을 위하여, 평가자 쌍은 포함/제외 결정에 대해 93.3%의 일치를 보였습니다(6,885/7,377). 풀-텍스트 스크리닝에서, 평가자 쌍은 포함/제외 결정에 대해 84.5%의 일치(440/520)를 보였습니다.
Our precise literature search yielded 8,086 unique studies, which our screening processes refined to 709 studies for full-text review and 189 studies for data extraction (Figure 1). For abstract screening, our rater pairs had 93.3% raw agreement on include/exclude decisions (6,885/7,377). For full-text screening, our rater pairs had 84.5% raw agreement on include/exclude decisions (440/520).
스터디 특성: 분석 및 시사점. Study characteristics: Analysis and implications.
표 1은 포함된 189개 연구에 대한 연구 특성을 요약한 것이다. Table 1 provides a summary of study characteristics for the 189 included studies. References and extracted data for each study are provided in Supplemental Digital Appendix 3 at http://links.lww.com/ACADMED/B33.
[직장 내 임상의사 행동]을 강조하는 것은 주목할 만한 연구 관행이지만, 프로토타입 연구의 규칙성은 CBME에 대한 근거의 일반화와 포괄성에 영향을 미칩니다. 한 예로, 절차적 기술(예: 상유화, 복강경, 내시경)에 대한 역량 기반 훈련의 "학습 곡선"에 대해 보고한 많은 연구 결과, 이러한 절차적 기술 지향 근거 기반이 교육생들이 다른 역량(예: 동정적인 종말 치료 논의)을 어떻게 학습하는지를 이해하기 위해 얼마나 일반화, 적용 가능 및 번역 가능한지에 대한 의문이 제기되었습니다. While emphasizing clinician behaviors in the workplace is a notable research practice,23 the regularity of the prototypical study has implications for the generalizability and comprehensiveness of the evidence for CBME. As one example, many studies reported on the “learning curve” of competency-based training in procedural skills (e.g., phacoemulsification,24,25 laparoscopy,26,27 endoscopy28,29), raising the question of how generalizable, applicable, and translatable such a procedural skills–oriented evidence base will be for understanding the trajectory of how trainees learn other competencies (e.g., compassionate end-of-life care discussions).
또한 [정량적 설계]에 대한 연구자의 선호affinity가, 의료 교육 커뮤니티의 역량 이해를 구성하고 CBME의 시행 계획을 안내하는 데 사용할 수 있는 [근거의 다양성에 한계]를 나타낼 수 있다. 한 가지 유형만으로 연구를 설계하는 것은 연구자가 질문하는 유형의 질문도 제한한다. 보다 질적이고 혼합된 방법 연구는 정량적 설계를 보완할 것이며, CBME가 가장 잘 작동하는 이유, 방법 및 위치를 이해하기 위한 의학교육 연구자와 시행자의 노력에 도움이 될 것이다.
Also, researchers’ affinity for quantitative designs may signal a limitation in the diversity of the evidence available to construct the medical education community’s understanding of competence and to guide its implementation plans for CBME. Predominately using one type of study design also limits the types of questions that researchers ask. More qualitative and mixed-methods studies would complement the quantitative designs and likely serve medical education researchers’ and implementers’ efforts to understand why, how, and where CBME functions best.
15가지 핵심 가정에 대한 근거 현황: 분석 및 시사점. State of evidence for the 15 core assumptions: Analysis and implications.
그림 2는 각 핵심 가정과 관련된 연구의 수를 나타내며, 보고된 증거가 뒷받침되는지, 뒷받침되지 않는지, 혼합된지를 세분화한다. 본 연구에서 사용하기 위한 가정들을 개정하면서, 우리는 CBME에 대한 그들의 방향성에 긍정적이라고 썼는데, 이는 뒷받침되는 증거가 CBME 프레임워크와 구현을 지지하는 것으로 해석될 수 있다는 것을 의미한다. Figure 2 shows the number of studies related to each core assumption, with a breakdown of whether the reported evidence was supportive, not supportive, or mixed. In revising the assumptions for use in the present study, we wrote them to be positive in their orientation toward CBME, meaning that supportive evidence can be interpreted as supportive of CBME frameworks and implementation.
가장 많이 연구된 두 가지 가정, 즉 "교육자는 역량을 달성하기 위한 여러 절차/사례를 미리 결정할 수 없다"와 "역량에 도달하기 위한 선형적이고 점진적인 경로가 있다"에 대한 연구는 [위에서 설명한 프로토타입 연구가 그 예로서] 거의 오로지절차 기술과 정량적 연구 설계에만 초점unitary focus을 맞췄다. 우려되는 것은 34개 연구 중 6개(18%)만이 "CBME 프레임워크는 본질적으로 명확하고 직관적"이라는 가정에 대한 지지 증거를 제시했다는 연구 결과이다. 비록 우리가 그 6개 연구의 특징에서 패턴을 발견하지는 못했지만, 이 발견은 보다 일관성 있는 CBME 구현과 평가 프레임워크를 생산하기 위한 최근의 노력을 확인시켜준다. 10 또한 연구의 거의 절반(46%; n = 86/18)이 역량 프레임워크를 명시하지 않은 이유를 설명할 수 있을 것이다. Research on the 2 most-studied assumptions—“Educators cannot predetermine a number of procedures/ cases for achieving competence” and “There is a linear, progressive pathway to reach competence”—had an almost unitary focus on procedural skills and quantitative study designs, exemplifying the prototypical study described above. Of concern is our finding that only 6 (18%) of 34 studies produced supportive evidence for the assumption “CBME frameworks are inherently clear and intuitive.” Though we found no pattern in the characteristics of those 6 studies, this finding affirms recent efforts to produce more coherent CBME implementation and evaluation frameworks.10 It also may explain why nearly half the studies (46%; n = 86/189) did not specify a competency framework.
또한 주목할 점은 77%의 연구(n = 27/35)가 "역량은 관찰 가능하고 측정 가능한 행동으로 분해될 수 있다"는 가정에 대한 뒷받침 증거를 제시했지만, 46%(n = 13/28)만이 "훈련생이 역량을 갖추게 될/실천 준비가 되는 분명한 시점이 있다"는 가정에 대한 뒷받침 증거를 제시했다는 점이다. 한 가지 해석은 연구자들이 특정 역량을 측정하는 데 성공했지만, 측정 가능하고 관찰 가능한 행동의 [어느 수준을 "역량있음competent"로 규정할 수 있는지 또는 표시해야 하는지를 정의하는 데 어려움]을 겪었다는 것일 수 있다. 우리는 독자들이 유용한 증거 사슬을 구축하는 추가 연구에 어떻게 정보를 제공할 수 있는지를 포함하여 가정들 사이의 그러한 연관성과 상호작용을 고려할 것을 권장한다. 예를 들어, [역량이 정의되고 측정되는 방법]과 [이러한 지표가 훈련생과 실무자의 진급career progress]에 대한 결정으로 어떻게 전환되는지를 명확히 연결짓는 연구가 필요하다.
Also notable is our finding that while 77% of studies (n = 27/35) produced supportive evidence for the assumption “Competence can be broken down into observable, measurable behaviors,” only 46% of studies (n = 13/28) produced supportive evidence for the assumption “There is a clear point when a trainee becomes competent/ready for practice.” One interpretation may be that although researchers have had success measuring certain competencies, they have had difficulty defining what level of the measurable, observable behavior can or should be labeled as “competent.” We encourage readers to consider such connections and interactions between the assumptions, including how they might inform further research that builds helpful chains of evidence; for example, research is needed to build clear connections between how competencies are defined and measured and how these metrics are translated into decisions about trainees’ and practitioners’ career progress.
시간의 경과에 따른 핵심 가정 연구의 패턴. Patterns in studies of the core assumptions over time.
우리는 아래와 같이 CBME를 둘러싼 담론에 영향을 주는 많은 요소들로 인해, 시간이 지남에 따라 가정에 대한 연구량이 변화할 것으로 예상했습니다.
유행;
정치적 우선순위
영향력 있는 저자, 저널 및 자금 지원 기관의 연구 및 구현 안건.
We anticipated that the volume of research on the assumptions might change over time, as conversations around CBME have evolved due to many factors, including fads30; political priorities31; and research and implementation agendas of influential authors, journals, and funding agencies.32,33
3단계: 31가지 가정에 대한 주제 분석 Phase 3: Thematic analysis of the 31 assumptions
우리는 인식된 목적과 초점의 패턴을 식별하고 분류하기 위해 31개의 정제된 가정을 분석하면서 이를 세 가지 범주의 열망, 개념화, 평가 관행(표 2)으로 분류했습니다. In analyzing the 31 refined assumptions to identify and categorize patterns in their perceived purpose and focus, we organized them into 3 categories:
aspirations,
conceptualizations, and
assessment practices (Table 2).
이를 탐구하면서 우리는 [CBME의 구현을 통해 무엇을 의도하는지]와 크게 관련된 [열망적 가정aspirational assumptions]을 발견했다. 즉, 이 가정들은 CBME가 어떻게 기능하고 가장 잘 구현될 수 있는지를 명확히 하기보다는, [CBME를 정당화하는 데 초점]을 맞춘 것으로 보인다(즉, 현재 시스템과 비교하는 것). 즉, [열망적 가정]들은 개입에 대한 [수사적 주장을 발전시키는데 도움]을 주었지만, 그것들을 연구하는 것은 교육자들이 그러한 [열망이 어떻게 그리고 왜 실현되었는지 이해하는 데 일반적으로 도움이 되지 않았다].
In exploring this, we found that aspirational assumptions largely related to what implementing CBME is intended to do; thus, they appear to focus on justifying CBME (i.e., relative to the current system), instead of clarifying how CBME functions and might best be implemented.34 That is, most aspirational assumptions helped develop a rhetorical argument for an intervention, but studying them typically did not help educators understand how and why those aspirations had been realized.
고찰 Discussion
이 비판적인 서술 검토에서, 우리는 CBME에 대한 중요하고 [비교적 동질적인 문헌]을 발견했다. In this critical narrative review, we found a significant and relatively homogeneous literature on CBME.
우리는 CBME 및 역량에 대해 이전에 식별한 의학교육 커뮤니티의 가정을 다듬고, 우선 순위를 정했으며, 그러한 가정의 핵심 부분 집합과 관련된 증거를 평가했으며, 커뮤니티가 CBME 및 역량에 대해 제시한 가정 유형을 평가했다. 구체적으로, 우리는 31가지 가정 중 15가지를 [CBME 프레임워크의 "핵심"]으로 판단했고, 검토에 포함된 189가지 연구의 대다수가 [정량적 설계를 사용]하고 절차적 기술과 같이 [관찰 가능한 역량을 강조]하여 그러한 가정을 다루었다는 것을 발견했다. We refined and prioritized the medical education community’s previously identified14 assumptions about CBME and competence, appraised the evidence associated with a core subset of those assumptions, and evaluated the types of assumptions the community has made about CBME and competence. Specifically, we judged 15 of the 31 assumptions as “core” to CBME frameworks and found that the majority of the 189 studies included in our review addressed those assumptions using a quantitative design and emphasizing observable competencies, like procedural skills.
향후 CBME 연구 및 구현을 위한 권고사항 Recommendations for future CBME research and implementation
CBME의 모든 임상 기술과 비판을 포함하는 것을 연구 목표를 확대한다. Expand research aims to include the full range of clinical skills and critiques of CBME.
첫째, 우리는 연구 관행을 절차적 기술과 같이 [가장 쉽고 직접적으로 관찰할 수 있는 기술과 관련된 가정]으로부터 [임상 기술의 전체 범위(즉, 모든 내재적 역할과 역량)와 관련된 가정]으로 전환할 것을 권고한다. 우리의 분석(특히 그림 2)에서 어떤 부분에서 근거기반이 혼재되어있거나 충분하지 못한지를 강조하였으며, 이것은 앞으로의 연구 노력을 지시direct할 수 있는 하나의 가이드 역할을 한다. 기존 CDA도 또 다른 가이드이다. 이 CDA에서는 CBME에 대한 '무단 비판unauthorized critiques'을 [CBME를 난관challenge없이 도입하려는 이들]이 최소화한 연구 질문 유형으로 파악한 바 있다. 예를 들어, 한 가지 unauthorized critique으로는 [CBME 접근방식은 능력의 환원주의 모델에 기초하기 때문에 제한적이라는 것]이 있다. 이전에 최소화되었던 사고방식을 탐구하는 미래 연구는 이 검토에서 관찰한 혼합 근거 기반을 해결할 수 있는 가능성을 가질 수 있다.
First, we recommend shifting research practices from studying assumptions related to the most easily and directly observable skills, like procedural skills, toward those related to the full range of clinical skills (i.e., all intrinsic roles and competencies). Our analysis (especially Figure 2) highlights where the evidence base is mixed and where it is thin and thus serves as one guide for how researchers can direct their efforts. Another guide is the previous CDA,14 which identified “unauthorized critiques” about CBME as the types of research questions that have been minimized by those wanting to install CBME without challenge. For example, one unauthorized critique is that CBME approaches are limited because they are built on a reductionist model of competence.30,38–40 Future research exploring these previously minimized ways of thinking may have potential to resolve the mixed evidence base we observed in this review.
연구 설계와 그에 따른 증거 기반을 다양화합니다. Diversify research designs and the resulting evidence base.
둘째, 우리는 현재 [왜곡된 연구 관행]이 [왜곡된 증거 기반]을 만들어냈다는 것을 인정할 것을 권고한다. 우리는 일부 가정들이 특정 연구 설계에 더 많은 도움을 준다는 것을 인정하지만, 의료 교육 커뮤니티가 접근 방식을 표준화하려고 하기보다는 [다양한 설계, 방법 및 패러다임을 사용]하고 [여러가지 CBME의 구현에 걸친 다양성을 이용함capitalizing]으로써 이익을 얻을 것이라 생각한다. 우리는 누가, 어떻게, 무엇을 공부하느냐에 있어 다양성을 높일 것을 추천합니다. Second, we recommend acknowledging that the presently skewed research practices have produced a skewed evidence base. While we acknowledge that some assumptions lend themselves more to specific study designs, we suggest that the medical education community will benefit from using diverse designs, methods, and paradigms and from capitalizing on the variability across different implementations of CBME, rather than trying to standardize the approach. We recommend increasing the diversity in who, how, and what we study.
포부에서 설명으로 전환합니다. Shift from aspirations to clarifications.
셋째, 우리는 의학교육계의 가정과 질문을 바꾸는 것을 추천한다.
역량 및 CBME를 조작화하는 방향으로
구현의 메커니즘과 함의를 더 잘 이해하기 위한 방향으로
CBME 평가 데이터를 어떻게 수집, 해석, 사용 및 평가할지를 결정하는 방향으로
Third, we recommend shifting the medical education community’s assumptions and inquiry
toward operationalizing competence and CBME;
toward gaining a greater understanding of the mechanisms and implications of implementation; and
toward determining how to collect, interpret, use, and evaluate CBME assessment data.
이제는 [열망적 가정]을 형성하는 것에서 벗어나야 할 때가 왔으며, 이는 [정당화와 복제 연구]에서 [명확화 연구](즉, CBME의 작동 방식과 이유)로 발전하는 것을 의미한다. We believe the time has come to shift away from forming aspirational assumptions, which means progressing from justification and replication studies toward clarification studies (i.e., how and why CBME works).34
CBME 연구 및 구현을 위한 자금을 통합합니다. Integrate funding for CBME research and implementation.
넷째, CBME의 [연구 및 평가에 대한 계획과 자금]을 CBME [구현 계획]과 통합할 것을 권장합니다. CBME를 채택하는 기관과 임상 전문가는 CBME의 원칙을 임상 및 비임상 환경에서 교육 실천요강으로 변환하기 위해 선택한 특정 방법의 동시 연구와 평가에 자원을 할당함으로써 이익을 얻을 수 있다. Fourth, we recommend integrating the planning for and funding of research and evaluation of CBME with the planning of CBME implementation. Institutions and clinical specialties adopting CBME would benefit from allocating resources to concurrent research and evaluation of the specific ways they choose to translate the principles of CBME into their educational practices in the clinical and nonclinical settings.
연구 증거와 지식 사용자의 암묵적 지식의 균형을 맞추십시오. Balance research evidence with knowledge users’ tacit knowledge.
지식 이용자들이 [증거를 기존 문화와 실천으로 변환할 때], [연구 증거를 강조하는 것]과 [숙고, 협상, 인간적 판단의 가치를 평가하는 것] 사이의 균형을 요구하는 다른 학자들의 의견에 동의한다. 따라서, [여기에서 제시된 근거 기반]은 그들의 기관에서CBME를 어떻게 전달하고 연구연구할지 결정할 때 사용할 [광범위한 정책 결정 토론의 한 가지 구성요소]에 불과해야 한다. We join other scholars who call for balance between emphasizing research evidence and valuing the deliberations, negotiations, and human judgment required when knowledge users translate evidence into existing cultures and practices.41–43 Hence, the evidence base presented here should become but one component of the broader policy-making discussions program directors, educators, and researchers engage in when deciding how to deliver and how to study CBME at their institutions.
즉, 우리는 "증거 자체만으로는 '어떻게 해야 하는가'(특히 자원을 어떻게 배분할 것인가)에 대한 윤리적 질문에 대한 해답을 제공하지 않는다"는 이전의 사고에 동의한다.
That is, we agree with previous thinking that “evidence does not in and of itself provide the answer to the ethical question of ‘what to do’ (and in particular, how to allocate resources).”41
제한사항 Limitations
둘째, 15가지 핵심 가정을 선정하기 위해 엄격한 조사 프로세스를 사용했지만, 조사 응답자는 지식 사용자보다 더 많은 연구자를 포함했고, 이는 핵심이 아닌 핵심 가정으로 판단되는 가정에 확실히 영향을 주었다(표 2). Second, although we used a rigorous survey process to select the 15 core assumptions, the survey respondents included more researchers than knowledge users, which surely impacted which assumptions were judged as core versus not core (Table 2).
셋째, 비판적 서술 검토 접근법을 사용할 때 15,16 포함된 연구의 방법론적 품질을 평가하기 위해 데이터를 추출하지 않았으며, 이는 이용 가능한 증거에서 편향 위험에 대해 언급할 수 없다는 것을 의미한다. Third, in using a critical narrative review approach,15,16 we did not extract data to assess the methodological quality of the included studies, which means we cannot comment on the risk of bias in the available evidence.
Acad Med. 2021 Feb 1;96(2):296-306.
doi: 10.1097/ACM.0000000000003781.
Assumptions About Competency-Based Medical Education and the State of the Underlying Evidence: A Critical Narrative Review
1R. Brydges is research director, a scientist, and professor of technology-enabled education, Allan Waters Family Simulation Centre, St. Michael's Hospital, and associate professor, Department of Medicine and Wilson Centre for Research in Education, University of Toronto and University Health Network, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0001-5203-7049.
2V.A. Boyd is a PhD student, Institute of Health Policy, Management and Evaluation, University of Toronto, and a research fellow, Wilson Centre for Research in Education, University of Toronto and University Health Network, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0003-3602-8964.
3W. Tavares is a scientist, Wilson Centre for Research in Education, University of Toronto and University Health Network, and assistant professor, Post MD Education, Department of Medicine, Institute of Health Policy Management and Evaluation, University of Toronto, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0001-8267-9448.
4S. Ginsburg is professor, Department of Medicine, University of Toronto, a scientist, Wilson Centre for Research in Education, University of Toronto and University Health Network, and Canada Research Chair in Health Professions Education, Mt Sinai Hospital, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0002-4595-6650.
5A. Kuper is associate professor and faculty co-lead, Person-Centred Care Education, Department of Medicine, University of Toronto, a scientist and associate director, Wilson Centre for Research in Education, University of Toronto and University Health Network, and a staff physician, Division of General Internal Medicine, Sunnybrook Health Sciences Centre, Toronto, Ontario, Canada; ORCID: http://orcid.org/0000-0001-6399-6958.
6M. Anderson is an information specialist, University Health Network, Toronto, Ontario, Canada.
7L. Stroud is associate professor, Department of Medicine, University of Toronto, a Centre researcher, Wilson Centre for Research in Education, University of Toronto and University Health Network, and a staff physician, Division of General Internal Medicine, Sunnybrook Health Sciences Centre, Toronto, Ontario, Canada.
Purpose:As educators have implemented competency-based medical education (CBME) as a framework for training and assessment, they have made decisions based on available evidence and on the medical education community's assumptions about CBME. This critical narrative review aimed to collect, synthesize, and judge the existing evidence underpinning assumptions the community has made about CBME.Results:From 8,086 unique articles, the authors reviewed 709 full-text articles and included 189 studies reporting evidence related to 15 core assumptions. Most studies (80%; n = 152) used a quantitative design. Many focused on procedural skills (48%; n = 90) and assessed behavior in clinical settings (37%; n = 69). On aggregate, the studies produced a mixed evidence base, reporting 362 data points related to the core assumptions (169 supportive, 138 not supportive, and 55 mixed). The 31 assumptions were organized into 3 categories: aspirations, conceptualizations, and assessment practices.
Conclusions:The reviewed evidence base is significant but mixed, with limited diversity in research designs and the types of competencies studied. This review pinpoints tensions to resolve (where evidence is mixed) and research questions to ask (where evidence is absent). The findings will help the community make explicit its assumptions about CBME, consider the value of those assumptions, and generate timely research questions to produce evidence about how and why CBME functions (or not).
Method:The authors searched Ovid MEDLINE to identify empirical studies published January 2000 to February 2019 reporting on competence, competency, and CBME. The knowledge synthesis focused on "core" assumptions about CBME, selected via a survey of stakeholders who judged 31 previously identified assumptions. The authors judged, independently and in pairs, whether evidence from included studies supported, did not support, or was mixed related to each of the core assumptions. Assumptions were also analyzed to categorize their shared or contrasting purposes and foci.
Outcomes of competency-based medical education: A taxonomy for shared language Andrew K. Halla,b , Daniel J. Schumacherc,d , Brent Thomae,b , Holly Caretta-Weyerf , Benjamin Kinneard , Larry Gruppeng , Lara J. Cookeh,b, Jason R. Franki,b , Elaine Van Melleb,j; on behalf of the ICBME Collaborators
도입 Introduction
역량 기반 의학교육(CBME)을 위한 대학원 교육의 글로벌 전환은 잘 진행되고 있다(Frank et al. 2017). 동시에, CBME의 영향을 평가하기 위한 폭넓은 요구가 있었다(Boyd et al. 2018; Chan et al. 2020; Grupen et al. 2017; Van Melle et al. 2019). 교육 리더와 학자들은 CBME가 의도한 결과를 달성함에 있어 그 효과를 평가하기 시작했다. 초기 노력은 [지역 수습생 행동](Hall et al. 2020; Schumacher et al. 2018)과 [프로그램 중심 성과](Nousiainen et al. 2018)에서 [국가 수준의 교육 성과](Conforti et al. 2018)와 더 광범위한 보건 시스템 영향(Triola et al. 2018)까지 다양한 잠재적 조치에 초점을 맞추고 있다. 또한 일부 국가 수준 전문 그룹은 측정을 위한 CBME 결과를 구성하고 우선 순위를 지정하기 시작했다(Chan et al. 2020). 그러나 관심성과(outcomes of interest)를 분류할 공유 언어 또는 분류법의 부족은 이 성장하는 문헌을 조직하고 해석하는 것을 어렵게 만든다. 특히, 이러한 명확성의 결여는 수정된 교육 프로그램을 평가할 때 의미 있는 결과를 확인하고자 하는 교육 과학자와 리더에게 난제를 제시한다.
The global transformation of postgraduate training toward competency-based medical education (CBME) is well underway (Frank et al.2017). Simultaneously, there has been a broad call to evaluate CBME’s impact (Boyd et al.2018; Chan et al.2020; Gruppen et al.2017; Van Melle et al.2019). Education leaders and scholars have responded and are beginning to evaluate CBME’s effectiveness in achieving its intended outcomes. Early efforts have focused on an array of potential measures extending from local trainee behaviours (Hall et al.2020; Schumacher et al.2018) and program-focused outcomes (Nousiainen et al.2018) to national-level educational outcomes (Conforti et al.2018) and broader health systems impacts (Triola et al.2018). Further, some national-level specialty groups have begun to organize and prioritize CBME outcomes for measurement (Chan et al.2020). However, the lack of a shared language or taxonomy to categorize the outcomes of interest makes it challenging to organize and interpret this growing body of literature. In particular, this lack of clarity presents a conundrum to education scientists and leaders who seek to identify meaningful outcomes when evaluating their revised educational programs.
제안된 성과 분류 체계 A proposed taxonomy of outcomes
이 분류법은 다음의 세 가지 영역에 걸친 CBME 결과의 측정을 설명한다(그림 1).
초점(교육, 임상),
수준(마이크로, 메조, 매크로)
시점 (훈련, practice으로의 이행, practice)
This taxonomy describes the measurement of CBME outcomes across three domains:
focus (educational, clinical),
level (micro, meso, macro), and
timeline (training, transition to practice, practice) (Figure 1).
CBME는 [복잡한 서비스 개입complex service intervention]이기 때문에(Van Melle et al. 2017) 그 결과는 따로따로 존재하지 않는다. 오히려, 이러한 결과는 시간이 지남에 따라 여러 맥락과 규모에 걸쳐 펼쳐지는 관계에서 서로 명확하게 드러난다. 또한 이러한 성과는 많은 렌즈를 통해 고려되어야 한다(Pawson et al. 2005). 이 분류법은 개인의 결과를 고려하는 동시에 더 넓은 맥락에서 다른 성과와 관련하여 [개별 성과]를 배치하는 [시스템 관점]을 제공한다. 우리는 이 접근방식이 CBME 개입의 결과를 추적하는 복잡성을 보존하면서도 다양한 경험과 배경을 가진 이해당사자들이 여전히 사용할 수 있다고 믿는다. 응급 의학 내에서 수행된 작업(Chan et al. 2020)을 확장하고자 한다. 각 도메인에 대한 정의를 명확히 하고, '시점' 영역의 세분성을 높이고, 전문 분야 전반에서 대학원 의대 교육에 대한 사용을 지원하기 위한 추가 지침을 제공할 것이다.
As CBME is a complex service intervention (Van Melle et al.2017), its outcomes do not exist in isolation. Rather, these outcomes articulate with each other in a relationship that unfolds over time across multiple contexts and scales. Further, these outcomes need to be considered through many lenses (Pawson et al.2005). This taxonomy considers outcomes of individuals while also providing a systems perspective that situates individual outcomes within broader contexts and in relation to other outcomes. We believe this approach preserves the complexity of tracking the outcomes of the CBME intervention, while still being usable by stakeholders from a broad range of experience levels and backgrounds. It extends from work conducted within emergency medicine (Chan et al.2020) by clarifying definitions for each of the domains, increasing the granularity of the ‘timeline’ domain, and providing additional guidance to support its use in graduate medical education across specialties.
초점 Focus
첫째, 결과의 초점은 교육적(학습자) 이거나 임상적(환자)이다. CBME는 교육적 개입이기 때문에, 학습자와 관련된 교육 성과는 종종 더 구체적이고 측정하기 쉬우며, [더 포착하기 어려운 임상, 환자 중심 결과]의 proxies일 수 있다. 예를 들어, Ross et al. (2018)에서 증명한 것처럼 [환자 치료에 전공의가 미치는 영향]을 측정하는 것보다 [어려움에 처한 전공의를 감지하기 위한 역량 기반 훈련 프로그램의 capacity]을 측정하는 것이 더 타당할 수 있다. 이것은 환자 중심의 결과에 초점을 맞추는 것이 덜 중요하다는 의미가 아니다. 의대 교육의 목표는 환자가 받는 치료를 개선하는 것이기 때문이다. [교육적 성과]는 (distal하기보다는) proximal하다고 해석될 수 있지만, 이는 교육적 성과 그 자체를 측정할 가치가 없다는 것을 의미하지는 않는다. 대신, 우리는 CBME의 광범위한 영향에서 두 가지 사이의 명확한 연관성을 인정하면서 학습자 중심의 교육 성과와 환자 중심의 결과 모두를 초점 영역으로 고려할 필요성을 강조하는 것을 목표로 한다. 비록 우리의 접근 방식은 두 가지 포커스 영역을 별도로 설명하지만, 이 둘의 상호 연관성은 아무리 강조해도 부족함이 없다.
First, the focus of the outcome is either educational (learners) or clinical (patients). As CBME is an educational intervention, educational outcomes related to the learner are often more tangible and straightforward to measure, and they may be proxies of clinical, patient-focused outcomes that are more difficult to capture. For example, it may be more feasible to measure the capacity of a competency-based training program to detect residents in difficulty, as demonstrated by Ross et al. (2018), than to measure the impact of struggling residents on patient care. This is not meant to de-emphasize the importance of a focus on patient-centred outcomes, as the goal of medical education is to improve the care that patients receive. Educational outcomes can be interpreted asproximalto the moredistalclinical outcomes (O’Malley and Pangaro2016; Van Melle et al.2017), but this does not imply that they are not worthy of measurement on their own. Instead, we aim to highlight the need to consider both learner-centred educational outcomes and patient-centred outcomes as areas of focus, while acknowledging the clear linkage between the two in the broader impact of CBME. Although our approach articulates the two areas of focus separately, their interrelatedness cannot be underscored strongly enough (Wong and Holmboe2016).
레벨 Level
우리는 또한 더 넓은 시스템에서 결과의 수준을 분류하기 위해 노력했다. 브론펜브레너의 생태학적 시스템 이론과 심리학 및 경제 문헌에서 이 이론의 다른 사용으로부터 영감을 받아, 우리는 결과를 다음의 세 가지에 영향을 미치는 성과로 구분한다.
개별 교육생(마이크로)
개별 프로그램(메소)
시스템(매크로)
We also sought to classify the level of the outcome in the broader system. Taking inspiration from Bronfenbrenner’s ecological systems theory and other uses of this theory in the psychology and economics literature (Bronfenbrenner1986; Carayannis and Coleman2005), we divide outcomes into those that affect
individual trainees (micro),
individual programs (meso), and
systems (macro).
Macro는 병원, 기관 또는 대학, 국가 인증 기관 또는 의료 시스템에 일반적으로 영향을 미치는 결과를 포함할 것이다. 이 경우에, 조직에서는 CBME가 미칠 것으로 예상되는 주요 영향 수준을 파악하고자 하며, 이미 CBME 평가에 대한 전문성 특정 접근 방식에서 성공적으로 사용되고 있습니다. 예를 들어,
[훈련생이 졸업 후 practice할 준비가 되어 있다는 인식]과 같은 결과는 [미시적 수준]의 교육적 결과로 간주되는 반면,
[practice 첫 해에 전문 의사 성과 지표의 국가 동향]은 [거시적 수준]의 임상적 결과일 것이다.
The latter would include outcomes that affect hospitals, institutions or universities, national certification bodies, or the health care system in general. This organization seeks to capture the main levels of expected impact of CBME and has already been used successfully in specialty-specific approaches to CBME evaluation (Chan et al. 2020). As examples,
an outcome such as a trainee’s perception of his or her readiness to practice at graduation would be considered a micro-level educational outcome,
while national trends in specialty-specific physician performance metrics in the first year of practice would be a macro-level clinical outcome.
[교육적 성과]는 미국의 마일스톤 데이터 또는 캐나다의 응급의학과와 같은 기타 환경에서 전공-특이적 협력을 통해 수행된 것처럼, 여러 사이트와 전문 분야의 평가 데이터를 취합 및 분석하여 [국가 수준]에서 측정할 수도 있다. 교육 프로그램, 임상 마이크로시스템 및 '학습자-환자-임상 마이크로시스템 상호작용'에 적용된 교육 개입이 하류downstream의 [교육적 성과 및 임상적 성과]에 미치는 영향을 이해하는 데 있어 이 영역을 고려하는 것이 중요하다.
Educational outcomes may also be measurable at the national level, with the aggregation and analysis of assessment data from across sites and specialties, as has been conducted with Milestones data in the United States (Holmboe et al.2020), or via specialty-specific collaborations in other settings, such as emergency medicine in Canada (Thoma et al.2020). Consideration of this domain is critical to understand the impact that educational interventions applied to training programs, clinical microsystems, and the ‘learner–patient–clinical microsystem interaction’ have on downstream educational and clinical outcomes (Wong and Holmboe2016).
타임라인 Timeline
결과 평가의 타임라인은, 특히 [로직 모델]이 채택될 때, 일반적으로 단기, 중기, 장기 등으로 분류된다(Hamza et al. 2020; Van Melle 2016). 단기, 중기 및 장기 구조를 사용하여, 제안된 분류법은 의사 교육의 타임라인을 따르며, 다음과 같이 나눌 수 있다.
교육 중에 발생하는 결과,
훈련에서 감독되지 않은 실습으로의 전환을 둘러싸고 발생하는 결과
의사가 감독되지 않은 실습 중에 발생하는 결과
Timelines in outcome evaluations are commonly classified as short, medium, and long term, particularly when a logic model is being employed (Hamza et al. 2020; Van Melle 2016). Using the short-, medium-, and long-term construct, our proposed taxonomy follows the timeline of physician education, dividing outcomes into
those that occur during training,
those that occur surrounding the transition from training to unsupervised practice, and
those that that occur while physicians are in unsupervised practice.
practice 환경에서는 [다른 많은 교란 요인]이 작동할 수 있기 때문에, 장기 성과는 단기 및 중기 성과보다 CBME에 직접 관련되기 더 어렵다. 이것은 이러한 결과를 조사하지 말아야 한다는 것을 의미하지 않는다. 그러나 이는 impact pathway와 context를 주의 깊게 설명해야 한다는 것을 의미한다. [환자 집단 관리와 같은 장기적 성과]를 측정하는 것이 중요하지만, [환자 중심 결과와 강력한 연관성이 있는 단기 성과]도 우선순위를 두어야 한다(오말리와 팡가로 2016). 이것들은 종종 교육적 개입의 영향에 대한 귀중한 증거를 연구하고 제공하는 데 더 타당하다.
Long-term outcomes are more difficult to relate directly to CBME than short- and medium-term outcomes because many other confounding factors can come into play within the practice environment. This does not mean that these outcomes should not be examined. It does mean, however, that the impact pathway and context must be carefully described. While it is critical to measure long-term outcomes such as the care of populations of patients, short-term outcomes that have a strong linkage to patient-centred outcomes need to be prioritized as well (O’Malley and Pangaro2016). These are often more feasible to study and provide valuable evidence of the impact of educational interventions.
마지막으로, transition to practice를 개선하는 것은 CBME의 핵심 약속으로 강조되었으며, 이는 [transition to practice 성과]를 [in-training 성과 및 in-practice 성과]와 구별되는 고유한 가시적 성과의 집합으로 취급해야 한다. 우리는 이 실무 전환 범주가 졸업 시 임상 역량의 자주 측정된 중기 성과medium-term outcome를 포함할 것을 제안한다(Holmboe 등. 2020; Tamblyn 1999).
Lastly, improving the transition to practice has been highlighted as a key promise of CBME (Frank et al.2010; Touchie and ten Cate2016), which warrants the treatment of transition-to-practice outcomes as a unique set of tangible outcomes distinct from in-training and in-practice outcomes. We propose that this transition-to-practice category would include the often-measured medium-term outcome of clinical competence at graduation (Holmboe et al.2020; Tamblyn1999).
분류법 적용 Applying the taxonomy
이 분류법은 CBME 결과의 스펙트럼을 고려하면서 이해관계자 간의 상호작용을 통합하는 논리적 영향 경로를 설명한다. 이 분류법의 사용은 결과를 조직하고 운용하기 위해 모든 규모의 프로그램 평가에 참여하고자 하는 사람들에게 허용된다. 표 1은 분류법의 세 도메인 간에 각각의 겹치는 고려사항에 대한 예를 보여준다. 이 섹션에서는 중복 영역의 실제 예를 강조하여 이 분류법의 적용에 생명과 명확성을 제공하지만, 각 영역에서 모든 잠재적 측정 결과를 정의하거나 우선순위를 지정하려는 시도는 결코 하지 않는다. 분류법의 각 영역별 성과를 정의함에 있어, 우리는
산출(CBME의 구성 요소가 진행 중이거나 구현되었음을 나타내는 지표)과
성과(CBME의 결과로 야기된 주요 이해관계자의 행동, 관계 및/또는 행동에 대한 설명)
...를 구분한다(Earl 등 2001; Frye 및 Hemmer). 2012); 이 구별의 중요성은 동반 논문에 설명되어 있다(Van Melle et al. 2021). This taxonomy delineates a logical impact pathway that incorporates the interaction between stakeholders while considering a spectrum of CBME outcomes. Use of this taxonomy allows those seeking to engage in program evaluation of any magnitude to organize and operationalize outcomes. Table 1 gives an example for each overlapping consideration between the three domains of the taxonomy. In this section, we highlight practical examples from these areas of overlap to provide life and clarity to the application of this taxonomy, but we by no means attempt to define or prioritize all the potential measurable outcomes in each domain. In defining outcomes classified within each area of the taxonomy, we distinguish between
outputs (indicators that a component of CBME is underway or has been implemented) and
outcomes (description of the changes in the behaviour, relationships, and/or actions of key stakeholders brought about as a result of CBME)
...(Earl et al. 2001; Frye and Hemmer 2012); the importance of this distinction is described in a companion paper (Van Melle et al. 2021).
[학습자 중심], [단기], [마이크로 레벨] 관점에서 CBME의 한 가지 주요 예상 결과는 [자율적이고 개인화된 학습]이다(Van Melle 등. 2019). CBME 커리큘럼의 계획된 결과물인 [개별화된 학습 계획의 구현]은 [이 경우 측정 가능한 outcome이 아니라] output이다. 대신, 프로그램 내에서 진정으로 [개별화된 학습의 존재presence]에 대해서는 다른 지표를 고려할 수 있다.
개별화된 학습 계획의 및 개발된 학습 목표의 내용 분석
교육생과 코치의 학습 계획 효용 인식
학습 계획이 역량 달성의 궤도에 미치는 영향
결과 달성 여부를 평가하기 위한 커리큘럼 및 평가 프로세스의 변경.
Thinking from a learner-focused, short-term, micro-level perspective, one key anticipated outcome of CBME is self-regulated, individualized learning (Van Melle et al. 2019). The implementation of individualized learning plans, a planned output of a CBME curriculum, is in this case an output, rather than a measurable outcome. Instead, one could consider other indicators of the presence of truly individualized learning within a program, such as
content analysis of individualized learning plans and developed learning goals,
the perception of trainees and coaches of the utility of learning plans,
the impact of learning plans on the trajectory of competence attainment, or
changes to the curriculum and assessment process to evaluate whether the outcome has been achieved.
이 밖에도, 또 다른 근거로는 identified needs에 대응하여 수습자 교대 재배치 또는 맞춤화의 증가된 발생을 포함할 수 있다. Further evidence of this outcome could include an increased incidence of trainee rotation rearrangement or customization in response to identified needs.
CBME의 [교육 중심], [중범위], [중기적 성과] 중 하나는 교육 프로그램이 진급 및 졸업에 관하여 방어가능하고 데이터에 기반한 결정을 내릴 수 있는 능력을 갖추는 것이다. 이는 교육 기간 동안 일상적인 간격으로, 그리고 [졸업후교육]에서 [감독되지 않은 practice]으로 전환될 때 프로그램이 모든 연습생에 대해 자주 내리는 중요한 결정이며, 자주 분석되는 결정입니다. 여기서도, [잘 표현된 정책과 관행을 가진 역량 위원회의 존재]는 [기대 산출expected output]으로 간주될 수 있으며, [측정할 수 있는 성과outcome]에는 다음이 포함된다.
역량위원회가 평가 데이터를 시각화하고 사용하는 방법
그러한 데이터가 그룹 프로세스를 포함한 의사결정에 통합되는 방법
교육생, 부서 지도부, 시스템 수준 의학 교육 리더 또는 인증 및 허가 기관의 이의를 제기할 경우 그러한 결정을 방어하는 방법
An example of an education-focused, meso-level, medium-term outcome of CBME is the ability of a training program to make defensible, data-informed decisions regarding trainee progression and graduation. This is a high-stakes, frequently analyzed decision that a program will make regarding every trainee at routine intervals during training and finally at the transition from postgraduate training to unsupervised practice. Here again, the existence of a competence committee with well-articulated policies and practices can be considered an expected output, while outcomes that could be measured would include how assessment data are visualized and used by the competence committee, how those data are synthesized by the committee into a decision including group processes, and how that decision is defended if challenged by the trainee, departmental leadership, system-level graduate medical education leaders, or accreditation and licensing bodies.
[교육에 초점을 맞춘] [거시적 수준]의 [중기적 관점]에서, 시간-가변적 진급 결정이 병원 시스템과 인증 기관에 미치는 영향을 고려할 수 있다. 한 개인이 [감독 없이 practice할 준비가 되어 있는지 여부]를 결정하는 것은 [실제로 그 사람이 역량을 입증받았을 때 연습할 수 있도록 허락하는 것]과 같지 않다. 서비스와 교육 사이의 균형은 더 복잡한 퍼즐이 될 수 있습니다
서비스(프로그램과 병원의 요구에 도움이 되도록 수련생이 전체 로테이션을 완수하도록 만들기) 및
교육(연습생에게 제자리로 전환하거나 졸업하도록 하고 지속적인 개발에 도움이 되는 추가 책임을 지도록 함)
이 분야에서 기관의 성과는 중요한 결과를 구성한다.
From an education-focused, macro-level, medium-term perspective, the impact of time-variable progression decisions on hospital systems and certification bodies can be considered. Determining whether an individual is ready to practice without supervision is not practically the same as actually allowing that person to do so at whatever point competence has been demonstrated. The balance between
service (making a trainee complete rotations that benefit the needs of the program and hospital) and
education (allowing a trainee to transition in place or graduate and assume additional responsibilities that are beneficial for their continued development)
...becomes an even more complex puzzle in the face of time-variable training (Lucey et al. 2018). The achievements of institutions in this area constitute important outcomes.
훈련의 연속체 및 감독되지 않은 임상 실습에 따라 수행되기 때문에 성과마다 타임프레임이 서로 다를 것이다.예를 들어, [quality meature와 patient outcome 성과]는 [교육생이나 실무자에게 피드백을 제공하고 개인이 환자의 요구를 충족하는지 여부를 입증하기 위해] 단기, 중기 및 장기적으로 측정할 수 있고, 측정해야 한다. Many outcomes will involve multiple time frames as they will be followed throughout the continuum of training and unsupervised clinical practice. For example, quality measures and patient care outcomes can and should be measured in the short, medium, and long term both to provide feedback to the trainee or practitioner and to demonstrate whether an individual is meeting the needs of his or her patients.
전공-특이적 환자 중심 성과의 예는 다음과 같다.
응급실에서 패혈증 환자에 대한 항생제 적시 투여와 같은 관리 품질 지표(Seymour et al. 2017),
외래 환자 진료소에서 관리되는 당뇨병 환자의 시간 경과에 따른 헤모글로빈 A1C 수준(Francis et al. 2016; Wong et al. 2016),
수술 감염률(Rudder et al. 2019).
Examples of specialty-specific, patient-focused outcomes are quality of care metrics such as timely administration of antibiotics to patients with sepsis in an emergency department (Seymour et al.2017), hemoglobin A1C levels over time in patients with diabetes managed in an outpatient clinic (Francis et al.2016; Wong et al.2016), and surgical infection rates (Rudder et al.2019).
그렇긴 하지만, 어떤 하나의 metric으로도 '훌륭한 의사'가 되는 모든 구성을 포함할 수 없다는 것은 명백하며, 따라서 전공마다 [복합 평가점수composite evlauation] 도출 방법을 생각해볼 필요가 있다. 이 때, [의사 역량의 모든 영역]에 대한 점수를 포함해야 하며, [환자와 사회에 중요한 것]과 [측정할 수 있는 것]의 균형을 맞춰야 한다. [CBME 구현의 결과]를 이로 인한 [환자 수준 성과의 변화]와 연결하는 것은 매우 어려운 작업이 될 것이다. 위에서 설명한 바와 같이, CBME의 영향에 대한 종합적인 평가의 중요한 구성 요소가 될 것이다.
That being said, it is clear that no one metric can encompass the construct of ‘being an excellent physician’ and therefore specialties will need to consider deriving composite evaluations, including markers of excellence across all domains of physician competency, balancing what is measurable with what is important to patients and society. While linking changes in these patient-level outcomes as a result of CBME implementation will be a remarkably difficult task, as outlined above, it will be a critical component of any comprehensive evaluation of the impact of CBME.
다음 단계 Next steps
이러한 예와 표 1의 예제는 제안된 분류법을 사용하여 구성할 수 있는 CBME의 잠재적 결과의 폭에 대한 스냅샷만 제공한다. 우리는 이 분류 시스템이 여러 가지 방법으로 사용될 것으로 예상한다.
These examples and those in Table 1 provide only a snapshot of the breadth of potential outcomes of CBME that can organized using the proposed taxonomy. We anticipate this classification system being used in several ways.
첫째, 분류 체계(각 범주에 속하는 예와 함께)를 개별 프로그램, 전문 분야 또는 국가 수준에서 브레인스토밍 연습의 일부로 사용하여 특정 전공분야나 행정적 범위 내에서 [CBME와 관련된 성과를 식별]하고 [후속 평가 작업을 촉진]할 수 있다(Chan 등. 2020).
둘째, 분류를 사용하여 특정 연구에서 조사 중인 결과의 유형을 분류할 수 있다. 일련의 질문을 사용하여 연구원들은 결과가 분류 체계 내에서 어디에 있는지 신속하게 정의할 수 있었다. 예를 들어 결과를 주로 교육적 또는 임상적으로 측정할 것인가? 교육생, 프로그램, 시스템 중 누구와 관련이 있는가? 마지막으로, 교육 중인 임상의, 실무로 전환 중인 임상의 또는 이미 시행 중인 임상의와 관련된 결과입니까?
셋째, 유사한 접근방식을 사용하여, 연구자들은 [CBME 이니셔티브의 보고된 성과를 분류]하여 [출판된 문헌의 조직화된 검토]를 수행하고, [CBME 구현 평가의 gaps와 trends를 식별]할 수 있었다. 여기서 목적은 평가를 위한 체크리스트를 개발하는 것이 아니라, 단순히 유용한 조직 프레임워크를 제공하는 것이다. 마지막으로, 결과 연구를 분류 체계 내에서 분류함으로써 CBME의 영향을 평가하기 위한 증거를 구성하기 위한 구조를 제공할 수 있을 것이다.
마침내, 우리는 이 분류 체계에도 한계는 있음을 깨달았다. 비록 개입으로서 [CBME가 본질적으로 복잡함]을 인식하고 그에 따른 결과를 인식하지만, 구획화하려는 시도는 성과의 상호 연관성을 과소평가할 수 있다. 또한, 많은 결과가 다수의 '상자'에 들어맞기 때문에, 이 분류법의 적용은 신중한 생각과 근거를 필요로 한다. 우리는 교육 과학자와 일선 교육자 모두에게 고용될 수 있는 사용 가능한 분류 체계를 제시하는 것을 목표로 했다.
First, the taxonomy (along with examples falling into each category) could be used as part of a brainstorming exercise at the individual program, specialty, or national level to identify relevant outcomes for CBME within a given specialty and administrative scope and to stimulate and drive subsequent evaluation work (Chan et al. 2020).
Secondly, the classification could be used to categorize the type of outcomes that are being investigated in a given study. Using a series of questions, researchers could quickly define where their outcome lies within the taxonomy. For example, is the outcome to be measured primarily educational or clinical? Is the outcome related to individual trainees, programs, or systems? And lastly, does the outcome pertain to clinicians in training, clinicians transitioning into practice, or clinicians already in practice?
Thirdly, using a similar approach, researchers could classify the reported outcomes of CBME initiatives to conduct an organized review of published literature and subsequently identify gaps and trends in the evaluation of CBME implementation. The intention here would not be to develop a checklist for evaluation, but rather to simply provide a helpful organizing framework. Lastly, by classifying outcome studies within the taxonomy it will be possible to provide a structure for organizing evidence to evaluate the impacts of CBME.
Finally, we recognize that this taxonomy is not without limitations. Although it recognizes the complex nature of CBME as an intervention, and its resultant outcomes, attempts at compartmentalization can underappreciate the interrelatedness of the outcomes. Further, many outcomes will fit into multiple ‘boxes’ and, therefore, application of this taxonomy requires careful thought and rationale. We aimed to present a usable taxonomy that can be employed by education scientists and front-line educators alike.
결론 Conclusion
복잡한 서비스 개입complex service intervention으로서의 CBME의 성격을 고려할 때, 우리는 CBME와 같은 교육 혁신의 다중 결과 가능성이 시간에 따라 펼쳐질 수 있는 접근법이 필요하다. 복잡한 개입의 성과는 다면적이며, 따라서 많은 렌즈를 통해 고려할 필요가 있다. 결과 연구를 수행하는 단편적인 접근법을 피하기 위해, 이 분류법은 결과 연구를 분류하고 설계하는 메커니즘을 제공한다. 포커스, 레벨 및 타임라인의 세 가지 도메인을 사용하여 교육 연구원들이 CBME의 영향에 대한 보다 완전하고 응집력 있는 그림을 그릴 수 있는 체계적 프레임워크를 제공한다.
Given the nature of CBME as a complex service intervention, we require an approach that considers the possibility of multiple outcomes of educational innovations, such as CBME, unfolding over time. Outcomes of complex interventions are multifaceted and, as such, need to be considered through many lenses. To avoid a piecemeal approach to conducting outcomes research, this taxonomy provides a mechanism by which to categorize and design outcomes studies. Using the three domains of focus, level, and timeline, we offer an organizing framework to enable educational researchers to paint a more fulsome, cohesive picture of the impact of CBME.
Med Teach. 2021 May 26;1-6.
doi: 10.1080/0142159X.2021.1925643.Online ahead of print.
Outcomes of competency-based medical education: A taxonomy for shared language
As the global transformation of postgraduate medical training continues, there are persistent calls for program evaluation efforts to understand the impact and outcomes of competency-based medical education (CBME) implementation. The measurement of a complex educational intervention such as CBME is challenging because of the multifaceted nature of activities and outcomes. What is needed, therefore, is an organizational taxonomy to both conceptualize and categorize multiple outcomes. In this manuscript we propose a taxonomy that builds on preceding works to organize CBME outcomes across three domains: focus (educational, clinical), level (micro, meso, macro), and timeline (training, transition to practice, practice). We also provide examples of how to conceptualize outcomes of educational interventions across medical specialties using this taxonomy. By proposing a shared language for outcomes of CBME, we hope that this taxonomy will help organize ongoing evaluation work and catalyze those seeking to engage in the evaluation effort to help understand the impact and outcomes of CBME.
Making it fair: Learners’ and assessors’ perspectives of the attributes of fair judgement Nyoli Valentine1 | Ernst Michael Shanahan1 | Steven J. Durning2 | Lambert Schuwirth1
1 도입 1 INTRODUCTION
교육에서의 평가가 공정해야 한다는 데는 폭넓은 합의가 있다.1 전통적으로 평가의 공정성을 수호하기 위해 구인 타당도와 신뢰도 증거가 중심적이었다.2-4 그러나 타당도와 의대 교육의 개념 자체는 패러다임 변화를 겪었다. 역량 기반 의대 교육은 전통적인 목표, 측정 기반 평가와 점점 상충되는 것으로 보인다.3, 6-14 이러한 인식된 불일치는 평가에서 [인간의 판단을 수용하고 주관적인 성격을 수용]하기 위해 문헌 내에서 점점 더 큰 반향을 불러일으켰다.3, 4, 8-12, 14-19, 그러나 수용에 있어 평가에서 인간의 판단, '무엇이 인간의 판단을 "공정하게" 만드는가?'라는 중요한 질문이 제기되었다. 이것에 대한 통찰력이 없다면 인간의 판단은 계속해서 너무 '주관적이고' 불공평한 것으로 여겨질 것이다. There is broad agreement that assessment in education should be fair.1 Traditionally, evidence of construct validity and reliability has been central to defend fairness of assessment.2-4 However, both the notion of validity5 and medical education itself have undergone a paradigm shift. Competency-based medical education is increasingly seen as being at odds with traditional objective, measurement-based assessments.3, 6-14 This perceived misalignment has led to an increasingly resounding push within the literature to embrace human judgement in assessment and accept its subjective nature.3, 4, 8-12, 14-19, 13 However, in embracing human judgement in assessment, an important question has arisen: ‘What makes human judgement “fair”?’. Without insight into this, human judgement will continue to be viewed as too ‘subjective’ and unfair.
평가의 필수 요소이기는 하지만, 공정성에 대해 만장일치로 합의된 이해는 없으며, '공정'은 이해관계자마다 다른 것을 의미한다.20 이 구조의 모호한elusiveness 특성 때문에 정의하기가 어렵다.6 단순한 정의를 갖는다는 것은 [복잡한, 다차원적, 맥락 의존적 구조]의 간단한 규칙으로 환원가능하다는 이야기이며, 이것은 현재 상황의 복잡성을 대변하지 못할 것이기에, '정의내리기 어렵다는 것'이 어쩌면 좋은 일이라고 주장할 수 있다. 간단한 정의로 합의되지 않고, 정의가 잠재적으로 유용하지 않다는 점을 고려할 때, 전략을 바꾸고 공정성의 구성 요소에 집중하는 것이 더 효과적일 수 있다. Despite being an essential element of assessment, there is no unanimous agreed understanding of fairness, with ‘fair’ meaning different things to different stakeholders.20 The elusiveness of this construct makes it difficult to simply define.6 One could argue this is perhaps a good thing, as having a simple definition may suggest a complex, diverse, multi-dimensional, context-dependent construct can be reduced to a straightforward rule which is likely to not represent the complexity of the situation. Given that a simple definition will not likely be agreed upon20 and is potentially not useful, then perhaps changing tack and focussing on the building blocks of fairness may be more fruitful.
최근의 문헌 검토는 이러한 추론과 토대를 함께 모아 이론적으로 구성된 개념 모델을 만들었다. 이 모델은 공정성이 유지되는 가치(신뢰성, 목적에 대한 적합성, 투명성 및 방어성)를 통해 개념화될 수 있음을 확인하였다. 이 가치들은 개인 및 시스템 수준에서 유지되며, 이는 평가에서 인간 판단의 공정성을 개념에서 실제 구성요소로 변환하는 데 도움이 된다.
[공정한 인간 판단의 특성]에 의한 개인의 수준(기술, 경계, 전문성, 정신적 민첩성 및 증거)
[절차]에 의한 시스템 수준(구조적 공정성, 문서화, 여러 기회, 다중 심사원 및 유효성 증거)
A recent literature review has brought these inferences and underpinnings together to create a theoretically constructed conceptual model.7 This model identified that fairness could be conceptualised through values (credibility, fitness for purpose, transparency and defensibility) which are upheld
at an individual level by characteristics of fair human judgement (narrative, boundaries, expertise, mental agility and evidence) and
at a systems level by procedures (procedural fairness, documentation, multiple opportunities, multiple assessors and validity evidence)
...which help translate fairness in human judgement from concepts into practical components.
본 연구의 목적은 일련의 경험을 통해 학습자와 평가자의 관점에서 공정한 인간의 판단에 대한 이해를 탐구하는 것이다. The purpose of this study is to explore the understanding of fair human judgement from the perspectives of learners and assessors across a continuum of experiences.
2 방법 2 METHODS
본 연구는 실제적인 타당성에 초점을 맞췄기 때문에 주제 분석 접근방식을 사용했다. 주제 분석은 데이터 세트 전체의 의미에 초점을 맞추고 연구자들이 집합적 또는 공유된 의미와 경험을 이해할 수 있도록 한다. 21 주제 분석은 유연하고 다양한 방식으로 수행할 수 있다.21 본 연구에서는 복잡하고 유연하지 않은 것을 이해하는 데 도움을 주기 위해 [공정한 판단에 대한 복잡하고 균일하지 않은 인식과 경험]을 이해하기 위하여 귀납적이고, 창발적이며, 지속적인 비교 접근법을 사용했다.
As this study focussed on practical plausibility, we used a thematic analysis approach. Thematic analysis focuses on meanings across a data set and allows researchers to make sense of collective or shared meanings and experiences.21Thematic analysis is flexible and able to conduct in many different ways.21In this study, we used an inductive, emergent and constant comparative approach to assist in understanding the complex and non-uniform perceptions and experiences of fair judgement.
이전 개념 모델의 개발자로서, 우리는 [주제에 대한 사전 지식이 없는 것은 아니라는 것]을 알았습니다. 따라서, 우리는 참가자들의 인식이 원하는 방향으로 해석되지 않도록 하기 위해 [주제 접근법]과 보다 [귀납적 접근법] 사이의 접근 방식을 균형 있게 조정했다. 기존 모델에 매핑하기 전에 개방형 코딩에 착수했습니다. Mapping은 [참가자의 인식]과 [기존 모델] 사이의 불일치dissent를 밝히려는 의도적인 의도가 있었다. 따라서 다음과 같은 네 가지 유형의 결과를 탐색하고자 했다.
As developers of the previous conceptual model, we were aware that we were not without prior knowledge of the topic. Therefore, we balanced our approach between a thematic approach and a more inductive approach to ensure the perceptions of the participants were not interpreted in a desired direction. We undertook open coding prior to mapping to the existing model. Mapping involved a deliberate intent to uncover dissent between the participants’ perception and the existing model. As such, we sought to explore four types of outcomes:
모델에 없는 음성 인식
데이터에 반영되지 않은 모델의 측면
모델에 존재하지만 다른 또는 추가 함축적 의미를 지닌 음성 인식
모델에 맞는 음성 인식
perceptions voiced that were not in the model
aspects of the model that were not reflected in the data
perceptions voiced that existed in the model but with different or additional connotations
perceptions voiced which aligned with the model
참여에 대한 인센티브는 제공되지 않았다. (대유행으로 인한) Zoom을 통한 반구조적 인터뷰는 최대 60분 동안 진행되었습니다. 인터뷰는 식별된 데이터 없이 기록되고 말로 기록되었다. No incentive was provided to participate. Semi-structured interviews occurred via Zoom (due to the pandemic) lasting up to 60 minutes. Interviews were recorded and transcribed verbatim without any identifying data.
[Vignett]는 구체적인 현실적 맥락에 포함된 다원적 표현이기 때문에 인터뷰의 출발점으로 선택되었다.22 Vignette은 개념의 추상적인 본질을 환원시키지만, 요인이 무엇이며 요인 간 관계가 무엇인지를 동시에 조사할 수 있게 해줍니다. Vignettes were chosen as the starting points for the interviews as these are multivalent representations embedded in concrete realistic context.22 This reduces the abstract nature of the concept, in our case of fairness, but still allows for simultaneous investigation of factors and their relationships.22
인터뷰에는 세 가지 Vignette이 제시되었다(부록 S1 참조). 실제 평가 시나리오를 반영할 수 있도록 저자들의 경험을 토대로 6개의 Vignete를 처음 개발했습니다. 이는 이론적으로 파생된 개념 모델에 대해 지도를 작성했으며, 따라서 개인 및 시스템 수준을 포함하여 공정한 판단과 관련된 광범위한 현안에 대한 논의를 자극했다. Three vignettes were presented during the interview (see Appendix S1). To ensure the vignettes reflected realistic assessment scenarios, we drew on the experience of the authors to initially develop 6 vignettes. These were mapped against the theoretically derived conceptual model, and therefore, they stimulated discussion on a broad range of issues related to fair judgement, including at an individual and system level.
저자들과의 논의를 통해, 그 삽화는 의도적으로 학부, 대학원, 그리고 펠로우십의 다양한 교육 단계를 나타내면서 3개로 축소되었다. vignets는 또한 높은 이해도의 판단을 나타내기 위해 선택되었다. 이는 더 많은 논의를 촉진하고 실질적인 적용 가능성을 가질 것으로 예상되었기 때문이다. Through discussion with the authors, the vignettes were reduced to three, deliberately representing different stages of training, under-graduate, post-graduate and post fellowship. The vignettes were also chosen to represent high-stakes judgements, as this was anticipated to promote more discussion and also have more practical applicability.
이 연구의 목적은 공정한 판단의 특성에 대한 참가자들의 인식을 이해하는 것이었기 때문에, 면담자가 지나치게 영향을 받지 않도록 하기 위해 연구자들이 공정성이 의미하는 바에 대한 어떠한 정보나 소개도 제공되지 않았다. As the aim of the study was to understand the participants’ perceptions of the characteristics of fair judgement, no information or introduction was given about what the researchers meant by fairness, to ensure interviewees were not unduly influenced.
이 연구는 2020년 7월부터 2020년 12월까지 실시되었다. 데이터의 수집, 분석 및 코딩은 동시에 반복적인 방식으로 발생하며, 서로에 정보를 제공한다. 처음에는 데이터를 읽어 데이터에 익숙해지도록 했으며, 조사 과정 전반에 걸쳐 데이터의 몰입도와 참여도를 높이고 의사결정을 문서화하기 위해 반사적 메모가 사용되었습니다. 초기 코드가 생성되었고, 데이터셋 전반에서 지속적인 비교를 위해 각 추가 인터뷰 완료 후 이전 성적표를 반복적으로 다시 검토했다. 코드북은 저자들 사이에 코드에 대한 토론을 위해 만들어졌다. The study was undertaken from July 2020 until December 2020. Collection, analysis and coding of the data occurred simultaneously in an iterative manner, each informing the other. Initially, the data were read to ensure familiarisation with the data, and reflective memoing was used to improve immersion and engagement with of data and to document decision-making throughout the research process. Initial codes were generated, and earlier transcripts were repeatedly re-examined following the completion of each further interview to allow for ongoing comparisons across the dataset. A code book was created to allow for discussion between authors about the codes.
3 결과 3 RESULTS
20명의 인터뷰, 12명의 심사원과 8명의 대학원생들을 인터뷰했다. 다양한 전공의 여성 11명과 남성 9명이 있었다(일반 진료과, n = 10, 내과, n = 5, 수술, n = 4, 산부인과, n = 1). 대학원 이후 교육생은 1학년부터 마지막 학년까지, 심사원은 5년에서 28년의 경력까지 다양했다. Twenty interviews were undertaken, 12 assessors and 8 post-graduate trainees. There were 11 females and 9 males from a variety of specialties (General Practice, n = 10, internal medicine, n = 5, surgery, n = 4, obstetrics and gynaecology, n = 1). The post-graduate trainees ranged from first to final year of training, and assessors ranged from 5 to 28 years of experience.
19번의 인터뷰 끝에 포화상태에 도달했다. 처음에 115개 코드로 코드화된 후, 참가자의 공정한 판단에 대한 인식은 3가지 주요 주제와 9가지 하위 주제로 특징지어진다.
Saturation was reached after 19 interviews. After initially being coded into 115 codes, the participants’ perceptions of fair judgement are characterised by 3 main themes, with 9 sub-themes.
individual (evidence, narrative, boundaries, agility and expertise),
system (multiple assessors, multiple opportunities, documentation and procedural fairness) and
environmental factors
3.1 개인별 특성 3.1 Individual characteristics
3.1.1 공정한 판단 결정은 의미 있고 건설적인 서술문을 포함할 필요가 있다. 3.1.1 Fair judgement decisions need to contain meaningful and constructive narratives
내러티브는 공정한 판단을 위해 필수적인 것으로 보였다. 내러티브는 피드백을 통해 학습자의 성찰과 개선을 허용하기 때문이다. 판단은 학습자가 성과를 개선할 수 있는 방법에 대한 명확하고 의미 있는 피드백 내러티브가 있는 경우에만 공정한 것으로 간주되었다. 학습자가 가장 관심을 가질 수 있다는 것을 자동으로 알려줍니다. A narrative was seen to be essential for a judgement to be fair; as narratives allow for learner reflection and improvement through feedback. A judgement was only considered fair if there was a clear, meaningful feedback narrative about how a learner could improve their performance. And as such it automatically signals that the learner's best interest is at the centre.
또한 내러티브는 학습자의 성과에 대한 [학습자와 평가자의 관점을 일치시키기 위해서] 필요합니다. 평가자는 학습자에게 기대와 달리 어떻게 수행하는지 알려주어야 할 책임이 있습니다. 기습적인surprise 판단은 불공평한 것으로 간주된다. Furthermore, a narrative is needed to align the learner and assessor's perspectives on how the learner is performing. It is the responsibility of the assessor to ensure they have attempted to inform the learner of how they are performing against expectations. A surprise judgement is considered unfair.
또한, 어려움을 겪고 있는 학생뿐 아니라, 모든 학습자에게 진정으로 판단받고 피드백을 제공할 수 있는 기회를 제공한다는 점에서 공정한 판단이 필요하다. Furthermore, fair judgements need to be equitable in that all learners have the opportunity to be genuinely judged and provided with feedback, not just those who are struggling.
3.1.2 공정한 판단은 경계 안에 포함된다. 3.1.2 Fair judgements fall within boundaries
공정한 판단 결정은 '범위에 포함되는within scope' 증거와 '범위 밖의out of scope' 증거에 기초한다. 즉, 범위를 벗어나거나 범위를 벗어나는 것에 기초한다. 평가판정에 임상 성과 이외의 요소를 사용하는 경우, '대리에 의해by proxy 유능하거나 무능한' 것으로 평가되는 것은 불공정한 것으로 간주된다. 공정한 판단의 경계는 '메시지' 판단의 신뢰성이 메시지 자체와 '보낸 사람' 모두의 함수로 간주되기 때문에 심사원의 신뢰성을 결정하는 데에도 도움이 된다. 이 연구는 경계와 관련된 몇 가지 하위 주제를 강조했다. Fair judgement decisions are based on evidence which is ‘within scope’ and what is ‘out of scope’; or in other words what is in or out of bounds.. It is considered unfair to be assessed as ‘competent or incompetent by proxy’; when factors other than clinical performance are used in making assessment judgements. The boundaries of fair judgement also help determine the credibility of the assessors because the credibility of the judgement ‘message’ is seen as a function of both the message itself and the ‘sender’. This study highlighted several sub-themes related to boundaries.
첫째, 판단 결정은 경계를 벗어나지 않기 위해 관련성이relevant 있어야 한다. 문헌 검토에서 뒷받침하는 바와 같이, [성별, 인종, 가족, 호감도와 사회적 연줄과 같은 요소]는 역량과 관련이 없는 것으로 간주되고 불공평한 것으로 간주된다. Firstly, judgement decisions need to be relevant to remain within boundaries. As supported by the literature review, factors such as gender, race, family, likability and social connections are not considered relevant to competence and are considered unfair.
둘째, [목적 잘못된 판단 결정]은 학습자 또는 환자에게 최선의 이익이 되지 않는 경우 공정한 것의 범위를 벗어난 것으로 간주되었다. 학습자에게 높은 기대를 걸고 필요한 경우 불합격하는 것이 합리적이었지만, [뛰어난 의료 서비스를 제공할 수 있도록 [학습자가 개선되고 성공하기를 바라는 진정성 있는 목표]를 가지고 있다는 관점]에서 판단을 내려야 합니다. 사적 판단 결정을 공유하지 않으려 하거나, 학습자에 대해 험담을 하거나, 자신의 안건을 밀어붙이거나, 심사원 역할을 남용하는 등 심사원의 사리사욕과 같은 다른 모든 목표는 공정한 판단의 테두리를 벗어난 것으로 간주한다. Secondly, judgement decisions which had a misplaced purpose, where the decision was not made in the best interests of the learner or patients, were considered outside of the boundaries of what is fair. It was considered reasonable to have high expectations of a learner and to fail if needed, but judgements need to be made in the light of having an authentic, genuine aim of wanting learners to improve and succeed, to ensure they are able to provide excellent health care. Any other aim, such as assessor self-interest including an unwillingness to share their private judgement decisions, gossiping about learners, pushing their own agenda or abusing their role as an assessor is considered out of the boundaries of a fair judgement.
만약 당신이 그 하급 의사가 더 나은 의사가 될 수 있도록 도와주는 데 관심이 있고 실제로 개입하고 싶어하는 사람이 있다면, 그들은 누군가를 찢어 놓는 것에 관심이 있기 때문이 아니라, 그들이 잘되기 때문에… 만약 당신이 그들을 도울 수 있다면, 우리는 마지막에 더 나은 의사를 얻는다.
If you’ve got somebody who is interested in helping that junior doctor become a better doctor and who actually wants to intervene not because they’re interested in tearing someone apart, but because they go okay… if you can help them then we get a better doctor at the end of it
3.1.3 공정한 판단 결정은 뒷받침하는 증거에 의해 뒷받침된다. 3.1.3 Fair judgement decisions are supported by supporting evidence
문헌 리뷰는 증거가 판단을 뒷받침하는 수단이라고 언급했고 복수의 근거 출처를 갖는 것이 공정성에 대한 인식을 개선했다고 제안했다. 본 연구에서는 참가자들이 이러한 전제에 동의하고 이것이 실제로 무엇을 의미하는지 상세하게 설명하였다. 이러한 맥락에서 증거는 논리, 인공물 또는 관찰과 같은 것들을 포함하는 것으로 고려되었다. The literature review noted evidence was a means of supporting judgements and suggested that having multiple sources of evidence improved the perception of fairness. In this study, participants agreed with these premises and provided detail about what this means in practice. Evidence in this context was considered to include such things as rationale, artefacts or observation.
판단 결정judgement decision이 공정하기 위해서는 [증거의 포괄성]이 있어야 한다. 유능한 임상의가 되기 위해서는 여러 역량이 필요하며 공정한 판단 결정은 [지식뿐만 아니라 이러한 모든 역량을 고려]한다.
For judgement decisions to be fair, there needs to be comprehensiveness of evidence. Multiple competencies are needed to be a competent clinician and fair judgement decisions consider all of these competences, not just knowledge.
증거는 종단적이야 하며, 수행능력의 패턴을 고려해야 공정하다고 여겨졌다. 증거를 여러 개 가지고 있으면 삼각측정을 할 수 있다.
Evidence was expected to be longitudinal and consider patterns of performance to be considered fair. Having multiple pieces of evidence allows for triangulation.
중요한 것은 증거가 공정하다고 간주되기 위해서는 맥락이 있어야 한다는 것이다. 심사원의 중요한 역할은 맥락을 고려하여 증거를 해석하는 것이다. 전문성과 민첩성을 고려할 때 이 점을 더욱 자세히 살펴볼 수 있습니다. mportantly, evidence needs to be contextual to be considered fair. An important role of an assessor is to interpret evidence in light of the context. This is explored further when considering expertise and agility.
마지막으로, 판단 의사결정에 대한 증거는 [전문지식의 특수성]을 허용해야 한다. 임상의사마다 개별적인 실천 방법이 다르며, 이러한 variation이 반드시 무능력인 것은 아니므로, 누군가를 그렇게 판단하는 것은 불공평한 것으로 간주된다. Finally, evidence for judgement decisions should allow for expertise idiosyncrasy. Different clinicians will have different individual ways of practising and this variation is not necessarily incompetence, so to judge someone as such is considered unfair.
3.1.4 판단 결정을 내리는 심사원은 민첩성, 내용 및 평가 전문지식이 필요하다. 3.1.4 Assessors making judgement decisions need agility, and content and assessment expertise
모든 참가자들은 평가관의 전문성과 민첩성이 필요하다고 강조했다. 롬바르도와 아이친저는 사람들이 문제를 새로운 관점에서 생각하는 정도를 묘사하기 위해 [정신적 민첩성mental agility]이라는 용어를 만들었다. 그것은 복잡성과 모호함에 편안하고 그들의 생각을 다른 사람들에게 설명하는 것이다. All participants highlighted the need for assessor expertise and agility. Lombardo and Eichinger coined the phrase mental agility to describe the degree to which individuals think through problems from fresh points of views are comfortable with complexity, ambiguity and explaining their thinking to others23
인터뷰에 응한 사람들은 공정한 판단을 하기 위해 심사원들이 여러 가지 작업을 수행해야 하는데, 이를 위해서는 민첩성과 전문지식이 필요하다고 지적했습니다. 여기에는
상황의 복잡성을 수용하는 것,
수치적으로 합산할 수 없는 근거의 조각들을 잘 해석하여 유의미하게 모으고 삼각측량하는 것
제시된 증거의 가중치를 고려하는 것
식별된 애매한 경계 내에서 근거의 품질과 맥락을 고려하는 것이 포함된다.
Interviewees noted that to make fair judgements, assessors have multiple tasks for which they need agility and expertise to complete. These include
embracing the complexity of the situation and
meaningfully collating and triangulating pieces of evidence that cannot be added numerically through interpreting and
weighing up evidence presented and
considering the quality and context of the evidence, within identified fuzzy boundaries.
이런 것들이 평가자의 주요 역할로 간주되었고, 그렇지 않은 경우, 판단 결정이 불공정하다고 간주되었다. 이는 평가가 대개 실제 생활에서 이루어지기 때문에 종종 시간 압박과 함께 발생하며, 환자 안전을 보장하기 위해 실시간으로 판단을 내려야 한다. This was considered a key role of an assessor, and if this was not done, the judgement decision was considered unfair. This also often occurs with time pressures as assessment usually occurs in real life, and judgement is needed to be made in real time to ensure patient safety.
때때로 훈련생들은 전문직업성이 부족한데, 환자들은 그들을 사랑한다. 그래서 그것은 종합적인 평가를 해석하는 문제이다. Sometimes the trainees are not very good in terms of professionalism but then the patients love them. So it is a matter of interpreting that comprehensive assessment
공정한 방식으로 제시된 증거를 적절하게 해석, 심문 및 결합할 수 있으려면 [조사 과정]이 필요하다. 여기에는 [더 많은 증거를 수집]하거나 [제시된 증거에 대한 더 많은 정보를 확인하는 것]이 포함될 수 있다. To be able to adequately interpret, interrogate and combine the evidence presented in a fair way, an investigative process is needed. This may involve collecting more evidence, or identifying more information about the evidence presented.
컨설턴트들을 좀 더 추궁하고 근본적인 문제를 파악하여 시나리오, 상황, 사건, 참석자 등을 설명하게 합니다. 그냥 가서 그 상황에 있는 사람들과 수다를 떨고… 사람들이 어떤 식으로 사건을 해석하는지 알아본다. I grill the consultants a bit more and find out what’s the underlying issue and I get them to try and describe the scenario, what was the situation, what happened and who was there… I just go and chat to the people in that situation… and find out what people’s version of events were
또한 평가자는 개선을 허용할 수 있는 서술적 피드백을 제공할 수 있는지 확인하기 위한 [교육적 전문성]이 필요하다. Furthermore, assessors need educational expertise to ensure they are able to provide narrative feedback which can allow for improvement.
3.2 시스템 요인 3.2 System factors
3.2.1 공정한 판단 결정이 여러 기회를 허용했다. 3.2.1 Fair judgement decisions have allowed for multiple opportunities
교육 프로그램의 진행에 대한 공정한 판단을 내리기 위해서는 학습자의 수행능력 패턴을 파악하기 위하여 여러 데이터 포인트를 수집할 수 있도록 [일정 기간 동안 역량을 입증할 수 있는 다수의 기회]를 제공해야 한다. 즉, 역량 입증 능력에 영향을 미치는 외부 요소(즉, 평가 당일에 몸이 좋지 않음)의 가능성을 줄이는 것이다.특히, 본 연구에서는 학습자가 서술적 피드백에 응답하고 다음 평가 또는 학기 말 이전에 개선을 보여줄 시간과 작업 기회도 있어야 한다고 강조했습니다.
Fair judgments about progression in training programmes need to have provided multiple opportunities for learners to demonstrate competence over a period of time to allow for multiple data points to be collected, patterns of performance to be recognised and to reduce the chance of an external factor (ie unwell on the day of an assessment) influencing their ability to demonstrate competence. Specifically, this study emphasised that learners need to also have a time and work opportunity to respond to narrative feedback and demonstrate improvement before the next assessment or the end of term.
또한 결정을 뒷받침할 [여러 데이터 지점과 체크포인트]가 있었기 때문에 여러 번의 기회를 갖는 것이 후보자의 실패를 더 쉽게 만들어 줄 수 있다고 판단되었습니다. Having multiple opportunities also was seen as possibly making the task of failing a candidate easier, because there were multiple data points and check points to support the decision.
작업 부하, 감정적 부하와 같은 측면에서 누군가를 failing시키는 것은 passing시키는 것보다 훨씬 더 어렵습니다. 문서화해야 할 것이나 나눠야 할 대화가 훨씬 많아진다. 만약 모든 사람에게 걸쳐서 이뤄지는, 훨씬 더 작은 체크포인트와 프로세스가 구축되어 있었다면, (지금처럼) 누군가를 실패시키는 건 기념비적인 일이 아니게 될지도 모른다. Failing someone is much harder than passing them in terms of actually the workload… the cognitive load, the emotional load, but actually the documentation and the conversations and those sorts of things are much bigger and I guess if there were more perhaps slightly smaller check points and processes built in all the way through for everybody then perhaps it’s not as big of a monumental job to fail someone.
3.2.2 공정한 판단 결정에 복수의 심사원을 사용할 것 3.2.2 Multiple assessors are used in fair judgement decisions
이 연구는 [여러 명의 평가자를 사용하는 것]이 공정성에 기여하는 것으로 인식된다는 문헌 검토의 결과를 확인하였다. 이는 삼각측정과 광범위한 역량 평가를 가능하게 하는 더 많은 데이터를 수집할 수 있기 때문이다. This study confirmed the findings of the literature review that using multiple assessors is perceived to contribute to fairness, because it enables more data to be collected which allows for triangulation and for a broader range of competencies to be assessed.
사실, 의료진보다 더 중요한 것은 비의료진이다. 따라서 간호 인력, 협력 의료 직원, 환자 등이 의료진보다 개인의 성과를 훨씬 더 사실적으로 보여 줄 것입니다. In fact, even more important than medical staff is non-medical staff. So, it’s often nursing staff, allied health staff, patients, that will give a much more true [sic] picture of an individual’s performance rather than medial staff.
다수의 평가자는 또한 다양한 관점을 허용하고 한 명의 개별 평가자의 단일 관점을 희석시킨다. 이것은 개별 심사원의 판단을 반드시 무시하는 것이 아니라 다른 심사 결정에 비추어 고려하기 위한 것이다. 따라서, 위에서 설명한 바와 같이 전문지식의 특수성을 허용하는 문제와 관련이 있다. Multiple assessors also allow for diverging perspectives and dilutes any one individual assessor's single perspective. This is not to necessarily ignore the judgement of any individual assessor but rather to consider this in the light of other judgement decisions. As such, it relates to the issue of allowing for expertise idiosyncrasy as described above.
여러 명의 심사원을 보유하는 것은 판단 결정, 특히 어려운 결정을 내릴 때 그룹 지원을 가능하게 한다. Having multiple assessors also allows for group support in making judgement decisions, particularly difficult decisions.
내 생각에 그건 정말 팀 차원의 결정이었다… 우리 모두는 우리가 그에게 제공할 수 있는 것의 한계에 도달했다고 느꼈다. I think it was very much a team decision… we all felt that we’d reached the limit of what we could offer him
3.2.3 문서화 3.2.3 Documentation
투명성을 보장하기 위해 판단의 모든 측면을 문서화해야 한다. 문서화에 대한 참가자들의 논의는 거의 없었으므로, 문서화가 무엇을 어떻게 수행되어야 하는지에 대한 세부 사항은 불확실하다. To ensure transparency, all facets of the judgement need to be documented. There was minimal discussion by participants on documentation, so details of what and how documentation should occur are uncertain.
3.2.4 공정한 판단 결정을 지원하는 절차적 공정성 3.2.4 Procedural fairness supports fair judgement decisions
절차적 공정성의 중요한 요소는 [학습자에 대한 기대의 투명성]이다. 투명성은 정보의 명확성과 포괄성에 의존합니다. 정보가 부족하면 학습자가 예상하는 바를 추측해야 하고 이전의 경험을 지침으로 활용할 수 있습니다. 따라서, 학습자를 [문서화되지 않았거나 또는 전달되지 않은 기대치로 판단하는 것]은 물론이며, 기대치의 일부만 명시적으로 전달된 경우에도 불공평한 것으로 간주됩니다. An important component of procedural fairness is transparency of expectations of the learner. Transparency relies on the information to be explicit and comprehensive; a lack of information can mean learners are required to guess what is expected of them and may use their previous experience as a guide. Judging a learner on unwritten or uncommunicated expectations is therefore seen as unfair, even when only part of the expectations were not explicitly communicated.
절차적 공정성에는 [판단이 목적에 적합한지 확인하는 것]이 포함된다. 의미 있는 근거가 결여된 [임의적인 규칙이나 판단]은 절차적으로 불공평한 것으로 간주된다. 평가자의 민첩성과 전문지식을 허용하지 않는, 엄격하고 미리 결정된 평가 양식 또는 더 나은 실무자가 되는 데 직관적으로 기여하지 않는 요소에 대한 판단이 그 예입니다. 전형적으로, 그러한 불공평은 평가의 게임으로 이어질 수 있으며, 학습자들은 가능한 최고의 의료 전문가가 되기 보다는 평가 통과에 집중해야 한다는 부담을 느낄 수 있습니다. 이는 공정하다고 볼 수 없습니다. Procedural fairness includes ensuring judgements are fit-for-purpose. Arbitrary rules or judgements lacking a meaningful rationale are seen as procedurally unfair. Examples are rigid, predetermined assessment forms which do not allow for assessor agility and expertise or judgements about elements that do not intuitively contribute to becoming a better practitioner. Typically, such unfairness can lead to gaming of the assessment and learners feeling forced to focus on passing the assessment rather than becoming the best possible healthcare professional, which is not seen as fair.
중요한 것은, 공정한 판단은 결정의 이해 관계와 그 근거가 되는 정보의 풍부함에 비례해야 한다는 것이다. Importantly, fair judgements have to be proportional, with alignment of the stakes of the decisions and the richness of the information on which they are based.
…왜 한 시험을 fail한 결과로 1년을 버려야 하나요?…올해는 누군가의 인생 전체입니다… 이건 큰 위험인데, 시험을 한 번 통과하지 못해서 1년 내내 해야 하는 게 공평할까요? 이 특정 시험 영역이 미래의 전문 역량 또는 역량에 대한 중요한 예측 변수와 함께 포함되는 이유에는 몇 가지 근거가 있어야 합니다. …why would one exam constitute a failure in the whole year?… this is the whole year of somebody’s life… This is high stakes, is it fair that somebody has to do a whole year because they failed one exam?… There has to be some rationale behind why does this particular segment of the exam carry with it such an important predictor of future professional competence or capability.
절차적 공정성은 학습자가 상황에 대해 말하고 관점을 제공할 수 있도록 하는 것을 포함했다. 공정한 판단을 위해 심사원은 이러한 대화와 관점을 고려할 필요가 있다. 즉, 학습자는 자신이 학습한 내용에 대한 agency를 가정할 수 있으며, 대화가 이를 가능하게 하는 한 가지 방법이라고 생각합니다. Procedural fairness importantly included allowing learners to speak and provide their perspective to the situation. This dialogue and perspective need to be considered by assessors to make fair judgements. Or in other words, the learner feels that they can assume agency over their own learning and a dialogue is a way to enable this.
…그러면 공정한 재판의 일환으로 피고인은 자신을 방어하고 불만을 제기하고 후배 컨설턴트의 이야기를 들을 기회를 가져야 합니다.
…then, as part of any kind of fair trial the accused should have an opportunity to defend themselves… present the complaints… and hear the junior consultant’s side of the story
절차적 공정성은 위계적 권력 격차가 학습자에게 정보, 판단 또는 피드백을 제공하는 데 방해가 되지 않도록 해야 하며, 학습자가 부당한 것으로 간주되어 응답할 수 없는 경우에도 마찬가지입니다. 이러한 권력의 차이는 평가자에서 학습자로 또는 학습자에서 평가자로 흐를 수 있습니다. 또한 절차적 공정성의 중요한 딜레마는 [피평가자에 대한 사전 지식을 갖는 것]이 한편으로는 보다 [균형 잡힌 판단을 위해 유용한 정보]를 제공할 수 있지만, 다른 한편으로는 [(아직 달성하지 못한) 남아있는 목표에 대한 생각]을 하는 것이기도 하다. Procedural fairness needs to ensure hierarchical power differentials do not hinder the provision of information, judgement or feedback to the learner, or if the learner is unable to respond as this is seen as unfair. Such power differential could flow from the assessor to the learner or from learner to assessor. Furthermore, an important dilemma in procedural fairness is deciding between assessors having prior knowledge about a candidate which may provide useful information for a more balanced judgement on the one hand and the notion of remaining objective on the other.
공정성의 관점에서 판단은 두 가지 상황 모두에서 공정할 수 있다.평가자는 [지속적인 관리 관점에서 학습자를 논의해야 할 진정한 필요성]을 가질 수 있지만, 이는 [향후 판단을 편향시킬 수 있는 학습자의 '명성'을 형성할 위험]과 균형을 이루어야 합니다. 학습자에 대한 편견이 이미 존재하고, 그들의 평가가 임상 성과보다는 인계 요인hand-over factor에 의해 고려되는 것은 불공평한 것으로 간주되었다. 이는 공정한 평가의 범위를 벗어난 것이기 때문이다.
From a perspective of fairness, judgements can be fair in both circumstances. Whilst assessors may have a genuine need to discuss learners from a continuity of care perspective, this clearly needs to be balanced with the risk of creating a ‘reputation’ for the learner that may bias future judgements. It was seen as unfair if a learner was prejudged and their assessment considered on hand-over factors rather than their clinical performance as this was outside the boundaries of fair assessment.
그들이 당신을 잘 안다면 어떤 면에서 도움이 될 수 있다고 생각합니다. 그들은 당신에게 건설적인 피드백과 당신의 강점에 대한 건설적인 관점을 줄 수 있습니다. 하지만 감독을 받는 사람으로서, 당신이 어려움을 겪고 있는 것들에 대해 상사에게 말할 수 있어야 한다고 생각해서, 만약 당신이 상사의 도움과 지원을 구했기 때문에 상사가 당신을 나쁘게 평가할 것 같다면, 그것은 부당하다고 생각합니다.
컨설턴트 중 한두 명에게 좋지 않은 인상을 주고 입소문이 퍼진 동료가 있는데, 저는 많은 다른 팀들이 이 사람을 매우 주의 깊게 지켜보고 그들을 조사한다고 생각합니다. 왜냐하면 부서 전체가 이 특정 수련생에 대해 편견을 가지고 있기 때문에 다소 전문적이지 않고 불공평하기 때문입니다. I think in some ways it can be helpful if they know you well, they can give you constructive feedback and constructive views of your strengths. But I think also as the person being supervised, you need to feel like you can talk to your supervisor about things that you’re struggling with and so if you then feel like the supervisor is going to flip it back on you and assess you poorly because you’ve sought their help and support, I think that’s unfair.
There’s a colleague… who has made a very bad impression to one or two of the consultants and word of mouth has spread and I think a lot of the other teams are then very very carefully watching this person and putting them under scrutiny… it’s a bit unprofessional and unfair because… the whole division is biased against this particular trainee.
절차적 공정성에는 [평가자의 자기성찰 능력]도 포함된다. 여기에는 편견에 대한 그들 자신의 민감성과 성격 특성이 판단 결정에 어떻게 영향을 미칠 수 있는지를 인식하는 것이 포함될 수 있다. 이는 공정하지 못한 영향력이지만, 평가자가 심사숙고를 할 경우 완화될 수 있다고 보았다. Procedural fairness also includes assessor self-reflectivity. This might include being aware of their own susceptibility to biases and how personality characteristics can impact judgement decisions. This is seen as an unfair influence that can be mitigated if the assessor makes the effort of reflection.
제가 평가를 할 때, 저는 자신에게 엄격해지는 경향이 있기 때문에, 다른 사람들로부터도 그것을 기대하기 때문에 그들에게 너무 가혹하게 대하고 있는 것인지 스스로 생각해 보아야 합니다. 다른 사람들을 공평하게 평가하려면 세상에 대한 자신의 해석을 이해해야 한다고 생각한다. when I’m doing an assessment I have to think to myself… am I being too hard on them because I have a tendency to be hard on myself and therefore I expect it from others too. I think you have to have an understanding of your own interpretation of the world to be a fair assessor of others
마지막으로, [평가에 약간만 참여하는 평가자의 판단 결정]은 불공정한 것으로 간주된다. 참여에는 평가에 충분한 시간을 할애하고, 평가 과정에서 학습자를 관찰하기 위해 노력하고, 학습자에 대한 평가에 대한 책임을 지는 것이 포함됩니다. 또한 평가 시스템 내의 모든 직원은 평가 책임뿐만 아니라, 성과와 관련된 문제가 있을 경우 학습자와 의사소통할 책임이 있습니다. Finally, judgement decisions from assessors only marginally engaged in assessment are considered unfair. Engagement includes spending sufficient time on the assessment, making the effort to observe learners in the assessment process and taking responsibility for a learner's assessment, having their best interest at heart. Furthermore, all staff within the assessment system, not just those directly responsible for assessment, have a responsibility to communicate with the learner if they have any concerns with their performance.
3.3 환경 및 문화 3.3 The environment and culture
이 연구는 공정한 판단에 대한 또 다른 구성 요소인 판단 결정이 이루어지는 [환경]을 강조하였다. 학습자는 미래의 건강 전문가이며, 잘 교육된 커뮤니티의 기대가 있습니다. 따라서 판단 결정은 환자 치료와 지역사회(작업 커뮤니티 포함)에 미치는 영향을 고려하는 경우에 공정한 것으로 간주한다. 환자에게 공정하게 대하기 위해 학습자는 기대치를 충족하거나 추가 기회를 얻을 수 있어야 합니다. [환자에 대한 공정성]과 [학습자에 대한 공정성] 사이에 긴장이 있다면 환자에 대한 공정성이 더 중요하다고 판단되었다.
This study highlighted another component to fair judgement that is the environment in which the judgement decisions are made. Learners are future health professionals, and there is community expectation they are well trained. Judgement decisions are, therefore, seen as fair if they consider the impact on patient care and the community, including their working community. To be fair to patients, learners need to meet expectations or earn the right to further opportunities. If there was a tension between fairness to the patient and fairness to the learner, fairness to the patient was seen as more important.
…결국 이 문제의 중심에 있는 사람은 환자입니다… 그래서 나는 이 모든 것을 실제로 그렇게 바라볼 것이다. …but ultimately the person at the centre of this is the patients… So that’s how I would actually view this whole thing.
게다가, [어려운 판단을 내리지 않는 것]은 학습자들이 조금이라도 덜 부담스러운less high stake 상황을 바탕으로 훈련과정을 통해 더 일찍 개선할 기회를 박탈할 수 있기 때문에 불공평한 것으로 보였다. 또한 정체불명의 어려움을 겪고 있는 학습자와 함께 일해야 하는 동료와 중대한 결과를 초래하는 훨씬 더 큰 이해관계가 걸린 결정을 내려야 하는 미래의 심사원들에게도 불필요한 부담으로 이어질 수 있다. Furthermore, not making difficult judgements was seen as unfair as it may deny learners opportunities to improve earlier in training with less high-stakes consequences. It also may lead to unnecessary burdens for colleagues who are required to work with an unidentified struggling learner, and future assessors who have to make even higher stakes decisions with graver ramifications.
학습자에 대한 판단은 [학습 환경이 학습을 허용]하고 [환자 치료와 학습자 자신을 위해 학습자가 개선되기를 바라는 문화]가 있는 경우에만 공정한 것으로 간주된다. 여기에는 관련 기술과 지식을 교육하는 것, 적절한 작업 부하, 학습 요구 사항 및 피드백 문화를 표현할 수 있는 기회 등이 포함됩니다. Judgement of learners is only considered fair if the learning environment allows for learning and has a culture of wanting the learner to improve for the sake of patient care and the learner themselves. This includes ensuring relevant skills and knowledge are taught, an appropriate workload, an opportunity to express learning needs and a culture of feedback.
…주니어 컨설턴트는 매우 유능하고 업무 능력이 뛰어나지만, 단지 환경이 그것을 달성가능하게 만들어주지 못하는 것일 수도 있습니다 .…that junior consultant might be very competent and very good at their job and just not in an environment that makes that possible for them to achieve.
공정한 판단은 특히 학습자가 기대에 미치지 못할 때 [학습자의 고유한 환경을 고려]하는 환경에서만 가능합니다. Fair judgements can only occur in an environment which considers learners’ personal unique circumstances, particularly when learners are not meeting expectations.
나는 우리가 어려움을 겪고 있는 전공의에 대해 해야 할 일은, 그들의 진행 상황을 [아주 뛰어난 전공의와 비교하는 것이 공정한지]를 결정하는 것이라고 생각한다. 그런 다음 고객에게 더 많은 교육이 필요한지 여부와 개선할 수 있는 기회를 더 많이 제공해야 합니다. What I think we should do with the struggling registrar is decide whether it’s fair to compare their progress… with the registrar who is flying, I think that’s probably unfair. Then what we’ve got to decide is whether they need more training, and we need to give them more opportunities to improve.
4 고찰 4 DISCUSSION
판단 결정은 항상 [평가 시스템과 교육 시스템] 내에서 내려지며, 시스템은 인프라, 시간, 자원, 규칙, 문화 및 규정과 같은 공정한 판단 결정을 가능하게 하고 제한할 수 있다. 본 연구에서 공정한 판단에 대한 [시스템 요인]의 영향을 고려함에 있어, 문헌 검토 결과와 비교하여 다양한 요소 사이의 관계도 개선되었다. 공정한 판단 결정을 위해 복수의 심사원, 복수의 기회 및 문서가 필요하고 절차적 공정성이 이러한 시스템 구성 요소가 발생할 수 있는 프레임워크를 제공한다는 것을 확인하였다. Judgement decisions are always made within assessment and educational systems, and systems can both enable and restrict fair judgement decisions such as through infrastructure, time, resources, rules, cultures and regulations. In considering the impact of system factors on fair judgement in this study, the relationship between the different components was also refined compared to the outcome of the literature review. We identified that multiple assessors, multiple opportunities and documentation are needed for fair judgement decisions and procedural fairness provides the framework to allow these system components to occur.
이 연구는 또한 판단 결정에서 [환경의 역할]을 더 명확하게 강조했다. 보건 전문가 교육은 공백 상태에서 수행되지 않으며 공정한 판단 결정은 환자, 동료 및 더 넓은 지역사회에 미치는 영향을 고려해야 한다. This study also highlighted more clearly the role of the environment in judgement decisions. Training of health professionals does not occur in a vacuum and fair judgement decisions must consider the impact on patients, colleagues and the wider community.
우리의 연구결과는 평가에 대한 현대적 생각의 관점에서 관련성이 있다. 작업장 기반 평가는 많은 저자들에 의해 복잡한 시스템으로 인식되어 왔다.11, 26 시스템이 복잡한 경우, 해결책은 문제 자체만큼 복잡해야 할 가능성이 높고27 복잡한 시스템의 동적 및 예측 불가능한 특성으로 인해 환원주의와 가치와 방법을 효과적으로 사용하는 것은 논리적으로 불가능하다. 그러나 비선형적 현상에도 불구하고 복잡한 시스템의 역학, 여전히 경계, 내재화된 규칙 및 시스템 내 변화에 대한 지속적인 적응에 대한 요구 사항이 존재합니다.29 장기적인 관찰을 통해 패턴과 네트워크가 여전히 드러날 수 있다.24, 29 Our findings have relevance in the perspective of modern ideas about assessment. Workplace-based assessment has been recognised by many authors as a complex system.11, 26 Where the system is complex, the solution likely needs to be as complex as the problem itself27 and the dynamic and unpredictable nature of complex systems logically precludes the effective use of reductionist values and methods.28 But despite the non-linear dynamics of complex systems, there are still boundaries, internalised rules and a requirement for constant adaption to the changes within the system.29 With prolonged observation, patterns and networks can still be revealed.24, 29
이것은 의학 교육의 또 다른 지배적인 생각인 [프로그램 평가]와 연결되어 있다. 이것은 의학 교육의 또 다른 지배적인 생각인 프로그램 평가와 연결되어 있다. 프로그램 평가 원칙에는 복수의 데이터 사용, 종방향 평가, 비례성 및 의미 있는 데이터 삼각측정이 포함되며, 이를 통해 풍부한 정보 기반 의사 결정과 학습자에게 의미 있는 피드백을 제공할 수 있다. 이 연구의 데이터는 이러한 모든 전제를 뒷받침한다. 여러 명의 평가자와 평가자가 있으면 더 많은 데이터와 관점을 수집하고, 패턴을 식별하고, 구성원 확인과 삼각측정을 수행하고, 더 광범위한 역량을 평가할 수 있다. This links to another predominant idea in medical education; programmatic assessment. Programmatic assessment principles include the use of multiple pieces of data, longitudinal assessment, proportionality and meaningful triangulation of data allowing for rich information-based decision-making and meaningful feedback to the learner.30 This study's data supports all of these premises. Having multiple assessments and assessors allows for more data and perspectives to be collected, patterns to be identified, member checking and triangulation to take place, and to allow for a broader range of competencies to be assessed.31-33
프로그래밍 방식 평가에서는 데이터가 단순히 수치적으로 수집될 수 없고, 심지어 맥락적으로 유사하지 않을 수도 있으며, 평가 구성요소를 쉽게 추가하는 것은 복잡한 역량 평가에 유효하지 않다는 것이 인정된다. 반대로 데이터가 이질적이기 때문에 판단의 맥락을 고려하여 의미 있는 삼각측정이 필요하다. 문헌에서는 데이터 조합의 맥락을 고려하기 위해 특정 전문지식이 필요하다는 것이 인정되었다. 이를 위해서는 서술, 경계, 평가자 민첩성 등의 추가 도구가 필요합니다(모델 참조)..
In programmatic assessment, it is acknowledged that data cannot be simply numerically collated or even that it will be contextually similar, and that easy addition of assessment components is not valid for the assessment of complex competence. On the contrary, data which are heterogenous need to be meaningfully triangulated, considering the context of the judgement. Within the literature, it has been recognised that specific expertise is needed to consider context in the combination of data.24, 34-36 Additional tools such as narrative, boundaries and assessor agility are needed to do this, as noted in the model.
이 연구는 특히 공정한 판단은 일률적인 것이 아니며, [특정 상황 특성과 맥락을 포함해야만 목적에 적합한 것]으로 간주할 수 있다는 점을 강조했다. 전문가와 민첩한 평가자는 애매한 경계와 상황 맥락 내에서 증거를 수집, 심문, 상호작용 및 해석해야 한다. 이것은 이 연구에서 가장 두드러진 코드 중 하나였으며 20개 인터뷰 모두에서 목소리를 높였다. 놀랍게도, 이것은 표준화된 측정 기반 평가의 개념과 매우 근본적으로 상반된다. 인식론적으로도 마찬가지이다. Van der Vleuten은 평가자들 사이의 완벽한 신뢰성을 위해 노력하기 보다는, 더 적절한 목표는 평가 프로그램에서 [평가 데이터를 수집하고 합성하는 엄격한 방법을 개발하는 것]이라고 언급했다. 아마도 이 연구의 결과는 이해 당사자들이 이를 인식하고 workplace의 performance rating이 '측정'에 관한 것이라는 생각에서 벗어나, 역동적 시스템 환경에서 이뤄지는 전문가 '판단'에 더 근접함을 인식해야 함을 시사한다. 이것의 결론은 각 평가자judge가 공정하고 가치 있는 관점을 추가할 수 있는 충분한 전문지식을 가지고 있는 한, 평가자 간의 의견 차이가 반드시 불공평한 것은 아니라는 것이다. This study particularly emphasised that fair judgement is not a one-size-fits-all; the specific situational characteristics and the context must be included for it to be considered fit-for-purpose. Expert and agile assessors are required to collate, interrogate, interact with and interpret the evidence within fuzzy boundaries and context of the situation. This was one of the most prominent codes present in this study and voiced in all 20 interviews. Surprisingly, this is so fundamentally—one would say epistemologically—at odds though with the idea of a standardised, measurement-based assessment. Van der Vleuten noted that rather than striving for perfect reliability among raters, a more appropriate goal would be to develop rigorous methods of collecting and synthesising assessment data in a program of assessment.30 Perhaps, this study's finding suggests stakeholders recognise this and the need to move forward from the idea that performance rating in the workplace is not as much about measurement as it is about expert ‘judgement’ in a dynamic system environment.11, 34 The corollary of this is that inter-judge disagreement is not necessarily unfair as long as each judge has sufficient expertise to add a fair and valuable perspective.15
[의미 있고 실행 가능한 피드백]과 [평가자와 학습자 사이의 합의의 필요성]은 학습 철학을 위한 평가에서 중요한 측면이다.37-40 Lee는 특정 서술과 상황별 코멘트를 사용하는 것이 판단 자체보다 연습생에게 더 많은 정보를 제공할 수 있다고 주장한다.41 우리의 연구는 이러한 아이디어를 뒷받침했다. 학습자와 평가자 모두 학습자가 개선할 수 있는 방법에 대한 피드백을 제공하여 학습이 허용되는 경우에만 판단이 공정하다고 판단했습니다. 학습 평가는 학습자가 의도적으로 연습할 수 있는 학습 및 작업 문화에서만 수행될 수 있으며, 오류는 일반적으로 학습 기회가 된다.42, 43 본 연구는 또한 그러한 환경이 판단 결정이 공정한 것으로 받아들여지기 위해 필수적이었다고 지적했다. The need for meaningful and actionable feedback and agreement between the assessor and learner is an important aspect in an assessment for learning philosophy.37-40 Lee argues that the use of specific narratives and contextual comments may be more informative for trainees than the judgement itself.41 Our study supported these ideas. Both learners and assessors perceived judgements to be only fair if they allowed for learning, through the provision of feedback about how the learner could improve. Assessment for learning can only occur in a learning and working culture, where learners can practice purposefully, and errors typically become learning opportunities.42, 43 This study also noted such an environment was essential for judgement decisions to be accepted as fair.
우리의 데이터에 따르면 공정하고 주관적인 판단을 수용하는 것은 문제를 제기할 수 있습니다. 많은 기관의 경우, 이것은 문화적 변화 일 수 있으며, 새로운 인식론적 평가 방법에 적응하는 데 있어 교수진의 기술 격차와 어려움이 있을 수 있다.41, 44 그러나, 이 문헌 검토에 의해 확인된 공정한 인간 판단에 포함된 많은 구성요소가 반드시 새로운 것은 아니다.
복수의 평가자 사용, 종단적 평가 및 복수의 근거 수집은 많은 기관에서 공통적이다.46
투명한 기대, 방향, 절차 및 문서 또한 대부분의 교육 프로그램에서 공통적이다.
많은 사람들이 숫자만으로는 학습에 충분하지 않다고 인정함에 따라 피드백의 중요성이 평가에서 점점 더 부각되고 있다.47-51
그리고 마지막으로, 학습 환경은 의대 교육 문헌에서 점점 더 주목을 받고 있다.42
Our data suggest that embracing fair, subjective judgements can present challenges. For many institutions, this may be a cultural change44, 45 and there may be faculty skill gaps and difficulty in making adaption to new and epistemological unfamiliar methods of assessment.41, 44 This being said, however, many of the components of fair human judgement identified by this literature review are not necessarily new.
The use of multiple assessors, longitudinal assessments and collection of multiple pieces of evidence is common in many institutions.46
Transparent expectations, orientations, procedures and documentation are also common in most training programmes.
The importance of feedback is increasingly recognised in assessment and the role of narrative has become more prominent as many acknowledge that numbers alone are not sufficient for learning.47-51
And finally, the learning environment has been gaining increasing attention in the medical education literature.42
실질적인 관점에서, 특히 평가 프로그램이 아래를 갖추게 한다면 심판 결정이 '공정한' 것으로 간주되도록 하는 데 도움이 될 것이다.
결정의 정당화로써 맥락적 근거를 요구하고,
프로그램 전체에 피드백 서술에 대한 조항을 갖추고,
판단 결정을 위한 'within scope'로 간주되는 것이 무엇인지 식별하며,
전문 평가자를 참여시켜 정보를 의미 있게 수집하고 삼각측량한다.
From a practical point of view, specifically ensuring assessment programmes
require contextual evidence as justification for decisions,
have provision for feedback narrative throughout the programme,
identify what is considered to be ‘within scope’ for judgement decisions and
engage expert assessors to meaningfully collate and triangulate information will help to ensure judgement decisions are considered ‘fair’.
또한, 기관은 다음을 보장해야 한다.
다수의 평가자가 평가 프로그램에 사용되고,
의사 결정이 잘 문서화되며,
피평가자에 대한 기대가 투명하고,
의사 결정이 이루어지는 환경이 환자의 요구와 학습자 환경을 고려하도록
Furthermore, institutions can ensure
multiple assessors are used in assessment programmes,
decisions are well documented,
expectations of candidates are transparent and
the environment in which the decisions is made considers patient needs and learner circumstances.
5 결론 5 CONCLUSION
Woodruff는 의학교육연구원의 과제는 ['해결책'에 의해 산만해지는 것]이 아니라 [문제를 더 깊이 바라보는 것]이라고 지적했다.28 공정성의 정의에 대해 보편적으로 합의된 단순하고 일반적인 정의가 바람직해 보일 수 있지만, [공정한 판단의 기초가 무엇인지 더 잘 이해하기 위해 더 깊이 탐구하는 것]이 교육 기관이 실제로 공정한 판단이 무엇인지 협상하는 데 보다 유용한 설명을 가능하게 할 수 있다. Woodruff noted that the challenge for medical education researchers is to not be distracted by ‘solutions’ but to look at problems more deeply.28 Whilst a simple, universally agreed upon definition of fairness may at first glance appear to be desirable, delving deeper to better understand what the foundations of fair judgement are may allow for a more useable narrative for training institutions to negotiate what fair judgement actually is.
Med Educ. 2021 Jun 1.
doi: 10.1111/medu.14574.Online ahead of print.
Making it fair: Learners' and assessors' perspectives of the attributes of fair judgement
Introduction:Optimising the use of subjective human judgement in assessment requires understanding what makes judgement fair. Whilst fairness cannot be simplistically defined, the underpinnings of fair judgement within the literature have been previously combined to create a theoretically-constructed conceptual model. However understanding assessors' and learners' perceptions of what is fair human judgement is also necessary. The aim of this study is to explore assessors' and learners' perceptions of fair human judgement, and to compare these to the conceptual model.Results:This study supported the literature-derived conceptual model suggesting fairness is a multi-dimensional construct with components at individual, system and environmental levels. At an individual level, contextual, longitudinally-collected evidence, which is supported by narrative, and falls within ill-defined boundaries is essential for fair judgement. Assessor agility and expertise are needed to interpret and interrogate evidence, identify boundaries and provide narrative feedback to allow for improvement. At a system level, factors such as multiple opportunities to demonstrate competence and improvement, multiple assessors to allow for different perspectives to be triangulated, and documentation are needed for fair judgement. These system features can be optimized through procedural fairness. Finally, appropriate learning and working environments which considers patient needs and learners personal circumstances are needed for fair judgments.
Discussion:This study builds on the theory-derived conceptual model demonstrating the components of fair judgement can be explicitly articulated whilst embracing the complexity and contextual nature of health-professions assessment. Thus it provides a narrative to support dialogue between learner, assessor and institutions about ensuring fair judgements in assessment.
Methods:A thematic analysis approach was used. A purposive sample of twelve assessors and eight post-graduate trainees undertook semi-structured interviews using vignettes. Themes were identified using the process of constant comparison. Collection, analysis and coding of the data occurred simultaneously in an iterative manner until saturation was reached.
Clarifying essential terminology in entrustment Daniel J. Schumachera , Olle ten Cateb , Arvin Damodaranc , Denyse Richardsond,e, Stanley J. Hamstraf,g,h, Shelley Rossi , Jennie Hodgsonj, Claire Touchiek, Laura Molgaardl , Wade Goftonm, Carol Carraccion and On behalf of the ICBME Collaborators
전 세계 보건 전문가를 위한 많은 교육 프로그램에 의해 수용된 운동인 역량 기반 의료 교육(CBME)은 종종 이정표, 역량 및 위탁의 프레임워크를 사용하여 구현된다. 실제로, 위임 프레임워크를 사용하는 널리 사용되는 CBME 접근방식인 위탁 가능한 전문 활동(EPA)은 지난 10년 동안 전 세계적으로 상당한 관심을 끌었다. 위임프레임워크와 EPA의 신속하고 광범위한 채택의 의도하지 않은 결과는 이 접근방식의 핵심 개념에 대한 해석의 범위이다. 많은 간행물은 개인 또는 프로그램이 EPA를 개발하는 방법을 상세히 설명했지만, 개념과 원칙을 정확히 정의하는 데는 제한적인 주의를 기울였다. 그 결과 EPA가 공식화되고 위임의사결정의 기반이 되는 핵심 개념과 원칙을 설명하는 언어의 명확성이 부족하다. 이러한 혼동을 해결하기 위한 유용한 시도가 있었지만, 이러한 노력은 종종 특정 영역에 초점을 맞추지 못했다.
Competency-based medical education (CBME), a movement embraced by many education programs for health professions worldwide, is often implemented using the frameworks of milestones, competencies, and entrustment (Licari and Chambers 2008; Bok 2015; Molgaard et al. 2018; Powell and Carraccio 2018). Indeed, entrustable professional activities (EPAs), a prevailing CBME approach using the entrustment framework, have garnered substantial interest worldwide over the past decade (Chen et al. 2015; Carraccio et al. 2017; Duijn et al. 2019; Meyer et al. 2019; Molgaard et al. 2019; O’Dowd et al. 2019; Shorey et al. 2019). An unintended consequence of the rapid, widespread adoption of the entrustment framework and EPAs is the range of interpretations of the central concepts of this approach. Many publications have detailed how individuals or programs are developing EPAs, but limited attention has been paid to precisely defining concepts and principles (O’Dowd et al. 2019; Shorey et al. 2019). The result is a lack of clarity in the language describing the key concepts and principles upon which EPAs are formulated and entrustment decision-making is based (ten Cate 2014; ten Cate et al. 2016; Taylor et al. 2017; Tekian 2017; Melvin et al. 2019). Useful attempts have been made to address this confusion; however, these efforts have often limited their focus to specific areas (Englander et al. 2013; ten Cate 2013, 2020; Sklar 2015; ten Cate et al. 2015; Post et al. 2016; Taylor et al. 2017; Tekian 2017).
본 문서는 (1) 의료 교육 전반에 걸친 위탁 의사결정 개념에 대한 공통 사전 제안 및 (2) 위탁의 맥락과 결과에 대한 공통 정신 모델을 옹호함으로써 위탁 구조에 대한 보다 포괄적인 설명을 제공하는 것을 목표로 한다. 우리는 [언어를 명확히] 하고 [용어를 보다 정확하게 정의]하는 것이 교육자, 연구자 및 저자를 위한 참조가 되어서, 혼란을 줄이고 매우 필요한 공유 정신 모델을 발전시킬 수 있다고 믿는다. 우리는 언어가 살아있는 것이라는 것을 인정하며 어떤 작가도 언어의 사용에 대해 완전한 통제권을 가질 수 없다는 것을 인정한다. 우리가 위임에 관한 명확화에 기여하고자 하는 이유는, 언어가 교육과 평가 관행을 형성할 수 있는 힘을 가지고 있다는 확신 때문이며, 이것이 현재의 글쓰기에 대한 우리의 동기를 부여한 근본적인 목적이다. 본 문서는 개념과 정의가 저자들의 관점을 반영한다는 본질적인 한계를 가지고 있지만, 우리는 모두 국제 CBME 공동작업자 그룹의 일원이며 이 주제에 대해 경험이 있을 뿐 아니라 헌신적이라는 점에 주목할 가치가 있다고 생각합니다.
This article aims to offer a more comprehensive clarification of the entrustment construct by (1) proposing a common lexicon for the concepts of entrustment decision-making across the continuum of medical education and (2) advocating a common mental model for the context and consequences of entrustment. We believe clarifying language and more precisely defining terminology as a reference for educators, researchers, and authors contributing to this literature can reduce confusion and advance a much-needed shared mental model. We acknowledge that language is a living thing and no authors can ever have full control over its use. The reason we want to contribute to clarification around entrustment talk is our conviction that language has the power to shape education and assessment practices, and it is this underlying purpose that has motivated us for the current writing. Although this paper has the inherent limitation that the concepts and definitions reflect the authors’ views, we believe it is worth noting that we are all members of the International CBME Collaborators group and are both dedicated to this topic as well as experienced in it.
위임체계 및 위임 가능한 전문활동 The entrustment framework and entrustable professional activities
다양한 수준의 감독활동을 할 수 있는 신뢰의 관점에서 학습과 평가를 고려하는 위임 프레임워크는 여러 가지 장점이 있습니다.
첫째, 위임 프레임워크는 양질의 관리를 제공하기 위해 얼마나 많은 감독이 필요하거나 필요하지 않은지를 고려하게 함으로써, [환자를 학습 및 평가 공식의 한 부분으로] 가져온다.
둘째, EPA를 구체적으로 사용하는 경우, 위임 프레임워크는 (학습자가 중요한 역량을 통합할 것으로 요구되는) 전문직의 진정한 활동authentic activity을 관찰하고 지도하도록 임상 감독자를 배치한다.
마지막으로, 그리고 아마도 가장 중요한 것으로, [EPA는 개인이 신뢰받을 수 있는 실제 전문적 실천요강의 단위를] 나타내며, 결국 [인구집단의 요구]에 따라 [감독 없이 practice하고, 다른 사람들을 감독할 수 있는 능력]으로 귀결된다(Vandewaetere et al. 2015).
The entrustment framework, which considers learning and assessment through the lens of being trusted to perform activities with various levels of supervision, has several strengths.
First, the entrustment framework brings care of the patient into the learning and assessment equation by considering how much supervision is, or is not, needed to provide quality care.
Second, when using EPAs specifically, the entrustment framework positions clinical supervisors to observe and coach authentic activities of the profession that require the learner to integrate critical competencies.
Finally, and perhaps most importantly, EPAs represent actual units of professional practice that individuals can be trusted to do with varying levels of supervision, culminating in the ability to practise without supervision and to supervise others, based on the needs of populations served (Vandewaetere et al. 2015).
따라서 교육적 실무의 목적을 위해, 전문적 활동을 위임받는 과정에서 학습자를 지원할 학습 경험을 확인하고 개발하는 직업 EPA에서 역방향 비전 프로세스에 참여한다. Thus, for educational practice purposes, one engages in a backward visioning process from the profession’s EPAs to identifying and developing learning experiences that will support learners’ in their progress toward becoming entrusted with those professional activities.
독립적 진료행위, 감독되지 않은 진료행위, 자율성, 감독 및 감독 구분 Differentiating independent practice, unsupervised practice, autonomy, supervision, and oversight
독립적 진료행위 Independent practice
EPA 및 그와 관련된 위임 감독 척도에 대한 초기 작업은 관리 제공이 궁극의 '독립적 진료행위' 수준으로 개선됨에 따라 감독을 점진적으로 축소하는 데 초점을 맞췄다(Ten Cate 등. 2010). 그러나 [독립성]을 개념화하는 것은 어려운 일이다(Schumacher et al. 2013). 교육 환경에서 독립이라는 단어는 개인이 교사나 감독자에게 의존하지 않는다는 것을 나타내기 위해 사용될 수 있지만, [직장 동료들로부터의 독립]이라는 개념으로 합해질 수 있다. [독립]을 [의사가 환자의 병을 고치는 기술이나 지혜의 고립된 원천이라는 시대착오적인 개념]과 혼동해서는 안 된다. 설령 시골에 혼자 있는 의사라도 간호사, 조수, 또는 그들이 협력할 수 있는 다른 건강 관리 동료들을 갖게 될 것이다. Early work on EPAs and their related entrustment-supervision scales focused on gradually lessening supervision as care delivery improves to an ultimate level of ‘independent practice’ (ten Cate et al. 2010). However, the conceptualization of independence has been challenged (Schumacher et al. 2013). The word independence in an educational setting may be used to signify that an individual is not dependent on a teacher or a supervisor, but it may also be conflated with independence from co-workers. Independence should not be confused with the anachronistic notion that a medical professional is an isolated wellspring of skills or wisdom, fixing whatever ails a patient. Even a solo practitioner in a rural area will have a nurse, assistant, or other health care colleagues with whom they can collaborate.
그들은 또한 질문에 대한 답을 찾기 위해 접근할 수 있는 자원을 갖게 될 것이다. 예를 들어, 그들은 인터넷에서 의료 문헌과 기타 자원을 검색할 수 있고, 전화나 전자적 수단을 통해 컨설턴트 및 기타 의료 기관과 연결할 수 있다. 따라서 이러한 점을 고려한다면, 의사는 독립적으로 진료하고 있지 않다. '독립'이란 단어는 의사가 전적으로 그들 자신의 지식, 기술, 능력, 그리고 수단에만 의존한다는 것을 의미한다. 따라서, 우리는 이 단어를 사용하지 않을 것이며, 대신 의료 서비스가 실제로 제공되는 방식과 일치하는 [감독되지 않은 진료행위]를 사용할 것이다.
They will also have resources that they can access to seek answers to their questions; for instance, they can search the medical literature and other resources on the Internet, and they can connect with consultants and other health care providers via telephone or electronic means. These individuals are not practising independently, which would imply they are left entirely to their own knowledge, skills, abilities, and means. Thus, our preference is to avoid this word altogether and instead speak of unsupervised practice, which is consistent with how health care is actually delivered.
자율성 Autonomy
종종 감독supervision이 자율성autonomy에 반대되는 것으로 간주하는 경우가 많다(Schumacher et al. 2013). 이 틀에서 개인은 [감독을 받거나 자율성을 부여받을] 수 있다. 우리는 이러한 관점을 지지하지 않으며, Schumacher 등이 제안한[자기 결정 이론에서 정한 자율성의 정의]를 채택할 것이다: 자신의 의지에 따라 행동한다(Ryan and Deci 2000; Schumacher et al. 2013). 감독을 받는 안전한 환경에서 이러한 능력을 부여하면, 학습자는 [현재의 competence 수준(할 수 있는 것)]에서 [capability를 입증하는 것(할 수 있지만 아직 하지 못한 것)]으로 나아갈 수 있다.
Often supervision is thought of as the antithesis of autonomy, as if they are at opposite ends of the same spectrum (Schumacher et al. 2013). In this framing, an individual can either be supervised or be granted autonomy. We do not support this view but rather align with Schumacher and colleagues who suggest adopting the definition of autonomy set forth in self-determination theory: acting of one’s own volition (Ryan and Deci 2000; Schumacher et al. 2013). Granting this ability in the safe setting of being supervised allows individuals to progress from their current level of competence (what they can do) to demonstrating their capability (what they are able to do but have not yet done) (Fraser and Greenhalgh 2001).
이는 학습을 발전시킬 뿐만 아니라, 감독자가 개인의 성과에 대한 leading edge를 밀고 관찰하여 감독을 줄일 수 있는 준비 상태에 대한 결정을 내릴 수 있도록 한다. 자율성은 accountability and liability을 반영하는 법적인 의미를 가지고 있지만, 많은 ealy-career autonomous medical professional들은 그들의 고품질 진료행위을 강화하기 위해 멘토링이나 코칭을 필요로 하거나 원하고 있다(Donahue et al. 2021; Duijn et al. 2020). This not only advances their learning but also positions supervisors to push toward and observe the leading edges of individuals’ performance to make determinations about their readiness for less supervision. Autonomy has a legal connotation reflecting accountability and liability, but many early-career autonomous medical professionals need or desire mentorship or coaching to strengthen their high-quality practice (Donahue et al.2021; Duijn et al.2020).
감독과 감시 Supervision and oversight
감독은 일반적으로 [다른 의사의 치료와 행동을 감독하는 것]으로 임상 환경을 생각하면 이해가 쉽다. 그러나 '감독'의 정의가 달라지면서 복잡성이 발생하였다(Lingard와 Goldszmidt 2020).
임상 감독은 영국 심리학 저널에서 다음과 같이 정의되었다.
'선배/자격 보건의가 사례 중심적이고 동료(감독관)의 작업을 지원, 지시 및 안내하는 강도 높은 관계 기반 교육과 훈련을 공식적으로 제공하는 것'
품질관리, 감독자의 역량과 역량 유지 및 촉진, 감독자의 효과적인 업무 지원 등의 기능을 수행한다.'(Millne 2007).
Kilminster와 동료들은 의학교육에 대한 감독을 다르게 정의하며,
'[안전하고 적절한 환자 진료를 제공하는 수련생 경험]의 맥락에서 [개인, 전문적, 교육적 발달 문제에 대한 지침과 피드백을 제공]하는 것'으로 정의한다(Kilminster et al. 2007).
Supervision is generally well understood in the clinical setting as overseeing another practitioner’s care and actions. However, definitions of supervision diverge, creating complexity (Lingard and Goldszmidt2020).
Clinical supervision has been defined in the British Journal of Psychology as
‘the formal provision, by senior/qualified health practitioners, of an intensive relationship-based education and training that is case-focused and which supports, directs, and guides the work of colleagues (supervisees).
Its function includes quality control, maintaining and facilitating the supervisees’ competence and capability, and helping supervisees to work effectively’ (Milne 2007).
Kilminster and colleagues define supervision in medical education differently, as
‘the provision of guidance and feedback on matters of personal, professional, and educational development in the context of a trainee’s experience of providing safe and appropriate patient care’ (Kilminster et al. 2007).
이 두 가지 정의 모두 일반적으로 국어사전에 반영되어 있는, 감독에 대한 [보다 공식적이거나 위계적인 역할 설명(말 그대로 '위에서-본다')이 부족하다. 임상 감독으로서의 감독은 의료 교육 분야에서 케네디와 동료의 작업에 의해 잘 설명된다(Kennedy et al. 2007). 감독에 대한 guidance and oversight 관점을 결합함으로써, ten Cate는 목적에 더 적합한 것으로 보이는 임상 감독을 위한 새로운 정의를 제안했다.
[관찰 및 지도]에 의한 [의료 관련 학습 및 효과적인 업무]에 대한 [지침 및 지원]을 제공하는 것으로서,
필요한 경우, [책임자의 위치]에서 [정확하고 안전하게 업무를 수행하도록 보장]하는 업무 또는 활동의 수행
Both of these definitions suffer from a lack of a more formal or hierarchical role description of supervision (literally ‘over-sight’), reflected in common dictionaries. Supervision as clinical oversight is also well elaborated by the work of Kennedy and colleagues in medical education (Kennedy et al.2007). Combining both the guidance and oversight perspectives of supervision led ten Cate to propose a new definition for clinical supervision that seems a better fit for the purpose:
‘The provision of guidance and support in learning and working effectively in health care by observing and directing,
when necessary, the execution of tasks or activities to ensure that they are done correctly and safely, from a position of being in charge’ (ten Cate 2018).
신뢰도, 신뢰, 위임, 임시 및 최종 위임 결정, 위임 가능성 및 준비 상태 Trustworthiness, trust, entrustment, ad hoc and summative entrustment decisions, entrustability, and readiness
신뢰도 Trustworthiness
신뢰성trustworthiness은 [사람들이 여러분에게 의지할 수 있도록 하는 항상 선하고 정직하고 성실한 특질(옥스포드 영어 사전)]이라는 의미를 가지며, 다른 사람이 (그 사람을) 신뢰할 수 있게 기여 하는 개개인이 보이는 일군의 특질이나 행동으로 구성된다. 그 다음에 신뢰trust를 다룬다. 신뢰성만으로는 위임 결정을 내리기에 충분하지 않기 때문이다.
Trustworthiness (‘the quality of always being good, honest, sincere, etc. so that people can rely on you’ – Oxford English Dictionary) consists of traits or behaviours that individuals demonstrate, which contribute to others trusting them. We address trust next, as trustworthiness alone is not sufficient to make entrustment decisions.
케네디와 동료들은 의학 교육의 맥락에서 학습자의 신뢰성의 네 가지 구성 요소를 보고한다.
(1) 지식과 기술,
(2) 양심(즉, 철저성과 의존가능성),
(3) 분별력(즉, 자신의 한계를 인식하고, 도움을 구하려는 의지),
(4) 진실성(Kennedy et al. 2008)
Kennedy and colleagues report four components of trustworthiness of learners in the context of medical education:
(1) knowledge and skill,
(2) conscientiousness (i.e. thoroughness and dependability),
(3) discernment (i.e. awareness of limitations and willingness to seek help), and
(4) truthfulness (Kennedy et al. 2008).
이 작업 20년 전, 경영 문헌에서 메이어와 동료들은 신뢰성의 핵심 요소로서 [능력, 무결성 및 자비심]을 제안했다(Colquitt et al. 2007). 능력, 즉 지식과 기술은 직무에 분명히 내재되어 있지만, 신뢰성을 결정하는 다른 특성은 그렇지 않다. 이것은 [일반적general 신뢰성]이 [작업-특이적 신뢰성]과 구별되어야 하는지에 대한 의문을 제기한다. [일반적인신뢰성]은 정직, 도움을 구하는 것, 그리고 신뢰성과 같은 특징을 보이는 경향이 있는 개인을 가리키는 데 사용될 수 있습니다.
Two decades before this work, in the management literature, Mayer and colleagues proposed ability, integrity, and benevolence as key components of trustworthiness (Colquitt et al. 2007). Ability, or knowledge and skill, is obviously inherent to a task, but the other characteristics that determine trustworthiness are not (ten Cate and Chen 2020). This raises the question whether general trustworthiness should be distinguished from task-specific trustworthiness. General trustworthiness can be used to refer to an individual who tends to display features such as honesty, help-seeking, and dependability.
그러나 이 사람조차도 주어진 작업에 필요한 지식과 기술을 갖추지 못할 수 있습니다. 따라서 [작업-특이적 신뢰성]을 입증하지 못할 수 있습니다.
자기자신의 한계를 알고 있는 진실되고 양심적인 소아과 의사를 떠올려보라. 그들은 일반적인 신뢰를 가지고 있는 것으로 보일 수 있다. 또한, 귀 감염이 발생한 어린이를 관리하기 위한 [과제-특이적 신뢰성]이 뛰어날 수 있습니다. 그러나 신경외과에 대한 교육을 받지 않은 이상 소아 뇌종양을 절제하는 지식과 기술은 거의 제한적입니다. 그러므로, 그들은 이 수술 절차에 대한 [작업-특이적 신뢰성]이 부족하다.
However, even this person may not possess the requisite knowledge and skill for a given task. Therefore, they may not demonstrate task-specific trustworthiness.
Consider a truthful, conscientious pediatrician who is aware of their limitations. They may be seen as possessing general trustworthiness. They may also possess excellent task-specific trustworthiness for managing a child presenting with an ear infection. However, unless also trained in neurosurgery, they almost certainly have very limited, if any, knowledge and skill for resecting a pediatric brain tumor. Therefore, they lack task-specific trustworthiness for this surgical procedure.
[일반적 신뢰성]과 [작업-특이적 신뢰성]의 이러한 차이는 일반적 신뢰성은 작업 특이적 신뢰성의 필요조건이지만 충분 조건은 아닌 이유를 보여준다. 마찬가지로, 일반적인 신뢰도는 특정 작업에 대한 준비 상태와 동일하지 않다.
This distinction between general and task-specific trustworthiness underscores why general trustworthiness alone is necessary but not sufficient for being trusted to perform a specific task. Similarly, general trustworthiness does not equate with readiness for a specific task.
신뢰, 위임, 임시 및 최종 위임 결정 Trust, entrustment, and ad hoc and summative entrustment decisions
신뢰trust는 명사이자 동사이다. 명사로서 trust에 대한 정의는 Mayer와 동료의 것이 가장 많이 인용된다.
'다른 당사자를 감시하거나 통제할 수 있는 능력에 관계 없이, [신뢰자trustor에게 중요한 특정 행위]를 [다른 당사자가 수행하리라는 기대에 따라] 타 당사자의 행동에 취약해질 수 있는 의지'
Trust is both a noun (a psychological attitude) and verb (the act of relying on someone or something) (Castelfranchi and Falcone 2010). Mayer and colleagues’ definition of the noun is most cited:
‘the willingness of a party to be vulnerable to the actions of another party based on the expectation that the other will perform a particular action important to the trustor, irrespective of the ability to monitor or control that other party’ (Mayer et al. 1995).
동사로서 Trust보다 '위임entrustment'에 더 관련이 있는 것은 Enstruting이다.
(누군가에게) 개인, 조직 등에 가치 있거나 중요한 것에 대한 책임을 부여하는 것
More relevant for entrustment than the verb trust is entrusting:
‘to assign the responsibility for something valued or important to a person, organization, etc.’ (Oxford English Dictionary).
위임은 trustor가 다른 개인(trustee)에게 부여하는 것이다. 타인을 위임하는지의 여부에 있어 인지된 신뢰성trustworthiness이 주요 요소이기는 하지만, 타인을 위임하는 과정은 다른 요인의 영향을 받고 미묘한 차이를 보인다. Dijksterhuis, Hauer 등은 작업장의 위임 결정에 영향을 미치는 다섯 가지 요소 그룹을 설명하였다. Entrustment is granted by a trustor to another individual (a trustee). While perceived trustworthiness is a primary factor in whether or not another individual is entrusted, the process of entrusting another is nuanced and influenced by other factors. Dijksterhuis, Hauer and others have described five groups of factors that affect entrustment decisions in the workplace:
the trustee,
the trustor,
the task,
the context, and
the trustee–trustor relationship (Dijksterhuis et al. 2009; Hauer et al. 2014).
따라서, 한 preceptor에 의해 간접적인 감독을 받을 준비가 되어 있는 것으로 보이는 학습자라도, [연습생을 알지 못하는 다른 preceptor]에게는 신뢰를 받지 못할 수 있다. 환자의 질병의 심각성, 제공되어야 할 치료의 어려움과 위험, 낮이든 밤이든 상관의 경험과 신뢰 성향, 그리고 임상 환경의 분주함이 모두 연습생에게 맡기는 임시 결정의 역할을 한다. 위임은 학습자의 준비와 무관하게 수행될 수도 있고 발생하지 않을 수도 있습니다. 이것은 심리상태로서의 [신뢰trust]와 행위로서의 [위임entrustment]의 차이를 강조한다. 신뢰는 필요하지만 위임 결정을 내리기에는 충분하지 않다.
개인은 신뢰할 수 있고 신뢰자와 긍정적인 관계를 맺을 수 있지만, 관련된 상황 및 위험 때문에 trustor들이 업무를 맡기지 않을 수도 있다.
마찬가지로, [높은 수준의 신뢰성를 보이는 개인]일지라도, [신뢰에 대한 신뢰자의 제한된 성향]과 [다른 고려사항] 때문에 특정 업무가 위임되지 않을 수 있다.
이러한 이슈로 인해 학자들은 [위임 결정]으로부터 [신뢰]를 분리하게 되었다.
Thus, a learner who may seem ready for indirect supervision (or who is entrusted with indirect supervision) by one preceptor may not be trusted by a different preceptor who is not acquainted with the trainee. The severity of illness of the patient, the difficulty and risk of the care to be provided, the time of day or night, the experience and trust propensity of the supervisor, and the busyness of the clinical environment all play a role in ad hoc decisions to entrust trainees. Entrustment may or may not happen, even independent of the learner’s readiness for it. This underscores the differentiation between trust as a state of mind and entrustment as an act. Trust is necessary but not sufficient to make an entrustment decision.
An individual may be trustworthy and have a positive relationship with the trustor but many not be entrusted with a task because of the context and risk involved.
Similarly, an individual who demonstrates a high level of trustworthiness may not be entrusted with a specific task because of a trustor’s limited inclination to trust and other considerations.
These issues have led scholars to separate trust from entrustment decisions (Mayer et al. 1995; Damodaran et al. 2017; Holzhausen et al. 2017; ten Cate et al. 2020).
[신뢰trust]와 [위탁entrustment]의 관계를 복잡하게 만드는 것은, 감독자들마다 상황, 업무, 심지어 위험과 상관없이 신뢰 성향이나 신뢰 의지에 있어서 서로 다르다는 점이다. [신뢰 성향trust propensity]은 인지된 위험과 실제 위험을 고려해야 한다. [실제 위험]은 [맥락과 과제]에 내재되어 있다. 그러나 [인지된 위험]은 감독자마다 다를 수 있으며 따라서 [trustor에게 내재적instrinsic]이다. 쇼크 상태의 환자를 삽관하기 어려운 경우와 같이 위험이 높은 경우 실제 위험과 인지 위험 사이에 일반적인 합의가 있을 수 있습니다. 그러나, 한 교사가 다른 교사가 하지 못하게 하는 일을 할 수 있도록 하기 위해, 교사의 위험 관용과 경험 수준에 따라 위험에 대한 다른 인식이 있을 수 있습니다. Complicating the relationship between trust and entrustment, supervisors differ in their trust propensity, or their willingness to trust a person regardless of the context, task, and even risk involved (ten Cate 2017). Trust propensity necessitates consideration of perceived and actual risk. Actual risk is intrinsic to the context and task. However, perceived risk may differ across supervisors and is therefore intrinsic to the trustor. There may be general agreement between actual and perceived risk when risk is high, such as with a difficult intubation of a patient in shock. However, there may be different perceptions of risk based on a preceptor’s risk tolerance (determining their trust propensity) and experience level, such that one preceptor may allow learners to do things another preceptor would not let them do.
마찬가지로 신뢰 성향은 [인식된 편익]과 [실제 편익]에 따라 달라질 수 있다. 예를 들어, 수탁자를 병원에 혼자 두고 집으로 돌아가 이 결정으로 인해 야간 혜택을 받는 교사를 예로 들 수 있다. 이는 또한 보다 멀리 떨어진 감독을 통해 자신감을 쌓을 기회를 원하는 수탁자에게 도움이 될 수 있으며, 그렇지 않을 경우 준비되지 않은 수탁자가 노출될 수 있다. 즉, 학습자에게 업무를 맡기는 경향은 위탁자가 인지하는 위험과 혜택에 영향을 받습니다(10개 항목 2017).
Similarly, trust propensity may vary on the basis of perceived and actual benefits. For example, a preceptor who leaves the trustee alone in the hospital and goes home for the night benefits from this decision. This may also benefit the trustee who desires the opportunity to build confidence through practising with more distant supervision or it may leave an unprepared trustee exposed. In short, the tendency to entrust learners with tasks is influenced by the trustor’s perceived risks and benefits of entrusting (ten Cate2017).
신뢰할 수 있고, 신뢰할 수 있으며, 실무에 대한 준비 상태 Entrustable, entrustability, and readiness for practice
직장에서의 신뢰성trustworthiness이라는 단어는 지식 및 능력뿐만 아니라 성격적 특성을 떠오르게 한다. 그 결과 [일반적 신뢰성]과 [업무 특이적 신뢰성] 사이의 미묘한 차이 때문에 [(당신을) 아직 신뢰할 수 없다]는 피드백은 쉽게 오해를 받는다. 이러한 오해를 해소하기 위해, 학습자를 설명할 때 trustworthiness라는 단어를 entrustable 이라는 단어로 대체하는 경우가 많습니다. 때때로, 이것은 학습자가 가지고 있는 신뢰성의 수준을 논의함으로써 운영화된다. 그러나, '위임'이라는 단어는 학습자가 [수행하는 활동activity]을 특징지으며, 해당 활동을 [수행하는 사람the person]에게 할당되는 것이 아니다(10년, 2005년, 2020년).
As the word trustworthiness in the workplace brings to mind character traits as well as knowledge and abilities, feedback that one is not yet trustworthy is easily misunderstood because of the nuances between general and task-specific trustworthiness. To address this misunderstanding, individuals often substitute the word trustworthiness with the word entrustable when describing learners. Sometimes, this is operationalized by discussing the level of entrustability that a learner possesses. However, the word entrustable was meant to characterizeactivitiesthat a learner performs and not to be assigned tothe personwho is performing them (ten Cate2005,2020).
이러한 오용 때문에 Cate는 학습자를 enstrustable 또는 pre-entrustable로 qualifying하는 것이 부정확할 뿐만 아니라, [ordinal entrustment-supervision scale를 잘못 해석하는 것]으로 이어질 수 있다고 지적했다. [적절한 감독 수준에 대한 결정이나 권고]가 아니라, 이 scale을 [숙련도의 연속형 척도]로 볼 오해가 있다는 것이다. 이 척도는 이러한 방식으로 사용하도록 만들어진 것이 아니다. 더욱이, [상사가 물리적으로 존재하는 것]과 [물리적으로 존재하지 않는 것] 사이의 등급은 비논리적이다. 감독관은 유령과 같은 모습으로 존재할 수 없다. 감독관은 있든지 없든지 둘 중 하나다. 이러한 이유로, 당사는 학습자를 위임 또는 사전 위임으로 지칭하는 것뿐만 아니라, 위임의 정도degree of entrustability를 기술하는 척도를 사용하지 않는 것에 동의합니다. 오히려, 우리는 [practice을 위한 준비 상태]라는 용어를 사용하는 것을 지지한다.
This misuse has led ten Cate to argue that qualifying learners as entrustable or pre-entrustable (Association of American Medical Colleges2014; Englander et al.2016) not only is inaccurate but may also lead to a misinterpretation of ordinal entrustment-supervision scales, moving away from the discrete recommendations or decisions of a level of supervision and instead interpreting the scales as a continuous measure of proficiency (ten Cate2020). These scales are not intended to be used in this manner. Furthermore, a rating between a supervisor being physically present and being not physically present is illogical. A supervisor cannot be present as a ghostly apparition. Either they are present or they are not present. For this reason, we agree with discouraging the use of scales that describe degrees of entrustability as well as referring to learners as entrustable or pre-entrustable. Rather, we advocate using the term readiness for practice.
다양한 단계의 교육 및 전문 분야에 대한 위임 결정 표현 Expressing entrustment decisions for various stages of training and specialties
위임의 개념은 훈련 단계와 의료 실무 분야 전반에 걸쳐 안정적이다(즉, supervision없이 practice할 준비가 되어 있다는 것은 특정 작업에 대한 감독 없이 일할 수 있다는 것을 의미하며, 이는 그 사람이 학생이든 전공의든 수의사든 치과의사든 마찬가지다). 그러나 특정 단계의 훈련 및 실무에 대해서는 위임 감독 척도에 사용되는 언어의 추가 관리 및 특수성이 보장될 수 있다(Rekman et al. 2016; 10 Kate et al. 2020). 대부분의 경우 일반적인 5단계 위임 관리 규모가 사용됩니다. The concept of entrustment is stable across stages of training and fields of heath care practice (i.e. readiness to practice without supervision means an individual can work without supervision for a given task whether they are a student, a resident, a veterinarian, or a dentist). However, additional levels of supervision and specificity of language used in entrustment-supervision scales may be warranted for particular stages of training and fields of practice (Rekman et al. 2016; ten Cate et al. 2020). Most often, a generic five-level entrustment-supervision scale is used:
May be present but may not practise the EPA;
May practise the EPA under direct, proactive supervision, with supervisor physically present in the room;
May practise the EPA under indirect, reactive supervision, with supervisor not physically present but quickly available;
May practise the EPA unsupervised;
May act as supervisor for others for the EPA (ten Cate et al. 2010).
이것은 학부 의대 교육을 위해 Chen과 동료들에 의해 더욱 정교하게 설명되었습니다. 그들은 학생들이 무언가를 관찰하는 것조차 허락되지 않을 수도 있는 하위 단위에 추가적인 수준을 추가하였습니다(Chen 등. 2015).
This has been further elaborated by Chen and colleagues for undergraduate medical education; they have added additional levels at the lower end where a student may potentially not even be allowed to observe something (Chen et al. 2015).
주어진 분야 내에서 실무 분야와 전문 분야 간에 위임-감독 척도를 달리해야 할 필요성도 주목할 필요가 있다.
Hatala와 동료들이 지적하듯이, 많은 [내과 과업]들이 [외과]와 같은 시술 전문분야의 과업들보다 less well-circumscribed되어 있다(Hatala et al. 2019). 내과에서 많은 학습자 활동을 면밀히 모니터링하지만 직접 관찰하지는 않는다. (하탈라 외. 2019; 멜빈 외. 2019)
또한, 마취과 의사의 핵심위임질문에 대한 Weller와 동료의 인식은 다음과 같다. '수술방을 떠나도 될까?' (그리고 담당 레지던트를 떠나도 될까?)
마지막으로, 미국의 소아과 커뮤니티에서 인기 있는 Chen 위임-감독 척도의 언어는 해당커뮤니티에서 위임 및 감독에 대한 정신적 모델의 요구를 충족하고 그에 맞게 조정되었다(Schumacher et al. 2020).
The need for differing language for entrustment-supervision scales between fields of practice and specialties within a given field is also important to note.
As Hatala and colleagues note, many internal medicine tasks are less well-circumscribed than the tasks in procedural specialties such as surgery (Hatala et al. 2019). Much learner activity in internal medicine is closely monitored but not directly observed (Hatala et al. 2019; Melvin et al. 2019).
Furthermore, Weller and colleagues’ perception of the core entrustment question in the minds of anesthesiology attendings is: ‘Can I leave the operation theatre?’ (and leave the resident in charge) (Weller et al. 2014).
Finally, in the pediatric community in the United States, the language of the popular Chen entrustment-supervision scale has been adapted to meet the needs of, and align with, the mental model of entrustment and supervision in that community (Schumacher et al. 2020).
때때로 분야와 전문 분야 간의 감독에 대한 정신적 표현의 차이에서 비롯된 이러한 언어 문제는 일률적인 해결책으로는 해결될 수 없다. 우리는 감독 수준의 일반적인 프레임워크가 남아있어야 한다고 생각하지만, 그 프레임워크 내에서 수정adaptation하는 것이 유익하다. 본 문서에서는 상황에 맞는 적절한 위임-감독 척도를 도출하는 방법에 대한 지침을 제공할 수 없지만, 다양한 분야와 전문 분야의 교육자와 학자들은 가장 효과적인 언어 및 필요한 수의 감독에 대해 자세히 설명할 수 있다.
These language issues, sometimes stemming from differences in mental representations of supervision between field and specialties, cannot be resolved with a one-size-fits-all solution. We believe that the generic framework of levels of supervision should remain, but within that framework adapations are beneficial. Guidelines around how to derive contextually suitable entrustment-supervision scales cannot be offered in this paper, but educators and scholars in various fields and specialties can elaborate for their field or specialty the most effective language and the required number of supervision levels.
소급평가 대 예비위임 Retrospective evaluation versus prospective entrustment
위임-감독 척도는 두 가지 방법으로 사용되었습니다. Entrustment-supervision scales have been used in two ways:
(1) O-SCORE 척도의 경우처럼, 목격한 작업에 얼마나 많은 감독, 지침 및 지원이 필요했는지 보고한다. (내가 직접 해야 했다, 구두로 지시하면 되었다 등)
(2) 아직 진행되지 않은 상황을 포함하여, 학습자가 향후 특정 활동을 수행할 때 얼마나 많은 감독을 필요로 하는지를 권고한다.
(1) to report how much supervision, guidance, and/or assistance was needed and provided for a witnessed task, as in the case of the O-SCORE scale (with levels specified as: I had to do, I had to talk them through, etc.) (Gofton et al. 2012; Rekman et al. 2016) and
(2) to recommend how much supervision a learner requires in the execution of specific activities in the future, including as-yet-undefined situations.
전자는 [발생한 관찰(즉, 후향적)을 보고하는 역할]을 하고 숙련도의 판단을 이끄는 척도이다. 후자는 전향적 위임 결정을 제공하기 위해 관찰자의 추가적인 추론을 필요로 한다.
The first is a scale that serves to report on observations that have occurred (i.e. retrospectively) and that lead to a judgment of proficiency. The second requires additional inference by the observer to render a prospective entrustment decision.
후향적 평가는 위험, 유익성 및 결과에 대한 알려진(개인적으로는 가변적 추정치이지만) 사후 판단으로 판단되는 특정 맥락에 위치한다. 본질적으로 위임 결정은 전향적인 결정이기에, 미래의 상황, 위해성, 유익성 및 결과를 미리 알 수는 없다. [위임-감독 척도]라는 용어를 사용하여 과거에 얼마나 많은 supervision가 제공되었는지를 반영하는 것은 물론, 향후 감독 수준에 대한 권고 사항도 포함하고 있음을 강조합니다.
Retrospective evaluations are situated in a specific context with known (albeit individually variable estimates of) risks, benefits, and outcomes, judged in hindsight. With entrustment decisions, which are inherently prospective, the contexts, risks, benefits, and outcomes are unknown. We suggest using the term entrustment-supervision scale, as we have done in this paper, to stress that this scale not only reflects how much supervision was provided in the past but also includes a recommendation for a future level of supervision, implying entrustment for the future.
[전향적 위임 결정]은 [일반적 신뢰성 및 업무-특이적 신뢰성]을 모두에 기초해야 한다. 이것은 다음의 두 가지를 설명한다.
필요할 때 정직하고 양심적이며 도움을 구하는 학습자의 일반적인 경향과
아마도 이후에 수행해야 할 과제에 대한 학습자의 지식과 기술(과제별 신뢰도)
Prospective entrustment decisions should be based on considering both general and task-specific trustworthiness. This accounts for
a learner’s general tendency to be honest, conscientious, and seek help when needed (general trustworthiness) as well as
a learner’s knowledge and skill for the tasks they will probably be called upon to perform (task-specific trustworthiness).
이 중 후자를 고려할 때에는 학습자가 지식과 기술을 적용함에 있어, 알려진 것에서 알려지지 않은 것으로 [외삽extrapolate할 수 있는 능력에 대한 판단]을 고려해야 한다.
This latter consideration should consider judgments about a learner’s abilities to extrapolate from the known to the unknown in applying their knowledge and skills.
잠재적 위임 결정을 내릴 때 일반적인 신뢰도를 고려할 때, ten Cate 와 Chen은 의료 분야에서 위탁을 가능하게 하는 학습자 특성 연구에 기초하여 다섯 가지 요소 그룹을 기술했다. 역량, 무결성, 겸손, 신뢰성 및 대리. 이것들은 우리가 이전에 논의한 신뢰성 구조trustworthiness construct와 잘 맞아떨어진다. 우리가 위임 결정을 내릴 때, 만약 개인이 입증된 능력 이상으로 위임을 받는다면, 그 결정과 미래의 상황에 관련된 위험은 개인의 [일반적 신뢰도]에 크게 의존하는 위탁 결정에 의해 완화된다. When considering general trustworthiness in making a prospective entrustment decision, ten cate and Chen have delineated five groups of factors on the basis of studies of learner charcteristics that enable entrustment with tasks in health care: capability, integrity, humility, reliability, and agency(ten Cate and Chen2020). These align well with the trustworthiness constructs we discussed previously. If we consider these features when making an entrustment decision, if and when an individual is entrusted beyond their demonstrated competence, the risk involved in that decision and the future situation is mitigated by the entrustment decision leaning heavily on the individual’s general trustworthiness.
위험을 추가로 평가하기 위해, ten Cate와 Hoff는 위임-기반 논의를 평가 툴킷의 일부로 포함할 것을 제안했다. 그러한 논의에는 위험과 합병증에 대한 인식에 대한 논의와 감독 감소의 위험을 측정하기 위한 '만약에…한다면 어떻게 했을 것인가'라는 질문을 부과하는 등의 간단한 대화가 포함된다.
To further assess risk, ten Cate and Hoff have proposed including entrustment-based discussions as part of an assessment toolkit (ten Cate and Hoff2017). Such discussions are multiple brief conversations that include discussing awareness of risks and complications as well as imposing ‘what would you have done if…’ questions to gauge the risks of decreased oversight.
위임어 실용화 Practical use of entrustment language
엄격한 정의를 넘어 정의된 용어를 실천할 수 있는 잠재 능력까지 확대하여 일부 위임 권고는 실제 위임 결정으로 이어질 수 없다는 점을 되새김으로써 마무리하겠습니다. 예를 들어 의대생과 전공의는 종종 기준이든 법률이든 또는 두 가지 모두이든, 명시된 어느 정도의 감독을 필요로 한다. 학습자가 완전히 유능하고 감독 없이 일할 준비가 되어 있다고 하더라도, 전문 분야에 대한 면허 또는 인증을 받지 않은 사람은 법률상 금지될 수 있습니다. 이것은 현행법에 따라 훈련 중에 제정될 수 있는 위임 결정의 범위에 제한을 둔다. 어떤 전공의에게 [감독되지 않은 진료행위]을 맡길 준비가 되었다고 판단되는 경우, 그러한 진료행위이 허용되어야 합니까?
Extending beyond strictly definitions to the potential ability to put defined terms into practice, we will end by reflecting on the fact that some entrustment recommendations cannot lead to an actual entrustment decision. For example, medical students and residents often require some level of oversight that is specified in standards, laws, or both. Even if a learner is completely competent and ready to work unsupervised, law may prohibit this if the person is not licensed or certified for a specialty. This places a limit on the scope of entrustment decisions that can be enacted during training under current legislation. If individuals are deemed ready to be entrusted with unsupervised practice, should that be permitted?
최근 보고서는 의료 직무의 '걱정스러운 진급'와 그에 따른 [교육생 책임 감소]에 주목하고 있다. 이로 인해 졸업생이 중요한 환자 진료 업무를 수행할 준비를 충분히 하지 못할 수 있다. 그러나 아직 교육 중인 개인에 대해 [감독되지 않은 의료행위]에 위임할 준비가 되어 있는 것에 대한 결정을 허용하는 것은 [유효한 위임 결정에 대한 충분한 증거가 있을 때]를 정의해야 하는 의료 교육계에 큰 책임을 지게 한다. 어렵겠지만, 우리는 이것이 우리가 성취하고자 하는 목표라고 믿는다. Recent reports have noted the ‘worrisome seniorization’ of tasks in health care and consequent decrease in responsibilities for trainees (Halpern and Detsky 2014; Dacey and Nasca 2019). This may jeopardize the readiness of graduates to perform critical patient care tasks (Mattar et al. 2013; Donahue et al. 2021). However, allowing decisions about readiness to be entrusted with unsupervised practice to be made for individuals who are still in training places enormous responsibility on the medical education community to define when there is sufficient evidence for valid entrustment decisions. While lofty, we believe this is a goal that we should seek to achieve.
이를 달성하려면 연습생은 의료 기관이나 병원 내에서 자격 증명을 받아야 합니다. 그래야 감독 없이 일할 수 있습니다. 졸업 전에 위탁 결정의 제정을 가능하게 하는 조치를 취하지 않고, 이러한 결정에는 궁극적으로 충분한 의미가 있는가? 안전망이 줄어들 때까지 누군가가 practice을 시작할 때까지 기다리는 것보다, 감독자의 감독 이상의beyond 안전망이 있는 교육 프로그램의 한계 내에서 위탁 결정을 내리는 것]이 덜 위험할 수 있다.
Achieving this would also require trainees to be credentialed within a practice or hospital so that they could be permitted to work without supervision. Without taking the step of enabling enactment of entrustment decisions before graduation, is there ultimately sufficient meaning in those decisions? It is probably less risky to make entrustment decisions within the confines of a training program, where there are safety nets beyond supervisor oversight (nursing staff, colleagues, etc.) than to wait until someone goes into practice, where the possibility of a safety net lessens.
결론 Conclusion
위임은 의료 감독관이 작업장에서 학습자를 감독하는 동안 수행하는 작업을 토대로 의료진의 관리 제공에 대한 판단을 내리도록 요구하는 평가 프레임워크이다. 또한 환자와 안전한 양질의 치료 제공을 고려한다. 만약 우리가 공유된 위임 언어에 합의할 수 있다면, 이 구조의 특징은 교육생들을 보다 총체적인 교육으로 포용할 수 있는 것이다. 그러나 유용한 프레임워크로서의 위임의 모든 편익은 프로그램 내에서, 프로그램 간에, 그리고 훈련과 실습의 연속선 전체에서 합당한 일관성을 가지고 사용될 경우에만 실현될 것이다. 이것은 우리가 본 문서에서 제공하려고 시도한 위임 언어에 대한 공통의 이해가 필요합니다.
Entrustment is an assessment framework that asks clinical supervisors to make judgments about a trainee’s care delivery on the basis of what they do while supervising learners in the workplace. Moreover, it brings the patient and the provision of safe, quality care into consideration. If we can agree on a shared language of entrustment, these characteristics of this construct present the opportunity to embrace a more holistic education of trainees. However, the full benefit of entrustment as a useful framework will only be realized if it is used with reasonable consistency within programs, between programs, and across the continuum of training and practice. This requires a common understanding of the language of entrustment, which we have attempted to provide in this paper.
Med Teach. 2021 May 14;1-8.
doi: 10.1080/0142159X.2021.1924365.Online ahead of print.
With the rapid uptake of entrustable professional activties and entrustment decision-making as an approach in undergraduate and graduate education in medicine and other health professions, there is a risk of confusion in the use of new terminologies. The authors seek to clarify the use of many words related to the concept of entrustment, based on existing literature, with the aim to establish logical consistency in their use. The list of proposed definitions includes independence, autonomy, supervision, unsupervised practice, oversight, general and task-specific trustworthiness, trust, entrust(ment), entrustable professional activity, entrustment decision, entrustability, entrustment-supervision scale, retrospective and prospective entrustment-supervision scales, and entrustment-based discussion. The authors conclude that a shared understanding of the language around entrustment is critical to strengthen bridges among stages of training and practice, such as undergraduate medical education, graduate medical education, and continuing professional development. Shared language and understanding provide the foundation for consistency in interpretation and implementation across the educational continuum.
Seeking trust in entrustment: shifting from the planning of entrustable professional activities to implementation Karen E Hauer
텐 케이트가 정의한 EPA는 [관찰 가능하고 측정 가능하며 감독자가 일정량의 자율성을 가진 수습생에게 맡길 수 있는 의사 업무의 핵심 활동]을 구성한다.1 As defined by ten Cate, EPAs constitute the core activities of physicians’ work that are observable and measurable and can be entrusted by a supervisor to a trainee with a certain amount of autonomy.1
이 논평은 EPA 계획에서 EPA의 구현으로 이동할 때 고려해야 할 여러 현안을 강조한다.
첫째, 활동의 선택에 초점을 맞추고
둘째, 신뢰의 배정 및 집계에 초점을 맞춘다.
This commentary highlights a number of issues that must be considered as we move from the planning of EPAs to their implementation, focusing
firstly on the choice of activities and
secondly on the assignment and aggregation of trust.
그러나 프로그램 간 협업은 각 프로그램에서 학습 목표의 [표준화 및 개별화의 균형]에 주의를 기울여야 한다. 즉, 프로그램은 공유된 EPA 목록을 사용하도록 선택할 수 있지만, 현지 환자 모집단, 실무적 상황practice setting, 프로그램의 사명에 고유한 EPA를 활용하여, 공유된 EPA 목록을 보완해야 할 필요성도 고려해야 한다. Cross-programme collaboration, however, requires that attention is paid to the balance of the standardisation and individualisation of goals for learning at each programme. That is, a programme may elect to use a shared list of EPAs, but it should also consider the need to supplement such a list with EPAs unique to the local patient population, practice setting or programme mission.
특정 전문직의 작업work을 대표하고, 학습자의 성과 평가를 가능하게 하려면, 프로그램의 EPA를 list of titles이 아니라 [특정 practitioner에게 요구되는 관찰 및 평가에 대한 지식, 행동, 태도 및 접근방식에 대한 상세한 설명]으로 취급하는 것이 중요하다.2,3 To represent the work of a profession, and enable assessment of learners’ performance, it is important that a programme’s EPAs be treated not as a list of titles, but, rather, as detailed descriptions of the knowledge, behaviours, attitudes and approaches to observation and assessment required by particular practitioners.2,3
위임의 개념은 [평가자의 사고방식과 일치하는 평가 전략]으로서의 초기 가능성을 제공했다.4 필요한 감독량에 초점을 맞춤으로써, 위탁은 학습자의 성과를 판단하는 데 있어 크게 다른 해석을 가능하게 하는 '양호' 및 '탁월'과 같은 용어를 더 개선하게 된다. The concept of entrustment offered early promise as a rating strategy that aligned with how evaluators think.4 By focusing on the amount of supervision required, entrustment improves upon terminology such as ‘good’ and ‘outstanding’ that is open to widely discrepant interpretation in the judging of a learner’s performance.
감독자는 위임 결정을 내릴 때 학습자와의 관계뿐만 아니라 학습자, 상황 및 과제의 여러 측면을 고려하고, 의식적으로 인식되는 경우 자신의 견해와 편견을 고려한다.4–6 또한 수술실에서의 임시 위임 수준은 쉽게 결정할 수 있지만, 전체 입원 기간 동안 또는 지속적인 외래 환자 진료 중에 환자를 돌보기 위한 수습 직원의 위임 수준을 구분하는 것은 모호하게 느껴질 수 있다. 관리자가 위임을 고려할 때 사용해야 하는 정보는 정확히 무엇이며(환자 치료 또는 팀 참여의 일부), 어떤 것이 있습니까? In forming entrustment decisions, supervisors weigh multiple facets of the learner, context and task, as well as their relationship with the learner, and, if consciously recognised, their own perspectives and biases.4–6 Further, although ad hoc entrustment may be readily identified in the operating room, discerning the level of entrustment of a trainee to provide care for a patient during an entire hospital stay or ongoing outpatient care can feel ambiguous. What exactly is being entrusted – a portion of patient care, or team participation – and what information should a supervisor use in considering entrustment?
마찬가지로, 학습자 모두가 학습 격차와 위임을 새로운 맥락으로 이전할 수 있는 방식으로 [임시 위임 등급을 전체 학습 경험에 걸쳐 어떻게 집계할 것인가]에 관한 질문이 남아 있다.7 학습자가 '위임'된다는 사실을 받아들이려면 감독관들의 신뢰가 필요하다. 감독관은 자신의 전문 분야에서 수습생을 신뢰하는 것이 어떤 의미인지에 대한 공통적이해를 바탕으로, 동료(감독관)의 사전 위임 판단을 전적으로 신뢰하기 위해 새로운 방식으로 협력해야 합니다. Similarly, questions remain with regard to how ad hoc entrustment ratings can be aggregated across learning experiences in a manner that enables both the learner to address learning gaps and entrustment to be transferred to new contexts.7 Accepting that a learner is ‘entrusted’ requires trust among supervisors. Supervisors must work together in new ways to ensure common understanding of what it means to trust a trainee within their specialty and to trust fully their colleagues’ prior judgements of entrustment.
개별 임상실습 또는 로테이션으로 엄격하게 조직된 교육 프로그램이 이 문제를 부채질한다.8 바쁜 임상환경에서, 'JIT(Just-in-Time)' 위임을 위하여 [학습자 일정 또는 환자 배정을 조정]할 수 있는 [유연성은 거의 존재하지 않을 것]이다.9 특정 로테이션이 아닌 전체 프로그램 내에서 학습자의 궤적을 종방향으로 관찰하면, 학습자 개발에 적합한 학습 활동이 배정될 가능성이 높아집니다. Education programmes that are rigidly organised within discrete clerkships or rotations fuel this problem.8 The flexibility to adjust a learner’s schedule or patient assignments based on ‘just-in-time’ entrustment may not exist in many busy clinical services.9 A longitudinal view of the learner and his or her trajectory within a whole programme rather than within a particular rotation enables greater probability that the learning activity appropriate for a learner’s development will be assigned.
이러한 과제를 해결할 수 있다면 EPA는 마침내 학부 및 대학원 의학 교육 간의 연속성을 연결할 수 있을 것이다. 현재, 적어도 미국에서는 UME-GME 이행이 고부담high stake 성격을 가져서, '뛰어난 성과', '함께 일하는 즐거움', '계속 읽읽어갈' 필요가 있다 등과 같은 표현들이 정보를 뒤덮고 있다. 그 결과, 학습자의 현재 강점과 다음 학습 단계에 대한 정보가 정직하게honest 전달되는 것이 거의 불가능해진다. 위임 언어가 협력적으로 사용된다면, 학생 교육자와 전공의 교육자 사이의 신뢰를 강화할 수 있다. If these challenges can be solved, EPAs may finally bridge the continuum between undergraduate and graduate medical education. Currently, the high-stakes nature of this transition, at least in the USA, shrouds information in a sea of language about ‘outstanding performance’, ‘pleasure to work with’ and a need to ‘keep reading’, which altogether inhibit the honest transmission of information about a learner’s current strengths and next steps in learning. The language of entrustment, used collaboratively, could enhance trust between educators of students and educators of residents.
교육자가 다양한 커리큘럼(학부, 대학원 의학 교육, 의사 및 기타 보건 전문가 교육)에 걸쳐 EPA를 사용하고 이러한 사용이 소규모 및 단일 기관 출판물의 확산을 초래한 것은 고무적이다. 이 분야는 현재 기관 전반에서 학부 의료 교육 또는 대학원 전문 분야에 대한 EPA를 정의하기 위해 발전하고 있다. 우리가 시행을 향해 나아가면서, 교육자로서 우리가 당면한 과제는 학습자와 그 교사들이 학습자의 진도와 진보에 관한 사려 깊은 결정을 내릴 수 있도록 하는 강력한 평가 데이터 수집을 포함하는 것이다.
It is encouraging that educators have used EPAs across diverse curricula (undergraduate, postgraduate medical education; physician and other health professional training) and that this use has resulted in a proliferation of small and single-institution publications. The field is now advancing to define EPAs for undergraduate medical education or postgraduate specialties across institutions. As we move towards implementation, the challenges before us as educators include committing to the robust collection of assessment data that enables learners and their teachers to make thoughtful decisions regarding learners’ progress and advancement.
Med Educ. 2019 Aug;53(8):752-754.
doi: 10.1111/medu.13920.
Seeking trust in entrustment: shifting from the planning of entrustable professional activities to implementation
Competencies, Milestones, and a Level of Supervision Scale for Entrustable Professional Activities for Scholarship Richard B. Mink, MD, MACM, Angela L. Myers, MD, MPH, David A. Turner, MD, and Carol L. Carraccio, MD, MA
문제 Problem
학술활동은 학부 및 대학원 의학 교육(GME)의 중요한 요소이며, 소아과 커뮤니티가 역량 기반 평가 모델을 거주지 및 동료에 완벽하게 통합하기 위해 노력해왔기 때문에, 우리는 교육생들의 [학술활동 수행능력 수준]을 평가하기 위한 도구가 부족하다는 것을 발견했다. 모든 전문 분야의 전공의에게 학술 활동에 참여할 것을 강력히 권장하지만, 소아 세부전공에서는 필수 사항이다. 3년 과정인 소아 세부전공 각각에 대한 ACME(Acreditation Council for Graduate Medical Education) 요건에 명시된 바와 같이, "각 펠로우십 책임자 및 지정된 멘토의 지침에 따라 학술 프로젝트를 설계 및 수행해야 합니다."1
Scholarship is an important element of both undergraduate and graduate medical education (GME), and as the pediatric community has worked to fully integrate a competency-based assessment model into its residencies and fellowships, we discovered a lack of tools for evaluating trainees’ level of performance in scholarship. Participation in scholarly activity is highly encouraged for residents in all specialties but is a requirement for pediatric subspecialty training. As noted in the Accreditation Council for Graduate Medical Education (ACGME) requirements for each of the three-year pediatric subspecialties, “Each fellow must design and conduct a scholarly project … with the guidance of the fellowship director and a designated mentor.”1
미국 소아과 위원회(ABP)- American Board of Pediatrics (ABP)-
EPA는 [역량 및 마일스톤 평가에 대한 맥락을 정의하고, 전체 의대 교육 연속체에 걸쳐 평가에 대한 접근방식을 통합하기 때문에] 평가에 대한 성과-기반 접근방식의 핵심 요소이다. EPAs are a key element of an outcomes-based approach to assessment, as they define the context for competency and milestone assessment and unify the approach to assessment across the full continuum of medical education.
저자들이 학술활동 평가를 위한 도구 부족 문제에 접근하기 시작하면서 다른 EPA에 사용된 것과 다른 프레임워크를 사용하면 전문 활동으로서 연구research를 과대평가하거나 과소평가할 위험이 있다고 생각했다. 따라서 우리는 소아과가 EPA, 역량 및 이정표의 기존 프레임워크에 통합함으로써 학술활동 평가가 최선의 구현 전략이라고 강하게 느꼈다. As the authors began approaching the problem of a lack of tools to assess scholarship, we felt that using a framework different from that used for the other EPAs would run the risk of either over- or undervaluing research as a professional activity. Hence, we felt strongly that assessment of scholarship, through incorporation into pediatrics’ existing framework of EPAs, competencies, and milestones, was the best implementation strategy.
접근법 Approach
처음에 2015년 5월에 우리는 학술활동 EPA가 개념화될 수 있는 세 가지 잠재적 패러다임 6-8을 밝히는 문헌 검색을 수행했다.
그 중 첫 번째는 Glassick의 것으로, 6은 Boyer5가 제안한 모든 형태의 학술활동에 적용할 수 있는 6가지 기준을 제안했다. 그러나 이 프레임워크에는 성과 수준이 포함되지 않았다.
의사-학자 특유의 역량을 포함하는 CANMED는 두 번째 잠재적 프레임워크를 제공했지만 교육 연속체에 걸친 포괄적인 일련의 이정표를 제공하지는 않았다.7
세 번째 프레임워크인 Vitae Researcher Development Framework(RDF) 8은 이러한 노력의 템플릿 역할을 가장 잘 수행했습니다.
Initially, in May 2015, we performed a literature search that revealed three potential paradigms6–8 in which the scholarship EPA could be conceptualized.
The first of these was from Glassick,6 who proposed six standards for scholarship applicable to all of the forms of scholarship proposed by Boyer5; however, this framework did not include performance levels.
CanMEDS, which includes competencies specific to the physician–scholar, provided a second potential framework but did not provide a comprehensive set of milestones across the educational continuum.7
The third framework, the Vitae Researcher Development Framework (RDF),8 was the one that best served as a template for this effort.
RDF는 영국에서 조사관 교육을 지원하기 위해 설립되었다.8 연구자 인터뷰를 토대로 구성되었으며, 아래 4개 분야를 포함한다.
(1) 지식과 지적 능력,
(2) 개인의 효과,
(3) 연구 거버넌스 및 조직,
(4) 참여, 영향력, 영향
The RDF was created to support the training of investigators in the United Kingdom.8 It was constructed based on interviews with researchers and includes four domains:
(1) knowledge and intellectual abilities;
(2) personal effectiveness;
(3) research governance and organization; and
(4) engagement, influence, and impact.
평가 도구(표 1 및 2)를 개발하면서 2015년 6월 ACGME에서 요구하는 기술을 포함하여 장학 EPA의 핵심 역량을 확인하고 ABP의 학술활동 커리큘럼 표준에 기술하였다.
문헌 검토 수행 및 연구 설계의 이해,
연구비 지원 방법,
생물 통계학
연구에 관련된 윤리적 원칙과 같은 것이다.
In developing the assessment tools (Tables 1 and 2), we started in June 2015 by identifying key competences for the scholarship EPA, including those skills required by the ACGME1 and described in the ABP’s scholarship curriculum standards,2 such as
performing a literature review and understanding study design,
how to apply for funding,
biostatistics, and
the ethical principles involved in research.
결과 Outcomes
평가서 최종본에서는 학술활동 [관련 위탁 결정 시 중요한 역량 8가지]를 확인하였습니다(표 1). 이러한 역량은 대부분 Glassick,6가 제안하는 내용과 유사하며, 이는 이 툴의 콘텐츠 유효성에 대한 추가 증거를 제공합니다. 각 역량에 대해 5가지 마일스톤 레벨을 개발했으며, 다른 소아과 이정표와 일관성을 유지하기 위해 [초보자에서 전문가에 이르는 단계]에 걸쳐져 있다. In the final version of the assessment instruments, we identified eight competencies important in making entrustment decisions related to scholarship (Table 1). These competencies largely mirror those suggested by Glassick,6 providing additional evidence for the content validity of this tool. For each competency, we created five milestone levels and, to be consistent with the other pediatric milestones, these levels span the continuum from novice to expert.
"연구research"라는 단어는 더 전통적인 가설 중심 연구 노력과만 관련되는 경향이 있기 때문에 의도적으로 포함하지 않았습니다. 그래서 가능한 한 포괄적으로 표현하기 위해 "연구" 대신 "장학scholarship"을, "연구 과제"보다는 "학술 프로젝트scholarship project"를, "가설" 대신 "질문 또는 개입question or intervention"과 같은 용어를 사용했습니다. 우리는 또한 온라인 포털, 회의 진행, 스마트폰 애플리케이션 개발과 같은 다른 수단을 통한 지식 전파뿐만 아니라 기존의 연구 기사뿐만 아니라 대중에게 지식을 전파하는 것을 포함하는 광범위한 의미에서 "출판publication"이라는 용어를 사용했다. We purposely did not include the word “research” because this term tends to be associated only with more traditional hypothesis-driven research efforts. Thus, to be as inclusive as possible, we used terms such as “scholarship” in place of “research,” “scholarly project” rather than “research project,” and “question or intervention” as opposed to “hypothesis.” We also used the term “publication” in a broad sense that includes not only traditional research articles but also knowledge dissemination to the public through other means, such as online portals, conference proceedings, and the development of smartphone applications.
8개의 역량 중 6개는 ACME와 ABP가 규정한 요건에 명시되어 있다. 명시되지 않은 두 가지는 협업과 멘토링이며, 이는 학술 활동에서 생산성을 내기 위해 이러한 역량을 통합해야 한다는 중요한 필요성을 강조한 소아 전문가들의 의견을 토대로 추가되었다. Six of the eight competencies are explicitly addressed in requirements stipulated by the ACGME and ABP.1,2 The two that are not, collaboration and mentoring in scholarship, were added on the basis of input from the pediatric experts that emphasized the critical need to incorporate these competencies for one to be productive in scholarly activities.
Subspecialty Pediatrics Investigator Network의 운영위원회가 개발한 학술활동 EPA의 감독 규모에는 5가지 점진적 위탁 수준이 있다(표 2).
The level of supervision scale for the scholarship EPA that the Steering Committee of the Subspecialty Pediatrics Investigator Network developed has five progressive levels of entrustment (Table 2).
다음 단계 Next Steps
이 EPA의 다음 단계에는 이 척도의 타당성을 연구하고 이정표와 감독 수준 간의 상관관계를 결정하기 위한 연구가 포함된다. 우리는 최근에 [모든 소아과 펠로우십 프로그램 책임자]를 대상으로 [학술활동 EPA 및 해당 세부전공과 관련된 모든 EPA]에 대해서, entrustment for unsupervised practice에 해당하는 대상 감독 수준을 선택하도록 설문 조사를 실시했다. Next steps for this EPA will involve a study of this scale’s validity and to determine the correlation between milestone and supervision levels. We recently administered a survey to all pediatric fellowship program directors asking them to choose a targeted supervision level expected for graduation from fellowship and a targeted level that equates with entrustment for unsupervised practice for the scholarship EPA, as well as for all EPAs relevant to that subspecialty.
학술활동 EPA를 포함한 모든 세부전공 EPA의 커리큘럼 구성요소가 완료되었으며, ABP 웹 사이트에서 프로그램 책임자와 학습자가 교육 중에 가이드로 사용할 수 있다.3 이 보고서의 EPA 학술활동의 기반을 다음에 두고 있다.
(1) 일부 전공의와 동료에게 요구되는 학술적 기술에 대한 평가 전략의 부족
(2) 역량 및 이정표가 수련생에게 제공할 수 있는 학습 로드맵과피드백의 기질substrate
Curricular components for all the subspecialty EPAs, including the scholarship EPA, have been completed and are available on the ABP website for program directors and learners to use as a guide during training.3 We focus on the scholarship EPA in this report on the basis of
(1) the scarcity of assessment strategies for scholarly skills, which are required in some residencies and fellowships; and
(2) the road map for learning and the substrate for feedback that competencies and milestones can provide to trainees.
특히 중요한 것은 MD/PhD 학생들을 포함한 의사-과학자 평가에서 이러한 기구가 할 수 있는 잠재적인 역할로서, 이들은 의대에서 박사과정을 시작하고 GME 전반에 걸쳐 그리고 실무적으로 전문적인 연구 개발을 계속한다.
Especially important is the potential role that these instruments could play in the assessment of physician–scientists, including MD/PhD students, who begin their PhD work in medical school and continue their professional research development throughout GME and into practice.
Acad Med. 2018 Nov;93(11):1668-1672.
doi: 10.1097/ACM.0000000000002353.
Competencies, Milestones, and a Level of Supervision Scale for Entrustable Professional Activities for Scholarship
1R.B. Mink is professor of pediatrics, David Geffen School of Medicine, University of California, Los Angeles (UCLA), Los Angeles, California, and director, Pediatric Critical Care Medicine Fellowship, Harbor-UCLA Medical Center, Torrance, California; ORCID: http://orcid.org/0000-0002-7998-4713. A.L. Myers is associate professor and director, Infectious Diseases Fellowship Program, Children's Mercy Hospital and University of Missouri-Kansas City School of Medicine, Kansas City, Missouri; ORCID: http://orcid.org/0000-0002-7686-0854. D.A. Turner is associate professor of pediatrics, Duke University School of Medicine, and associate director of graduate medical education, Duke University Medical Center, Durham, North Carolina. C.L. Carraccio is vice president of competency-based assessment, American Board of Pediatrics, Chapel Hill, North Carolina.
Problem:Scholarship is an important element of both undergraduate and graduate medical education, and scholarly activity is required for all pediatric fellows. However, despite the creation of entrustable professional activities (EPAs) for scholarship, the specific progressive levels of performance and the appropriate level of supervision for a given performance level have not been defined. The authors developed competencies and milestones for the scholarship EPA to provide a framework for assessment across the continuum; a level of supervision scale was also developed.Outcomes:Eight competencies were identified as important in making entrustment decisions related to scholarship. For each competency, five milestone levels that span the continuum from novice to expert were created. A supervision scale with five progressive levels of entrustment was also created.
Next steps:Next steps include a study to obtain validity evidence for the supervision scale and determine the correlation between milestone and supervision levels. These competencies, milestones, and supervision levels can potentially serve as a road map for trainees and junior faculty and also play a role in the assessment of physician-scientists.
Approach:The Vitae Researcher Development Framework served as a template to create the competencies and milestones for the scholarship EPA. Beginning in September 2015 and using a modified Delphi approach, three drafts were circulated to individuals with expertise in various types of scholarship until broad agreement was achieved. Then, in October 2016, the Steering Committee of the Subspecialty Pediatrics Investigator Network created a level of supervision scale, modeled after one it had previously developed.
전문적 실천의 타당한 기술을 전달하기 위한 EPA 구성 접근법 (Teach Learn Med, 2021)
Constructing Approaches to Entrustable Professional Activity Development that Deliver Valid Descriptions of Professional Practice David Taylora , Yoon Soo Parkb , Christopher Smitha , Olle ten Catec , and Ara Tekianc
도입 Introduction
위임가능전문활동(EPA)은 [매우 세분화된 교육 프레임워크(예: CANMED 또는 ACGME 역량)]에서 [authentic한 임상 작업의 설명]으로 학습자 평가 방향을 변경함으로써 CBME를 발전시키는 것을 목표로 하는 의료 교육 구조로 부상했다. Entrustable Professional Activities (EPAs) have emerged as a construct in medical education that aims to advance CBME by re-orienting learner assessment away from highly granular educational frameworks (such as CanMEDS or ACGME competencies) toward authentic descriptions of clinical work.
이러한 품질 보증을 신뢰할 수 있도록 하기 위해, 전문가가 채택한 EPA는 임상 실무에 필요한 필수 작업에 대한 의미 있고 정확한 설명을 구성해야 한다. 채택된 EPA와 실제 전문가 관행 작업 사이의 이러한 긴밀한 정렬이 없다면 EPA 기반 평가는 의도한 대로 실천요강 준비 상태를 포착하지 못할 수 있다. 실제로 일부 EPA에 대한 타당성 근거의 부족은 문헌에서 제기된 주요 우려사항의 기초가 된다.14–17 In order for this quality assurance to be credible, the EPAs adopted by a specialty must constitute a meaningful and accurate description of the essential work required for clinical practice. Without this tight alignment between the EPAs adopted and the actual work of professional practice, EPA-based assessments may not capture practice readiness as intended. In fact, a lack of validity evidence for some EPAs underlies major concern raised in the literature.14–17
특정 전공을 위한 EPA 프레임워크를 구성할 때 반드시 하나의 최적 접근방식이 있는 것은 아니다. EPA는 광범위하고 적거나 상세하고 많을 수 있다. EPA는 병렬적일 수도 있고, 위계적으로 내포될nested 수 있다(즉, 보다 세분화된 EPA는 이후 교육 단계에서 대규모 EPA의 일부를 구성할 수 있다).19 EPA 구현에 대한 이러한 접근방식은 유효할 수 있지만(즉, 목적에 적합), EPA 자체의 건설은 EPA의 실제 효과에 긍정적 또는 부정적 영향을 미칠 수 있다.20–22 When constructing a framework of EPAs for a specialty, there is not necessarily one optimal approach. EPAs may be broad and few or detailed and many; they may be parallel or hierarchically nested (i.e. more granular EPAs may constitute a subset of larger EPAs at later stages of training).19 While these approaches to implementing EPAs can be valid (i.e. fit for purpose), the construction of the EPAs themselves can positively or negatively influence their effectiveness in practice.20–22
교육 평가에서 [구인 타당도에 대한 주장]은 [특정 목적이나 결정을 위한 테스트의 결과 사용을 정당화하는 증거]를 제시하는 것이다.23 In educational assessment, arguments for construct validity present evidence that justifies the use of results from a test for a specific purpose or decision.23
재계의 업무 분석 문헌은 [구인 타당도 주장construct validity arguments]이 교육적 테스트 이상으로 얼마나 중요한지를 예시한다. 현장 분석은 다음을 이해하고 설명하는 데 초점을 맞춥니다.25
작업의 수행 방식,
필요한 항목
어떻게 조직에 들어맞는지fit into
The work analysis literature from the business world exemplifies how construct validity arguments are important beyond educational testing. The field of work analysis focuses on understanding and describing jobs:
how they are done,
what is required, and
how they fit into organizations.25
[작업 지향 분석(예: 작업 인벤토리)] 또는 [근로자 지향 분석(예: 인지 작업 분석)]에 사용된 방법을 조사하는 문헌은 분석에서 나온 제품의 사용을 정당화하기 위해 타당도 주장의 사용을 이용한다. Literature examining methods used in both work-oriented analysis (e.g. task inventories) or worker-oriented analysis (e.g. cognitive task analysis) exploit the use of validity arguments to justify use of the product from the analysis.
[EPA 개발]은 기본적으로 [특정 전문직의 직무tasks를 정의하는 작업 분석의 한 형태]이며, 일반적으로 확립된 합의 방법을 사용한다. 구인 타당도 증거는 개발 프로세스를 통해 생성된 [EPA가 실제 임상의사가 기대하는 전문적인 작업을 정확하고 유용하게 기술하고 있음]을 입증해야 한다. EPA development is fundamentally a form of work analysis in which the tasks of a profession are defined, typically using established consensus methods. Evidence of construct validity should substantiate that the EPAs generated through the process accurately and usefully describe the professional work expected of clinicians in practice.
유능한 졸업생을 보장하는 데 있어 위험 요소를 고려할 때 EPA 개발에 대한 [구인 타당도 주장]은 적절할 뿐만 아니라 필수적이다.29 Considering the stakes in ensuring capable graduates, construct validity arguments for EPA development are not only appropriate, but essential.29 Expanding on validity approaches used in the work analysis literature, we describe how integrating considerations from each of the five domains of Messick’s unified framework for construct validity (as described in The Standards) into commonly used methods for EPA development defends the suitability of the EPAs for their role.23
전문가 선정 Selection of experts
EPA 개발을 위한 방법을 구성할 때 프로젝트 리더는 [프로세스의 각 단계에 참여할 전문가를 선정]하기 위한 접근방식과 필요한 전문성을 고려하는 것으로 시작해야 한다. 이것은 간단해 보일 수 있지만, 전문가 참여자의 사려 깊은 선택은 EPA의 내용을 궁극적으로 결정할 것이기 때문에 매우 중요하다. 그 핵심에서 내용 타당도 증거는 콘텐츠 관련성과 대표성에 대한 확립된 전문가들의 판단을 분명히 한다.34EPA 개발에서 내용타당도 주장은 참여한 전문가에 초점을 맞춘다.즉, 전공이나 직업에 대해서 EPA 개발 과정에 참여한 [전문가들의 전문성] 및 [종합적인 대표성]이 중요하다. 전문가 선정의 경우 EPA가 전문가 작업profession's work의 타당한 표현이라는 것을 뒷받침하는 중요한 증거는 프로젝트에 통합된 확인된 전문성 영역, 전문가 간의 전문가 대표성의 달성 및 전문가 선정에 대한 편견 방지에서 나온다.38 In constructing methods for developing EPAs, project leaders should begin by considering the expertise required and the approach for selecting experts to participate in each stage of the process. Although this may seem straightforward, thoughtful selection of expert participants is crucial as these people will ultimately determine the content of the EPAs. At its core, content validity evidence articulates judgments by established experts for content relevance and representativeness.34 In EPA development, content validity arguments focus on the experts involved—the relevance of their expertise and collective representativeness amongst experts for the specialty or profession. For expert selection, important evidence supporting EPAs as a valid representation of a profession’s work comes from the identified domains of expertise incorporated in the project,35 achievement of professional representativeness amongst experts,36,37 and the avoidance of bias in expert selection.38
전문 지식 영역 식별 Identifying domains of expertise
[관련된 전문성 영역relevant domains of expertise]을 식별하는 것은 매우 중요하다. EPA는 특정 직업의 작업을 설명하지만, EPA의 구조에는 복수의 소스로부터의 입력이 필요하다.
위임 결정이 [감독되지 않은 의료행위]로 이어지는 경우와 같이 EPA가 고부담일 경우, 프로젝트 리더는 환자, 학습자, 제휴 보건 전문가 및 보건 규제자를 포함하기를 원할 수 있다.
이보다는 부담이 낮은 커리큘럼 목적을 위해 건설된 EPA의 경우, 전문가 선택은 가장 핵심적인 전문 분야인 EPA 및 평가에 대한 임상 전문성과 교육 전문성에만 초점을 맞출 수 있다.
Identifying relevant domains of expertise is crucial. Although EPAs describe the work of a particular profession, their construction requires input from multiple sources.
For high stakes EPAs, such as those for which decisions of entrustment lead to unsupervised practice, project leaders may wish to include patients, learners, allied health professionals, and health regulators, among others.
For EPAs constructed for lower stakes curricular purposes, expert selection may focus on only the most salient domains of expertise— clinical expertise and educational expertise for EPAs and assessment.
포함된 전문지식의 영역을 확장하여 [더 대표적인 팀]을 구성하면 최종 제품에 대한 [최종 타당도 주장이 강화]되지만 [자원 가용성과 EPA의 의도된 목적]과 균형을 이루어야 한다.
Building a more representative team by broadening the domains of expertise included will strengthen the ultimate validity argument for the final product but must be balanced against resources availability and the intended purpose of the EPAs.
대규모 자원 영향 없이 전문지식의 영역을 넓히는 한 가지 접근방식은 [리액터 패널reactor panel]을 사용하는 것이다. One approach to broadening domains of expertise without large resource implications is the use reactor panels,
[리액터 패널]에는 EPA와 관련된 다양한 배경의 인력 풀을 모집할 수 있고, 이들은 제안된 EPA를 검토하고 채택 전에 피드백을 제공하는 역할을 한다. Reactor panels enlist a pool of people from different backgrounds relevant to EPAs to review proposed EPAs and provide feedback prior to adoption.
이러한 [사후 분석 접근법]은 실제 개발 팀 자체를 관련 리소스 함의로 확장하지 않고 중요한 추가 관점을 통합하고 대표성을 확대합니다. This post-hoc approach incorporates important additional perspectives, broadens representativeness, without expanding the actual development team itself with the associated resource implications.
전문가선정 Expert selection
전문가를 선정할 때 세 가지 중요한 고려 사항이 있다.
전문가를 정의하는 데 사용되는 기준 설정,
전문 분야/분야를 대표하는 팀을 구성,
선정 시 체계적 편견을 피하는 것
Three important considerations stand out in selection of experts:
setting the criteria used for defining an expert,
building a team that is representative for the profession/areas of expertise, and
avoiding systematic bias in selection.
비록 직관적이기는 하나, 참여자는 EPA 개발에 있어 자신의 역할에 대해 신뢰할 수 있는 전문가여야 한다. 이는 내용 타당도 주장의 기초가 된다. 40,41 타당도 주장을 위해서는 자격과 전문지식에 대해 잠재적 전문가를 검증하는 신중한 선정 과정이 필요하다. 선발 프로세스에서 [명확한 포함 기준]을 갖춤으로써 필요한 전문 지식을 적절하게 포착할 수 있는 중요한 보증을 제공할 수 있다.
임상 전문가 선정 기준에는 위원회 인증, 최소 경력 기간, 임상 실무의 양 및 전문가 또는 '마스터' 임상의사로서의 현지 인정이 포함될 수 있다.
교육 전문가 선정 기준에는 커리큘럼, 평가, 특히 EPA에 대한 훈련과 경험이 있어야 한다.
학습자 또는 환자와 같은 다른 전문가의 경우, 포함 기준은 단순히 경험이 될 수 있습니다.
Although intuitive, participants must be credible experts for their role in EPA development—this is foundational to content validity arguments.40,41 Arguments demand a careful process of selection that vets potential experts on qualifications and expertise. Clear inclusion criteria for the selection process provides important assurance that the expertise required is properly captured.
For clinical expertise, criteria may include board certification, minimum years of experience, volume of clinical practice, and local recognition as an expert or ‘master’ clinician.
Similarly, education experts would be expected to have training and experience with curriculum, assessment, and specifically EPAs.
For other experts, such as learners or patients, inclusion criteria may simply be experience.
EPA 타당도 주장을 위해서는 전문가 패널의 대표성이 필수적이다. EPA가 직업의 작업을 설명하려면 다양한 인구통계학적 배경을 가진 학술 및 비학술적 실무 환경의 전문가와 다양한 사회경제적 및 민족적 배경의 환자를 serve한 경험 등이 필요하다. Representativeness of the expert panel also is essential to validity arguments for the EPAs. Ensuring that EPAs describe a profession’s work demands inclusion of experts from academic and nonacademic practices, from rural and urban practice settings, with a range of demographic background, and serving patients of diverse socioeconomic and ethnic backgrounds.
특히 전문가 선정 시 [전문가 지정designation을 방어할 만큼 엄격]하면서도, [다양한 참여가 가능할 정도로 자유로운] 포함 기준을 갖는 것은 쉽지 않은 일이다. [엄격한 기준]과 [대표성] 사이에서 이러한 균형을 이루는 것이 내용 타당도를 뒷받침하는 강력한 논쟁의 본질입니다. Notably, expert selection can create a challenge for inclusion criteria that are sufficiently strict to defend expert designation, yet liberal enough to enable diverse participation. Achieving this balance between stringent criteria and representativeness is the essence of a strong argument supporting content validity.
전문가 선택의 편향 방지 Avoiding bias in expert selection
선발 과정의 편향은 늘 발생한다. 공통의 관점을 공유하거나, 유사한 배경에서 왔거나, 프로젝트 리더와 함께 긍정적인 사전 작업 경험이 있는 전문가에게 끌리는 것은 당연합니다. 이러한 요인 중 일부는 그룹 통합과 워크플로우에 긍정적으로 영향을 줄 수 있지만, 그 성격과 정도에 따라 이러한 편견은 전문가로부터 수집된 응답에 약간의 체계적 오류를 도입할 것이다.42 타당도 관점에서, 편견과 체계적 오류에 대한 통제는 [응답 프로세스 영역]의 타당도 증거이다.43 Biases are the norm in selection processes; it is natural to gravitate toward experts who share common perspectives, come from a similar background, or with whom there has been a positive prior work experience with project leaders. Although some of these factors can positively affect group integration and workflow, depending on their nature and extent, these biases will introduce some systematic error into responses collected from experts.42 From a validity perspective, controlling for bias and systematic error is validity evidence in the domain of response process.43
EPA 개발에 대한 [프로그램 책임자PD의 참여]는 합리적이고 적절하지만, 전문가 패널에 균질성과 관점의 제한을 초래함으로써 전문가 선발에 강력한 편향을 일으킬 위험이 있다. Program director involvement in EPA development is sensible and appropriate, however a strong bias toward their selection risks introducing homogeneity and restriction of perspectives on the expert panel.
[필요한 전문성(예: 임상 전문지식, EPA에 대한 전문지식)을 식별]하고 [전문가를 선정하는 일]은 EPA 개발 및 일반적으로 합의 이니셔티브에서 가장 중요한 과제이다. "올바른" 사람이 참여한다는 보장은 직업의 진정한 표현으로서 EPA의 타당성 주장에 필수적이며 교육 프로그램의 위탁 의사결정에 유용하다. Identifying the expertise required (e.g. clinical expertise, expertise for EPAs) and selecting experts is perhaps the most important task in EPA development, and consensus initiatives in general. Assurance that the “right” people are involved is essential to validity arguments for the EPAs as a true representation of the work of the profession and as useful for making entrustment decisions in education programs.
후보 EPA 식별 Identification of candidate EPAs
전문가 교육 Instruction of experts
EPA와 그 구조에 대한 오해는 일반적이며 최종 결과물에 쉽게 반영될 수 있다.14, 19,44,45 후보 EPA의 초기 목록이 종종 최종 제품에 큰 영향을 미친다는 사실을 인지하고, 타당도에 대한 위협을 피하기 위해서는 초기부터 전문가 교육이 중요하다.
EPA에 대한 공통된 이해(EPA의 정의, 표준 및 적용 포함)를 확립하면 전문가가 개발 프로젝트에서 목표와 그 역할에 대해 명확히 이해할 수 있다.
또한 지침은 전문가들이 사용 중인 개발 방법(예: 조사, 합의 패널)을 명확히 이해할 수 있도록 한다. 이는 전문가들이 방법(예: 도구, 조사 항목)에 적절히 참여하도록 보장하는 데 필수적이다.
서로 지리적으로 떨어진 전문가들에 대한 온라인 교육 방법 또는 회의에서의 직접 교육 세션 중 어느 것을 통해서든 교육(프로젝트 전반에 걸쳐 진행 중인 지침)은 매우 중요합니다.
Misconceptions about EPAs and their construction are common and can easily work their way into the final product.14,19,44,45 Recognizing that the initial list of candidate EPAs often strongly influence the final product,31,39 expert instruction early is important to avoid this threat to validity.
Establishing a shared understanding of EPAs (including the definition, standards, and application of EPAs) ensures experts have a clear understanding of the goals and their role in the development project.
Additionally, instruction helps ensure experts have a clear understanding of the development methods being used (e.g. surveys, consensus panels); this is essential for ensuring experts engage with the methods (e.g. tools, survey items) appropriately.46,47
Whether through online instructional methods for distributed experts or in-person training sessions at meetings, education (and on-going instruction throughout the project) is crucial.
후보 EPA 식별을 위한 접근방식 Approach to identifying candidate EPAs
전문가의 선발과 교육을 하고 나면, 예비 또는 "후보" EPA의 식별을 진행한다. 후보 EPA는 여러 가지 방법으로 식별할 수 있다. 예를 들어
임상 실무에서 수행한 작업의 사전 기록
자신의 관행을 성찰하고 전문 활동을 항목화하는 의료진(예: 명목 그룹 기법)
안전 점검 및 회색 문헌에 발표된 것과 같은 EPA 외부 소스를 검토.
Following selection and instruction of experts, EPA development proceeds with identifying preliminary or “candidate” EPAs. Candidate EPAs can be identified in several ways, including:
prospective logging of work done in clinical practice;48
clinicians reflecting on their own practices and itemizing professional activities (e.g. nominal group techniques);11,30,39 and
looking to external sources for EPAs, such as those published in the peer-reviewed and gray literature.4,11,30,49
이러한 접근법 각각은 장점을 제공하지만 나름의 한계와 편향을 가져온다. 예를 들어,
[전향적 사건 기록]은 일일 작업의 정확한 목록을 생성하지만 드물고 중요한 작업을 놓칠 수 있습니다.
[기존 작업 성찰]은 자원을 거의 필요로 하지 않지만 가용성 편견의 영향을 받는다.
[다른 영역의 EPA에 의존]하면 교육 조직과 전문 실무 참여의 중요한 차이를 놓칠 수 있다.
EPA 식별 또는 일반적인 작업 분석에 이상적인 단일 프로세스는 없다.28
Each of these approaches offers advantages but brings its own limitations and bias. For example,
prospective event logging generates authentic lists of daily tasks but can miss rare, important tasks.
Reflection on prior work requires few resources but is subject to availability bias.
Relying on EPAs from other jurisdictions may miss important differences in organization of training and entry into professional practice.
There is no single, ideal process for identifying EPAs, or for work analysis in general.28
그룹 작업group work의 맥락에서 나타나는 편향도 특정한 주의를 요한다. 합의 패널과 같은 그룹은 몇 가지 이점을 제공할 수 있다.42 대면 회의를 통해 피드백, 해석 및 개정이 그룹 토론을 통해 유동적으로 이루어질 수 있다. 이는 이해를 명확히 하고 합의를 진전시키며 결과의 품질을 향상시킬 수 있다.42 Bias that emerges in the context of group work warrants specific attention. Groups, such as consensus panels, can offer several advantages.42 Meeting face-to-face allows feedback, interpretation, and revision to occur fluidly through group discussion; this can clarify understanding, advance consensus, and improve the quality of the outcomes.42
또한 집단 사고 및 토론 편향과 같은 함정에 빠질 수도 있다.50,51 예를 들어, 가장 카리스마 있거나 가장 권위 있는 사람들의 의견이 토론을 지배하고, 개정을 추진하고, 결론을 도출할 수 있다.46,52 또한 영향력 있는 리더를 가진 그룹은 상충되는 피드백이나 모순되는 의견을 다룰 가능성이 낮다.42 It can also introduce pitfalls such as groupthink and discussion bias, among others.50,51 Here, the opinions of the most charismatic or most prestigious can dominate discussions, drive revisions, and shape conclusions.46,52 Further, groups with influential leaders are less likely to address conflicting feedback or contradictory opinions.42
[unsupervised practice]에 대한 준비 상태 결정과 같은 고부담 의사결정에 사용할 EPA를 개발하고자 한다면, 리더는 중요한 전문적 과제를 놓치지 않도록 더욱 강력한 접근방식을 채택해야 한다. 여기에는 최소한 이전에 발표된 EPA의 통합과 대표적인 전문가에게 상당한 자원 투자가 필요하지 않은 접근방식인 전문적 작업을 설명하도록 하는 것이 포함되어야 한다.
When identifying EPAs to be used in high stakes decisions, such as determining readiness for unsupervised practice, leaders should adopt a more robust approach to ensure important professional tasks are not missed. At a minimum, this should include incorporating previously published EPAs and having representative experts describe their professional work— approaches that do not require significant resource investment.
후보 EPA 수정 Revision of candidate EPAs
EPA 후보 수정에는 피드백 수집, 해석 및 EPA 변경이 포함된다.이 [반복 프로세스]는 EPA를 해당 직업의 작업에 대한 보다 타당한 설명으로 이동시키는 것을 목표로 합니다. 그러나 오류가 발생할 수도 있습니다. revision of candidate EPAs involves collecting feedback, interpreting it, and making changes to the EPAs.ThisiterativeprocessaimstomoveEPAstoward a more valid description of the work of the profession. However, it can also introduce error.
설문을 이용한 수정 Revisions using survey methods
Delphi와 같은 설문조사 방법에서, 퍼실리테이터는 전문가들의 조사 응답에 기초하여 매 라운드 후 EPA를 개정한다. 따라서 개정안은 수집된 평가 데이터의 품질과 개정 과제를 맡은 평가 데이터의 해석에 따라 달라집니다. EPA 개발을 위한 설문조사를 구성할 때 흔히 발생하는 실수는 초점을 [EPA 명칭으로만 제한하는 것]이다. 전문가에게 EPA에 대한 상세한 설명을 제공하지 않고 조사를 통해 수집된 피드백은 EPA의 의미에 대한 다양한 이해를 반영할 수 있다. 이것은 평가관자 간 신뢰도를 떨어뜨리고 개정안을 복잡하게 만들 것이다. In survey methods such as Delphi, facilitators revise the EPAs after each round based on the survey responses from experts. Revisions therefore depend on both the quality of survey data collected and its interpretation by those tasked with revisions. A common mistake in constructing surveys for EPA development is to limit the focus to just the EPA title. Without providing detailed descriptions of the EPAs to experts, the feedback collected through the survey may reflect different understandings of an EPA’s meaning. This will undermine interrater reliability in the survey and complicate revisions.
양질의 설문 조사 데이터가 있더라도 수정 작업을 맡은 담당자가 데이터를 올바르게 해석하는 것이 중요합니다. Even with good quality survey data, interpreting the data correctly by those tasked with revisions is essential.
평가 응답의 평가자 간 신뢰도를 추적하는 것도 타당도 주장을 강화하는 또 다른 방법이다.11 품질에 대한 직접적인 척도는 아니지만, 전문가 간에 서로 다른 이해 또는 관련성에 대한 의견 불일치가 있는 EPA를 식별하는 데 도움이 될 수 있다.
[평가자 간 신뢰성이 낮다]는 것은 전문가 관점의 광범위한 가변성(가능한 이상치 의견 포함)을 나타내며, 후보 EPA의 잠재적 문제에 대한 심층 평가가 필요할 수도 있고, 이상치outlier를 응답한 패널 멤버를 추적하는 데 사용할 수 있다.
[평가자 간 신뢰성이 높으면] 전문가가 제공한 동의에 대한 신뢰를 얻을 수 있으며, 이는 재현 가능한 합의를 나타냅니다.
Tracking interrater reliability of survey responses is another way to strengthen validity arguments.11 Although not a direct measure of quality, it can help identify EPAs for which there is different understanding among experts or disagreement regarding relevance.
Low interrater reliability indicates wide variability in expert views (including possible outlier opinions), which can be used to trigger an in-depth evaluation for potential problems with a candidate EPA or to track outlier panel members.
High interrater reliability can provide confidence in agreement provided by experts, representing a reproducible consensus.
[Attrition]은 또 다른 잠재적 관심사이다. 초기 및 지속적인 참여는 프로젝트에 대한 전문가들의 관심 수준, 의견의 강도 또는 리더에 대한 연관성에 의해 추진될 수 있다.57 이는 프로세스가 진행됨에 따라 나타나는 전문가 풀 구성에 잠재적인 편향을 초래한다. Attrition is another potential concern. Initial and continuing participation may be driven by the experts’ level of interest in the project, strength of opinion, or associations to its leaders.57 This introduces a potential bias in the composition of the expert pool that emerges as the process proceeds.
그룹 방법을 사용한 개정 Revision using group methods
그룹 작업과 관련된 이점과 위협은 앞에서 자세히 다루었지만 이 경우에도 동일하게 관련이 있다. [회원 점검]과 [삼각측정]과 같은 통제 수단을 도입하면(예: 제3의료 교육자가 개정을 검토하도록 하는 것) 개정 프로세스에 대한 타당성 주장을 더욱 개선할 수 있다. The advantages and threats associated with group work were addressed in detail earlier but are equally relevant here. Introducing controls such as memberchecks and triangulation (e.g. having revisions reviewed by third party medical educators) further improves validity arguments for the revision process.
EPA 수정이 설문조사든, 그룹 작업이든, 또는 이 둘의 조합으로 이루어지든 EPA의 상당한 진화를 예상할 수 있다. Whether revisions are accomplished through survey-based approaches, group work, or a combination, considerable evolution of the EPAs can be expected.
합의 과정을 통한 EPA 평가 Evaluating EPAs from consensus process
EPA 식별, 설명 및 개정 후에는 제안된 EPA가 EPA 표준에 따라 구성되고 작업장 기반 사정에 유용한지 여부를 평가하는 것이 중요하다. After identifying, describing, and revising the EPAs, it is important to evaluate whether the EPAs proposed accurately reflect professional practice, are constructed in line with EPA standards, and are useful for deployment in workplace-based assessment.
전문적 실무의 정확한 반영 Accurate reflection of professional practice
개발된 EPA의 평가는 EPA가 전문적 관행을 정확하게 포착했는지 검증해야 한다. 다시 말하지만, 이는 EPA 자체의 고유 품질이 아닌 전문가들의 근거 있는 판단이다. 정확성에 대한 한 가지 근거는 EPA 식별 및 개정에 따른 대응 데이터의 [정량적 분석]에서 나온다. [EPA 평가 결과]에서 [높은 전문가 간 신뢰도]가 확인된다면, 전문가 간의 합의와 EPA가 전문적인 작업을 기술하는 데 있어 EPA의 타당성을 뒷받침한다. (높은 수준의 합의 또한 전문가 간의 균질성을 반영할 수 있다는 점을 인식하는 것이 중요하다.) Evaluation of the EPAs developed should affirm that they accurately capture professional practice. Again, this is a grounded judgment of experts, not an inherent quality of the EPAs themselves. One source of evidence for accuracy comes from quantitative analysis of response data from the identification and revision of the EPAs. Excellent interrater reliability in ratings of the EPAs shows agreement among experts and support for the validity of the EPAs in describing professional work. (It is important to recognize that a high level of agreement may also reflect homogeneity among experts.)
합의 패널에서는 의견의 정성적 검토를 통해 관점의 공통성 또는 불일치를 식별할 수 있다. [평가자 코멘트를 보다 엄격하게 비교 분석]하거나, [평가자 간에 표현된 일치 및 불일치 의견에 대한 검토]는 평가의 신뢰성에 대한 주장을 추가할 수 있다. 어떤 개발 방법을 사용하든, [평가자 간의 일관성/신뢰성의 확립]은 제안된 EPA가 [전문적 실천의 재현가능한 반영]이라는 주장을 강화한다. 여기에서 신뢰성 증거는 [내부 구조에 대한 타당도 증거]와 일치합니다. In consensus panels, qualitative review of comments can identify commonality or discordance in perspectives. A more rigorous comparative analysis of rater comments or a less involved review of concordant and discordant opinions expressed among raters can add to the argument for reliability of ratings. Regardless of the development method used, establishing consistency/reliability across raters strengthens the argument that the proposed EPAs are a reproducible reflection of professional practice. Reliability evidence here aligns with validity evidence for internal structure.
EPA 평가에는 [내용 타당도 근거 조사]가 포함될 수 있다. [해당 전문직에 EPA를 매핑하는 구조화된 프로세스]는 유용한 평가 기법이다. 목표는 두 가지이다.
첫째, 합의 과정에서 포착되지 않은 실제의 신뢰할 수 있는 전문적 작업을 식별하는 것이고,
둘째, 전문 분야의 핵심 작업을 나타내지 않는 개발 프로세스에서 식별된 EPA를 찾는 것이다.
Evaluation of the EPAs may also include examination for content validity evidence. A structured process for mapping the EPAs identified onto the profession they describe is a useful evaluative technique. The goal is two-fold:
first, to identify entrustable professional tasks in practice that have not been captured in the consensus process; and
second, to spot EPAs identified in the development process that do not represent core work in the specialty.
또한 EPA는 [다른 국가jurisdiction]의 [같은 전공 또는 전문직]에서 개발된 EPA와 비교/대조해볼 수 있다. 수렴 또는 발산는 [다른 변수와의 관련성 타당도]의 증거를 제공할 수 있다.11 Additionally, EPAs can be compared and contrasted with EPAs developed for the same specialty or profession in other jurisdictions. Convergence and/or divergence can provide evidence of validity in relation to other variables.11
확립된 표준에 부합하는 EPA EPAs align with established standards
또한 EPA가 문헌에 확립된 표준을 준수하는 것이 중요하다. 기존에 확립된 표준established standards은 [competent professional standard에 근거하여 향후 임상 수행능력을 신뢰성 있게 예측하는 학습자 평가]를 위한 EPA의 사용을 지원하기 위해 의도적으로 작성되었다. 이러한 목표를 달성하는 것은 [unsupervised practice(또는 임상 책임의 gated promotion)을 위한 관문의 역할]을 하여, CBME에 필수적입니다.
It is also important the EPAs align with established standards in the literature. These standards were intentionally laid out to support the use of EPAs to enable learner assessment that reliably predicts future clinical performance with respect to a competent professional standard. Achieving this goal is fundamental to their deployment in CBME as gateways to unsupervised practice (or other gated promotions in clinical responsibility).
이러한 확립된 표준에 대한 정렬을 위한 EPA 평가는 품질 측정(즉, 표준과의 정렬) 및 개선 영역을 식별하도록 특별히 설계된 루브릭을 사용해 수행할 수 있다. Taylor 등은 또한 교육 전문가가 EPA에 적용하는 품질 관리 루브릭quality control rubric의 적용에 신뢰성을 입증하기 위해 일반화 연구를 사용했다. 이러한 루브릭 중 하나를 사용하여 도출된 데이터를 분석하여 [EPA 평가rating]에 있어 [전문가들의 일관성]에 대한 추가 증거를 찾을 수 있다. Evaluating EPAs for alignment with these established standards can be done using rubrics specifically designed to measure quality (i.e. alignment with standards) and identify areas for improvement.44,45 Taylor et al also used a generalizability study to show reliability in the application of a quality control rubric applied by education experts to their EPAs.45 Data derived from using one of these rubrics can be analyzed to look for additional evidence of consistency among experts in rating the EPAs.11,58
평가 프로그램에 EPA를 배치할 수 있다. EPAs can be deployed in programs of assessment
마지막으로 (확인되고 설명된) [EPA가 단순히 직업의 이상적인 설명이 아니라 사용 가능한 것임을 보장]하려면 커리큘럼에서 EPA 운영 담당자들과의 초기 논의가 중요하다. 저자들은 EPA가 '타당한 것'으로 채택된 후에 이어진 수의 감소reduction in numbers를 포함하여 EPA의 프레임워크가 구현 단계에서 상당한 개정이 필요한 여러 가지 상황을 목격했다. EPA 개발의 식별, 개정 및 평가 단계에서 [실현 가능성에 주의]를 기울이면 이로 인해 발생하는 복잡성을 방지하고 제품이 목적에 적합함을 보장할 수 있다. 앞서 설명한 것처럼 학습자, 일선 평가자, 커리큘럼 리더 등을 포함할 수 있는 [리액터 패널]은 제안된 EPA의 강점, 약점 및 사용 편의성에 대한 피드백을 제공한다.
Finally, early discussions with those responsible for operationalizing EPAs in curricula are crucial for ensuring that EPAs (as they are identified and described) are not simply an idealized description of the profession but feasible to use. The authors have witnessed several situations in which a framework of EPAs required significant revision at the phase of implementation, including reduction in numbers after the EPAs had been adopted as ‘valid’. Attention to feasibility during the identification, revision, and evaluation phases of EPA development can help avoid the complications this creates and ensure the product is fit for purpose. As described earlier, reactor panels, which may include learners, frontline assessors, curriculum leaders, and others, provide feedback on the strengths, weaknesses, and usability of proposed EPAs.59
EPA의 공식 채택 Formal adoption of EPAs
EPA 개발에 대한 [결과적 증거consequential evidence]는 EPA 프레임워크 채택이 주요 이해관계자(학습자, 환자 및 사회)에 미치는 영향을 검토한다. 결과 증거를 확립하려면 먼저 EPA에 대한 위탁 의사결정 프로세스와 환자 치료에 대한 책임을 학습자에게 위임하는 데 이 프로세스를 적용하는 방법을 명확히 설명해야 한다. 환자와 학습자에게 발생하는 Consequences가 드러나는 것은 결국 위탁 결정의 operationalizing이다. Consequential evidence for EPA development looks at the impact that adoption of the EPA framework will have on the key stakeholders: learners, patients, and society. Establishing consequential evidence first requires clear articulation of the entrustment decisionmaking process for the EPAs and how it will be applied in delegating responsibility to learners for patient care. It is in operationalizing entrustment decisions that consequences—for patients and for learners—emerge.
이러한 EPA의 구현이 학습자에게 실무로 전환하기 위한 불필요하게 어려운 장벽, 즉 환자 안전을 유의미하게 발전시키지 않는 장벽을 만들고 있는가?
아니면 반대로, 환자안전에 대한 사회의 이익을 불충분하게 보호하는 위탁의 기준이 되는가?
Does the implementation of these EPAs create an unnecessarily challenging barrier to learners to transition into practice, a barrier that does not meaningfully advance patient safety?
Or contrastingly, does it set a standard for entrustment that insufficiently protects society’s interests for patient safety?
이는 수련과정에서 생성된 결과 데이터가 없을 경우 명확히 표현하기 어려울 수 있는 정성적 판단이다. 그럼에도 불구하고, 이는 직장 기반 평가에 대한 그러한 중요한 변화에서 기술해야 할 가장 필수적인 근거 소스 중 하나이다. 가능한 경우 의료 시스템 내의 건강 결과 데이터를 고려하고 알려진 환자 안전 문제를 고려해야 한다. 또한 EPA 채택이 가질 수 있는 교육생 사이에서 [certification rates에 예상되는 영향]과 [제공자에 대한 사회적 요구]를 고려해야 한다. This is a qualitative judgment that can be difficult to articulate in the absence of outcome data from training. Nonetheless, it is among the most essential sources of evidence to describe in such a high-stakes change to workplace-based assessment. It should include consideration of health outcomes data within the health care system where available and consider known patient-safety concerns. It should also consider societal needs for providers and any anticipated impact on certification rates among trainees that adoption of the EPAs may have.
리소스 밸런싱 및 유효성 필요성 Balancing resources and the need for validity
모든 EPA 기반 평가 또는 모든 위탁 결정이 학습자 또는 환자에 대한 높은 위험 결정을 나타내는 것은 아니다. 임상실습 시작 또는 수료, 레지던트 등록 및 레지던트 내 교육 단계를 포함한 중간 단계의 교육을 위해 EPA가 개발되고 있다. 이러한 한계liminal EPA 또는 내포nested EPA의 식별 및 설명 작업은 그에 따른 consequence가 낮으며, 따라서 타당성 증거에 대한 부담도 낮다.
Not all EPA-based assessments, nor all entrustment decisions, represent high stakes decisions for learners or patients. Increasingly, EPAs are being developed for intermediate stages in training including entry to or completion of clerkship,21,32 entry to residency,2,4 and even stages of training within residency.3 Work identifying and describing these liminal or nested EPAs carries less consequence, and thus a lower burden for evidence of validity.
EPA 개발에 있어 타당성에 대한 증거를 어디까지 추구할지를 결정하는 공식은 없다. 다른 프로젝트와 마찬가지로 리더는 프로젝트의 목표에 따라 상대적 편익과 비용을 판단해야 한다. 가끔은 정말 단순한 것이 더 낫다. There is no formula for determining how far to pursue evidence for validity in developing EPAs; as in other projects, leaders must judge the relative benefits and costs given the goals of the project. Sometimes simpler really is better.
결론 Conclusion
이러한 목적으로 식별 및 채택된 EPA는 해당 직업의 작업을 정확하게 포착해야 한다. 또한 EPA는 적용 상황에 적합해야 한다. 의대 졸업을 위해 설계된 EPA는 다른 관할권의 의대 졸업자에게 예상되는 practice에 따라 반드시 달라져야 한다.(예를 들어, 독립적인 실무, 제한된 실무 또는 대학원 의학 교육 프로그램의 추가 훈련). 보건 전문가 교육에 있어 EPA 프레임워크의 성공적인 구현은 해당 프레임워크의 구성과 적용 상황에 세심한 주의를 기울이는 것으로 시작해야 한다.
EPAs identified and adopted for this purpose must accurately capture the work of the profession. Further, EPAs must also be suited to their context of application—EPAs designed for the end of medical school should necessarily vary depending on the practice expectations for medical school graduates in different jurisdictions (e.g. independent practice, restricted practice, or further training in graduate medical education programs). Successful implementation of EPA frameworks in health professions training must begin with careful attention to their construction and context of application.
. Chen HC, McNamara M, Teherani A, Cate OT,O’Sullivan P. Developing entrustable professional activities for entry into clerkship. Acad Med. 2016;91(2):247–255. doi:10.1097/ACM.0000000000000988.
1Department of Medicine, Queen's University, Kingston, Canada.
2Department of Medical Education, University of Illinois at Chicago, Chicago, Illinois, USA.
3Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.
PMID:32634323
DOI:10.1080/10401334.2020.1784740AbstractKeywords:Assessment; competency-based medical education; consensus; construct validity; entrustable professional activities.
Issue:Entrustable Professional Activities (EPAs) describe the core tasks health professionals must be competent performing prior to promotion and/or moving into unsupervised practice. When used for learner assessment, they serve as gateways to increased responsibility and autonomy. It follows that identifying and describing EPAs is a high-stakes form of work analysis aiming to describe the core work of a profession. However, hasty creation and adoption of EPAs without rigorous attention to content threatens the quality of judgments subsequently made from using EPA-based assessment tools. There is a clear need for approaches to identify validity evidence for EPAs themselves prior to their deployment in workplace-based assessment.Evidence:For EPAs to realize their potential in health professions education, they must first be constructed to reflect accurately the work of that profession or specialty. If the EPAs fail to do so, they cannot predict a graduate's readiness for or future performance in professional practice. Evaluating the methods used for identification, description, and adoption of EPAs through a construct validity lens helps give leaders and stakeholders of EPA development confidence that the EPAs constructed are, in fact, an accurate representation of the profession's work.Implications:Application of a construct validity lens to EPA development impacts all five commonly followed steps in EPA development: selection of experts; identification of candidate EPAs; iterative revisions; evaluation of proposed EPAs; and formal adoption of EPAs into curricula. It allows curricular developers to avoid pitfalls, bias, and common mistakes. Further, construct validity evidence for EPA development provides assurance that the EPAs adopted are appropriate for use in workplace-based assessment and entrustment decision-making.
Managing risks and benefits: key issues in entrustment decisions Olle ten Cate
다모다란 등이 인정하듯이, [신뢰]라는 개념은 [신뢰를 하는 사람이 스스로 취약해지거나 위험을 감수할 의지]로 정의되었다.14 As Damodaran et al. acknowledge, the very concept of trust has been defined as the willingness of the trustor to be vulnerable13 or take a risk.14
경영 문헌은 중요한 통찰력을 제공하지만, 경영 연구의 대부분은 종종 정의와 공정성에 대한 개념과 결합되어 [감독자에 대한 직원들의 신뢰]와 관련이 있습니다. 직장 교육workplace education에서, 위임 결정은 다른 역학을 가진다. (감독자가 아니라) 학습자가 대개 신뢰의 대상이며, 신뢰받을만 하도록 훈련되기 때문이다. 학습자가 한 번 전문적 과제에 대해 신뢰를 받아야 하기 때문이다. – (EPA) The management literature provides important insights but most of these studies pertain to employees’ trust in supervisors, often combined with notions of justice and fairness. In workplace education, entrustment decisions have a different dynamic, as the learner is usually the object of trust (not the supervisor) and is trained to become trustworthy, as learners must once be trusted with professional tasks – (EPAs)
4가지 변수 집합이 위탁 결정이 내려지는 시점을 결정하는 것으로 보입니다. it seems that a set of four variables determine when entrustment decisions are made,
이는 인식된 신뢰도, 인식된 위해성과 유익성 및 신뢰 성향이다. These are
perceived trustworthiness,
perceived risks and
perceived benefits and
trust propensity.
인지된 신뢰도. Perceived trustworthiness.
이것은 trustee와 관련이 있다. Mayer 등이 널리 사용하는 신뢰도trustworthiness 구성 요소에는 다음이 있다
(i) 능력('조직에서 성공하기 위해 필요한 대인 관계 기술 및 일반적인 지혜와 함께 특정 업무를 수행하는 데 필요한 지식과 기술')
(ii) 자비('trustee가 trustor에게 선을 베풀고 싶어한다고 여겨지는 정도'), 동의어에는 충성, 개방, 배려 또는 지원이 포함된다.
(iii) 성실성(수탁자가 건전한 도덕적 윤리적 원칙을 준수하는 것으로 생각되는 정도), 동의어에는 공정성, 정의, 일관성 및 약속 이행이 포함된다.
This pertains to the trustee. Mayer et al.’s widely used components of trustworthiness include15
(i) ability (‘knowledge and skills needed to do a specific job along with interpersonal skills and general wisdom needed to succeed in an organization’, which should include the capacity to cope with unfamiliar situations),
(ii) benevolence (‘the extent to which a trustee is believed to want to do good for the trustor’; synonyms include loyalty, openness, caring or supportiveness) and
(iii) integrity (‘the extent to which a trustee is believed to adhere to sound moral and ethical principles’; synonyms include fairness, justice, consistency and promise fulfillment).
추가적으로, 의료 훈련에서 자주 언급되는 구성 요소는 [성실성] 및 [신뢰할 수 있는 행동]이며, [필요할 때 도움을 요청하려는 의지]와 [자신의 한계에 대한 관찰]이다.1 자비심이 성싱설 아래에 포함되는 것으로 간주되는 경우, 의료 훈련생의 신뢰성의 네 가지 지배적인 요소는 ability, integrity, reliability, humility의 네 가지이다.
Additional, frequently mentioned components of medical training are conscientiousness and reliable behaviour, and observing one’s own limitations and willingness to ask for help when needed.1 If benevolence is viewed as subsumed under integrity, the four dominant components of trustworthiness of a medical trainee can be signified as ability, integrity, reliability and humility.16
인지된 위험. Perceived risks.
의료감독관(advisor)은 환자를 수습자의 손에 맡겨 위험을 감수합니다. 위험이 작으면 수습생에게 업무를 맡기는 것이 쉽다. 오류가 심각한 결과를 초래할 경우, 위임 결정을 하려면 깊은 신뢰의 토대가 필요합니다. 위험은 환자와 관련이 있을 뿐만 아니라, 본질적으로 신뢰를 주는 감독관과 수습생에게도 영향을 미칩니다. 환자, 감독관, 교육생, 병원까지도 피해를 입을 수 있다. A clinical supervisor as trustor takes a risk by putting his or her patients in the hands of a trainee. When the risk is small it is easy to entrust a trainee with a task; when errors have severe consequences, an entrustment decision should require deep grounding of trust. Risks do not only pertain to patients, but inherently to a supervisor who grants trust and also to the trainee. Patients, supervisors, trainees and even a hospital can experience damage.
인지된 이점. Perceived benefits.
위험을 완전히 배제함으로써 안전하게 행동하는 것은 교육 프로그램의 옵션이 아니며, 모든 연습생은 EPA를 수행하기 위해서 [정기적인 첫 번째 실제 시도real-life attempts]를 해야 한다. 따라서 위임 결정은 교육생에게 교육적 이익이 있습니다. 매우 다른 혜택은 [상황적인 필요성]이다. [야간 근무 중]이거나 [매우 바쁜 낮]이거나, [환자가 긴급한 도움을 필요]로 하는데, 단 한 명의 trainee만 있다면, 위임 결정의 문턱을 낮춰야 할 상황이 발생할 수 있다. 교육병원의 의료서비스 제공은 교육생들에게 매우 의존하고 있으며, trainee를 믿는 것은 거의 실존적 필요조건이다. Playing safe through excluding risks is not an option for an educational programme and all trainees must have regular first real-life attempts at carrying out EPAs. Entrustment decisions thus have educational benefits for trainees. A very different benefit is contextual necessity. If a trainee is the only one available, for instance on a night shift or during an extremely busy day, and a patient requires urgent help, there can be contextual necessity to lower the threshold for an entrustment decision. Health care service provision in teaching hospitals depends very much on trainees and trusting them is almost an existential necessity.
신뢰 성향. Trust propensity.
감독관은, 교육생에 대한 신뢰도, 위탁 결정의 위험 및 편익에 대한 인식과 무관하게, 교육생에게 자율성을 주거나 신뢰하는 성향이 다르다. [신뢰 성향]은 [신뢰할 수 있는 가능성에 영향을 미치는 안정적인 개인 특성]으로 정의되어 왔다.15 신뢰 성향은 [위험에 대한 개인의 인식과 관용]에 따라 달라진다. Sterkenburg 등은 6가지 중요한 작업에 대해 감독 마취 훈련생이 몇 년도에 훈련을 받아야 하는지에 대한 추정에서 주치의들 사이의 큰 차이를 발견했으며, 이는 신뢰 성향에 명백한 차이를 반영한다. 이러한 안정적인 개인의 특성은 선천적이지 않을 수 있으며, 과거에 발생한 심각한 부작용('다시는 PGY2를 신뢰하지 않을 것이다')으로 인해 발생할 수 있으며, 유익성과 위해성이 개인이 일반적으로 무게를 재는 방식에 영향을 미친다. Supervisors differ in their inclination to trust trainees with autonomy, independent of their perceptions of trustworthiness of the trainee, and the risks and benefits of entrustment decisions. Trust propensity has been defined as a stable individual characteristic that affects the likelihood that a person will trust.15 Trust propensity depends on an individual’s perception and tolerance of risk. Sterkenburg et al.2 found vast differences among attending physicians in their estimation of how much supervision anesthesiology trainees require at which year of training for six different critical tasks, reflecting apparent differences in trust propensity. This stable individual characteristic may not be innate, and could be caused by severe adverse events in the past (‘I will never trust a PGY2 again’), and it affects the way benefits and risks are generally weighed by the individual.
[신뢰 성향]이 [위임 결정이 내려질 가능성]을 반영할 수 있다. 이 때, T는 수습생의 신뢰도이고 P는 감독관의 신뢰 성향이다. 이러한 각 요인에는 여러 하위 요인이 포함되어 있습니다. 한 측면은 방정식에 포함되지 않는다. 그것은 감독관과 연수생의 친분이다. 친분관계는 약하거나(새 전공의) 강할 수 있다(재직 기간이 긴 전공의). 이는 방정식을 근본적으로 바꾸지는 않지만, 신뢰하거나 신뢰하지 않는 결정을 더 또는 덜 정당화할 수 있다 (즉, 정보에 기반하여 판단하였는가의 문제)
in which the Tendency to trust reflects the chances that an entrustment decision is made, the T is the perceived trustworthiness of trainee t and P is the trust propensity of the supervisor. Each of these factors contains multiple sub-factors. One aspect is not included in the equation. That is the acquaintance a supervisor or team has with the trainee. This may be weak (a new resident) or strong (a resident long in office). It does not fundamentally alter the equation, but makes a decision to trust or not trust less or more justified, i.e. grounded in information.
지금까지, 위임은 개인적이고 감독에 의존하는 결정으로 여겨져 왔다. EPA 용어로는 임시 위임ad hoc 결정이라고 하며 상황에 따라 다르다.7 So far, entrustment has been considered as an individual, supervisor-dependent decision. In the EPA terminology this would be called an ad hoc entrustment decision, and is situation-specific.7
그러나 때로는 총괄적인 위임 결정이 내려져야 한다(즉, 면허 및 등록). EPA 및 역량 기반 커리큘럼은 총괄적 위임에 대해 EPA를 별도로 검토하는 것이 좋다. 그러한 결정에는 보다 체계적인 위험 분석이 필요하며, 가급적 임상 역량 위원회가 이를 수행해야 한다.
However, at some moments in time, summative entrustment decisions must be made, eventually at the end of training (i.e. for licensing and registration). An EPA- and competency-based curriculum would preferably view EPAs separately for summative entrustment. Those decisions require a more systematic risk analysis, preferably by a clinical competency committee.
6 Hauer KE, Ten Cate O, Boscardin C, Irby DM, Iobst W, O’Sullivan PS. Understanding trust as an essential element of trainee supervision and learning in the workplace. Adv Health Sci Educ 2014;19 (3):435–56.
11 Damodaran A, Shulruf B, Jones P. Trust and risk: a model for medical education. Med Educ 2017;51 (9):892–902.
7 ten Cate O, Hart D, Ankel F, Busari J, Englander R, Glasgow N et al. Entrustment decision making in clinical training. Acad Med 2016;91 (2):191–8.
Med Educ. 2017 Sep;51(9):879-881.
doi: 10.1111/medu.13362.
Managing risks and benefits: key issues in entrustment decisions
위임 결정: 환자를 평가 공식으로 가져오기 (Acad Med, 2017) Entrustment Decisions: Bringing the Patient Into the Assessment Equation Olle ten Cate, PhD
EPA는 임상 작업장의 교육 및 평가를 위한 구조를 제공하며, 초기에 졸업후 의학 교육(GME)을 위해 고안되었다. 학습자가 이러한 과제를 무감독적으로 수행하는 데 필요한 역량을 보유하고 있음을 증명한 후에는 학습자에게 맡길 수 있는 잘 정의된 과제입니다. GME와 UME의 위탁 원칙은 본질적으로 다르지 않다. EPAs provide a structure for teaching and assessment in the clinical workplace and were initially conceived for graduate medical education (GME). They are well-defined tasks that may be entrusted to learners once the learners have demonstrated that they possess the required competencies to perform these tasks unsupervised. the principles of entrustment in GME and UME are not essentially different.
전통적인 교육 관점에서 평가는 학습자가 시험을 통하여 정해진 기준을 충족했는지를 입증하여 그 여부를 판단합니다. (평가는) 학습자와 학교 또는 교육자의 두 당사자 사이의 대화입니다. [학습자]는 자신의 지식, 기술 및 행동을 [표준을 제시하는 사람]이 만족할 수 있도록 시연하는 것을 목표로 합니다. 이러한 평가가 측정 목표를 측정할 수 있도록 유효해야 합니다. Assessment, from the traditional perspective of education, determines whether a learner meets set standards, as demonstrated during an examination. It is a dialogue between two parties—the learner and the school or the educator. The learner aims to demonstrate her or his knowledge, skills, and behaviors to the satisfaction of those who set the standards. To ensure such assessments are measuring what they aim to be measuring, they should be valid
교육 과학과 심리학 분야에서 교육 평가의 타당도는 더 이상 시험의 고정된 속성이 아니라 [목적에 따라 달라지는 속성]으로 간주된다. 즉, 타당도란 학습자가 받는 점수의 결과라고 할 수 있다. In the world of educational science and psychology, the validity of an educational assessment is no longer viewed as a fixed property of the test but as a property of its purpose—that is, the consequences of the score the learner receives
EPA를 포함하는 작업장 기반 커리큘럼에는 다른 차원이 추가된다. 문제는 학습자가 [잘 수행했는지 여부]뿐만 아니라, [관리감독의 수준을 낮출 준비가 되어 있는지 여부]입니다. 이 새로운 차원은 [평가 문제]이자 [환자 안전 문제]입니다. 학습자를 환자와 단둘이 둘 준비가 되었습니까? 그러면 환자는 타당성 논의의 일부가 됩니다. 작업장 기반 평가는 관대성 오류 또는 실패라는 선입견으로 비판을 받아왔다.7 환자를 평가 방정식에 포함함으로써, 이제 교육자는 [환자를 교육할 뿐만 아니라 환자를 돌볼 책임이 있기 때문에] 이러한 편견에 대응하는 데 도움이 될 수 있다.8 만약 평가가 환자 안전에 미치는 영향을 고려한 위임 결정으로 구성된 경우, 의료전문가는 학습자에게 (의료행위를) 맡기기 전에 두 번 생각하고 잠재적으로 환자에 대한 위험을 고려하게 된다.
In workplace-based curricula that incorporate EPAs, another dimension is added. The question is not only whether the learner performed well but also whether the learner is ready for a decrease in the level of supervision. This new dimension is both an assessment issue and a patient safety issue. Is the learner ready to be left alone with the patient? The patient then becomes part of the validity argument. Workplace-based assessments have been criticized for leniency bias, also called generosity error or failure-to-fail.7 Bringing the patient into the assessment equation may serve to counter this bias, because of the now dual responsibility of educators to train learners as well as to care for patients.8 Clinicians may think twice before entrusting a learner and potentially putting their patients at risk if the assessment is framed as an entrustment decision with patient safety implications.
위탁 결정은 임상 환경에서 매일 발생한다. 대부분은 상황에 따라 특별하고 임시적이다. 이러한 임시적 결정은 결코 학습자가 [졸업 전에 감독 없이 의료행위를 할 수 있도록 허가하는 총괄적 결정의 성격]을 가지지 않는다. 지금까지 학습자가 전문의가 될 때 진정한 의미의 총괄적 위임 결정이 내려졌고, 이 시점에는 모든 실습 구성 요소를 한 번에 수행할 수 있도록 위임되었다. 역량 기반 의학 교육은 학습자가 미리 정해진 시점이 아니라 언제든 준비가 될 때 이 시점에 도달해야 한다고 제안한다.9 그러나 전문의 자격증은 이러한 (시간에 따른) 유연성을 쉽게 허용하지 않습니다.
Entrustment decisions happen every day in clinical settings. Most are situation- specific and ad hoc. These decisions never have the summative nature of the decision to license a learner to practice unsupervised before graduation. Until now, the only true summative entrustment decision is made when learners register for a specialty; at that point, they are entrusted to perform every component of practice at once. Competency-based medical education suggests that learners should reach this point whenever they are ready for it, rather than at a preset moment in time.9 But a license to practice a specialty does not easily allow for this suggested flexibility.
단, EPA는 교육자가 [모든 실천요소]에 대한 위임 결정을 한 번에 내리는 것이 아니라, 합리적으로 관찰 및 평가할 수 있는 [개별 단위 실천individual units of practice]에 대한 의사결정을 할 수 있도록 한다. 따라서 EPA는 역량 기반 의학교육을 보다 시간 가변적으로 만들 수 있도록 한다. EPA에 관한 위임 결정은 아직 법적 구속력이 없지만, EPA 기반 모델의 본질은 학습자가 자신의 전문성을 실천할 수 있는 완전한 허가를 받기 전에, [실천단위]에 대한 책임을 지도록 요구한다. 또한 이 모델은 [허가받는 순간에 모든 감독을 갑자기 없애는 것]이 아니라, 학습자가 [감독되지 않은 연습에 대해 더 점진적이고 안전하게 준비할 수 있도록] 합니다. 학습자가 환자 관리의 전체 범위를 책임지기 전에 별도의 EPA를 책임질 수 있도록 하려면 교육자가 가능하면 EPA에 대한 감독을 제공해야 하며, 학습자를 책임 있는 위치에 두는 환경을 조성해야 한다. EPAs, however, allow educators to make entrustment decisions not for every component of practice at once but for individual units of practice that can be reasonably observed and evaluated. EPAs thus enable competency-based medical education to be more time-variable. While entrustment decisions regarding EPAs are not yet legally binding, the essence of an EPA-based model requires learners to assume responsibility for units of practice before they are fully licensed to practice their specialty. This model also prepares learners more gradually and safely for unsupervised practice than a sudden abolishment of all supervision at the moment of licensing. Enabling learners to be responsible for separate EPAs before they are responsible for the full breadth of patient care requires educators to provide supervision at a distance for those EPAs whenever possible and to create an environment that places learners in a responsible position.
최종적인 위임 결정에는 세심한 타당도 검사가 필요하다. 이는 매우 중요한 결정이기 때문입니다.
관찰이 의도된 대로 EPA와 실제로 관련되는가(내용 타당도)?
평가 양식이 진정으로 학습자가 요구하는 관리자의 타당한 평가를 캡처할 수 있으며, 의료전문가가 이를 이해하고 잘 사용하고 있는가(응답 프로세스 타당도)?
(짧은 샘플링된 관찰, 사례 기반 토론, 종단적 관찰 및 기타 출처와 같은) 정보 출처의 수와 다양성이 의사결정에 대한 지지에 부합합니까 (내부 구조 타당도)?
다른 의료팀 구성원도 이 의사결정을 일반적으로 지지할 것인가? (다른 변수와의 관계 타당도)
마지막으로, 학습자에게 더 많은 자율성을 부여하기로 결정했을 때 어떤 결과가 초래될까요(결과 타당도)?
Summative entrustment decisions, require careful validity testing, as they are high-stakes decisions.
Do observations truly pertain to the EPA as it was meant (content validity)?
Can the rating form truly capture a valid estimation of the supervision a learner requires, and do clinicians understand it and use it well (response process validity)?
Do the number and diversity of sources of information—such as short, sampled observations; case-based discussions; longitudinal observations; and other sources—align in their support for the decision (internal structure validity)?
Would the decision be generally supported by other health care team members (relationship to other variables validity)?
And finally, what will be the consequences of the decision to grant the learner more autonomy (consequences validity)?
EPA 개념은 GME를 위해 만들어졌다. 이제 문제는 UME로 변환될 수 있는지 여부이다. 이 질문에 답하려면 먼저 몇 가지 하위 질문을 해야 한다.
첫째, 의대생은 어느 정도 EPA와 단둘이 있을 수 있는가? 즉, 얼마나 많은 책임을 부여하고, 얼마나 많은 책임을 정당화하며, UME에서 위임 결정이 의도된 결과를 가져올 수 있는가?
둘째, 위임 결정의 유효성을 어떻게 주장할 수 있는가? 즉, 위임 결정을 내리는 데 무엇이 필요하며, 어떻게 이러한 결정이 근거가 될 수 있습니까?
마지막으로, UME에서 시간 가변성이 어떻게 실현될 수 있을까?
The EPA concept was created for GME. The question now is whether it can be translated to UME. To answer this question, we must first ask several subquestions.
First, to what extent can medical students be left alone with EPAs? That is, how much responsibility can they be given, how much responsibility is justified, and can entrustment decisions in UME really have the intended consequences?
Second, how can the validity of entrustment decisions be argued? That is, what does it take to make entrustment decisions, and how can they be grounded?
And finally, how can time variability, if ever, be realized in UME?
학습자가 전공의 과정에 들어가기 전에 숙달해야 하는 EPA(EPA)를 정의하는 것은 이번 호에서 로미스와 동료1이 잘 설명한 EPA 개념을 GME에서 UME로 변환하는 한 단계이다. 그러나, [위임 의사 결정의 도입]과 [시간 가변적인 위임 과정의 생성]은 상당히 다른 문제이다. Defining the units of practice (EPAs) that learners must master before entering residency is one step in translating the EPA concept from GME to UME, which was well described by Lomis and colleagues1 in this issue. However, the implementation of entrustment decision making and the creation of a time- variable entrustment process are quite different issues.
저와 제 동료들은 의대생이 [EPA에 대한 간접 감독 수준]까지 교육을 받을 수 있다고 제안했습니다(즉, 물리적으로 감독자가 없는 상태에서 EPA의 집행은 가능하지만 감독관이 신속하게 도와줄 수 있어야 함).— 즉, 감독 등급의 3단계에 도달하는 것은 중요한 성과이다. 10 시스템이 학생들이 예상 및 예상치 못한 사건을 보고, 해석 및 관리하고 필요한 경우 도움을 조직할 수 있도록 신뢰해야 하기 때문이다.
My colleagues and I have suggested that medical students may be trained up to the level of indirect supervision for EPAs (i.e., the execution of an EPA without a supervisor physically present but with one quickly available)—that is, to level 3 of the supervision scale.10 Reaching this level is a significant achievement, as the system must trust students to report, interpret, and manage expected and unexpected happenings and to organize help if needed.
그런 다음, 이 수준의 포괄적인 위탁 결정에 도달하기 위해서는 "학습자와 임상 교수 교육자 모두 위임 경험에 참여하고 신뢰를 추구하기 위해 협력할 것"을 요구한다. 이 상호주의는 중요하다. 교육자가 자신의 한계를 파악하고 도움을 요청할 수 있는 경우에만 학습자를 신뢰한다면, 학습자가 주저하거나 굴욕 없이 도움을 제공할 수 있는 교육자를 신뢰할 수 있어야 합니다. Arriving at a summative entrustment decision for this level then requires, that “both learners and clinical faculty educators engage in the entrustment experience, partnering in the pursuit of trust.” This reciprocity is important. If educators only trust learners if they can discern their limitations and ask for help,11 learners must be able to trust educators to provide that help without hesitation or humiliation.
Brown과 동료는 [위임 위원회]를 설립할 것을 제안했다. 이는 GME의 임상 역량 위원회에 상응하는 것이다. 타당한 총괄적 위임 결정은 [개별 교육자]가 하는 것이 아니라, 서로의 판단을 신뢰하고 그러한 결정에 정보를 제공하는 정보 소스를 감독하고 평가할 수 있는 [복수의 임상의사]가 하는 것이 타당하다. 최종위탁 결정은 일련의 임시위탁 결정으로 통지될 수도 있다. Brown and colleagues2 in their article in this issue suggested establishing entrustment committees (comparable to the clinical competency committees in GME). Doing so makes sense, as valid summative entrustment decisions should not be made by individual educators but by multiple clinicians who trust each other’s judgments and who can oversee and weigh the information sources that inform such decisions. Summative entrustment decisions also may be informed by a series of ad hoc entrustment decisions.
의대생을 위한 일괄적인 위탁 결정은 중대한 결과를 초래해야 한다. 학생들은 자신이 의료 커뮤니티에 합법적으로 참여할 수 있는 신뢰를 받고 있음을, 즉 환자의 의료 서비스를 책임지고 있음을 깊이 느껴야 합니다. 이러한 상황에서는 환자가 직접 보이지 않는 관리자가 환자 안전을 실현할 수 있습니다. A summative entrustment decision for a medical student should have serious consequences. Students must deeply feel that they are being trusted to legitimately participate in the health care community—that is, that they are responsible for the health care of patients. In these situations, patient safety can be realized by a supervisor who is present but not directly visible.
마지막으로, UME에서 시간 가변적 위탁 프로세스가 실현될 수 있는가? 나는 이 목표에 도달하는 것이 두 가지 접근방식을 통해 가능하다고 믿는다. 첫 번째 방법은 미리 정해진 졸업 순간을 포기하는 것입니다("당신이 Class of 2022라면, 졸업 예정일은 2022년 5월 13일 금요일 입니다). 두 번째는 [선택적elective EPA]를 만들고 학생들이 졸업하는 포트폴리오의 변화를 허용하는 것이다. 두 가지 접근 방식 모두 실무에서 얻은 예를 가지고 있다. 미국과 달리 네덜란드 같은 다른 나라에서는 의과대학이 정해진 순간에 시작하지만 각 학생의 진도에 따라 다른 순간에 끝난다. 그런 다음 전공의 과정이 시작되는 시점도 가변적이다. Finally, can a time-variable entrustment process be realized in UME? I believe that reaching this goal is possible through two approaches. The first is to abandon the preset moment of graduation (“If you are a member of the Class of 2022, your graduation date will be Friday, May 13, 2022”). The second is to create elective EPAs and allow for variation in the portfolios with which students graduate. Both approaches have examples from practice. Unlike in the United States, in other countries such as the Netherlands, medical school starts at a fixed moment but ends at a variable moment depending on each student’s progress. Residencies then also start at variable moments.
고정된 졸업식에서 벗어나 Continuum Project의 소아과 교육은 EPA 및 역량 기반 UME-GME 연결을 원활하게 제공합니다. 마찬가지로, 최종 학년의 의대생을 위해 핵심 EPA와 더불어 3개의 선택 중환자 EPA 패키지를 제공하는 University Medical Center Utrecht의 첫 번째 프로그램이 최근에 확립되었다. Moving away from a fixed graduation, the Education in Pediatrics Across the Continuum Project (https://www.aamc. org/initiatives/epac) offers a smooth EPA- and competency-based UME–GME connection. Similarly, the first program at the University Medical Center Utrecht to offer a package of three elective critical care EPAs for final-year medical students, in addition to the core EPAs, was recently established.
작업장에서의 평가는 환자진료를 제공하기 위해 위탁과 너무 오래 분리되었다. [환자를 교육 평가 방정식에 포함시키는 것]이야말로 교육적 책임을 의료적 책임과 밀접히 관련시키는 것이다. Assessment in the workplace has too long been separated from entrustment to provide patient care. Bringing the patient into the educational assessment equation is marrying educational and health care responsibilities.
3 Favreau MA, Tewksbury L, Lupi C, et al. Constructing a shared mental model for faculty development for the Core Entrustable Professional Activities for Entering Residency. Acad Med. 2017;92:759–764.
Acad Med. 2017 Jun;92(6):736-738.
doi: 10.1097/ACM.0000000000001623.
Entrustment Decisions: Bringing the Patient Into the Assessment Equation
1Th.J.(Olle) ten Cate is professor of medical education and director, Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.
With the increased interest in the use of entrustable professional activities (EPAs) in undergraduate medical education (UME) and graduate medical education (GME) come questions about the implications for assessment. Entrustment assessment combines the evaluation of learners' knowledge, skills, and behaviors with the evaluation of their readiness to be entrusted to perform critical patient care responsibilities. Patient safety, then, should be an explicit component of educational assessments. The validity of these assessments in the clinical workplace becomes the validity of the entrustment decisions.Modern definitions of the validity of educational assessments stress the importance of the purpose of the test and the consequences of the learner's score. Thus, if the learner is a trainee in a clinical workplace and entrusting her or him to perform an EPA is the focus of the assessment, the validity argument for that assessment should include a patient safety component.While the decision to allow a learner to practice unsupervised is typically geared toward GME, similar decisions are made in UME regarding learners' readiness to perform EPAs with indirect supervision (i.e., without a supervisor present in the room). Three articles in this issue address implementing EPAs in UME.The author of this Commentary discusses the possibility of implementing true entrustment decisions in UME. He argues that bringing the patient into the educational assessment equation is marrying educational and health care responsibilities. Building trust in learners from early on, gradually throughout the continuum of medical education, may reframe our vision on assessment in the workplace.
Teaching clinical handover with ISBAR Annette Burgess1,2*, Christie van Diggele2,3, Chris Roberts1,2 and Craig Mellis4
배경 Background
[진료 권한 인계Clinical handover]는 "환자에 대한 통제권 이전 또는 그에 대한 책임 이전에 수반되는 환자에 대한 정보에 대한 보건 전문가 간의 교환"으로 정의된다[1]. 이는 환자의 여정[2]에서 가장 중요한 단계 중 하나이며, 보건 전문가와 하위 임상의에게 가르쳐야 하는 핵심 기술입니다. 잘 수행된다면, 진료 권한 인계는 병원이나 지역사회 환경에서 환자 치료, 오류 및 위해의 연속성의 결여가 감소하도록 보장해야 한다[2]. 진료 권한 인계의 핵심 기능은 수령자가 취하는 조치의 효과를 개선하는 것이다[1].
Clinical handover is defined as “The exchange between health professionals of information about a patient accompanying either a transfer of control over, or of responsibility for, the patient”[1]. It is one of the most critical steps in a patient’s journey [2] and is a core skill that needs to be taught to health professional students and junior clinicians. Performed well, clinical handover should ensure that lapses in continuity of patient care, errors and harm are reduced in the hospital or community setting [2]. The key function of clinical handover is to improve the effectiveness of the actions taken by the recipient/s [1].
중요성에도 불구하고 진료 권한 인계는 종종 제대로 수행되지 않으며, 환자에게 잠재적으로 심각한 결과를 초래할 수 있다[1]. 호주의 연구에 따르면 인도 중에는 중요한 세부 사항이 생략되는 경우가 많으며 포함된 정보가 때로는 관련이 없는 경우가 있습니다 [3, 4]. 환자 진료의 안전한 실천요강과 우수성 제공에 필수적이지만[2, 5, 6] 임상 권한 인계 교육은 종종 부적절하며 대학 의료 커리큘럼에 항상 포함되는 것은 아니다[3]. ISBAR을 프레임워크로 사용하여, 본 문서의 목적은 효과적인 진료 권한 인계의 핵심 요소를 강조하고, 프레임워크가 실무에 효과적으로 포함되도록 하는 것을 목표로 하는 교육 기법을 탐구하는 것이다.
Despite its importance, clinical handover is often poorly performed – with potentially serious consequences for the patient [1]. Australian research suggests that critical detail is often omitted during handover, and included information is sometimes irrelevant [3,4]. Although essential to safe medical practice and provision of excellence in patient care [2,5,6], training in clinical handover is often inadequate and not always included in university healthcare curricula [3]. Using ISBAR as a framework, the purpose of this paper is to highlight key elements of effective clinical handover, and to explore teaching techniques that aim to ensure the framework is embedded in practice effectively.
ISBAR
근거에 따르면 핸드오버를 위해 구조화되고 표준화된 프레임워크를 사용하면 정보 전달과 환자 결과를 개선한다[7]. 인도를 개선하기 위해, 많은 구조화된 형식이 개발되었습니다. 한 가지 예는 소아과(질병 중증도, 환자 요약, 조치 목록, 상황 인식 및 우발 상황 계획, 수신자에 의한 합성)에 사용하기 위해 개발된 I-PASS 핸드오버 시스템이다[8]. 그러나, 가장 광범위하고 잘 연구된 프레임워크 중 하나는 'ISBAR'(그림 1)이다. [9,10,11,12] ISBAR은 미 해군이 핵잠수함 사이의 명확하고 정확한 통신을 보장하기 위해 개발한 시스템인 'SBAR'을 기반으로 한다. 세계보건기구가 승인한 ISBAR 프레임워크는 근무 교대, 테스트 또는 예약을 위한 환자 이송, 병원 간 이전 및 악화 환자의 에스컬레이션과 같은 광범위한 임상적 맥락에서 사용할 수 있는 표준화된 커뮤니케이션 방식을 제공한다[9, 10]. 병원 환경에서, ISBAR은 전문가 간 인계를 연습할 때 투명성과 정확성을 증가시키는 것으로 나타났습니다 [10, 12]. ISBAR은 또한 호주 시골 및 외딴 지역에서 성공적인 인계 수단임이 입증되었다[11].
Evidence suggests the use of structured, standardised frameworks for handover improves information transfer and patient outcomes [7]. In order to improve handover, a number of structured formats have been developed. One example is the I-PASS handover system, developed for use in paediatrics (Illness severity, Patient summary, Action list, Situation awareness and contingency planning, Synthesis by the receiver) [8]. However, one of the most widespread and well-studied frameworks is ‘ISBAR’ (Fig. 1) [9,10,11,12]. ISBAR is based on ‘SBAR’ – a system developed by the US Navy to ensure clear, precise communications between nuclear submarines. The ISBAR framework, endorsed by the World Health Organisation provides a standardised approach to communication which can be used in a wide range of clinical contexts, such as shift changeover, patient transfer for a test or an appointment, inter-hospital transfers and escalation of a deteriorating patient [9,10]. In the hospital setting, ISBAR has been shown to increase transparency and accuracy when practicing interprofessional handovers [10,12]. ISBAR has also proven to be a successful tool for handover in rural and remote Australian settings [11].
진료 권한 인계는 모든 당사자가 동일한 프레임워크[13]를 사용하고 ISBAR이 의료진 간에 관련되고 간결한 정보 전달을 위한 공유 모델을 제공할 때 가장 효과적이다[13]. 명확하고 표준화된 프레임워크를 제공함으로써, 정보 전달을 방해할 수 있는 전력 차이를 줄이는 데 도움을 줄 수 있습니다 [13]. 정보 전송에는 의사 대 의사, 간호사 대 간호사, 의사 대 간호사, AHP 대 의사, AHP 대 간호사 등이 포함될 수 있습니다. ISBAR은 교대, 병원 간 이전, 보고 및 브리핑, 의료 응급 상황, 지역사회 서비스로의 환자 퇴원 등과 같은 다양한 상호작용에 사용될 수 있다. 이러한 접근 방식은 구두 커뮤니케이션에만 적용되는 것이 아니라 보고서, 메모, 방사선 요청 양식 및 의뢰 문서와 같은 서면 양식으로도 사용할 수 있습니다.
Clinical handover works best when all parties are using the same framework [13] and ISBAR provides a shared model for the transfer of relevant, succinct information between clinicians [13]. By providing a clear and standardised framework, it can assist in reducing the power differences that may hinder the transfer of information [13]. Information transfer may include: doctor to doctor; nurse to nurse; doctor to nurse; allied health to doctor; nurse to allied health. ISBAR can be used in a number of interactions, such as shift change, inter-hospital transfers, reports and briefings, medical emergencies, and patient discharge to community services. This approach doesn’t only apply to verbal communication, but can also be used in written forms, including reports, memos, radiology request forms, and referral documents.
ISBAR를 준비하는 팁 Tips for preparing for ISBAR
진료 권한 인계 절차에서 고려해야 할 중요한 요소가 있습니다. 인계에는 [환자 관리에 대한 책임 전달transfer]이 포함되어야 하며 [환자 정보의 기밀성]을 유지해야 합니다. ISBAR를 준비하기 위한 핵심 팁은 그림 2 [12, 13]에 나와 있습니다. There are important elements to consider in the clinical handover process. Handover must include transfer of accountability for patient care, and the confidentiality of patient information must be maintained.
ISBAR 사용의 이점과 challenge는 그림 3 [13]에 제시되어 있다. 과제에는 [환자 사례의 복잡성]과 [인계를 받는 사람이 올바르게 이해했는지 확인하는 것]이 포함될 수 있습니다. 과제를 극복하도록 돕기 위해, 가능한 경우 언제든지 대면 인계를 권고하며, 이렇게 하면 정보의 상호작용과 명확한 설명이 가능합니다 [13].
The benefits and challenges of using ISBAR are listed in Fig. 3[13].
환자 정보의 흐름은 환자 안전에 필수적이며, 효율성과 포괄성 사이의 균형이 필요하다[6]. 진료 권한 인계를 계획하고 조직할 때 다음을 고려해야 한다. Flow of patient information is vital to patient safety, and a balance between efficiency and comprehensiveness is required [6]. In planning and organising clinical handovers, it is essential to consider:
1. 누가 참여해야 합니까? 2. 언제 진행해야 합니까? 3. 어디에서 진행해야 합니까? 4. 어떻게 해야 합니까? 5. 어떤 정보를 전달해야 합니까?
1.Who should be involved?
2.When should it take place?
3.Where should it take place?
4.How should it occur?
5.What information should be handed over?
진료 권한 인계 중 및 이후 환자 정보 및 관리의 연속성을 보장하는 데 도움이 되는 핵심 요소는 그림 4에 요약되어 있다.
로지스틱: Shift의 중첩, 인계를 위한 확보된 시간, 명확한 리더십, 테크놀로지 서포트
정보: 시니어 의료진은 불안정한 환자를 명확히 식별, 주니어 의료진은 우려사항이 무엇인지 강조하여 명확히 브리핑, 미완수된 업무를 식별하고, 다음 팀에게 설명
인계 후: 업무의 우선순위 결정, Care 계획 수립, 불안정한 환자의 적시 리뷰
Key elements in helping to ensure continuity of patient information and care during and following clinical handover are summarised in Fig. 4.
전자 시스템을 사용하면 인도를 효율적으로 수행할 수 있습니다. 병원 환경 내에서 전자 핸드오버 도구의 일부 기능에는 각 컨설턴트에 대한 담당 의사의 이름 및 연락처 세부 정보 제공, 검토가 필요한 환자의 식별 및 미해결 과제[6]가 포함된다. 전자 시스템 사용의 이점에는 여러 명의 사용자를 보유할 수 있는 능력, 정보 연결, 즉각적인 정보 업데이트, 추가 계획 및 우선순위 지정 지원이 포함된다.
The use of electronic systems may assist with the efficiency of handover. Within the hospital setting, some functions of the electronic handover tools include provision of the name and contact details of covering doctors for each consultant; and identification of patients in need of review, and outstanding tasks [6]. Benefits of using electronic systems include the ability to have multiple users, linkage of information; immediate update of information; and assistance with further planning and prioritisation.
진료 권한 인계에 대한 교육, 교육 및 실습 Education, training and practice in clinical handover
비록 ISBAR가 귀중한 인도 도구라는 것이 입증되고 있지만, ISBAR이 성공적이기 위해서는, 효과적으로 교육을 받아야 하며, 의료전문가들은 ISBAR의 사용에 대해 적절한 교육을 받아야 합니다. 교육 개입의 최근 체계적 검토[16]에 따르면, 많은 핸드오버 연구가 전문직 간interprofessional 관행을 언급하지만, 교육적 개입은 전문직uni-profession 종사자의 맥락 내에서 주로 발생한다고 한다. 또한 이 체계적 검토는 교육적 개입과 결과의 부적절한 보고를 강조하여 복제 연구를 방해했다[16]. 교육 접근방식은 대부분 시뮬레이션과 역할극에 기초했으며, 종종 교훈적 교육, 인계 비디오 예, 토론 및 성찰로 순서를 정했다. 체계적 검토 결과, 핸드오버의 다원적 훈련multidisciplinary에 더욱 중점을 두면 교육적 개입에 가치를 더할 수 있을 것이다고 결론 내렸다[16]. Although ISBAR is proving to be a valuable handover tool, for it to be successful, it must be effectively taught, and health professionals must be adequately trained in its use [10]. A recent systematic review of education interventions [16] revealed that although many handover studies mention interprofessional practice, educational interventions occur predominantly within the uni-professional context. This systematic review also highlighted inadequate reporting of educational interventions and outcomes, thus impeding replication studies [16]. Teaching approaches were mostly based on simulation and role-play, often sequenced with didactic teaching, video examples of handover, discussion and reflection. The systematic review concluded that a greater emphasis on multidisciplinary training of handover would add value to educational interventions [16].
대학과 병원을 포함한 조직은 양질의 인계 관행을 보장하기 위해 [보건의료계 학생과 보건 전문가의 교육과 훈련에 투자]해야 한다. 그러나 대학 커리큘럼과 병원 교육에서 시간 제약으로 인해 진료 권한 인계에 있어 교수와 실습을 우선시하지 않을 수 있다. 대학 의료 커리큘럼 내에 핸드오버의 교육을 포함시킴으로써, 학생들은 미래의 역할을 더 잘 준비하기 위해 필요한 의사소통 기술을 개발하고 연습할 수 있다[17, 18]. 인력진에 대한 추가 교육과 함께, 전담 교육 시간, 잘 이끌어지는 인계 세션 자체는 임상 교육에 유용한 설정을 제공한다[6]. ISBAR의 교육을 지원하기 위해 사용할 수 있는 여러 온라인 도구와 비디오가 있습니다. 예: Organisations, including universities and hospitals, need to invest in the education and training of health professional students and health professionals to ensure good quality handover practice. However, due to time constraints in university curricula, and in hospital training, teaching and practice in clinical handover may not be prioritised. By embedding the teaching of handover within the university healthcare curricula, students are able to develop and practice required communication skills to better prepare for their future roles [17,18]. Along with further training in the workforce, with dedicated teaching time, a well-led handover session itself, provides a useful setting for clinical education [6]. There are a number of online tools and videos available to assist with the teaching of ISBAR. For example:
교육, 교육, 실습, 평가 및 피드백에 대한 지원은 필수적이다. 대규모 전문가 간 수업(건강, 간호, 의학, 약학, 치의학과)을 통해 진료 권한 인계 튜토리얼을 용이하게 하는 우리의 광범위한 경험을 바탕으로, 우리는 대규모 학급 활동과 소규모 그룹 활동을 결합한 다음의 교육 방법을 권고한다[17, 18].
학생들은 수업 전에 온라인으로 적합한 ISBAR 비디오를 시청한 다음, 임상 교사가 진행하는 대면 수업에 참석하여 대화형 토론을 진행합니다.
그런 다음, 소규모의 전문가 간 그룹에서 학생들은 시뮬레이션/역할극 활동에 참여하기 위해 관련 시나리오를 사용한다(그룹당 학생 약 4명). 이는 진료 권한 인계를 실천하는 능동적인 방법을 제공한다.
Support in education, training, practice, assessment and feedback are essential. Based on our own extensive experience of facilitating clinical handover tutorials, with large interprofessional classes (allied health, nursing, medicine, pharmacy, dentistry), we recommend the following teaching method, which combines large class and small group activities [17,18].
Students watch suitable ISBAR videos online prior to class, and then attend a face-to-face class, facilitated by a clinical teacher, with interactive discussion.
Then in small, interprofessional groups, students use relevant scenarios to participate in simulation/roleplay activities (approximately four students per group), providing an active method of practicing clinical handover.
그림 5에 두 가지 시나리오의 예가 나와 있습니다. 학습자가 2인 1조로 진료 권한 인계를 실습할 수 있습니다. 동료와 숙련된 임상의가 기술 개발에 도움을 준 직접 관찰, 평가 및 피드백 [22, 23] ISBAR을 더 큰 그룹으로 연습할 경우, 강의실에서 참가자들이 인계를 '완벽'하게 수행할 때까지 반복할 수 있습니다.
Two examples of scenarios are provided in Fig. 5. Learners can work in pairs to practice giving and receiving a clinical handover. Direct observation, assessment, and feedback, from both peers and an experienced clinician assist in the development of skills [22,23]. When ISBAR is practiced in larger groups, it is possible for class participants to duplicate the handover, until it is eventually performed to ‘perfection’.
피드백 및 평가 Feedback and assessment
역할극 상황에서 ISBAR을 사용하는 예는 그림 6에 나와 있다. [숙련된 임상의사의 피드백]을 통해 임상 관행을 직접 관찰하면 학습자가 현재와 원하는 성과 사이의 격차를 줄이는 데 도움이 된다는 점을 기억해야 한다[21, 22]. 또한, 그룹이 참여한 상태에서의 [정성적 구두 피드백]은 진료 권한 인계를 가르치는 데 유용한 방법을 제공한다[17, 18]. 예를 들어"정보를 과도하게 제공했습니다.", "정보의 초점이 맞지 않았습니다."등이 있습니다. Examples of using ISBAR in a roleplay situation are found in Fig. 6. It is important to remember that direct observation of clinical practice, with feedback by an experienced clinician helps to close the gap between current and desired performance by the learner [21, 22]. Additionally, verbal qualitative feedback, with group participation, provides a useful method in teaching clinical handover [17, 18]. For example; “You gave excess information”; “The information was unfocussed”.
인계를 넘기는 사람은 '수신자'가 질문을 할 가능성이 높음을 깨닫는 것이 중요하며, ISBAR 중에 입수 가능한 모든 정보를 확보해야 합니다. 특정 평가 도구를 사용할 수도 있습니다. "임상 핸드오버 평가 도구" (CHAT)는 무어 외 연구진 (2017)에 의해 개발되었으며, ISBAR 핸드오버 프레임워크에 기초하고 있습니다 [11].
It is important that the person giving the handover realises that the ‘receiver’ is likely to ask questions, and it is essential to have all available information at hand during ISBAR. Specific assessment tools can also be used. The “Clinical Handover Assessment Tool” (CHAT) was developed by Moore et al. (2017), and is based on the ISBAR handover framework [11].
소규모 그룹 세션에서 ISBAR 성과를 평가하는 데 이 모델을 사용했습니다. 이 평가 도구의 항목은 ISBAR과 연계되어 있습니다. 여기에는
"자신과 위치를 식별",
"주요 문제를 식별",
"적절한 이력 제공",
"적절한 검사/관찰 제공",
"논리적인 평가 수행",
"명확한 권고 사항 제시"
...등이 포함됩니다[11].
We have used this model in the assessment of ISBAR performance during small group sessions. The items in this assessment tool are aligned with ISBAR, including,
"능률적으로 수행되지 않음"부터 "최소한의 지시로 수행 가능"까지 4점 척도를 사용하여 학습자의 성과를 평가합니다. 또한 "환자의 정확한 그림picture을 받았다고 얼마나 확신합니까?"라는 글로벌 등급이 제공됩니다. 중요한 것은, 서면 질적 피드백도 학습자에게 제공된다는 것이다[11].
A four point scale, ranging from “Not performed competently” to“Able to perform under minimal direction” is used to rate the learners’ performance. A global rating is also provided,“How confident am I that I received an accurate picture of the patient?”. Importantly, written qualitative feedback is also provided to the learner [11].
전문가 간 실습 및 핸드오버에 대한 피드백 Interprofessional practice and feedback with handover
전문가 간 맥락interprofessional context 내의 동료 피드백은 전문가 간 진료 권한 인계 활동 동안 특히 가치가 있다[17, 18]. 소규모 그룹 내에서 참가자들이 자신의 의료 분야 내에서 경험을 공유하는 전문가 간 활동은 귀중한 학습 및 교육 기회를 제공하여 지식과 기술을 사회적으로 구축하도록 한다[17, 18]. 다른 전문직군으로부터의 피드백은 같은 분야 내의 피드백보다 훨씬 더 유익하고 의미 있을 수 있습니다. 인계에 대한 다원적 피드백을 통해 다른 보건 전문가의 지식, 역할 및 기술을 보다 잘 이해할 수 있으며, 이것이 자신의 보건 분야와 어떤 관련이 있는지에 대한 이해를 높일 수 있다[17, 18]. 또한 참가자들이 자신의 기술, 용어 및 커뮤니케이션 방법을 성찰할 수 있도록 도와줍니다.
Peer feedback within the interprofessional context is particularly valuable during interprofessional clinical handover practice activities [17,18]. Interprofessional activities, within small groups, where participants share experiences within their own field of healthcare offers valuable learning and teaching opportunities, leading to knowledge and skills being socially constructed [17,18]. Feedback from outside of one’s own health profession can be even more beneficial and meaningful than feedback from within the same discipline. Multidisciplinary feedback on the handover can help to provide an increased understanding of the knowledge, roles and skills of other health professionals; and provide an increased understanding of how this relates to their own health discipline [17,18]. It also helps participants to reflect on their own technique, terminology and communication methods.
진료 권한 인계에 있어 지속적인 교육의 중요성 Importance of ongoing training in clinical handover
의료 인력은 최근 몇 년 동안 [근무 시간 단축]과 [유연성에 대한 요구 증가] 등 많은 변화를 겪어 왔다[24,25,26]. 이는 의사 피로가 환자 안전에 미치는 영향, 업무/생활 균형, 노령화된 의료 인력 및 환자 관리의 복잡성 증가에 대한 인식 개선의 결과이다. 결과적으로, 이것은 [각 환자의 치료에 참여하는 사람들의 수를 증가]시킨다. 따라서 간결하고 정확한 진료 권한 인계에 대한 필요성이 필수적입니다 [6]. 환자 정보를 팀 간에 높은 품질의 이전은 임상의, 팀워크 및 효과적인 관리와 더불어 우수한 환자 관리의 필수 구성요소이다[27]. 그러나 진료 권한 인계 시 모범 사례는 우연히 발생하지 않는다. 기관 및 조직(예: 병원, 대학, 교육 및 인증 기관)과 그 리더는 양호한 진료 권한 인계에 대한 실천요강이 달성될 수 있도록 보장할 책임이 있다[6, 27]. The healthcare workforce has seen many changes in recent years, including reduced working hours, and increasing demands for flexibility [24,25,26]. This is a consequence of better recognition of the impact of doctor fatigue on patient safety, the importance of work/life balance, an ageing healthcare workforce, and the increasing complexity of patient care. In turn, this increases the number of individuals involved in the care of each patient. Therefore the need for concise, accurate clinical handover is imperative [6]. High quality transfer of patient information from team to team is an essential component of good patient care, alongside the expertise of clinicians, teamwork and effective management [27]. However, good practices in clinical handover do not happen by chance. Institutions and organisations (for example, hospitals, universities, training and accreditation bodies) and their leaders, have responsibilities to ensure practice in good clinical handover is achievable [6,27].
결과 Conclusion
효과적인 진료 권한 인계는 오류, 환자 위해의 감소 및 관리 연속성을 보장하기 위해 안전한 환자 관리의 필수 구성 요소입니다. 의료 인력 내에서 작업 패턴이 빠르게 변화함에 따라 진료 권한 인계의 우수성이 점점 더 중요해지고 있습니다. 의료 분야 전반의 의료 리더와 전문가가 협력하여 우수한 진료 권한 인계 관행을 개발하고 유지해야 한다. 보호되는 교육 시간과 자원은 이러한 노력에서 직원과 학생을 지원하는 데 필수적이다. 핸드오버를 개선하기 위해 많은 도구가 개발되었지만, 우리는 잘 연구된 ISBAR가 효과적인 임상 핸드오버를 위해 사용하기에 이상적인 도구임을 알게 되었습니다. 그러나 ISBAR 사용에 대한 효과적인 훈련과 연습은 필수적입니다. 이 교육은 대학 의료 커리큘럼 내에서 시작하는 것이 이상적이다. Effective clinical handover is an essential component of safe patient care to ensure reduction in errors, patient harm, and improve continuity of care. With rapidly changing work patterns within the healthcare workforce, excellence in clinical handover is increasingly important. It is essential that healthcare leaders and professionals from across the health disciplines work together to ensure good clinical handover practices are developed and maintained. Protected teaching time and resources are essential to support staff and students in these endeavours. While a number of tools have been developed to improve handover, we have found the well-researched ISBAR to be an ideal tool to employ for effective clinical handover. However, effective training and practice in the use of ISBAR is essential. Ideally, this training will commence within university healthcare curricula.
Clinical handover is one of the most critical steps in a patient's journey and is a core skill that needs to be taught to health professional students and junior clinicians. Performed well, clinical handover should ensure that lapses in continuity of patient care, errors and harm are reduced in the hospital or community setting. Handover, however, is often poorly performed, with critical detail being omitted and irrelevant detail included. Evidence suggests that the use of a structured, standardised framework for handover, such as ISBAR, improves patient outcomes. The ISBAR (Introduction, Situation, Background, Assessment, Recommendation) framework, endorsed by the World Health Organisation, provides a standardised approach to communication which can be used in any situation. In the complex clinical environment of healthcare today, ISBAR is suited to a wide range of clinical contexts, and works best when all parties are trained in using the same framework. It is essential that healthcare leaders and professionals from across the health disciplines work together to ensure good clinical handover practices are developed and maintained. Organisations, including universities and hospitals, need to invest in the education and training of health professional students and health professionals to ensure good quality handover practice. Using ISBAR as a framework, the purpose of this paper is to highlight key elements of effective clinical handover, and to explore teaching techniques that aim to ensure the framework is embedded in practice effectively.
양질의 의료 유도하기: EPA, 역량, 마일스톤의 적용을 통한 수련생 평가와 지도감독의 정렬(Acad Med, 2016)
Driving Care Quality: Aligning Trainee Assessment and Supervision Through Practical Application of Entrustable Professional Activities, Competencies, and Milestones Carol Carraccio, MD, MA, Robert Englander, MD, MPH, Eric S. Holmboe, MD, and Jennifer R. Kogan, MD
의료 교육의 목적은 [지속적인 감독 없이 양질의 치료를 제공할 수 있는 의료진]을 준비시키는 것이다. [양질의 치료]는 안전, 효과, 시기적절, 효율성, 공정성 및 환자 중심적으로 정의될 수 있다. 미국은 대학원 의학 교육 인증 위원회와 미국 의학 전문가 위원회의 핵심 역량에 기초한 대학원 의학 교육(GME) 체제로 전환한 지 15년이 지났지만 여전히 전체 건강 결과에서 11개국 중 꼴찌를 기록하고 있습니다.
The purpose of medical education is to prepare a physician workforce that can provide high-quality care—defined as safe, effective, timely, efficient, equitable, and patient centered—without a need for ongoing supervision.1,2 Fifteen years after the shift to a graduate medical education (GME) system based on the Accreditation Council for Graduate Medical Education and the American Board of Medical Specialties’ core competencies, the United States still ranks last of 11 countries in overall health outcomes.3
서비스 대상 환자 집단의 요구를 해결하기 위해 의사가 요구하는 역량에 기반을 둔 역량 기반 의료 교육(CBME)은 위에서 설명한 품질 격차를 해결하기 위해 GME 전반에 걸쳐 구현되었다.6 그러나 CBME의 구현은 연습생 성과를 평가하기 위한 의미 있는 조치가 만연해 있지 않다는 것을 드러냈고, [평가는 CBME의 발전에 있어 주요 속도 제한 단계]이다.6 Competency-based medical education (CBME), whose foundation is built on the competencies required by physicians to address the needs of patient populations being served, has been implemented across GME to address the quality gaps outlined above.6 Implementation of CBME, however, exposed the pervasive lack of meaningful measures to assess trainee performance, and assessment continues to be a major rate-limiting step in the advancement of CBME.6
Kogan 등7은 최근 학습자 평가의 과제를 "교육적 문제이자 동시에 임상진료 문제"로 다시 개념화할 것을 제안했다. 이를 위해 그들은 품질 관리 및 감독을 위한 책임 있는 평가(AAQCS) 등식을 제안했다. [수련생 성과 × 적절한 감독 = 안전하고 효과적인 환자 중심 진료.] Kogan et al7 have recently suggested that the challenges in learner assessments be reconceptualized as “both an educational and clinical care problem.” In so doing, they proposed the Accountable Assess- ment for Quality Care and Supervision (AAQCS) equation: Trainee performance × Appropriate supervision = Safe, effective patient-centered care.
AAQCS는 [안전하고 효과적이며 환자 중심적인 의료]는 [훈련생의 성과 수준(특정 맥락에서 훈련생의 역량 수준에 대한 평가)]과 [이에 부합하는 적절한 감독(관리 품질을 보장하는 데 필요한 개입 수준)]의 곱(product)에서만 나온다고 강조한다. AAQCS의 주요 기여는 환자 성과가 평가 방정식의 종속 변수임을 강조하는 것이다.
즉, 수련생 성과가 환자에 미치는 영향을 고려하지 않는다면, 연습생 성과 평가의 근본적인 목적을 잃는 것과 같다.
반대로, 환자 진료 품질에 미치는 영향을 고려하지 않는다면, 감독의 기본 목적도 상실된다.
AAQCS emphasizes that safe, effective, patient-centered care only results from the product of appropriate supervision (required level of intervention to ensure care quality) matched to the trainee’s level of performance (assessment of a trainee’s level of competence in a particular context). The major contribution of AAQCS is that it emphasizes that patient outcomes is the dependent variable of the assessment equation.
That is, the fundamental purpose of assessing a trainee’s performance is lost when the impact of that performance on patients is not considered.
Furthermore, the fundamental purpose of supervision is lost when its impact on patient care quality is not considered.
따라서 AAQCS 등식의 중요한 기여는 [치료 성과]에 대한 [교육생과 감독자의 상호의존성]을 입증한다는 것이다. Therefore, an important contribution of the AAQCS equation is that it demonstrates the interdependence of trainees and supervisors on care outcomes.
그 정의상, EPA는 [(훈련생 능력에 초점을 맞춘) 역량이나 마일스톤]과는 달리 [치료 결과에 초점을 맞춘 작업 단위]이다.8
By definition, EPAs are units of work that focus on outcomes of care, in contrast to competencies and milestones, which focus on trainee abilities.8
교육생 성과 평가 Assessment of Trainee Performance
CBME에서 교육생을 평가하기 위한 기본 전략은 workplace assessment이다.9,10 [실제 임상 환경에서 교육생을 관찰하고 평가하는 것]으로 정의되며, 작업장 평가는 Miller의 피라미드 "does" 수준을 목표로 한다. A foundational strategy to assess trainees in CBME is workplace assessment.9,10 Defined as observing and assessing trainees in the authentic clinical environment, workplace assessment targets the “does” level of Miller’s pyramid,
이상적으로는 전문가가 실제 관리 제공 상황에서 학습자의 역량을 평가하기 위해 [직접 관찰하는 것]이 바람직하다. 그러나 연구자들은 여러 전문가가 동일한 실습생을 같은 조우했을 때에도 학습자 성과에 대한 판단이 다양하다는 것을 발견했다.9,12 Ideally, experts engage in direct observation of learners to assess their competence in the context of actual care delivery. However, researchers have found that even when several experts observe the same trainee in the same encounter, there is variability in their judgments about learner performance.9,12
이 평가자의 variability에 대한 많은 설명이 있다.
평가자는 연습생과 자신(표준으로서의 자신)을 비교하거나 유사한 수준의 교육(표준 기준)에서 다른 사람에게 기대하는 바를 비교하는 등 연습생을 평가하는 다양한 기준을 사용합니다.
일반적인 평가 도구는 평가자에게 학습자 성과를 평가하기 위해 수치 척도를 사용하도록 요청하며, 오류는 자연스러운 [서술 기반 사고 프로세스]를 [수치 값으로 전환]하는 과정에서 발생할 수 있다.
평가관 변동성의 다른 원인에는 평가자에 의해 사용되는 인지 과정의 제한, 인지 오류, 문자 그대로의 서술은 덜 사용하고 평가자 전문지식에 기초한 추론은 더 많이 하는 것, 평가자 자신의 임상 기술 및 사회적 맥락을 포함한 판단이 이루어지는 맥락 등이 포함된다.
There are many explanations for this variability.
Assessors use variable standards by which they assess the trainee, such as comparing trainees with themselves (self as standard) or comparing trainees with what they would expect of others at a similar level of training (normative standard).13
Typical assessment tools ask raters to use numerical scales to assess learner performance, and error may result from the conversion of natural, narrative-based thought processes to numerical values.14
Other causes of rater variability include limitations in cognitive processes used by raters,15 cognitive errors,16 use of less literal descriptions and more inferences based on rater expertise,17 raters’ own clinical skills,13 and the context in which the judgment is made including social context.17,18
적절한 감독 Appropriate Supervision
작업장 평가의 목적은 연습생의 역량을 평가하는 것이지만, 또 다른 중요한 기능은 [연습생에게 필요한 감독 수준을 알리는 것]입니다.7 즉, 작업장 평가는 [훈련생이 할 수 있는 것]과 [안전하고 효과적인 환자 중심 치료를 위해 필요한 것 ]사이의 차이를 교수진에게 알려야 한다. 이 개념은 AAQCS 방정식에서 두 번째 독립 변수인 적절한 감독에 의해 강조된다. Although the purpose of workplace assessment is to assess trainee competence, another critical function is to inform the level of supervision a trainee requires.7 That is, workplace assessment should inform faculty of the gap between what a trainee is capable of doing and what is required for safe, effective patient-centered care. This concept is highlighted in the AAQCS equation by the second independent variable, appropriate supervision.
AAQCS 등식의 [적절한 감독] 변수는 명확히 할 가치가 있는 두 가지 점을 강조한다.
"적절한" 감독을 어떻게 정의할 것인가?
감독의 이중적 목적(환자 돌봄의 퀄리티 확보 + unsupervised practice를 향한 학습자의 발달 궤적 확보)을 어떻게 다룰 것인가?
The appropriate supervision variable of the AAQCS equation highlights two points that deserve clarification:
how to define “appropriate” supervision, and
how to address the dual purpose of supervision—ensuring quality patient care and learner development on the trajectory toward unsupervised practice.
Kennedy 등 19명은 "임상 감독"을 "Care의 퀄리티를 보장하기 위해 감독자가 수행하는 환자 관리 활동"으로 정의했다. 이러한 정의에 기초하여, 한 환자가 특정 상황에서 받는 [Care의 퀄리티]은 [수습자와 감독자의 결합된 임상 역량]에 따라 달라진다. Kennedy et al19 defined “clinical oversight” as “patient care activities performed by supervisors to ensure quality of care.” Based on this definition, the quality of care that the patient receives in a given encounter is dependent on the combined clinical competence of the trainee and the supervisor.
[작업장 평가의 신뢰성]과 관련된 여러 어려움을 고려한다면, 이러한 평가에 기초하여 [감독 수준]과 [수련생 성과 수준]을 일치시키는 데 상당한 변화가 있을 수 있습니다. 궁극적으로, 이는 단기적으로 care quality에 부정적인 영향을 미칠 수 있으며, 특정 상황에서 관리 결과를 초래하고, 장기적으로는 교육생들로 하여금 졸업 시 감독되지 않은 실습에 참여할 준비가 되어 있지 않은 교육생으로 이어질 수 있다.
Given the challenges with reliability of workplace assessments, there is likely significant variability in matching the level of supervision to level of trainee performance on the basis of these assessments. Ultimately, this can adversely affect care quality in the short run with undersupervision leading to a negative care outcome in the given encounter and in the long run with oversupervision leading to trainees who are not ready to engage in unsupervised practice upon graduation.
[(임상) 감독]을 정의할 때 Kennedy20은 또한 "훈련자 학습을 최대화하기 위한 임상 감독을 설계하는 것이 장기적인 환자 관리의 질에 영향을 미치는 가장 강력한 방법이 될 것"이라고 제안했다. 향후 이 교육생과의 만남에서 환자가 받게 될 care의 퀄리티는,
[감독자가 특정 encountrer에서 보여준 care의 modelling]에 영향을 받을 뿐만 아니라,
학습자가 competence에서 capability(새로운 맥락에서 competence을 입증할 수 있는 능력)로 나아가는 [전문적 발달을 서포트하는 감독자의 능력]에도 영향을 받을 것이다.
When defining supervision, Kennedy20 has also suggested that “designing clinical supervision to maximize trainee learning will be the most powerful way to impact the quality of patient care in the long-term.” The quality of care that patients receive in future encounters with this trainee will
not only be affected by the modeling of care done by the supervisor in a given encounter
but the supervisor’s ability to support the professional development of the learner beyond competence to capability (the ability to demonstrate competence in new contexts).21
Vygotsky의 ZPD는 최상의 학습은 연습생들이 자신이 수행하기에 편한 수준 이상으로(즉, 능력의 최상단에서) 일하도록 도전할 때 발생한다고 시사한다. 이는 이상적으로, 연습생의 개발 수준과 일치하는 감독적 접근방식을 요구한다. 예를 들어,
초보자를 위한 지시적 접근법,
고급 초보자를 위한 협력적 접근법,
역량 있는 교육생을 위한 비지시적 접근법이 포함될 수 있다.23
Vygotsky’s22 zone of proximal development suggests that the best learning occurs when trainees are challenged, with support, to work beyond the level at which they are comfortable performing (i.e., at the upper edge of their competence), which ideally calls for a supervisory approach that is matched to the developmental level of the trainee.23 This might include, for example,
a directive approach for novices,
a collaborative approach for advanced beginners, and
a nondirective approach for trainees who are competent.23
교육생에 대한 [원치 않는 평가의 다양성variability]은 관리 품질과 학습자 개발 모두에 부정적인 영향을 미칠 위험이 있다. 교수진이 [연습생이 할 수 있는 일]과 [안전하고 효과적이며 환자 중심적인 치료] 사이의 차이를 식별할 수 없다면, 진료의 공백을 메우는 특정 감독 행동에 관여하는 동시에 학습자 계발을 촉진할 수 없을 것이다. Unwanted variability in assessment of trainees risks negatively impacting both care quality and learner development. If faculty are not able to identify the gap between what a trainee can do and safe, effective, patient-centered care, they will not be able to engage in the specific supervision behaviors that fill the gaps in care while also promoting learner development.
안전하고, 효과적이며, 환자 중심의 관리를 위해: 평가 및 감독할 교수진 개발 Toward Safe, Effective, Patient- Centered Care: Developing Faculty to Assess and Supervise
문헌의 교훈. Lessons from the literature
교수개발 Faculty development.
교육생 성과 평가에서 [원치 않는 가변성unwanted variability]을 완화하기 위해 교수개발이 매우 중요합니다. 교수진이 공유된 정신 모델을 개발하고 임상 역량을 이해하는 데 도움이 되는 그룹 방법과 기법은 성과 평가에서 나타나는 일부 가변성을 제거하는 데 도움이 될 수 있다. 본질적으로, 이러한 기법은 [학습자 역량을 평가할 때 고려해야 할 행동]과 이러한 [행동이 사전 정의된 성과 수준에 어떻게 부합되는지]에 대한 [강력한 스크립트]를 제공하기 위해 고안되었습니다. 이러한 기법은 교육생 성과와 환자가 필요로 하는 임상 개입 수준에 대한 보다 정확한 평가 및 판단으로 이어질 수 있을 뿐만 아니라, 학습자에게 형성적 피드백을 위한 자료substrate를 제공할 수 있습니다.
Faculty development is critical for mitigating unwanted variability in assessment of trainee performance. Group methods and techniques that help faculty develop shared mental models and understanding of clinical competencies can help to eliminate some of the variability seen in performance assessments.25 In essence, these techniques are designed to provide a robust script of what behaviors to look for in assessing learner competence and how those behaviors align with predefined levels of performance. These techniques can lead to more accurate assessments and thus judgments about trainee performance and level of clinical intervention needed by the patient, as well as provide substrate for formative feedback to learners.
글로벌 평가 사용. Use of global assessments.
문헌에 따르면 전문가들의 손에서 전반적인 판단에 대한 글로벌 평가가 체크리스트보다 더 신뢰할 수 있다.26 따라서 글로벌 등급 양식을 [체크리스트로 대체하는 것]은 원치 않는 가변성을 줄이기 위한 전략이 아니다. 우리는 체크리스트의 모든 항목을 완료할 수는 있지만 효과적인 관리 제공을 가능하게 하는 방식으로 필요한 작업을 통합할 수 없는 학습자를 관찰한 경험에 익숙하다. 학습된 중요한 교훈은 객관성과 신뢰성이 동의어가 아니라는 것이다. 전문가의 손과 적절한 표본 추출 조건에서 이루어지는 주관적 평가가 체크리스트보다 더 신뢰할 수 있다.26
Literature suggests that global assessments of overall judgment in the hands of experts are more reliable than checklists.26 Thus, replacing global rating forms with checklists is not a strategy for reducing unwanted variability. We are familiar with the experience of observing a learner who can complete all items on a checklist but cannot integrate the required tasks in a way that enables effective care delivery. An important lesson learned is that objectivity and reliability are not synonymous; subjective assessments in the hands of experts and under conditions of appropriate sampling are more reliable than checklists.26
내러티브 스크립트 사용. Use of narrative scripts.
평가자 평가의 일부 변동성은 보증되지 않으며 최소화하는 것이 바람직하지만, 어떤 변동성variability은 [서로 다른 평가자]가 [동일한 학습자]를 보는 [다양한 렌즈를 제공함]으로써 포괄적인 학습자 피드백에 의미 있는 정보를 제공합니다.9 While some variability in rater assessments is unwarranted and due to error that is desirable to minimize, some variability contributes meaningful information to comprehensive learner feedback by providing different lenses through which raters see the same learner.9
의사들이 [나름의 독특하고 지속적으로 업데이트되는 질병 스크립트와 패턴 인식에 의존하는 임상적 추론]을 하듯이, 평가자는 새로운 학습자에 대한 인상을 형성하기 위하여 메모리에 저장된 스크립트를 활용한다.27,28 이러한 스크립트는 풍부한 서술 형태의 행동의 회상으로서 존재합니다. 평가자 개개인의 경험과 스크립트의 고유성은, 오류가 아니라, 다양한 관점에 기반한 가변성을 만들어낸다. Much as physicians do in clinical reasoning, which relies on unique and continuously updated illness scripts and pattern recognition, raters draw on scripts stored in memory to inform impressions of new learners.27,28 These scripts exist as recollections of behaviors in the form of rich narratives. The uniqueness of an individual assessor’s experiences, and thus her or his scripts, creates variability that is not due to error but, rather, to perspective.
단, 격리된isolated 평가자의 스크립트가 다수의 스크립트와 상당히 다른 이유가 관점 때문일 수도 있지만, 이미 낡은 스크립트이기 때문일 수 있다. 전자의 경우, 관점은 유용한 형태적 피드백을 제공할 수 있지만, 최종 결정의 기초가 되어서는 안 된다. 후자의 경우 피드백은 not relevant하다. 어느 쪽이든 평가에 주관적 판단을 사용할 때 신뢰도를 보장하기 위해 적절한 표본 추출이 여전히 필수 요건으로 남아 있다.29 Of note, the script of an isolated assessor may be quite different from those of the majority based either on perspective or an outdated script. If the former, the perspective can provide useful formative feedback but should not be the basis of a summative decision. If the latter, the feedback is not relevant. Either way, adequate sampling remains an essential requirement for ensuring reliability when subjective judgment is used in assessment.29
효과적인 감독 기술. Effective supervision skills.
분명한 필요성에도 불구하고, 훈련생들의 감독은 종종 불충분하다. 문헌에는 관리 품질을 보장하고 교육자가 학습자 계발을 보장하는 의료전문가로서의 이중 역할을 탐색할 수 있도록 교수진 개발이 필요하다는 내용이 나와 있습니다.20 다양한 감독 스타일이 있지만, [필수적이고 효과적인 감독 기술]을 뒷받침하는 기본 원칙이 있습니다. 학습자 평가를 담당합니다.30 효과적인 감독 원칙을 배우고 실천해야 하며, 감독자는 역할의 지속적인 개선을 지원하기 위해 감독관으로서의 성과에 대한 피드백을 요구합니다.
Despite the clear need, supervision of trainees is often inadequate. The literature illustrates the need for faculty development to help supervisors navigate their dual roles as clinicians ensuring care quality and educators ensuring learner development.20 Although there are a variety of supervision styles, there are fundamental principles underpinning essential, effective supervisory skills that need to be packaged for those charged with learner assessment.30 The principles of effective supervision must be learned and practiced, and supervisors require feedback on their performance as supervisors to support continuous improvement in the role.
과거 구축: EPA, 역량 및 이정표를 통해 작업장에 AAQCS 방정식 적용 Building on the past: Applying the AAQCS equation in the workplace through EPAs, competencies, and milestones
EPA, 핵심 역량 및 전공과별 마일스톤을 통합하는 [통합 프레임워크]는 수련생 평가 및 적절한 관리감독의 과제 중 일부를 해결할 것이다. A unifying framework integrating EPAs, core competencies, and specialty milestones will address some of the challenges of trainee assessment and appropriate supervision.
EPA는 교수진이 임상 감독 맥락에서 관찰할 수 있는 사항에 초점을 맞추는 데 더 도움이 될 수 있으므로 의미 있는 평가를 제공할 수 있는 능력을 강화할 수 있다. EPAs may prove more helpful in focusing faculty on what they are able to observe in the context of clinical oversight, thus enhancing their ability to provide meaningful assessments.
각 EPA에 정보를 제공하는 필수 역량에 EPA를 매핑하면 각 성능 수준에서 이정표의 행동 설명을 통합하기 위한 단계가 설정되므로, 예를 들어 초보 또는 고급 초급자가 프로페셔널 활동에 참여할 때 어떤 모습인지에 대한 공유 멘탈 모델을 만들 수 있다. Mapping EPAs to the essential competencies that inform each EPA sets the stage for integrating the behavioral descriptions of the milestones at each performance level, thus enabling the creation of a shared mental model of what a novice or advanced beginner, for example, looks like when engaged in the professional activity (Supplemental Digital Appendix 1, http://links.lww.com/ACADMED/A308).
예를 들어, 보충 디지털 부록 1에는 EPA "응급실, 응급실 또는 입원 환경에서 급성, 공통 진단을 받은 환자를 관리"하는 역량(왼쪽 열 왼쪽 열)과 그 진보적 이정표 34(이후 열은 왼쪽 초보 성과에서 가장 전문가 성과까지 읽힌다)가 수록된다.
For example, Supplemental Digital Appendix 1 lists the competencies (left-hand column) and their progressive milestones34 (subsequent columns read from most novice performance on the left to most expert performance on the right) for the EPA “manage patients with acute, common diagnoses in ambulatory, emergency, or inpatient setting.”
라벨이 평가자의 성과 수준 선택에 미치는 영향을 최소화하기 위해 column에는 발달 레벨만 부여된다. 매트릭스를 보면 이정표의 첫 번째 열을 읽으면 핵심 행동을 통합하고 합성할 수 있다("조기 학습자의 행동" 참조). 표의 맨 아래 행 바로 뒤에 나와 있습니다. 학습자가 직장에서 특정 EPA를 수행했을 때 이러한 행동에 참여하는 모습을 보여주는 단초가 된다.
To minimize the influence of a label on the assessor’s choice of performance level, the columns are just given a level of development. Looking at the matrix, if one reads down the first column of milestones, one can integrate and synthesize the salient behaviors (see “Behaviors of an early learner”) as illustrated just after the bottom row of the table. Immediately following these behaviors is a vignette of what a learner would look like engaged in those behaviors as he or she carried out the given EPA in the workplace.
각 후속 column에 대해 동일한 연습을 수행하여[가장 오른쪽 열을 읽어 내려오면 이 EPA를 수행하는 전문가의 행동을 synthesis and integration]할 수 있으며,이를 사용해 [전문 학습자의 임상적 비네트]를 개발할 수 있다. The same exercise can be done for each subsequent column, so that reading down the right- most column would allow synthesis and integration of the behaviors of an expert performing this EPA, which can then be used to develop a clinical vignette of the expert learner.
따라서 이러한 vignettes은 EPA를 수행하는 데 필요한 필수 역량과 각각의 이정표를 기반으로 구축되며, 각 개발 단계에서 학습자의 공통 정신 모델을 제공한다. 교수 개발을 위한 성과 평가 훈련 방법과 유사하게, 이 공유 정신 모델의 생성은 서로 다른 평가자, 심지어 전문가도 동일한 임상 상황에서 동일한 학습자를 관찰할 때 발생하는 원치 않는 판단의 가변성을 해결하는 데 도움이 될 수 있다.12,25 Thus, these vignettes are built on the essential competencies and their respective milestones that are required to perform the EPA, and provide a common mental model of the learner at each stage of development. Creation of this shared mental model, similar to performance appraisal training methods for faculty development,35–37 may be helpful in addressing the unwanted variability in judgment that occurs when different raters, even experts, observe the same learner in the same clinical encounter.12,25
학습자 평가에 vignettes를 사용하면 [세 가지 방법으로 평가 신뢰도를 높일 수 있습니다].
학습자 성과를 평가할 때 [서술적 설명을 상기하는 자연스러운 경향]에 따라 평가 도구의 형식을 정렬
서술적 설명에서 [수치값으로 변환하는 데 필요한 인지 부하 감소]
설명을 [숫자 값으로 변환하여 발생할 수 있는 오류 제거]
The use of vignettes in learner assessment may actually add to assessment reliability in three ways. It may assist in
aligning the format of assessment tools with the natural tendency to recall narrative descriptions when rating learner performance,17
reducing the cognitive load that is required to convert from the narrative descriptions to numerical values,38 and
eliminating the errors that may result from translating descriptions to numerical values.14
Regehr 등의 연구는 교수진이 [개별 역량에 기초하여 학습자를 평가]할 때보다, [역량을 통합한 표준화된 서술적 비네트에 연습생 성과를 일치시킬 때] 수행 수준을 더 잘 구별할 수 있음을 보여주었다. 역량과 수준별 이정표가 Vignet에 포함된 것처럼, 특정 성능 레벨에 대해 미리 결정된 표준이 시리즈의 각 Vignett에 포함되었습니다.40
Work by Regehr et al39,40 has demonstrated that faculty were better able to distinguish between levels of performance when matching trainee performance to standardized narrative vignettes that integrated competencies than when assessing learners on the basis of individual competencies. Predetermined standards for a given performance level were embedded within each vignette in the series, just as the competencies and their level-specific milestones are embedded in our vignettes.40
EPA를 역량과 연계하여 관리 품질을 개선하는 데는 두 가지 잠재적 이점이 있다. 첫째, [전문적인 활동을 수행하는 훈련생의 능력에 대한 평가]와 [활동을 안전하고 효과적으로 수행하는 데 필요한 감독 수준] 사이에는 직접적인 관계가 있습니다.32 훈련생에 대한 더 나은 평가 결정은 관리 품질을 보장하기 위해 적절한 감독자에게 더 나은 정보를 제공할 수 있습니다. EPA를 [위임 의사결정에 중요한 역량과 이정표]에 현명하게 매핑하면, [EPA를 수행하기 위해 통합되어야 하는 학습자 행동]을 보다 세분화된 시각으로 볼 수 있는 줌 렌즈를 제공한다. [교육생들의 현재 행동]을 [발달 이정표 내에서 표현되는 바람직한 행동]과 대조하는 것은 supervision practice에 보다 구체적으로 도움이 될 수 있습니다. There are two potential benefits of linking EPAs to competencies and their milestones to improve care quality. First, there is a direct relationship between assessment of a trainee’s ability to perform a professional activity and the requisite level of supervision needed to ensure that the activity is safely and effectively carried out.32 Better assessment decisions of the trainee can better inform appropriate supervision to ensure care quality. Judiciously mapping EPAs to the competencies and milestones that are critical to entrustment decisions provides a zoom lens that allows a more granular view of learner behaviors that must be integrated to perform the EPA. Contrasting a trainee’s current behaviors with the desired behaviors represented within the developmental milestone narratives can more specifically inform supervision practices.
EPA를 역량 및 그 이정표에 연계함으로써 얻을 수 있는 두 번째 이점은 피드백의 기질 역할을 하는 학습 로드맵을 제공한다는 것이다. 이는 향후 치료 상황에서 환자 진료 품질을 개선할 수 있다. 일부 학습자가 동료보다 [더 세밀하게 감독을 받아야 하거나], 다른 동료는 가능한데 특정 학습자는 [불가능하다는 사실]을 아는 것만으로는 충분하지 않습니다. 감독관은 그 이유를 알고 있어야 합니다.
The second benefit of linking EPAs to competencies and their milestones is that it provides a learning road map that serves as the substrate for feedback, which can improve patient care quality in future care encounters. It is not enough to know that some learners need to be more closely supervised than their peers or that they cannot be entrusted when their peers can—supervisors must know why.
마일스톤은 [글로벌한 인상]을 [구체적인 건설적인 실행 가능한 피드백]으로 세분화함으로써 어려움에 처한 감독관들에게 어휘를 제공할 수 있다. 이정표는 학습자와 관리자가 예상 학습자 발달에 대해 공유된 이해를 제공할 수 있습니다. 이는 최근 Crossley41이 "만약 피드백 제공자와 피드백 수령자가 성과와 진행에 대해 논의하는 공통 언어 또는 지도를 가지고 있지 않으면 [피드백 전달에 있어] 신뢰성이 붕괴된다"고 강조했듯이 중요하다. 위탁 결정이 2진수(예, 아니요)이긴 하지만 위탁으로 이어지는 관리 수준을 기술하는 것이 교육생들의 작업장 평가를 위한 중요한 프레임워크로 제안되었습니다.32
The milestones can provide a vocabulary for supervisors challenged by breaking down global impressions into specific constructive actionable feedback. Milestones can provide learners and supervisors with a shared understanding of expected learner development. This is important, as Crossley41 recently highlighted that “credibility [in feedback delivery] is disrupted if the provider and recipient have no common language or map for discussing performance and progression.” Although the entrustment decision is a binary one (yes–no), describing levels of supervision leading up to entrustment has been proposed as a valuable framework for workplace assessment of trainees.32
요약 Summary
이러한 통합 프레임워크는 [교육생 성과 평가] 및 [적절한 감독]의 복잡성 뿐 아니라, 치료 품질에 영향을 미치는 [이 둘의 상호 의존성]을 다루기 시작하는 출발점을 제공한다. 위임으로 이어질 수 있는 감독 수준이 제안되었으며, 다음 과제 중 하나는 필요한 감독 수준에 대한 암묵적이고 상황적인 결정에서 EPA, 역량 및 이정표를 기반으로 한 보다 명확하고 신중한 모델로 이동하는 것이다.
this unifying framework gives us a starting point from which to begin to address the complexities of trainee performance assessment and appropriate supervision as well as their interdependence in impacting care quality. Levels of supervision leading up to entrustment have been proposed, and one of the next challenges will be moving from implicit and circumstantial decisions about needed level of supervision to a more explicit and deliberate model based on EPAs, competencies, and milestones.
Acad Med. 2016 Feb;91(2):199-203.
doi: 10.1097/ACM.0000000000000985.
Driving Care Quality: Aligning Trainee Assessment and Supervision Through Practical Application of Entrustable Professional Activities, Competencies, and Milestones
1C. Carraccio is vice president, Competency-Based Assessment, American Board of Pediatrics, Chapel Hill, North Carolina. R. Englander was senior director, Competency-Based Learning and Assessment, Association of American Medical Colleges, Washington, DC, at the time this article was written. E.S. Holmboe is senior vice president, Milestone Development and Evaluation, Accreditation Council for Graduate Medical Education, Chicago, Illinois. J.R. Kogan is associate professor of medicine, Department of Medicine, Perelman School of Medicine, University of Pennsylvania, Philadelphia, Pennsylvania.
To address the long-standing challenge of meaningful trainee assessment, the authors reviewed and expanded on the Accountable Assessment for Quality Care and Supervision (AAQCS) equation. The equation proposes that care quality is the product of the interaction between trainee performance (measured by workplace assessment) and supervision (required level of intervention to ensure care quality) in the context of the environment where the care occurs: Trainee performance × Appropriate supervision = Safe, effective patient-centered care. Assessing trainee performance and matching that performance to "appropriate" supervision, however, is fraught with challenges. The authors suggest a unifying framework that integrates entrustable professional activities (EPAs), competencies, and milestones to inform trainee assessment and supervision, thereby enabling the practical application of the AAQCS equation in the workplace. Because the unit of measure for an EPA is the outcome of whether the trainee can safely and effectively perform the professional activity without supervision, the proposed unifying framework directly aligns with the dependent variable in the AAQCS equation: care quality.The value of applying a unifying framework that integrates EPAs, competencies, and milestones to the AAQCS equation in the clinical learning environment lies in its ability to provide supervisors with a shared mental model of performance expectations for trainees, reducing unwanted variability and improving assessment accuracy; guidance for aligning performance milestones of trainees with the needed level of supervisor intervention to ensure care quality; and substrate for specific feedback to improve the trainee's professional development as a way to ensure future care quality.
어떻게 임상감독자는 수련생에 대한 신뢰를 형성하는가: 질적 연구(Med Educ, 2015)
How clinical supervisors develop trust in their trainees: a qualitative study Karen E Hauer,1 Sandra K Oza,2 Jennifer R Kogan,2 Corrie A Stankiewicz,2 Terese Stenfors-Hayes,3 Olle ten Cate,4 Joanne Batt1 & Patricia S O’Sullivan
도입 INTRODUCTION
의학 훈련의 목표는 학습자들이 [unsupservised practice]에 대비시키는 것이다. 따라서 의료 감독관은 교육생들의 성과를 감독하는 동시에, [독립적으로 활동할 수 있는 기회]를 늘려야 할 책임이 있다. 감독관은 교육생 성과에 대한 일부 측면을 [직접 관찰]하는 한편, [다양한 책임]을 [일정 거리를 두고 감독하면서 교육생에게 맡기는 명시적 또는 암시적 결정을 내린다.1 신뢰는 '미래에 대한 의존'을 수반하며, 개인에게 무언가를 맡기는 것은 '누군가의 보살핌에 책임을 부여하거나 맡기는 것'이다.3 The goal of medical training is to prepare learners for unsupervised practice. Clinical supervisors are therefore charged with overseeing trainees’ performance while also granting them increasing opportunities to perform independently. Whereas supervisors observe some aspects of their trainees’ performance directly, they also explicitly or implicitly make decisions to entrust their trainees with various responsibilities that they supervise at some distance.1 Trust entails ‘dependence on something future’2 and to entrust an individual with something is to ‘assign a responsibility to or put something into someone’s care’.3
의학교육에 관한 연구에서 [교육생에 대한 감독자의 신뢰에 기여하는 요인]을 식별하였다.
지식과 기술에서 드러났듯이, [훈련생들의 역량]은 자신의 한계를 인정하고 도움을 구하고자 하는 의지, 자기 효율성 및 양심성 모두 독립적인 연습을 위한 상급자의 신뢰에 영향을 미칩니다.
[감독관의 자체적인 임상 및 감독 기술과 경험]은 교육자의 개인적 신뢰 성향과 마찬가지로 훈련생의 역량 수준을 식별하는 능력에 영향을 미칩니다.
[작업 환경의 맥락과 문화]는 작업의 복잡성과 익숙성과 함께 책임의 할당과 완수에 영향을 미칩니다. 작업 부하 및 독립성에 대한 전공의의 요구가 높으면 [상사가 준비가 되었다고 느끼기 전에] 전공의의 독립성을 확보할 수 있다.
[감독관과 수습생 사이의 관계]는 서로 능력과 스타일을 분별하는 또 하나의 중요한 위탁 판단에 기여한다. 감독관과 연습생은 서로 공감대를 형성하고 서로의 접근 방식과 기대 사항을 학습하면서 역할과 책임을 반복적으로 협상할 수 있습니다.
[감독관과 수습생 사이의 상호 신뢰 수준]은 연습생의 독립적 실무 준비 상태에 대한 감독관의 평가에 영향을 미칩니다.
Studies in medical education have identified factors that contribute to supervisors’ trust in trainees.4
Trainees’ competence, as manifested in their knowledge and skills, recognition of their own limitations, willingness to seek help, self-efficacy and conscientiousness all influence their supervisors’ trust in them for independent practice.5–7
The supervisor’s own clinical and supervisory skills and experience influence his or her ability to identify a trainee’s level of competence,8 as does the supervisor’s personal tendency to trust.
The context and culture of the work environment, along with task complexity and familiarity, influence the assignment and completion of responsibilities.9 Demanding workloads and residents’ own desire for independence may lead residents to be afforded independence before their supervisors feel they are ready.5,10,11
The relationship between supervisor and trainee constitutes another important contributor to judgements of entrustment as the two discern one another’s abilities and styles. The supervisor and trainee may negotiate roles and responsibilities iteratively as they develop rapport and learn each other’s approaches and expectations.12
The degree of mutual trust between supervisor and trainee informs the supervisor’s assessment of the trainee’s readiness for independent practice.6
신뢰는 [점진적으로 더 큰 독립성을 위한 준비]에 대한 판단을 프레임을 형성하고, 따라서 (마일스톤 기반 교육에서 가치롭게 여겨지는) workplace learning에 대한 발달적 접근방식과 일치한다.13,14 그러나 감독자, 연습생 및 사회적 맥락 간의 관계에 대한 맥락적 및 사회문화적 측면의 관련성을 고려한다. 학습이 일어나고, [사회문화적 관점]은 연습생이 사회적 맥락 안에서 상호작용하면서 학습이 어떻게 나타나는지를 설명할 수 있다.15
Trust frames judgements about readiness for progressively greater independence and thus aligns with the developmental approach to learning in the workplace valued in milestone-based education.13,14 However, given the relevance of contextual and socio-cultural aspects of the relationships among the supervisor, trainee and the social context in which learning occurs, a socio-cultural perspective can elucidate how learning emerges as a trainee interacts within a social context.15
신뢰는 [연습생에 대한 태도]와 [그 신뢰에 따라 다르게 수행되는 행동]을 모두 포함한다. Vygotsky의 ZPD는 [학습자의 역량]과 [관리자의 안내로 달성할 수 있는 역량]의 차이를 설명합니다. 이 격차를 목표로 하는 감독은 기술 습득과 숙달을 촉진합니다. Trust encompasses both an attitude towards a trainee and an action performed differently based on that trust.16 Vygotsky’s17 zone of proximal development describes the gap between learners’ capability and the capability they could achieve with supervisors’ guidance; supervision aimed at this gap promotes skill acquisition and mastery.
연구 및 이론을 통해 교육생에 대한 감독자의 신뢰에 기여하는 요소가 상호 작용하여 신뢰의 발전을 도모하는 방법과 직장 내에서 감독하는 감독자가 신뢰의 의미를 이해하는 방법에 관한 문헌상의 차이를 확인하였습니다. Informed by research and theory, we identified a gap in the literature relating to how factors that contribute to supervisors’ trust in trainees interact to foster the development of trust and how supervisors understand the meaning of trust as they supervise within the workplace.
방법 METHODS
설계 Design
이것은 다른 개인이 어떤 현상을 어떻게 경험하는지를 조사할 수 있는 현상학적phenomenographic 접근방식을 사용한 정성적 연구이다. 20,21 본 연구에서는 신뢰가 어떻게 발달하고 경험되는지의 차이, 그리고 이러한 차이가 연구의 '결과 공간'을 구성한다.20 This is a qualitative study using a phenomenographic approach, which enables examination of how different individuals experience a phenomenon, which in this study is trust.20,21 The differences in how trust develops and is experienced, and how these may relate to one another, constitute the ‘outcome space’, or findings, of the study.20
현상학은 발견물 간의 상호작용을 높이 평가하며, [신뢰의 발달]은 [사회적 맥락 내에서 여러 요인]에 의해 영향을 받는 것으로 알려져 있다. Phenomenography appreciates the interactions among findings, and the development of trust is known to be influenced by multiple factors within a social context.
참가자 및 설정 Participants and setting
감독관들은 이메일 초대장을 받았고, 무응답자들은 이메일 알림 메시지를 3개까지 받았다. 참가자들은 15달러짜리 커피 카드를 받았다. Supervisors received an e-mail invitation to participate; non-respondents received up to three e-mail reminders. Participants received a US$15 coffee card.
데이터 수집 Data collection
참가자들은 2013년 7월부터 2014년 1월까지 7개 항목의 인구통계 조사와 30분 동안의 반구조적 인터뷰를 직접 또는 전화로 완료했습니다. 감독자는 [신뢰의 발전]과 [환자 관리 책임을 가진 전공의를 신뢰하는 것]이 의미하는 바를 설명하였다(부록 S1, 온라인 참조).
Participants completed a seven-item demographic survey and a 30-minute semi-structured interview in person or by telephone between July 2013 and January 2014. Supervisors described the development of trust and what it means to trust a resident with patient care responsibilities (see Appendix S1, available online)
분석 Analysis
연구팀이 새로운 주제(포화도)가 등장하지 않는다고 판단할 때까지 데이터 분석은 데이터 수집과 동시에 수행되었다.22 현상학적 접근방식과 일관되게, 데이터 분석은
감독자가 전공의에 대한 신뢰의 의미를 어떻게 개념화하고 신뢰를 발전시켰는지,
서로 다른 경험(데이터의 범주 또는 코드에 포착된 대로)이 어떻게 상호 및 정보에 입각한 감독 행동과 관련되는지를 식별하기 위한 것이다.20, 21,23
[신뢰 형성에 기여한다고 기존 연구에서 기술된 요인]들은 새로운 이해의 식별을 제한하지 않고, 질적 데이터 분석의 초기 방향을 알려주는 [sensitising concepts]으로 작용했다.24 Data analysis was carried out concurrently with data collection until the research team determined that no new themes were emerging (saturation).22 Consistent with a phenomenographic approach, data analysis aimed to identify
how supervisors conceptualised the meaning of trust in their residents and developed trust, and
how aspects of their different experiences (as captured in categories or codes in the data) related to one another and informed supervision behaviours.20,21,23
Previously described factors that contribute to trust formation served as sensitising concepts, which inform the initial direction of qualitative data analysis without limiting the identification of new understandings.24
1차 조사자는 예비 코드북(정의와 예가 포함된 코드 목록)을 개략적으로 설명한 다음 신뢰의 의미에 대한 인터뷰 질문과 관련된 9개의 추가 대본 부분을 읽고 식별된 테마를 반영하도록 코드북을 다듬었다. 세 명의 조사관(SKO, JRK, JB)이 이 그룹 중에서 각각 5개의 추가 녹취록을 읽고 코드북의 주제를 확인하고 확장했다. 조사자들은 이러한 주제에 대해 토론하고 코드북을 완성했다. The primary investigator outlined a preliminary codebook (list of codes with definitions and examples), and then read the portions of nine additional transcripts that related to the interview question about the meaning of trust and refined the codebook to reflect identified themes. Three investigators (SKO, JRK, JB) read five additional transcripts each from among this group and confirmed and expanded the themes in the codebook. The investigators discussed these themes and finalised the codebook.
코드들 사이의 관계를 찾기 위해 주요 데이터를 검토함으로써, 저자들은 신뢰 형성의 경험을 기술하는 수치를 만들었다(그림 1). By examining the primary data to find relationships among the codes, the authors generated a figure describing the experience of trust formation (Fig. 1).
우리는 그 [연구 결과의 신뢰성을 높이기 위한 조치]를 취했다.
우리는 학습자에 대한 신뢰를 경험하는 관리자 역할을 하는 임상의와 분석 내내 서로의 가정에 의문을 제기하고 이의를 제기하기 위해 대화에 참여하는 비임상 연구원으로 구성된 팀을 포함함으로써 반사성reflexivity을 고려했다.
연구팀은 또한 조사관 삼각 측량 과정을 이용했다. 코딩에 직접 관여하지 않은 조사자들은 주요 발견물을 검토하고 관찰, 의료 교육 및 연구에 대한 전문 지식을 활용하여 발견물을 명확히 하고 비평했다.
모델 개발을 위해, 1차 조사자는 그림을 설계한 후 반복적으로 공동 조사자들과 공유했으며, 공동 조사자는 초안 모델을 연구 결과와 비교하고 추가하거나 강조할 영역에 대한 피드백을 제공했다. 이러한 변화에는 신뢰 판단에서의 추론 역할, 감독자의 역할 변화가 다양한 방식으로 나타났다는 사실, 그리고 두 현장의 서로 다른 버전의 일정 비동기화가 신뢰에 영향을 미쳤다는 사실이 포함되었다.
1차 조사자는 두 연구 현장의 교수진 감독관에게 대규모 프레젠테이션으로 연구 결과를 제시했고, 연구 결과에 대한 추가 피드백과 비판을 받았고, 최종 원고와 모델에 통합되었다.
We took steps to enhance the trustworthiness of the findings.
We considered reflexivity26 by including a team of clinicians who serve as supervisors who experience trust in learners, and non-clinician researchers, who together engaged in dialogue to question and challenge one another’s assumptions throughout the analysis.
The study team also used a process of investigator triangulation.20 The investigators not directly involved in coding reviewed the major findings and used their expertise in supervision, medical education and research to help clarify and critique findings.
For model development, the primary investigator designed the figure and then iteratively shared it with co-investigators, who compared the draft model with the study results and provided feedback about areas to add or emphasise. These changes included the role of inference in judgements of trust, and the facts that supervisors’ role shift manifested in varying ways, and that different versions of schedule asynchrony at the two sites affected trust.
The primary investigator presented study results in grand rounds presentations to faculty supervisors at the two study sites and received further feedback and critique of the findings, which were then incorporated into the final manuscript and model.
결과 RESULTS
이 분석에는 43개의 인터뷰가 포함되었다. 인터뷰는 평균 약 27분 동안 진행되었다(범위: 18-44분). The analysis included 43 interviews. Interviews lasted an average of approximately 27 minutes (range: 18–44 minutes).
신뢰의 의미 Meaning of trust
많은 감독관들은 신뢰의 의미를 [전공의의 역량]과 [팀 리더쉽]에서 보여지는 것으로 설명했다. 감독자는 전공의의 역량을 다음을 통해서 인식한다.
팀 내에서 환자 진료를 위한 주요 의사 결정권자로서 전공의가 독립적으로 내리는 임상적 의사 결정
환자 및 의료팀 구성원과의 커뮤니케이션
Many supervisors described the meaning of trust as exemplified by awareness of the resident’s competence and team leadership. Supervisors perceived resident competence as demonstrated
by the resident’s independent making of clinical decisions as the primary decision maker for patient care within the team and
through his or her communication with patients and health care team members.
팀 리더십은 [전공의의 일상적인 조직과 팀 라운드 및 관리 계획의 실행, 그리고 전문 리더십과 환자 관리의 역할 모델링] 등을 통해 팀 내에서 나타났다. 전공의의 [환자진료 역량]과 [더 많은 주니어 팀 구성원의 감독관 팀 리더십 역량]은 종종 동시에 발생했으며, 회진 행동을 통해 역량을 유추하였다.
Team leadership manifested within the team in the resident’s daily organisation and execution of team rounds and care plans and role modelling of professional leadership and patient care. Resident competence in patient care and team leadership as a supervisor of more junior team members often co-occurred, with competence inferred through rounds behaviours:
[수준 이하의 리더십 기술]을 가진 임상 역량의 관찰은 상사의 신뢰를 떨어뜨렸다. 신뢰의 의미에 대한 또 다른 특성은 감독의사 자신의 관점에서 도출되며, [감독의사가 제공해야 한다고 느끼는 수준의 감독이나 적절한 환자 치료가 이루어지고 있다고 인식했을 때] 느끼는 편안함을 가리킨다. The observation of clinical competence with substandard leadership skills diminished supervisors’ trust. Another characterisation of the meaning of trust derived from the perspective of self, and referred to either the supervision that supervisors felt obligated to provide or the comfort they felt when they perceived that appropriate patient care was occurring.
감독관은 전공의가 자신의 한계를 인식하고 언제 도움을 청해야 하는지를 알 때 신뢰할 수 있었다. Supervisors trusted according to residents’ recognition of their own limitations and their knowing when to seek help:
[전공의의 환자 관리에 대한 신뢰]는 인턴과 학생에 대한 전공의의 감독 및 코칭, 팀 회진 관리에 나타난 팀 리더십에서 추론할 수 있습니다. Trust in a resident’s patient care was inferred from team leadership exhibited in the resident’s supervision and coaching of interns and students, and management of team rounds:
[리더십]은 [조직력, 더 많은 후배 팀원들과의 지식 공유, 긍정적이고 전문적인 기질 발휘]를 포괄했다. 팀 리더십은 위탁해야 할 활동이자 환자의 문제 관리 및 절차 수행과 같은 임상 활동에 대한 전공의의 신뢰성에 대한 'proxy'으로서 정보 제공으로 설명되었다. Leadership encompassed organisational skills, sharing of knowledge with more junior team members, and the display of a positive, professional disposition. Team leadership was described both as an activity to be entrusted and as informative as a ‘proxy’ about the resident’s trustworthiness for clinical activities such as managing patient problems and performing procedures.
신뢰는 어떻게 발전하는가 How trust develops
감독자들은 시간 경과에 따라 신뢰를 어떻게 발전시켰는지(그림 1; 그림의 항목은 다양한 출발점부터 신뢰 장벽과 가속기에 의해 영향을 받는 감독자 신뢰 형성의 기간, 신뢰 결과의 실현에 이르기까지) 설명했다. Supervisors described how they experienced trust developing over time (Fig. 1; items from the figure are indicated in italics in the text) from various starting points, through a period of supervisor trust formation influenced by barriers and accelerators to trust, and to the realisation of trust outcomes.
참가자들은 새로운 전공의와 일하기 시작하자마자 신뢰에 대해 생각하는 것에 대해 설명했다. 서로 다른 감독자들은
(i) 적은 감독/높은 신뢰: '신뢰의 도약leap of faith'으로 묘사된다
(ii) 높은 감독/낮은 신뢰: '시행착오'로 묘사된다. 높은 감독이 발생하고, 문제가 발생하면 감독이 더 높아짐
(iii) 신뢰와 지침 측면에서 어디에서 시작해야 할지에 대한 불확실성
...등 세 가지 다른 출발 지점을 표시했다. Participants described thinking about trust as soon as they started working with a new resident. Different supervisors indicated three different starting points:
(i) less supervision/more trust, described as a ‘leap of faith’;
(ii) more supervision/less trust, described as ‘trial and error’ in which high supervision occurred and problems prompted more supervision, and
(iii) uncertainty about where to start in terms of trust and guidance.
승인된 출발점과 상관없이 감독관은 초기 감독에 유사한 전략을 사용했다. '배후'에서 전공의의 업무를 확인하고 즉시 도울 수 있도록 하는 등의 조치입니다. 전공의를 신뢰한다고 말한 많은 사람들조차, 신뢰의 정당성을 확실히 하기 위해 여전히 전공의 업무를 자주 확인했습니다. '높은 신뢰'의 포지션에서 시작한 어느 감독관은 의도적으로 고가용성high availability을 확보했습니다.
Regardless of the starting point endorsed, supervisors used similar strategies for initial supervision, such as checking the resident’s work ‘behind the scenes’ and making themselves readily available. Many who said they trusted the resident still frequently checked resident work to ensure that trust was justified. One supervisor starting from a position of high trust qualified it with intentionally high availability:
[출발점]은 [매우 불확실한 시기]라는 것을 알게 된 또 다른 사람은 다음과 같이 설명했다. Another, who found the starting point a time of great uncertainty, explained:
두 명의 감독관은 전공의의 임상적 추론을 조사하기 위해 [전공의와 임상 시나리오를 검토]함으로써 신뢰의 결정을 신속하게 하기 위한 전략을 채택했다. 이는 팀의 환자 또는 가상의 시나리오와 관련된 시나리오일 수 있다. '낮은 신뢰'로 시작한 일부 사람들은 시간이 지남에 따라 신뢰를 더 쌓으면서도, 감독 수준을 줄여나가는 데 어려움을 겪었다.
Two supervisors employed strategies to expedite the determination of trust by reviewing clinical scenarios with the resident in order to probe the resident’s clinical reasoning; these might be scenarios related to patients on the team or hypothetical scenarios. Some with a starting point of low trust had difficulty decreasing their supervision, even when they did develop more trust over time.
전공의에 대한 사전 지식은 종종 이용 가능했지만, 감독자들은 그 유용성에 대해 상반된 견해를 보였다. 전공의에 대한 사전 지식은 전공의의 평판, 다른 감독관들, 프로그램의 감독자 역할을 통해 이용 가능한 정보 , PGY1 또는 외래 환경에서의 전공의와의 이전 작업 등으로부터 파생derived 되었다. 감독관들은 종종 전임 감독관으로부터 전공의에 대한 'signout'을 받았지만, 이 정보는 비특정적인 것으로 인식했다.
Whereas prior knowledge of the resident was often available, supervisors expressed ambivalence about its usefulness. Prior knowledge of a resident derived from the resident’s reputation, other supervisors, information available through the supervisor’s leadership role in the programme, or previous work with the resident as a PGY1 or in the ambulatory setting. Although supervisors often received ‘signout’ about the resident from the prior supervisor, they perceived this information as non-specific:
보통 "그 전공의는 훌륭하고, 인턴도 훌륭하다"입니다. 그러니까, 자세한 디테일은 전혀 없어요(073) It’s usually “resident is great; interns are wonderful”. So, you know, not a whole lot of detail. (073)
감독자들은 전공의의 성과에 대한 사전 지식을 어떻게 하면 그들의 감독 및 신뢰도 판단에 가장 잘 반영할 수 있는지 물었다. 그들은 그들 자신의 경험에 반하는 전공의에 대한 부정적인 사전 지식과 긍정적인 사전 지식 모두의 예를 설명했다. 따라서 일부 감독관들은 '전공의에 대한 아무런 사전 판단을 하지 않음'으로써 편견을 피하는 것이 최선의 접근법이라고 결론 내렸다. Supervisors questioned how best to incorporate prior knowledge of resident performance into their supervision and judgements of trustworthiness. They described examples of both negative and positive prior knowledge about the resident that contradicted their own experience. Therefore, some supervisors concluded that the best approach was to avoid bias by ‘giving the resident a clean slate’.
신뢰에 대한 판단은 보통 몇 시간에서 며칠 사이에 빠르게 이루어졌다. 많은 감독관들은 '몇 일', '통화 주기'(4일) 또는 때로는 '1주에서 2주 사이의 마법의 숫자'로 신뢰에 대한 결론을 도출하기에 충분한 인상을 형성한다고 설명했습니다. 일부에서는 이러한 과정이 거주자 주도 라운드를 관찰하고 임상 의사결정에 참여하는 첫날 내에 발생했다고 보고했다. Judgements about trust usually occurred quickly, within hours to days. Many supervisors described forming impressions that sufficed to draw conclusions about trust within ‘a few days’, ‘a call cycle’ (4 days) or sometimes as long as ‘a magic number somewhere between 1 and 2 weeks’. A few reported that this process occurred within the first day of observing the resident leading rounds, teaching and engaging in clinical decision making.
신뢰 개발을 위한 정보의 출처 Sources of information for trust development
전공의의 환자진료에 대한 신뢰는 표준, 직접 관찰 또는 이해관계자 입력(그림 1)과 비교하여 알 수 있었다. Trust in a resident’s patient care was informed by comparison with a standard, direct observation or stakeholder input (Fig. 1).
[표준과의 비교]는 여러 가지 방법으로 이루어졌다. [자신과의 비교]가 흔하게 신뢰의 정보원이 되었다. 감독관들은 '거울'과 '내 눈과 귀의 연장'과 같은 용어를 사용하여 [자기 자신이 했음직한 행동]을 기준으로 삼아 전공의의 수행능력을 평가하였다. Comparison with a standard occurred in several ways. Comparison with self frequently informed trust. Supervisors used terms such as ‘mirror’ and ‘extension of my eyes and ears’ to describe how they appraised residents’ performance based on what they themselves would have done. One explained how trust means that:
일부는 또한 전공의를 과거 전공의 시절 자신의 모습과 비교하였다. 자기자신이 전공의였을 때 무엇을 했을지 추측했다. 이러한 비교는 의사 결정, 환자 평가 및 관리, 커뮤니케이션 영역에서 광범위하고 일반적인 경우가 많았다. 특정 예에는 전공의에 대해서 감독관이 다음을 느낀 것이다.
자신이 했을 것보다 더 많은 검사를 지시했거나(027),
특정 환자 문제에 대해 유사한 우려를 나타냈거나(034),
주치의가 알아차린 것과 동일한 환자 데이터 및 인터벤션을 (074)식별했거나
Some also compared the resident with their past selves, surmising what they would have done when they were residents. These comparisons were often broad and general, across domains of decision making, patient evaluation and management, and communication. Particular examples included the supervisor feeling that a resident
ordered more tests than he or she would have done (027),
showed a similar amount of concern about particular patient problems (034), or
identified the same patient data for discussion and intervention that the attending noticed (074).
일부 감독관들은 전공의들의 행동이 (자신이 했던 행동과) 다른데도 신뢰가 어떻게 생겼는지 설명했다. 이러한 감독자들은 환자 관리의 정확성과 부정확성을 구분하기 위해 노력했다. 한 전문가는 '성격과 스타일, 역량(027)'을 평가하는 것에서 발전하는 과정을 설명했다. 일부 감독관은 동등하게 좋은 대안 접근방식을 나타내는 차이를 인정했고, 일부 전공의는 자신이 했던 것보다 더 나은 결정을 내리는 것을 관찰했다. 일부에서는 [의사결정을 뒷받침하는 근거에 대한 전공의의 설명]이 신뢰를 회복했다고 설명했다. Some supervisors described how trust occurred even when residents’ behaviours differed fromtheir own. These supervisors sought to distinguish differences that constituted correct versus incorrect patient management. One explained evolving fromassessing ‘what’s their personality and what’s their style, to what’s their competence’ (027). Some acknowledged differences that represented an equally good alternative approach, whereas a few observed residents making better decisions than they would have. Some explained that residents’ explanations of the reasoning supporting differing decisions restored trust:
감독자들은 또한 [규범적인 접근법]을 사용하여 신뢰를 일반적으로 결정했다. 전공의의 교육 수준, 소속 기관, 교육 시점에 따른 관리자의 개인적 기대치를 기준으로 비교하는 것이다.
Supervisors also commonly determined trust using a normative approach. The comparison standard for a resident’s performance was the supervisor’s personal expectation based on the resident’s training level, institution, or time of year:
임상 치료 및 팀 리더쉽을 [직접 관찰]한 결과 신뢰에 대한 판단도 알 수 있었다. 직접 관찰에 대한 참가자의 예제는 보통 [팀 라운드]의 이벤트를 다룬다. 감독관은 팀 구성원이나 환자에게 올바른 질문을 하고, 의사 결정을 내리고, 적절한 관리 계획을 수립하는 데 있어 전공의가 신뢰할 수 있는 능력을 보여주는 것을 강조했습니다. Direct observation of clinical care and team leadership also informed judgements of trust. Participants’ examples of direct observation usually addressed events on team rounds. Supervisors highlighted a resident’s skills in asking the right questions of team members or patients, making decisions, and generating appropriate management plans as indications that the resident could be trusted:
[이해관계자의 의견stakeholder input]은 (전공의에 대한) 다른 팀원들의 의견을 포함하며, 신뢰성에 대한 흔하게 언급되지 않은 정보의 원천이었다. 몇몇 감독관은 PGY1이나 학생들로부터 전공의의 리더십에 대한 피드백을 듣거나, 양질의 환자 진료를 제공하는 인턴을 관찰함으로써, 전공의에 대한 신뢰를 추정infer했다. 몇몇 감독관들은 환자들이 고품질의 안전한 치료를 받았다는 관찰을 바탕으로 신뢰를 판단했다. 이러한 설명은 특정 기준을 참조하지 않았다. 자신의 관리에 대한 인식에 대한 직접적인 환자 의견에서 도출되는 경우는 드물지만, 환자가 적절한 치료를 받았거나 자신의 관리에 만족한다는 유추를 통해 도출된다.
Stakeholder input, which included input from other team members, was an uncommonly mentioned source of information about trustworthiness. A few supervisors mentioned hearing feedback from the PGY1s or students about the residents’ leadership, or observing the interns providing quality patient care, and inferring the resident’s trustworthiness. A few supervisors defined trust based on the observation that patients had received high quality, safe care. These descriptions did not refer to specific criteria. They rarely derived from direct patient comments about their perceptions of their care, but rather through inferring that patients were treated appropriately or were satisfied with their care.
신뢰 형성을 가로막는 장애물과 가속기 Barriers to and accelerators for trust formation
표 1에 나타낸 것과 같이 전공의, 감독자, 전공의-감독자 관계, 맥락 및 과제와 관련된 신뢰의 발전에 대한 장벽과 가속기. 신뢰의 장벽은 다음과 같은 것들이 있었다.
'red flags'라고 볼 수 있는 전공의의 성향과 전문직업성에 대한 우려
다른 팀 구성원, 과제 및 업무량, 일정이 잘 맞지 않는 것과 같은 상황적 어려움
감독관 자기자신이 덜 신뢰는 스타일이면서, 전공의 업무를 더 많이 확인하는 스타일인 것
Barriers and accelerators to the development of trust related to the resident, the supervisor, the resident– supervisor relationship, the context and the task, as shown in Table 1. Barriers included
concerns about the residents’ disposition and professionalism that could raise ‘red flags’,
contextual challenges related to other team members, tasks and workload, and schedule asynchrony, and
a supervisor’s style in terms of his or her propensity to trust less and check resident work more.
신뢰를 잘못 두었던 경험 후에 신뢰의 장벽이 생기기도 하였다. 이러한 사례는 참가자 사이에서 드물었고, 예제는 전반적으로 우수한 의사결정을 입증한 전공의를 대상으로 하는 경향이 있었지만, 특히 복잡한 환자를 마주했을 때 상황을 적절히 관리하는 방법을 알지 못하는 것으로 입증되었고 신속하게 도움을 구하지 못했다. 신뢰를 잘못 둔misplacement 다른 예는, 전공의가 [직접적인 감독에서 벗어나 교육 수준을 초과하는 것으로 간주되는 절차를 수행]하거나 [보증된 역량보다 더 자신 있어 보였을 때] 발생했다. Barriers to trust also arose after experiences of misplacing trust. These were uncommon among our participants and examples tended to address residents who demonstrated generally good decision making, but, when faced with a particularly complex patient, proved not to know how to manage the situation appropriately and failed to seek help promptly. Other examples of the misplacement of trust arose when residents appeared more confident than their competence warranted or undertook a procedure considered to be above their training level while away from direct supervision.
한 주치의는 후자의 설명을 'ICU[중환자실]의 주치의조차도 카우보이 같은 태도에 충격을 받았다.'(042)고 했다.
(열정과 그에 걸맞는 자신감으로 보여지는) 전공의의 참여
적절한 태스크 복잡성,
전공의의 역량 수준에서 도전적인 업무량 및 관리 기회
상사의 신뢰 의지
...등이 모두 신뢰를 높였습니다
One attending physician explained the latter as: ‘Even the ICU [intensive care unit] attending was shocked at this cowboy kind of attitude’ (042).
Resident engagement as demonstrated by enthusiasm and befitting confidence,
appropriate task complexity,
workload and management opportunities that were challenging for the resident’s competence, and
the supervisor’s willingness to trust
...all enhanced trust.
[감독자와 전공의의 빈번한 의사소통]과 [역할 및 상호작용에 대한 기대치 공유]는 신뢰를 조성하는 감독자와 전공의 관계를 특징지었다. 감독관이 경험이 더 많고, 신뢰하려는 의지가 높을수록 전공의가 특히 아픈particularly sick 환자를 관리하는 것을 관찰할 수 있는 기회와 결합되어 신뢰 또한 형성되었다.
Frequent supervisor–resident communication and shared expectations of roles and interactions characterised supervisor–resident relationships that fostered trust. Greater supervisor experience and willingness to trust, coupled with opportunities for observing the resident manage particularly sick patients, also engendered trust.
신뢰의 결과 Outcomes of trust
[감독관 역할의 변화]는 감독관 자신의 역할과 행동에 변화를 수반한다. 감독관은 전공의 업무를 확인하는 데 소요된 시간을 기준으로 신뢰의 의미를 공통적으로 설명했다. Supervisor role shift entailed changes in supervisors’ own roles and behaviours. Supervisors commonly characterised the meaning of trust based on how much time they spent checking resident work:
그러한 결과 중 하나는 일차적으로 임상 치료를 제공하는 것에서 PGY1과 학생을 가르치는 것 또는 전공의의 컨설턴트로 근무하는 것에 이르기까지 개인적인 변화와 관련이 있었다. 또 다른 신뢰의 결과는 감독관 역할에 대한 감독관의 태도 변화로서, 감독관의 불안감 감소, 편안함 및 야간 수면 능력 향상을 반영했다. 한 감독관은 '...제가 밤에 얼마나 쉽게 잤는지'(081)에 대해 언급했다. One such outcome concerned a personal change fromprimarily providing clinical care to teaching PGY1s and students or serving as a consultant to the resident. Another outcome of trust was a change in supervisors’ attitudes towards their supervisory roles, reflected in their experiencing less anxiety, feeling more relaxed and a greater ability to sleep at night; one supervisor remarked on ‘...just how easy I slept at night’ (081).
감독자들은 [전공의에 대한 신뢰]가 전공의가 환자진료 제공에 보다 독립적으로 참여할 수 있게 한다고 인식했다. 감독관이 전공의업무의 많은 부분을 확인하는 것에서 벗어나자, 전공의는 향상된 독립성에 감사하는 듯 했다. Supervisors perceived that their trust in the resident enabled the resident to participate more independently in the provision of patient care. As a supervisor moved away from checking as many aspects of the resident’s work, the resident seemed to appreciate increased independence:
감독관들은 신뢰 형성의 결과로 [팀 기능]과 [팀 역학]의 변화를 강조했습니다. 모든 팀 구성원 간의 공감대 형성 및 관계 형성은 서로 함께 즐거워하고 웃는 것으로 나타나며, 감독관 관계가 성공했음을 보여주었고, 감독관은 코치 또는 멘토 역할을 담당했습니다. 이러한 유형의 성공은 '암묵적' 또는 '명백한'으로 묘사되었다. Supervisors highlighted changes in teamfunctioning and teamdynamics as an outcome of trust formation. Rapport and relationship building among all team members, as manifested by enjoyment of one another’s company and laughter, showed that a supervisory relationship was successful, with the supervisor serving in a coach or mentor role. This type of success was described as ‘implicit’ or ‘obvious’.
고찰 DISCUSSION 우리의 연구결과는 감독자들이 어떻게 임상실무에 대한 전공의의 신뢰도를 판단하고, 신뢰를 바탕으로 감독을 제정하고, 이러한 신뢰의 후속 결과를 경험하는지를 설명한다. 신뢰는 종종 전공의 개개인에 대한 사전 지식으로 알 수 없는 출발점에서부터 발전한다. 대신, [일반 성과 표준에 대한 상사의 이해]와 [리더십 및 임상 관리에 대한 상사의 관찰]에 의해 신뢰가 형성될 수 있다. Our findings describe how supervisors judge a resident’s trustworthiness for clinical practice, enact supervision based on trust, and experience the subsequent outcomes of this trust. Trust develops from a starting point often uninformed by prior knowledge of the individual resident. Instead, trust formation can be informed by supervisors’ understanding of general performance standards and their observations of leadership and clinical care.
현상학을 사용하여 집중적인 작업 관계에서 신뢰의 발달에 대한 참가자들의 다양한 관점을 특성화하고(그림 1), 신뢰에 대한 [초기 접근방식의 범위]와 [여러 기여 인자의 중요성]을 인식할 수 있었습니다. The use of phenomenography enabled us to characterise different perspectives among participants regarding the development of trust during intensive working relationships (Fig. 1), and to appreciate the range of initial approaches to trust and importance of different contributing factors.
신뢰의 핵심은 [감독자-훈련자 관계]이며, 이는 신뢰에 기여하는 덜 자주 기술되는 요소이다. 이는 업무 관계와 지속적인 의사소통에 대한 공유된 기대치에 의해 강화될 수 있다. 인간관계는 [두 개인 간의 유사성으로 육성될 수 있는 대인관계 역학]과 더불어, [그들 사이의 접촉의 양] 포함한다.4 관계는 관리자가 각 학습자의 감독 요구에 맞춰 자신의 감독을 조정할 수 있는 능력을 강화합니다.27 예를 들어, 강한 관계를 통해 교육생은 도움을 구하고 피드백을 받고 변경 사항을 적용하는 데 있어 보다 편안함을 느낄 수 있습니다.28 At the core of trust is the supervisor–trainee relationship, a less frequently described factor contributing to trust, that is enhanced by shared expectations of the working relationship and ongoing communication. Relationship encompasses an interpersonal dynamic that can be fostered with similarity between two individuals, as well as the amount of contact between them.4 A relationship enhances the supervisor’s ability to adjust his or her supervision to each learner’s supervision needs.27 For example, with a strong relationship, the trainee can feel more comfortable in seeking help, receiving feedback and incorporating changes.28
우리의 연구 결과는 신뢰의 발전이 시작점에서 결과까지 진행되는 과정으로 어떻게 이해될 수 있는지를 보여준다. 단, 시작점, 영향 요소 및 결과는 감독관마다 다르다. 아마도 놀랍게도, 감독관들은 그들이 기존에 가지고 있었거나, 전공의에 대해 받은 매우 일반적인 사전 정보의 가치에 대해 상반된 의견을 피력했다. 일부 감독관은 전공의 교육 수준에 따라 신뢰를 쌓았지만, 다른 감독관은 몇 시간에서 며칠 사이에 신속하게 신뢰를 결정했다. [인상 형성impression formation]에 관한 연구는 신뢰는 초기 상호작용에 의해 영향을 받을 수 있으며 이러한 맥락에서 감독자들은 훈련생들을 넓은 그룹으로 분류하는 것을 목표로 할 것임을 시사한다. 입원 팀에 대한 빈번한 로테이션과 짧은 관계로 인해 감독자와 전공의는 [빠른 적응을 촉진하는 상호작용 스타일]을 가치 있게 생각하고 기대할 수 있다.
Our findings illustrate how the development of trust can be understood as a process that progresses from a starting point through to outcomes, although starting points, influencing factors and outcomes vary among supervisors. Perhaps surprisingly, supervisors expressed ambivalence about the value of the often very general prior information they held or received about residents. Although some supervisors based their trust on the resident’s training level, others made a determination of trust rapidly within a period of hours to days. Work on impression formation suggests that trust may be influenced by early interactions and that in this context supervisors will aimto categorise trainees into broad groups.30 The current context of frequent rotations and brief relationships on in-patient teams may lead supervisor and resident to value and expect interactional styles that encourage rapid acclimation.31
마찬가지로, ['신속한 신뢰']는 팀이 시간적 압박 환경 내에서 공유된 목표와 명확히 정의된 역할에 기초하여 신속하게 신뢰를 개발하는 방법을 정의한다.32 의료팀 내에서 발생하는 것과 같이 고부담 상황에서 신속하게 협력해야 하는 상황은 [신속한 신뢰의 필요성]을 촉발한다. 이러한 맥락은 신뢰의 형성이 [장기적인 관계]와는 어떻게 다를 수 있는지에 대한 의문을 제기한다. Levin 등은 신뢰는 시간이 누적되면 [개인적 유사성이나 일반적인 행동 기대]보다는 [공유된 관점에 대한 지식]에 기초하게 된다고 설명한다. Similarly, ‘swift trust’ defines the ways that teams rapidly develop trust based on shared goals and clearly defined roles within a timepressured environment.32 Situations that require teams to start working together quickly in high-stakes contexts, such as occur within medical teams, prompt the need for swift trust. This context raises the question of how the formation of trust might differ in longer-term relationships. Levin et al. describe how, with time, trust is based less on personal similarity or common behavioural expectations and more on knowledge of shared perspectives.33
우리의 참가자들은 신뢰를 발전시키는 과정을 복잡하고 때로 모호하다고 묘사했다. 감독자는 주변 지도부 또는 기타 소스에서 수집한 정보를 사용하여 환자 치료 활동에 대한 신뢰를 추정했다. 다른 이들은 유사한 방식으로 [특정 행동을 충분히 직접 관찰하지 않을 때] 대리 정보가 신뢰의 발전에 어떻게 정보를 제공할 수 있는지를 설명했다. 7,34 우리의 감독자들은 또한 종종 광범위한 일반 용어를 사용하여 전공의의 성과를 고려했다. 긴즈버그 외 연구진도 마찬가지로 감독관들이 국가 프레임워크에 정의된 여러 역량과 맞지 않는 '메타 역량'을 사용하여 연습생의 성과를 어떻게 설명했는지에 주목한다.35 Our participants described the process of developing trust as complex and sometimes nebulous. Supervisors inferred trust for patient care activities using information gleaned fromrounds leadership or other sources. Others have similarly described how proxy information can inform the development of trust in the absence of sufficient direct observation of specific behaviours.7,34 Our supervisors also often considered resident performance using broad, general terms. Ginsburg et al. similarly note how supervisors described a trainee’s performance using ‘meta-competencies’ that did not align with the multiple competencies defined in a national framework.35
우리의 참가자들은 전공의의 성과를 평가할 때 환자 치료 결과의 일반적인 평가를 사용했지만, 그들이 사용한 메트릭스 또는 그들이 기대한 특정 성과에 대해서는 그다지 상세하게 설명하지 않았다. 이러한 상황은 아마도 방어나 부정직과 같은 red flag 행동을 하지 않는 것 외에, [상사의 신뢰를 얻는 행동]을 개발하거나 입증하기 위해 어떤 조치를 취해야 할지에 대해 전공의들을 불확실하게 만들 수 있다. Our participants used general assessments of patient care outcomes in assessing resident performance, but did not describe in much detail the metrics they used or the particular outcomes they expected. This situation may leave residents uncertain about what steps to take to develop or demonstrate behaviours that earn supervisors’ trust, other than perhaps avoiding red flag behaviours such as defensiveness or dishonesty.
장벽과 가속요인의 상호작용이 신뢰 형성의 진화에 영향을 미쳤다(표 1). 일반적으로 팀원들이 지속적으로 비동기적으로 로테이션하는 복잡한 시스템으로 구성된 임상 환경과 관련된 당사 참가자들에게 장벽이 있다고 언급됩니다. 이 연구를 위한 이론적 프레임워크로 돌아가면, 이러한 장벽은 학습이 발생하는 사회적 맥락이 어떻게 전공의의 참여를 가능하게 하거나 방해할 수 있는지, 그리고 결과적으로 신뢰를 얻을 수 있는 기회를 보여준다. The interaction of barriers and accelerators influenced the evolution of trust formation (Table 1). Commonly cited barriers for our participants related to the clinical environment, which comprises a complex system in which team members continually and asynchronously rotate. Returning to the theoretical frameworks for this study, these barriers show how the social context in which learning occurs can enable or impede residents’ participation, and consequently their opportunities to earn trust.
실천 커뮤니티에 대한 Wenger의 연구는 전공의가 지엽적인 참여 위치에서 환자 치료의 보다 중심적인 역할로 이동해야 한다는 것을 시사한다. 즉, 환자 관리의 제공에 있어 관리자의 역할이 중심적인 역할에서 오히려 지원적인 역할로 바뀔 수 있는 상황이다. 반대로, 다른 이들은 전공의들이 [보다 정교한 coverage schedule의 요즘 시대]에 팀장이나 관리자의 역할을 할 수 있다고 보고했다.
Wenger’s work on communities of practice37 suggests that residents should move from a position of peripheral participation to a more central role in patient care, a situation that would shift the supervisor’s role from one that is central to the provision of patient care to one that is, rather, supportive. Conversely, others have reported that residents may increasingly play the role of team leader, or manager, in the current era of more elaborate coverage schedules.38
일단 신뢰가 쌓이면, 우리의 모델은 그 신뢰의 결과를 나타낸다. 신뢰 형성은 환자관리에 대한 전공의의 참여를 전체 팀에게 유리하게 향상시킴에 따라 관리자의 역할을 변화시킨다(그림 1). 전공의에 대한 신뢰의 판단은 감독자가 자기자신의 역할을 보는 관점을 보호자가 아닌, [컨설턴트 및 교사]로서 바꾸게끔 영향을 미친다. 이러한 변화의 중요성은 직장에서 학습을 촉진하는 사람으로서 임상 교사의 역할을 강조하는 문헌에 의해 뒷받침된다.39 신뢰를 획득한 전공의들은 돌봄제공자 및 팀 리더로서 감독이 더 적은 상태에서도 기능할 수 있는 것으로 설명되었다. Once trust is established, our model indicates the consequences of that trust. Trust formation shifts supervisors’ roles as it elevates residents’ participation in care, to the benefit of the entire team (Fig. 1). A judgement of trust in the resident influences the supervisor’s view of his or her own role as a consultant and teacher, rather than as a care provider. The importance of this shift is supported by literature emphasising the role of a clinical teacher as a facilitator of learning in the workplace.39 Residents in our study who earned trust were described as able to function with less supervision as care providers and team leaders.
우리의 연구 결과는 학습자 평가 및 커리큘럼 설계에 영향을 미칩니다. 신뢰는 팀 업무의 핵심 요소이기 때문에, 상사는 신뢰를 조기에 평가할 수 있을 때 이득을 얻는다.
위임 기반 평가 척도 및 EPA을 사용하여 신뢰의 개발을 표준화할 수 있다.41,42
연습생 성과에 대한 다양한 측면의 관찰, 해석 및 문서화를 구조화하기 위한 메커니즘은 감독자 간에 전공의 성과에 대한 유용한 의사소통 시스템을 가능하게 할 수 있다.
표준 기준 프레임을 정의하고, 의미 있고 이해할 수 있는 평가 척도를 구성하고, 교육생들의 기술과 환자 치료 결과에 대한 감독관의 동시적concurrent 평가를 가능하게 하는 것 또한 신뢰를 바탕으로 평가를 강화할 것이다.44
Our findings have implications for learner assessment and curriculumdesign. As trust is a key component of teamfunctioning, supervisors benefit when trust can be assessed early.
The development of trust could be standardised using trust-based ratings scales and entrustable professional activities.41,42
Mechanisms to structure the observation, interpretation and documentation of varied aspects of trainee performance might enable a systemof useful communication about resident performance fromone supervisor to the next.
Defining a standard frame of reference,43 constructing meaningful and understandable rating scales, and enabling supervisors’ concurrent assessment of trainees’ skills and patient care outcomes would also enhance assessment based on trust.44
신뢰의 복잡성과 역동적으로 진화하는 특성을 고려할 때, 평가 척도의 사용은 교육생의 임상 관리에 대한 교수진의 관찰, 계산된 위험 및 미래 지향적 판단으로서의 신뢰의 성격에 대한 평가 훈련 및 기준 훈련과 결합되어야 한다. 우리의 연구 결과는 또한 신뢰는 전공의에게 [지식과 능력의 leading edge에서 학습 요구에 맞는 기회]를 제공하는 커리큘럼 구조와 감독 설계에 정보를 제공할 수 있다는 것을 보여준다. ZPD과 일관되게, [학습자가 혼자 할 수 있는 것]과 [가이드를 받아 할 수 있는 것] 사이의 영역 내 학습 활동을 목표로 하는 프로그램은 학습과 개발을 극대화할 수 있다. Given the complexity and dynamically evolving nature of trust, the use of rating scales would need to be combined with faculty members’ observations of trainees’ clinical care, rater training about the nature of trust as a calculated risk and forward-looking judgement, and frame of reference training.43 Our findings also show that trust can informthe design of curricular structures and supervision that provide residents with opportunities aligned with their learning needs at the leading edge of their knowledge and abilities. Consistent with the zone of proximal development, targeting learning activities within the zone between what a resident learner can do alone and what he or she can do with guidance enables a programme to maximise learning and development.17
4 Hauer KE, ten Cate O, Boscardin C, Irby DM, Iobst W, O’Sullivan PS. Understanding trust as an essential element of trainee supervision and learning in the workplace. Adv Health Sci Educ Theory Pract 2014;19 (3):435–56.
SUPPORTING INFORMATION
Appendix S1. Trust Study Interview Guide.
Appendix S1 Trust Study Interview Guide Introduction: Thank you for participating in this interview. We appreciate your time and willingness to share your thoughts and experiences. Our goal is to understand, from your perspective as an attending, how you interact with and supervise a senior resident. The purpose of this study is to understand the process of supervision, not to gather any information about specific residents. Please do not use any team members or patient names or identifying information. I would like to record this interview and have it transcribed. Your name and any identifying information will be removed from the transcript and will not be used during the analysis. Is it okay with you if I record the interview? TURN ON RECORDER This is an interview with (interviewer) with Dr. (study ID). Today is (date). We know that attendings are making decisions about when to trust their resident to act independently and when to supervise more closely. We are interested in learning about attendings’ decisions about when to give residents more or less independence. Please focus your answers on your experience with your current senior resident (not the intern). 1. What does it mean to you to trust a resident with patient care responsibilities? (Probe as needed) ·How do you know that? ·How do you decide when you are comfortable letting the resident work independently? ·Can you say more about that?
...
Med Educ. 2015 Aug;49(8):783-95.
doi: 10.1111/medu.12745.
How clinical supervisors develop trust in their trainees: a qualitative study
Context:Clinical supervisors oversee trainees' performance while granting them increasing opportunities to work independently. Although the factors contributing to supervisors' trust in their trainees to conduct clinical work have been identified, how the development of trust is shaped by these factors remains less clear.Methods:Internal medicine in-patient supervisors at two institutions were interviewed about the meaning and experience of developing trust in resident trainees. Transcribed data were coded and analysed using a phenomenographic approach.Conclusions:From a general starting point, supervisors develop trust in residents informed by observation, inference and information gathered from the team and patients. Judgements of trust yield outcomes defined by supervisors' changing roles, the increasingly independent provision of care by residents, and team functioning. The implications of these findings for graded resident autonomy aligned with learning needs can inform the design of training environments to enable readiness for unsupervised practice.
Results:Forty-three supervisors participated. Supervisors characterised the meaning of trust from the perspectives of trainee competence and leadership or from their own perspective of needing to provide more or less supervision. Supervisors initially considered trust to be usually independent of prior knowledge of the resident, and then used sources of information about trust to develop their judgements of trust. Sources, which incorporated inference, included supervisors' comparisons with a standard, direct observation of the trainee as a team leader or care provider, and stakeholder input from team members, patients and families. Barriers against and accelerators to trust formation related to the resident, supervisor, resident-supervisor relationship, context and task. Trust formation had implications for supervisors' roles, residents' increasingly independent provision of care, and team functioning.
Objectives:This study was designed to determine how supervisors develop and experience trust in resident (postgraduate years 2 and 3) trainees in the clinical workplace.
1989년 제28차 의학 교육 연구 컨퍼런스에서 조지 E. Miller(1918–1998)는 학습자 평가에 대해 다음과 같이 말했다. At the 28th Research in Medical Education conference in 1989, George E. Miller (1918–1998), discussing the assessment of learners, stated:
(성공적인 의사가 전문적 서비스를 제공하는 것만큼) [복잡한 사항의 판단]에 필요한 [모든 데이터]를 제공할 수 있는 [단 하나의 평가 방법]은 없습니다. 그러면 평가가 발생할 수 있는 프레임워크를 제안하는 것으로 시작하겠습니다. 1 No single assessment method can provide all the data required for judgment of anything so complex as the delivery of professional services by a successful physician. And so let me begin by suggesting a framework within which that assessment might occur. 1
그리고 나서 그는 그 단순함에 탁월하고 세월의 시험을 견뎌낸 상징적인 모델을 계속해서 선보였습니다. 1 he then proceeded to present the iconic model that, brilliant in its simplicity, has withstood the test of time. 1
밀러의 피라미드는 무엇인가? What Is Miller’s Pyramid?
피라미드는 보건 직업의 학습자를 평가하기 위한 체계이며, 하위 단계의 평가 대상이 상위 레벨에 통합되는 교육 궤적 전반의 단계를 반영한다(그림 1 참조). The pyramid is an organizing framework for assessing learners in the health professions, reflecting phases across the educational trajectory, in which targets of assessment in the lower levels are incorporated within higher levels (seeFigure 1).
이 모델은 종종 표준화된 객관적 시험을 강조하는 기존의 평가 접근방식과 실무 인증의 직업적 필요성을 병합한다. Miller의 피라미드에서 competence 단계는, 성능performance보다 낮은 수준("knows how")에 존재하고, 더 이상 최신의 competence 및 performance 개념화와 맞지 않을 수 있지만, 2,3 핵심 프레임워크는 매우 유용한 것으로 입증되었습니다. 이 Perspective에서는 역량competence이라는 단어를 피라미드 레벨을 가로지르는 일반적인 의료 능력을 의미하기 위해 사용한다. The model merges traditional assessment approaches, often emphasizing standardized, objective testing, with the vocational need of certification for practice. While Miller’s terminology of competence, positioned at a lower level than performance (“knows how”), may no longer align with more current conceptualizations of competence and performance, 2,3 the core framework has proven to be very useful. In this Perspective, we use the word competence to signify a general medical ability that cuts across the levels of the pyramid. 2
Miller의 피라미드 레벨에 따라 표현되는 역량 구조의 여러 측면은 [완전히 연관되지 않은 평가]에 각기 다른 가치의 기여를 한다. 4 Miller의 피라미드 수준을 구별하기 위한 또 다른 주장은 학습자가 명시된 평가 기준을 충족하도록 노력과 행동을 조정한다는 것이다. 즉, 평가가 학습을 주도한다(Miller의 주장 중 하나). 이러한 가정을 고려할 때, 평가는 학습의 원하는 결과와 가장 일치하는 행동을 자극하는 환경에서 학습을 안내하도록 프로그래밍되어야 한다. 예를 들어, [지식이나 기술의 숙달mastery]이 평가의 초점일 때, 학습자들은 숙달로 이어지는 [의도적인 연습deliberate practice]에 대해 인정받아야 한다. Miller의 피라미드는 모든 레벨이 중요하며, 각 역량 측면과 관련된 학습 및 평가가 교육 전반에 걸쳐 반복적으로 구축됩니다.
The multiple facets of the competence construct represented by the different levels of Miller’s pyramid make valuable and different contributions to assessment that do not perfectly correlate. 4 Another argument for distinguishing levels of Miller’s pyramid is that learners adapt their efforts and behavior to meet stated assessment criteria; in other words, assessment drives learning (one of Miller’s assertions 1). Given this assumption, assessment should be programmed to guide learning 5 in an environment that stimulates the behavior aligning most with the desired outcomes of learning. For example, when mastery of knowledge or skills is the focus of assessment, learners should be acknowledged for the deliberate practice that leads to mastery itself. All levels of Miller’s pyramid are important, and the learning and assessment associated with each facet of competence build iteratively throughout the training.
1990년 이후 특히 작업장 기반 평가WBA의 품질에서 진전이 이루어졌으며, 이는 Miller의 "does" 수준입니다. 시간 경과에 따른 작업장 기반 관찰 및 평가의 여러 지점이 포함된 다중 도구는 최근 소위 프로그램 평가 및 커리큘럼에 포함된 [평가에 대한 시스템 접근방식]과 잘 맞는다. Since 1990, progress has particularly been made in the quality of workplace-based assessment, that is, at Miller’s “does” level. 6,7 Multiple tools with multiple points of workplace-based observations and assessment over time fit well with what has more recently been called programmatic assessment 5,8 and a systems approach to assessment embedded in a curriculum. 9
역량 기반 의학교육(CBME)을 향한 전 세계적인 움직임은 피라미드와 일치하는 다양한 형태의 직장 기반 평가를 주요 초점으로 통합했다. 이러한 발전에도 불구하고, 임상 직장에서 학습자를 안정적으로 평가하는 것은 여전히 큰 과제이다.
The worldwide movement toward competency-based medical education (CBME) has incorporated workplace-based assessment in various forms,10,11which align with the pyramid,12as a major focus. Despite these developments, reliably assessing learners in the clinical workplace remains a huge challenge.
평가를 위한 표준화된 조건의 결여
관용 오차 및 후광 효과와 같은 평가자 바이어스
연습생 관리trainee care 품질과 의료health care 결과 간의 관련성 근거 부족
이들은 'does' 수준에서 작업장 기반 평가 표준의 개발을 가로막는 장벽 중 몇 가지입니다. 평가자를 훈련하고, 타당성 증거가 있는 도구를 사용하면 이러한 문제 중 일부를 완화할 수 있지만 제거할 수는 없습니다. 17
The lack of standardized conditions for assessment;
rater bias, such as generosity error and halo effects; and
the paucity of evidence that relates trainee care quality to health care outcomes
are a few of the barriers that have precluded the development of standards of workplace-based assessment at the “does” level.13–16Training raters and using instruments with validity evidence can mitigate some of these challenges but not eliminate them.17
의학에서 디플로마스의 이중 역할 The Dual Role of Diplomas in Medicine
[WBA의 심리측정적 부적절성]을 해결하기 위한 지속적인 노력이 필요하지만, 보다 근본적인 것도 주목할 만하다. 의학 학위는 (다른 고등 교육 프로그램과는 달리) 단순히 학문적 성취의 증거 그 이상이다. 의학 졸업장은 의학 졸업자들이 종종 졸업식 당일부터 환자를 안전하게 돌볼 준비가 되어 있다는 것을 (명시적 또는 암시적으로) 증명합니다. 즉, 학습자를 평가함에 있어 심사관과 프로그램이 [이중의 책임]을 갖습니다. While continued efforts to address psychometric inadequacies of workplace-based assessment are needed, something more fundamental also deserves attention. Degrees in medicine, more so than in other programs of higher education, go beyond just a testimony of academic accomplishment. A medical diploma attests (implicitly or explicitly) that medical graduates are prepared to safely care for patients, often from the very day of graduation. This means that examiners and programs have a dual responsibility in assessing learners:
(1) 학습자가 요구받은 바를 성공적으로 수행했는지 확인(예: 합격, 과정 학습, 과제 및 순환 완료, 시뮬레이션 환경에서 실습된 기술, 임상 환경에서 기대 성과를 입증)
(2) 환자 관리의 품질을 보장하고 보호한다(즉, 학습자가 졸업 후 직면하는 책임을 맡을 수 있는지 확인하고, 신규 졸업자가 안전하고 효과적인 치료를 제공할 수 있는지를 대중에게 보장한다).
(1) to verify that learners have successfully done what they were asked to do (i.e., passed examinations; completed coursework, assignments, and rotations; practiced skills in simulated contexts; and demonstrated expected performance in the clinical environment) and
(2) to ensure and protect the quality of patient care (i.e., verifying that learners can assume the responsibilities they face after graduation and assuring the public that the new graduate can provide safe and effective care).
의사 면허증은 법적 책임을 부여하며, 전문의 자격증은 완전히 감독되지 않는 의료 행위를 허용한다. 따라서, 의학 학습자를 평가하는 것은 단순히 과정 완료와 진행 결정을 확인하거나 졸업장을 수여하는 것뿐만 아니라, 학습자가 의료 분야에서 전문적인 활동을 할 준비가 되어 있다는 확신을 표명하는 것이다. 이 [이중 책임]은 학습자에게 환자 관리에 참여할 수 있는 권한을 부여하는 판단에 정보를 제공해야 합니다.
A medical license affords a legal responsibility; a specialty certification affords fully unsupervised practice. So, assessing medical learners is not just to verify course completions and progress decisions or award a diploma but also to express confidence that the learner is prepared for professional activities in health care. This dual responsibility should inform the judgments to grant learners the permission to engage in patient care.18
위탁: 관찰된 성과 또는 조치 평가 이상의 확대 Entrustment: Extending Beyond the Assessment of Observed Performance or Action
Miller가 출판된 지 약 20년이 지나고 CBME가 광범위하게 채택된 지 약 10년이 지난 후, 의료 교육계는 위임 가능한 전문 활동(EPA)의 개념을 채택하기 시작했습니다. 2005년에 만들어진 용어인 EPA는 "연습생이 [감독되지 않고 이 활동을 실행하는 데 필요한 역량을 입증한 후], 연습생에게 완전히 위임할 수 있는 전문적 실무의 단위(작업 또는 작업 그룹)"로 정의할 수 있다. About 2 decades after Miller’s publication and 1 decade after the widespread adoption of CBME, the medical education community began adopting the concept of entrustable professional activities (EPAs). 19 An EPA, a term coined in 2005, can be defined as “a unit of professional practice (a task or group of tasks) that can be fully entrusted to a trainee, once he or she has demonstrated the necessary competence to execute this activity unsupervised.” 20
위탁의사결정은 직장 내 의료연수생을 평가하기 위한 또 다른 접근법 또는 규모 그 이상이다. 이 개념은 점진적으로 지도감독을 줄여가면서 학습자가 임상 실무에 단계적이고 안전하게 참여할 수 있도록 CBME를 운영하기 위해 도입되었다. Entrustment decision making is more than another approach or scale to assess medical trainees in the workplace. 21 The concept was introduced to operationalize CBME through a stepwise and safe engagement of learners in clinical practice with a progressive decrease of supervision. 22
EPA를 구현하려면 [고립된 임상 역량이나 능력]에 대한 [작업장 기반 평가]에서 [학습자가 EPA를 안전하고 효과적으로 수행할 수 있는 능력]에 기초하여 학습자에게 [의료 제공 과제와 책임을 맡길지 여부에 대한 의사결정]으로 초점을 전환해야 한다. 결정적 판단Critical judgement은 특정 의료 활동을 수행할 준비가 된 학습자의 수준에 대응하여 필요한 관리 수준과 관련하여 이루어집니다. Implementing EPAs requires a shift in focus from workplace-based assessment of isolated clinical competencies or abilities to decisions on whether to entrust learners with health care delivery tasks and responsibilities on the basis of the learners’ capability to safely and effectively perform those EPAs. 23 The critical judgment comes into play with respect to the required level of supervision, in response to a learner’s level of readiness to perform a particular health care activity. 24
그러나 덜 분명한 것은 [종합적 위탁 결정summative entrustment decision]이 필요한 경우 적절한 지원을 확보하는 것을 포함하여 [미지의 미래 상황을 다루는 훈련생의 능력에 대한 신뢰]를 포함하고 있다는 것이다. 이 (미래를 직시하는) 신뢰는 이전에 관찰, 학습 및 적용된 것에 기초한다.
However, what is less overt is that a summative entrustment decision incorporates trust in the trainee’s ability to handle unknown future situations, including securing adequate support if needed; this (future-facing) trust is based on what was previously observed, learned, and applied.
학습자 또는 졸업자에게 의료 서비스를 맡기는 결정의 성격 The Nature of Decisions to Entrust a Learner or Graduate With Health Care Tasks
예상되는 임상 역량의 다양성과 폭은 교육 중에 관찰될 수 있는 것보다 더 넓다. 앞으로 만나게 될 환자는 이전에 진단하고 치료한 환자와 동일하지 않을 것이며, 의료 훈련생이 관찰한 환자와는 맥락이 다를 것이다. 의료 분야의 모든 활동은 숙련된 임상의라도 어느 정도의 위험을 수반한다. 따라서 위임 결정은 [알 수 없는 상황에서 수행하려는 학습자의 준비 상태 추정]과 [향후에 학습자를 신뢰하는 데 수반되는 위험을 허용할 수 있다는 결정]을 함축한다. The variety and breadth of expected clinical competencies are wider than can possibly be observed during training. Subsequent patients will not be the same as those previously diagnosed and treated, and contexts will differ from the ones in which the medical trainee was observed. Any activity in health care involves some level of risk, even for experienced clinicians. Entrustment decisions, 18,25 therefore, imply an estimation of the learner’s readiness to perform in unknown contexts and the determination that the risks involved in trusting the learner are acceptable going forward. 26,27
학습자가 x라는 시점부터 y라는 EPA를 수행할 수 있도록 하는 포괄적 위탁 결정은, 유럽 대륙에서 운전면허증을 수여하는 것과 유사하다. 즉, 영국 땅에서 해저터널(프랑스-영국 간 해저 터널)을 벗어나면 도로 왼쪽에서 안전하게 운전할 수 있다고 믿는 것과 유사하다.
Making a summative entrustment decision that—from moment x on—the learner is permitted to perform EPA y is similar to awarding a driver’s license in continental Europe and trusting the driver will drive safely on the left side of the road when emerging from the Chunnel (underwater tunnel between France and the United Kingdom) on British soil.
관리자가 있는 사전 예방적 감독(위탁 레벨 2)에서 사후 대응적 감독(위탁 레벨 3)으로 이동하더라도 위험을 수용할 수 있습니다. 다시 말해, 위탁 학습자가 행동할 수 있는 모든 상황을 통제하기는 불가능하며, 사전 관찰 결과가 EPA가 실행enactment될 수 있는 가능한 모든 맥락을 포함했다고 제안하는 것은 기만적이다.
Even a move from proactive supervision, with a supervisor present (entrustment level 2), to reactive supervision, with a supervisor quickly available (entrustment level 3), may imply accepting risks. In other words, it is impossible to control for all possible situations in which the entrusted learner will act, and it is deceptive to suggest that prior observations have covered every possible context for the enactment of the EPA.
따라서 위임 결정에는 [위험에 대처하고, 도움을 요청하고, 의료 상황의 결과가 예상과 다를 때 적응하는 학습자의 능력]에 대한 평가가 포함되어야 한다. 보다 간결하게, 미래에 초점을 맞춘 위탁 결정에는 [적응형 전문지식]의 추정이 포함되어야 한다. 적응형 전문 지식 또는 적응형 역량을 평가하려면 임상 환경에서 성과를 관찰하는 것 이상이 필요합니다.
Entrustment decisions should, therefore, include the assessment of a learner’s ability to cope with risks, ask for help, and adapt when the outcomes of health care situations are different than what was expected. More succinctly, entrustment decisions, which focus on the future, should include an estimation of adaptive expertise. Assessing adaptive expertise or adaptive competence requires more than observing performance in the clinical environment.
감독 수준에 초점을 맞춘 척도는 후향적 성격(활동에 대해 얼마나 많은 감독을 제공했는가?) 또는 전향적 성격(학습자가 이 EPA에 대한 감독을 줄일 준비가 되어 있다고 생각하는가?)으로 작성되었다. 이 중 오직 후자만이 진정한 위탁을 나타낸다. 방사선학에서 ALARA(합리적으로 달성 가능한 한 낮은 수준)는 의미 있는 시험을 수행하고 피폭과 그에 따른 위험을 최소화하기 위해 가능한 최저 수준의 방사선을 제공한다. 마찬가지로, [감독되지 않은 실천unsupervised practice에 대한 준비도]에 부합하는 [가장 낮은 수준의 퍼포먼스 리스크]가 최종 위탁 결정을 가이드할 수 있다.
Scales that focus on supervision levels have been created with either a retrospective nature (how much supervision was provided with an activity?) or a prospective nature (do I feel the learner is ready for less supervision for this EPA?). Only the latter represents true entrustment. In radiology, ALARA (as low as reasonably achievable) seeks to provide the lowest level of radiation possible to perform a meaningful test and minimize exposure and its resultant risks. 28 Likewise, the lowest level of acceptable performance risks corresponding with readiness for unsupervised practice may guide summative entrustment decisions and privilege.
밀러의 피라미드 확장 Extending Miller’s Pyramid
Miller의 중요한 연설 이후, 임상 직장에서 평가에 대한 많은 접근법이 개발되었지만, 모두 학습자가 임상 환경에서 무엇을 하는지, 즉 Miller의 레벨 4를 관찰하는 데 초점을 맞추고 있다. 하지만, 앞서 설명한 것처럼, 밀러의 "does" 레벨를 넘어서는 무언가가 있습니다. Since Miller’s seminal address, many approaches to assessment in the clinical workplace have been developed, 29,30 but all have focused on observing what learners do in the clinical environment, that is, Miller’s level 4 (the “does” level). However, as delineated earlier, there is something beyond the top of Miller’s “does” level. 31,32
[관찰된 수행능력]이야말로 학교나 프로그램이 사회에 정말로 전달해야deliver 할 것이다: 이것은 [환자, 동료, 그리고 고용주들이 "신뢰할 수 있는" 졸업생]을 의미한다. [의사 교육 프로그램 완료 시 암묵적으로 부여되는 이러한 추정된 신뢰presumptive trust]는 훈련 중의 직접적인 관찰을 넘어 의사들이 스스로 찾아낸 어떤 직장에서도 확대되며, 이는 Miller의 피라미드에 새로운 정점이 필요하다는 것을 시사합니다. Observed performance in practice is what schools or programs should really deliver to society: graduates that patients, colleagues, and employers can “trust.” This presumptive trust,21,33implicitly conferred at the completion of a physician’s educational program, extends beyond direct observation during training to any workplace physicians find themselves in, suggesting the need for a new pinnacle on Miller’s pyramid.
모든 레벨과 마찬가지로, 이 최상위 레벨에는 하위 레벨에서 충분한 성취도가 포함되고 가정되어야 하므로, 새로운 최상위 레벨은 "Does" 레벨을 대체하는 대신 다른 무언가를 평가합니다. 이것은 새로운 생각이 아닙니다. 2016년 알 에라크와 마레이는 밀러의 피라미드에 대한 신뢰를 통합할 것을 제안했다. 34
Like all levels, this top level should naturally include and assume sufficient achievement at lower levels, so rather than replacing the “does” level, the new top level assesses something different. This is not a new thought: In 2016, Al-Eraky and Marei proposed incorporating trust in Miller’s pyramid.34
이러한 생각을 염두에 두고, 우리는 "Does" 수준 상위에 단계를 추가하고, 현재 설명 구절을 약간 수정함으로써 Miller의 피라미드를 개조할 것을 제안합니다(그림 2). 5개 레벨은 레벨에 맞는 평가의 초점에 간략하게 설명될 수 있다. 표 1은 부분적으로 Yudkowsky et al.35의 연구에서 영감을 받은 평가의 초점과 가능한 방법을 간략히 설명한다.
With these thoughts in mind, we propose an adaptation of Miller’s pyramid by adding a level above the “does” level and making slight adaptations to the current explanatory phrases (Figure 2). The 5 levels may be briefly explained in the focus of the assessment that fits with the level.Table 1elaborates briefly on the focus and possible methods of assessment, in part inspired by the work of Yudkowsky et al.35
이 적응에서 피라미드 상단은 학습자에게 교육 이수 증명서를 수여하는 결정에 도달하는 과정을 반영하며, 의료 면허 또는 전문 등록이나 인증으로 이어지며, 이는 허가자가 감독되지 않은 행동을 할 수 있는 허가를 제공하고 고유 위험을 인식하도록 한다. 현재, 의사들은 커리큘럼의 모든 필수 요소들을 성공적으로 마친 후에 그들의 졸업장을 받고, [똑딱거리는 시계]는 임상 훈련의 미리 설정된 끝에 도달한다. 행정 기관은 수습생이 졸업할 권리가 있음을 확인하며, 그렇게 됩니다. In this adaptation, the top of the pyramid reflects the process for reaching the decision to award a learner an attestation of the completion of training, leading to a medical license or specialty registration or certification, which provides permission to act unsupervised and makes the grantors cognizant of the inherent risks. Currently, physicians earn their diploma after successfully completing all the required elements of the curriculum, and the ticking clock gets to the preset end of clinical training experience. An administrative body then confirms that the trainee has the right to graduate, and so it happens.
대학원 의학 교육에서 프로그램 이사는 단일 역량 위원회와 함께 교육 과정 내내 학습자를 감독한다. 그러나 [unsupervised practice]을 향한 단계는 [관찰된 역량과 위탁에 따른 미래 위험]보다는여전히 [시간]에 의해 결정된다.
In graduate medical education, a program director, along with a single competency committee, oversees learners throughout the course of training, but the step toward unsupervised practice is still often determined by time rather than by observed competence and the future risk that comes with entrustment.
하지만 의과대학에서는 학생 수가 많기 때문에 한 명의 개인이나 위원회가 입학에서 졸업까지 학생들의 진보를 면밀히 따르는 것은 불가능하다. 따라서, 면허의 책임과 관련된 미래 위험의 엄청난 단계의 실현은 [시간이 아닌 위탁에 대한 준비에 기초]하여 졸업 결정을 추진해야 한다.
In undergraduate medical education, however, the large number of students make it impossible for a single individual or committee to closely follow students’ progress from matriculation to graduation. Thus, the realization of the immense step of being granted the responsibility of a license, and the future risk involved, should drive the decision to graduate based on readiness for entrustment, not time.
업무 현장에서 [임시적으로ad hoc 이루어지는 위임]에 대한 [작은 단계]들은 학습자를 졸업, 면허 또는 인증하는 [큰 결정]보다 오히려 더 분별력 있게 이루어지는 것으로 보입니다. 의대 교육을 포함한 고등 교육 학위를 따는 것은 종종 통과된 시험과 평가의 누적으로도 충분하지만, 졸업생 개개인에게 MD 졸업장의 중요성을 실제로 감독하는 위원회나 교육자는 거의 없다. [면허시험]은, 아무리 잘 해봐야at most, 면허가 암시하는 큰 위탁 결정을 서포트하기에는 불완전한 수단에 불과하다. 소규모 대학원 의대 교육 프로그램에서는 대규모 프로그램보다 더 많은 감시가 있을 수 있지만, [사전에 예정된 훈련 종료 시점]과 [전문의 시험 시기]가 종종 수습생이 프로그램을 이수하도록 허용하는 결정을 지배한다. The small steps informing entrustment, taken ad hoc in the workplace, seem to be made with more discernment than the big decision to graduate, license, or certify learners. To earn a diploma in higher education, including medical education, the accumulation of passed tests and assessments often suffices, but there are seldom committees or educators who really oversee the significance of the MD diploma for individual graduates. Licensing exams are, at most, an imperfect measure to support the big entrustment decision that the license implies. In small graduate medical education programs, there may be more oversight than in larger programs, but the scheduled end of training and timing of the board exam often dominate the decision to allow a trainee to complete the program.
EPA의 도입으로, 중간 지대가 생겼다. EPA는 경계가 있는 전문적 실무 단위로서 각 EPA를 합리적으로 감독, 평가, 모니터링, 문서화 및 위탁할 수 있다. 교육자 또는 가급적 임상 역량 위원회(CCC)는 충분한 다면적인 정보로 사려 깊은 최종 위탁 결정을 내릴 용기를 가져야 하고 권한을 부여받아야 하며, 그러한 교육자 또는 위원회는 그러한 결정에 대해 책임을 져야 한다. 일부 프로그램은 EPA에 대한 서명된 인증서 양식(책임 인정서 또는 STAR)으로 이러한 결정을 내리며, 이는 해당 책임을 명시적으로 반영한다. 36 더 비공식적으로, 그 책임은 다음과 같은 질문에 대한 대답이 될 수 있다. "이 학습자가 내 가족을 돌볼 수 있을까?" 37 또는 "지원자 중에서 선택할 수 있다면 이 졸업생을 내 학과에 고용할 수 있을까?"
With the introduction of EPAs, there is a middle ground. EPAs are units of professional practice with boundaries, allowing each EPA to be reasonably overseen, assessed, monitored, documented, and entrusted. Educators or, preferably, a clinical competency committee (CCC), should have the courage—and be empowered—to make thoughtful summative entrustment decisions with sufficient, multifaceted information, and those educators or the committee should then be accountable for those decisions. Some programs make these decisions with a signed certificate form for EPAs (with a statement of awarded responsibility or STAR), which reflects that accountability explicitly. 36 More informally, that accountability can be the answer to a question: “Would I have this learner take care of my own family members?” 37 or “Would I hire this graduate for my department if I could choose among applicants?”
[학습자가 감독 없이도 진료를 수행할 수 있다]는 위원회(또는 다른 기관의)의 신뢰의 발달은 의사결정 기관이 환자가 그나 그녀에 대한 추정 신뢰를 정당화할 수 있을 만큼 충분히 그 분야를 숙달했다고 보장할 수 있는 [충분한 정당성과 확신]을 필요로 한다. [본질적으로 제한된 과거의 관찰]에 기초하여 [종합적인 위탁 결정]을 내리려면 지식, 경험 및 용기가 필요합니다. 이러한 추론은 "Trusted"라는 단계를 (이것이 내포한 위험risks와 함께) Miller의 피라미드에 "Does" 수준을 넘는 새로운 수준으로 이끈다.
The development of a committee’s (or other body’s) trust that a learner can execute an activity unsupervised requires justification and conviction strong enough to enable the deciding body to assure patients the learner has mastered the domain sufficiently to justify a patient’s presumptive trust in him or her. It requires knowledge, experience, and courage to make a summative entrustment decision based on inherently limited previous observations. This reasoning makes “trusted”—with its inherent risks—a new level for Miller’s pyramid, beyond the “does” level.
위탁 준비 상태 평가 Assessing Readiness for Entrustment
위탁 결정에는 [학습자가 임상 치료와 관련된 위험성을 이해]하고 있으며, [예상치 못한 상황에 대처할 수 있다는 확신]이 필요하다. 38 항상 잘못될 가능성이 있으며, 학습자가 예기치 않은 상황에서 무엇을 해야 하는지를 아는 것이 중요하다. 학습자와 의료 감독자 모두 위임 결정이 내려질 때 이러한 위험을 알고, 평가하고, 수용해야 합니다. An entrustment decision requires a sense that the learner understands the risks involved in clinical care and confidence that the individual can deal with the unexpected. 38 There is always the potential for things to go wrong, and it is critical that the learner knows what to do in unexpected circumstances. Both learners and clinical supervisors must know, weigh, and accept these risks when entrustment decisions are made.
의료전문가가 위임 결정을 내릴 때 무엇을 고려하는지 생각해본다면, 학습자에게 책임을 넘기거나transferring, 필요한 감독량을 결정할titrating 때, [여러 변수]가 나타난다. 흥미롭게도, 이런 능력의 대부분은 신뢰성trustworthiness과 관련된 특성이고, 과제-특이적이지 않다. 주로 EPA-특이적 역량에 추가하여 성실성, 신뢰성, 겸손 및 주체성agency으로 요약된다.위탁은 [신뢰성]과 [평가 중인 영역에서 이전에 입증된 역량]의 두 가지를 모두 다 필요로 하는 것으로 보인다. 이러한 측면이 모여서 [위임 결정에 관련된 위험의 무게]를 재는 데 사용될 수 있다.
In considering what clinicians take into account when making entrustment decisions, when transferring responsibility to a learner, or when titrating the amount of supervision needed, multiple variables emerge. 39–42 Interestingly, most of these facets of competence are characteristics related to trustworthiness; are not task specific; and have been summarized as integrity, reliability, humility, and agency, in addition to an EPA-specific capability. 18,21,43 Entrustment seems to require both trustworthiness and previously demonstrated competence in the domain being assessed. Together these facets can be used to weigh the risks involved in an entrustment decision.
아직까지 신뢰, 위험 평가, 적응형 전문성을 통합하는 구체적인 평가 접근법은 제한적이다. 44,45 이러한 접근법은 의료전문인력 교육의 평가 개발에 있어 더 중요한 역할을 할 수 있다. Specific assessment approaches that incorporate trust, risk assessment, and adaptive expertise are limited currently. 44,45 Along with better measures of the quality of care learners deliver, 46 these approaches may become more important in the development of assessment in health professions education.
[위임에 대한 준비]는 라이센스와 인증에 함축되어implied 있다. 단, 개정된 피라미드의 최상위 수준은 그러한 중요한 순간big moment뿐만 아니라, [EPA 프레임워크에 기초한 프로그램 평가]에도 적용된다. 학습자가 개별 EPA의 신뢰를 받는 경우, 감독 없이 안전하고 효과적으로 특정 EPA를 수행할 수 있는 것으로 간주된다. 단, 전체적으로 EPA가 전문 분야의 전문적인 활동을 정의하기 때문에, 학습자는 프로그램 완료 시점에 직접 환자 관리와 관련된 모든 EPA에 대해 이와 동일한 수준의 성과를 달성할 것으로 기대된다. 수련을 마친 이후, 커리어가 진행되면서, 한 명의 의사에게 맡겨지거나, 그가 수행할 자격이 있는 전문적인 활동에 변화가 있을 것이다. 의사의 [진료 범위에 기반을 둔 개인의 EPA 포트폴리오의 역동적 특성]을 고려한다면, [의사가 위임받고 수행할 자격이 있는 작업]은 시간이 지남에 따라 바뀌어질adapting over 필요가 있다.47
Readiness for entrustment is implied in licensing and certification. However, the top level of the revised pyramid applies not only to those big moments but also in programmatic assessment based on an EPA framework. If a learner is trusted with an individual EPA, he or she is considered able to perform the given EPA safely and effectively without supervision. However, because EPAs in aggregate define the professional activities of a specialty, a learner would be expected to achieve this same level of performance for all EPAs associated with direct patient care at the time of program completion. Over a practitioner’s career, there will be changes in the professional activities he or she is entrusted and entitled to perform. The dynamic nature of an individual’s EPA portfolio, which is based in a physician’s scope of practice, suggests the need for adapting over time what practitioners are entrusted with and entitled to do.47
CCC는 개별 EPA 또는 EPA에 대한 진행 결정을 전체적으로 내릴 때 위탁에 초점을 맞출 수 있고 또 그렇게 해야 하지만 개별 감독자는 가능하면 관찰, 사고, 권고에서 [위임의 요소]를 고려해야 한다. 이러한 요소에는 다음이 포함될 수 있다.
학습자가 도움을 구하는 행동을 보이는 것,
새로운 상황에서 이전 학습을 적용할 수 있는 학습자의 능력,
자기 능력의 한계 지점에서 진료practice에 필요한 수준의 감독을 요청하는 것
While CCCs can and should focus on entrustment when making progression decisions for individual EPAs or EPAs in aggregate,48individual supervisors should consider elements of entrustment in their observations, thinking, and recommendations, whenever possible. These elements may include, but are not limited to,
learners exhibiting help-seeking behaviors,
learners’ ability to apply previous learning in a new situation, and
learners asking for the degree of needed supervision to practice at the edge of their competence.
즉, [비-과제 특이적 특징]을 포함하는 위임 사고방식은 위원회(CCC 또는 기타)에만 국한되지 않는다. [위임 사고entrustment thinking]는 모든 WBA의 일부입니다. [피라미드의 하위 수준]에서는 학습자가 실제로 수행했거나 수행한 작업에 기반한 판단이 적절하다. [높은 수준]에서 준비 상태에 대한 추론이 필요하다. 그러한 추론을 뒷받침하는 실용적인 접근법의 예로는 [위탁 기반 토론]과 [현실적인 실시간 반시뮬레이션]이 있다. 위탁 결정을 알리는 데 있어 resident-sensitive quality measure의 사용 및 가치에 대한 최근 보고서도 유망하다.
In other words, entrustment thinking, including the non–task-specific features, is not confined to committees (CCC or other) but is part of all workplace-based assessments. At lower levels of the pyramid, judgment based on what a learner actually does or has done is appropriate; at the higher levels, an inference of readiness is needed. Examples of practical approaches to support such inferences are entrustment-based discussions45and realistic, live semisimulations.44,49A recent report of the use and value of resident-sensitive quality measures in informing entrustment decisions also holds promise.50
결론적 생각 Concluding Thoughts
Miller의 피라미드처럼 상징적인 모델의 확장을 제안하는 것은 신중한 고려를 필요로 한다. 다른 사람들도 피라미드의 변형을 만들어냈다.
Miller의 삼각형 또는 프리즘이라고 부르거나,
Bloom의 지식, 기술 및 태도의 차이를 하나의 차원으로 추가했거나,
피라미드를 뒤집어서 "실행" 레벨 3의 중요성을 강조했거나,
피라미드 34 주변에 "측정 궤도"를 추가했거나,
직업적 정체성을 피라미드 꼭대기에 더하였다.
Suggesting an extension of a model as iconic as Miller’s pyramid requires careful consideration. Others have created variations of the pyramid,
calling it Miller’s triangle or prism;
adding Bloom’s distinctions of knowledge, skills, and attitudes as a dimension 51;
turning the pyramid upside down to stress the importance of the “does” level 3;
adding “assessment orbits” around the pyramid 34; and
adding professional identity on top of the pyramid. 52
우리는 그러한 변화를 고려했지만, 학습자를 평가하는 데 사용되는 접근방식에 분명한 초점과 실질적인 가치를 가지고 피라미드에 [이미 반영되어 있는 기존 접근방식에 추가된 개념]으로 피라미드의 변형adaptation을 제한하기로 결정했다. 최고 레벨은 의사 정체성의 핵심을 반영하는 "is" 단계라고 부르는 Crues 등의 확장판에는 [앞에서 설명한 개인 특성(능력, 무결성, 신뢰성, 겸손, 주체성agency)]이 포함됩니다. 따라서, 우리가 Miller의 피라미드에 새롭게 제안한 5단계는 정체성 형성과 관련된 개인적 특성("is")에다가 [익숙한 것에서 낯선 것으로의 적응 능력에서 수반되는 위험의 완화(trusted)]를 결합한 것이다.
We considered such variations but decided to limit the adaptation of the pyramid to a concept that has a clear focus and practical value for the approach used to assess learners and adds to existing approaches already reflected in the pyramid. Cruess et al’s extension, 52 calling the top level “is” to reflect the core of a physician’s identity, embraces the personal characteristics we have described earlier (capability, integrity, reliability, humility, and agency).53 Thus, our proposed new pinnacle for Miller’s pyramid combines personal characteristics linked to identity formation (“is”) with the mitigation of risk that is promised in the capacity to adapt from the familiar to the unfamiliar (“trusted”).
"Trusted"는 두 가지 방법으로 읽을 수 있습니다.
하나는 [평가 및 결정]과 관련이 있습니다. 즉, 감독 없이 작업을 수행할 수 있는 중요한 순간입니다. 그것이 우리의 초점이다.
다른 하나는 [존재의 상태]이다. [신뢰받는 것]은 의사 및 기타 의료전문가의 가장 중요한 특성 중 하나로 간주될 수 있으며, 전문성 개발을 지속하는 데 중요한 영향을 미칠 수 있다.
[마땅한 신뢰deserved trust]는 [특성]이 아니라, 지속적인 자기 인식, 성찰 및 유지관리가 필요한 [상태]이며, 모든 의료전문가에게 필요한 것이다.
“Trusted” can be read in 2 ways.
One is related to assessment and to a decision, that is, as a pivotal moment that leads to permission to act without supervision—it is the focus of our contribution.
The other is a state of being. Being trusted may be regarded as one of the most crucial characteristics of physicians and other health care professionals and has important implications for continuing professional development.
Deserved trust is not a trait but a state that requires ongoing self-awareness, reflection, and maintenance, by all health care professionals.
The iconic Miller's pyramid, proposed in 1989, characterizes 4 levels of assessment in medical education ("knows," "knows how," "shows how," "does"). The frame work has created a worldwide awareness of the need to have different assessment approaches for different expected outcomes of education and training. At the time, Miller stressed the innovative use of simulation techniques, geared at the third level ("shows how"); however, the "does" level, assessment in the workplace, remained a largely uncharted area. In the 30 years since Miller's conference address and seminal paper, much attention has been devoted to procedures and instrument development for workplace-based assessment. With the rise of competency-based medical education (CBME), the need for approaches to determine the competence of learners in the clinical workplace has intensified. The proposal to use entrustable professional activities as a framework of assessment and the related entrustment decision making for clinical responsibilities at designated levels of supervision of learners (e.g., direct, indirect, and no supervision) has become a recent critical innovation of CBME at the "does" level. Analysis of the entrustment concept reveals that trust in a learner to work without assistance or supervision encompasses more than the observation of "doing" in practice (the "does" level). It implies the readiness of educators to accept the inherent risks involved in health care tasks and the judgment that the learner has enough experience to act appropriately when facing unexpected challenges. Earning this qualification requires qualities beyond observed proficiency, which led the authors to propose adding the level "trusted" to the apex of Miller's pyramid.
교육과 보건을 변혁할 의과대학생을 위한 밸류-추가 임상시스템 학습 역할: 의과대학과 보건시스템 사이의 파트너십 빌딩을 위한 가이드(Acad Med, 2017)
Value-Added Clinical Systems Learning Roles for Medical Students That Transform Education and Health: A Guide for Building Partnerships Between Medical Schools and Health Systems Jed D. Gonzalo, MD, MSc, Catherine Lucey, MD, Terry Wolpaw, MD, MHPE, and Anna Chang, MD
미국의 의료 서비스가 결과 개선을 위해 빠르게 변화함에 따라, 의료 시스템과 의료 교육은 의사에게 21세기 과제를 해결할 수 있는 기술을 제공하기 위해 진화하고 있다. 매년 27,000명의 의사가 졸업함에 따라, 의과대학은 오늘날의 개인 및 모집단 건강 결과를 개선하기 위해 의료 시스템을 변화시키는 데 있어 의사의 실천 준비와 리더십을 향상시킬 수 있는 중요한 개혁이 필요하다. 이 과제를 해결하기 위해, 학부 의학 교육을 위한 새로운 [3개 기둥 프레임워크]는 인구 건강, 의료 정책 및 전문가 간 팀워크를 포함하는 [의료 시스템 과학]과 생의학과 임상과학을 통합한다. 임상 기술에 대한 이러한 광범위한 정의는 오늘날 직무를 위하여 [시스템 스킬과 환자 기술(예: 이력 촬영, 신체 검사)]을 모두 갖춰야 하는 의사에게 반향resonate을 일으킨다. As U.S. health care changes rapidly to improve outcomes, health systems and medical education are evolving to provide physicians with skills to address 21st-century challenges.1–4 With 27,000 physicians graduating each year, medical schools need significant reform to advance physician readiness for practice and leadership in changing health systems to improve today’s individual and population health outcomes.5,6 To address this challenge, an emerging three-pillar framework for undergraduate medical education integrates the biomedical and clinical sciences with health systems science, which includes population health, health care policy, and interprofessional teamwork.7,8 This broader definition of clinical skills resonates with physicians whose work today includes both systems and patient skills (e.g., history taking, physical examination).7,9,10
그러나 오늘날 흔히 볼 수 있는 의대와 보건 시스템 간의 파트너십은, 프리셉터십 모델을 바탕으로, 여전히 보건의료 시스템을 학습의 substrate로 사용할 때 [일대일 임상의-환자 만남]이라는 방식을 고수한다. 이러한 현재의 파트너십은 종종 건강 증진을 위한 의학교육의 잠재력을 활용하지 못하며 임상 생산성과 효율성을 저하시킬 수 있다. 따라서 오늘날의 의료 교육 노력은 건강 결과health outcome에 대한 보다 강력한robust 초점을 포함하도록 진화될 수 있다.
However, the partnerships between medical schools and health systems that are commonplace today, which include preceptorship models, still use health systems as a substrate for learning through one-on-one clinician–patient encounters. These current partnerships frequently do not leverage medical education’s potential for improving health and may decrease clinical productivity and efficiency.11,12 Thus, today’s medical education efforts could evolve to include a more robust focus on health outcomes.
마찬가지로, 보건 시스템 리더들은, [의대생이 환자 관리와 시스템 개선에 가치를 더할 수 있다]라는 새로운 관점을 아직 받아들이지 않고 있다. 의대생들에게 진정한 직장 역할을 제공하는 새로운 파트너십은 의료 교육을 부담에서 인식되지 않는 자산으로 전환하는 동시에 의료 시스템에 가치를 더할 수 있다.
Likewise, health system leaders have yet to embrace the novel perspective of medical students as a value added to patient care and systems improvement. New partnerships that provide authentic workplace roles for medical students could add value to health systems while transitioning medical education from a burden to an unrecognized asset.11–14
맥락 Context
2013년, 펜실베이니아 주립 의과대학(PSCOM)과 캘리포니아 대학교, 샌프란시스코 의과대학(UCSFSOM)은 모든 의대 1학년 학생들(약 150명)을 위한 교실과 직장에서 요구되는 새로운 종방향적이고 진정한 건강 시스템 과학 커리큘럼을 개발하기 위한 대규모 노력을 시작했다. In 2013, the Penn State College of Medicine (PSCOM) and University of California, San Francisco School of Medicine (UCSF SOM) began large-scale efforts to develop novel required longitudinal, authentic health systems science curricula in classrooms and workplaces for all first-year medical students (n ≈ 150).8,15
두 학교 모두 여러 보건 시스템(예: 대학 병원, 안전망 병원, 보훈 의료 센터 및 지역사회 기반 초등 진료소)에 소속된 공립 학교이다. 독립적인 설계, 이질적인 지리, 그리고 시차적 일정에도 불구하고, 두 학교는 유사한 접근법을 적용했고, 단일 기관의 경험을 넘어 내적 타당성을 보여준다. Both are state schools affiliated with multiple health systems (e.g., university hospitals, safety net hospitals, Veterans Affairs medical centers, and community-based primary care clinics). Despite independent design, disparate geography, and staggered timelines, both schools applied similar approaches, lending internal validity beyond single-institution experiences.
새로운 의대-보건 시스템 파트너십을 설계할 때, 우리는 두 가지 모델을 교차하는 방식으로 결합했다.
변화 관리를 위한 Kotter의 8단계 16
컨의 교육과정 개발을 위한 6단계. 17
In designing new medical school–health system partnerships, we combined two models in an intersecting manner:
이 새로운 통합 프레임워크에 매핑된(그림 1) 교육 및 임상 기업 간의 상호 유익한 파트너십을 구축하기 위한 전략을 권장한다. 이러한 8가지 전략(및 해당 원리)을 순차적으로 제시하지만, 두 모델(Kotter 및 Kern)의 단계는 동시에, 반복적으로 또는 번갈아 발생할 수 있다.
Mapped to this new integrated framework (Figure 1), we recommend strategies for building mutually beneficial partnerships between education and clinical enterprises. Although we present these eight strategies (and corresponding principles) sequentially, the steps from the two models (Kotter and Kern) may occur concurrently, iteratively, or in an alternating order.
의과대학과 보건의료 시스템 파트너십을 구축하기 위한 전략 Strategies for Building Medical School–Health System Partnerships
초기 단계: 비전 및 계획 Initial phase: Vision and planning
전략 1: 긴급성(Kotter)을 설정하고 문제(Kern)를 식별합니다. Strategy 1: Establish a sense of urgency (Kotter) and identify the problem (Kern).
생산성 요구와 품질 기대치가 높아짐에 따라, 의료 교육 및 보건 시스템은 상호성과 유사한 목표를 지향할 필요가 있다. 의학교육의 관점에서, 학생들을 위한 적절한 수의 임상 학습 사이트를 유지하기 위해서는 변화가 필요하다. 일부 교실classroom에는 보건 시스템 주제가 존재하지만, 학생의 건강 관리 경험을 살려줄 수 있는 [경험적 학습 기회]가 거의 없다. 학생들이 신체 검사와 환자 의사소통의 기술을 다듬는 데 도움이 되는 [핸즈온 임상 기술 학습 경험]과 마찬가지로, 이제 모든 학생들을 위한 새로운 [시스템 활동]이 필요하다. As productivity demands and quality expectations rise, medical education and health systems need to align toward similar goals with reciprocity. From the medical education perspective, change is necessary to sustain an adequate number of clinical learning sites for students. Although health systems topics exist in some classrooms, there are few to no experiential learning opportunities that can bring a patient’s health care experience to life for students.8,18–22 Akin to hands-on clinical skills learning experiences that help students refine techniques in physical examination and patient communication, novel systems activities for all students are now needed.21,23
교육과정 시간을 [종단적이고 의미 있는 임상 시스템]을 학습하는 역할과 과제(아래 예시)에 배정한다면, 의대생이 건강, 질병 및 전문직 간 진료 전달 시스템에 대한 환자의 경험에 대한 더 넓은 시야를 얻을 수 있게 할 것이다.
예: 환자 네비게이터, 건강 코치, 패널 매니저, 초기 의약품 조정, "방문 후 요약" 초안, 병원 퇴원 후 후속 전화 통화 및 품질 개선 프로젝트의 데이터 수집
Curricular time for longitudinal, meaningful clinical systems learning roles and tasks would allow medical students to gain a broader perspective of patients’ experiences of health, illness, and the interprofessional care delivery system.13,24,25
(e.g., patient navigator, health coach, panel manager, initial round of medication reconciliation, first draft of “after visit” summaries, follow-up phone calls after hospital discharges, and data collection in quality improvement projects)
[제한된 경험적 학습 기회]에는 현재 [선택적인 커뮤니티 서비스]나, (전부가 아니라) 일부 학생들을 위한 [무료 진료소]가 포함되어 있다. Limited experiential learning opportunities currently include optional community service or student-run free clinics for some, but not all, students.26–28
현재 의료 교육자들은 학생들이 오늘날의 환자의 건강을 개선하는 데 도움이 되는 [시스템 역할]을 직장에서 포함시키기 위한 [핵심 임상 기술 커리큘럼]을 요구하고 있다. 또한, 의학교육은 전공의와 전임의 의사들의 인력으로 일하는 동안에도 의사가 [인구 기반의 환자 중심 환경]에서 기능할 수 있도록 "시스템적 준비systems ready"가 되도록 준비할 기회를 제공한다. [레지던트 매치의 수치적 성공에 기초하여 긴급함을 인식하지 못하는 교육자]에게는 의사로서 오늘날의 practice에 필요한 포괄적인 기술을 포함하는 역량 기반 교육 프레임워크를 수용하도록 권장될 수 있다. Medical educators are now calling for core clinical skills curricula to include systems roles in the workplace for students to help improve the health of today’s patients.23,29–33 Additionally, medical education has an opportunity to prepare physicians to be “systems ready” to function in a population-based, patient-centered environment even while serving as a workforce of residents and fellow physicians.6,7,13 Educators who perceive less urgency on the basis of the numeric success of residency matches can be encouraged to embrace a competency-based education framework that encompasses the comprehensive skills required for today’s practice as a physician.
PSCOM과 UCSF SOM의 새로운 교육 담당자들은 [시스템 역할]과 [향상된 파트너십]의 gap을 해결하기 위해, 여러 개의 광범위한 이해 관계자 회의를 열어 의사 시스템 기술을 향상시키기 위한 임상 및 교육 임무의 통합을 촉구했습니다. 양쪽의 학장은 의사가 효과적으로 기능하고 미래 진료 전달 모델을 주도할 수 있도록 준비하기 위한 의학교육의 공유 동기를 기술했다. 임상 리더가 [의료 시스템, 조직 및 재정 개혁]에 초점을 맞추게 되면, [환자 만족도, 의료 품질, 환자 안전 및 진료 접근성을 개선할 준비가 된 여러 영역에서 즉시 기술을 사용하여 효과적으로 작업을 시작할 수 있는 잘 훈련된 미래 의사]로부터 혜택을 누릴 수 있다. 현재의 의료 교육 시스템이 [숙련된 임상의사]를 배출하지만, 정책 및 시스템 리더는 여전히 [의사가 미래의 의료 실습을 위해 필요한 새로운 시스템 기술을 적절하게 준비하지 못하고 있다]고 우려하고 있다. To address the gap in both systems roles and enhanced partnerships, new education deans at the PSCOM and UCSF SOM held multiple broad-based stakeholder meetings to urge integration of the clinical and education missions to advance physicians’ systems skills. Both deans described the shared motivation for medical education to prepare physicians to effectively function and lead in future care delivery models. As clinical leaders focus on health system, organizational, and financing reform, they can appreciate the benefit of well-trained future physicians who can immediately begin working effectively with skills in multiple domains, ready to improve patient satisfaction, quality of care, patient safety, and access to care. Although the current medical education system produces skilled clinicians, policy and system leaders remain concerned that physicians are not being adequately prepared with the new systems skills needed for future medical practice.6,34
요컨대, 긴박감은 [교육education과 돌봄 전달care delivery이 계속 병렬적으로 진행되는 것이, 상호관련된 실체로서 이 둘을 고립시킨다]는 문제 진술에 의해 이미 설명되고 있다. 학문적 사명을 위한 자금 모델의 진화에 비추어, 이제는 지속 가능한 전략이 필요하다. 게다가, 현재의 임상 노동력은 압도되고 있다. 따라서, [상호 이익이 되는 협력 관계]는 오늘날 임상적 목적을 advance시키는 데 의대생들의 창의성을 끌어 들일 수 있다. 그리고 우리는 이것이 의과대학 1학년때부터 실현 가능하다고 생각한다.
In short, the sense of urgency is already described by the problem statement that education and care delivery continuing to progress in parallel isolates these two interrelated entities. Sustainable strategies are needed now, in light of evolving funding models for academic missions. Furthermore, the current clinical workforce is overwhelmed. Thus, a mutually beneficial partnership could engage the creativity of medical students in advancing clinical aims today—a goal that we believe is feasible starting in the first year of medical school.
전략 2: 안내 연합(Kotter)을 만들고 니즈 평가(Kern)를 수행합니다. Strategy 2: Create the guiding coalition (Kotter) and conduct a needs assessment (Kern).
두 번째 전략은 [교육계 리더]와 [보건계 리더] 사이의 초기 관계를 확립하는 것을 포함한다. 이러한 링크는 과거에는 강력하지 않았을 수 있습니다. 이러한 리더는 신뢰성을 제공하고, 추진력을 창출하며, 새로운 비전을 구현하는 데 있어 책임감을 제공하기 위해 새로운 파트너와 중요한 대화를 시작하는 데 도움을 줄 수 있습니다. The second strategy involves establishing initial relationships between education and health system leaders, including community partners new to academic affiliations. These links may not have been robust in the past. These leaders can assist with initiating critical conversations with new partners to offer credibility, create momentum, and provide accountability in implementing a new vision.
[보건 시스템]의 경우, 그러한 리더는 학장, 최고 경영자, 최고 품질 관리자 또는 최고 운영 책임자가 될 수 있으며, [의과 대학]의 경우 교육 학장 또는 교육과정 학장이 될 수 있다. 보건 시스템 리더를 효과적으로 참여시키기 위해 PSCOM 및 UCSFSOM에서 다양한 실무 현장 및 전문 분야로 구성된 자문 위원회가 작성되었습니다. For health systems, such leaders may be the dean, chief executive officer, chief quality officer, or chief operating officer, and for medical schools, they may be the education dean or curriculum dean. To effectively engage health system leaders, an advisory board was created at the PSCOM and UCSF SOM, consisting of members from diverse practice sites and specialties.
이러한 유형의 지도 연합guiding coalition을 통해, 임상 리더는 의료 시스템 내에서 교육 프로그램의 설계에 inform하는 consultation partner가 됩니다. 이 강력한 연합은 긴박감 확립 및 문제 파악(전략 1)에서 시스템의 니즈를 설명하는(전략 2)으로 이동하며, 팀 구성원들이 공유 비전(전략 3)에 대한 목표를 가져오면서 파트너십을 강화합니다.
With this type of guiding coalition, clinical leaders become consultative partners who inform the design of education programs based within health systems. This powerful coalition moves from establishing a sense of urgency and identifying the problem (strategy 1) to describing the systems’ needs (strategy 2), strengthening the partnership as team members bring goals for a shared vision (strategy 3).
전략 3: 공유된 비전 및 전략을 개발하고 학습 목표와 목표를 식별합니다(Kern). Strategy 3: Develop a shared vision and strategy (Kotter) and identify learning goals and objectives (Kern).
보건 시스템과 효과적으로 협력하기 위해 교육 리더는 의료 교육에서 시스템 학습에 대한 비전, 전략 및 목표를 명확히 설명해야 합니다. PSCOM과 UCSFSOM의 시스템 커리큘럼의 비전과 설계는 네 가지 시너지 원칙에 기초했다(표 1). To partner effectively with health systems, education leaders need to articulate vision, strategy, and objectives for systems learning in medical education. The vision and design of systems curricula at the PSCOM and UCSF SOM were based on four synergistic principles (Table 1).15,35
이러한 원칙은 처음에는 문헌 검토, 지역 요구 평가 및 규제 요건에 기초했으며, 지역 및 국가의료 교육 리더와의 논의에서 주제별로 세분화되었다. 일단 비전과 원칙이 수립되면, 구현 전략이 구체화되기 시작할 수 있습니다. PSCOM 및 UCSFSOM의 초기 구현 단계는 현장 방문 및 계획 대화를 시작하기 위한 [모바일 사이트 개발 작업 그룹(의사 교육자, 커리큘럼 조정자 및/또는 프로그램 관리자로 구성)]의 지정이었다. These principles were initially based on a literature review, local needs assessments, and regulatory requirements, and were refined thematically in discussions with local and national medical education leaders. Once a vision and principles have been established, an implementation strategy can begin to take shape. An early implementation step at the PSCOM and UCSF SOM was the designation of a mobile site development work group (consisting of physician educators, curriculum coordinators, and/or program managers) to begin site visits and planning conversations.
이 작업 그룹은 각 임상 현장과의 관계를 설정하고, 교육 비전을 공유하며, 관련 임상 결과를 듣고, 각 현장의 파트너십 준비 상태를 평가합니다. 여러 임상 사이트에서 [구현 계획을 개별화하는 데 따른 복잡성을 예상]하며, [새로운 학습 커뮤니티의 챔피언] 역할을 한다. PSCOM과 UCSF SOM 모두 임상 사이트의 접점point of contact이 될 수 있는 새로운 위치가 생성되었다.
This work group establishes a relationship with each clinical site, shares the education vision, hears relevant clinical outcomes, and assesses each site’s readiness for partnership. It anticipates the complexity of individualizing implementation plans with multiple clinical sites (e.g., Department of Health tuberculosis clinic, family/community medicine patient-centered medical home clinic, surgical weight loss program, Veterans Affairs Medical Center inpatient medicine service, safety net hospital rheumatology clinic, and academic medical center surgery clinic) and serves as a champion for the new learning communities. At both the PSCOM and UCSF SOM, new positions were created to be the point of contact for clinical sites.
이 작업 그룹은 [현장 방문 및 진행 상황에 대한 업데이트를 보고]하고, 교육 리더와의 정기 회의에서 [새로운 시스템 역할 및 파트너십]을 도입하는 장벽을 식별하고, 전략을 브레인스토밍 한다. 그런 다음 교육 리더들은 [학생들을 위한 학습 목표]를 파악하고, 작업 그룹은 이를 사용하여 임상 파트너와 협력하여 학생들을 위한 새로운 시스템 역할을 설계합니다.
The work group reports updates on site visits and progress, and identifies barriers to and brainstorms strategies for new systems roles and partnerships in regular meetings with education leaders. Education leaders then identify learning goals for students, and the group uses these to design new systems roles for students in collaboration with clinical partners.
이러한 방식으로 파트너십은 문제 식별(전략 1)에서 니즈 평가(전략 2)로, 공유된 비전과 전략 개발로, 그리고 목표와 목표(전략 3)로 진전됩니다.
In this manner, the partnership advances from problem identification (strategy 1), to needs assessment (strategy 2), to the development of a shared vision and strategy, as well as goals and objectives (strategy 3).
유지보수 단계: 지속성장 Maintenance phase: Sustaining and growing
전략 4: 조직 및 교육 전략(Kern)과 변화 비전(Kotter)을 소통합니다. Strategy 4: Communicate the change vision (Kotter) with organizational and educational strategies (Kern).
임상 현장과의 초기 회의는 조정, 실현 가능성 및 공유 목표의 이해를 위한 경청하는 데 초점을 맞추어야 한다. 시스템 역할의 학생 개념은 교육자와 임상의 모두에게 새로운 것일 수 있습니다. 한 번의 만남 후에 최종 파트너십 모델이 등장하지는 않는다. PSCOM과 UCSF SOM의 경우, 일련의 회의를 통해 양자가 함께 새로운 모델을 구축할 수 있게 되었다. 여기에는 구현을 위한 세부 사항에는 협업 개발collaborative development이 필요하다는 것을 인정하는 것도 포함되었습니다. 문제가 발생할 때 문제를 해결하기 위해 효과적인 피드백 루프를 지원하는 인프라가 매우 중요했습니다. 바쁜 임상팀에게 교육 업무는 장벽이 될 수 있다. Initial meetings with clinical sites should focus on respectful listening for alignment, feasibility, and understanding of shared goals. The concept of students in systems roles is likely new for both educators and clinicians. A final partnership model is unlikely to emerge after one meeting. In the case of the PSCOM and UCSF SOM, a series of meetings began to allow both parties to build a new model together. This included an acknowledgment that implementation details were awaiting collaborative development. An infrastructure to support effective feedback loops to address issues as they arose was critical. For busy clinical teams, the workload of education could become a barrier.
우리는 이 장벽을 해결하기 위해 이 모델과 전통적인 임상 교훈 모델(표 2) 사이의 차이를 설명할 뿐만 아니라 value added와 learning을 둘 다 반복할 것을 권고한다. 예를 들어, 학생은 장애물을 예측하고, 입원 및 외래 환경에서 환자와 제공자 간의 의사소통을 촉진하며, 안전한 퇴원 시 환자 교육을 강화하기 위해 병원의 전환 프로그램에 통합될 수 있다. 이러한 학생 역할에 대한 모델 구축은, 가장 필요한 환자부터 시작하여, value-added nature를 다른 환자 그룹으로 확대할 수 있다. 초기에는 리소스와 창의성이 필요하지만, 시간이 지남에 따라 수익returns이 증가해야 합니다. We recommend reiterating both the value added and learning, as well as describing differences between this model and the traditional clinical preceptorship model (Table 2), to address this barrier. For example, students can be integrated into a hospital’s transitions program to anticipate barriers, facilitate communication between patients and providers in inpatient and outpatient settings, and reinforce patient education for safe discharges. Model building for these student roles can begin with those patients most in need, followed by broadening the value-added nature to other patient groups. Although resources and creativity are required at initiation, returns should increase with time.
Strategy 5: 광범위한 기반 조치를 강화하고 구현 시 장벽(Kern)을 극복합니다(Kotter) Strategy 5: Empower broad-based action and overcome barriers (Kotter) in implementation (Kern).
PSCOM 및 UCSFSOM에서 [대규모 커리큘럼 개편]을 이루기 위해 [설계 원칙]을 적용하여 임상 사이트와의 종적 협력 기준을 식별하였다(표 3).
한 예에서 의대생은 수술 전 진료소, 가정, 수술실 및 수술 후 환자 설정에 이르기까지 지속적인 관리를 제공합니다. 학생들은 고위험 수술 전에 기능과 영양을 최적화하고 심각한 질병 중에 연결이 끊길 수 있는 의료 환경에 대한 환자의 경험을 개선하기 위해 취약 환자에게 전문 의료 계획을 사용하도록 지도한다.
또 다른 예로, 의대생들은 국가가 운영하는 결핵 클리닉에서 환자와 매칭되어 수개월에 걸친 잠복결핵 치료 동안 adherence barrier을 식별한다. 학생들은 진료소 방문, 정기적인 전화 통화, 정기적인 가정 방문을 통해 환자와 제공자 간의 커뮤니케이션을 촉진하고 환자 경험을 개선하기 위한 전략을 파악한다.
Applying our design principles to create large-scale curricular reform at the PSCOM and UCSF SOM, we identified criteria for longitudinal partnerships with clinical sites (Table 3).
In one example, medical students provide continuity of care from the preoperative clinic, to the home, to the operating room, and to the postoperative inpatient setting. Students coach vulnerable patients to use interprofessional care plans to optimize function and nutrition prior to high-risk surgery and to improve the patients’ experiences of health care settings that would otherwise be disconnected during a serious illness.
In another example, medical students are matched with patients in a state-operated tuberculosis clinic to identify adherence barriers during the months-long treatment for latent tuberculosis. Through clinic visits, regular phone calls, and periodic home visits, students facilitate communication between patients and providers and identify strategies to improve the patient experience.
시스템 역할의 효과적인 구현을 위해 몇 가지 잠재적 장벽을 해결해야 한다. For effective implementation of systems roles, several potential barriers should be addressed.
첫째, 학생 역할이 의미 있는 기여를 하기 위해서는 종방향 노출이 필요하다.36 PSCOM 및 UCSF SOM에서, 전임상실습 의과대학생에게는, [systems workplace learning]을 위한 전용 커리큘럼 시간이 한 달에 2번~4번의 반일half-days가 있다. 교육과정에 공간을 마련하기 위해서는, 공유된 비전을 검토하고, 기존의 중복성 또는 시대에 뒤떨어진 콘텐츠를 제거할 기회를 식별하기 위해 모든 교육 이해당사자와의 공개 대화가 필요했다.
First, longitudinal exposure is necessary for student roles to result in meaningful contributions.36 At the PSCOM and UCSF SOM, dedicated curricular time for systems workplace learning ranges from two to four half-days per month for preclerkship medical students. Creating space in the curriculum required an open dialogue with all education stakeholders to review the shared vision and identify opportunities to remove existing redundancy or outdated content.
둘째, 학생 활동을 조정하려면 각 임상 현장에서 챔피언이 필요합니다. 리더들이 소개를 할 수도 있지만, 일선 의료진이 매일 학생들을 지도한다. [현장의 챔피언site champion]은 학생 활동에 대한 주인의식을 가지고 있다. 치료 코디네이터, 환자 탐색기 또는 간호사가 될 수 있으며, 의사가 챔피언이 될 수 있지만 반드시 그럴 필요는 없다. 챔피언은 학생들이 교육 목표를 달성하고 의료 시스템 목표에 기여하는 동시에 직원과 환자의 만족도를 유지하도록 돕는다.
Second, coordinating student activities requires a champion at each clinical site. Although leaders may make the introductions, frontline clinical staff guide students daily. A site champion has a sense of ownership for student activities. This can be a care coordinator, patient navigator, or nurse practitioner; the champion can, but need not be, a physician. The champion helps students achieve educational objectives and contribute to health system goals, while maintaining staff and patient satisfaction.
마지막으로, [의대생 전체 학급]에 대해 [다양한 특성을 가진 여러 임상 사이트를 사용하는 것]은 variability을 가져온다. PSCOM과 UCSF SOM의 대규모 네트워크에는 단일 목표(예: 높은 활용도) 또는 환자 인구(예: 유방암 생존자)가 아닌 광범위한 임상 초점 영역이 있는 사이트가 포함된다. 이는 [서로 다른 현장의 수많은 시스템 활동]이 [동일한 학습 목표]에 매핑될 수 있음을 의미한다.
Finally, using multiple clinical sites with a diversity of characteristics for a whole class of medical students brings variability. The large-scale networks of the PSCOM and UCSF SOM include sites with broad clinical focus areas rather than a system with a single goal (e.g., high utilization) or patient population (e.g., breast cancer survivors). This means that a number of systems activities at different sites can map to a single learning objective;
예를 들어, [가정의학 클리닉]은 [수술 체중 감소 클리닉]과 다르지만, 둘 다 학생들이 환자 경험과 질병 결과를 측정하고 개선하기 위해 전문 의료 팀에 포함될 기회를 포함한다. 이러한 포괄적인 접근 방식은 authentic work를 통해 학생 교육을 촉진할 수 있는 다수의, 다양한 사이트를 가능하게 한다. 의료 제공 시스템이 만성 치료와 높은 활용도에 계속 최적화됨에 따라, 기존의 의과대학-보건 시스템 제휴는 혁신적인 치료 모델 내에서 새로운 교육 기회를 공동 창출할 준비가 될 것이다.
for example, a surgical weight loss clinic is different from a family medicine clinic, but both include opportunities for students to be embedded within interprofessional care teams to measure and improve patient experience and disease outcomes. Such an inclusive approach allows for a number and variety of sites that can all facilitate student education through authentic work. As care delivery systems continue to be optimized for chronic care and high utilization, existing medical school–health system partnerships would stand ready to co-create new educational opportunities within innovative care models.
전략 6: 구현(Kern)에서 단기 성공(Kotter)을 창출합니다. Strategy 6: Generate short-term wins (Kotter) in implementation (Kern).
[초기 성공]에 대한 이야기는 교육 및 보건 시스템 리더가 혁신에 대한 자신감을 얻는 데 도움이 됩니다. 성공적인 파일럿 프로그램에 대한 이야기를 퍼뜨리는 습관은 그 노력을 진전시키고 성취를 축하한다. 임상 사이트 네트워크 활동의 챔피언으로서 태스크포스, 포인트 퍼스널, 또는 관리 인프라가 성공을 위해 중요하다. 또한, 교육기업의 모든 대표들은 의대생들의 구체적인 성공 스토리가 변화를 가져올 수 있도록 도와야 한다. 예를 들어, UCSF SOM 학생들은 전자 건강 기록에 통합된 지속 가능한 프로세스를 설계하는 데 도움을 주어 한 클리닉에서 골절 위험이 높은 환자에 대한 골다공증 검사율을 개선하였다. 학교의 웹사이트와 회의 중에 그러한 성공 사례를 공유하는 것은 다른 사이트들이 학생들을 치료 개선에 참여시키는 기회를 브레인스토밍하는 데 도움이 되었다. Stories of early successes help both education and health systems leaders gain confidence about innovations. A habit of disseminating stories about successful pilots advances the effort and celebrates accomplishments. A task force, point person, or administrative infrastructure as the champion for clinical site network activities is critical for success. In addition, all representatives of the education enterprise should be facile with concrete success stories of medical students making a difference. For example, at the UCSF SOM students helped design a sustainable process integrated into the electronic health record that led to improved osteoporosis screening rates for patients at high risk of fractures at one clinic. Sharing such success stories on the school’s Web site and during meetings helped other sites brainstorm opportunities for engaging students in improving care.
전략 7: 평가 및 피드백(Kern)을 시작하는 동안 이익(Kotter)을 공고하게consolidate 합니다. Strategy 7: Consolidate gains (Kotter) while beginning evaluation and feedback (Kern).
의과대학과 보건시스템 간의 제휴는 "단거리 달리기"보다는 "마라톤" 관계를 구축해야 한다. 이 프로세스에는 집단 비전을 구축하고, 아이디어를 창출하고, 문제를 해결하며, 목표를 공유하고, 구현 모델을 식별하기 위한 여러 가지 대화가 포함됩니다. 장기적인 파트너십을 개발하려면 정기적인 직접 미팅과 후속 전화 통화 일정을 수립해야 합니다.
Partnerships between medical schools and health systems require relationship-building “marathons” rather than “sprints.” The process involves multiple conversations to build a collective vision, generate ideas, solve problems, share goals, and identify an implementation model. Developing long-term partnerships involves scheduling periodic in-person meetings and follow-up phone calls.
PSCOM 및 UCSF SOM은, [시간이 지남에 따라 각 임상 사이트에서 발생할 수 있는 예상치 못한 문제를 해결]하기 위해 향후 몇 년 동안 의도적인 성능 개선 주기를 계획하고 있습니다. 직원은 프로그램적 목표를 상기시켜야 할 수 있으며, 학생 시스템 역할은 재협상이 필요할 수 있다. 또한 예상치 못한 직원 이직도 거의 예고 없이 발생할 수 있습니다. 우리의 사이트 기반 구현 팀은 이러한 예상치 못한 변화에 즉각적으로 대응할 수 있도록 학생과 사이트를 적시 지원할 준비가 되어 있습니다. 특정 파트너십이 비효율적인 경우 백업 임상 사이트가 필요할 수 있습니다. 요컨대, 새로운 파트너십에는 과제가 포함되므로 지속적인 개선을 위한 프로세스가 필요합니다.
The PSCOM and UCSF SOM are planning intentional performance improvement cycles in the coming years to address unanticipated issues at each clinical site over time. Staff may need reminders of programmatic goals, and student systems roles may need to be renegotiated. Additionally, unexpected personnel turnover can occur with little notice. Our site-based implementation teams are ready for just-in-time support of students and sites for immediate response to such unanticipated changes. If particular partnerships prove ineffective, backup clinical sites may be necessary. In short, a new partnership will include challenges, and so requires a process for continuous improvement.
전략 8: 평가 및 피드백(Kern)을 계속하면서 문화(Kotter)에 새로운 접근 방식을 정착시킵니다. Strategy 8: Anchor new approaches in the culture (Kotter) while continuing evaluation and feedback (Kern).
PSCOM과 UCSF SOM, 그리고 점점 더 전국적으로 증가하고 있는 작업 조직에서는 보건 시스템 과학을 교육과 임상 임무의 우선순위 영역으로 확립하는 데 도움을 주고 있다. 우리의 접근 방식은 의학 교육의 떠오르는 "제3의 과학"이라고 일컬어진 것을 통합하기 위한 실용적인 접근 방식입니다.
의학교육의 '제3 과학'은 - 기본 및 임상 과학을 보완하고, (전문가 간 팀워크, 인구 건강, 환자 안전 및 품질 향상의 기초가 되는 증거를 포함하여) 다양한 시스템 관련 주제에 대한 과정 연구 및 적용을 포함합니다.
At both the PSCOM and UCSF SOM, and increasingly across the country, a mounting body of work is helping to establish health systems science as a priority area in the education and clinical missions.7 Our approach is a practical one for integrating what some have referred to as an emerging “third science” of medical education—
which complements the basic and clinical sciences and includes course work and application of various systems-related topics, including the evidence underlying interprofessional teamwork, population health, patient safety, and quality improvement.10
더욱이, [professional-in-training으로서 (시스템에) 기여하는 학생]은 결국 보건 시스템의 환영받는 표준이 될 수 있다. 첫날부터 그들은 오늘날의 의사들의 작업을 시뮬레이션하면서 생물 의학, 임상 및 시스템 주제에 대한 통합된 3가지를 배울 수 있기 때문이다. Furthermore, with this work, students contributing as professionals-in-training may eventually become a welcome norm for health systems, as from day one, they would learn an integrated triad of biomedical, clinical, and systems topics, simulating the work of physicians today.
학술 기관에 있어 의과대학의 질은 보건 시스템의 성공에 영향을 미치며, 그 반대의 경우도 마찬가지이다. 학생들을 위한 부가가치 임상 시스템 역할은 의료 교육이 건강 시스템의 발전을 도울 수 있도록 하여 장기적인 성공에 시너지를 창출한다.
For academic institutions, the quality of the medical school has implications for the success of the health system, and vice versa. Value-added clinical systems roles for students allow medical education to help advance the health system, creating synergy for long-term success.
결론 Conclusion
의학교육 및 보건 시스템은 전통적으로 사일로에서 운영되어 왔습니다. 의학교육은 지식과 견습성을 강조하는 반면, 임상 시스템은 효율성과 품질을 우선시한다. 이러한 두 가지 서로 다른 정신 모델은 효과적인 협업을 구축하기 위해 변형될 수 있다. 의료 전달과 의학교육이 개혁을 거친다면, 의대생들은 보건 시스템을 배우고 기여할 수 있다. Medical education and health systems have traditionally operated in silos. Clinical systems prioritize efficiency and quality, while medical education emphasizes knowledge and apprenticeships. These different mental models can be transformed to build effective collaborations. As care delivery and medical education undergo reform, medical students can learn and contribute to health systems.
Acad Med. 2017 May;92(5):602-607.
doi: 10.1097/ACM.0000000000001346.
Value-Added Clinical Systems Learning Roles for Medical Students That Transform Education and Health: A Guide for Building Partnerships Between Medical Schools and Health Systems
1J.D. Gonzalo is assistant professor of medicine and public health sciences and associate dean for health systems education, Penn State College of Medicine, Hershey, Pennsylvania. C. Lucey is professor of medicine and vice dean for education, University of California, San Francisco School of Medicine, San Francisco, California. T. Wolpaw is professor of medicine and vice dean for educational affairs, Penn State College of Medicine, Hershey, Pennsylvania. A. Chang is professor of medicine and Gold-headed Cane Endowed Education Chair in Internal Medicine, University of California, San Francisco School of Medicine, San Francisco, California.
To ensure physician readiness for practice and leadership in changing health systems, an emerging three-pillar framework for undergraduate medical education integrates the biomedical and clinical sciences with health systems science, which includes population health, health care policy, and interprofessional teamwork. However, the partnerships between medical schools and health systems that are commonplace today use health systems as a substrate for learning. Educators need to transform the relationship between medical schools and health systems. One opportunity is the design of authentic workplace roles for medical students to add relevance to medical education and patient care. Based on the experiences at two U.S. medical schools, the authors describe principles and strategies for meaningful medical school-health system partnerships to engage students in value-added clinical systems learning roles. In 2013, the schools began large-scale efforts to develop novel required longitudinal, authentic health systems science curricula in classrooms and workplaces for all first-year students. In designing the new medical school-health system partnerships, the authors combined two models in an intersecting manner-Kotter's change management and Kern's curriculum development steps. Mapped to this framework, they recommend strategies for building mutually beneficial medical school-health system partnerships, including developing a shared vision and strategy and identifying learning goals and objectives; empowering broad-based action and overcoming barriers in implementation; and generating short-term wins in implementation. Applying this framework can lead to value-added clinical systems learning roles for students, meaningful medical school-health system partnerships, and a generation of future physicians prepared to lead health systems change.
퀄리티 아카데미의 교사들: 교수들이 보건시스템과학을 가르칠 수 있도록 준비하기 위한 학습공동체 접근(Acad Med, 2016)
The Teachers of Quality Academy: A Learning Community Approach to Preparing Faculty to Teach Health Systems Science Elizabeth G. Baxley, MD, Luan Lawson, MD, Herbert G. Garrison, MD, MPH, Danielle Walsh, MD, Suzanne Lazorick, MD, MPH, Donna Lake, RN, BSN, MEd, PhD, and Jason Higginson, MD
문제 Problem
오늘날 의학에서 가장 큰 어려움 중 하나는, 환자 안전과 품질을 개선하고, 의료 전문가와 의료 전문가들이 봉사하는 환자 및 지역사회 간의 협력적 파트너십을 강조하기 위해 [전달 시스템을 혁신하는 것]이다. 의료 교육자의 경우, 미래의 의사가 트리플 에이밍 목표(인구 건강 및 환자의 진료 경험 향상과 1인당 비용 절감)를 충족할 수 있도록 준비하는 것이 가장 중요하다. 그러나 주요 보고서는 시스템 기반 실습, 커뮤니케이션 및 팀워크 기술에서 의사들 사이에 이러한 목표를 달성하기 위해 필요한 결함이 있음을 확인했다.1 따라서 의학교육에는 환자 안전, 품질 개선(QI), 전문성, 인구 보건과 관련된 보건 시스템 과학(HSS) 역량 달성이 포함되어야 한다.2 One of the greatest challenges in medicine today is transforming the delivery system to improve patient safety and quality and to emphasize collaborative partnerships among health professionals and the patients and communities they serve. For medical educators, a major priority is preparing future physicians to meet Triple Aim goals (improving population health and patients’ experience of care while reducing per capita costs). However, key reports have identified deficiencies among physicians in systems-based practice, communication, and teamwork skills, all of which are needed to meet these goals.1 It is, therefore, vital that medical education include attainment of health systems science (HSS) competencies related to patient safety, quality improvement (QI), interprofessionalism, and population health.2
보건직업 커리큘럼에 HSS를 통합하려는 노력이 늘고 있지만 변화 속도는 더디다. 졸업생들이 증거 기반 진료를 준비하고 QI 프로세스를 구현하며 안전상의 오류와 격차를 인식하고 이에 대응하기 위해 체계적인 커리큘럼을 변경한 의과대학은 거의 없다. 이를 해결하기 위한 핵심 과제는, [교수들이 새로운 전달 시스템을 준비하는 데 필요한 지식과 기술을 갖추지 못했기 때문에], 최적의 치료 환경을 조성하는 방법을 이해하고 실천하며 가르칠 수 있는 교수진을 식별하는 것이다. 4,5 또한 오늘날의 임상 교수진은 (빠르게 변화하는 환경에서 진료도 하면서), HSS를 배우면서 동시에 가르쳐야 하는 어려움을 겪고 있다. Although efforts to integrate HSS into health professions curricula are increasing, the rate of change has been slow. Few medical schools have instituted systematic curricular changes to prepare their graduates to provide evidence-based care, implement QI processes, and recognize and respond to errors and gaps in safety.3 A key challenge to addressing this is identifying faculty who understand, practice, and can teach students how to create optimal care environments, as most are not equipped with the knowledge and skills necessary to prepare for the emerging delivery system.4,5 Additionally, today’s clinical faculty are challenged with teaching HSS at the same time as they are learning it themselves, while simultaneously delivering care in a rapidly changing environment.6
조직 목표와 일치하는 [경험적 학습]은 임상 수준에서 품질과 안전의 개선을 달성하는 동시에 교육생의 교육과 역량을 향상시킬 수 있습니다.5 그러나...
의과대학은 종종 이러한 기술에 대한 교수진을 개발할 자원과 인프라가 부족하며, 시간에 대한 competing demands는 교수들로 하여금 종합적인 HSS 훈련을 받기가 어렵게 만든다.
기존의 많은 훈련 프로그램들은 여행travel을 요구하고 일상 업무에서 시간을 빼앗는다.
또한, 교육 과정 참가자는 각기 다른 기관에서 오기 때문에, 이는 임상 제공 환경의 맥락에서 이러한 기술을 배울 기회를 제한합니다.
[품질 및 안전 교육자 아카데미]와 "혁신" 또는 "가치" 기관과 같은, 교육 기관 내 이니셔티브의 일부 사례가 보고되었지만, 이는 널리 확산되지 않았다.7,8
마지막으로, 교직원을 위한 HSS 훈련 프로그램의 효과적인 계획 및 구현은 [강력한 평가 전략의 부족]에 의해 제한된다.9
Experiential learning that is aligned with organizational goals can help achieve improvements in quality and safety at the clinical level while also improving the education and competency of trainees.5Yet,
schools often lack the resources and infrastructure to develop faculty in these skills, and competing demands on time make it difficult for faculty to undertake comprehensive HSS training.
Many existing training programs require travel and take time away from daily work.
Additionally, course attendees come from different institutions, which limits their opportunity to learn these skills in the context of their clinical delivery environment.
Some examples of intrainstitutional initiatives have been reported, such as the Quality and Safety Educators Academy and “innovation” or “value” institutes, but these are not widespread.7,8
Finally, effective planning and implementation of HSS training programs for faculty is limited by a paucity of robust evaluation strategies.9
접근법 Approach
이스트 캐롤라이나 대학의 브로디 의과대학(ECU)은 변화하는 의료 전달 시스템에서 일하는 의대 학생들을 더 잘 준비시키기 위해 미국 의학 협회(AMA)로부터 5년 상을 받았다. 이 상을 사용하여, 우리는 의료의 변화를 가속화하기 위한 재설계 교육을 위한 REACH라는 이름의 이니셔티브를 개발했습니다. 이 이니셔티브의 목표는 모든 의대생을 대상으로 통합된 종방향 HSS 커리큘럼을 구현하는 것이었다. REACH 프로젝트 팀에는 다양한 전문 분야의 임상 교육자 6명, 간호사 교수진 1명, 프로그램 관리자 1명이 포함되었다. The Brody School of Medicine at East Carolina University (ECU) received a five-year award from the American Medical Association (AMA) to better prepare medical students for working in a changing health care delivery system. Using this award, we developed an initiative entitled REACH, for Redesigning Education to Accelerate Change in Health Care. The goal of this initiative was to implement an integrated, longitudinal HSS curriculum for all medical students. The REACH project team, responsible for the design and implementation of all components of the initiative, included six clinical educators from various specialties, one nurse faculty member, and one program manager.
우리는 [HSS 역량에 대한 전문지식을 갖춘 교수진]을 새로운 커리큘럼의 구현에 필요한 전제조건으로 간주했다. 그래서 2014년 1월, 우리는
HSS 역량을 준비하는 데 필요한 교육학 및 교육과정 설계에 능숙해지면서
일선 임상 변혁을 선도할 교수진을 준비한다
...는 이중의 목표를 가지고 TQA를 설립했다.
We deemed having a critical mass of faculty with expertise in HSS competencies as a necessary prerequisite to the implementation of the new curriculum. So in January 2014, we established the TQA with the dual goal of
preparing faculty to lead frontline clinical transformation while
becoming proficient in the pedagogy and curriculum design necessary to prepare students in HSS competencies.
다른 학교에서 발견되는 다양한 의학 교육자 아카데미 모델과 유사하게, TQA의 목표는 교육자로서 교직원을 지원하고, 교육적 우수성을 육성하고, 커리큘럼 혁신을 가속화하고, 교육적 장학금을 확대하는 것을 포함했다. Similar to various Academy of Medical Educators models found at other schools, the objectives of the TQA included supporting faculty as educators, fostering teaching excellence, accelerating curricular innovations, and expanding educational scholarship.10
TQA는 다음과 같은 점에서 독특했다
[의학 교육]과 [보건 시스템] 간의 연계,
공통 HSS 커리큘럼 개발을 위한 참가자의 집단 참여,
교수진들이 practice and teach하는 임상 환경의 맥락에서 부서와 기관 간에 아이디어를 교환할 수 있는 포럼의 제공
Unique to the TQA were
the linkage between medical education and the health system,
participants’ collective participation in the development of a common HSS curriculum, and
provision of a forum for faculty to exchange ideas across departmental and institutional lines all within the context of the clinical environment in which they practice and teach.
또한, 보건전문직학생들이 train받을 때 종종 겪는 [사일로 효과를 완화하기 위해], 우리는 다른 건강 전문 학교의 교직원을 TQA로 모집하여 전문적 학습 커뮤니티를 설립했다.
Additionally, to mitigate the silo effect in which health professions students are often trained, we recruited faculty from other health professions schools to the TQA to establish an interprofessional learning community.
2014년 3월부터 11월까지 여섯 개의 이틀짜리 세션이 이어졌고, HSS의 주요 주제(그림 1)를 다루었다. TQA 훈련 설계에서는 온라인, 교육적, 소규모 그룹 및 경험적 학습을 QI 프로젝트의 완료와 결합하여 학습 세션의 개념을 일상 작업의 컨텍스트로 연결하였다.
A lead-in period from January to mid-March 2014 allowed participants to independently complete the Institute for Healthcare Improvement Open School Basic Certificate in Quality and Safety to ensure a shared foundational knowledge framework. Six 2-day learning sessions followed (from March to November 2014), covering key HSS topics (Figure 1). The TQA training design used a mix of online, didactic, small-group, and experiential learning coupled with the completion of a QI project to hardwire the concepts from the learning sessions into the context of daily work.
TQA 참가자들은 REACH 프로젝트 팀원들의 조언을 받아 소규모 그룹으로 활동하여 세션 간 QI 프로젝트에 대한 동료 피드백과 지원을 제공하였다. QI 활동 및 HSS 커리큘럼 개발과 관련된 학술 제품은 QI 프로젝트의 검토 기준을 개발하는 ECU 기관 검토 위원회와의 파트너십을 통해 장려되고 촉진되었다. 대부분의 TQA 참가자들은 2015년 1월 21일 QI 심포지엄에서 공식적으로 자신의 연구 결과를 발표했다. TQA participants worked in small groups, mentored by REACH project team members, to provide peer feedback and support for QI projects between sessions. Scholarly products related to both QI activities and HSS curriculum development were encouraged and facilitated by a partnership with the ECU’s institutional review board through which criteria for the review of QI projects were developed. Most TQA participants formally presented their work at a campus-wide QI symposium on January 21, 2015.
ECU의 교육대학은 REACH와 제휴하여 커리큘럼을 설계하고 전달을 위한 새로운 교육학적 방법을 창조하는 기술 개발을 제공하는 의학 교육학 Credentials를 만들었다. 2014년 6월부터 2015년 5월까지 3개의 온라인 대학원 과정에서는 교육 리더십, 커리큘럼 개발 및 교육 효과 평가 분야에서 교수진의 역량을 강화하였다(그림 1). 이러한 과정에서의 학습은 참여 동료 및 과정 리더의 input을 받아 새로운 커리큘럼 제품을 개발함으로써 시행되었다. 모든 TQA 참여자는 새롭게 시행된 ECU 의학교육의 날(2015년 4월 22일)에 HSS와 관련된 커리큘럼 혁신을 완료하였다. ECU’s College of Education partnered with REACH to create a Credential in Medical Education that provided skill development for designing a curriculum and creating new pedagogical methods for delivery. Three distinct online graduate courses (from June 2014 to May 2015) promoted faculty skills in educational leadership, curriculum development, and assessment of educational effectiveness (Figure 1). Learning in these courses was enforced through the development of new curricular products with input from participating peers and course leaders. All TQA participants completed a curricular innovation related to HSS for presentation at the newly implemented ECU Medical Education Day (April 22, 2015).
TQA의 총 예산은 500,187달러였으며, 41만 4,044달러의 자금 지원 교수 출시 시간, 57,000달러의 REACH 프로젝트 팀 계획 및 멘토링 노력을 지원했으며, 자료, 명예 및 기타 물류 요구에 대한 비용 29,143달러였다. 의과대학에서 제공한 자금은 교수 방출 시간을 지원했고, REACH 프로젝트 팀원의 TQA 비용과 방출 시간은 AMA 보조금 기금을 통해 지원되었다. The total budget for the TQA was $500,187, with $414,044 funding faculty release time, $57,000 supporting REACH project team planning and mentoring efforts, and $29,143 covering materials, honoraria, and other logistical needs. Funds provided by the medical school supported faculty release time, while TQA expenses and release time for REACH project team members were supported through AMA grant funds.
프로그램 평가에는 다음이 포함됩니다.
QI 이니셔티브에 대한 진행 중인 작업, 교육 모듈의 커리큘럼 통합, TQA 완료 후 1년 동안 및 1년 동안 학술성과물의 추적
QI, 환자 안전, 전문직 간 관행 및 교육에 대한 참가자의 지식, 태도 및 행동을 평가하는 1년 간격의 사전-사후 교육 조사.
Program evaluation includes
tracking ongoing work on QI initiatives, the incorporation of educational modules into the curriculum, and the production of scholarly products during and one year after completing the TQA, as well as
immediate and one-year pre- and posttraining surveys assessing participants’ knowledge, attitudes, and behaviors in QI, patient safety, and interprofessional practice and education.
성과 Outcomes
의도한 성과와 영향 Intended outcomes and impact
초기 학습 세션 이후 TQA에 전념한 교수진 31명; 경쟁적인 시간 요구로 인해 4명의 교수진(13%)이 감소하면서 4개의 건강 과학 프로그램에서 27명의 TQA 참가자가 프로그램을 완료했다. TQA 참가자의 인구통계학적 특성은 표 1에 제시되어 있다. 참여자 26명(96%)이 [품질 및 안전에 관한 열린학교 기본자격증]을 이수하고, 6개 학습 세션에 모두 참여하였다. 모든 참여자는 QI 프로젝트를 완료하여 지역 의료 시스템과 지역사회에서 돌봄 전달의 일부 측면을 개선하는 20가지 이니셔티브에 기여하였다(목록 1).
Thirty-one faculty committed to the TQA after the initial learning session; the subsequent attrition of 4 (13%) faculty members due to competing time demands resulted in 27 (87%) TQA participants from four health science programs completing the program. Demographic characteristics of the TQA participants are shown inTable 1. Twenty-six (96%) participants completed the Institute for Healthcare Improvement Open School Basic Certificate in Quality and Safety and participated in all six learning sessions. All participants completed their QI projects, contributing to 20 different initiatives that improved some aspect of care delivery in the local health care system and community (List 1).
이 모든 QI 프로젝트는 [성과 향상 지속 의학교육]을 위한 자격을 얻었으며, 각각은 CME에 20 크레딧 시간을 벌었다. 모든 참가자들은 세 개의 대학원 과정에 등록하고 종방향 HSS 커리큘럼에 포함할 커리큘럼 구성요소를 제출하였다. 8명(30%)은 공식 교육(2015년 5월)이 끝날 때까지 의료 교육 자격 증명을 이수했으며, 다른 이들은 계속 이러한 요건을 이수하고 있다. 26명(96%)은 캠퍼스 전역의 QI 심포지엄에서 QI 프로젝트를 발표했고, 25명(93%)은 ECU 창립 의료교육의 날에 커리큘럼 기여를 제시했다.
All of these QI projects qualified for Performance Improvement Continuing Medical Education, each earning 20 credit hours of continuing medical education. All participants enrolled in the three graduate courses and submitted curriculum com ponents to include in the longitudinal HSS curriculum. Eight (30%) completed the Credential in Medical Education by the end of the formal training (May 2015), while others continue to complete these requirements. Twenty-six (96%) presented their QI project at the campus-wide QI symposium, and 25 (93%) presented their curricular contributions at ECU’s inaugural Medical Education Day.
목록 1 List 1
2014년 3월 ~ 2015년 5월, 이스트캐롤라이나 대학교 Brody School of Medicine 참가자들의 QI(품질 향상) 이니셔티브 및 의료 교육 제품 Quality Improvement (QI) Initiatives and Medical Education Products of Teachers of Quality Academy (TQA) Participants, Brody School of Medicine at East Carolina University, March 2014–May 2015
TQA 참가자 QI 이니셔티브환자 집중
진료전환 관리 개선을 통한 가정의학 실습에서 노인 환자 재전송 감소
교육을 통한 저혈당 및 위해 감소 및 내과 진료 시 주문 세트 사용 증가
학술적 정신의학 실습에서 자살 위험이 있는 환자에 대한 치료 전환 개선
약물 투여 지연을 줄이기 위해 마취 후 치료실에서 소아 중환자실로 인계 절차 개선
소아병동 거주자의 안전지능 보고 시스템 활용도 증대
다원적 입원 환자 라운드에서 임상 윤리 관점 통합 개선
TQA Participant QI InitiativesInpatient Focused
Reducing readmissions among geriatric patients in an academic family medicine practice through improved management of transitions of care
Reducing hypoglycemia and harm through education and increased use of order sets on an internal medicine inpatient service
Improving transitions of care for patients at risk for suicide in an academic psychiatry practice
Improving handover procedures from postanesthesia care unit to pediatric intensive care unit to reduce delays in medication administration
Increasing utilization of the safety intelligence reporting system by residents on a pediatric ward service
Improving integration of a clinical ethics perspective in multidisciplinary inpatient rounds
급성 질환 관리 집중
12세 미만 아동의 급성 맹장염 방사선순서 프로세스 개선
지역 병원 응급 부서에서 탑승하는 정신과 환자 간의 적절한 의약품 조정 증가
거주자 간의 수술 이력 및 신체 기록 개선
췌장 절제술 환자의 수술 후 회복의향상 구현
환자 동의 수술 멸균의 신뢰성 향상으로 의료기관 서비스에 관개 보호
입원 재활치료실 수면 무호흡증 검사 강화
아동 응급실 체류기간 단축을 위한 간호의정서 활용
Acute Care Focused
Improving the radiographic ordering process for acute appendicitis in children under 12 years of age
Increasing appropriate medication reconciliation among boarding psychiatric patients in a regional hospital emergency department
Improving surgical history and physical documentation among residents
Implementing an enhanced recovery after surgery protocol among patients with pancreatic resection
Improving reliability of patient-consented surgical sterilization resulting in tubal ligation on an academic obstetrical service
Enhancing screening for obstructive sleep apnea on an inpatient rehabilitation unit
Utilizing nursing protocol orders to decrease length of stay in a children’s emergency department
앰뷸런스 연습 집중
세 가지 임상 실습 현장(가족의학, 내분비학, 아동 정신의학)에서 노쇼율 감소 - 세 가지 구별되지만 관련성이 있는 프로젝트 및 팀이었다.
유방암 방사선 치료를 위한 선량 목표 표준화
ECU 소아 외래 환자 센터의 스페인어권 환자에 대한 차별 감소 및 관리 개선
영유아 및 산후 평가를 위한 가정방문 추천 강화
감염성 심내막염 의심 평가 시 심초음파 심초음파 부적절한 사용
Ambulatory Practice Focused
Reducing no-show rates at three clinical practice sites (family medicine, endocrinology, and child psychiatry—these were three distinct, but related, projects and teams)
Standardizing dose objectives for radiotherapy in breast cancer
Reducing discrimination and improving care for Spanish-speaking patients in the ECU Pediatric Outpatient Center
Enhancing home visit referrals for infant and postpartum assessment
Reducing inappropriate use of transesophageal echocardiography in evaluation of suspected infective endocarditis
TQA 참여 의료 교육 제품 문제 기반 학습/팀 기반 학습 사례
의료 오류 인식 및 인식
입원 인슐린 투약의 QI/환자 안전
암 관리: 의료 오류, 전문 교육 및 증거 기반 의학
빈곤, 특권, 전문성
ECU 간호대학 학생들과의 팀 기반 관리
TQA Participant Medical Education ProductsProblem-Based Learning/Team-Based Learning Cases
Recognizing and acknowledging medical error
QI/patient safety of inpatient insulin dosing
Cancer care: medical error, interprofessional education, and evidence-based medicine
Poverty, privilege, and professionalism
Team-based care with ECU College of Nursing students
교육 모듈
팀 STEPS 훈련 및 QI 올림픽
환자안전에 대한 점원직위반 교육법 위반
시스템을 통한 환자 흐름 시뮬레이션 모델링
안전한 처방 관행 및 의약품 조정
고부가 가치, 비용 절감형 관리 구축
Educational Modules
TeamSTEPPS training and QI Olympics
Flipping the clerkship didactic on patient safety
Simulation modeling of patient flow through system
Safe prescribing practices and medicine reconciliation
Creating high-value, cost-conscious care
연습/시뮬레이션
진료 시뮬레이션 전환 개선
수술 사무원의 안전성 향상: 시스템의 접근 방식
오류 분석과 QI를 가르치기 위한 시뮬레이션된 근본 원인 분석
보건 및 지역사회 자원 실천의 사회적 결정 요인
PCMHs에서의 핫스팟팅 연습, 전문가 간 교육 및 인구 건강 측면 지원
Exercises/Simulations
Improving transitions of care simulation
Improving safety in the surgery clerkship: a system’s approach
Simulated root cause analysis to teach error analysis and QI
Social determinants of health and community resources exercise
Hotspotting exercise in PCMHs, with interprofessional education and population health aspects
Abbreviations: ECU indicates East Carolina University; TeamSTEPPS, Team Strategies and Tools to Enhance Performance and Patient Safety; PCMH, patient-centered medical home.
11명(41%)의 참가자가 9차례의 전국 컨퍼런스에 참석했으며, 7명(26%)은 TQA 학습 세션 중 두 차례에서 교수로 활동했다. 19명(70%)은 TQA 참가자들이 기여하는 교육 모듈의 통합 및 평가를 포함하여 HSS에서 의대생 교육과정의 설계 및 전달에 공식적으로 참여하고 있다. Eleven (41%) participants presented their work at nine national meetings, and seven (26%) served as faculty in two of the TQA learning sessions. Nineteen (70%) have been formally engaged in the design and delivery of the medical student curriculum in HSS, including the integration and evaluation of educational modules contributed by TQA participants.
예상치 못한 결과 및 영향 Unanticipated outcomes and impact
TQA의 몇 가지 결과는 우리의 초기 목표를 초과했다. 교육 초기에는 많은 TQA 참가자들이 의대생 교육과정을 넘어 HSS의 교육 이니셔티브 개발에 새로운 지식과 기술을 적용하기 시작했다. 이러한 영향은 전공의 핸드오프 교육을 위한 새로운 모듈, 질병 및 사망률 컨퍼런스에 대한 시스템 분석 통합, 전공의에 의한 환자 안전 보고 시스템의 강화된 사용, 거주자와 간호 및 공중 보건 학생을 위한 QI 선택 사항의 개발에서 입증되었다(목록 1). 6명(22%)의 참가자가 AMA의 의료 교육 이니셔티브의 신속한 변화를 지원하는 HSS 교과서의 챕터 저자가 되었다. HSS 개념에 초점을 맞춘 국가고시 개발에 2명(7%)이 기여하고 있다. Several outcomes of the TQA exceeded our initial objectives. Early into their training, a number of TQA participants began to apply their new knowledge and skills to the development of educational initiatives in HSS beyond the medical student curriculum. This impact was demonstrated by new modules for resident hand-off training, the integration of systems analysis into morbidity and mortality conferences, the enhanced use of the patient safety reporting system by residents, and the development of QI electives for residents and nursing and public health students (List 1). Six (22%) participants became chapter authors for a textbook on HSS that was supported by the AMA’s Accelerating Change in Medical Education Initiative. Two (7%) are contributing to the development of a national examination focused on HSS concepts.
또한, ECU 보건과학부 전체에서 의학 교육 인증(Credential in Medical Education)이 주목을 받았으며, 이는 현재 진행 중인 캠퍼스 전체의 보건 직업 교육(Credential in Health Professionals Education)의 승인과 시행으로 이어졌다. 매년 의료 및 간호학과 학생들을 위한 QI 올림픽을 포함하여 보건 과학 캠퍼스 전반에 걸친 새로운 전문직 간 교육 노력은 강화된 전문직 간 교육 협력의 영향을 강조한다. Additionally, the Credential in Medical Education gained attention across the ECU’s health science division, leading to the approval and implementation of an ongoing campus-wide Credential in Health Professions Education. New interprofessional education efforts across the health science campus, including an annual QI Olympics for medical and nursing students, highlight the impact of enhanced interprofessional education collaboration.
TQA가 새로운 QI 전문가를 개발한 것으로 인정받는 것은 이후 참가자 한 명이 Vidant Medical Center의 품질 담당 선임 의료 책임자로 임명되고 다른 한 명이 ECU Physicals의 부 의료 책임자로 임명되어 Brody School의 임상 관행을 위한 QI 노력을 주도함으로써 입증된다. 프로그램의 영향을 예시하는 사례는 한 TQA 참가자가 수술 후 조기 회복 프로그램을 구현하여 고품질의 결과를 유지하면서 선택된 시술 비용을 크게 절감하는 결과를 초래한 것으로 입증된다. 장기 결과를 평가하는 데 도움이 되는 의대생 참여뿐만 아니라 다른 외과의사와 케이스에 대한 이러한 개입의 후속 확산은 TQA의 임상적 및 교육적 영향을 보여준다. Recognition of the TQA as having developed new QI experts is evidenced by the subsequent appointment of one participant as the senior medical director for quality for Vidant Medical Center and another as the associate medical director of ECU Physicians, leading QI efforts for the Brody School of Medicine’s clinical practices. A case that exemplifies the program’s impact is illustrated by one TQA participant’s implementation of an early recovery after surgery program that resulted in dramatic reductions in cost for selected procedures while maintaining high-quality outcomes. The subsequent spread of this intervention to other surgeons and cases, as well as medical student engagement to help assess its long-term outcomes, demonstrates the clinical and educational impact of the TQA.
25명(93%)의 참가자가 교육 후 설문조사를 완료했다. 응답자 25명 중 20명(80%)은 향후 QI 프로젝트를 선도하는 업무를 계속할 것으로 예상했습니다. 23명(92%)의 응답자는 QI 원칙을 가르치는 데 편안하거나 매우 편안했습니다. 향후 QI 원칙의 통합에 대한 질문에 응답자들은 각각의 임상(18/19; 95%), 강의(21/25; 84%), 학술(18/24; 75%) 활동에서 유의하거나 상당한 수준으로 이를 수행할 것으로 기대했다.
Twenty-five (93%) participants completed the posttraining survey. Twenty of the 25 (80%) respondents expected to continue their work leading future QI projects. Twenty-three (92%) respondents were either comfortable or very comfortable teaching QI principles. Asked about incorporation of QI principles going forward, respondents expected to do so in their respective clinical (18/19; 95%), teaching (21/25; 84%), and scholarly (18/24; 75%) activities to a significant or substantial degree.
다음 단계 Next Steps
의대생들을 위한 HSS 커리큘럼을 제정하기 전에, 우리는 HSS 개념을 가르칠 준비가 된 교직원의 코호트가 필요하다고 생각했다. 우리는 이 중요한 요구를 해결하기 위해 TQA를 설계했다. 우리는 15개월 간의 교육 제도 훈련 프로그램에 참여하기 위해 이 학습 커뮤니티에 다양한 전문직 간 교수 코호트를 모집했다. 기술되고 구현된 바와 같이, TQA는 [HSS 역량을 준비하는 데 필요한 교육학 및 커리큘럼 설계에 능숙]해지면서, [일선 임상 변혁을 선도할 교직원을 준비]한다는 이중 목표를 달성했다. 프로그램에 대한 열정은 우리의 초기 목표를 초과한 결과와 영향을 초래했으며, 이는 이 분야에 대한 관심이 널리 퍼져 있음을 시사한다. Prior to instituting an HSS curriculum for medical students, we deemed a cohort of faculty prepared to teach HSS concepts necessary. We designed the TQA to address this critical need. We recruited a diverse, multispecialty cohort of interprofessional faculty to this learning community to participate in a 15-month intrainstitutional training program. As described and implemented, the TQA achieved the dual goal of preparing faculty to lead frontline clinical transformation while becoming proficient in the pedagogy and curriculum design necessary to prepare students in HSS competencies. Enthusiasm for the program resulted in outcomes and impact that exceeded our initial objectives, suggesting that interest in this area is widespread.
TQA를 완료한 이후, 참가자들은 환자 치료에 대한 팀 접근 방식을 모델링하고 QI 이니셔티브와 환자 안전 노력을 선도하며 새롭게 부상하는 종방향 HSS 커리큘럼의 구성 요소를 기여해왔다. 참가자들은 또한 여러 학술 프레젠테이션을 통해 학습과 성과를 전파했습니다. Since completing the TQA, participants have been modeling a team approach to patient care, leading QI initiatives and patient safety efforts, and contrib uting the building blocks of the emerging longitudinal HSS curriculum. Participants have also disseminated their learning and accomplishments through multiple scholarly presentations.
TQA 참가자 및 프로그램 기획자를 위한 중요한 다음 단계는
(1) 종단적 HSS 커리큘럼의 완전한 구현을 위하여 자문교수 및 기여자로 추가적 통합incorporation
(2) 'Leaders in Innovative Care Scholars'의 학생리더십 트랙을 포함하여 참여 확대
(3) TQA 참여가 환자 치료, 교육 및 역할 모델링에 미치는 영향에 대한 심층적인 평가를 계속한다.
(4) TQA 참가자의 다음 코호트 모집(HSS 전문지식을 갖춘 교수진의 임계 질량을 달성하기 위한 필요성)
Important next steps for TQA participants and program planners include
(1) further incorporation as faculty advisors and contributors to the full implementation of the longitudinal HSS curriculum;
(2) expanded involvement with the Leaders in Innovative Care Scholars student leadership distinction track;
(3) continued in-depth evaluation of the impact of TQA participation on patient care, teaching, and role modeling; and
(4) the recruitment of the next cohort of TQA participants (a necessity for achieving a critical mass of faculty with HSS expertise).
헬스케어의 성과를 최적화하려면 교육자가 의료 교육과 의료 제공 개혁의 조정을 지원하는 HSS 원칙을 배우고 가르쳐야 한다. TQA의 초기 결과는 HSS 역량에 초점을 맞춘 교수 개발 학습 커뮤니티를 구현하면 다양한 참가자 코호트를 참여시키고, 필요한 교수 지식과 기술을 구축하여 기관에 가치를 더하며, 보건 전문가 프로그램 전반에 걸쳐 새로운 전문가 간 파트너십을 만들 수 있음을 시사한다.
Optimizing health care outcomes will require educators to learn and teach HSS principles that support the alignment of medical education and health care delivery reform. The early outcomes from the TQA suggest that implementing a faculty development learning community focused on HSS competencies can engage a diverse cohort of participants, add value to the institution by building requisite faculty knowledge and skills, and create new interprofessional partnerships across health professions programs.
Acad Med. 2016 Dec;91(12):1655-1660.
doi: 10.1097/ACM.0000000000001262.
The Teachers of Quality Academy: A Learning Community Approach to Preparing Faculty to Teach Health Systems Science
1E.G. Baxley is senior associate dean for academic affairs and professor of family medicine, Brody School of Medicine at East Carolina University, Greenville, North Carolina. L. Lawson is assistant dean of curriculum, assessment, and clinical academic affairs and assistant professor of emergency medicine, Brody School of Medicine at East Carolina University, Greenville, North Carolina. H.G. Garrison is associate dean for graduate medical education and professor of emergency medicine, Brody School of Medicine at East Carolina University, Greenville, North Carolina. D. Walsh is associate professor of surgery, Division of Pediatric Surgery, Brody School of Medicine at East Carolina University, Greenville, North Carolina. S. Lazorick is associate professor of pediatrics and public health and health services researcher, Brody School of Medicine at East Carolina University, Greenville, North Carolina. D. Lake is clinical associate professor of nursing, Graduate Nursing Sciences and Leadership Concentration, East Carolina University College of Nursing, Greenville, North Carolina. J. Higginson is associate professor of pediatrics and chief, Division of Neonatology, Brody School of Medicine at East Carolina University, Greenville, North Carolina.
Problem:Although efforts to integrate health systems science (HSS) topics, such as patient safety, quality improvement (QI), interprofessionalism, and population health, into health professions curricula are increasing, the rate of change has been slow.
Approach:The Teachers of Quality Academy (TQA), Brody School of Medicine at East Carolina University, was established in January 2014 with the dual goal of preparing faculty to lead frontline clinical transformation while becoming proficient in the pedagogy and curriculum design necessary to prepare students in HSS competencies. The TQA included the completion of the Institute for Healthcare Improvement Open School Basic Certificate in Quality and Safety; participation in six 2-day learning sessions on key HSS topics; completion of a QI project; and participation in three online graduate courses.
Outcomes:Twenty-seven faculty from four health science programs completed the program. All completed their QI projects. Nineteen (70%) have been formally engaged in the design and delivery of the medical student curriculum in HSS. Early into their training, TQA participants began to apply new knowledge and skills in HSS to the development of educational initiatives beyond the medical student curriculum.
Next steps:Important next steps for TQA participants and program planners include further incorporation as faculty advisors and contributors to the full implementation of the longitudinal HSS curriculum; expanded involvement with the Leaders in Innovative Care Scholars student leadership distinction track; continued in-depth evaluation of the impact of TQA participation on patient care, teaching, and role modeling; and the recruitment of the next cohort of TQA participants.
기본의학교육에 성공적인 보건기스템과학의 통합과 유지를 위한 우선순위 영역과 잠재적 해결책(Acad Med, 2017)
Priority Areas and Potential Solutions for Successful Integration and Sustainment of Health Systems Science in Undergraduate Medical Education Jed D. Gonzalo, MD, MSc, Elizabeth Baxley, MD, Jeffrey Borkan, MD, PhD, Michael Dekhtyar, Richard Hawkins, MD, Luan Lawson, MD, MAEd, Stephanie R. Starr, MD, and Susan Skochelak, MD, MPH
교육자, 정책 입안자 및 보건 시스템 지도자들은 의료 시스템의 진화하는 요구에 부응하기 위해 학부 의학 교육(UME)과 대학원 의학 교육(GME) 프로그램의 중요한 개혁을 요구하고 있다. 권고되는 개혁의 중요한 요소 중 하나는 의사 교육에 가치 기반 관리, 보건 시스템 개선, 임상 정보학, 인구 및 공공 보건과 같은 주제를 포함하는 보건 시스템 과학(HSS)을 담는 것이다. Educators, policy makers, and health systems leaders are calling for significant reform of undergraduate medical education (UME) and graduate medical education (GME) programs to meet the evolving needs of the health care system.1–3 One critical component of recommended reforms is physician education in health systems science (HSS), which includes topics such as value-based care, health system improvement, clinical informatics, and population and public health.4,5
기존의 기초과학과 임상과학이 통합된 "제3의 과학"으로 간주되는 HSS는 [환자와 환자 모집단에 대한 의료 전달의 품질, 결과 및 비용을 개선하는 방법과 원칙]으로 볼 수 있다. HSS의 교육은 환자와 사회의 요구를 충족시키기 위해 의료 시스템을 더 잘 이끌 수 있는 보다 광범위하게 준비된 의사 인력을 개발할 수 있는 잠재력을 가지고 있다.
Considered the “third science” that integrates with the traditional basic and clinic sciences, HSS can be viewed as the methods and principles of improving quality, outcomes, and costs of health care delivery for patients and populations of patients. Education in HSS has the potential to develop a more broadly prepared physician workforce that is better able to lead the health care system to meet the needs of patients and society.5
의료 교육에서 HSS의 중요성에 대한 인식이 높아졌음에도 불구하고, 대부분의 의과대학은 HSS 관련 역량을 커리큘럼에 실질적으로 통합하지 못하였으며, 그 결과 의료 교육과 진화하는 의료 시스템의 필요성과 이 시스템 내에서 care를 받는 환자 사이의 불일치를 초래했다. 전국적으로 여러 의과대학이 교실과 근무지 학습 환경 모두에서 HSS 관련 혁신 커리큘럼을 시작했고, 최근 연구는 HSS 커리큘럼의 프레임워크를 만들었다. 그러나 UME 내 통합의 비교적 초기 단계를 고려할 때, 의과대학 전체에 걸친 HSS 커리큘럼의 성공적인 대규모 구현은 커리큘럼 설계, 평가, 문화 및 인증의 문제로 인해 어려움을 겪고 있다. Despite increasing awareness about the importance of HSS in medical education, most medical schools have not substantially integrated HSS-related competencies into their curricula, resulting in a mismatch between medical education and the needs of the evolving health care system and the patients cared for within this system.2,3,6,7 Nationally, several medical schools have initiated HSS-related innovative curricula in both classroom and workplace learning environments, and recent work has created a framework for HSS curricula.5,8–10 However, given the relatively nascent stage of integration within UME, the successful large-scale implementation of HSS curricula across medical schools is challenged by issues of curriculum design, assessment, culture, and accreditation, among others.
2013년과 2015년 사이에 미국 의학 협회(AMA)의 11개 의과대학(ACE) 컨소시엄은 UME의 이 영역에서 진전을 진전시키기 위해 HSS 커리큘럼 구현의 과제를 구체적으로 해결하기로 결정했다.
Between 2013 and 2015, the American Medical Association’s (AMA’s) Accelerating Change in Medical Education (ACE) consortium of 11 U.S. medical schools (see below) chose to specifically address the challenges of implementing an HSS curriculum to advance progress in this area of UME.
ACE 컨소시엄 작업 ACE Consortium Work
2013년, 11개의 미국 의과대학으로 구성된 ACE 컨소시엄은 HSS 훈련을 위한 포괄적인 프레임워크를 식별하기 위해 광범위한 조사에 착수했다. 조사는 개별 학습자부터 의과대학별 프로그램, 협력적 국가 노력에 이르기까지 여러 단계에 걸쳐 이루어졌다. In 2013, the ACE consortium of 11 U.S. medical schools undertook a broad-based investigation to identify a comprehensive framework for HSS training. The investigation spanned multiple levels from the individual learner, to medical-school-specific programs, to collaborative national efforts.
The 11 ACE consortium schools were
the Warren Alpert Medical School of Brown University;
Brody School of Medicine at East Carolina University;
University of California, San Francisco, School of Medicine;
University of California, Davis, School of Medicine;
Indiana University School of Medicine;
Mayo Medical School;
University of Michigan Medical School;
New York University School of Medicine;
Oregon Health & Science University School of Medicine;
Pennsylvania State University College of Medicine; and
HSS 진전을 위한 우선순위 영역 Priority Areas for Advancing HSS
분석은 일곱 가지 우선순위 영역을 식별하였다.
(1) 면허, 인증 및 인증 기관과 협력,
(2) 종합, 표준화 및 통합 커리큘럼 개발,
(3) 평가의 개발, 표준화 및 조정,
(4) UME에서 GME로의 이행 개선,
(5) 교사의 지식과 기술 향상, 교사 인센티브 강화,
(6) 보건시스템에 더해진 가치(value added)를 입증
(7) 숨겨진 커리큘럼을 다룸
The analysis identified seven priority areas:
(1) partner with licensing, certifying, and accrediting bodies;
(2) develop comprehensive, standardized, and integrated curricula;
(3) develop, standardize, and align assessments;
(4) improve the UME to GME transition;
(5) enhance teachers’ knowledge and skills, and incentives for teachers;
(6) demonstrate value added to the health system; and
(7) address the hidden curriculum.
확인된 각각의 우선순위 영역에 대해, 두 가지 구성요소가 고려되었다.
(1) 의료 교육에서 HSS를 구현하고 유지하기 위한 구체적인 과제(또는 과제),
(2) 분야 발전을 위한 잠재적 해결책 또는 개입.
For each of the identified priority areas, two components were considered:
(1) the specific challenge (or challenges) to implementing and sustaining HSS in medical education; and
(2) the potential solutions, or interventions, to advance the field.
라이센스, 인증 및 인증 기관과 파트너 Partner with licensing, certifying, and accrediting bodies
과제들 Challenges.
의료 교육을 위한 국가 표준과 커리큘럼 내용에 대한 합의가 교육 커뮤니티에서 나타나고, 널리 수용이 이루어졌을 때, 이러한 표준은 LCME와 ACGME와 같은 인증 기관에 의해 성문화된다. 안전하고 효과적인 의사 진료와 관련된 커리큘럼 내용은 미국 의료 면허 시험 단계 시험 또는 전공의 훈련 시험과 같은 국가단위 평가 절차에 통합된다. 새로운 커리큘럼 콘텐츠의 광범위한 개발 및 채택과 새로운 국가 표준의 최종 발표를 포함한 새로운 합의를 위한 프로세스에는 긴 주기(보통 10년 이상)가 필요할 수 있다. (다양한 단계에서 의료 교육에 대한 전국적 합의가) 인증 및 평가 기관이 채택된 예시로는 문화적 역량(예: 문화적 역량 훈련을 위한 도구), 행동 과학의 통합, 학생 성과를 추적하기 위한 위탁 가능한 직업 활동(EPA)의 사용 등이 있다.21 이 기준 프로세스 및 관련 지연은 빠르게 진화하는 의료 환경에 적응하고자 하는 새롭고 혁신적인 교육 프로그램에 대한 특정 과제를 야기할 수 있다.
Consensus on national standards and curricular content for medical education emerges from the education community, and when widespread acceptance has occurred, these standards become codified by accrediting bodies, such as the Liaison Committee on Medical Education (LCME) and the Accreditation Council for Graduate Medical Education (ACGME). Curriculum content that is relevant to safe and effective physician practice is then incorporated into national assessment procedures, such as the United States Medical Licensing Examination Step exams or resident training exams. The process for emerging consensus, including the widespread development and adoption of new curricular content and eventual promulgation of new national standards, can require a lengthy cycle time (often a decade or longer). Recent examples of national consensus in medical education, in various stages of adoption by accrediting and assessment agencies, include cultural competence (e.g., the Tool for Assessing Cultural Competence Training),19integration of behavioral science,20and use of entrustable professional activities (EPAs) to track student performance.21This process and the associated delays can create particular challenges for new and innovative educational programs seeking to be adaptive with the rapidly evolving health care landscape.
잠재적 해결책 Potential solutions.
혁신적인 교육 프로그램 도입에 대한 장벽과 도전을 완화하기 위해 커리큘럼 변화의 리더는 지속 가능한 개혁을 구현하기 위해 관련된 모든 이해관계자의 권고와 지침을 구해야 한다. 이해관계자에는 UME, GME, CME에 이르는 국가 라이선스 및 인증 기관 및 인증 기관이 포함된다. 면허, 인증 및 인증 기관은 가이드라인, 역량, 시험을 align하여 HSS 관련 콘텐츠의 학습을 필요로 하는 협업 프로세스를 촉진할 수 있다. 커리큘럼 개혁이 구현되고 평가되면, 기회는 임상 교수진과 실무practicing 의사가 정의된 HSS 지식과 기술에 대한 역량을 개발할 수 있도록 해야 한다. 이러한 변화는 현재 의사와 미래의 의사 모두에 대한 의사 면허, 인증 및 인증 요건 유지에 있어 개혁을 가져올 수 있다. 인증 기관의 이러한 시스템 수준의 변화 없이는, HSS 통합의 장기적인 성공은 한계가 있을 것이다.
To mitigate the barriers and challenges to introducing innovative educational programs, curriculum change leaders should seek the recommendations and guidance of all stakeholders involved to implement sustainable reform. These stakeholders include national licensing and certifying bodies and accrediting organizations across the continuum from UME, to GME, to continuing medical education (CME). Licensing, certifying, and accrediting agencies could catalyze the collaborative processes that would align guidelines, competencies, and exams to necessitate the learning of HSS-related content. Once curricular reforms have been implemented and evaluated, opportunities should enable clinical faculty and practicing physicians to develop competence in the defined HSS knowledge and skills. These changes may lead to reforms in physician licensure, certification, and maintenance of certification requirements for both current and incoming physicians. Without such systemic change from accrediting organizations, the long-term success of HSS integration will be limited.
종합적이고 표준화된 통합 커리큘럼 개발 Develop comprehensive, standardized, and integrated curricula
과제 Challenges.
HSS에서 적절한 교육을 보장하려면, 학생의 발달 궤도에서 [적절한 시기에 기초 및 임상 과학과 통합된 포괄적인 콘텐츠 프레임워크]가 필요하다. 이를 충족시키기 위해서는 의과대학들 간의, 특히 졸업생들이 전공의 수련단계와 그 이후에 전국적으로 분산되는 것을 고려할 때, 어느 정도의 표준화가 이상적일 것이다. 불행하게도, 종합 HSS 커리큘럼을 가진 의과대학은 거의 없고, 심지어 더 적은 수의 커리큘럼이 통합되고, 많은 학교들은 HSS 콘텐츠를 가르칠 수 있는 능력을 가진 교수진들이 부족하다.
Ensuring appropriate education in HSS requires a compre hensive content framework that is integrated with the basic and clinical sciences at the appropriate time in students’ developmental trajectory. To meet this end, some level of standardization between medical schools, particularly given the dispersion of graduates across the country as they transition to residencies and practice, would be ideal. Unfortunately, few medical schools have comprehensive HSS curricula, even fewer of these curricula are integrated, and many schools lack faculty members with the ability to teach HSS content.
또한 현재는 각 의과대학이 커리큘럼에 포함되어야 하는 HSS 영역(위 참조)에 대해 합의할 수 있는 표준이나 메커니즘이 없다.의료 교육계는 의료 훈련 및 규제 부문(LCME, ACGME, USMLE 등)을 담당하는 조직과 함께 이 문제에 대한 조정된 접근 방식을 아직 개발하지 않았다. 의과대학이 HSS 콘텐츠를 교육과정에 추가했음에도 불구하고, 이렇게 추가된 것은 여러 UME 프로그램 사이에 거의 협업되지 않은 채로, 주로 지역적 니즈와 커리큘럼을 위해 개발되고 맞춤화되었다. 마찬가지로, HSS에 대한 의료 교육 문헌은 파편화되어 있으며, 의료 훈련 전체에 걸쳐 효과적인 HSS 커리큘럼을 개발하고 실행하기 위한 포괄적인 전략을 제공하려는 시도는 알려져 있지 않다.
Additionally, there are currently no standards or mechanisms allowing schools to reach agreement on which of the HSS domains (see above) should be included in the curriculum. The medical education community, along with the organizations responsible for segments of medical training and regulation (such as the LCME, ACGME, and United States Medical Licensing Examination), has not yet developed a coordinated approach to this issue. Although medical schools have added HSS content to their curricula, these additions have largely been developed for and tailored to local needs and curricula, with few collaborations across UME programs.20,22Likewise, the medical education literature on HSS has been fragmented, with no known attempts to provide a comprehensive strategy for developing and executing effective HSS curricula across the whole of medical training.22
잠재적 해결책 Potential solutions.
종합적이고 표준화된 통합 HSS 커리큘럼을 위한 중요한 첫 단계는 [보건의료전문직 교육기관]이 이러한 역량 확대의 중요성과 필요성을 인식하는 것이다. HSS를 전담하는 [지역 및 국가 토론 포럼]은 이러한 필요성에 대한 인식을 높이고 이러한 커리큘럼에 포함될 핵심 내용과 개념에 대한 담론을 촉진할 수 있다. CME 인증 기관과 전문 위원회뿐만 아니라 allopathic and osteopathic UME 및 GME 프로그램 모두를 포함하면 이 작업에 가장 적합할 수 있으며 의료 교육 연속체를 처음부터 끝까지 다룰 수 있다. A critical first step toward comprehensive, standardized, and integrated HSS curricula will be for health professions schools to recognize the importance and necessity of expanding these competencies. Local and national discussion forums dedicated to HSS can raise awareness of this need and promote discourse around the core content and concepts to be included in such curricula.12 Inclusion of both allopathic and osteopathic UME and GME programs, as well as CME accrediting bodies and specialty boards, would best inform this work and allow the medical education continuum to be addressed from beginning to end.
[표준화]를 달성하기 위한 노력은 [모든 trainee가 HSS 영역에서 역량을 확보하도록 충분히 엄격]해야 하지만, [의료 현실이 변화함에 따라 혁신이나 지속적인 평가를 저해할 정도로 경직되지 않아야] 한다. 이 분야의 리더십은 의료 교육 기관, 의료 기관 또는 훈련생으로부터 얻을 수 있으며, 모든 이해 관계자들 간의 협업 벤처가 가장 성공할 가능성이 크다.
Efforts to achieve standardization will need to be sufficiently rigorous to ensure that all trainees gain competencies in HSS domains, but not so inflexible that they discourage innovation or the ongoing evaluation of topics as health care realities change. Leadership in this area may come from medical education organizations, health care organizations, or trainees, with collaborative ventures among all stakeholders having the greatest chance of success.
평가 개발, 표준화 및 조정 Develop, standardize, and align assessments
과제 Challenges.
HSS 역량 달성에 있어 학습자의 진전을 보장하기 위해서는 고품질 평가 방법이 필수적이다. 또한 평가는 학생들의 학습을 촉진하고, 직장 기반 환경에서 기술 개발을 촉진합니다. 예를 들어, HSS 도메인을 대상으로 하는 검증된 평가 방법이 상대적으로 부족하다. HSS는 강력한 마일스톤, 역량, EPA 프레임워크를 가지고 있지 않다. UME에서 HSS 평가 방법을 개발하고 구현하는 한 가지 과제는 이러한 도메인에 대한 숙달에 대한 명확한 개발 패러다임이 없다는 것이다. High-quality assessment methods are essential to ensure learner progress in achieving HSS competencies. In addition, assessment drives student learning, and facilitates skill development in workplace-based settings.23 There is a relative paucity of validated assessment methods targeting HSS domains; for example, HSS does not have a robust framework of milestones, competencies, and/or EPAs. One challenge to developing and implementing HSS assessment methods in UME is the lack of a clear developmental paradigm for mastery in these domains.
현재 기초적인 HSS 지식은 어느 정도 정의되었으나, 학생들이 HSS 도메인에서 입증해야 할 잠재적인 역할과 기대 수준의 성과는 아직 설명되지 않았다. 또한, 합성적synthetic HSS 커리큘럼 프레임워크가 있든 없든, 주요 HSS 도메인의 지식을 평가하기 위해 고품질의 MCQ를 구성하기는 어려울 것이다(이전 우선순위 영역 참조).HSS에 대한 보다 현실적인 평가를 위하여 작업장에서 관찰 방법을 개발하고 구현해야 하며, 이 분야에서 평가 결과의 품질, 신뢰성, 타당성을 보장하기 위한 접근법이 진화하고 있다.
Foundational HSS knowledge is currently being defined, and the potential roles and expected level of performance that students should demonstrate in HSS domains have not yet been elucidated. Furthermore, it would be difficult to construct high-quality multiple-choice items to assess knowledge in key HSS domains with or without a synthetic HSS curricular framework (see previous priority area). Assessments of more practical aspects of HSS will require the development and implementation of observational methods in the workplace, where approaches to ensuring high-quality, reliable, and valid assessment outcomes are evolving.24,25
잠재적 해결책 Potential solutions.
HSS에서 핵심 커리큘럼, 목표 및 내용을 정의하기 위한 지속적인 작업은 필요한 새로운 평가 방법의 유형을 이해하는 데 있어 중요한 단계이다. 면허, 증명, 인증 기관과의 협력은 교육의 연속성을 따라 HSS 지식과 기술에 대한 포괄적인 평가를 개발하는 데 필수적이다. 핵심 지식, 기술 및 역량이 정의되면 검증된 평가를 요약한 매트릭스를 개발하고 HSS 도메인과 연계해야 한다. Ongoing work to define the core curriculum, objectives, and content in HSS is a critical step in understanding the types of new assessment methods that are needed.12 Collaboration with licensing, certifying, and accrediting bodies is essential for developing a comprehensive assessment of HSS knowledge and skills along the continuum of education.26 As core knowledge, skills, and competencies are defined, a matrix outlining validated assessments should be developed and aligned with the HSS domains.
다행히 이 매트릭스 내에서 기존 평가 방법을 사용할 수 있으며 초기 교육 도구 키트를 제공할 수 있다. 예를 들어 팀워크, 품질, 안전성 및 증거 기반 실무와 관련된 평가 방법에는 객관식 시험, 지식 응용 시험, 작업 결과물 평가work product rating, 시뮬레이션 기반 도구, 간접 관찰 방법(예: 동료 평가, 다중 소스 피드백) 및 임상 활동의 직접 관찰이 포함된다. Fortunately, existing assessment methods could be used within this matrix and provide an initial educator tool kit. For example, assessment methods related to teamwork, quality, safety, and evidence-based practice include multiple-choice exams, knowledge application tests, work product ratings, simulation-based tools, indirect observation methods (e.g., peer assessment, multisource feedback), and direct observation of clinical activities.27–41
불행히도 대부분의 평가 방법은 [국지적으로locally 개발된 도구]이거나, [심리측정 특성이 안정적이지 않은, 소규모 샘플만을 사용한 기존의 도구를 수정한 것] 정도이다. 이는 도구 사용에 inform하기 위한 기존 타당성 데이터를 사용하는 것을 금지하고, 연구 간의 비교를 방지하며, 새로운 도구의 엄격한 분석을 방해한다. 향후 연구는 평가 매트릭스가 각 도구의 품질과 효과적인 사용을 위한 권고사항에 관한 신뢰할 수 있는 정보를 포함하도록 하기 위해 기존 및 아직 개발되지 않은 검증된 도구를 사용한 협업 연구를 장려해야 한다.
Unfortunately, most assessment methods involve locally developed tools or modifications to existing national tools using small samples of students with variable psychometric characteristics. This forbids the use of existing validity data in informing the use of the tool, prevents comparisons across studies, and hinders rigorous analysis of new tools.42,43Future work should encourage collaborative research using existing and yet-to-be-developed validated tools to ensure that the assessment matrix contains trustworthy information regarding each tool’s quality and recommendations for effective use.
UME에서 GME로의 전환 개선 Improve the UME to GME transition
과제 Challenges.
학습자가 UME에서 GME로 원활하게 이행할 수 있도록 보장하는 것은 HSS만의 과제가 아닙니다. GME가 ACGME Next Accreditation System의 일부로 마일스톤을 사용하고 있고 미국 의학 대학 협회(American Medical College Association)가 졸업하는 의대생을 위한 결과 목표로 EPA를 제공했지만, LCME는 어느 하나에 대한 선호도를 규정하지 않았다. EPA와 마일스톤(많은 학교에서 작성)은 서로 보완적으로 사용할 수 있지만, 교육적 핸드오프를 이상적으로 한다는 측면에서는 일관된 '평가 언어'가 없는 것이 문제가 된다. Ensuring learners’ smooth transition from UME to GME and beyond is not a challenge unique to HSS.2,3,7,44 While GME is using the language of milestones as part of the ACGME Next Accreditation System and the Association of American Medical Colleges has offered EPAs as outcome goals for graduating medical students, the LCME does not stipulate a preference for either.21,45,46 Although EPAs and milestones (being written by many schools) can be used in a complementary manner, ideal educational handoffs are hindered by the lack of a consistent assessment language.47
ACGME 임상 학습 환경 검토 프로그램과 임상 실습과 교육의 reimagined integration을 통해 care를 개선하려는 임무는 HSS에서 UME에서 GME로의 전환의 중요성을 강화한다. 마지막으로, HSS에서 의대생 역량 졸업에 대한 GME 프로그램의 기대와 전공의 선발 과정에서 이러한 도메인의 평가 및 우선 순위 간의 차이는 UME에서 GME로의 전환의 격차를 더욱 강화한다.
The ACGME Clinical Learning Environment Review Program and its mission to improve care via a reimagined integration of clinical practice and education strengthens the importance of the UME to GME transition in HSS.48Lastly, variation across GME programs’ expectations of graduating medical student competence in HSS and their assessment and prioritization of these domains in the residency selection process further reinforce gaps in the UME to GME transition.
잠재적 해결책 Potential solutions.
교육자는 (모든 단계에서) 의사가 [복잡하고 진화하는 팀 기반 치료 모델에 의미 있게 참여할 준비가 되어 있는지] 확인하기 위해, 특히 [HSS를 위한 학습과 평가를 guide하는 공통 언어]가 필요하다. 의과대학은 HSS와 관련된 AAMC의 EPA와 지역적으로 작성된 마일스톤(기존 GME 이정표에 근거)를 시험해야 한다. 전공의 프로그램은 HSS 도메인의 폭과 깊이가 만족스러운지 또는 시간이 지남에 따라 이러한 영역이 진화해야 하는지 여부를 검토해야 한다.
Educators at all levels need a common language to guide learning and assessment, specifically for HSS, to reliably ensure that physicians are prepared to meaningfully participate in complex, evolving, team-based care models. Medical schools should pilot the Association of American Medical Colleges’ EPAs and locally written milestones (grounded in existing GME milestones) that pertain to HSS. Residency programs should examine whether the breadth and depth of the HSS domains are satisfactory or whether these need to evolve over time.
여러 discipline에 걸쳐, UME 및 GME 교육자 파트너십을 이룬다면, 이상적인 교육적 핸드오프의 특징을 정의하고 UME-GME 연속체에 걸쳐 사용할 수 있는 평가 도구를 구현할 수 있다.
Together, UME and GME educator partnerships across disciplines can define identifying features of ideal educational handoffs and implement assessment tools that can be used across the UME-GME continuum.
교사의 지식과 기술, 교사에 대한 인센티브 향상 Enhance teachers’ knowledge and skills, and incentives for teachers
과제 Challenges.
HSS 콘텐츠를 이해하고, 연습하고, 효과적으로 가르치는 교수진을 식별하는 것이 HSS를 기존 커리큘럼에 통합하는 핵심이다. 일반적으로 [전통적으로 훈련된 임상 교수진]은 HSS 전문성을 강화해야 한다.2.7 이는 임상 교사가 (지속적으로 변화하는 환경에서) HSS를 배워가면서 동시에 가르쳐야 한다는 것을 의미한다.49 한정된 시간을 두고 여러 우선순위들이 경쟁하며, 자원 배분이 부적절하고, 점차 임상 생산성을 강조하는 상황은, 교수진이 집중적인 훈련을 수행하거나 새로 개발된 기술을 임상 실습 및 교육에 통합하는 것을 어렵게 한다. Identifying faculty who understand, practice, and effectively teach HSS content is key to integrating HSS into existing curricula. Traditionally trained clinical faculty typically need to enhance their own HSS expertise.2,7This means that clinical teachers are challenged to teach HSS while they are learning it and simultaneously working in a continuously changing environment.49Competing priorities for time and inadequate resource allocation, coupled with increased emphasis on clinical productivity, make it difficult for faculty to undertake intensive training or integrate newly developed skills into clinical practice and teaching.
교수진을 교육할 수 있는 대학 내 전문지식과 제도적 인프라가 없다면, 이러한 공백을 메우기 위해 외부 프로그램을 사용하는 경우도 있다. 그러나 이러한 프로그램은 비용이 많이 들고 교수들이 일상 업무 환경의 맥락에서 내용을 이해할 수 있는 기회를 제공하지 않는다. 보건 전문가 부문 전반에 걸친 협업 노력은 새로 학습한 개념을 연습에 일관성 있게 통합하고, 결과를 개선하고, 교육생과 동료에게 새로운 역량을 롤모델링하기 위해 필요하다.
Without in-house expertise and institutional infrastructure to educate faculty, external programs are sometimes used to fill this gap. However, these programs are costly and do not provide an opportunity for faculty to understand the content within the context of the daily work environment. Collaborative efforts across health professions’ disciplines are required to consistently integrate newly learned concepts into practice, improve outcomes, and role model new competencies to trainees and colleagues.
잠재적 해결책 Potential solutions.
의료 개선, 교육 혁신 및 HSS 학술활동 보급에 대한 교수 능력의 훈련 및 지원은 지속 가능한 임상 학습 환경을 조성한다. 또한 의료 시스템과의 협업을 통해 새로운 개념과 관행을 일상 업무 환경에 통합하는 데 필요한 실습 학습 기회를 제공합니다. [교육 모듈 및 자료의 공유 저장소]에 의해 서포트되는 온라인, 대면 및 체험 학습의 혼합물mixture를 사용한다면 기관 교수진 개발 프로그램과 학습 커뮤니티를 만들 수 있다. Training and support of faculty capabilities in care improvement, educational innovation, and dissemination of HSS scholarship facilitates a sustainable clinical learning environment, and collaboration with the health care system provides the hands-on learning opportunities required to integrate new concepts and practices into the daily work environment. Institutional faculty development programs and learning communities can be created using a mixture of online, face-to-face, and experiential learning that is supported by a shared repository of educational modules and materials.
전문직업적 발달을 명예롭게 인정하고, 인증 유지 및 CME의 구조적 지원, 질 향상 개입을 촉진하기 위한 [간소화된 기관 검토 위원회 프로세스], 학습 및 교사의 진척을 위한 [보호된 시간], 임상 및 교육 환경에서의 [리더십 및 관련 경력 기회], 학술적 생산성에 대한 지원, [승진 가이드라인에 HSS 학술활동 포함] 등을 통해 교수진을 지원할 수 있다. [국가 자격증 프로그램]은 기관들이 지속적인 학습과 개선을 위해 지역 통합과 교수진 지원에 집중할 수 있도록 하는 동시에 광범위한 의료 교육자에게 정보의 보급을 촉진할 수 있다.
Institutions can support faculty by facilitating honorific recognition of professional development, structural support for maintenance of certification and CME, streamlined institutional review board processes to encourage quality improvement interventions, protected time to advance learning and teaching, leadership and career opportunities in related clinical and educational environments, assistance with scholarly productivity, and inclusion of HSS scholarship in promotion guidelines. A national certificate program could promote the dissemination of information to a broad base of medical educators while allowing institutions to focus on local integration and faculty support for continued learning and improvement.
보건시스템에 value added를 보여주는 것 Demonstrate value added to the health system
과제 Challenges.
전통적으로, UME는 미래에 환자를 돌보는 것을 목표로 기초 및 임상 과학에서 학생들의 지식과 기술의 개발에 주로 초점을 맞추었다. 그리고 임상 훈련 경험은 임상 치료 임무 동안 학생들을 전공의 및 주치의와 직접 연결시킨다. 50 이 견습 모델은 학생들을 지도하고 교육하는 시간을 필요로 하는데, 이는 종종 효율성을 떨어뜨리고 의사 생산성과 보건 시스템의 수익성에 부정적인 영향을 미친다.51-55 비용을 최소화하면서 효율성과 품질을 최적화하기 위한 의사 및 의료 제공 모델의 증가하는 필요성과 이 견습 모델에서의 의대생 멘토링 작업의 추가 작업을 재검토할 필요가 있다. 교수진과 학교들은 전통적으로 [학생들이 학생인 동안에는 환자 치료에 가치를 더할 수 없다]고 추정해왔다. 그러나, 학생들이 배우는 동안 건강 시스템에 가치를 더할 수 있도록 의과대학과 학생 활동을 학문적 보건 센터와 지역사회 건강 프로그램과 더욱 통합하기 위한 교육과 연구를 늘리기 위한 권고안이 만들어졌다.
Traditionally, UME has focused primarily on the development of students’ knowledge and skills in the basic and clinical sciences, with the goal of caring for patients in the future. And clinical training experiences continue to link students directly with resident and attending physicians during clinical care duties.50This apprenticeship model requires time to mentor and educate students, which often decreases efficiency and negatively impacts physician productivity and the profitability of the health system.51–55The increasing need for physicians and care delivery models to optimize efficiency and quality while minimizing cost, and the added work of mentoring medical students in this apprenticeship model, needs to be reexamined. Faculty and schools have traditionally presumed that students cannot add value to patient care while they are students. However, recommendations have been made for increased education and research into further integrating medical schools and student activities with academic health centers and community health programs so that students could add value to the health system while they learn.56,57
잠재적 해결책 Potential solutions.
교육자들은 의료 학생들이 의료 서비스 전달의 "진료"를 "공유share the care"할 수 있는 부가 가치 역할을 식별하고 제공하는 데 초점을 맞출 것을 권고했다. 의료 시스템 내의 경험적 역할에서 HSS를 적용하는 것은 종종 [기존의 생의학적 결정(예: 약 처방 오더)]에 비해 [저부담 단계(예: 건강 코칭)]가 될 수 있다. 이러한 주요 차이는 HSS를 학습하는 동시에 가치를 추가하고 환자 결과를 개선할 수 있는 진정한 시스템 기반 작업을 수행함으로써 의대 학생들이 보건 시스템에 참여할 수 있는 몇 가지 기회를 열어준다. Educators have recommended an increased focus on identifying and providing value-added roles for medical students to “share the care” of health care delivery.58,59 The application of HSS in experiential roles within the health care system can often be lower-stakes (e.g., health coaching) compared with traditional biomedical decisions (e.g., ordering medications). This key difference opens up several opportunities for medical students to engage with the health system by performing authentic systems-based tasks that can add value and improve patient outcomes, while also learning HSS.5,10,59
학생들은 환자 네비게이터와 건강 코치의 역할을 하고, 효과적인 치료 전환transitino을 촉진하며, 약물 조정과 교육을 지원함으로써 가치를 더할 수 있다. 이러한 역할은 의료 시스템의 임상 치료 요구와 일치하며, 특히 재입원 감소, 진료 transition 개선, 환자 만족도 향상과 같은 결과에 초점을 맞춘다. 이러한 새로운 학생 역할은 시스템과 멘토에 대한 "부담"을 줄이고, HSS의 학생 교육을 강화하며, 잠재적으로 건강 결과를 개선할 수 있다.
Students can add value by serving as patient navigators and health coaches, facilitating effective care transitions, and assisting with medication reconciliation and education. These roles align with the clinical care needs of the health system, specifically focusing on outcomes such as reducing readmissions, improving care transitions, and improving patient satisfaction.60These new student roles can lessen the “burden” on the system and mentors, enhance student education in HSS, and potentially improve health outcomes.
잠재 커리큘럼 해결 Address the hidden curriculum
과제 Challenges.
잠재 교육과정은 [제도적 구조와 문화가 학습환경에 미치는 영향]으로, 의사 자율성과 권위의 개념을 강화하는 경우가 많고, 이는 trainee가 교수의 행동을 따라model하기 때문에, 환자 가치와 의료팀 구성원의 역할에 대해 갖는 인식에 영향을 준다. 마찬가지로, [정책, 공식적인 커리큘럼, 시험, 그리고 교수진의 전문적 개발]은 제도적인 목표와 가치를 반영하고, 이는 다시 학습 환경에 영향을 미친다. The hidden curriculum is the influence of institutional structure and culture on the learning environment61 and often reinforces the notions of physician autonomy and authority, influencing trainees’ perceptions of patient worth and the roles of health care team members as they model faculty behaviors.62–64 Similarly, policies, the formal curriculum, exams, and professional development of faculty reflect institutional goals and values, which, in turn, affect the learning environment.65–67
교육생들이 HSS 교육의 격차를 파악했지만, 이 내용은 인허가 및 이사회 시험이나 레지던트 배치 기준에 포함되지 않아 우선순위가 낮은 것으로 배정됐다. 새롭게 떠오르는 근거에 따르면, 자원 사용이 낮은 임상 환경에서 훈련하는 학생들이 향후 유사한 방법으로 practice할 가능성이 더 높으며, 이는 훈련 중의 역할 모델링이 학습자 개발에 매우 중요하다는 것을 시사한다. 역할 모델이 HSS-informed clinical practice를 보여주지 않는 경우, 학습자는 이러한 행동을 자신의 실제에 통합할 가능성이 줄어듭니다.
Although trainees have identified gaps in their HSS education, this content is assigned a lower priority because it is not included in licensing and board exams or residency placement criteria.68–71Important, emerging evidence suggests that students who train in clinical environments with lower resource use are more likely to practice similar methods in the future, suggesting that role modeling during training is critical to learner development.72,73If role models do not demonstrate HSS-informed clinical practice, learners will be less likely to incorporate these behaviors into their own practice.
잠재적 해결책 Potential solutions.
HSS 커리큘럼을 도입하기 위한 이니셔티브를 마련하려면 제도적 가치와 문화의 변화가 필요할 것이다. 이와 같이 각 기관의 구체적인 교육과정 변경에 대한 이행과 평가는 나머지 의학교육계에서의 기대가치 변화expected value를 모델링할 필요가 있을 것이다. 기관마다 학습환경에 대한 인식이 다르기 때문에 숨은 교육과정의 효과를 평가하는 노력이 각 특정 로케일specific locale로 향해야 한다. Creating initiatives to introduce HSS curricula will require a change in institutional values and culture. As such, implementation and evaluation of specific curricular changes at each institution will need to model the expected value changes for the rest of the medical education community. Because perceptions of learning environments vary between institutions, efforts to evaluate the effects of the hidden curriculum must be directed toward each specific locale.74
[교육 변화에 대한 각 공동체의 준비 상태]를 이해하면, 해당 기관이 공식적인 HSS 커리큘럼을 도입할 때의 장벽과 긴장을 이해하는 데 도움이 되며, 이에 따라 교수진(자원 및 홍보를 통해)과 학생(시험을 통해)을 위한 인센티브 구조를 고안할 수 있다. 학생들이 자신의 경력에 HSS의 중요성에 대한 인식을 높이는 것은 학생들이 통합적이고 종적이며 의미 있는 환자 중심적인 경험에 노출시킴으로써 해결할 수 있다. Understanding each community’s readiness for educational change will assist that institution’s leadership in understanding the barriers and tensions to implementing a formal HSS curriculum and allow them to devise incentive structures for faculty (via resources and promotion) and students (via exams) accordingly. Increasing students’ recognition of the importance of HSS to their careers could be addressed by exposing students to integrated, longitudinal, and meaningful patient-centered experiences.
보건 시스템 개선 노력에 대한 긍정적인 경험과 HSS 교육을 일치시키면, 커리큘럼의 격차를 줄이고 "유동적인fluid" 학습 환경을 조성할 수 있다. [국가 수준에서 HSS 교육에 대한 진화하는 담론]은 의사들의 실천과 교육에 HSS의 개념을 적용할 때 [의사의 책무에 대한 대화]를 포함해야 한다.
Aligning their HSS education with positive experiences in health systems improvement efforts may reduce gaps in the curriculum and create a “fluid” learning environment. Evolving discourse on HSS education at the national level should include conversations about physician accountability in espousing HSS tenets in their practice and teaching.
결론 Conclusions
보건 전문 학교의 커리큘럼 개혁을 요구하는 권고에도 불구하고, 가르치고 측정하는 것과 차세대 의사들에게 필요한 지식과 기술 사이에는 상당한 불일치가 남아 있다. HSS는 교육 개혁의 중추적인 부분으로 의과대학은 관련 분야에 초점을 맞춘 학습 활동을 설계하고 시행하고 있다. 의료 교육 개혁의 다음 물결에서는 HSS가 혁신의 주요 초점이 되어 의료 교육계의 전략적 사고와 행동이 대규모의 지속 가능한 개혁에 긍정적인 영향을 미칠 것을 요구할 것이다. HSS와 관련된 성공의 달성은 [의과대학, 보건 시스템, 면허, 인가 및 규제 기관, 자금 조달 파트너] 간의 새롭고 진화하는 협력 관계를 통해 가장 신속하게 이루어질 것이다.
Despite recommendations calling for curricular reform in health professions schools, there remains a significant mismatch between what is taught and measured and the knowledge and skills that are required for the next generation of physicians. HSS is one pivotal piece in education reform, and medical schools are designing and implementing learning activities focused on related areas. In the next wave of medical education reform, HSS will be a primary focus of innovation, requiring strategic thinking and action by the medical education community to positively influence large-scale, sustainable reform. The achievement of success with regard to HSS will occur most expeditiously through new and evolving collaborative partnerships between medical schools; health systems; licensing, accrediting, and regulatory bodies; and funding partners.
Acad Med. 2017 Jan;92(1):63-69.
doi: 10.1097/ACM.0000000000001249.
Priority Areas and Potential Solutions for Successful Integration and Sustainment of Health Systems Science in Undergraduate Medical Education
1J.D. Gonzalo is assistant professor of medicine and public health sciences and associate dean for health systems education, Penn State College of Medicine, Hershey, Pennsylvania. E. Baxley is senior associate dean of academic affairs, Brody School of Medicine at East Carolina University, Greenville, North Carolina. J. Borkan is chair and professor of family medicine and assistant dean for primary care-population health program planning, Alpert Medical School of Brown University, Providence, Rhode Island. M. Dekhtyar is research associate, Medical Education Outcomes, American Medical Association, Chicago, Illinois. R. Hawkins is vice president, Medical Education Outcomes, American Medical Association, Chicago, Illinois. L. Lawson is assistant dean for curriculum, assessment, and clinical academic affairs and assistant professor of emergency medicine, Brody School of Medicine at East Carolina University, Greenville, North Carolina. S.R. Starr is assistant professor of pediatric and adolescent medicine and director of science of health care delivery education, Mayo Medical School, Mayo Clinic College of Medicine, Rochester, Minnesota. S. Skochelak is group vice president of medical education, American Medical Association, Chicago, Illinois.
Educators, policy makers, and health systems leaders are calling for significant reform of undergraduate medical education (UME) and graduate medical education (GME) programs to meet the evolving needs of the health care system. Nationally, several schools have initiated innovative curricula in both classroom and workplace learning experiences to promote education in health systems science (HSS), which includes topics such as value-based care, health system improvement, and population and public health. However, the successful implementation of HSS curricula across schools is challenged by issues of curriculum design, assessment, culture, and accreditation, among others. In this report of a working conference using thematic analysis of workshop recommendations and experiences from 11 U.S. medical schools, the authors describe seven priority areas for the successful integration and sustainment of HSS in educational programs, and associated challenges and potential solutions. In 2015, following regular HSS workgroup phone calls and an Accelerating Change in Medical Education consortium-wide meeting, the authors identified the priority areas: partner with licensing, certifying, and accrediting bodies; develop comprehensive, standardized, and integrated curricula; develop, standardize, and align assessments; improve the UME to GME transition; enhance teachers' knowledge and skills, and incentives for teachers; demonstrate value added to the health system; and address the hidden curriculum. These priority areas and their potential solutions can be used by individual schools and HSS education collaboratives to further outline and delineate the steps needed to create, deliver, study, and sustain effective HSS curricula with an eye toward integration with the basic and clinical sciences curricula.
A Prognosis for Health Systems Science Courses: Observations From Current Students Andrew R. Pines, Aditya Khurana, George M. Mastorakos, Kent R. Richter, and Walker L. Asprey
모든 정치 계열의 전문가들은 미국의 의료 제공 체계가 부당함과 비효율성으로 고군분투하고 있지만, 이러한 문제들을 어떻게 해결할 것인지에 대해서는 의견이 다르다. 예를 들어, 건강보험을 저렴하고 많은 사람들이 이용할 수 있도록 하기 위한 '적정 의료법'의 한 축인 건강보험 가입 권한은 최근에, 이 의무 조항이 법을 제정하는 데 용인되는 방법이라는 데 동의하지 않는 국회의원에 의해 법에서 삭제되었다. 행정부가 바뀜에 따라 보건 정책이 변경될 때, 미국 시민들에게 의료가 어떻게 전달될 것인지 예측하기 어렵습니다. 현재 시스템의 부당함, 비효율성 또는 부적절함으로 인해 고통 받고 있는 수백만 명의 사람들이 의료 서비스가 어떻게 전달될 것인지 예측하기 어렵습니다. Experts of all political affiliations agree that the U.S. health care delivery system struggles with injustice and inefficiency, but disagree about how to address these challenges. For example, the mandate to purchase health insurance, a pillar of the Affordable Care Act intended to keep health insurance affordable and accessible to the majority of people, was just recently removed from law by lawmakers who disagreed that the mandate was an acceptable way to frame the law. When health policy changes with each political administration, it is difficult to predict the future of how health care will be delivered to citizens of the United States—millions of whom are suffering from injustices, inefficiencies, or inadequacies in the current system.
HSS 학습의 근거는 의사가 보건의료시스템에 긍정적인 기여를 할 의무가 있기 때문이며, 학생들은 그들의 의학교육 과정에서 이른 시점에 거기에 필요한 도구를 제공받아야 한다.
The rationale for studying HSS is that physicians have a duty to make positive contributions to the health care system and that students should be given the tools to do so early in their medical training.
SHCD 커리큘럼 SHCD Curriculum
Mayo Clinic School of Medicine의 SHCD 과정은 2015년 미네소타주 로체스터에서 시작되었으며, 2017년 애리조나 캠퍼스의 설립 수업 전체를 대상으로 가르치고 있다. SHCD 과정은 Mayo Clinic과 Arizona State University의 전문 교수진이 이끈다. 강좌의 내용은 다음의 6가지 영역으로 구성된다.
의료 정책, 경제, 기술
고가치 진료,
리더십,
사람 중심 진료,
인구 중심 진료,
팀 기반 진료
The SHCD course at the Mayo Clinic School of Medicine began in 2015 in Rochester, Minnesota, and is being taught to the entire 2017 inaugural class on the Arizona campus. The SHCD course is led by expert faculty from Mayo Clinic and Arizona State University. The content of the course is organized into six domains:
health care policy, economics, and technology;
high-value care;
leadership;
person-centered care;
population-centered care; and
team-based care.
각 도메인에 대한 학습 결과는 표 1에 나와 있습니다.
The learning outcomes for each domain are shown in Table 1.
수업 준비를 위해, 학생들은 지식의 기초를 확립하기 위해 고안된 온라인 모듈을 이수한다. 교실 활동은 우리가 배우는 주제를 생생하게 표현하기 위해 고안된, 교육적인 강의, 소그룹 작업, 학생 발표, 시뮬레이션 연습이 혼합된 것이다.
To prepare for class, students complete online modules designed to establish a foundation of knowledge. Classroom activities are a mix of didactic lectures, small-group work, student presentations, and simulation exercises, which are designed to help vivify topics we learn.
경험적 연습에는 1차 진료소 내에서 환자 치료의 다양한 측면에 종사하는 다수의 직원을 섀도잉 하는 과정을 포함한다.
한 실습에서, 학생들은 나이와 관련된 질병을 흉내내기 위한 장비를 착용하고 일상 생활 활동을 한다.
다른 예로, 학생들은 관련 지역사회 자원에 접근하기 위해 가상의 서비스 미달 환자의 "생활 속의 하루"를 보낸다. 즉, 진료에 대한 접근을 제공하는 의료 서비스 전달 시스템에서 반복되는 장애에 부딪히는 환자이다.
The experiential exercises include shadowing a number of employees engaged in different facets of patient care within a primary care clinic.
In one exercise, students engage in activities of daily living wearing gear meant to simulate age-related ailments.
In another, students spend a “day in the life” of a hypothetical underserved patient trying to access pertinent community resources: a patient who is met by repeated obstacles in a health care delivery system that is supposed to provide access to care.4
SHCD 커리큘럼은 4년간의 종단적 강의실 수업과 관련 온라인 모듈로 구성된다. 의과대학 과정을 거치면서, 우리는 [수업에서 배우는 개념적 프레임워크]를 [실제 환자 경험]과 보완한다. SHCD 커리큘럼의 종단적 특성으로 인해 우리는 강의실로 돌아와 의료에 대한 경험을 통합하고, 새로운 아이디어를 조화시키며, 의료 전달을 개선하기 위한 새로운 전략을 배울 수 있다.
The SHCD curriculum comprises four years of longitudinal classroom instruction and associated online modules. As we progress through medical school, we complement the conceptual framework we learn in class with real patient experiences. The longitudinal nature of the SHCD curriculum allows us to return to the classroom to consolidate our experiences in health care, reconcile new ideas, and learn novel strategies for improving health care delivery.
1학년에, 2주짜리 세션을 두 차례 진행한다.
첫 번째 세션은 또한 학생들이 우리 학교에서 듣는 첫 번째 수업이다. 이 세션은 학생들에게 의료 서비스 제공 영역을 소개하고 각 도메인이 직면한 과제에 대한 관심을 유도하기 위한 것이다.
두 번째 세션은 의과대학 1학년 중간쯤에 열린다. 두 번째 세션의 목적은 학생들이 각 영역에 대한 더 깊은 이해를 하게 하고, 학생들이 1년 내내 겪었던 병원 경험에 이러한 개념을 적용하도록 장려하는 것이다.
In the first year, the class meets for two 2-week sessions.
The first session is also the first class that students take at our school. This session is intended to introduce students to the domains of health care delivery and induce interest in the challenges faced by each domain.
The second session occurs midway into the first year of medical school. The objective of the second session is to give students a deeper understanding of each domain and encourage application of these concepts to the hospital experiences that students have had throughout their first year.
하루짜리 감성지능 강의도 기초과학 교육과정에 흩어져 있다. 이밖에도 종단적 건강코칭 과정도 마련돼 있어, 자원봉사자인 메이요클리닉 직원들이 [직원과 학생이 함께 설정한 웰빙 목표]를 개발하고 달성할 수 있도록 돕는 방법을 배우게 된다.
Single-day emotional intelligence lectures are also scattered throughout the basic science curriculum. In addition, there is a longitudinal health coaching course, in which the students are expected to learn how to help volunteer Mayo Clinic employees develop and achieve wellness goals that the employees and students set together.
초기 반응 Initial Reactions
1학년 SHCD 과정의 가장 가치 있는 결과 중 하나는 각 도메인에 제공되는 지식 기반과 주제를 비판적으로 이해하기 위한 프레임워크였다. 공통적으로 세 가지 교육적 혜택이 있었다. One of the most valuable outcomes of the first-year SHCD course was the knowledge base provided for each domain and the framework for critically comprehending the subjects. three educational benefits that we shared in common.
첫째, 우리는 진료실, 수술실 또는 연구 활동에 참여했을 때 의료 서비스 제공에 대해 더 비판적으로 생각하기 시작했습니다.
SHCD 과정은 우리에게 미국에서 의료가 직면하고 있는 도전과 이러한 과제에 대한 해결책을 개발하기 위한 전략을 소개하였다. 이 과정을 수강한 이후, 우리는 HSS에 대해 더 잘 이해하고 병원 환경에서 전달 문제에 대해 더 잘 알고 있습니다.
예를 들어, 수술실에서 섀도잉을 하면서 해부학과 술기 뿐만 아니라, 비용, 워크플로우 및 팀워크 전략도 배웠습니다.
외래 클리닉에서는, 우리는 약물과 보험 비용, 의사-환자 공유 의사 결정 모델, 그리고 이러한 문제가 어떻게 영향을 미칠 수 있는지에 대한 환자의 이해와 같이 환자에게 영향을 미칠 수 있는 문제에 더 주의를 기울였다.
우리는 또한 품질 개선을 위한 학술 연구에 참여하기 시작했습니다. 지난 몇 달 동안 마요클리닉 교수진과 협력해 현재 우리 등 학우들이 참여하고 있으며 의과대학 연수 기간 내내 계속 진행할 계획인 자발적인 질 향상 수업을 만들었다.
First, we began thinking more critically about health care delivery when we were in the clinic, in the operating room, or involved in research activities.
The SHCD course introduced us both to challenges facing health care in the United States and to strategies for developing solutions to those challenges. Since taking this course, we have become more literate in HSS and more aware of delivery challenges in hospital settings.
When we have shadowed in the operating room, for example, we learned not just about anatomy and procedures but also about costs, workflow, and teamwork strategies.
When we have been in the clinic, we were more attentive to issues that might affect the patients, such as drug and insurance costs, physician–patient shared decision-making models, and patients’ understanding of how these issues might affect them.
We have also begun participating in academic research for quality improvement. In the past months, we worked with faculty at Mayo Clinic to create a voluntary quality improvement class that we and other classmates are involved in now and that we plan to continue throughout our medical school training.
둘째, 우리는 의료 시스템의 복잡성에 대해 더 잘 이해하게 되었습니다.
우리가 SHCD 수업을 듣기 전에, 우리는 HSS 문제를 비교적 단순한 방식으로 보았다. SHCD 과정의 첫 해는 의료 시스템이 얼마나 복잡한지, 그리고 그것이 다른 가치와 관심사에 의해 어떻게 형성되는지에 대한 우리의 감사를 강화시켰다.
우리는 한 도메인에 대한 과제가 다른 도메인에 미치는 영향과 서로 다른 도메인에 걸쳐 모든 관심 이해 관계자를 수용하는 것을 목표로 하는 솔루션을 개발하는 방법을 배웠다. SHCD 커리큘럼은 우리가 해부학, 생리학, 그리고 건강에 영향을 줄 수 있는 사회경제적 이슈와 같은 기초 과학을 연결하는데 도움을 주었다.
우리는 의료 문제가 환자가 사는 환경(예: 오염, 폭력, 빈곤)에 뿌리를 두고 있음을 더 잘 이해하게 되었다. 의료에 대한 결정은 환자의 사회적 제약을 고려해야 한다.
의료 문제의 복잡성을 더 밝혀내보고자, 우리는 SHCD 프로그램의 책임자와 협력하여 의료 지출에서 연방 기금 할당에 관한 토론을 설정했다. SHCD수업 1학년이 끝나자 많은 동료 학생들과 교수진의 참여로 한층 강화된 1시간 토론회를 준비하여 참여하였다. 비록 우리가 의료의 과제를 해결하기 위한 은탄을 생각해내지 못했을 수도 있지만, 이 논쟁은 건강에 영향을 미치는 다양한 요소들이 어떻게 절충을 만들어낼 수 있는지, 그리고 의사들이 해결책을 최적화하는 데 도움을 줄 수 있는 역할을 더 잘 이해하게 했다.
Second, we gained a better understanding of the complexity of the health care system.
Before we took the SHCD class, we viewed HSS problems in a relatively simplistic fashion. The first year of the SHCD course enhanced our appreciation for how complex the health care system is and how it is shaped by different values and interests.
We have learned how challenges to one domain affect others and how to develop solutions that aim to accommodate all interested stakeholders across different domains. The SHCD curriculum has helped us to connect basic sciences such as anatomy, physiology, and the socioeconomic issues that can influence health.
We have a greater appreciation for how medical problems can have roots in the environments in which patients live (eg, pollution, violence, poverty). Decisions about health care must take into account the social constraints of patients.
To further elucidate the complexity of health care issues, we worked with the director of the SHCD program to set up a debate regarding the allocation of federal funds in health care expenditures. At the end of the first year of the SHCD class, we prepared for and participated in the one-hour debate, which was enhanced by the participation of many fellow students and faculty. Although we might not have come up with silver bullets for solving challenges in health care, this debate has left us with a greater understanding of how various factors that impact health can create trade-offs, and the roles physicians can play in helping to optimize solutions.
셋째, 우리는 의료 서비스 제공의 여러 측면에 대한 더 큰 고려를 개발했습니다.
우리들 중 많은 사람들은 기술, 경제, 소외된 지역사회에 대한 열정을 가지고 의과대학에 입학했습니다. SHCD 과정은 학생들이 아이디어를 공유하고 다듬을 뿐만 아니라 아직 탐구되지 않은 건강 관리의 측면에 대해서도 배울 수 있는 장을 제공했다.
우리들 중 몇몇은 우리의 future practice에서 효율성의 중요성을 인식하지 못했고; 또 어떤 학생들은 제약회사의 정책이 어떻게 환자에게 생명을 바꾸는 영향을 미칠 수 있는지 깨닫지 못했습니다.
의사 리더십에 대한 우리의 관점도 바뀌었습니다. 우리는 이제 보건 시스템의 문제가 환자 치료에 영향을 미치는 문제로 전환된다는 것을 이해했고, 따라서 의사는 시스템을 개선할 의무가 있다.
첫 번째 SHCD 블록에 이어, 우리는 의료 서비스 제공 혁신에 대한 의학 컨퍼런스에 참석했습니다. 우리는 미국의 의료 시스템에 긍정적인 영향을 미칠 수 있는 변화에 대해 그 분야의 사상가들로부터 배웠다. 어쩌면 더 중요한 것은, 이 컨퍼런스가 의사를 시스템에 대한 의미 있는 변화의 주체로 간주하도록 영감을 주었다.
Third, we developed a greater consideration for the many facets of health care delivery.
Many of us came into medical school with a passion for technology, for economics, and for serving in underserved communities. The SHCD course provided a forum for students not only to share and refine ideas but also to learn about yet-unexplored aspects of health care.
Some of us had not appreciated the importance of efficiency in our future practice; others had not realized how pharmaceutical policies can have life-changing effects on patients.
Our perspective of physician leadership also shifted: We now understand that problems in the health system translate into problems that affect patient care, and, therefore, physicians have a duty to improve the system.
Following the first SHCD block, we attended a medical conference on innovations in health care delivery. We learned from thought leaders in the field about changes that could positively affect the U.S. health care system. Perhaps more important, this conference inspired us to view physicians as agents of meaningful change to the system.
SHCD 코스는 의료 서비스 제공 시스템을 개선하기 위해 활력을 불어넣고 있습니다. 이는 우리의 통제 위치 변화입니다. 우리 자신을 시스템의 작동의 대상이라고 보는 대신에, 우리는 이제 시스템을 개선하고, 그렇게 함으로써 환자의 삶의 질을 향상시킬 수 있다고 느낍니다.
The SHCD course has left us invigorated to improve the health care delivery system, which is a shift in our locus of control: Instead of seeing ourselves as subject to the workings of the system, we now feel empowered to ameliorate it, and, in so doing, to improve the quality of patients’ lives.
결론 Conclusion
1학년 학생들이 우리가 환자를 어떻게 치료할지 기술을 개발하기 시작하면서, 우리는 HSS를 초기에 강조하는 것이, 우리가 생각하고 있던 [미래에 환자 치료에 접근하는 방식]을 변화시켰다는 것을 발견했다. 환자에게 훌륭한 치료를 제공하기 위해, 우리는 이제 보건 시스템이 그들에게 어떤 영향을 미치는지 이해하고, 보건 시스템의 문제를 인식하고, 이러한 문제에 대한 혁신적인 해결책을 고안해야 한다는 것을 안다.
As first-year students just beginning to develop skills for how we will treat patients, we found that early emphasis on HSS has altered the scope of how we plan to approach patient care in the future. To provide excellent care for our patients, we now know that we must understand how the health system affects them, recognize problems in the health system, and devise innovative solutions for these problems.
SHCD 코스는 건강 시스템 문제를 식별하고 6개의 다른 의료 영역에 대한 솔루션을 만들도록 우리를 훈련시켰다. 의료 서비스 제공 문제에 대한 다자간 접근법의 강조는 우리가 보건 시스템을 변경하는 것의 광범위한 영향을 이해하는 데 도움을 주었다. 우리는 [의료 시스템의 웰빙을 향상시키는 것]이 미래의 의료 제공자로서 우리의 의무라고 믿게 되었다. 무엇보다도, 이 과정은 우리에게 영감을 주고 힘을 실어 주었고, 우리는 HSS 과정이 모든 의과대학의 학생들에게 똑같이 할 수 있기를 바란다.
The SHCD course has trained us to identify health system problems and to create solutions for six different domains of health care. The emphasis on a multilateral approach to problems in health care delivery has helped us appreciate the far-reaching effects of altering a health system. We have come to believe that improving the well-being of the health care system is our duty as future care providers. More than anything else, this course has inspired and empowered us, and we hope that HSS courses can do the same for students at all medical schools.
Acad Med. 2018 Oct;93(10):1434-1436.
doi: 10.1097/ACM.0000000000002369.
A Prognosis for Health Systems Science Courses: Observations From Current Students
1A.R. Pines is a student, Mayo Clinic School of Medicine, Mayo Clinic College of Medicine and Science, Scottsdale, Arizona; ORCID: https://orcid.org/0000-0001-6968-2829. A. Khurana is a student, Mayo Clinic School of Medicine, Mayo Clinic College of Medicine and Science, Scottsdale, Arizona; ORCID: https://orcid.org/0000-0001-9148-9531. G.M. Mastorakos is a student, Mayo Clinic School of Medicine, Mayo Clinic College of Medicine and Science, Scottsdale, Arizona; ORCID: https://orcid.org/0000-0002-6155-6788. K.R. Richter is a student, Mayo Clinic School of Medicine, Mayo Clinic College of Medicine and Science, Scottsdale, Arizona; ORCID: https://orcid.org/0000-0003-1655-5767 . W.L. Asprey is a student, Mayo Clinic School of Medicine, Mayo Clinic College of Medicine and Science, Scottsdale, Arizona.
Certain medical schools have begun teaching courses in health systems science (HSS) to train medical students in skills aimed to improve health care in the United States. Although substantial research has been done on the potential benefit of HSS courses, reactions from students have not been reported. In this Invited Commentary, five medical students who have completed the first year of a longitudinal HSS course at the Arizona campus of the Mayo Clinic School of Medicine offer their observations of how early exposure to HSS affected their reactions to subsequent course work and current events in health care. The authors describe the HSS course and outline three benefits they have observed from their experience so far: (1) thinking more critically about health care delivery during all educational experiences, (2) gaining a better understanding of the complexity of the health care system, and (3) having a greater consideration for the many facets of health care delivery. The HSS course helped the authors identify health systems problems, develop solutions that incorporated diverse domains of health care delivery, and recognize the role and responsibility of the physician as an agent of change in a health care system.
Concerns and Responses for Integrating Health Systems Science Into Medical Education Jed D. Gonzalo, MD, MSc, Kelly J. Caverzagie, MD, Richard E. Hawkins, MD, Luan Lawson, MD, MAEd, Daniel R. Wolpaw, MD, and Anna Chang, MD
개인과 모집단의 건강을 개선하기 위해, 미국의 의과대학은 의사 역량과 의료 시스템의 진화하는 요구를 일치시키기 위해 변화하고 있다.1 이를 위해, 새로운 3개 필러 프레임워크는 인구 건강, 보건 정책, 고부가가치 진료, 전문가 간 팀워크, 리더십, 품질 향상 및 환자 안전을 포함하는 진화하는 분야인 [보건 시스템 과학(HSS)과 기초 및 임상 과학]을 통합한다. 지난 10년 동안 학부 의학 교육(UME)과 대학원 의학 교육에서 ACME(Accreditation Council for Graduate Medical Education) 시스템 기반 실습(SBP) 및 PBLI(Practice-Based Learning and Enhancement) 역량과 관련된 HSS 개념이 등장했다. 많은 사람들이 HSS를 시스템에 준비된 의사를 개발하는 데 필요한 다음 중요한 커리큘럼 초점으로 간주하지만, HSS를 의료 교육에 대규모로 의미 있게 통합하는 것은 여전히 제한적이다. 이러한 불일치의 원인에는 초기 커리큘럼 방법, 교수 전문 지식 부족 및 검증된 평가 방법 수가 포함된다.
To improve the health of individuals and populations, U.S. medical schools are transforming to align physician competencies with evolving health system needs.1To this end, a new three-pillar framework integrates the basic and clinical sciences with health systems science (HSS), an evolving field, which includes population health, health policy, high-value care, interprofessional teamwork, leadership, quality improvement, and patient safety.2–4Over the past decade, HSS concepts relevant to the Accreditation Council for Graduate Medical Education (ACGME) systems-based practice (SBP) and practice-based learning and improvement (PBLI) competencies have emerged in undergraduate medical education (UME) and graduate medical education.5Although many consider HSS the next critical curricular focus needed to develop systems-ready physicians, large-scale, meaningful integration of HSS into medical education remains limited.2,6–8Reasons for this mismatch include nascent curricular methods, a paucity of faculty expertise, and a limited number of validated assessment methods.9–11
HSS 커리큘럼 혁신 노력의 주요 과제는 (학생, 교육자, 임상의, 과학자 및 보건 시스템 리더를 포함하여) [이해 관계자의 수용 및 참여]와 관련이 있다. 학생들은 학습 시간의 할당과 시험과 레지던트 매치에 집중해야 하는 필요성과 가능한 최고의 의사가 되는 것에 대한 긴장감에 대해 걱정한다. 교육자들은 HSS 과정 작업을 통합하고, 새로운 내용을 가르칠 교직원을 찾고, HSS 채택을 용이하게 하기 위해 교육 과정에 필요한 공간을 정당화하기 위해 고군분투하고 있다.15
A major challenge in HSS curricular transformation efforts relates to the receptivity and engagement of stakeholders, which include students, educators, clinicians, scientists, and health system leaders.10,12,13Students worry about the allocation of learning time and the tension of balancing becoming the best physician possible with the need to focus on examinations and residency matches.14Educators struggle to justify the space needed in the curriculum to integrate HSS course work, find faculty to teach the new content, and change institutional culture to facilitate the adoption of HSS.15
컨텍스트 Context
2013년과 2016년 사이에, 32개의 미국 의과대학은 그들의 교육 프로그램에 대한 일련의 변형적 변화에 대해 교육 보조금 가속화를 받았다. 여러 학교는 "의료 시스템 내에서 환자와 모집단에 대한 의료 제공의 품질, 결과 및 비용을 개선하는 원칙, 방법 및 실천"으로 정의되는 HSS를 향상시키기 위한 대규모 노력을 시작했다. 이러한 학교들이 HSS를 향상시키기 위해 사용한 교육 전략은, 교실에서의 학습을 [상황 학습을 지원하면서, 성과 및 치료 프로세스를 개선하도록 설계된] 학생들을 위한 경험적 "Value-added" 시스템 역할(예: 환자 네비게이션 및 건강 코칭)과 결합하는 데 초점을 맞췄다. 이러한 HSS 경험은 환자 치료에 가치를 더하고 시스템 역량을 개발하려는 의도된 목표와 관련하여 기존의 교습, 사무직 또는 서비스 학습 경험과는 다르다.
Between 2013 and 2016, 32 U.S. medical schools received AMA Accelerating Change in Education grants for a spectrum of transformational changes to their education programs.17,18Several schools initiated large-scale efforts to enhance HSS, defined as “the principles, methods, and practice of improving the quality, outcomes, and costs of health care delivery for patients and populations within systems of medical care.”3,4,12,17The educational strategies these schools used to enhance HSS focused on combining classroom learning with experiential “value-added” systems roles for students (e.g., patient navigation and health coaching) that are designed to improve outcomes and care processes while supporting contextual learning.11,16,19–22These HSS experiences are different from traditional preceptorships, clerkships, or service learning experiences with regard to the intended goal of developing systems competencies as well as adding value to patient care.11,20,21
따라서 여기서 우리는 HSS 커리큘럼을 [교실 기반 과정 작업]과 [value-added systems learning role]을 모두 포함하도록 고려한다.
Accordingly, here, we consider HSS curricula to include both classroom-based course work and value-added systems learning roles.
HSS교육에 대한 우려 Concerns Regarding HSS Education
교육자, 임상의, 과학자, 보건 시스템 리더 및 저널 리뷰어와의 회의와 대화(단순성을 위해, 이하 참가자)에서 우리는 HSS를 UME로 통합하는 것과 관련된 두 가지 광범위한 우려 범주를 확인했다.
(1) HSS 학습의 목적적합성과 중요성,
(2) 교육의 물류와 실용성
From our meetings and conversations with educators, clinicians, scientists, health systems leaders, and journal reviewers (for simplicity, hereafterparticipants), we identified two broad categories of concerns regarding integration of HSS into UME:
(1) the relevance and importance of learning HSS and
(2) the logistics and practicality of teaching HSS.
학습 HSS의 목적적합성과 중요성 Relevance and importance of learning HSS
의학교육이 망가지지 않았으면, 고치지 말아라. If medical education is not broken, do not fix it.
고민. 참가자들이 자신의 교육에 대해 성찰하면서 동시에 부족함을 인정하면서도 기존 교육과정을 '충분히 잘했다'고 생각했다. 이들은 UME에서 HSS가 부족함에도 불구하고 성공적인 레지던트 매치를 꼽았고 HSS 트레이닝이 레지던트 과정, 펠로우십, 연습 기간 동안 유기적으로 이루어지기를 희망하고 있다. 결국, 그들은 지난 10년 동안의 훈련에도 불구하고 의사라는 직업을 배우는데 1년에서 2년이 걸린다고 추론했다. 따라서 변혁적 변화를 뒷받침할 즉각적인 위기는 없어 보입니다.
Concern.As participants reflected on their own education, they simultaneously acknowledged inadequacies but considered existing curricula “good enough.” They cited successful residency matches despite the lack of HSS in UME and hopes that HSS training will occur organically during residency, fellowship, and practice. After all, they reasoned, it takes one to two years to learn the job of being a physician, despite spending the preceding decade in training. Thus, there was seemingly no immediate crisis to support transformative change.
응답. 불행히도, 환자안전과 질에 관한 자료는 오늘날 건강관리 결과에서 다루어야 할 위기가 있음을 나타낸다.23,24 의료교육 개혁의 역사를 살펴보면, 오늘날 학생들은 레지던트 준비가 안 되어 있고, 전공의들은 독립진료 준비가 되어 있지 않으며, 개업의들은 의료시스템을 개선할 수 있는 지식이나 기술을 보유하고 있지 않다는 증거가 증가하고 있다. 예를 들어, 참가자는 10년간 지속된 교육을 되돌아보았을 때, 특정 질병에 대한 지식이 견고했지만, 의료 전문가와의 협력과 인구 건강 증진에 대한 그들의 기술이 부족하다는 것을 발견했다. 오늘날 의사가 HSS 역량을 갖추어야 한다는 필요성은 명백하며, 진화하는 보건 시스템이 재정 변화, 품질 개선 및 환자 경험을 해결하기 위한 대규모 변화에 따라 더욱 증가할 것이다.29 따라서, 우리는 능동적인 "시스템 사고" 렌즈를 권고하며, 이를 바탕으로 의사 훈련의 lag time을 예상하고, 교육을 의료 요구와 일치시켜야 한다.
Response.Unfortunately, data on patient safety and quality indicate that there is a crisis to address in health care outcomes today.23,24Reviewing the history of medical education reform, there is increasing evidence that today’s students are not prepared for residency, residents are not prepared for practice, and practicing physicians do not possess the knowledge or skills to improve health systems.25–28For example, participants looked back on their decade-long education and discovered that although their knowledge about specific diseases was solid, their skills in working with health care professionals and improving population health were lacking. The need for physicians to have HSS competencies is evident today and will only increase in parallel as evolving health systems undergo large-scale changes to address financing changes, quality improvement, and the patient experience.2,29Thus, we recommend a proactive “systems thinking” lens that anticipates the lag time between physician training and clinical practice and that aligns education with health care needs.30–32
HSS는 너무 복잡하고 레지던트나 실습에서 가장 잘 배운다. HSS is too complex and best learned in residency or practice.
고민. 참가자들은 HSS의 복잡성, 그리고 학생 단계에서 HSS를 조기에 도입하는 비효율성을 꼽았다. 일부 사람들은 의학교육이 "기본부터" 시작되어야 하며 임상 몰입 중에 HSS의 지식이 발달적으로 성장하도록 허용해야 한다고 믿었다.
Concern.Participants cited the complexities of HSS and the ineffectiveness of introducing it early in a student’s professional trajectory. Some believed that medical education should “start with the basics” and allow knowledge in HSS to grow developmentally during clinical immersions.
응답. 순차적 발달 접근 방식은 건전하지만, 우리는 HSS를 21세기 의사의 기술 세트와 전문적 정체성 형성의 중요한 초기 구성 요소로 본다.33 일부에서는 HSS 학습을 임상 학습 환경에 배치할 것을 권고했다.34,35 HSS 개념이 기초 및 임상 과학과 함께 통합될 경우 이는 실현 가능하다. 또한 진료 코디네이션 및 보건 시스템 개선은 기존의 직접 환자 진료 임상 기술과 병행하여 학습할 수 있다. 예를 들어, 학생들은 심장 해부학, 생리학 및 의학을 공부하면서 심장 장애에 대한 예방 가능한 재입원을 줄이는 전략을 배울 수 있다. 우리는 HSS 개념이 일찍 도입되어야 한다고 생각하지만, HSS 적용은 레지던시를 통해서 그리고 의사의 경력에 걸쳐 확장되어야 한다. HSS 개발 맵을 구축하려면 광범위한 작업이 필요하지만 이를 해결하기 위한 노력이 진행 중입니다.
Response.Although a sequenced developmental approach is sound, we view HSS as a critical early component of a 21st-century physician’s skill set and professional identity formation.33Some have recommended placing HSS learning within clinical learning environments.34,35This is feasible if HSS concepts are integrated alongside basic and clinical sciences. In addition, care coordination and health system improvement can be learned in parallel with traditional direct patient care clinical skills. For example, students can learn strategies to decrease preventable readmissions for heart failure while studying cardiac anatomy, physiology, and medications. Although we believe that HSS concepts should be introduced early, HSS application should also extend through residency and over the course of a physician’s career. Extensive work is necessary to build an HSS developmental map, but efforts to address this are under way.
초기 학생들은 건강 관리에 기여할 수 있는 기술을 가지고 있지 않으며, 그 역할들은 이미 존재한다. Early students do not have the skills to contribute to health care, and the roles already exist.
고민 참가자들은 학생들이 훈련 초기에 "건강관리팀에 기여"하는 능력에 대해 회의적이었다. 많은 사람들이 보건 시스템에 조기 학습자 통합의 효과에 대한 증거를 요청했다. 학생 작업으로 인한 최소한의 성과만 발표했을 때, 일부 학생들은 학생들이 돌봄 전달에 기여할 수 있다는 희망에 따라 구축된 프로그램을 지원하기가 걱정스러웠다. 게다가, 어떤 사람들은 이러한 "새로운 역할"이 이미 의대에서 사용되고 있다고 말했다. Concern.Participants were skeptical of students’ ability to “contribute to health care teams” early in training. Many requested evidence for the efficacy of early learner integration into health systems. With minimal published outcomes from student work, some were apprehensive to support a program built on the hope that students can contribute to care delivery. Further, some stated that these “new roles” are already used in medical schools.
응답. HSS 역량은 학생들이 복잡한 건강 시스템의 맥락에서 교실 기반 개념을 적용할 수 있는 경험적 기회를 요구한다. HSS에서 학습을 강화하는 동시에 환자 결과와 보건 시스템 성능을 향상시키기 위해 시스템 역할이 점점 더 많이 사용되고 있다. 초기 학생들의 value-added 역할에 대한 문헌이 제한적이고 여전히 나타나고 있지만, 상대적으로 '아웃사이더'라는 덕택에 학생들이 환자 경험과 진료 과정 개선에 상당한 영향을 미칠 수 있다는 일화적 증거가 있다. Response. HSS competence requires experiential opportunities for students to apply classroom-based concepts in the context of complex health systems. Increasingly, systems roles are being used to enhance learning in HSS while improving patient outcomes and health system performance.11,16,19,22,36,37 Although the literature on value-added roles for early students is limited and still emerging, there is anecdotal evidence that by virtue of being relative “outsiders,” students can have a significant impact on improving patient experiences and care processes.3,8,17,38
최근까지, 학생들에게 진단과 치료에 초점을 맞춘 전통적인 의사 과제를 넘어서는 경험적 기회를 제공하려는 노력은 거의 없었다. 그러나 HSS를 포함하는 더 넓은 렌즈를 사용하는 의료 교육 프로그램에서는 HSS 관련 역량에 대한 의대생들의 전문적인 발전을 증대시키는 새로운 역할 또는 향상된 역할이 필요하다. Until recently, there was little push to offer students experiential opportunities beyond traditional physician tasks focused on diagnostics and therapeutics. However, with medical education programs using a broader lens that includes HSS, there is a need for novel or enhanced roles that augment medical students’ professional development in HSS-related competencies.39
비록 이 중 일부는 이미 존재하는 임상적 배치(예: 임상실습생, 또는 보다 구체적으로 LIC)를 통해 달성될 수 있지만, 기존 방식의 우선 순위는 주로 의사 관련 활동을 관찰하는 데 있다. 즉, 부가 가치 시스템 역할의 목표와 목표는 기존의 경험과는 확연히 다릅니다. Health Leads Program, Teach for America/AmeriCorps 및 새로운 HSS 의대생 커리큘럼에서 증명된 바와 같이, Value-added system 역할에서 학생들은 지지advocacy와 개선에 적극적인 기여자이다. Although some of this may be achieved via already-existing clinical placements (e.g., clerkships, and more specifically longitudinal integrated clerkships), the priority in these experiences is predominantly on observing physician-related activities.40 That is, the goals and objectives of value-added systems roles are distinctly different from those of traditional experiences. In value-added systems roles, as demonstrated in the Health Leads Program, Teach for America/AmeriCorps, and new HSS medical student curricula, students are active contributors in advocacy and improvement.3,11,16,22,41
우리의 경험으로 볼 때, 오늘날 의과대학에서 성취도가 높은 젊은이들은 건강 증진에 전념하고 있으며, 많은 사람들은 이미 그렇게 하고 있다. 그들은 팀 기반 치료에 기여할 수 있다. 교육자들은 기회를 제공하고, 커리큘럼의 경계를 바꾸고, 기대치를 확장하기만 하면 됩니다.
In our experience, the high-achieving young adults in medical school today are committed to improving health, and many already have. They can contribute to team-based care. Educators only need to provide opportunities, shift curricular boundaries, and expand expectations.
HSS는 아직 진정한 과학이 아니다. HSS is not yet a true science.
고민 HSS의 개념을 제시하자 일부 참가자들은 실질적인 중요성을 인식하면서도 "HSS가 과연 공식적인 커리큘럼 시간을 가질 만한 '분야'인가?"라고 반문했다. 보건시스템이 여러 복잡한 실체와 관행으로 구성돼 있다는 점에서 "학생들에게 가르칠 과학으로 지정하기 전에 현재의 건강시스템을 이해하는 데 아직 갈 길이 있다"는 의견도 나왔다. Concern.When presented with the concept of HSS, some participants recognized the practical importance but asked, “What makes it a field that merits formal curricular time?” Given that health systems are composed of multiple complex entities and practices, some commented, “We still have a ways to go in understanding our current health systems before designating it a science to teach to students.”
응답. HSS는 [정밀의학과 같은 다른 과학과 비슷하게] 역동성을 가진, 의학 분야의 진화하는 분야이다.HSS의 많은 구성 요소(예: 시스템 과학, 팀워크, 건강 정책, 인구 건강, 환자 안전, 질 향상, 사회 및 행동 과학)는 전통적으로 의료 관행과 분리된 것으로 간주되어 온 잘 확립된 학문 분야를 대표한다. 그리고 정보학과 개선과 같은 HSS에 포함된 새로운 분야는 빠르게 경험과 의료행위에 중요한 데이터를 얻었다. Response. HSS is an evolving field in medicine, with dynamism similar to other sciences such as precision medicine. Many of the components of HSS (e.g., systems science, teamwork, health policy, population health, patient safety, quality improvement, the social and behavioral sciences) represent well-established academic disciplines that have traditionally been considered separate from medical practice. And the newer fields included in HSS, such as informatics and improvement, have rapidly gained experience and data that are critical to the practice of medicine.
의사는 환자 진료 개선에 기초·임상 과학을 적용하라는 것과 같은 방식으로, [보건 시스템 개선을 주도하고 참여]하도록 요구받으며, 보건 시스템 재설계 및 의료 교육 과정에서 [시스템 사고방식의 역할]에 대한 인식이 높아지고 있다. (적용되고 통합된 과학적 추구과 더불어) 이상적인 교육 전략과 결과를 결정하는 것을 포함하여, HSS 교육을 진전시키기 위해 많은 작업이 남아 있지만, 우리는 HSS가 개선된 환자 결과의 원동력이 될 가능성이 있다고 믿는다.
Physicians are asked to lead and participate in health system improvement in the same way they are asked to apply basic and clinical sciences to improving patient care,42and there is increasing recognition of the roles of systems thinking in the process of health system redesign and medical education.28,43Although much work remains to be done to advance HSS education, including determining ideal educational strategies and outcomes, taken together as an applied and integrated scientific pursuit, we believe HSS has the potential to be a driver of improved patient outcomes.
HSS 강의의 물류 및 실용성 Logistics and practicality of teaching HSS
이미 꽉 찬 UME 커리큘럼에는 공간이 없다. There is limited space in an already-packed UME curriculum.
고민. 참가자들은 수많은 주제에 열정적이었고, 이미 과밀된 커리큘럼에 새로운 콘텐츠를 추가할 시간을 찾는 것에 대한 우려를 제기했다. 특히 임상기술의 쇠퇴와 부적절한 과학지식을 우려했다. 그들은 학생들이 비정상적인 심장 소리를 알아내는 법을 어떻게 배우거나 정밀 의학에 바탕을 둔 유전학을 설명하는지에 대해 물었다. 그들은 또한 "무엇이 제거될 것이며, 무엇이 이러한 결정의 근거가 될 것인가?"라고 궁금해했다.
Concern.Participants passionate about numerous topics raised concerns about finding time to add new content to an already-overcrowded curriculum. In particular, they were concerned about waning clinical skills and inadequate science knowledge. They asked about how students would learn to identify abnormal heart sounds or describe the genetics underlying precision medicine. They also wondered, “What will be removed, and what will be the basis for these decisions?”
응답. 교육 지도자들과 교수진들은 대화에 참여하고, 의료 교육의 목표를 위해 인구 수요를 충족시키기 위한 노력에서 출발하는 공유된 비전을 개발하도록 권장된다. 의과대학이 강의를 줄이고, 자기주도 학습을 추진함에 따라, 교육과정에서의 [시간과 공간의 개념]은 [학습자 인지부하 및 학습성과 우선순위 지정의 과제]로 재정의된다. Response. Education leaders and faculty are encouraged to engage in dialogue and develop a shared vision, which starts with a commitment to meet population needs, for the goals of medical education.44 As medical schools decrease lectures and promote self-directed learning, concepts of time and space in the curriculum are redefined as challenges of learner cognitive load and learning outcome prioritization.
인지 부하는 더 이상 [강의 시간]과 [사용 가능한 교과서]의 함수로만 간주되지 않는다. 인지부하라는 함수는, [넘쳐나는 정보 자원, 부적절하게 교육된 커리큘럼 기대, 순차적인 고부담 시험이 따라오는 기초 및 임상 과학에서 [끊임없이 확장되는 "알고 해야 할 것"의 집합]]으로 이해된다. 지금까지, 인지 부하에 대한 이러한 contributor들의 상대적 중요성에 대해서는 거의 관심을 기울이지 않았으며, 이는 전통적인 기술과 태도의 marginalization를 초래하고(예: 신체 검진) HSS를 포함한 교육의 진보의 도입을 손상시킨다. 교육자와 제공자 모두 [학생의 요구]와 [21세기의 의술에 부합하는 학습 목표]를 의도적으로 우선시해야 할 필요가 있다.
Cognitive load is no longer considered only a function of lecture hours and available textbooks—it is also understood to include a relentlessly expanding collection of “things to know and do” in the basic and clinical sciences, supported by overflowing information resources, inadequately curated curriculum expectations, and sequential high-stakes examinations.45Little attention has been paid to the relative importance of contributors to cognitive load, resulting in the marginalization of traditional skills and attitudes (e.g., physical examination) and compromising the introduction of advances in education, including HSS.45There is a critical need for both educators and providers to deliberately prioritize learning goals that align with student needs and 21st-century medicine.
교육자들은 [학생들이 미생물 배양에 적합한 agar를 고르는 자세한 방법]을 배우면서, [환자들이 살고, 자라고, 의료 서비스를 받는 환경에 참여할 기회를 제공하지 못하는 것]을 정당화할 수 있는가? 커리큘럼 설계 및 구현은 기존의 학습자료에 봉헌된dedicated 커리큘럼 공간을 포기함으로써 추가된 각 HSS 커리큘럼 요소가 균형을 이루어야 하는 제로섬 게임을 나타낸다. 초기 학습자들은 건강경제학이나 후생유전학을 마스터할 수 있지만 동시에 둘 다 할 수는 없을 것이다. 대부분의 학생들은 보건 시스템에서 일할 것이고, 후생유전자 메커니즘을 일상 업무에 적용하는 학생 수는 줄어들 것이기 때문에, 의과대학은 전문 지식이 필요한 분야에 입학하는 학생들을 위해 advanced scientific methods는 전임상실습 교육과정이 아니라, 4학년 일렉티브 과목으로 전환할 수 있다. 인지 부하와 학습 성과 우선순위 결정이라는 이중 과제를 맡으려면 의료 대학 입학 시험, 미국 의료 면허 시험 및 정보 전달을 추진하는 전문 인증 시험을 감독하는 규제 기관과의 신중한 교수 노력과 지속적인 협상이 필요하다.
Can educators justify expecting students to learn the details of choosing the right agar for growing a microorganism yet not providing them opportunities to engage in the environments where patients live, grow, and receive medical care? Curriculum design and implementation represents a zero-sum game in which each added HSS curricular element must be balanced by relinquishing curriculum space dedicated to existing material. Early learners can master health economics or epigenetics but likely not both simultaneously. Because most students will work in health systems, while fewer will apply epigenetic mechanisms in daily practice, medical schools could shift advanced scientific methods from preclerkship curricula to senior electives for students entering fields requiring specialized knowledge. Taking on the paired challenges of cognitive load and learning outcome prioritization requires deliberate faculty effort and continued negotiation with regulatory entities that oversee the Medical College Admissions Test, United States Medical Licensing Examination, and specialty certification examinations that drive information delivery.
HSS를 가르칠 지식과 기술을 가진 사람은 거의 없다. Few faculty have the knowledge and skills to teach HSS.
고민. HSS 역량은 교육의 모든 단계에 걸쳐 지속적인 학습, 응용 및 피드백을 필요로 한다. 참석자들은 오늘날 많은 교수진이 [기초·임상과학이 중심이었던 전통적 교육 패러다임의 '산출물']이고, 그 결과 HSS롤모델은 없다고 말했다. 9,10 마찬가지로 변화요원으로 학생을 발전시키는 커리큘럼 목표를 향해, 변화의 필요성에 대한 교육이 미흡하다는 것을 시사했다. "우리는 사물을 바꿀 수 없다. 그것은 너무 복잡하다"와 같은 논평은 일반적인 사고방식으로서 [학습된 무력감]을 강조했다. Concern.HSS competence requires continuous learning, application, and feedback throughout all phases of education. Participants noted that many faculty today are “products” of the traditional education paradigm focusing on basic and clinical sciences, leaving a dearth of HSS role models.9,10Likewise, toward curricular goals of developing students as change agents, they indicated that education about the need for change falls short. Comments such as “We can’t change things; it’s too complex” underscored learned helplessness as a prevalent mind-set.
응답. (최적의 치료 환경을 이해하고, 실천하고, 가르치는) 교수진의 부족이 [HSS 통합을 위한 속도 제한 단계]가 될 필요는 없다. 전통적인 교실과 직장 교육자가 아닌 경우, 학습은 창의적으로 일어날 수 있다. 오늘날의 교수진이 공식적인 HSS 교육을 받지는 못했지만, 모든 기관은 HSS의 실무에 전문가를 고용하고 있다. Response. The paucity of faculty who understand, practice, and teach in optimal care environments need not be a rate-limiting step for HSS integration.46 With nontraditional classroom and workplace educators, learning can occur with creativity.9,47 Although today’s faculty may not have received formal HSS education, every institution employs experts in the practice of HSS.
그러나 많은 사람들은 전통적으로 의과대학 교수진의 일원이 아니었다. 오히려 (현재 이들은) 학술 의료 센터(AMC) 내의 품질, 규제 및 재무 조직에 소속되어 있다. 학습자의 요구가 확대됨에 따라, [교수진의 정의]도 복잡한 보건 시스템을 가동시키고 규제적 및 재정적 과제를 해결하는 리더, 관리자, 일선 인력으로 확대되어야 한다. Many, however, have not traditionally been members of medical school faculty. Rather, they populate the quality, regulatory, and finance organizations within academic medical centers (AMCs). As learners’ needs expand, the definition of faculty must also expand to include leaders, managers, and frontline staff who keep complex health systems running and meeting regulatory and financial challenges.48
[전문직 간 교육]에 대한 관심이 증가하고 있는 것과 마찬가지로, 의과대학은 [임상 운영을 담당하는 교수진]과 [의료전달 시스템 직원들] 간의 전문직 간 협업에 초점을 맞추어야 한다. 다른 직업을 포함하도록 교수진의 시야가 확장된 의료 교육의 확대는 교육 목표의 정렬을 보장하고 학습자와 실무자를 위한 HSS 교육자 코호트를 확립하는 데 필요하다. 이는 건강 증진을 위한 [멘토링 강의실mentored classroom]과 [경험적 학습 이니셔티브]를 통해 [인구 건강 우선 순위, 보건 시스템 임무, 교수진과 학생의 요구]를 align할 수 있는 기회를 나타낸다. 예를 들어, 몇몇 의과대학은 HSS 관련 프로젝트를 수행하면서 커리큘럼 자료를 개발하면서 의료와 교육 시스템에 동시에 기여하는 교수진 개발의 역할을 강조한다.53
Akin to the increasing focus on interprofessional education, medical schools must embrace a focus on interprofessional collaboration among faculty and delivery system staff responsible for clinical operations. This broadening of medical education, with an expanded view of faculty to include other professions, is necessary to ensure alignment of educational goals and establish an HSS educator cohort for learners and practitioners. This represents an opportunity to align population health priorities, health system missions, and the needs of faculty and students through mentored classroom and experiential learning initiatives to improve health.49–52As exemplars, several medical schools train faculty to implement HSS-related projects while developing curricular materials, highlighting the role of faculty development in contributing to health care and educational systems simultaneously.53
교수진이 새로운 HSS 기술을 개발할 때 해결해야 할 한 가지 과제는 [이러한 제공자들이 보건 시스템 내에서 스스로를 변화요원change agent로 봐야 할 필요성]이다. 오늘날 의사 이외의 개인은 지역, 지역 및 국가 수준에서 보건 시스템과 관련된 결정을 자주 내린다. 현재와 미래의 의사는 최적의 치료 경험과 결과를 위해 변화 에이전트와 리더로서 기여할 수 있는 전문지식을 가지고 있다. 그러기 위해서는 (UME에서 시작하여 지속적인 전문성 개발로 확장되는) 의학교육은, [모든 학습자가 외부의 힘에 수동적으로 반응하기보다는 변화를 이끄는 데 필요한 역량을 갖추도록] 보장해야 한다. One challenge to be addressed as faculty develop new HSS skills is the associated need for these providers to see themselves as change agents within the health system.2,8,28,43 Today, individuals other than physicians frequently make decisions regarding health systems at local, regional, and national levels. Physicians, present and future, have the expertise to contribute as change agents and leaders for optimal care experiences and outcomes. To do so, medical education, starting in UME and spanning into continuing professional development, must ensure that all learners possess the requisite competencies they need to lead change rather than passively react to external forces.
품질 개선의 비전인 W Edwards Deming이 말했듯이, "우리의 지배적인 교육 시스템을 바꾸지 않고서는, 결코 지배적인 (의료)운영 시스템을 변화시키지 못할 것이다. 그들은 같은 시스템이다."
As W. Edwards Deming,54a quality improvement visionary, said, “We will never transform the prevailing system of management without transforming our prevailing system of education. They are the same system.”
인증기관과 인허가 위원회는 의료 교육 변혁을 지원하지 않는다. Accreditation agencies and licensing boards do not support medical education transformation.
고민. 커리큘럼 개혁은 반드시 인가 및 인가 기관의 요건을 고려해야 하므로 참가자들은 "이러한 활동이 인가 및 규제 기관에 의해 어떻게 평가될 것인가?"라고 우려했다. 게다가, 그들은 학생들이 정해진 기대치를 충족하도록 요구 받는다면, 평가가 교과 변혁을 제한하는 방식으로 학습을 추진하는가?라고 궁금해했다.
Concern. Curricular reform must consider the requirements of accrediting and licensing bodies, so participants worried, “How will these activities be judged by accreditation and regulatory agencies?” Furthermore, they wondered, if students are asked to meet set expectations, does assessment drive learning in a way that limits curricular transformation?
응답. [시스템적으로 준비된 의사를 교육한다는 목표]와 [면허증 및 이사회 검사와 전공의 선발 기준에서 HSS 개념의 상대적 부재 사이]에 현재 관계가 없음을 발견했다. 학생들은 시험에 나오는 것을 중시하며, 충분한 시험의 "부동산real estate"이 HSS를 포함할 때까지는 학생의 참여와 동기부여에 중대한 문제가 있을 것이다. 오늘날, 학교 또는 국가 수준에서 학습자에 의한 숙달에 동기를 부여할 충분한 HSS 내용을 포함하는 시험은 거의 없다.
Response.Some have observed a current disconnect between the goal of educating systems-ready physicians and the relative absence of HSS concepts from licensure and board examinations and residency selection criteria.14,55Students respect what is inspected, and until sufficient examination “real estate” includes HSS, there will be significant challenges in student engagement and motivation. Today, few examinations at the school or national level contain sufficient HSS content to motivate mastery by learners.
국가 표준과 커리큘럼 콘텐츠에 대한 합의가 임상 및 교육 커뮤니티에서 나타나고, 널리 수용되면 인증 기관(예: 의료 교육 연락 위원회 및 ACGME)에 의해 표준이 성문화된다codified. 새로운 콘텐츠가 성숙하고 증거 기반이 축적되는 데 필요한 시간은 표준이나 시험 콘텐츠 구현에 지연을 초래하여 교육 프로그램과의 일시적인 불일치를 초래한다. HSS가 고부담 시험의 일부가 될 때까지, 잠재 교과 과정은 학생들의 완전한 참여를 방해할 것이다. Consensus on national standards and curricular content emerges from clinical and education communities, and when widespread acceptance has occurred, standards become codified by accrediting bodies (e.g., the Liaison Committee on Medical Education and the ACGME).10 The time required for new content to mature and an evidence base to accumulate creates a delay in implementing standards or examination content, resulting in transient misalignment with educational programs. Until HSS becomes part of high-stakes examinations, a hidden curriculum will hinder full student engagement.14
그러나 혁신을 장려하는 표준을 통해 인증 기관은 HSS 커리큘럼 도입을 점점 더 지지하고 있다. 또한 인증 기관이 승인한 역량 프레임워크에는 HSS 컨텐츠, 특히 SBP 및 PBLI.5가 이미 포함되어 있다. 예를 들어, ACGME CLER는 [기관이 (핵심 HSS 요소인) 품질 및 안전 이니셔티브에 대한 전공의 교육생의 참여]를 포함하고 있다. However, through standards that encourage innovation, accrediting bodies are increasingly supportive of introducing HSS curricula. Furthermore, the competency framework endorsed by accrediting agencies already includes HSS content, specifically SBP and PBLI.5 For example, the ACGME Clinical Learning Environment Review holds institutions accountable for engagement of graduate trainees in quality and safety initiatives, which are core HSS elements.56
의과대학은 HSS의 표준 통합을 가속화하기 위해 규제 기관과의 지속적인 협력이 필요하다. HSS 과목 시험을 개발하기 위한 AMA 교육 컨소시엄과 국가 의료 심사원 간의 현재 협력 노력이 그러한 협력의 한 예이다. 커리큘럼 변화를 규제 표준에 맞추기 위한 지속적인 작업은 의사 실습을 위한 인증 프로그램(예: 개선 활동)의 유지보수를 포함하여 교육 연속선에 따라 HSS를 완전히 통합하는 데 중요하다.
Medical schools need continued collaboration with regulatory agencies to accelerate the incorporation of HSS into standards.10Current collaborative efforts between the AMA Education Consortium and the National Board of Medical Examiners to develop an HSS subject examination are one example of such collaborations. Continued work to align curricular change with regulatory standards is important for the full integration of HSS along the education continuum, including maintenance of certification programs for practicing physicians (e.g., improvement activities).
진화하는 의료 시스템은 HSS 커리큘럼을 갖춘 학교와 협력할 준비가 되어 있지 않다. Evolving health care systems are not ready to partner with schools with HSS curricula.
고민. HSS 혁신에 관심이 있는 참가자들은 개선을 지속하기 위해 애쓰는 보건 시스템과의 파트너십에 대해 회의적이었습니다. "우리의 의료 시스템은 매우 많은 과제를 안고 있습니다.학생들이 이곳에서 최적의 의료 서비스를 배울 수 있는 방법을 어떻게 기대할 수 있을까요?" 역사적으로, AMC는 과학적인 발견과 혁신에서 국가를 이끌었지만, 많은 사람들은 접근, 효율성 및 결과를 개선하기 위해 고급 의료 제공 원칙을 채택하기 위해 고군분투해 왔다. 결과적으로, 학생들에게 HSS 원칙을 가르치는 의과대학들은 [그들이 원하는 커리큘럼 성과]가 [현재의 임상 학습 환경의 현실]보다 앞서나감을 발견한다. 57,58
Concern. Participants interested in HSS innovations were skeptical about partnering with health systems that are struggling to sustain improvement: “Our health system has so many challenges—How can we expect our students to learn about optimal health care delivery here?” Historically, AMCs have led the nation in scientific discovery and innovation, yet many have struggled to incorporate advanced care delivery principles to improve access, efficiency, and outcomes. As a result, medical schools teaching students HSS principles find that their desired curricular outcomes are ahead of reality in terms of current clinical learning environments.57,58
응답. 성공적인 HSS 커리큘럼은 보건 시스템 내에서 학생의 사전 임상 및 임상 학습 경험 간의 시너지를 필요로 한다. 진보advances가 이미 달성되었는지 또는 현재 진행 중인지 여부에 관계없이, 다음과 같은 몇 가지 이유로 HSS 교육을 의료 제공 시스템과 연계하는 것은 엄청난 가치가 있다. Response. Successful HSS curricula require synergy between students’ preclinical and clinical learning experiences within the health system. Regardless of whether advances have already been achieved or are currently in progress, there is tremendous value in aligning HSS education with care delivery systems for several reasons:
(1) 학생을 진료 제공 모델에 통합하는 것은 즉각적인 치료 팀을 넘어 혁신을 확장하여, 학생들이 새로운 역량을 학습하는 동시에, 문화 및 시스템 수준 결과를 변화시킬 수 있도록 돕는다.
(2) 오늘날의 학생들은 미래의 전공의와 교수진이다. 현재 교육에 있어 의료 교육 및 보건 시스템 모두의 시스템 개선으로 이어질 수 있다.
(3) 의과대학과 보건시스템 간의 긴밀한 업무 관계는 의료care 변혁을 가속화하고, 다른 병원 및 보건시스템과 AMC를 차별화하는 데 도움이 될 수 있다.
(1) integrating students into care delivery models extends innovation beyond immediate care teams, thereby helping students learn new competencies while transforming culture and system-level outcomes;
(2) today’s students are tomorrow’s residents and faculty—investing in their education now can lead to system improvements for both medical education and health systems; and
(3) closer working relationships between medical schools and health systems can help accelerate care transformation and differentiate AMCs from other hospitals and health systems.11
[빠르게 변화하는 임상 환경]은 의과대학이 보건 시스템과 더욱 밀접하게 통합되고 학생과 시스템의 역량을 모두 향상시키는 학습 문화를 육성하는 기회이다. 예를 들어 내과 병원 서비스는 재입원과 성과급 모델에 초점을 맞추고 있고, 정형외과와 심장외과 서비스는 번들 결제 프로그램을 서서히 구현하고 있으며, 종양학과 이식 서비스는 서비스 수수료 모델과 비용 절감의 필요성에 어려움을 겪고 있다. 이러한 유형의 진화하는 환경은 학습자가 자신이 통합되고 있는 복잡한 시스템에 대해 배우고 인식할 수 있는 기회를 제공할 수 있습니다.
Rapidly transforming clinical environments are an opportunity for medical schools to more closely integrate with health systems and foster a learning culture that advances both students’ and the system’s competencies.11,59–61For example, internal medicine hospitalist services are focusing on readmissions and pay-for-performance models, orthopedic and cardiac surgery services are slowly implementing bundled payment programs, and oncology and transplant services are struggling with fee-for-service models and the need to reduce costs. These types of evolving environments can provide opportunities for learners to learn about and appreciate the complex systems into which they are being integrated.
결론 Conclusion
교육자들은 의료 교육을 의료 서비스 제공의 진화하는 환경에 맞춰야 하는 과제를 안고 있습니다. HSS 커리큘럼을 전체 연속체에 걸쳐 의료 교육에 통합하기 위해 수많은 과제를 검토하고 해결해야 한다.
Educators are grappling with the challenges of aligning medical education with the evolving landscape of health care delivery. Numerous challenges must be examined and addressed to integrate HSS curricula into medical education across the continuum.
Acad Med. 2018 Jun;93(6):843-849.
doi: 10.1097/ACM.0000000000001960.
Concerns and Responses for Integrating Health Systems Science Into Medical Education
1J.D. Gonzalo is associate professor of medicine and public health sciences and associate dean for health systems education, Penn State College of Medicine, Hershey, Pennsylvania; ORCID: http://orcid.org/0000-0003-1253-2963. K.J. Caverzagie is associate dean for educational strategy, University of Nebraska College of Medicine, Omaha, Nebraska; ORCID: http://orcid.org/0000-0001-8363-8111. R.E. Hawkins is vice president, Medical Education Outcomes, American Medical Association, Chicago, Illinois. L. Lawson is assistant dean for curriculum, assessment, and clinical academic affairs and associate professor of emergency medicine, Brody School of Medicine at East Carolina University, Greenville, North Carolina. D.R. Wolpaw is professor of medicine and humanities and vice chair for educational affairs, Department of Medicine, and director, Kienle Center for Humanistic Medicine, Penn State College of Medicine, Hershey, Pennsylvania; ORCID: http://orcid.org/0000-0002-7567-2034. A. Chang is professor of medicine and Gold-Headed Cane Endowed Education Chair in Internal Medicine, University of California, San Francisco, School of Medicine, San Francisco, California.
With the aim of improving the health of individuals and populations, medical schools are transforming curricula to ensure physician competence encompasses health systems science (HSS), which includes population health, health policy, high-value care, interprofessional teamwork, leadership, quality improvement, and patient safety. Large-scale, meaningful integration remains limited, however, and a major challenge in HSS curricular transformation efforts relates to the receptivity and engagement of students, educators, clinicians, scientists, and health system leaders. The authors identify several widely perceived challenges to integrating HSS into medical school curricula, respond to each concern, and provide potential strategies to address these concerns, based on their experiences designing and integrating HSS curricula. They identify two broad categories of concerns: the (1) relevance and importance of learning HSS-including the perception that there is inadequate urgency for change; HSS education is too complex and should occur in later years; early students would not be able to contribute, and the roles already exist; and the science is too nascent-and (2) logistics and practicality of teaching HSS-including limited curricular time, scarcity of faculty educators with expertise, lack of support from accreditation agencies and licensing boards, and unpreparedness of evolving health care systems to partner with schools with HSS curricula. The authors recommend the initiation and continuation of discussions between educators, clinicians, basic science faculty, health system leaders, and accrediting and regulatory bodies about the goals and priorities of medical education, as well as about the need to collaborate on new methods of education to reach these goals.
Health Systems Science: The “Broccoli” of Undergraduate Medical Education Jed D. Gonzalo, MD, MSc, and Greg Ogrinc, MD, MS
높은 의료 지출에도 불구하고 건강 결과가 좋지 않다는 증거가 증가함에 따라, 미국의 보건 시스템은 [환자의 진료 경험 향상, 인구 건강 개선, 비용 절감, 제공자의 일과 삶의 균형 개선]이라는 4중 목표를 더 잘 달성하기 위해 의료 제공 모델을 변화시키고 있다. With increasing evidence suggesting poor health outcomes in spite of high health care spending, U.S. health systems are transforming care delivery models to better achieve the Quadruple Aim of enhancing patients’ experiences of care, improving population health, lowering cost, and improving providers’ work–life balance.1,2
[이 과정에서 중요한 니즈]는 새로운 치료 모델을 실천하고 선도할 수 있는 제공자의 능력이다. 이러한 변화는 [의과대학과 레지던시 프로그램]이 다음 세대의 [협력적으로 효과적인 시스템 기반 의사]를 훈련시킬 수 있는 새로운 커리큘럼 영역에 더 초점을 맞추게 요구한다. 의료 교육자들과 보건 시스템 지도자들은 보건 시스템 내에서 매우 필요한 변화를 촉진시키기 위해 교육 연속성을 따라 중요한 개혁을 요구해 왔다.
A critical need in this process is providers’ ability to practice and lead in new care models. These changes require medical schools and residency programs to increase focus on new curricular areas that allow for the training of the next generation of collaboratively effective, systems-based physicians.3–8Medical educators and health system leaders have made calls for significant reform along the education continuum to catalyze much-needed change within health systems.6,9–13
의대 학생들이 21세기 의료 시스템에서 성장할 수 있도록 준비하기 위해, 많은 의대들은 건강 시스템 과학(HSS) 커리큘럼을 새로운 건강 시스템 요구에 맞추고 있다. 이전에 우리는 HSS를 기초 기초 및 임상 과학을 보완하는 세 번째 교육 축으로 설명하였다.8 HSS는 "의료 시스템 내에서, 환자와 모집단에 대한 의료 전달의 품질, 결과 및 비용을 향상시키는 원칙, 방법 및 실천"으로 정의된다. HSS 요소는 가치 기반 관리, 인구 보건, 전문가 간 협업, 보건 시스템 개선 및 시스템 사고와 관련된 종합적인 역량 프레임워크를 제공한다.
To prepare medical students to thrive in a 21st-century health care system, many medical schools are aligning health systems science (HSS) curricula with emerging health system needs. Previously, we have described HSS as the third educational pillar that complements the foundational basic and clinical sciences.8HSS is defined as the “principles, methods, and practice of improving quality, outcomes, and costs of health care delivery for patients and populations within systems of medical care.”14The HSS pillar provides a comprehensive framework of competencies related to value-based care, population health, interprofessional collaboration, health system improvement, and systems thinking.8,15,16
의과대학은 새로운 HSS 강좌를 이끌고 가르칠 수 있는 교육자를 위해 자원을 할당하고, 커리큘럼 공간을 찾고, 식별하기 위해 노력하고 있다. 17,18 그러나, HSS 강의에서 가장 중요한 도전 중 하나는 학생들의 수용성과 참여이다. 많은 학생들이 완전히 참여하는 반면, 다른 학생들은 "높은 수익률"로 인식되지 않는 역량에 전념하는 교육 시간에 불만족스러워 한다.
Medical schools are struggling to allocate resources for, find curricular space for, and identify educators able to lead and teach new HSS coursework.17,18Perhaps one of the most significant challenges in HSS teaching, however, is students’ mixed receptivity and engagement.19–21Many students are fully engaged while others are dissatisfied with curricular time dedicated to competencies not perceived as “high yield.”19,22,23
문제가 더 복잡해지는 것은, 학생들이 학습 환경에서 [HSS 역량에 대한 지원 및 역할 모델링]의 차이가 매우 큰 상황highly variable에 직면하기 때문이다. HSS 학습은 일부 학생들에게 "브로콜리"입니다. 그들은 그것이 그들에게 유익하다는 것을 깨닫고 앞으로 그들에게 이익을 줄 수도 있지만, 도입 단계에서 입맛에 맞지 않을 수도 있고, 그들은 그 순간에 그것을 인식하지 못할 수도 있다. 그 결과 많은 의과대학에서 HSS에 대한 열의가 커리큘럼에서 "최저 성과자"의 위치로 전이되어 학생과 교직원의 불만이 높아지고 HSS 과정 이사와 교육 리더십이 잠재적으로 취약한 위치에 놓이게 될 수 있다.
This is compounded when students encounter highly variable support for and role modeling of HSS competencies in learning environment settings.24,25HSS learning is “broccoli” for some students—they may realize it is good for them and will benefit them down the road, but it may not be palatable during introductory phases, and they may not appreciate it in the moment. As a result, at many medical schools, enthusiasm for HSS may devolve into a position of “lowest performer” in the curriculum, furthering student and faculty dissatisfaction and placing HSS course directors and education leadership in potentially vulnerable positions.
문헌에서, HSS 커리큘럼의 학생 수용성과 관련된 struggle은 잘 설명되지 않는다. 우리의 경험에서, 투쟁은 종종 다른 의과대학의 교육자들 사이의 비밀스럽고 개인적인 대화에서 확인된다. 의료 시스템의 지속적인 변혁을 위해, 의료 교육은 실시간 문제에 대한 건강한 대화를 촉진하고 이러한 요구에 부합하기 위해 자체의 변화를 가속화해야 한다.
Struggles related to student receptivity of HSS curricula are not well articulated in the literature. In our experience, the struggles are often identified in confidential, personal conversations amongst educators from different medical schools. For the continued transformation of health systems, medical education must promote healthy dialogue about real-time challenges and accelerate its own changes to align with these needs.
우리는 글로벌 HSS 커리큘럼 개혁에서 11년 이상의 결합된 경험을 가진 2개의 미국 의대를 대표한다. 우리의 커리큘럼은 초기 구현 단계를 훨씬 넘어섰다.26 커리큘럼 구현 "성과 격차" 개념을 지침으로 삼아, 우리는 HSS 커리큘럼에 대한 [학생 참여]의 성공과 과제를 탐색하고, HSS 혁신의 근본적인 과제에 대한 광범위한 이해를 해결할 수 있는 5가지 주요 문제의 재검토를 요구한다.
We represent 2 U.S. medical schools with over 11 years of combined experience in global HSS curricular reform, and our curricula are well beyond initial implementation phases.26Using the curricular implementation “performance gap” concept as a guide, we explore successes and challenges of student engagement in HSS curricula and call for a reexamination of 5 key issues that may address the broader understanding of underlying challenges of HSS innovations.26,27
컨텍스트 및 과정 작업 Context and Coursework
다트머스의 가이젤 의과대학과 펜 주립 의과대학(PSCOM)은 모두 HSS에 통합된 종방향 콘텐츠를 구축한 몇 년간의 경험을 가지고 있다. 가이젤은 의료 전달 과학 제목을 사용하는 반면, PSCOM은 HSS를 사용하지만 도메인, 콘텐츠 및 기술은 유사합니다(표 1). 이 두 가지 종단 커리큘럼은 모두 학생들이 임상 전 해에 기본 개념을 배우고, 서기에 적용하며, 의과대학이 거의 끝나갈 즈음에 캡스톤 경험을 할 수 있도록 만들어졌다.
Both Geisel School of Medicine at Dartmouth and Penn State College of Medicine (PSCOM) have several years of experience building integrated, longitudinal content in HSS. Geisel uses the Health Care Delivery Science title, while PSCOM uses HSS, but the domains, content, and skills are similar (Table 1).14,16,26,28Both of these longitudinal curricula were built for students to learn the basic concepts in the preclinical years, apply those in the clerkships, and then have a capstone experience near the end of medical school.
HSS 강좌의 성공 사례 Successes of HSS Coursework
HSS 과정 연구는 여러 단계에서 성공을 거두었다.
건강 시스템과 환자의 관점에서, 이 강좌는 새로운 교육자들을 학문적 임무에 포함시키고 의대와 보건 시스템 사이의 교량 건설을 촉진하는 기회를 만들었다.
시스템 역할에서 일하는 학생들은 환자 진료(2014년 이후 학생 작업에 의해 긍정적인 영향을 받은 1,100명 이상의 Penn State Health 환자)와 시스템 수준 변화(Geisel 및 PSCOM의 4학년 학생들이 지난 5년간 완료한 60개 이상의 품질 개선 [QI] 프로젝트)에 차이를 보이고 있다.
커리큘럼은 전문직 간 교육 및 서비스 학습을 위한 의료 교육 표준 연락 위원회와 여러 미국 의학 대학 협회(AAMC) 졸업 설문지 항목과 관련하여 우리 학교를 긍정적으로 위치시켰다.
학습 관점에서, 학생들은 건강의 사회적 결정요소에 이르기까지 지역 마이크로 시스템에 영향을 미치는 QI 프로젝트 설계에 이르기까지 새로운 HSS 역량 획득을 보여준다.
The HSS coursework has shown successes at several levels.
From a health system and patient perspective, the coursework has created opportunities for incorporating new educators into the academic mission and stimulated bridge building between the medical school and health system.
Students working in systems roles are making a difference for patient care (over 1,100 Penn State Health patients positively impacted by student work since 2014) and for system-level changes (more than 60 quality improvement [QI] projects completed by fourth-year students at Geisel and PSCOM over the past 5 years).20,29,30
Additionally, the curricula have positioned our schools positively with regard to the Liaison Committee on Medical Education standards for interprofessional education and service learning and several of the Association of American Medical Colleges (AAMC) Graduation Questionnaire items.31
From a learning perspective, students demonstrate their acquisition of new HSS competencies, spanning social determinants of health to the design of QI projects that impact local microsystems.20,32
커리큘럼 변경의 성능 격차 재분석 Reimagining the Performance Gap in Curricular Change
우리의 커리큘럼 작업은 계획, 시작 및 실행 단계를 거쳤고 제도화 단계로 접어들고 있습니다.33 예상대로, 우리의 커리큘럼은 몇 가지 과제에 직면했다.33 학생의 "과목 퀄리티" 평가등급(단기 평가를 위해 쉽게 이용할 수 있는 기본 측정 기준)은 다른 과목에 대한 각 학교의 평균보다 훨씬 낮으며, 경우에 따라서는 모든 과목 중 가장 낮은 점수이다. "성능 격차" (또는 "실현 딥")와 일치하여, 구현 과정의 낮은 점수는 우리가 예상했던 것이다.
Our curricular work has gone through the planning, initiation, and implementation phases and is settling into the institutionalization phase.33As anticipated, our curricula have encountered several challenges.33Students’ ratings of “course quality” (the primary, readily available metric for short-term evaluation) are well below our respective schools’ mean for other courses and, in some cases, are the lowest scores of any course. Aligned with the “performance gap” (or “implementation dip”), we expected low scores during implementation.27,33,34
"성과 격차performance gap"는 ipmlementation 후 성능 저하가 발생하는 것으로, 커리큘럼 변화 중에 나타나는 현상이며, 몇 번의 반복 후에 "신규 최고치new highs"로 상승한다(그림 1). 성과 격차는 이론적으로는 [인식 또는 성과 기반 평가와 같은 모든 평가 메트릭]을 사용하여 설명이 가능하지만, HSS에 관해서는 다른 성능 메트릭이 없다는 점을 고려할 때 우리는 학생 인식 점수를 사용했다. 초기 몇 년 동안, 새로운 세션이 시범 운영되었고, 새로운 교육자들이 교육 환경에 적응하고 있었다. 지속적인 개선을 통해 세션은 변경, 추가 또는 삭제되었고, 교육자들은 의과대학 교육환경에 대한 기술과 친숙함을 향상시켰으며, 코스 디렉터는 적용가능성을 높이기 위해 과정을 더 잘 구성하였다.
The performance gap is a phenomenon seen during curricular change where a decrease in performance occurs after implementation, followed by a rise to “new highs” after several iterations (Figure 1).27,34The performance gap can theoretically be illustrated using any evaluation metric, such as perceptions or performance-based assessments, but given the lack of other performance metrics in HSS, we have used student perception scores. During initial years, new sessions were piloted, and new educators were being acclimated to the teaching environment. With continuous improvement, sessions were changed, added, or dropped; educators improved their skills and familiarity with the medical school teaching environment; and course directors better framed courses to increase applicability.
그러나, 우리는 커리큘럼 파일럿의 초기 시험과 새로운 콘텐츠의 도입을 훨씬 넘어선다. 초급 과정에 노출된 첫 학생들이 졸업했다. 시간의 경과와 상당한 개선에도 불구하고, 도전은 학생들의 만족에 남아 있다. 매년, 우리는 일반적으로 각 학급의 학생 중 3분의 1이 고학년 학생들의 약간 더 높은 평점을 가지고, (1) 불량, (2) 평균, (3) 양호로 그 과정을 평가할 것이라는 것을 발견했다. 대부분의 커리큘럼에 대한 예상 복구와 HSS 커리큘럼에 대한 경험 사이의 이러한 차이를 우리는 "HSS 성과 격차"라고 부른다(그림 1B 참조). However, we are well beyond initial trials of curricular pilots and introduction of new content. The first students exposed to initial courses have graduated. Despite the passing of time and significant improvements, challenges remain in student satisfaction. Annually, we have generally found that one-third of students in each class will rate the coursework as (1) poor, (2) average, and (3) good, with slightly higher ratings from upper-year students. This gap between the expected recovery for most curricula and our experience in HSS curricula we term the “HSS performance gap” (see Figure 1B).
표면적인 수준에서, 의과대학은 새로운 교육자, 방법 또는 평가와 같은 기술적 수단을 통해 "고치려는" 충동이 들 수 있다. 그러나 더 깊은 차원에서 볼 때, HSS의 성과 격차는 핵심 교육 임무 내에서 복잡한 긴장을 암시한다. 근본 원인과 높은 수준의 솔루션은 개별 세션의 가장자리를 맴도는 수준을 넘어 해결해야 하는 시스템 관련 요소 네트워크를 포함한다. 이러한 변화는 [어느 한 의대의 영역 밖]에 있을 수 있으며, [의학교육에 존재하는, 시간과 전략이 필요한, 더 큰 문화적 문제]를 반영할 수도 있지만, 원하는 결과를 얻기 위해 적극적으로 추구할 필요가 있다.
From a superficial level, a medical school’s impulse may be to “fix it” through technical means, such as new educators, methods, or evaluations. On a deeper level, though, the HSS performance gap suggests a complex tension within the core educational mission. Root causes and high-leverage solutions likely lie beyond tinkering around the edges of individual sessions and involve a systems-related network of factors that need to be addressed. These changes may lie outside the purview of any one medical school and reflect larger cultural issues in medical education that require time and strategy, but they need to be pursued aggressively to achieve desired outcomes.
HSS 과정에는 대부분의 다른 커리큘럼과 차별화되는 고유한 요소가 있어 "성과 격차"를 재평가할 수 있다. 대부분의 커리큘럼에서의 implementation dip에 뒤따르는 수 개월에서 수 년의 복구와 달리,HSS 과정 연구는 전체 복구와 지역 및 대규모 의료 교육 변화의 조합을 위해 최소 몇 년의 시간이 필요할 것으로 본다. 우리의 경험을 바탕으로, 우리는 HSS 성능 격차의 6가지 주요 원인을 탐구한다.
HSS coursework has unique factors that differentiate it from most other curricula, prompting a reimagining of the “performance gap.” Rather than months to several years of recovery following the implementation dip for most curricula, we believe that HSS coursework will require at least several years for a full recovery and a combination of both local and larger-scale changes in medical education. Based on our experiences, we explore 6 key drivers of the HSS performance gap.
HSS 코스의 소외 Marginalization of HSS coursework
커리큘럼을 시작하기 전에, 우리는 HSS 과정 연구에서 교육학적 난제를 파악하기 위해 의대생들과 질적인 연구를 수행했다.19 학생들은 HSS 역량이 "가능한 최고의 의사가 되기 위해 중요하다"고 보고했지만, 이것은 이사 시험과 성적에 의해 움직이는 교육 시스템과 상충되었다. 그 결과, 학생들은 HSS에 대해 상당한 우려를 나누었다. 몇 년을 빠르게 진행하면, 우리는 우리의 연구 결과가 예상했던 대로 이루어졌다는 것을 알 수 있습니다. 전임상 학생들은 보드 시험과 성적에 대한 집중력이 강하며, 일부 학생들은 HSS를 경쟁사 '콘텐츠'나 '소프트 스킬'로 보고 있어 트랙션과 몰입도를 제한한다. 우리의 의과대학에서 접근 방식은 학생들이 임상 환경에 완전히 몰입하지 않고 보건 시스템 문제의 현실에 고심하는 동안 교과과정에 HSS를 조기에 통합하는 것으로, 이는 추가 참여를 제한할 수 있다.
Before launching our curricula, we performed a qualitative study with medical students to identify pedagogical challenges in HSS coursework.19Students reported that HSS competencies were important to “become the best doctor possible,” but this was at odds with an educational system driven by board examinations and grades. As a result, students shared significant apprehensions about HSS. Fast forward several years, and we see that our findings have played out as expected. Preclinical students have a strong focus on board examinations and grades, and some students view HSS as competitor “content” or “soft skills,” which limits traction and engagement. The approach at our medical schools has been to integrate HSS early in the curriculum during a time when students are not fully immersed in clinical environments and grappling with the realities of health system issues, which may be limiting additional engagement.
100년이 넘는 기간 동안 의과대학들은 미래 성공의 주요 예측 요소로 기초 및 임상 과학 역량(즉, 과학 성적)을 강조해 왔다. 2013년까지 AAMC는 의과대학이 [학부 과학 준비]에서, (서비스, 문화적 민감성 및 대인관계 기술에 대한 동일한 가치를 부여하는) 좀 더 [전체적인 접근법]으로 주요 중점을 옮겨야 한다고 제안했다.35 이러한 역사적 맥락은 HSS 과정에 대한 대화에 매우 중요하다. 왜냐하면, [학생 참여]의 variability는 [의과대학에서 무엇을 가르치고 배워야 하는지에 대한 깊이 뿌리내린 기대]에 달려있을 수 있기 때문이다. 보건 시스템 문제에 대한 학생들의 집중을 넓히는 것은 우리의 교육 시스템에 변화된 변화를 요구하는 더 큰 문화적 도전일 수 있다.19,24
For over 100 years, medical schools have emphasized basic and clinical science competence (i.e., science grades) as the principal predictor of future success. Not until 2013 did the AAMC suggest that medical schools should shift their principal emphasis away from undergraduate science preparation to a more holistic approach that gives equal value to commitment to service, cultural sensitivity, and interpersonal skills.35This historical context is critical to the conversation about HSS coursework because variability in student engagement may be driven by deeply entrenched expectations about what should be taught and learned in medical schools. Broadening students’ focus to health systems issues may be a larger cultural challenge that requires transformational change in our education system.19,24
마지막으로, [HSS 과정이 주변부화marginalization이 되는 근원]은 [학생들이 HSS로 그리는 것]과 [커리큘럼에서 제시하는 내용] 사이의 불일치라고 믿는다. 예를 들어, 우리 학생들 중 많은 학생들이 의료 차별과 옹호에 강한 관심을 가지고 있으며, 결과적으로, 그들은 이러한 분야(예: 정책 개요 작성 방법)에만 교과 과정이 집중되기를 바란다. 이는 시스템, 개선, 환자 안전 및 생체 통계의 기본 개념에 초점을 맞춘 보다 포괄적인 HSS 프레임워크와 상충된다. 이렇게 하면 강의실에서 HSS 자료를 프레임으로 구성할 때와 강의 중에 기대치를 설정할 때 문제가 발생합니다.
Lastly, we believe that the root of some marginalization of HSS coursework is a mismatch between what students envision as HSS and what content is presented in the curriculum. For example, many of our students have a strong interest in health care disparities and advocacy, and as a result, they expect coursework to focus exclusively on these areas (e.g., how to write a policy brief). This is at odds with a more comprehensive HSS framework focusing on underlying concepts of systems, improvement, patient safety, and biostatistics. This creates a challenge when framing HSS material in the classroom and when setting expectations throughout the coursework.
분야별 HSS의 유아기 Infancy of HSS as a field
기초과학과 임상과학에 비해 HSS는 아직 상대적으로 젊다. 기초과학은 어떤 것을 그릴 것인가에 대한 수세기간의 경험적 증거를 가지고 있으며, 임상과학은 지난 세기 동안 비약적으로 성장해 왔다.11,36 시스템, 특히 의료시스템이 어떻게 구조화되고 기능하며 실패하며 개선되었는가에 대한 과학은 단지 수십 년밖에 되지 않았다. HSS의 인식론적 기반은 여전히 형성되고 있으며, 이것은 이 자료를 학생(그리고 HSS 역량을 운용하기 위해 일하는 교수 교육자)에게 더 모호하게 느끼게 할 수 있다. 우리는 보건 시스템의 과학이 성장함에 따라 학생들의 관심을 끌고 최고의 교육 방법이 뒤따를 것으로 기대한다.
Compared with basic and clinical sciences, HSS is still relatively young. Basic foundational sciences have centuries of empirical evidence on which to draw, and clinical sciences have grown by leaps and bounds over the past century.11,36The science of how systems, and especially health care systems, are structured, function, fail, and improve is only several decades old. The epistemological foundation of HSS is still being formed, and this can make the material feel more nebulous to students (and also to faculty educators who work to operationalize HSS competencies). We anticipate that as the science of health systems grows, student traction and best teaching methods will follow.
커리큘럼과 교육자의 상대적 초창기 Relative nascence of curricula and educators
많은 HSS 교육자들은 그들의 역할에 대해 처음이며 이전에 의과대학 환경에 적응하지 못했다. 우리 의과대학에서 HSS를 가르치는 교육자들은 종종 [(의료 시스템을 민첩하게 유지하고 원하는 결과에 따라 조정하는) 시스템 리더]입니다.18 예를 들어, 커리큘럼의 교육자에는 최고 품질 책임자, 최고 운영 책임자, 품질 부회장, 지역사회 홍보 책임자, 예술 및 과학 교수 및 학장이 포함된다. 일부 교육자, 특히 QI나 환자 안전 환경의 교육자들은, 전통적으로 자신을 교육자로 보지 않아왔으나, HSS 강좌에 대한 고무적인 열정을 가지고 있다.
Many HSS educators are new to their role and have not previously been acclimated to the medical school environment. Our educators are often system leaders who keep the health system nimble and aligned with desired outcomes.18For example, educators in our curricula include the chief quality officer, chief operating officer, vice chair(s) for quality, director of community outreach, professors from arts and sciences, and dean. Some educators, particularly those from the QI or patient safety environment, have not traditionally viewed themselves as educators, yet have an inspiring passion for HSS coursework.
매년, 우리는 학생 피드백에 따라 세션을 수정하고, 어떤 세션은 꼬인 부분을 해결하기 위해 몇 번의 반복이 필요합니다. 각 세션마다 의대 HSS 교수진과 콘텐츠 전문가 간의 긴밀한 협업이 필요한데, 이들 중 많은 수가 의대 목표, 목표 및 과정에 익숙하지 않을 수 있으며, 스스로 의대 교수라고 생각하지 않는 사람들이 많다. 하지만 그들은 HSS 교육에 절대적으로 중요하며, 교육과 보건 시스템의 많은 부분에서 옵니다. 예를 들어 시간이 보호되고 "교육자" 정체성이 확립된 보건학과Department of public health sciences와 달리, HSS는 (의과대학에 의해 높은 수준의 조정이 필요한) 파편화된 교육자 네트워크를 가지고 있다. 이러한 복잡성은 [(다른 과정과 다른) 고유한강의실 기반 세션의 특징]으로 이어지고, 이것이 [일부 학생들의 기대와 인지적 차이divide]를 만들어낸다. 교수진과 콘텐츠의 이동 목표는 일관성 및 품질 검사에 대한 실시간 문제real-time challenge를 야기합니다.
Each year, we modify sessions based on student feedback, and some require several iterations to work out the kinks. Each session requires close collaboration between the medical school’s HSS faculty and content experts, many of whom may not be familiar with medical school goals, objectives, and processes and many of whom do not consider themselves medical school faculty. But they are absolutely critical to HSS education, and they come from many parts of the education and health system. Unlike a department of public health sciences, for example, with dedicated faculty with protected time and established “educator” identity, HSS has a fragmented educator network that requires a high degree of alignment by the medical school. These complexities create unique features for classroom-based sessions that are different from other courses, creating a cognitive divide for some students’ expectations. The moving target of faculty and content creates real-time challenges for consistency and quality checks.
HSS 교육학의 이질성 Heterogeneity of HSS pedagogies
HSS 교육의 핵심에는 [단순 암기 방식]에서 [(의료 서비스 제공에서 발생하는 복잡한 적응형 문제에 대한) 시스템 사고 적용]으로 전환이 있다. 즉, HSS 역량은 시스템과 환자 구조 내에서 고도로 맥락화되어있다. 전문가 중심 강의에 도움이 될 수 있는 엽산 합성, 크렙스 사이클 또는 혈관염의 병리학 같은 기본 또는 임상 과학 학습과는 달리, HSS는 능동적인 학습과 시스템 구성요소의 상호 관련성 이해에 고심해야 한다.
At the core of HSS education lies a shift away from rote memorization toward application of systems thinking to complex adaptive challenges occurring in health care delivery.37–39HSS competencies are highly contextualized within a system and a patient construct.40,41Unlike basic or clinical science learning, such as folate synthesis, Krebs cycle, or pathology of vasculitis, all of which may be conducive to expert-driven lectures, HSS requires active learning and grappling with understanding the interrelatedness of system components.41,42
그 결과, HSS에서는 미니 강의, 워크숍, 환자 및 지역사회 기반 패널, 대규모 그룹 설정에서의 상호 전문가 활동 및 그룹 프로젝트가 일반적이다. 신입 의대생들은 대학 과정과 의대 동시 수업(예: 위장 출혈에 대한 강의)에서 수동적인 학습 방법에 더 익숙할 수 있다. 일부 학생들은 이런 형식에 대해 '비효율적'이라며 '내가 알아야 할 것만 말해달라'고 목소리를 높이고 있다.
As a result, mini-lectures, workshops, patient- and community-based panels, interprofessional activities in large-group settings, and group projects are the norm. New medical students may be more accustomed to passive learning methods from college coursework and concurrent medical school classes (e.g., lecture on gastrointestinal bleed). Some students are vocal in their dissatisfaction with such formats, stating that they are “inefficient,” and commenting, “Just tell me what I need to know.”
학생들의 직업적 역할에 대한 인식으로 인한 긴장감 Tension with students’ perception of their professional role
HSS 경험을 통해 학생들은 환자 건강에 영향을 미치는 건강 시스템의 과제에 대해 배운다. 이것은 또한 이러한 현실에 대해 배우는 것에 대한 좌절감을 유발한다. 일부 학생들은 자신이 변화를 줄 수 있는 입장이 못 된다거나, '할 수 있는게 없다'거나, 명확한 답이 없다고 보고 좌절한다. 대신, 다른 학생들은 시스템 문제를 "고칠fix" 명확한 해답을 보기 때문에 좌절한다.43 일부 교수 멘토들이 그러하듯, 일부 학생들은 건강 시스템을 알고 개선하는 것이 [그들의 직업적인 역할의 일부가 아니라]고 단정짓는다. 이 과제는 [시스템 마인드를 갖춘 의사가 되는 것]이 [지식 습득]만큼 새로운 전문적 정체성을 개발해야 한다는 사실 때문에 더욱 복잡해진다.44-46대부분의 의과대학에서 하나의 과목은 몇 주 동안 지속되며, 단일 장기 시스템에 초점을 맞추고 과목에 대한 인식된 "숙달성"을 허용한다.
Through HSS experiences, students learn about the challenges in health systems that are affecting patient health. This also causes frustration with being taught about these realities. Some students are frustrated because they believe that they are not in a position to make changes, that there is “nothing to do about it,” or that there is no clear answer. Alternatively, other students are frustrated because they see clear answers to “fix” systemic problems.43Along with some faculty mentors, some students make it clear that knowing and improving health systems is not part of their professional role. This challenge is compounded by the fact that being a systems-minded physician requires the development of a new professional identity as much as knowledge acquisition.44–46Most medical school courses last several weeks, focusing on a single organ system and allowing for a perceived “mastery” of the subject.
그러나 HSS 교육 과정은 시스템 시민으로서의 새로운 전문적 정체성을 향한 여정입니다. 이제 막 시작한 지 얼마 안 되어서는 끝을 알 수 없습니다.
이 진화하는 직업적 정체성은 이타주의, 신뢰도, 다른 사람에 대한 존중과 같은 전통적인 의사적 특성을 필요로 하는 것이다.
그러나, 그것은 또한 전문적인 역할의 의무적인 측면으로서 시스템의 부족한 부분을 돌보고 해결해야 하는 확장된 사고방식을 포함한다.
처음 몇 년간의 과정 공부 후에, 학생들은 아직 여행의 결실을 보지 못했고 그들이 곧 방문할 장소를 알지 못한다. 그러나 의과대학 마지막 학년이 가까울 때, 우리는 HSS 학습과 의료 시스템의 복잡성에 대한 학생들의 평가가 증가하고 있음을 본다.
HSS coursework, however, is a journey toward a new professional identity as a systems citizen—it is hard to see the end when you have only just started.26,46–48This evolving professional identity is one that requires the traditional physician traits, such as altruism, trustworthiness, and respect for others.45,46However, it also involves an expanded mindset that necessitates caring for and addressing insufficiencies in the system as obligatory aspects of the professional role.26,49After the first few years of coursework, students have not yet seen the fruits of their travels and do not know the places they will soon visit. Near the final years of medical school, however, we see our students’ growing appreciation for HSS learning and complexities of the health care system. This is reflected in personal statements where systems experiences are highlighted, and many upper-year students are realizing that these experiences are prized by residency programs when they are discussed at length during interviews.
HSS 통합에 대한 비실용 문화 Unconducive culture to HSS integration
임상 회전 중에, 학생들이 레지던트, 동료, 그리고 주치의가 특정한 행동을 구체화하는 것을 볼 때, 학생들은 HSS 커리큘럼에서 추구하는 "새로운" 전문적인 역할을 보지 못할 수도 있다. 학생들이 항상 높은 기능을 하는 임상 팀에 포함되는 것은 아니며, 의과대학 교육과정이 이상적인 HSS 학습 사이트를 만드는 것은 어려울 수 있다. 우리 학생들 중 일부는 우리에게 "왜 우리는 비현실적이거나 현실적이지 않은 것을 배우고 있는가?"라고 물었습니다. 학생은 다른 의료 전문가에 대해 의사로부터 경멸적인 의견을 들을 수 있으며, 의사가 HSS 활동에 의미 있게 참여할 수 없는 것을 목격할 수 있다(예: 임상에서 말기 치료 계획을 다루기에 시간이 충분하지 않은 의사의 좌절).
While on clinical rotations, when students see residents, fellows, and attending physicians embody certain behaviors, they may fail to see the “new” professional role that is being sought in HSS curricula.45,46Students are not always embedded in high-functioning clinical teams, and it can be challenging for a medical school curriculum to create ideal HSS learning sites. Some of our students have asked us, “Why are we being taught something that is impractical or not reality?” Students may hear derogatory comments from physicians about other health care professionals, and they may witness a physician’s inability to participate meaningfully in HSS activities (e.g., a physician’s frustration with insufficient time in clinic to address end-of-life care planning).
학생들은 많은 우수한 레지던트, 교직원, 의료 전문직 종사자들과 함께 일하지만, "현실의" 의료 전달에 대한 몇 마디 말이면 학생이 HSS 콘텐츠로부터 disengage 되는 데에 충분하다. 우리는 HSS 콘텐츠가 각각 모든 커리큘럼 영역과 진료 전달 시스템에 완전히 통합되는 교육 및 임상 시스템을 구축해야 한다. 이것이 일어나기 전까지, 우리는 교육자들이 계속해서 유사한 투쟁을 겪을 것이라고 믿는다.
Students work with many excellent residents, faculty, and health care professionals, but it only takes a few comments about the “real” delivery of care for a student to become disengaged with HSS content. We need to build both educational and clinical systems where the HSS content is fully integrated into all curricular areas and the care delivery system, respectively.25,50,51Until this occurs, we believe that educators will continue to encounter similar struggles.
주요 문제 재점검 Reexamination of Key Issues
우리는 이러한 5개 영역을 해결하면 implementation dip의 복원과 HSS 수행능력 gap의 일부 폐쇄가 가속화되고 HSS 커리큘럼의 "new highs" 달성이 용이해질 것으로 가정한다.
We believe that these drivers influencing student receptivity of HSS coursework and the HSS performance gap (Figure 1B) prompt a reexamination of 5 key issues for medical schools (seeTable 2for descriptions and strategies). We hypothesize that addressing these 5 areas will accelerate recovery of the implementation dip and some closure of the HSS performance gap and will facilitate achievement of “new highs” for HSS curricula.
의과대학 모집과정 Medical school recruitment processes
의료 교육이 의료 시스템 진화에 있어 실습하는 차세대 의사를 준비할 사회적 책임이 있다면, 이러한 결과를 달성하기 위해 입학 절차를 조정하는 것도 우리의 책임인가? 많은 학생들이 HSS 자료에 완전히 참여하고, 훌륭한 질문을 하고, 교수진과 함께 HSS와 관련된 학문적 연구를 추구한다. Engage하지 않은 학생들은 HSS 학습을 "deal with"해야 하는 것에 대한 불만을 가질 수 있다. If medical education has a social responsibility to prepare the next generation of physicians for practicing in evolving health systems, is it also our responsibility to adapt our admissions processes to achieve this outcome? Many students are fully engaged in HSS material, ask excellent questions, and pursue HSS-related scholarly work with faculty. Those who are not engaged can be vocal about their dissatisfaction with having to “deal with” HSS learning.
HSS 교육의 "얼리 어답터"가 되고 시스템 분석과 개선을 전문적 책임으로 완전히 받아들일 잠재력을 가진 의대생을 더 많이 모집하는 것이 우리의 책임인가?52
학생들이 의대에 입학할 때 HSS에 대한 초점을 완전히 이해하고 있는가?
대학들은 학생들이 의과대학과 건강관리라는 새로운 문화에 들어갈 수 있도록 준비하고 있는가?
Is it our responsibility to be recruiting more medical students who will be “early adopters” of HSS education and who will have the potential to fully embrace systems analysis and improvement as a professional responsibility?52
Do students fully understand the focus on HSS when they are entering medical school?
Are colleges and universities preparing students ably to enter this new culture of medical school and health care?
이러한 질문의 모든 측면에 중요한 의미가 있으며, 이는 HSS가 학부 의학교육에서 진화하고 자리매김함에 따라 반드시 고려되어야 한다.
There are important implications on all sides of these questions, which must be considered as HSS evolves and establishes itself in undergraduate medical education.
교수개발 Faculty development
많은 HSS 교육자들은 HSS 원칙을 교육받지 못했거나 의과대학 환경의 가장 좋은 교육 방법과 더 큰 맥락에 익숙하지 않기 때문에, 이러한 교육자들은 학습자의 요구를 충족시키기 위해 의과대학과 보건 시스템의 도움을 받아야 한다. 상당한 투자가 필요하지만, HSS 기술 격차를 해소하기 위한 교육을 교수진에게 제공해야 할 필요성이 커지고 있다. Since many HSS educators have not been educated in HSS principles and/or are unfamiliar with the best teaching methods and larger context of the medical school environment, these educators need to be assisted by the medical school and health system to meet learners’ needs. Although requiring significant investment, there is a growing need to provide faculty with education to address their gaps in HSS skills.10,39,53
교수교육을 위한 전국 컨퍼런스(예: 품질 및 안전 교육자 아카데미)가 존재하지만, 이러한 프로그램은 지역적 상황적 요인이 없는 짧은 몰입형 프로그램이며, 몇 가지 핵심 HSS 역량 영역을 생략한 "QI"에 더 좁게 초점을 맞춘다. 이스트 캐롤라이나 대학의 질 아카데미 교사, 펜 스테이트의 건강 시스템 과학 아카데미, 다트머스 대학의 의료 전달 과학 석사 프로그램은 지역 교육 이니셔티브가 어떻게 만들어져서 지역 요구를 충족시킬 수 있는지를 보여주는 예이다. National conferences for faculty education exist (e.g., Quality and Safety Educators Academy); however, these programs are short immersive programs, devoid of local contextual factors, and focus more narrowly on “QI,” missing several key HSS competency areas.54 The Teachers of Quality Academy at East Carolina University, Health Systems Science Academy at Penn State, and Master of Health Care Delivery Science program at Dartmouth are examples of how local education initiatives can be created to help fill local needs.55
또한, 성인 학습 이론을 사용하는 교육 방법 내에서 보다 완전하게 수용하기 위해 교육자의 교육 기술 개발에 초점을 맞춘 교육 프로그램과 개입을 만들 필요가 있다. 우리는 (HSS로 변화하는 데) 속도 제한 단계가 현재 HSS 역량을 가르치는 교육자들에 대한 기대의 변화라고 믿는다.
In addition, there is a need for creating educational programs and interventions focused on developing educators’ teaching skills to more fully embrace adult learning theories within the instructional methods they use.18We believe a rate-limiting step is a transformational change in expectations for educators currently teaching HSS competencies.
HSS 학술적 "보금자리" 구축 Building an HSS academic “home”
교수진 개발 외에도, 우리는 의료 시스템 과학을 구축하기 위한 교수진과 시스템을 개발할 기관들을 강력히 지지한다. 많은 기관들이 이러한 연구자들과 개선자들을 위한 [학술적 보금자리] 역할을 하는 센터를 만들었다. 보건정책 및 임상실천을 위한 다트머스 연구소, Mayo Clinic Kern Center for the Science of Health Care Delivery Science, 뉴욕 대학교의 의료 전달 과학 부서가 몇 가지 예에 불과하다. In addition to faculty development, we strongly advocate for institutions to develop the faculty and systems to build the science of health systems. Many institutions have created centers that serve as an academic home for these researchers and improvers. The Dartmouth Institute for Health Policy and Clinical Practice, the Mayo Clinic Kern Center for the Science of Health Care Delivery, and the Division of Healthcare Delivery Science at New York University are but a few examples.
미국에서는 국립보건원이 국립중개과학진흥센터를 설립하고, 보훈처 국가VA품질학사 프로그램은 의료개선 과학 분야의 의사와 박사 준비 간호사를 대상으로 교육을 실시하고 있다. 이러한 센터와 프로그램은 서로 다른 명칭을 사용하지만, 의료 서비스의 품질, 안전 및 가치를 향상시키고 학술적 환경에서 HSS의 인지도를 높이기 위한 체계적이고 학술적인 노력을 증진한다는 공통의 목표에 의해 결속되어 있다. In the United States, the National Institutes of Health created a National Center for Advancing Translational Sciences, and the Department of Veterans Affairs national VA Quality Scholars program provides training for physicians and doctoral-prepared nurses in the science of health care improvement. Even though these centers and programs use different titles, they are bound together by a common goal of advancing the systematic, scholarly efforts to improve the quality, safety, and value of health care services and raise the profile of HSS in academic settings.56,57
또한, SQIRE(품질 개선 보고 우수성 표준) 및 StaRI(구현 연구 보고 표준)와 같은 출판 지침은 학술 문헌에서 HSS 작업을 공유하기 위한 템플릿을 제공한다. 이와 함께, 이러한 노력은 HSS의 학문적 인지도를 높이고 HSS를 위한 학문적 "가정"을 만들 것이다.
Additionally, publication guidelines like SQUIRE (Standards for Quality Improvement Reporting Excellence) and StaRI (Standards for Reporting Implementation Studies) provide templates for sharing HSS work in the scholarly literature.56,58Together, these efforts will raise the academic profile of and create an academic “home” for HSS.
평가 Evaluations
HSS가 아직 초기 영역이라는 점을 감안할 때, 여전히 학생 만족도 점수가 주된 "성과" 척도로 남아 있다. 현재 임상 환경 또는 시스템 관련 프로젝트를 통해 수행되는 학생에 대한 고차역량 평가는 불충분하다.17 HSS가 점점 더 확립되는 학부 의학교육 영역이 되려면 더 강력한 평가와 결과 데이터가 필요하다.
학습자가 HSS 관련 지식 기반 보드 시험에서 더 높은 점수를 획득하고 있는가?
시스템 기반 실무 및 QI 관련 이정표에 대한 학습자의 진행은 그러한 커리큘럼에 대한 노출로 더욱 가속화되고 있는가?
학습자가 인턴십, 거주지 및 실습으로 전환함에 따라 환자 및 시스템 결과가 개선되도록 어떻게 보장할 수 있습니까?
또한 HSS 관련 추가 영역이 포함된 AAMC 졸업 설문지를 변경하면 의과대학의 HSS 교육에 대한 집중을 촉진하고 이러한 영역에서 학생들의 학습에 대한 인식을 확대하는 데 도움이 될 수 있다.
Given that HSS is still a nascent field, student satisfaction scores remain a primary “outcome” measure. Current higher-order competency assessments for students performing in clinical environments or through systems-related projects are insufficient.17If HSS is to become an increasingly established area of undergraduate medical education, then more robust assessments and outcome data are required to further establish the field.
Are learners achieving higher scores on HSS-related, knowledge-based board examinations?
Is learners’ progression in systems-based practice and QI-related milestones more accelerated with exposure to such curricula?
How can we ensure that patient and system outcomes are improved as learners transition into their internships, residencies, and practice?
Also, changes to the AAMC Graduation Questionnaire that include additional HSS-related areas can help facilitate a medical school’s focus on HSS education and expand students’ perceptions of learning in these areas.
우리는 HSS 교육자와 의과대학이 학생 만족도 등급을 넘어, HSS 지식 평가, 기술 평가 및 학습자 태도 평가를 지속적으로 개발함으로써, 학습자가 의료 환경에서 의미 있는 HSS 작업에 통합될 수 있는 기회를 구축할 것을 강력히 권장한다. 궁극적으로 HSS 커리큘럼의 성공은 환자, 가족 및 지역사회에 대한 더 나은 결과와 더 나은 진료 제공 시스템에 반영되어야 한다.
We strongly encourage HSS educators and medical schools to look beyond student satisfaction ratings and continue to develop assessments of HSS knowledge, evaluation of skills, and assessments of learner attitudes while building opportunities for learners to be integrated into meaningful HSS work in health care settings.29,30,59,60Ultimately, the success of HSS curricula should be reflected in better outcomes for patients, families, and communities and better systems of care delivery.
의과대학 간 투명한 협업 Transparent collaboration between medical schools
HSS 커리큘럼을 구현하는 의과 대학과의 협력에서, 우리는 그들의 고군분투가 우리와 비슷하다는 것을 배웠다. 그러나 문헌은 이러한 문제들에 대해 투명하지 않다. 이는 효과적인 개입과 파일럿 프로젝트의 설명에 대한 출판 편향 때문일 가능성이 높다. 예를 들어, 캘리포니아 대학교 샌프란시스코의 예비 자료는 HSS 교육과 관련된 유사한 긴장감을 제시했으며, 학생들은 HSS 강좌에 대한 불만을 보고하고 있다. In our collaborations with medical schools implementing HSS curricula, we have learned that their struggles are similar to ours. The literature, however, is not transparent regarding these issues. This is likely due to publication bias of effective interventions and descriptions of pilot projects. For example, preliminary data from the University of California, San Francisco have suggested similar tensions related to HSS education, with students reporting some dissatisfaction with HSS coursework.22
불행하게도, 우리의 가장 좋은 예는 HSS 커리큘럼에 대한 그들의 "공포 이야기"를 토론하는 교육자들과의 개별 토론에서 나온다. 한 교육자는 2000년대 초에 HSS 과정을 시행했던 의과대학의 이야기를 공유했다. 5년 동안 학교는 학생들의 불만과 불만과 싸웠고, 학교는 결국 모든 자료를 4학년 말 과정으로 옮겼다. 여느 신진 분야developing field와 마찬가지로 선봉에 선 사람들이 가장 많은 저항을 받게 될 것이다. 의료 교육 전반에 걸친 HSS의 성공적인 확산을 포함하는 진정한 패러다임의 변화는 교육자들에게 무엇이 효과가 있고 무엇이 효과가 없는지, 누구를 위해 그리고 어떤 상황에서 효과가 없는지 공유하도록 요구한다. 진정한 과학은 다른 사람들이 우리의 일에서 배우고 비슷한 실수를 하지 않도록 우리의 성공과 실수를 공유할 것을 요구한다.
Unfortunately, our best examples come from individual discussions with educators who discuss their “horror stories” of HSS curricula. One educator shared a story from a medical school where he implemented an HSS course in the early 2000s. For 5 years the school battled students’ dissatisfaction and unhappiness, and the school ultimately moved all of the material to an end-of-fourth-year course. As with any developing field, those on the vanguard will receive the most resistance. A true paradigm shift that includes the successful spread of HSS across medical education requires educators to share what works and what does not work, for whom, and under what circumstances. True science demands that we share our successes as well as our missteps so that others may learn from our work and not make similar mistakes.
결론Conclusion
의료 시스템이 발전함에 따라, 의학교육은 환자의 요구에 맞춰 교육 프로그램을 빠르게 적응시키고 있으며, 여기에는 HSS에 대한 집중도가 증가하고 있다. HSS 교육에 대한 몇 가지 주요 과제가 확인되었으며, 특히 의학교육 혁신에서 "performance gap"를 식별하는 데 사용할 수 있는 일차적이고 쉽게 이용할 수 있는 지표인 학생들의 혼합 수용성과 만족도가 확인되었다. Performance gap는 의대에서 개발 및 구현될 때 보다 객관적인 HSS 평가 지표를 사용하여 추가로 추적할 수 있다. 의과대학의 목표가 HSS 기술과 시스템 시민으로서의 새로운 직업적 정체성을 개발하는 것이라면 의과대학은 변화를 가속화하기 위해 의과대학에서 일어나는 근본적인 투쟁과 씨름해야 한다.
As health systems evolve, medical education is rapidly adapting education programs to align with patient needs, which includes an increased focus on HSS. Several key challenges to HSS education have been identified, particularly students’ mixed receptivity and satisfaction, which is the primary, readily available metric to use in identifying the “performance gap” in medical education innovation. The performance gap can be further tracked using more objective HSS evaluation metrics as they are developed and implemented in medical schools. If a medical school’s goal is to develop HSS skills and a new professional identity as a systems citizen, then medical schools must grapple with the underlying struggles occurring in medical schools to accelerate change.
Acad Med. 2019 Oct;94(10):1425-1432.
doi: 10.1097/ACM.0000000000002815.
Health Systems Science: The "Broccoli" of Undergraduate Medical Education
1J.D. Gonzalo is associate professor of medicine and public health sciences and associate dean for health systems education, Penn State College of Medicine, Hershey, Pennsylvania; ORCID: https://orcid.org/0000-0003-1253-2963. G. Ogrinc is professor of medicine, Dartmouth Institute for Health Policy and Clinical Practice, and senior associate dean for medical education, Geisel School of Medicine at Dartmouth, Hanover, New Hampshire.
Health system leaders are calling for reform of medical education programs to meet evolving needs of health systems. U.S. medical schools have initiated innovative curricula related to health systems science (HSS), which includes competencies in value-based care, population health, system improvement, interprofessional collaboration, and systems thinking. Successful implementation of HSS curricula is challenging because of the necessity for new curricular methods, assessments, and educators and for resource allocation. Perhaps most notable of these challenges, however, is students' mixed receptivity. Although many students are fully engaged, others are dissatisfied with curricular time dedicated to competencies not perceived as high yield. HSS learning can be viewed as "broccoli"-students may realize it is good for them in the long term, but it may not be palatable in the moment. Further analysis is necessary for accelerating change both locally and nationally.With over 11 years of experience in global HSS curricular reform in 2 medical schools and informed by the curricular implementation "performance gap," the authors explore student receptivity challenges, including marginalization of HSS coursework, infancy of the HSS field, relative nascence of curricula and educators, heterogeneity of pedagogies, tensions in students' perceptions of their professional role, and culture of HSS integration. The authors call for the reexamination of 5 issues influencing HSS receptivity: student recruitment processes, faculty development, building an HSS academic "home," evaluation metrics, and transparent collaboration between medical schools. To fulfill the social obligation of meeting patients' needs, educators must seek a shared understanding of underlying challenges of HSS innovations.
Health Systems Science in Medical Education: Unifying the Components to Catalyze Transformation Jed D. Gonzalo, MD, MSc, Anna Chang, MD, Michael Dekhtyar, MEd, Stephanie R. Starr, MD, Eric Holmboe, MD, and Daniel R. Wolpaw, MD
[미국 의료 시스템의 진화]와 [원하는 결과, 비용 및 의료 경험 간의 불일치]는 보건 직업 교육의 패러다임 변화를 자극했다.1 이러한 변화에는 환자와 모집단이 고품질 진료를 받도록 하는 것을 목표로 학습자가 진화하는 복잡한 의료 환경을 연습하고 이끌 수 있는 교육이 포함된다. 여러 의료 교육 및 보건 시스템 리더는 교육 및 임상 결과를 환자, 의료 전문가, 보건 시스템 및 지역사회와 함께 제작할 것을 권고했으며, 무엇보다도 "환자 중심적"이어야 한다.2,3 The evolution of the U.S. health care system and misalignment between desired outcomes, costs, and experience of care have stimulated a paradigm shift in health professions education.1 This shift includes training that allows for learners to practice and lead in an evolving, complex health care landscape, with the goal of ensuring patients and populations receive high-quality care. Several medical education and health system leaders have recommended educational and clinical outcomes be coproduced with patients, health care professionals, health systems, and communities, and above all else, be “centered around the patient.”2,3
의학교육의 경우, 확대되는 [시스템 관련 역량]의 재검사 및 재수정에는 학습의 과정, 내용 및 평가에 상당한 변화가 필요하다. 이러한 역량 중 많은 부분이 새로운 것은 아니지만, 교육자들은 학부 의학 교육(UME)에서 대학원 의학 교육(GME)에서 전문 인력까지 그 역량을 지속적으로 운영하기 위해 노력하고 있습니다.
예를 들어, ACGME(Accreditation Council for Graduate Medical Education) 시스템 기반 실무(SBP) 역량.
ACGME의 임상 학습 환경 검토 이니셔티브는 환자 안전(PS), 품질 개선(QI), 진료 전환 등 여러 SBP 관련 영역에서 전공의 교육을 촉진하는 보건 시스템의 능력에서 gap을 확인했다.
또한, (고부가가치 관리, QI, 인구 보건, 정보학 및 시스템 사고를 포함한) 시스템 관련 역량은 (커리큘럼 우선 순위와 가용 전문 지식을 포함하여 지역 상황에 따라) 교육 프로그램의 고립된 주머니isolated pockets로 밀려나는 경우가 많다.
For medical education, the reexamination and reenvisioning of an expanding set of systems-related competencies require significant shifts in the process, content, and assessment of learning.4–6 Many of these competencies are not new, but educators struggle to operationalize them across the continuum from undergraduate medical education (UME) to graduate medical education (GME) to the professional workforce—
for example, the Accreditation Council for Graduate Medical Education (ACGME) systems-based practice (SBP) competency.7,8
The ACGME’s Clinical Learning Environment Review Pathways to Excellence initiative has identified gaps in the health system’s ability to facilitate resident education in multiple SBP-related areas, including patient safety (PS), quality improvement (QI), and care transitions.9,10
Additionally, systems-related competencies, including high-value care, QI, population health, informatics, and systems thinking, are often relegated to isolated pockets in educational programs depending on local context, including curricular priorities and available expertise.11–13
의료 교육의 세 번째 요소인 [보건 시스템 과학(HSS)]은 이러한 변화를 가속화하고 시스템 관련 역량의 모든 범위를 통합하기 위한 포괄적인 프레임워크를 제공한다. HSS는 기본 및 임상 과학이 환자 건강에 영향을 미치고 쿼드러플 목표를 달성하는 측면에서 완전한 잠재력에 도달하도록 보장하기 위해 필요하다. HSS 프레임워크는 이전에 흩어져 있던 시스템 관련 역량을 결집하여, 현재 수십 개의 의대 및 레지던트 프로그램에 의해 사용되고 있으며, 국가 이니셔티브에 inform하고 있다. The third pillar of medical education, health systems science (HSS), provides a comprehensive framework to accelerate this change and integrate the full range of systems-related competencies.6 HSS is necessary to ensure the basic and clinical sciences reach their full potential in terms of impacting patient health and achieving the Quadruple Aim.17,18 The HSS framework cohesively unites previously scattered systems-related competencies and is now being used by dozens of medical school and residency programs and is informing national initiatives.6,19–21
이러한 움직임에도 불구하고 의료 및 의료 교육 내 HSS 개념과 명명법의 적용에 불확실성과 유의미한 불일치가 남아 있다. 예를 들어, 일부에서는 여전히 HSS를 특정 콘텐츠 영역(예: QI)과 동일시한다. 이러한 이해 가능한 긴장은 교직원과 학습자가 수많은 경쟁 우선 순위를 갖는 교육 환경에서 발생하며, 새로운 HSS 콘텐츠 통합에 대한 과제를 야기한다. 이러한 투쟁은 [시스템 관련 학습이 발생한 역사적 맥락]과 [HSS와 관련 콘텐츠 간의 유사성과 차이점]을 조사함으로써 명확하게 할 수 있는 통일된 프레임워크의 필요성을 강조한다.
Despite this movement, there remain uncertainty and significant inconsistency in the application of HSS concepts and nomenclature within health care and medical education. For example, some still equate HSS with specific content areas (e.g., QI).14 These understandable tensions occur within educational settings in which faculty and learners have numerous competing priorities, creating challenges for the integration of new HSS content.8,22–25 These struggles highlight the need for a unified framework, which can be clarified by examining the historical context in which systems-related learning has occurred and the similarities and differences between HSS and related content.26
HSS의 역사, 지형 및 근거 History, Landscape, and Rationale for HSS
HSS 프레임워크의 고유한 특성과 필요성을 이해하기 위해, 우리는 몇 가지 주요 [시스템 관련 역량]의 역사로 시작한다. 각 개별 역량 영역은 의료 교육의 변혁을 위해 중요하지만, 오직 [한 영역에만 초점을 맞추는 것(예: 고부가가치 진료)]은 "시스템 시민"으로서 [더 큰 전문적 정체성에 필요한 다른 중요한 HSS 역량]을 소외시킨다.14 우리는 UME-GME-인력 연속체에 걸쳐 있는 통합 프레임워크를 제안한다. To understand the unique nature of and need for an HSS framework, we begin with the history of several key systems-related competencies. While each individual competency area is critical for the transformation of medical education, focusing solely on any one area (e.g., high-value care) marginalizes other critical HSS competencies, which are necessary for a larger professional identity as “systems citizens” (described below).14We propose a unified framework that spans the UME–GME–workforce continuum.
시스템기반실천 SBP
SBP, 그리고 밀접하게 관련된 실무 기반 학습 및 개선은 1990년대 후반 ACME 핵심 역량 프로젝트를 통해 시작되었으며, 이는 하버드 의료 실무 연구의 임상 치료의 안전하지 않은 상태를 폭로한 이후에 이루어졌다. SBP는 전공의에게 다음을 요구한다. "의료의 더 큰 맥락과 시스템에 대한 인식과 대응성, 그리고 최적의 의료 서비스를 제공하기 위해 시스템의 다른 리소스를 효과적으로 호출할 수 있는 능력을 입증합니다." 여러 SBP 관련 역량은 전문직 간 협업, 관리 조정, 비용에 민감한 관리 및 시스템 오류 식별을 포함하여 광범위한 의사 진료 범위를 포착한다. SBP, and the closely related practice-based learning and improvement, originated in the late 1990s via the ACGME Core Competency Project, which followed the Harvard Medical Practice Study’s revelation of unsafe conditions in clinical care.27–30SBP requires residents to “demonstrate an awareness of and responsiveness to the larger context and system of health care, and the ability to effectively call on other resources in the system to provide optimal health care.”27Several SBP-related competencies capture a broad scope of physician practice, including interprofessional collaboration, care coordination, cost-conscious care, and systems error identification.31,32
SBP 역량 확립은 상당한 진전이었지만, 프로그램 책임자들은 임상 학습 환경에서 SBP를 운용하고 평가하는 데 어려움을 겪었다. 그러나 SBP 마일스톤을 도입하고 나서도, GME 프로그램 전반에 걸친 유사성을 연구해보았을 때, HSS 관련 주제(예: 경제, 의료 제공, 지역사회 참여)를 거의 찾아내지 못했다. 이러한 테마는 더 큰 HSS 프레임워크에 반영된 시스템 관련 역량의 종합적인 핵심을 제공하지 않는다. 그럼에도, SBP는 시스템 관련 학습 아젠다를 위한 공간을 마련했으며, 우리는 HSS가 이를 더 잘 infroming하여 졸업생들이 사회의 요구에 부응할 수 있도록 할 수 있다고 생각한다.
Establishing the SBP competency was a significant step forward, but program directors have encountered challenges in operationalizing and evaluating SBP in clinical learning environments.7,12,33However, even with the introduction of SBP milestones, studies exploring similarities across GME programs identified few HSS-related themes (e.g., economics, health care delivery, community engagement).12,34These themes do not provide a comprehensive core of the systems-related competencies reflected in the larger HSS framework. Despite these gaps and challenges, SBP has created space for the systems-related learning agenda, which we believe can be better informed by HSS to ensure graduates are prepared to meet society’s needs.
질향상/환자안전 QI/PS
1990년대 후반, 의학 연구소(현재의 국립 의학 아카데미)는 진단 및 기타 의료 오류를 포함하여 품질 및 안전 사건에 대한 보고를 통해 의료 교육의 핵심 역량으로서 QI/PS에 대한 초점을 증가시켰다. QI/PS 의제는 미국 의학 대학 협회 (AAMC) 13 핵심 위탁 직업 활동 (핵심 EPA) 중 하나에 반영되며 핵심 GME 요건이다. In the late 1990s, the Institute of Medicine (now the National Academy of Medicine) increased focus on QI/PS as core competencies in medical education by reporting on quality and safety events, including diagnostic and other medical errors.29,35–38 The QI/PS agenda is reflected in one of the Association of American Medical Colleges (AAMC) 13 Core Entrustable Professional Activities (Core EPAs) for Entering Residency and is a core GME requirement.9,39,40
또한, 의료 개선 연구소의 개선 및 개방 학교 커리큘럼 모델에는 몇 가지 HSS 영역(예: 의료 프로세스, 변화 및 측정, 고객 지식, 리더십, 협업, 사회적 맥락)이 포함된다. 이러한 인식이 높아지면서 QI/PS에 대한 지역 및 국가별 교수진 개발 노력이 증가하고 있습니다. Further, the Institute for Healthcare Improvement’s Model for Improvement and Open School curriculum includes several HSS areas (e.g., health care processes, variation and measurement, customer knowledge, leadership, collaboration, social context).41 With this rising awareness, local and national faculty development efforts in QI/PS are increasing.
현지(예: Brody School of Medicine's Teachers for Quality Academy) 및 국가(예: Society of Hospital Medicine's Quality & Safety Educers Academy) 프로그램은 교육자가 지역 환경에서 응용을 목표로 QI/PS 역량을 개발하고 관리 기술을 변화시키는 데 도움이 된다.
Both local (e.g., the Brody School of Medicine’s Teachers for Quality Academy) and national (e.g., the Society of Hospital Medicine’s Quality & Safety Educators Academy) programs help educators develop QI/PS competencies and change management skills, with the goal of application in local environments.20,42
전문직 간 교육 Interprofessional education
유럽에서는 IPE(Interprofessional Education)와 IPCC(Interprofessional collaborative care)의 역사가 1960년대까지 거슬러 올라가며, 그 이후부터 미국의 의학 교육에 꾸준히 통합되고 있다. "전문 사일로"를 최소화하려는 노력으로 교육자들은 서로 다른 건강 직업의 동료로부터, 동료들과 함께, 그리고 그에 대한 학습을 늘리기 위한 커리큘럼을 개발했습니다. 의료 교육 연락 위원회(LCME) IPE 요건, Josiah Macy Jr 재단의 목표 자금 지원, 연구 및 실습 네트워크(National Center for Interprofessional Practice and Education)의 창설 등이 이러한 교육 의제를 진전시켰다.
The history of interprofessional education (IPE) and interprofessional collaborative care (IPCC) dates to the 1960s in Europe, with steady integration since then into U.S. medical education. With the push to minimize “professional silos,” educators have developed curricula to increase learning from, with, and about colleagues from different health professions.43–45 The Liaison Committee on Medical Education (LCME) IPE requirement, targeted funding from the Josiah Macy Jr. Foundation, and the creation of a research and practice network (National Center for Interprofessional Practice and Education) have advanced this educational agenda.29,46,47
IPE와 IPCC는 QI/PS, 인구 건강, 전문 분야 등 다양한 맥락에서 적용된다. 그러나 IPE는 임상 학습 환경 내에서 운영 및 평가하는 데 있어 어려운 과제였다. 그 결과 IPE는 여러 HSS 영역에 걸쳐 통합되고 단독으로 존재할 수 없는 핵심 초점 영역입니다. 즉, IPE 역량은 더 큰 HSS 맥락에서 상호 강화, 강화 및 가장 의미가 있다.
IPE and IPCC are applied in a variety of contexts, including QI/PS, population health, and specialty-specific areas.48However, IPE has been a challenge to operationalize and assess within clinical learning environments. As a result, IPE is a key focus area that integrates across multiple HSS areas and cannot stand alone. That is, the IPE competencies are mutually strengthened, enhanced, and most meaningful in the larger HSS context.46
건강의 사회적 결정요인 Social determinants of health
건강의 사회적 결정요인(SDH)의 일부 측면은 수십 년 동안 의학 인터뷰의 일부였다. 예를 들어, 환자의 사회 이력을 얻는 주된 초점은 약물 사용, 직업 노출, 고위험 성적 행동 및 생활 상황과 같은 위험 요소를 식별하는 것이다. 지난 20년 동안 건강 결과와 관련된 다른 요인들(예: 식품 불안, 불리한 어린 시절 경험, 우편 번호)에 대한 인식이 증가했다. Some aspects of the social determinants of health (SDH) have been part of the medical interview for decades.49,50 For example, a primary focus of taking a patient’s social history has been to identify risk factors like substance use, occupational exposures, high-risk sexual behavior, and living situation. Over the past 20 years, there has been an increasing awareness of other factors related to health outcomes (e.g., food insecurity, adverse childhood experiences, zip code).51–53
일부 데이터는 SDH가 [행동, 유전학 또는 의료 전달보다] 미국의 건강 결과에 더 많은 영향을 미친다고 시사한다. 2007년에 AAMC는 의과대학들이 SDH와 행동 건강 커리큘럼을 증가시킬 것을 권고했다. "사회 의학 사례 연구"라는 제목의 뉴잉글랜드 의학 저널 시리즈는 이 HSS 분야에 중요한 기여를 할 것을 약속한다. 이 시리즈는 사회적 구조가 건강에 어떤 영향을 미치는지 탐구하기 위해 환자 사례를 사용하였으며, 이 시리즈의 연구 중 한 명의 저자들이 환자 결과를 개선하기 위해 사회적 요인에 대한 교육적 집중을 증가시키는 것을 주장하면서.
Some data suggest the SDH have more impact on U.S. health outcomes than behavior, genetics, or health care delivery.52In 2007, the AAMC recommended medical schools increase SDH and behavioral health curricula.54,55ANew England Journal of Medicineseries entitled “Case Studies in Social Medicine”promises to make an important contribution to this HSS area, using patient cases to explore how social structures affect health, with the authors of one of the studies in this series arguing for increased educational focus on social factors to improve patient outcomes.56
인구보건 Population health
SDH와 관련해서는 공공, 인구, 세계 보건에 초점을 맞춘 문헌이 증가하고 있다. 많은 UME 프로그램은 지역사회 요구를 해결하는 데 명시적으로 초점을 맞추고 있으며, UME와 GME 프로그램은 인구 건강에서 학습자 역량을 향상시키는 데 효과가 있었다. UME에서는 글로벌 건강 프로그램이 인기가 있으며, 미국 의대의 거의 40%가 해외 여행 기회를 후원하고 있다. Related to the SDH, there is increasing literature focused on public, population, and global health.57,58 Many UME programs focus explicitly on addressing community needs, and both UME and GME programs have worked to advance learner competence in population health.59 Global health programs are popular in UME, with nearly 40% of U.S. medical schools sponsoring opportunities for foreign travel.60
이러한 영역은 중요하지만, HSS의 보다 포괄적이고 상호 관련된 프레임워크에 의해 강화된다. SDH, 공공, 인구 및 세계 보건, 문화적 겸손, 구조적 편견, 그리고 고정관념을 고려하는 동시에 또한 의료 서비스 제공, 정책, 경제 및 정보학을 고려하는 동시에 시스템 사고를 적용하고 결과를 개선하는 데 의미 있는 컨텍스트를 제공합니다.
While these areas are important, they are strengthened by the more comprehensive and interrelated framework of HSS. Engaging with the SDH; public, population, and global health; cultural humility; structural biases; and stereotypes while also considering health care delivery, policy, economics, and informatics provides a meaningful context for applying systems thinking and improving outcomes.
고부가가치 관리 High-value care
증가하는 의료 비용에 대응하여, 의학교육은 지난 10년 동안 진료의 "가치"를 점점 더 강조해 왔다. 연구들은 의료 이용 관행과 관련 교수들의 행동이 교육생들에게 미치는 영향을 보여주었고, 그 영향은 실제로 수십 년 동안 지속되었다. [가치 역량]은 의사, 간호사, 약사 및 치과의사의 전문 수명 전반에 걸쳐 사용하기 위해 2015년에 출판되었다. AAMC 핵심 EPA(즉, 위탁 가능한 전문 활동 3)에는 진단 테스트와 치료 개입을 선택할 때 비용 효율적인 능력이 포함된다. In response to increasing health care costs, medical education has increasingly emphasized the “value” of care over the past decade. Studies have shown the impact of health care utilization practices and related faculty behaviors on trainees, with the effects persisting for decades into practice.61–64 Value competencies were published in 2015 for use across the professional life span of physicians, nurses, pharmacists, and dentists.65 The AAMC Core EPAs (i.e., entrustable professional activity 3) include the ability to be cost-effective when choosing diagnostic tests and treatment interventions.66
ACGME 공통 프로그램 요구사항은 모든 졸업생이 [비용 인식 및 위험-효익 분석]을 [환자 및 인구집단 기반 진료]에 통합할 것으로 기대한다. 게다가, 미국 의사 대학과 학술 내과 연합은 증거 기반 의학, 환자와의 "safely doing less" 대화, 공유 의사 결정 등을 강조하는high-value care 교육의 5단계를 정의했다. ACGME Common Program Requirements expect all graduates to incorporate cost awareness and risk–benefit analysis into patient and/or population-based care.67 Additionally, the American College of Physicians and the Alliance for Academic Internal Medicine defined 5 steps in teaching high-value care, which highlight evidence-based medicine, “safely doing less” conversations with patients, and shared decision making.68
국가 이니셔티브(예: Low Institute's Right Care Series, High Value Practice Academic Alliance, Costs of Care)는 high-value care에 대한 advanced learning을 보유하고 있습니다. 교육 과정에 걸쳐 학습자는 증거 기반 의학을 환자 및 팀 대화와 통합하고 변화하는 임상 환경에서 high-value care를 제공하므로 거시 시스템 힘과 윤리적 고려 사항을 인식해야 한다. 이를 잘 수행하기 위해서는 여러 HSS 영역에서 역량을 습득해야 합니다.
National initiatives (e.g., the Lown Institute’s Right Care Series, High Value Practice Academic Alliance, Costs of Care) have advanced learning in high-value care.69–72Learners across the educational continuum must integrate evidence-based medicine with patient and team conversations and recognize macrosystem forces and ethical considerations as they provide high-value care in changing clinical environments. To do this well, learners will need competence in several HSS areas.
의학교육의 3대 축 HSS: The Third Pillar of Medical Education
HSS 프레임워크는 12개의 개별 역량 영역을 포함하며, 기본 및 임상 과학과 동일한 방식으로 통합되고 상호 관련된다(차트 1). 각 시스템 관련 영역은 UME, GME 및 전문 인력 개발의 중요한 학습 영역이지만, 우리는 각 영역을 독립적으로 적용한다고 해서 응집력 있는 교육 프로그램이나 이상적인 교육 결과가 나오지는 않을 것이라고 주장한다. 학습자는 개념을 "걸고hang, 통합하고, 적용할" 포괄적인 프레임워크를 요구합니다.
The HSS framework encompasses 12 distinct competency areas and is unified and interrelated in the same manner as the basic and clinical sciences (Chart 1). Although each systems-related area is a critical learning area for UME, GME, and professional workforce development, we argue that applying each independently will not result in a cohesive educational program or ideal educational outcomes. Learners require a comprehensive framework on which to “hang,” integrate, and apply concepts.
기초 과학이 면역학이나 분자 생물학 이상을 포함하듯이, HSS는 더 크고, 더 응집력이 있는 전체를 위한 다양한 개념과 관점을 포함한다. Trainee는 기초·임상과학 교육을 받고 심근경색을 정확하게 진단하고 치료할 수 있다.
그러나 환자가 다른 전통적인 건강 신념(환자 경험과 맥락)을 가진 이민자이고, 가정(SDH)이 없고, 지역사회 내에서 발생하는 유사한 건강 격차를 가진 환자 모집단을 나타내는 경우(인구 및 지역사회 건강) 어떻게 접근 방식을 운용해야 하는가?
연습생은 진료 연속체(의료 서비스 전달)를 통해 각 환자들의 요구가 각 전환 시 어떻게 해결되도록 보장하고 있는가?
교육생은 어떻게 의료 시스템을 보고 탐색하는 방법을 배우고 건강을 개선하기 위해 (QI/PS, 옹호, 정책을 통해) 영향을 미치거나 변경할 수 있는 수단을 효과적으로 식별할 수 있는가?
Just as the basic sciences include more than immunology or molecular biology, HSS encompasses multiple concepts and perspectives into a larger, more cohesive whole. A trainee can be taught the basic and clinical science to accurately diagnose and treat myocardial infarction.
But how should the approach be operationalized if the patient is an immigrant with different traditional health beliefs (patient experience and context), does not have a home (SDH), and represents a population of patients with similar health gaps occurring within a community (population and community health)?
How does a trainee ensure each patient’s needs are addressed at each transition across the care continuum (health care delivery)?
How can trainees learn to see and navigate health care systems and effectively identify levers they can influence or change (via QI/PS, advocacy, policy) to improve health?
기존 2필러 의료 교육 모델은 Flexnerian 시대에 의료 서비스에 큰 도움이 되었지만, 건강과 질병에 대한 새로운 이해는 세 번째 요소, HSS를 추가해야 합니다. 교육 프로그램은 기본 과학, 임상 과학 및 HSS 학습이 최적으로 통합되고 학습자에 의해 이상적으로 개념화되고 HSS 프레임워크를 사용하여 운영되도록 보장해야 한다.
While the traditional 2-pillar model of medical education has served health care well in the Flexnerian era, new understandings of health and disease require the addition of a third pillar—HSS.4,5,17,73,75Educational programs should ensure basic science, clinical science, and HSS learning are optimally integrated, ideally conceptualized by learners, and operationalized using the HSS framework.
스키마 횡단보도 Schema Crosswalk
국가 역량 권장사항 및 인증 표준의 대표 샘플(차트 2)과 국가 및 지역 커리큘럼, 교육자 권장사항 및 교과서(차트 3)에서 일반적으로 사용되는 시스템 기반 프레임워크의 유사성, 차이 및 격차를 설명하기 위해 스키마 교차표를 개발 및 수행했다. 우리의 데이터 분석 방법은 보충 디지털 부록 1에 설명되어 있다. 우리는 여러가지 시스템 기반 프레임워크와 HSS 사이의 간격과 유사하고 겹치는 요소를 체계적으로 설명하기 위해 이 교차분석을 수행했다. 우리는 이 분석이 HSS와 다른 시스템 기반 프레임워크 사이의 유의하고 미묘한 차이를 강조할 것이라고 믿었다.
We developed and performed a schema crosswalk to elucidate the similarities, differences, and gaps in commonly used systems-based frameworks from a representative sample of national competency recommendations and accreditation standards (Chart 2) and national and local curricula, educator recommendations, and textbooks (Chart 3). Our data analysis methods are described in Supplemental Digital Appendix 1 (athttp://links.lww.com/ACADMED/A906). We performed this crosswalk to systematically articulate gaps and similar and overlapping elements between the multiple systems-based frameworks and HSS.12,76We believed this analysis would highlight the significant and nuanced differences between HSS and other systems-based frameworks.12,76
대부분의 예는 HSS와 중복되는 것이 제한적임을 보여주지만, 가장 일반적으로 표현되는 영역으로는 팀워크, 품질(PS, 효과, 효율성, 적시성, 환자 중심 관리 및 적절한 치료 포함), QI 원칙 및 SDH가 있다. 어떤 것들은 HSS의 범위breadth을 밀접하게 포착하지만, 일반적으로 HSS 하위 도메인 중 하나에만 초점을 맞추거나, HSS 영역을 표면적으로만 파악한다(예: AAMC Gradition 설문지 [GQ]의 항목). 유사한 교차분석 프로세스는 교육자가 커리큘럼의 강점이나 격차를 파악하는 데 사용할 수 있다. 총체적으로, 이 교차분석표는 개념 목표를 교육 설계, 프로그램 평가 및 임상 실습으로 쉽게 전환할 수 있는 모든 중요한 시스템 관련 역량 "퍼즐 피스"를 포함한다.
While notably most examples demonstrate limited overlap with HSS, the most commonly represented areas include teamwork, quality (including PS, effectiveness, efficiency, timeliness, patient-centered care, and equitable care), QI principles, and SDH. Although several of the examples closely capture the breadth of HSS, they generally only focus on certain HSS subdomains or address an HSS area superficially (e.g., one item on the AAMC Graduation Questionnaire [GQ]). Similar crosswalk processes can be used by educators to identify strengths or gaps in curricula. Collectively, this crosswalk includes all critical systems-related competency “puzzle pieces,” which can facilitate the translation of conceptual goals into education design, program evaluation, and clinical practice.
의학교육의 통일된 틀을 위한 요구 A Call for a Unified Framework in Medical Education
우리는 의료 교육 연속체를 쿼드러플 목표(즉, 차세대 시스템 마인드 의료 전문가를 양성하여 임상 및 교육 임무를 더 잘 정렬하기 위해)와 효과적으로 정렬하기 위해 보다 포괄적인 통합 프레임워크가 필요하며, 이 비전을 조작화할 기회와 모멘텀이 있다고 믿는다. 우리는 HSS가 이러한 정렬을 촉진하는 데 이상적이라고 생각하지만, 반복적인 개선이 필요할 것이다. We believe a more comprehensive, unified framework is needed to effectively align the medical education continuum with the Quadruple Aim (i.e., to better align the clinical and educational missions by cultivating the next generation of systems-minded health care professionals) and that there is now opportunity and momentum for operationalizing this vision. We believe HSS is ideal for facilitating this alignment, though we recognize it will require iterative improvements.
다음은 의료 교육을 위한 통합 프레임워크로서 HSS의 사용을 지지하고 정당화하는 6가지 원칙이다.26
Following are 6 rationales that support and justify the use of HSS as a unified framework for medical education.26
이론적 근거 1: 통합된 프레임워크는 핵심 역량이 소외되지 않도록 보장한다. Rationale 1: A unified framework ensures core competencies are not marginalized
포괄적인 프레임워크는 프로그램, 평가자 및 학습자에게 원하는 모든 지식, 태도 및 기술을 투명하게 합니다. 더 큰 학습 의제와의 명확한 통합 없이 HSS 역량의 하위 집합에 초점을 맞춘 프로그램은 역량을 한계화하거나, 전문 개발에 필요한 학습을 생략하거나, 커리큘럼의 다른 곳에서 다루는 역량에 대한 중요한 연결을 놓칠 위험이 있다. 이러한 프로그램에서는 [라벨링이나 통합이 명확하지 않은] 필요한 역량은 간과되거나 강조되지 않을 수 있다.
A comprehensive framework makes all of the desired knowledge, attitudes, and skills transparent for programs, evaluators, and learners. A program focusing on a subset of HSS competencies without clear integration with the larger learning agenda runs the risk of marginalizing competencies, omitting learning required for professional development, or missing important connections to competencies addressed elsewhere in the curriculum. In such a program, any necessary competencies that are not clearly labeled or integrated may be overlooked or de-emphasized.
엥글은 수년 전에 생물심리사회 모델을 만들었습니다. 왜냐하면 환자들은 그들의 병리학 및 생의학 관리에 대한 설명 이상을 필요로 하기 때문입니다. 그러나 HSS 프레임워크에서 새로운 것은 환자와 지역사회의 건강 증진에 필수적인 시스템 요인의 폭과 깊이에 대한 점진적인 이해입니다. 환자 모집단에 대한 혈당 조절을 효과적으로 개선하기 위해서는(예: 헤모글로빈 A1C > 9.0%의 모든 클리닉 환자) 모집단 건강, SDH, 진료 전달, 정보학, 변경 관리, 시스템 사고 및 QI의 핵심 원칙이 포함된다.
의료 교육이 건강 결과의 격차를 해소하는 데 실질적인 진전을 이루려면 개별 시스템 영역(예: QI/PS, 가치)을 별도의 분야로 제시하기보다는 더 큰 HSS 프레임워크의 일부로 명시적으로 통합해야 한다.14
학습자는 의료 품질에 대한 기본적인 정의(안전하고 시기 적절하며 효과적이며 효율적이며 환자 중심의 관리)도 필요하고,
학습자는 전통적으로 QI/PS 커리큘럼에 포함되지 않았던 개념(예: 건강 형평성, SDH, 모집단 건강)과의 관계를 볼 수 있는 더 큰 프레임워크, 가치와 비용 사이의 관계를 확인할 수 있는 더 큰 프레임워크도 필요하다
Engle created the biopsychosocial model years ago because patients require more than an accounting of their pathophysiology and biomedical management.77 What is new in the HSS framework, however, is a progressive understanding of the breadth and depth of the systems factors, collaboration, and systems-thinking skills essential to improving health for patients and communities. Effectively improving glycemic control for a patient population (e.g., all clinic patients with a hemoglobin A1C > 9.0%) includes core principles of population health, SDH, care delivery, informatics, change management, systems thinking, and QI.
If medical education is going to make real progress in closing gaps in health outcomes, individual systems areas (e.g., QI/PS, value) must be explicitly integrated as part of the larger HSS framework rather than presented as separate fields.14
Learners need both a foundational definition of health care quality (care that is safe, timely, effective, efficient, equitable, and patient centered) and
a broader framework to see the relationships with concepts not traditionally included in QI/PS curricula (e.g., health equity, SDH, population health) and the relationship between value and cost.36,78
새로운 카이저 퍼머넌트 의과대학(캘리포니아 패서디나에 있음)이 대표적인 예이다. 광범위한 조직 구조가 어떻게 HSS로 이동하고 있는지 테스트합니다.이 새로운 의과대학에는 기초과학, 임상과학, HSS.79,80의 3개의 주요 학과가 있다. 이 미래지향적인 조직구조는 의료교육과 환자진료에서 동등한 파트너로서 HSS에 대한 중요한 검증을 나타낸다.81
The new Kaiser Permanente School of Medicine (in Pasadena, California) is an example that demonstrates how broad-based organizational structures are shifting toward HSS. This new medical school has 3 main departments: foundational science, clinical science, and HSS.79,80 This forward-thinking organizational structure represents an important validation of HSS as an equal partner in medical education and patient care.81
HSS는 시스템 학습의 폭을 포착하지만, 교육 프로그램과 평가 방법을 설계하는 데는 명확한 마일스톤을 갖춘 HSS 프레임워크가 (중요하지만) 아직 존재하지 않는다.45 통합 HSS 역량에 더하여 기초 과학, 임상 과학 및 평가 전략을 위한 최상의 학습 및 평가 전략이 필요하다. HSS는 교육 연속체의 life span에 걸쳐 있습니다.8 HSS를 포괄적인 프레임워크로 사용하기 위해서는 더 많은 작업이 필요하다.
While HSS captures the breadth of systems learning, a clear HSS framework with articulated milestones is critical for designing educational programs and evaluation methods but does not yet exist.45In addition to integrated HSS competencies, there is also the need for best learning and assessment strategies for basic science, clinical science, and HSS across the life span of the educational continuum.8More work is needed to advance the use of HSS as a comprehensive framework.
근거 2: 통합 프레임워크는 커리큘럼 설계의 관련 및 통합 역량을 설명합니다. Rationale 2: A unified framework accounts for related and integrated competencies in curricular design
커리큘럼 설계자는 최적의 학습 전략을 개발하기 위한 [표괄적인 프레임워크]가 필요하다. 교육자들은 이상적으로 다음을 가질 수 있다.
개념적 구성 블록(예: 품질과 비용의 조합으로 가치)에 대한 확고한 이해,
최적의 개발 개념 시퀀스를 보장하는 증거 정보 접근법,
여러 분야에 걸쳐 개념을 적용하는 나선적 접근법
과목 (기초, 임상, 인문)
Bloom의 분류학과 align된 임상 맥락
Curriculum designers need a comprehensive framework to develop optimal strategies for learning. Educators would ideally have
a firm understanding of conceptual building blocks (e.g., value as a combination of quality and cost),
an evidence-informed approach to curricular design that ensures the optimal developmental sequence of concepts,
a spiral approach to applying concepts across disciplines,
coursework (on the basic and clinical sciences and humanities), and
clinical contexts aligned with Bloom’s taxonomy.82
예를 들어 [인구집단 건강]은 의료 서비스 전달, SDH, 시스템 사고 및 정보학에 대한 체계적인 학습 시퀀스를 거쳐 커리큘럼에 가장 최적으로 통합될 수 있다. 모집단 인자와 관련된 중요한 문제에 대한 학습자의 탐구는 이 더 큰 프레임워크와 이러한 다른 영역에 대한 지식을 이미 가지고 있는 것으로부터 얻은 공통 명명법을 필요로 한다.83 For example, population health may be most optimally integrated into the curriculum after a systematic sequence of learning in health care delivery, SDH, systems thinking, and informatics. Learners’ exploration of critical issues related to population factors requires this larger framework and the common nomenclature gained from already having knowledge of these other areas.83
일부 UME 커리큘럼에는 리더십, IPE 또는 관리 설정 사이의 환자 핸드오프에 초점을 맞춘 단기 몰입 과정이 포함된다. 이러한 과정의 책임자는 종종 서로 다르고, 이들의 학습 목표는 HSS 역량 간 연결을 용이하게 하는 기존의 핵심 역량 맵과 일치하지 않을 수 있다. 이와 유사한 연결 누락의 결과로, 의도하지 않은 중복성과 HSS 커리큘럼에 결함이 있을 수 있다.
Some UME curricula include short immersion courses focused on leadership, IPE, or patient handoffs between care settings. These courses often have different directors, and their learning goals may not align with an existing core competency map that facilitates connections across HSS competencies. As a result of this and similar missed connections, there may be unintentional redundancy and deficiencies in HSS curricula.
근거 3: 통합 프레임워크는 포괄적인 평가 및 평가를 위한 기반을 제공합니다. Rationale 3: A unified framework provides the foundation for comprehensive assessments and evaluations
기초과학·임상과학·HSS 역량을 종합한다는 목표는 교과 개발·평가가 사일로에서 일어나고 기초과학·임상과학·다른 교과주제의 융합을 포함하면 달성하기 어렵다. 의료 교육의 연속성을 따라 새로운 교육 프레임워크를 가장 잘 통합하는 방법에 대한 합의가 거의 이루어지지 않는 가운데, 교육자와 학습자는 현재의 교육 및 의료 시스템에 더 적합한 통일된 nomenclature가 필요하다. 고아 교육 영역Orphan curricular areas이 세분화된 상태로 남아 있는 경우, assessment와 evaluation은 더 큰 HSS 프레임워크의 핵심 역량과 일치하지 않을 수 있다. The goal of synthesizing basic science, clinical science, and HSS competencies is difficult to achieve if curricular development and assessment occur in silos and include basic science, clinical science, and an amalgam of other curricular topics. With little consensus on how to best integrate new education frameworks along the continuum of medical education, educators and learners need a unified nomenclature that more aptly fits current education and health care systems.87 If orphan curricular areas remain fragmented, assessments and evaluations may not align with the core competencies of the larger HSS framework.
예를 들어, 펜실베이니아 주립 의과대학이 의대 1학년 학생들을 위한 학생 [환자 네비게이터 프로그램]을 만들 때(환자 결과 개선에 기여하기 위해 다양한 임상 환경에서 학생 간 전문 임상의와 연결), 프로그램은 학생들의 학습과 프로그램 목표를 반영하는 체계적인 평가와 평가 계획을 필요로 했다. 학생 기여에 대한 기대는 광범위했다. 예를 들면, 다른 의료 전문가와 협력하여 의료 장벽(예: 의료 구조 및 프로세스, SDH, IPCC)을 식별하는 것, 보건 시스템 문제(예: 인구 보건, 정책, 경제)를 이해하고 탐색하는 것 등이 있었다. 이러한 관련 영역을 포괄적인 HSS 프레임워크로 통합함으로써 평가 및 평가에 대한 의미 있는 접근법에 대해 다른 교육자들과 협력할 수 있는 기회를 창출하였다. 유사한 교육 노력은 HSS에 대한 공통 이해와 공통 언어의 채택을 필요로 할 것이다.
For example, when the Penn State College of Medicine created a student patient navigator program for first-year medical students (linking students with interprofessional clinicians in diverse clinical settings to contribute to improving patient outcomes), the program required a systematic evaluation and assessment plan that reflected student learning and program goals.88–90Expectations for student contributions were broad, including collaborating with other health care professionals to identify barriers to care (e.g., health care structures and processes, SDH, IPCC) and understanding and navigating health systems issues (e.g., population health, policy, economics).91Bringing these related areas together in a comprehensive HSS framework created the opportunity to collaborate with other educators on a meaningful approach to assessment and evaluation.92Similar education efforts will require a common understanding of HSS and adoption of a common language.
이론적 근거 4: 통합 프레임워크는 UME-GME-인력 연속체를 위한 명확한 학습 경로를 제공한다. Rationale 4: A unified framework provides a clear learning pathway for the UME–GME–workforce continuum
강의실에서 임상으로, 의과대학에서 전공의로, 전공의에서 독립된 의사로의 학습 이행은 종합적인 역량 프레임워크를 통해 향상될 수 있다. 결정적인 훈련 이행critical training transition 시 교육용 핸드오프는 표준화된 역량과 기대가 부족하며, UME 이해관계자, GME 이해관계자 및 인증 기관에 걸쳐 이러한 핸드오프에 대한 우선순위는 서로 다르다.
Learner progression from classroom to clinical settings, from medical school to residency, and from residency to the physician workforce can be enhanced with a comprehensive framework of competencies.8,93 Educational handoffs at critical training transitions lack standardized competencies and expectations, and there are differing priorities for these handoffs across UME stakeholders, GME stakeholders, and accrediting bodies.75,94
LCME 표준 및 데이터 수집 기구(DCI, AAMC GQ의 지원 데이터와 함께)는AAMC 핵심 EPA 또는 ACGME SBP 이정표와 완전히 일치되지 않는데, 이로 인해 전환transition에 틈이 생길 수 있다. 예를 들어, 대학원생은 인구 보건 분야에서 확고한 배경을 가지고 의대를 떠날 수 있지만, 오직 QI/PS에만 초점을 맞춘 레지던트 과정에 들어갈 수 있다. UME-GME-인력 연속체 전체 걸친, [광범위한 HSS 프레임워크 사용]의 부족은 높은 스트레스 전환 중에 추가적인 학습자 취약성을 발생시키고 최적의 전문성 개발을 위협한다.
The LCME Standards and Data Collection Instrument (DCI, with supporting data from the AAMC GQ) are not fully aligned with the AAMC Core EPAs or ACGME SBP milestones, potentiating gaps in these transitions. For example, a graduating student may leave medical school with a solid background in population health, only to enter a residency program that focuses solely on QI/PS. The lack of widespread HSS framework use throughout the UME–GME–workforce continuum creates additional learner vulnerabilities during high-stress transitions and threatens optimal professional development.
의과대학이 급성심근경색 환자를 돌볼 수 없는 학생을 졸업시키는 것은 용납할 수 없는 일이나, 급성 복부 환자를 돌볼 수 없는 학생을 졸업시키는 것은 용인할 수 있는 일이다. 21세기 의료의 맥락에서, 학생이 QI/PS에 대해 알고 있지만 건강 정보학, 인구 건강 또는 가치에 대해서는 모르는 것이 허용되는 이유는 무엇인가? 왜 학생이 임상적 추론은 잘 하는데 시스템 사고는 못 하는 것이 허용될 수 있는가? 뚜렷한 UME-GME 및 GME-인력 전환은 의료 교육 내에 유지될 가능성이 높지만, 의료 교육은 모든 수준의 교육 프로그램에 inform하는 [포괄적인 HSS 프레임워크]를 채택한다면, 교육적 이행기의 개선을 위한 공통 언어를 보장할 수 있다.
It is considered unacceptable for a medical school to graduate a student who cannot care for patients with acute myocardial infarctions, but it is acceptable to graduate a student who cannot care for patients with acute abdomens. Why, in the context of 21st-century health care, is it acceptable for a student to know about QI/PS but not about health informatics, population health, or value? Why is it acceptable for a student to perform clinical reasoning well but not systems thinking? While distinct UME–GME and GME–workforce transitions will likely remain within medical education, medical education can adopt a comprehensive HSS framework that informs educational programs at all levels, ensuring a common language for improving educational transitions.
이론적 근거 5: 통합 프레임워크는 국가 표준으로의 전환을 촉진한다. Rationale 5: A unified framework facilitates a shift toward a national standard
HSS 프레임워크는 의료 교육에서 핵심 및 선택적인 시스템 관련 역량에 대한 향후 작업의 기초를 제공한다.95 [모든 HSS 영역에 걸쳐 명확하게 기술된 일련의 목표]를 통해 교육프로그램은 [가장 우선순위가 높은 역량]을 효과적이고 발전적인 순서로 통합하고, 적절한 시간과 커리큘럼 공간을 할당할 수 있다. 시스템 관련 역량에 대한 현재 UME 프레임워크에는 다음이 있다.
AAMC의 Core EPA(Care transition및 PS를 다루는 프레임워크),
AAMC의 QI/PS 역량(품질, 데이터 투명성 및 측정 문제를 다루는 것)
지역적으로 개발된 역량 맵
The HSS framework provides the foundation for future work on core and elective systems-related competencies in medical education.95 A clearly articulated set of goals across all HSS areas will allow programs to integrate the most highly prioritized competencies in an effective, developmental sequence and allocate appropriate time and curricular space.8,23 Current UME frameworks for systems-related competencies include
the AAMC Core EPAs (which address care transitions and PS),
AAMC QI/PS competencies (which address quality, data transparency, and measurement), and
이처럼, [종합적인 UME 프레임워크]가 없기 때문에, 미국 의과대학 졸업 학습자에게 예상해야 할 것의 더 큰 우선순위를 정하느 ㄴ것이 어렵다. 전국적으로 합의된 HSS 프레임워크와 교육 프로그램에 대한 기대치와의 통합을 통해, 교육자들은 [UME에 대한 기대치를 표준화]하고 [HSS에 대해서 차이가 큰 학생 수용성 문제]를 해결하는 데 필요한 문화적 변화를 촉진할 수 있다. 또한, 통합 HSS 프레임워크는 각 전문 분야(예: 소아과, 중독 의학, 수술)가 연습생 고유의 열망 이정표를 개발하는 데 도움이 될 수 있다. 인증 기관(예: LCME), 지원 조직(예: AAMC), 면허 위원회(예: 국가 의료 심사원 [NBME])는 국가 표준의 개발을 가속화하거나 방해할 수 있다. This lack of a comprehensive UME framework limits larger-scale prioritization of what should be expected of graduating learners from U.S. medical schools. With a nationally agreed-on HSS framework and integration into expectations for educational programs, educators can begin to standardize expectations for UME and facilitate the necessary cultural shift for addressing mixed student receptivity to HSS.13,24 Additionally, a unifying HSS framework can help each specialty (e.g., pediatrics, addiction medicine, surgery) develop aspirational milestones unique to their trainees. Accrediting organizations (e.g., LCME), supportive organizations (e.g., AAMC), and licensing boards (e.g., National Board of Medical Examiners [NBME]) can accelerate or hinder the development of national standards.
약 10년 전에 AAMC GQ는 경제, 의료 시스템, 관리 관리 및 의료 제공에 중점을 둔 여러 시스템 관련 항목을 포함하였다.
2011년 이 항목들은 "의학의 사회과학(예: 윤리, 휴머니즘, 전문성, 의료 시스템의 조직 및 구조)에 대한 근본적인 이해를 가지고 있다"는 한 항목으로 대체되었다.
이어 2019년에는 HSS 3개 항목으로 보완하였습니다.
About a decade ago, the AAMC GQ included several systems-related items focused on economics, health care systems, managed care, and care delivery.97
In 2011, these items were replaced with one item: “I have a fundamental understanding of the issues in social sciences of medicine (e.g., ethics, humanism, professionalism, organization and structure of the health care system).”98
또한 필수 LCME DCI는 HSS에 초점을 맞춘 제한된 섹션이 있으며, 미국 의료 라이선스 검사(USMLE) 개요의 내용 중 약 6%만이 HSS와 관련이 있다.99
Additionally, the required LCME DCI has limited sections focused on HSS and only ~6% of the content in the United States Medical Licensing Examination (USMLE) outline is HSS-related.99
2019년, NBME와 AMA 코드는 UME를 위한 새로운 HSS 과목 시험을 개발하였다. 추가 HSS 콘텐츠를 포함하도록 DCI, GQ 및 USMLE를 수정하면 HSS를 의료 교육의 주류로 공식 통합하는 것을 가속화할 수 있다. 마지막으로, 전문 인력 개발은 의료 서비스 제공과 임상 학습 환경 내에서 교육생의 교육을 동시에 변화시키는 의사와 다른 보건 전문가들을 위한 중요한 학습 영역을 명확하게 설명할 수 있기 때문에 HSS 프레임워크의 혜택을 받을 수 있다.
In 2019, the NBME and AMA codeveloped a new HSS subject examination for UME.100Further modifications to the DCI, GQ, and USMLE to include additional HSS content could accelerate formal integration of HSS into the mainstream of medical education. Lastly, professional workforce development may benefit from the HSS framework as it could articulate critical learning areas for physicians and other health professionals to simultaneously transform health care delivery and the education of trainees within clinical learning environments.20,92
이론적 근거 6: 통합 프레임워크는 "시스템 시민"이라는 새로운 전문적 정체성을 촉매합니다. Rationale 6: A unified framework catalyzes a new professional identity as “systems citizens”
HSS는 의사(그리고 잠재적으로 간호사, 치료사 및 약사와 같은 다른 건강 전문가)를 위한 [테크니컬 스킬 개발]을 위한 핵심 프레임워크를 제공한다. 또한 HSS는, 의사의 특성과 특질(예: 이타주의, 신뢰도, 동정심, 타인에 대한 존중)을 넘어서는, 새로운 "시스템 시민"으로서의 전문직업성 정체성 함양을 동등하게 중요시한다. HSS provides a core framework for technical skill development for physicians (and potentially other health professionals such as nurses, therapists, and pharmacists). HSS also catalyzes an equally important shift toward a new “systems citizens” professional identity that extends beyond physicians’ characteristics and traits (e.g., altruism, trustworthiness, compassion, respect for others).101–104
"시스템 시민"이란 Senge가 사회와 관련하여 처음 제정한 개념으로, Hafferty가 의료의 맥락에서 위치하며, (우리가 앞서 여러 연구에서 적용한)시스템 시민은 의료 시스템과 공생 관계에 있는 의료 전문가입니다(생의학에만 초점을 맞춘 고립된 마이크로 환경 내에서 동작하지 않는다)
A concept first established by Senge in relation to societies, situated by Hafferty in the context of health care, and applied by several of our works, systems citizens are health care professionals who are in a symbiotic relationship with the health care system (not operating within an isolated microenvironment focused on the biomedical sciences).3,13,101,105–107
[시스템 시민성systems citizenship]은 의사로 하여금 [Stewards, 대사, 신탁자]가 됨으로써 [이상적인 환자 결과를 얻기 위해 시스템 내부와 시스템 간의 협력 관계를 보장할 것]을 요구한다. 105 교육자의 목표는 HSS에 대한 일관되지 않은 작업 지식과 관심을 가지고 있는 생물의학적인 지식을 가진 의사를 개발하는 것이 되어서는 안 된다. 교육자는 의사가 [의료라는 "국가"의 한 시민으로 촉진시키는 전문적 정체성]을 지향해야 하며, 여기서 의사는 [환자와 지역사회와 의료 전달 변혁의 책임을 공유하고 공동 생산]해야 한다. 3,108 HSS는 [시스템 시민]이 필요로 하는 역량을 다루며, HSS는 이처럼 진화하는 전문직업적 정체성을 위한 공유된 언어를 제공한다.
Systems citizenship requires physicians to be stewards, ambassadors, and trustees, ensuring collaborative relationships within and between systems to achieve ideal patient outcomes.105Educators’ goals should not be to develop physicians with biomedical acumen who possess inconsistent working knowledge and interest in HSS. Educators should be aiming for a professional identity that promotes physicians as citizens of a health care “country,” where they share with patients and communities the responsibility of and coproduce health care delivery transformation.3,108HSS includes the core competencies that systems citizens require and provides the shared language for this evolving professional identity.83
결론 Conclusions
여기저기 흩어져서 존재해온 [시스템 관련 역량]은 수십 년 동안 미국 의료 교육의 일부였다. 의료계가 환자와 모집단에서 건강에 대한 복잡한 결정요소를 이해하는 방법의 급속한 진보는 이러한 역량을 통합 종합 프레임워크인 HSS 프레임워크로 구성하고 확장하게 했다. 이 프레임워크는 의료 교육의 중요한 격차를 해소하고 의료 교육 및 의료 내에서 환자 중심의 실천과 의사 리더십에 대한 명명법을 제공한다. 기본 및 임상 과학과의 완전한 파트너로서 HSS로의 전환을 가속화한다면, UME-GME-인력 연속체를 따라 정렬을 강화하고, 표준화된 우선 역량 세트를 지원하고, 시스템 시민의 개발을 촉진할 것이다.
Dispersed systems-related competencies have variably been a part of U.S. medical education for several decades. Rapid advances in how the medical community understands complex determinants of health in patients and populations have fueled the need to organize and expand these competencies into a unified comprehensive framework—the HSS framework.
Acad Med. 2020 Sep;95(9):1362-1372.
doi: 10.1097/ACM.0000000000003400.
Health Systems Science in Medical Education: Unifying the Components to Catalyze Transformation
1J.D. Gonzalo is associate professor of medicine and public health sciences and associate dean for health systems education, Penn State College of Medicine, Hershey, Pennsylvania; ORCID: https://orcid.org/0000-0003-1253-2963.
2A. Chang is professor of medicine and Gold-Headed Cane Endowed Education Chair in Internal Medicine, University of California, San Francisco School of Medicine, San Francisco, California.
3M. Dekhtyar is former research associate, Medical Education Outcomes, American Medical Association, Chicago, Illinois; ORCID: https://orcid.org/0000-0002-8548-3624.
4S.R. Starr is associate professor of pediatrics and director of science of health care delivery education, Mayo Clinic Alix School of Medicine, Rochester, Minnesota; ORCID: https://orcid.org/0000-0001-9259-3576.
5E. Holmboe is chief research, milestones development, and evaluation officer, Accreditation Council for Graduate Medical Education, Chicago, Illinois, adjunct professor of medicine, Yale University, New Haven, Connecticut, and adjunct professor, Feinberg School of Medicine, Northwestern University, Chicago, Illinois.
6D.R. Wolpaw is professor of medicine and humanities, Penn State University College of Medicine, Hershey, Pennsylvania.
Medical education exists in the service of patients and communities and must continually calibrate its focus to ensure the achievement of these goals. To close gaps in U.S. health outcomes, medical education is steadily evolving to better prepare providers with the knowledge and skills to lead patient- and systems-level improvements. Systems-related competencies, including high-value care, quality improvement, population health, informatics, and systems thinking, are needed to achieve this but are often curricular islands in medical education, dependent on local context, and have lacked a unifying framework. The third pillar of medical education-health systems science (HSS)-complements the basic and clinical sciences and integrates the full range of systems-related competencies. Despite the movement toward HSS, there remains uncertainty and significant inconsistency in the application of HSS concepts and nomenclature within health care and medical education. In this Article, the authors (1) explore the historical context of several key systems-related competency areas; (2) describe HSS and highlight a schema crosswalk between HSS and systems-related national competency recommendations, accreditation standards, national and local curricula, educator recommendations, and textbooks; and (3) articulate 6 rationales for the use and integration of a broad HSS framework within medical education. These rationales include: (1) ensuring core competencies are not marginalized, (2) accounting for related and integrated competencies in curricular design, (3) providing the foundation for comprehensive assessments and evaluations, (4) providing a clear learning pathway for the undergraduate-graduate-workforce continuum, (5) facilitating a shift toward a national standard, and (6) catalyzing a new professional identity as systems citizens. Continued movement toward a cohesive framework will better align the clinical and educational missions by cultivating the next generation of systems-minded health care professionals.
21세기 보건의료 시스템을 위한 교육: 기초, 임상, 시스템과학의 상호의존적 프레임워크(Acad Med, 2017)
Educating for the 21st-Century Health Care System: An Interdependent Framework of Basic, Clinical, and Systems Sciences Jed D. Gonzalo, MD, MSc, Paul Haidet, MD, MPH, Klara K. Papp, PhD, Daniel R. Wolpaw, MD, Eileen Moser, MD, MHPE, Robin D. Wittenstein, EdD, and Terry Wolpaw, MD, MHPE
프랭크 후일러1은 그의 논평 "거울 속의 여인"에서 술에 취해 호전적이고 급성 전심근경색을 앓고 있는 노숙자, 정신분열증 환자, 병적으로 비만인 여성과의 만남을 묘사하고 있다. 몇 주 전에 놓여진 스텐트는 주로 응고를 막는 비싸지만 중요한 약물이 없었기 때문에 응고되었다. 약을 공짜로 얻을 수 있는 준비에도 불구하고, 환자는 그것을 가지러 가는 버스비를 관리할 수 없었다. In his Commentary “The Woman in the Mirror,” Frank Huyler1 describes his encounter with a homeless, schizophrenic, morbidly obese woman who presents to the emergency department drunk, belligerent, and suffering an acute anterior myocardial infarction. A stent placed several weeks earlier had clotted, due mainly to the absence of an expensive but important medication that prevents clotting. Despite arrangements to obtain the medication for free, the patient could not manage bus fare to pick it up.
몇 주 동안 병원에 입원한 후, 그리고 수십만 달러를 쓴 후에, 그녀는 살아남았습니다. 그리고 나서 그녀는 거리로 다시 퇴원했다. 어디서부터 시작할까요? 그건 알기 어렵다. 우리는 사회가 정신병을 어떻게 보고 치료하는지 살펴보는 것으로 시작하나요? 정신분열증 환자, 알코올 중독자, 길거리 사람들에게 스텐트를 주입한 심장병 전문의의 지혜에 의문을 품기 시작할까요? 터무니없이 비싼 약의 준수가 매우 중요할 수 있다는 것을 알면서 말이죠. 만약 심장전문의가 스텐트를 삽입하지 않았다면, 우리는 치료 기준을 제공하지 못한 그나 그녀를 탓할 수 있을까요? 환자에게 주거비와 식비를 제공하는 것을 고려하지 않는데 왜 우리는 스텐트에 7천 달러를 지출하는가?1 After weeks in the hospital and after many hundreds of thousands of dollars were spent, she survived. Then she was discharged back to the street…. Where to start? It’s hard to know. Do we start with examining how society views and treats the mentally ill? Do we start questioning the wisdom of the cardiologist who put a stent into a schizophrenic, alcoholic street person, knowing that compliance with an outrageously overpriced medication would then be vitally important? If the cardiologist had not put in the stent, would we fault him or her for failing to provide the standard of care? Why do we spend $7,000 on a stent, when we do not consider providing the patient with housing and food [or bus fare]?1
Huyler 박사는 의학과 의학교육에서 인문학이 차지하는 역할에 대해 쓰고 있었지만, 버스 이용권만 있으면 되는 환자를 구하기 위해 기술적으로 진보된 카테터화 실험실과 고도로 훈련된 전문가들을 활성화할 수 있는 미국의 의료 시스템에 대해 쓰고 있었을 수도 있다. 고비용이지만, 분절되어있고, 성능이 낮은 미국의 의료 시스템에 대한 증거는 새로운 것이 아니다.2 이러한 비효율성을 해결하기 위해, 경제적인 관리법과 같은 정책들은 의료 시스템이 대응, 재구성 및 통합하도록 유도하고 있으며, 이는 과거와는 근본적으로 다른 의료행위를 할 환경을 조성하고 있습니다. Dr. Huyler was writing about the role of the humanities in medicine and medical education, but could have been writing about the U.S. health care system, capable of activating a technologically advanced catheterization laboratory and highly trained specialists to save a patient who really only needed a bus voucher. The evidence for a high-cost, fragmented, and low-performing U.S. health care system is not new.2 To address these insufficiencies, policies such as the Affordable Care Act are prompting health care systems to react, reorganize, and consolidate, creating a practice environment fundamentally different from that of the past.
추세는 개인 의사에서 전문 팀 간 진료로 전환되고 있습니다.3 의료 결과는 개별 환자 건강에서 [환자의 경험 개선, 인구 건강 증진, 비용 절감]이라는 "3중 목표"로 진화하고 있습니다.4 전자 의료 기록, 데이터 관리 시스템 및 결제 시스템이 발전함에 따라 의료는 개인 환자에만 초점을 맞추기보다는 인구에 대한 질병의 사전 예방적 관리에 점점 더 초점을 맞출 것이다. 의료 분야의 이러한 새로운 방향은 의사의 전통적인 역할 기대치에 대한 근본적인 패러다임 변화를 나타낸다. 하지만, 우리의 교육은 여전히 동맥경화의 병리생리학 및 관상동맥질환의 치료에 집중되어 있다. 뭔가 빠져있다. 학습자에게 환자 경험 또는 시스템 과학에 대한 병렬 참여를 제공하는 곳은 어디입니까?
Trends are shifting away from the solo practitioner to care delivered by interprofessional teams.3 Health care outcomes are evolving from individual patient health to the Institute for Healthcare Improvement’s “triple aim” of improving patients’ experiences, promoting population health, and reducing cost.4 With the advancement of electronic medical records, data management systems, and payment systems changes, health care will increasingly focus on proactive management of disease for populations, rather than focusing solely on individual patients. These new directions in health care represent fundamental paradigm shifts for the traditional role expectations of physicians. However, our education remains focused (as in Dr. Huyler’s story) on learning the pathophysiology of atherosclerosis and treatment of coronary artery disease. Something is missing. Where are we providing learners with parallel engagement in the patient experience or systems sciences?
2013년 캐서린 루시5는 의학 교육의 재검토와 "시스템 과학"의 의학 커리큘럼의 통합을 요구했다.
어디서부터 시작할까요?
우리가 전통적인 과학과 함께 핵심 교육 노력에 시스템 교육을 배치한다면 어떨까요?
만약 우리가 닥터 후일러처럼 환자들의 질병을 이해할 수 있는 도구를 제공한다면 어떨까요? 그리고 나서 학생들이 이러한 환자들과 함께 치료 장벽을 식별하고 해결할 수 있는 기회를 만들면 어떨까?
In her seminal challenge in 2013, Catherine Lucey5 called for a reexami nation of medical education and incorporation of “systems sciences” into the medical curriculum.
Where to start?
What if we located systems education in core educational efforts alongside traditional sciences?
What if we provided the tools to understand the diseases of patients like Dr. Huyler’s and then created opportunities for students to work with these patients to identify and address barriers to care?
의학교육의 3축 기본틀 The Three-Pillar Framework of Medical Education
플렉스너 보고서 이후, 대부분의 의과대학들은 기초과학에서 학생들을 먼저 교육했고, 그 다음에는 임상과학에서 교육을 받았다. 6,7 비록 많은 학교들이 초기 임상과학의 기회를 만들고, 나중에 기초과학에 다시 방문함으로써 이 전통적인 틀에 도전했지만, 교육의 일반적인 체계는 여전히 이것에 기초하고 있다. Since the Flexner report, most medical schools have educated students first in the basic sciences, then in the clinical sciences.6,7 Although many schools have challenged this traditional framework by creating early clinical science opportunities and revisiting basic sciences during later years, the general system of education is still based on this dyad.
동시에, 미래의 의사들이 복잡한 의료 시스템에서 일하려면, 다음과 관련된 지식과 능력이 필요하다는 것이 점점 더 인정되고 있다 -의료 금융, 인구 건강, 질 향상, 사회 생태학적 건강, 정보학자, 팀워크, 리더십 및 의료 전달 과학과 관련된 기타 영역.이러한 시스템 과학은 학문 간 융합이 높고 전통적인 기초(예: 생리학, 생화학) 또는 임상(예: 소아과, 수술) 과학과는 구별되므로 혁신적이고 통합된 교육학적 전략과 교육 프레임워크에 대한 새로운 비전이 필요한 변화가 필요하다.
Concurrently, it is increasingly recognized that for future physicians to work in complex health care systems, they will need to have knowledge and abilities related to health care financing, population health, quality improvement, socio-ecological health, informatics, teamwork, leadership, and other areas related to the science of health care delivery.5,8,9 These systems sciences are highly interdisciplinary and distinct from either traditional basic (e.g., physiology, biochemistry) or clinical (e.g., pediatrics, surgery) sciences, necessitating changes that require innovative and integrated pedagogical strategies and a fresh vision for our educational framework.
우리는 의료 시스템의 증가하는 복잡성을 이해하고 탐색하는 데 시스템 지식과 기술에 대한 숙련도가 점점 더 중요해지고 있기 때문에, 의학교육은 [진화하는 의료 시스템의 요구에 부합하고 시스템 과학 역량을 개발할 기회]를 학생들에게 제공해야 한다고 생각한다. 이러한 변환은 기본 및 임상 과학의 전통적인 2필러 관계를 기본, 임상 및 시스템 과학의 상호의존적 3필러 프레임워크로 재구성할 것이다.
We believe medical education must align with the needs of the evolving health care system and provide students with opportunities to develop systems science competencies, since proficiency in systems knowledge and skills has become increasingly important to understanding and navigating the growing complexity of the health care system. This transformation will reframe the traditional two-pillar relationship of basic and clinical sciences to an interdependent three-pillar framework of basic, clinical, and systems sciences.5,9
일부 교육 프로그램이 현재 커리큘럼에 시스템 기반 주제를 포함하지만, 그것들은 유한하고 고립되어 있으며 커리큘럼 개혁에 명시적으로 통합된 초점이 아니다. 우리는 의과대학이 기초 및 임상 과학에 전념하는 보조 또는 준-수준의 학장 직위를 가지고 있지만, 3개 기둥 프레임워크로 전환하려면, [시스템 과학의 설계와 커리큘럼 통합에 전념할 수 있도록], 시스템 과학에서 (부)학장급 직위가 필요할 것이라고 제안한다.
Although some education programs now include systems-based topics in the curriculum, they are finite, isolated, and not an explicitly integrated focus of curriculum reform.10,11 We suggest that although medical schools have assistant- or associate-level dean positions dedicated to basic and clinical sciences, the shift to a three-pillar framework would require similar dean-level positions in systems sciences dedicated to the design and integration of these systems sciences into the curriculum.
또한 성공적인 통합을 위해 이러한 시스템 과학을 포함하도록 인지 및 커리큘럼 공간의 균형 조정이 필요하다. 현재, 기초의학과 임상의학 학습은 다양한 의사 경험에서 맥락화된다. 3축 프레임워크로 전환하려면 시스템 과학을 교실 밖에서 적용할 수 있는 기회를 만들어야 할 것이다. 요컨대, 3개 필러 모델 하에서 시스템 과학은 임상 및 기초 과학과 동일한 중요도, 집중도 및 주의를 제공받게 될 것이다.
Additionally, a rebalancing of cognitive and curriculum space to include these systems sciences is required to allow for successful integration. Currently, basic and clinical science learning are contextualized in a variety of doctoring experiences. The shift to a three-pillar framework would require the creation of opportunities to also apply systems sciences outside of the classroom. In short, under the three-pillar model the systems sciences would be offered with the same importance, focus, and attention as the clinical and basic sciences.
과감한 변화는 쉽게 찾아오지 않으며 가볍게 여겨지지 않는다. 과감한 변화는 쉽게 찾아오지 않으며 가볍게 여겨지지 않는다. 세 개의 기둥으로 구성된 프레임워크는 학교의 교육 프로그램의 목표와 목표에 대한 집중적이고 비판적인 검토가 필요하다.
이미 과부하가 걸린 커리큘럼에 내용을 추가할 수 없습니다. 교육자들은 전통적인 강의실의 역할과 많은 양의 사실 습득의 필요성에 대한 근본적인 질문들과 씨름할 필요가 있는데, 이 때 학생들은 궁극적으로 보건 정보학자와 진료 시점 자원을 급속히 확장하는 시대에 연습을 하게 될 것이다.
우리는 더 큰 대중의 이익에 부합하는 전체를 만들기 위해 전체 커리큘럼에 걸쳐 잘 검증된 학습 원칙을 결합할 필요가 있다.8
또한, 보드 시험과 전공의 요구사항에 시스템 과학이 상대적으로 덜 표현되고 있는 것도 학생들을 이 새로운 학습 의제에 참여시키는 데 상당한 장벽을 만든다.
Bold changes do not come easily and are not to be taken lightly. A three-pillar framework necessitates an intensive, critical review of the goals and objectives of a school’s educational program.
Adding content to an already-overloaded curriculum will not work. Educators need to grapple with fundamental questions about the role of the traditional classroom and the need for large volumes of fact acquisition, when the students will ultimately be practicing in an era of rapidly expanding health informatics and point-of-care resources.12,13
We need to combine well-validated learning principles across the entire curriculum to create a whole that aligns with greater public interest.8
Additionally, the relative lack of representation of systems sciences on board examinations and in residency expectations creates significant barriers to engage students in this new learning agenda.
이러한 과제는 3축 모델을 구현하기 전과 구현하는 동안 해결되어야 한다.14 사회적 요구를 지속적으로 예측하는 적응형 교육 시스템을 원한다면 세 가지 요소를 모두 새로운 시각으로 참여시키고 연결해야 한다.
These challenges must be addressed prior to and during implementation of a three-pillar model.14 If we want adaptive educational systems that continuously anticipate societal needs, we need to engage and connect all three pillars with fresh eyes.
3축 교육체계 내 시스템 커리큘럼 A Systems Curriculum Within a Three-Pillar Education Framework
우리는 기초 과학 및 임상 과학과 상호 독립적으로 작동하는 3개 필러 교육 프레임워크에 포함된 시스템 커리큘럼 모델을 제시한다. 이 시스템 커리큘럼은 두 가지 교육학적 구성요소, 즉 강의실 기반 개념 구성요소와 보건 시스템 기반 경험 구성요소로 구성된다. 개념적 및 경험적 구성요소는 동시에 상호 강화되도록 설계되었다(그림 1).
[개념적 요소]에서 학생들은 시스템 과학을 사용하여 조직, 지역사회 및 소셜 네트워크에서 의료 제공과 관련된 문제에 대해 배우고 씨름하며 시스템 기반 역할의 실천을 준비한다.
[경험적 요소]에서 학생들은 시스템 개념을 사용하여 의료 시스템 전반의 실제 환경에서 환자 치료를 개선하는 연습을 할 것이다. 이 경험 기반 구성요소는 시스템 과학의 기본 개념 학습과 그러한 학습의 동기 부여에 대한 학생들의 관련성에 대한 인식을 강화해야 한다. 두 요소 모두 학생들이 그들 사이의 연결을 발견할 수 있도록 설계되어야 하며, 결과적으로 다른 요소에 참여함으로써 그들의 학습을 강화해야 한다.
We present a model for a systems curriculum embedded within a three-pillar educational framework that functions interdependently with the basic and clinical sciences. This systems curriculum has two pedagogical components: a classroom-based conceptual component and a health-system-based experiential component. The conceptual and experiential components are designed to be simultaneous and mutually reinforcing (Figure 1).
In the conceptual component, students would learn about and wrestle with issues relevant to health care delivery in organizations, communities, and social networks using the systems sciences, preparing them for practice in systems-based roles.
In the experiential component, students would practice using systems concepts to improve patient care in real-world environments across the health care system. This experience-based component should foster students’ awareness of the relevance for learning the fundamental concepts of systems sciences, as well as motivation for such learning.15 Both components should be designed so that students can discover connections between them, subsequently reinforcing their learning in one by participating in the other.
여러 저자가 의료 조정, 환자 안전 및 품질 개선 방법, 팀워크를 포함한 [개념적 요소]에 적합한 콘텐츠를 제안했습니다.10,11 개념이 제안되고 일부는 구현되었지만, 강력한 [경험적 요소]를 공유하는 방법에 대한 논의는 상대적으로 적습니다.5,9–11 다양한 반면 활동이 적절할 수 있으므로, [이상적인 경험적 요소]는 다음 세 가지 기준을 충족시킬 것을 제안한다.
진정한authentic 실무 경험을 얻을 수 있습니다.
핵심 시스템 기반 실무 개념을 직접 경험할 수 있도록 지원합니다.
학생들이 그 안에서 치료를 받는 환자의 눈을 통해 시스템을 볼 수 있게 할 것이다.
Several authors have suggested content suitable for the conceptual component, including care coordination, patient safety and quality improvement methods, and teamwork.10,11Although concepts have been proposed and some implemented, there is comparatively little discussion about the way to share a robust experiential component.5,9–11While various activities may be appropriate, we suggest that the ideal experiential component will fulfill three criteria:
It will allow for an authentic practice experience;
It will allow direct experience with core systems-based practice concepts; and
It will allow students to view the system through the eyes of the patients receiving care within it.
첫째, [진정한authentic 실천 경험]은 학생들이 경험과 개념적 요소 모두에 참여하려는 동기를 강화시키기 때문에 중요하다.15,16 의료 시스템에서 필수적인 역할을 수행하는 학생들은 두 커리큘럼 요소에 진지하게 참여할 가능성이 더 높다. First, authentic practice experiences are critical, as they enhance students’ motivation to participate in both the experiential and conceptual components.15,16 Students performing essential roles in the health care system are more likely to seriously engage in both curriculum components.
둘째, [시간적으로 정렬된 직접 경험]은 [학습한 시스템 기반 개념]을 [실제 실행]으로 전이하는 것을 고정하고 강화하는 데 도움이 될 것이다. 이러한 커리큘럼 강화는 학생들이 미래의 임상 실습에 학습된 교훈을 적용하고, 21세기 실습에 필요한 시스템 사고 관점을 채택할 가능성이 높은 의사 양성으로 이어질 수 있다.17
Second, temporally aligned direct experience will help to anchor and enhance transfer of learned systems-based concepts to real-world practice. Such curricular reinforcement may lead to students applying lessons learned to future clinical practice, as well as cultivation of physicians more likely to adopt the systems-thinking perspectives needed for 21st-century practice.17
마지막으로, [환자의 눈을 통해 시스템을 보는 것]은 학생들이 [의료서비스가 제공될 그 모집단]과 연결된 상태를 유지하도록 돕는다. 학생들은 의료 시스템의 미래 실무자, 지도자, 설계자이기 때문에, 우리는 환자의 경험에 기초한 교육이 환자의 요구에 더 부합하는 시스템의 개발을 이끌 것이라고 믿는다.
Finally, seeing the system through patients’ eyes helps students remain connected to the very populations health care systems are created to serve. Because students are the future practitioners, leaders, and designers of health care systems, we believe an education grounded in patients’ experiences will lead to the development of systems more aligned with patients’ needs.
닥터 Huyler 환자의 사례로 돌아오면, 전통적인 의대생 역할은 복잡한 카테터 실험 활동과 후속 병원 진료, 급성 심근경색 및 스텐트 관리에 대한 사례 회의를 관찰하는 것을 포함할 수 있다. 하지만 이것들이 중요한 학생-의사 학습 경험일지라도, 학생들은 이러한 의료전달 과정에서 "교육적인 방관자"이기 때문에 진정한 의미의 참여형 의료 역할로 적격하지는 않다. 더 확장된 렌즈를 사용하여, 미래의 의사가 어떤 기술을 필요로 하는지 본다면, 환자에게는 "고부담"으로 인식되는 전통적인 의사 중심적 기술을 필요로 하지 않는다는 것을 알게 된다.
Returning to Dr. Huyler’s patient, the traditional medical student role might have involved observing complex catheterization lab activities and subsequent hospital care, and case conferences on acute myocardial infarctions and stent management. These can be important student–doctor learning experiences, but they do not qualify as authentic, engaged health care roles because students are “educational bystanders” in care delivery processes. Using the expanded lens to view the skills required of future physicians, we see that patients frequently do not require traditional physician-centric skills, which are perceived as “higher stakes.”9,15,18–20
오히려, 환자들은 "돌봄"을 필요로 하며, 이것은 생물의학으로 분류되기보다는, 사회 또는 시스템 문제로 더 광범위하게 분류된다.21 보건 시스템 내의 초기 심층 중심 경험은 학생들이 진정한 의미 있는 직장 역할에 참여할 수 있는 높은 활용 영역을 제공한다. 우리는 환자 탐색patient navigation이 전통적인 임상 경험과 유사하고 향상된 방식으로 시스템 기반 환자 관리를 제공하는 참여적인 역할을 학생들에게 제공한다고 믿는다.
Rather, patients require “care” in areas not labeled as biomedicine, but classified more broadly into social or systems issues.21Early depth-focused experiences within health systems provide a high-leverage area for student participation in authentic, meaningful workplace roles. We believe that patient navigation provides students with a participatory role in providing systems-based patient care in a way that parallels and enhances traditional clinical experiences.
진정한 시스템 과학 역할로서의 환자 탐색 Patient Navigation as an Authentic Systems Science Role
학생 운영 무료 진료소, 응급 의료 기술자 교육, 종적 통합 임상실습 등과 같은 의료 시스템에 대한 학생 참여에 대한 문헌이 증가하고 있다. 9,19,20 이러한 기회가 시스템 과학 학습과 연계될 수 있지만, [환자 탐색]의 역할이 [시스템 커리큘럼의 경험적 요소]로서 훌륭한 후보라고 생각한다. 1990년에 처음 구현된 환자 탐색은 의료 제공의 격차를 해소하고 환자와 시스템 기반 장벽을 극복하며 진단/치료의 지연을 줄이고 결과를 개선하는 데 도움이 되는 전략이다.22-24 There is a growing literature on student participation in health care systems such as student-run free clinics, emergency medical technician training, and longitudinal integrated clerkships.9,19,20 Although these opportunities could be linked to systems sciences learning, we believe the role of patient navigation is an excellent candidate for the experiential component of a systems curriculum. First implemented in 1990, patient navigation is a strategy that helps bridge gaps in health care delivery, overcome patient and systems-based barriers, reduce delays in diagnosis/treatment, and improve outcomes.22–24
[환자 탐색Patient navigation]은 [외부지원 인력outreach worker]을 사용하여 환자가 복잡한 시스템을 통해 기동하여 더 나은 치료를 받을 수 있도록 돕는다. 조직과 지역사회에서 환자 및 제공자와 함께 일하는 환자 네비게이터는 환자를 자원에 연결하고, 환자를 치료 계획 완료에 보조하며, 환자에게 의료 문제에 대해 교육하고, 치료 장애물을 식별하고 제거한다.
Patient navigation uses outreach workers to help patients maneuver through complex systems to obtain better care. Working with patients and providers in the organization and community, patient navigators connect patients to resources, assist patients in completing care plans, educate patients about medical issues, and/or identify and remove impediments to care.25,26
학생들이 [환자 네비게이터] 역할을 할 수 있는 기회를 만드는 것은 이상적인 체험 활동에 대한 세 가지 기준을 충족합니다.
첫째, 많은 의료 시스템이 이러한 부가적인 역할이 부족하거나 필요한 상태이며, 학생들은 그들의 진정한 실천 경험을 통해 의미 있는 기여를 할 수 있는 위치에 있다.
둘째, 환자 탐색을 통해 학생들은 접근, 재정 지원, 커뮤니티 기반 서비스 및 시스템 비효율성을 포함한 많은 시스템 개념과 직접 접촉할 수 있습니다.
셋째, 환자 탐색은 본질적으로 환자 중심이며, 환자의 사회적 맥락과 관점을 이해해야 한다.
마지막으로, 환자 네비게이션의 많은 모델이 일반 직원이 네비게이터로서 효과적으로 기능할 수 있다는 것을 입증했기 때문에, 학생들은 장기간 훈련 없이 의대에서 일찍 그 직무를 수행할 수 있다.18
Creating opportunities for students to serve as patient navigators fulfills the three criteria for an ideal experiential activity.
First, many health care systems either lack or are in need of this value-added role, and students are positioned to make meaningful contributions through their authentic practice experiences.
Second, patient navigation brings students into direct contact with many systems concepts, including access, financing, community-based services, and systems inefficiencies.
Third, patient navigation is inherently patient centered, requiring an understanding of patients’ social contexts and perspectives.
Finally, since many models of patient navigation have demonstrated that lay personnel can function effectively as navigators, students can perform navigator duties early in medical school without prolonged training.18
시스템 기반 커리큘럼의 예: 펜실베이니아 주립 의과대학 내비게이션 교육과정 An Example of a Systems-Based Curriculum: The Pennsylvania State University College of Medicine Systems Navigation Curriculum
2014년 가을, 우리는 펜실베이니아 주립 의과대학(PSUCOM)의 모든 의대 학생들을 위한 새로운 커리큘럼, 즉 시스템 네비게이션 커리큘럼(Sync)을 개발하고 시행했다. 이 커리큘럼은 (1) 건강 시스템 과학 과정 및 (2) 환자 탐색기 경험 등 개념적 및 경험적 구성요소로 구성된다. 이 두 가지 구성 요소는 우리 학생들의 의대 첫 2년 동안 주당 평균 3~4시간을 포함합니다. 과정(개념 구성요소)과 탐색 경험(경험적 구성요소) 모두 학생들이 진화하는 의료 시스템의 복잡성 속에서 효과적으로 기능할 수 있는 지식, 태도 및 기술을 개발할 수 있도록 한다. SyNC의 목표는 다음과 같습니다.
심리적, 사회적, 시스템 기반 요소를 포함하여 의료에 대한 전체적인 접근 방식을 시연합니다.
인구 및 환자 중심의 관리를 기술하고 전달한다.
의료 및 지역사회 기반 전문가 팀의 효과적인 구성원으로 참여
사후 대응적 사고와 의사 결정이 아닌 사전 예방적 의사 결정 능력을 입증
의료에서 가치 기반 의사 결정을 내립니다.
In the fall of 2014, we developed and implemented a new curriculum for all medical students at the Pennsylvania State University College of Medicine (PSUCOM)—namely, the Systems Navigation Curriculum (SyNC). This curriculum consists of conceptual and experiential components: (1) the Science of Health Systems Course, and (2) patient navigator experiences. In total, these two components involve an average of three to four hours per week in our students’ first two years of medical school. Both the course (conceptual component) and navigation experiences (experiential component) allow students to develop the knowledge, attitudes, and skills to function effectively amid the complexities of an evolving health care system. SyNC’s goals are that students:
Demonstrate a holistic approach to health care, including psychological, social, and systems-based elements;
Describe and deliver population- and patient-centered care;
Participate as effective members of medical and community-based interprofessional teams;
Demonstrate proactive rather than reactive thinking and decision making; and
Make value-based decisions in medical care.
건강 시스템 과학 과정은 학생들이 학부 생활을 한 첫 17개월 동안 진행되며, 기초 및 임상 과학 과정과 동시에 진행됩니다. 학생들은 재정, 인구 및 공공 보건, 사회 생태 의학, 고부가가치 의료, 팀워크, 리더십, 증거 기반 의학 등 의료 전달 과학의 개념을 배운다(차트 1). 또한 의료 시스템 내에서 환자 네비게이터 역할에서 이러한 개념을 동시에 적용합니다.
The Science of Health Systems Course spans the first 17 months of the students’ undergraduate experience and is simultaneous with course work in basic and clinical sciences. Students learn concepts of the science of health care delivery, including financing, population and public health, socio-ecological medicine, high-value care, teamwork, leadership, and evidence-based medicine (Chart 1). They simultaneously apply these concepts in their roles as patient navigators within the health care system.
프로그램 시작 1년 전, 우리는 펜실베이니아 주 남부에서 환자 네비게이션 사이트 네트워크 개발에 착수했습니다. 우리는 환자 중심의 의료 가정, 입원 환자 퇴원 프로그램, 수술 체중 감소 프로그램, 국영 결핵 클리닉 등 광범위한 임상 현장을 갖춘 여러 건강 시스템과 제휴했다. 우리는 환자 네비게이션이 필요한 환자 모집단을 식별할 수 있는 임상 사이트를 식별했으며 지속 가능한 네트워크를 구축하기 위해 PSUCOM과 기꺼이 협력했다. 네트워크의 환자 모집단에는 다양한 문제와 환자 유형이 포함된다. 예를 들어, 여러 사이트에는 초유틸리티(superutilizer)로 간주되는 환자(즉, 병원 재입원이 빈번한 환자)에 초점을 맞추고 있다.27,28
The year prior to the launch of the program, we embarked on developing a network of patient navigator sites in south central Pennsylvania. We partnered with several health systems with a wide range of clinical sites, including patient-centered medical homes, inpatient discharge programs, a surgical weight loss program, and a state-run tuberculosis clinic, among others. We identified clinical sites that could identify a patient population in need of patient navigation and were willing to collaborate with PSUCOM to build a sustainable network. Patient populations in the network include a spectrum of issues and patient types. For example, several sites include a focus on patients considered to be superutilizers—that is, those with frequent hospital readmissions.27,28
모든 설정에서 학생들은 비의학적인 역할로 활동하는 [Interprofessional 의료진]에 포함되고, 현장 멘토(예: 환자 네비게이터, 관리 코디네이터)와 연계되어 1년 동안 환자 네비게이터 활동을 통해 학생들을 안내한다. 학생들이 동시 건강 시스템 과학 강좌로 돌아오면, 그들은 서로 다른 임상 사이트에 걸쳐 이질적인 경험을 가진 학생들로 구성된 소규모 그룹 "SynC 팀"에서 일한다. In all settings, students are embedded into interprofessional clinical teams functioning in a nonphysician role and linked with site mentors (e.g., patient navigator, care coordinator) to guide them through patient navigator activities for the duration of one academic year. When students return to the concurrent Science of Health Systems Course, they work in small-group “SyNC Teams” composed of students with heterogeneous experiences across different clinical sites.
이러한 경험의 혼합은 환자 중심 문제에 대한 풍부한 성찰과 토론을 가능하게 하여 팀의 논의 범위를 넓힌다. 또한 우리는 의료팀의 소중한 구성원으로 일하고, 의사의 역할을 비의학적 관점에서 볼 수 있는 기회가 주어진다면, 우리 학생들은 의미 있는 협업과 대안적 관점에 대한 이해를 포함하는 전문적인 정체성을 개발할 것이라고 믿는다. 학생들은 그들이 탐색하는 것을 돕는 환자들을 위해 운동하는 동안 그들의 생물의학, 임상 및 시스템 연구의 상호의존성을 직접 볼 수 있는 기회를 가진다.
This intermixing of experiences allows for enriched reflections and discussions about patient-centered issues, expanding the breadth of teams’ discussions. We also believe that given the opportunity to work as a valued member of a health care team and view the role of the doctor from a nonphysician perspective, our students will develop professional identities that incorporate an understanding of meaningful collaboration and alternative perspectives. Students have the opportunity to see firsthand the interdependence of their biomedical, clinical, and systems studies as they play out for the patients they help navigate.
SynNC는 원래 의과대학 교육 프로그램으로 설계했지만, [3개 필러 프레임워크]가 보건 전문가 교육 프로그램에 걸쳐 적용될 것을 제안한다. 간호, 간호사 개업의, 약국, PA 프로그램을 포함한 많은 전문 프로그램들이 시스템 교육을 커리큘럼에 통합하기 시작하고 있다.
Although we designed SyNC for our undergraduate medical education program, we propose that the three-pillar framework is applicable across health professions educational programs. Many professional programs, including nursing, nurse practitioner, pharmacy, and physician assistant (PA) programs, are beginning to incorporate systems education into their curricula.
결론 Conclusion
[시스템 실패]는 "거울 속의 여자"에서 묘사된 것만큼 항상 극적인 것은 아니지만, 비슷한 이야기들이 우리의 건강 관리 시스템 전체에 걸쳐 수없이 실망스러운 방식으로 작용한다. 정부 및 의료 기관들은 이러한 노력이 종종 불균일하고 잠정적이긴 하지만, 집중력의 격차와 이를 가능하게 하는 잘못된 자원 배분을 해결하기 시작했다. 의학교육계는 문제점을 인식했지만 교육계획과 전략의 적응적 변화는 더디게 진행되고 있다. 기초과학과 임상과학의 전통적인 두 개의 기둥으로 이루어진 교육과정에는 단순하게 일을 하기에는 너무 많은 짐이 있다. 우리는 의료의 설계와 조직에 급속한 변화가 일어나고 있는 것을 고려할 때, 의료 교육 역시 빠르게 진화할 필요가 있다고 제안한다. 두 개의 기둥으로 된 교육과정을 [기초, 임상, 시스템 과학]의 [새로운 3개의 기둥]으로 바꿈으로써 21세기에 의사들을 더 잘 준비시킬 것이다. Systems failures are not always as dramatic as that described in “The woman in the mirror,” but similar stories play out in myriad frustrating ways throughout our health care system. Governmental and health care organizations have begun to address the gaps in focus and the misdirected resource allocations that allow this to happen, though these efforts are frequently uneven and tentative. The medical education community has recognized the problem, but adaptive changes in educational planning and strategies have been slow. There is simply too much baggage in the traditional two-pillar curriculum of basic and clinical sciences for simple adjustments to work. We suggest that, given the rapid changes taking place in the design and organization of health care, medical education too needs to evolve rapidly. The shift from the two-pillar curriculum to a new three-pillar triad of basic, clinical, and systems sciences will better prepare physicians for practice in the 21st century.
Acad Med. 2017 Jan;92(1):35-39.
doi: 10.1097/ACM.0000000000000951.
Educating for the 21st-Century Health Care System: An Interdependent Framework of Basic, Clinical, and Systems Sciences
1J.D. Gonzalo is assistant professor of medicine and public health sciences and associate dean for health systems education, Penn State College of Medicine, Hershey, Pennsylvania. P. Haidet is professor of medicine, humanities, and public health sciences and director of medical education research, Penn State College of Medicine, Hershey, Pennsylvania. K.K. Papp is adjunct professor of medicine, Pennsylvania State University College of Medicine, Hershey, Pennsylvania. D.R. Wolpaw is professor of medicine and humanities, vice chair for educational affairs, Department of Medicine, and director, Kienle Center for Humanistic Medicine, Penn State College of Medicine, Hershey, Pennsylvania. E. Moser is associate professor of medicine and associate dean for medical education, Penn State College of Medicine, Hershey, Pennsylvania. R.D. Wittenstein is assistant professor of public health sciences, Penn State College of Medicine, and chief operating officer, Penn State Hershey Health System, Hershey, Pennsylvania. T. Wolpaw is professor of medicine and vice dean for educational affairs, Penn State College of Medicine, Hershey, Pennsylvania.
In the face of a fragmented and poorly performing health care delivery system, medical education in the United States is poised for disruption. Despite broad-based recommendations to better align physician training with societal needs, adaptive change has been slow. Traditionally, medical education has focused on the basic and clinical sciences, largely removed from the newer systems sciences such as population health, policy, financing, health care delivery, and teamwork. In this article, authors examine the current state of medical education with respect to systems sciences and propose a new framework for educating physicians in adapting to and practicing in systems-based environments. Specifically, the authors propose an educational shift from a two-pillar framework to a three-pillar framework where basic, clinical, and systems sciences are interdependent. In this new three-pillar framework, students not only learn the interconnectivity in the basic, clinical, and systems sciences but also uncover relevance and meaning in their education through authentic, value-added, and patient-centered roles as navigators within the health care system. Authors describe the Systems Navigation Curriculum, currently implemented for all students at the Penn State College of Medicine, as an example of this three-pillar educational model. Simple adjustments, such as including occasional systems topics in medical curriculum, will not foster graduates prepared to practice in the 21st-century health care system. Adequate preparation requires an explicit focus on the systems sciences as a vital and equal component of physician education.
기본의학교육에서 보건시스템과학(HSS) 교육과정: 잠재적 교육과정 프레임워크 탐색 및 정의 (Acad Med, 2017)
Health Systems Science Curricula in Undergraduate Medical Education: Identifying and Defining a Potential Curricular Framework Jed D. Gonzalo, MD, MSc, Michael Dekhtyar, Stephanie R. Starr, MD, Jeffrey Borkan, MD, PhD, Patrick Brunett, MD, Tonya Fancher, MD, MPH, Jennifer Green, MD, MPH, Sara Jo Grethlein, MD, Cindy Lai, MD, Luan Lawson, MD, MAEd, Seetha Monrad, MD, Patricia O’Sullivan, EdD, Mark D. Schwartz, MD, and Susan Skochelak, MD, MPH
미국의 의료 서비스는 세분화되고 비용이 많이 들며 비효율적입니다.1-5 의료 서비스 품질, 지급 개혁, 제공 프로세스 혁신에 대한 책임 증대에 직면한 의료 시스템은 의료 환경을 혁신하고 있습니다.6 새로운 의료 서비스 모델은 의료 개선 협회의 트리플 목표(환자 경험과 인구 건강을 개선하는 동시에 비용을 절감하는 것)를 달성하기 위해 점점 더 전문 의료 팀에 초점을 맞추고 있습니다.7 Health care delivery in the United States is fragmented, costly, and inefficient.1–5 Faced with increasing accountability for quality of care, payment reform, and the need to transform delivery processes, health care systems are transforming practice environments.6 New care delivery models focus increasingly on interprofessional care teams to achieve the goals of the Institute for Healthcare Improvement’s Triple Aim—to improve the patient experience and population health while reducing costs.7
21세기 의료 시스템에서 의대생이 효과적으로 성장할 수 있도록 하기 위해 학부 의학 교육(UME)과 대학원 의학 교육(GME) 프로그램은 시스템 기반 실천(SBP)에서 교육생의 지식, 태도 및 기술을 다루어야 한다.11,14–19 To effectively prepare medical students to thrive in a 21st-century health care system, undergraduate medical education (UME) and graduate medical education (GME) programs must address trainees’ knowledge, attitudes, and skills in systems-based practice (SBP).11,14–19
CEPAER(Corrustable Professional Activities)에 참여하는 핵심 위탁 직업 활동 Core Entrustable Professional Activities Entering Residency (CEPAERs),
미국 의대생들은 의료 시스템, 경제, 관리된 진료 및 실습 관리에 대한 부적절한 교육을 보고한다. 또한, SBP와 관련된 문헌은 SBP의 현행 ACME 정의 및 연습 기반 학습(PBL)보다 광범위한 콘텐츠 분야에서 커리큘럼을 확대해야 한다는 통일된 요구에도 불구하고 단편화되고 제한적이다. 여러 독립적인 출처는 관리 전환, 팀워크 및 조정, 환자 안전, 정책, 비용에 민감한 관리 및 공중 보건 등 시스템 관련 콘텐츠의 중요한 부분을 식별한다.
U.S. medical students report inadequate education in health care systems, economics, managed care, and practice management.22,23 Additionally, the literature regarding SBP-related curricula is fragmented and limited despite unified calls for expanded curricula in content areas that are broader than the current ACGME definitions of SBP and practice-based learning (PBL).20 Several independent sources identify critical pieces of this systems-related content, including
care transitions,
teamwork and coordination,
patient safety,
policy,
cost-conscious care, and
public health.6,18,21,24–27
확장된 SBP 및 PBL 콘텐츠를 CEPAER 및 현재 커리큘럼 콘텐츠의 격차와 연계하면 보건 시스템 과학(HSS)의 콘텐츠를 정의하는 데 도움이 될 것이다. 의료 교육자가 기초 및 임상 과학을 보완하는 잠재적 "제3의 과학"으로 간주하는 HSS는 의료 시스템 내에서 환자와 인구에 대한 의료 제공의 품질, 결과 및 비용을 개선하기 위한 방법과 원칙으로 간주할 수 있다.1 Aligning expanded SBP and PBL content with the CEPAERs and current gaps in curricular content will help define the content of health systems science (HSS).20 Viewed by medical educators as a potential “third science” that complements the basic and clinical sciences, HSS can be considered as the methods and principles for improving quality, outcomes, and costs of health care delivery for patients and populations within medical care systems.13
방법 Method
설계 Design
본 연구는 (1) 커리큘럼 프레임워크(도메인 식별)를 개발하기 위한 제안된 HSS 혁신에 대한 콘텐츠 분석과 (2) 커리큘럼 콘텐츠 목록(하위 카테고리 식별)을 구축하기 위한 프레임워크의 적용의 두 단계로 이루어졌다.
This study was done in two phases: (1) a content analysis of proposed HSS innovations to develop a curricular framework (identifying domains) and (2) an application of the framework to build a list of curricular content (identifying subcategories).
열구 설정 Study setting and approach
자료 출처와 수집 Data sources and collection
1단계에서, 우리는 HSS 커리큘럼 프레임워크에 포함될 수 있는 커리큘럼 도메인의 포괄적인 목록을 식별하기 위해 노력했다. 이를 위해 ACE 이니셔티브(n = 30)에 대한 모든 전체 보조금 신청서를 분석할 계획이었다. 커리큘럼 도메인이 확인되면, 주요 조사관은 각 도메인에 대해 게시된 정의를 개발하거나 수정했습니다(표 1 참조). In phase 1, we sought to identify a comprehensive list of curricular domains that could be included in an HSS curricular framework. To do this, we planned to analyze all full grant submissions to the ACE initiative (n = 30). Once curricular domains were identified, the lead investigators developed or modified published definitions for each domain (see Table 1).
2단계에서, 우리는 커리큘럼 내용으로 프레임워크에 포함될 수 있는 커리큘럼 하위 카테고리의 포괄적인 목록을 식별하기 위해 노력했다. In phase 2, we sought to identify a comprehensive list of curricular subcategories that could be included in the framework as curricular content.
1단계에서 식별되고 정의된 도메인을 지침으로 사용하여, 주요 조사자는 강의록과 커리큘럼 문서에서 각 커리큘럼 영역에 적용되는 데이터를 추출했다(의 보충 디지털 부록 1 참조). Using the domains identified and defined in phase 1 as a guide, the lead investigators extracted data applicable to each curriculum domain from the syllabi and curriculum documents (see Supplemental Digital Appendix 1 at ).
개념적 프레임워크 Conceptual frameworks
1단계의 경우, George Engel의 [생물심리사회적 모델]은 사회 또는 시스템 영역에서 잠재적으로 분류될 수 있는 생체의학을 넘어 HSS 커리큘럼 영역을 식별하기 위해 광범위하고 전체적인 경험적 렌즈를 적용할 수 있도록 허용했다. [생물심리사회적 모델]은 [아원자 입자]에서 [사람(생물학 계층)], 그리고 [사람에서 생물권(사회 계층)]에 이르는 스펙트럼을 포함하는 계통 이론에 기초한다. 우리는 [생의학 또는 의사-환자 상호 작용(즉, 의사와 환자 상호 작용과 관련된 모든 문제)에만 국한된 내용을 배제]하는 것으로 생물심리사회적 모델을 조작화했다.
For phase 1, George Engel’s biopsychosocial model allowed for the application of a broad-based and holistic empirical lens to identify HSS curriculum areas beyond biomedicine that could potentially be classified in social or systems domains.37,38 The biopsychosocial model draws on systems theory, with a hierarchy spanning the spectrum from subatomic particles to the person (organismic hierarchy), and from the person to the biosphere (social hierarchy).39 We operationalized the biopsychosocial model by excluding content limited solely to biomedicine or physician–patient interactions (i.e., any issue that would relate to a physician and patient interaction).
우리는 [심리학]에서 [시스템 레벨]에 이르는 생물심리사회적계층의 후속 계층strata에 중점을 두어 포괄적인 HSS 커리큘럼 프레임워크를 식별할 수 있게 했다. 예를 들어, 학생 의사가 체중 감량에 대해 환자와 의사소통하는 방법에 대해 교육한 커리큘럼 콘텐츠는 코딩에 포함되지 않았을 것이다. 단, 학생의 의사가 보행로 접근이나 사회적 지원 구조와 같이 환자의 체중 감량 능력에 영향을 미치는 사회적 요인에 대해 교육하려고 했던 커리큘럼 콘텐츠는 인구 및 공공 보건(도메인)으로 코딩되었을 것이다.
We focused on subsequent strata in the biopsychosocial hierarchy spanning the psychological to systems levels, enabling us to identify a comprehensive HSS curricular framework. For example, curricular content that educated student physicians about how to communicate with patients about weight loss would not have been included in the coding. However, curricular content that sought to educate student physicians about the social factors that influence a patient’s ability to lose weight, such as access to walking paths or their social support structure, would have been coded as population and public health (domain).
2단계에서는 검색된 콘텐츠 항목에 가장 적합한 문헌의 기존 프레임워크를 사용하여 각 핵심 커리큘럼 도메인의 콘텐츠를 추가로 구성했다(예: 위의 예에서 하위 카테고리가 건강의 결정 요인이었을 것이다).
In phase 2, we further organized the content in each core curricular domain using existing frameworks from the literature that were the most appropriate for the content items retrieved (e.g., in the example above, the subcategory would have been determinants of health).
자료 분석 Data analysis
코드는 표 1과 같이 커리큘럼 내용의 도메인을 반영하였다. 우리는 단계 1의 결과를 사용하여 단계 2에서 사용할 프레임워크를 만들었다. 각 영역 내의 일부 특정 커리큘럼 콘텐츠가 단계 1에서 확인되었지만, 이러한 초기 데이터의 대부분은 하위 범주 또는 특정 주제 영역을 식별하기에 충분히 구체적이지 않았다. Codes reflected the domains of curricular content, as shown in Table 1. We used the results from phase 1 to create a framework to use in phase 2; although some specific curricular content within each domain was identified in phase 1, the majority of these initial data were not specific enough to identify subcategories or specific topic areas.
핵심 도메인 Core domains 의료 구조 및 프로세스 55 환자 또는 환자 모집단의 요구를 충족하기 위한 의료 서비스 제공을 위한 개인, 기관, 자원 및 프로세스의 구성과 관련된 모든 문제. 이 영역에는 의료 서비스 제공에 필요한 협업 및 조정 프로세스가 포함됩니다.
Health care structures and processes55 All issues related to the organization of individuals, institutions, resources, and processes for delivery of health care to meet the needs of patients or populations of patients. This domain includes the processes of collaboration and coordination required for the delivery of health care. 의료 정책, 경제 및 관리 56 특정 의료 목표를 달성하기 위해 수행한 의사 결정, 계획 및 조치와 관련된 모든 문제 및 의료의 생산과 소비에서 효율성, 효과, 가치 및 행동과 관련된 문제. 이러한 과학은 의료 시스템의 모든 구성요소와 관리된 의료의 연구를 통해 건강을 증진하는 데 사용됩니다.
Health care policy, economics, and management56 All issues related to the decisions, plans, and actions undertaken to achieve specific health care goals and the issues related to efficiency, effectiveness, value, and behavior in the production and consumption of health care. These sciences are used to promote health through the study of all components of the health care system and managed care.
임상 정보학 및 보건 정보 기술 57 임상 의사 결정 지원, 문서, 전자 의료 기록 및 건강 개선을 위한 데이터 활용을 포함하여 의료 서비스 제공을 위한 정보 및 정보 기술의 적용과 관련된 모든 문제.
Clinical informatics and health information technology57 All issues related to the application of informatics and information technology to deliver health care services, including clinical decision support, documentation, electronic medical records, and the utilization of data to improve health.
인구보건58 전통적인 공공 보건과 예방의학과 관련된 모든 문제들, 아픈 사람들뿐만 아니라 전체 인구에 영향을 미치는 건강 결정 요소들의 전체 범위를 포함한다. 내용에는 질병과 부상을 예방하고, 건강을 증진하고, 수명을 연장하거나, 개인(예: 국가, 지역사회, 민족 그룹 또는 기타 정의된 그룹과 같은 지리적 집단)에 대한 기타 건강 결과를 개선하기 위한 조직적인 평가, 모니터링 또는 측정이 포함된다. 여기에는 그러한 그룹에 대한 접근과 분배가 포함된다.그룹 내의 t와 건강 결과 또는 예방과 관련된 다양한 개인적, 사회 경제적, 환경적 요인들 사이의 동적 상호 관계.
Population and public health58 All issues related to traditional public health and preventive medicine, including the full range of health determinants affecting the entire population rather than just those individuals who are sick. Content includes the organized assessment, monitoring, or measurement to prevent disease and injury, promote health, prolong life, or improve any other health outcome for a group of individuals (e.g., geographic populations such as nations, communities, ethnic groups, or any other defined group), including the access to and distribution of such outcomes within the group, and the dynamic interrelationships among various personal, socioeconomic, and environmental factors that relate to health outcomes or prevention.
가치 기반 관리4 의료 시스템의 성능과 관련된 모든 문제는 의료 서비스 제공 품질, 비용 및 폐기물과 관련이 있습니다. 품질 관점에서, 문제는 품질의 6차원(환자 안전, 효과, 환자 중심성, 적시성, 효과성 및 공정성)과 관련이 있다. 비용 측면에서 볼 때, 모든 문제는 의료 비용, 폐기물 구성요소 및 서비스 요구사항과 관련이 있습니다. 이 영역에는 치료와 진료 전달의 격차를 보고 분류하는 것뿐만 아니라 역학이 포함된다.
Value-based care4 All issues related to the performance of a health system as it relates to quality of care delivery, cost, and waste. From the quality perspective, issues relate to the six Institute of Medicine dimensions of quality (patient safety, effectiveness, patient-centeredness, timeliness, effectiveness, and equitability). From the cost perspective, all issues relate to the cost of health care, waste components, and service requirements. The domain includes the epidemiology of, as well as seeing and classifying, gaps in care and care delivery.
보건 시스템 개선 59 모든 문제는 의료 시스템의 구성 요소의 성능을 향상시키기 위해 정책, 의료 서비스 제공 또는 기타 의료 시스템의 변경 사항을 식별, 분석 또는 구현하는 프로세스와 관련된 것이다. 본 문서의 쟁점에는 정량화 및 종결 격차(조치), 변동 및 측정(특히 의료 조치가 아닌 격차 정량화 및 종결과 관련), 데이터 분석 및 개입이 포함된다.
Health system improvement59 All issues related to processes of identifying, analyzing, or implementing changes in policy, health care delivery, or any other function of the health care system to improve the performance of any component of the health care system. Issues herein include quantifying and closing gaps (action), variation and measurement (specifically related to quantifying and closing gaps, not to health care measures in general), analysis of data, and interventions.
교차 절단 도메인 Cross-cutting domains
리더십 및 변화 기관 60 바람직한 비전을 향한 목표를 만들기 위해 다른 사람들에게 동기를 부여하는 능력과 관련된 모든 문제. 학부 의학교육의 맥락에서 리더십은 팀 기반 진료, 품질 개선 프로젝트 등과 관련이 있다.
Leadership and change agency60 All issues related to the ability to inspire motivation in others to create goals toward a desirable vision. In the context of undergraduate medical education, leadership pertains to team-based care, quality improvement projects, etc. 팀워크 및 전문직간 교육 협업 및 팀 과학과 관련된 모든 문제, 특히 공유된 목표를 달성하기 위해 지정된 작업에 함께 노력하는 개인의 프로세스를 통해 발생합니다.
Teamwork and interprofessional education All issues related to collaboration and team science, specifically through the process of individuals working together on specified tasks to achieved shared goals. 증거기반의학 및 실습61 개별 환자의 진료, 환자 모집단 또는 의료 전달 개선에 대한 개입에 대한 결정을 내릴 때 현재 최선의 증거를 양심적이고 명시적이며 현명하게 사용하는 것과 관련된 모든 문제.
Evidence-based medicine and practice61 All issues related to the conscientious, explicit, and judicious use of current best evidence in making decisions about the care of individual patients, populations of patients, or interventions in health care delivery improvement.
전문성과 윤리성 행동을 포함한 윤리적 행동과 전문성과 관련된 모든 이슈는 일반적으로 받아들여지는 도덕적 원칙과 가치, 그리고 그러한 원칙과 가치에 기초한 전문적인 지침과 일치한다. 이 정의에는 정직과 책임과 같은 일반적인 리더십 윤리와 HSS 영역에 특화된 윤리 및 전문성이 포함됩니다.
Professionalism and ethics All issues related to ethical behavior and professionalism, including conduct, congruent with generally accepted moral principles and values and with professional guidelines based on those principles and values. This definition includes general leadership ethics, such as honesty and responsibility, as well as ethics and professionalism specific to the HSS domains. 학술활동62 HSS 도메인을 조사하는 HSS 콘텐츠 및/또는 보건 서비스 연구의 학술활동과 관련된 모든 문제. 장학금은 (1) 전통적인 연구와 일치하는 발견, (2) 분야를 넘나들며 더 큰 맥락에서 전문지식을 배치하는 통합, (3) 연구와 실무 사이의 중요한 상호 작용을 보여주는 응용, (4) 교수(교육 장학금)으로 정의된다.학습자 앞에서 가르치고 배우는 것에 대한 새로운 지식의 발현
Scholarship62 All issues related to scholarship of HSS content and/or health services research that investigates any HSS domain. Scholarship is defined as (1) discovery, which is consistent with traditional research; (2) integration, which makes connections across disciplines and places specialties in a larger context; (3) application, which demonstrates the vital interaction between research and practice; and (4) teaching (educational scholarship), which emphasizes the creation of new knowledge about teaching and learning in the presence of learners.
연결 도메인 Linking domain 시스템 사고 상호의존성의 복잡한 거미줄의 관심과 관련된 모든 문제, 부품에 대한 인식뿐만 아니라 "전체"에 대한 인식, 모든 원인과 다방향 원인-효과 관계를 인식하는 능력과 관련된 모든 문제가 또 다른 시스템 동역학의 효과로 떠오르고 있습니다.
Systems thinking All issues related to the attention of a complex web of interdependencies; an awareness of the “whole,” not just of the parts; and the ability to recognize multidirectional cause–effect relationships with all causes emerging as the effect of another system dynamic.
결과 Results
우리의 분석은 (1) 코어, (2) 크로스 컷팅 및 (3) 링크의 세 가지 유형의 커리큘럼 도메인을 산출했다(표 1 참조).그림 1은 이러한 세 가지 유형의 도메인 간의 관계를 보여줍니다. 핵심 커리큘럼 도메인의 하위 카테고리(및 하위 주제)는 이전에 발표된 개념 프레임워크를 사용하여 구성된다(표 2). 각 도메인의 컨텐츠 대표자는 표 2(핵심 도메인)와 3(크로스컷 및 링크 도메인)에 나와 있습니다. Our analysis yielded three types of curricular domains: (1) core, (2) crosscutting, and (3) linking (see Table 1). Figure 1 illustrates the relationship between these three types of domains. Subcategories (and subtopics) for the core curricular domains are organized using previously published conceptual frameworks (Table 2). Content representative of each domain is shown in Tables 2 (core domains) and 3 (crosscutting and linking domains).
핵심 커리큘럼 도메인은 HSS와 직접 일치하는 내용 영역입니다. 이러한 6가지 영역은 의료 구조와 프로세스, 의료 정책, 경제 및 관리, 임상 정보학 및 보건 정보 기술, 인구 및 공공 보건, 가치 기반 의료 및 보건 시스템 개선을 포함한다. Core curricular domains are content areas that align directly with HSS. These six domains include health care structures and processes; health care policy, economics, and management; clinical informatics and health information technology; population and public health; value-based care; and health system improvement.
컨텐츠가 여러 핵심 커리큘럼 도메인을 초월한 것으로 식별되면 크로스 컷팅 도메인으로 클러스터링되었다. 이 다섯 가지 영역에는 리더십과 변화 기관, 팀워크와 전문성 교육, 증거 기반 의학 및 실습, 전문성과 윤리성, 장학금 등이 포함된다. Content was clustered into a cross-cutting domain if it was identified as transcending multiple core curricular domains. These five domains include leadership and change agency; teamwork and interprofessional education; evidence-based medicine and practice; professionalism and ethics; and scholarship.
마지막으로, 핵심 커리큘럼 또는 교차 컷팅 도메인을 다른 핵심 커리큘럼 또는 교차 컷팅 도메인(내부 링크)과 기본 및 임상 과학(외부 링크)과 같은 커리큘럼의 다른 영역으로 통합하거나 연결하는 콘텐츠는 하나의 연결linking 도메인, 즉 시스템 사고에 할당되었다. 시스템 사고 내용은 학생들이 의료 및 의료 문제에 포괄적인 전체론적 접근법을 인식하고 적용할 수 있도록 한다. Finally, content that unifies or links the core curricular or cross-cutting domains to other core curricular or cross-cutting domains (internal linking) and to other areas of the curriculum, such as the basic and clinical sciences (external linking), was assigned to the single linking domain: systems thinking. The content of systems thinking allows students to be cognizant of and apply a comprehensive holistic approach to medical care and health care issues.
고찰 Discussion
교육자들은 이전에 전통적인 기초 및 임상 과학을 다양한 과학을 포함하도록 강화하는 새로운 UME 패러다임을 제안했다(기본, 임상, HSS). ACGME는 SBP를 다음과 같이 정의한다. "더 큰 범위의… 의료 시스템에 대한 인식 및 대응성" 및 "시스템 내의 다른 자원을 효과적으로 호출하여 최적의 의료 서비스를 제공할 수 있는 능력". 이러한 맥락에서 전공의는 다양한 의료 전달 환경에서 기능할 수 있어야 하고, 비용 인식cost awareness을 의사 결정에 통합하고, 최적의 진료 시스템을 옹호하며, 환자 치료 품질을 개선하기 위해 전문가 간 팀에서 일할 것으로 예상된다.
Educators have previously proposed a new paradigm for UME that augments the traditional basic and clinical sciences to include a triad of sciences—basic, clinical, and HSS.11,13 The ACGME defines SBP as “an awareness of and responsiveness to the larger … system of health care” and “the ability to call effectively on other resources in the system to provide optimal health care.”20 In this context, resident physicians are expected to
function in various health care delivery settings,
incorporate cost awareness into their decision making,
advocate for optimal care systems, and
work in interprofessional teams to improve patient care quality.
HSS 커리큘럼은 SBP의 ACGME 정의보다 범위가 넓고 CEPAER에서 다루는 관련 주제 영역을 포함하고 있다. 여기에 보고된 도메인, 커리큘럼 콘텐츠, 개념 프레임워크 및 하위 카테고리(및 하위 주제)는 HSS 역량 및 위탁 가능한 전문 활동의 개발을 위한 출발점이다.
HSS curricula for a majority of their students that are broader in scope than the ACGME definition of SBP, and con tain pertinent topic areas addressed in the CEPAERs.20,21 The domains, working defini tions for curricular content, conceptual frameworks, and subcategories (and subtopics) reported here are a starting point for the development of HSS competencies and entrustable professional activities.
여러 연구는 그러한 프레임워크에서 고려되어야 하는 기존 및 잠재적 HSS 주제 또는 개념을 강조한다. Several studies highlight existing and potential HSS topics or concepts that should be considered in such a framework.
우리는 전통적으로 UME 프로그램에 포함되었을 수 있지만 이 HSS 커리큘럼 프레임워크에서 새롭게 강조되는 지식과 기술의 몇 가지 [교차 절단 영역]을 식별했다. 이러한 교차 컷팅 도메인은 제안된 HSS 도메인의 중복과 커리큘럼의 전통적인 영역을 강조한다. We identified several cross-cutting domains of knowledge and skills that traditionally may have been included in UME programs but have a new emphasis in this HSS curricular framework. These crosscutting domains highlight the overlap and application of the proposed HSS domains with traditional areas of the curriculum.
공공 의료 역량의 구성요소로 이미 제안되었지만, 명시적 시스템 사고 기술은 UME에게는 새로운 것으로 보인다. 제안된 시스템 사고 기술 세트는 커리큘럼에 포함시켜야 할 중요한 부분이다. 이는 의료 시스템과 제공자가 상호 연결되고 지속적으로 시스템을 혁신하여 결과를 개선하는 [학습 조직]을 향한 의료 시스템의 진화하는 환경을 반영하기 때문입니다.
Although they have previously been proposed as a component of public health competencies, explicit systems thinking skills appear to be new to UME.46,47 The proposed skill set of systems thinking is a critical piece to include in curricula because it reflects the evolving landscape of health systems toward learning organizations, where the health system and providers become more interconnected and continuously transform systems to improve outcomes.48–50
또한, HSS의 이러한 광범위한 개념화는 미래의 의사를 교육하는 관점을 재구성한다. 우리의 결과가 미국 UME 프로그램에서 비롯되었지만, 우리는 이 HSS 커리큘럼 프레임워크와 내용이 GME 및 지속적인 의료 교육뿐만 아니라 미국 및 해외의 많은 제휴 건강 직업 교육 프로그램에도 적용 가능하다고 믿는다. 많은 의과대학과 마찬가지로 간호학, 약학, 내과의사 보조 프로그램을 포함한 다른 건강 전문가 프로그램들도 HSS 주제를 교과과정에 포함시키고 있다. 여러 당국(예: Interprofessional Education Collaborative 및 CanMEDs)은 특히 질 향상과 환자 안전 분야에서 전문가 간 역량을 점점 강조하고 있다.51,52 Additionally, this broad conceptualization of HSS reframes the view of educating future physicians. Although our results originate from U.S. UME programs, we believe this HSS curricular framework and content are applicable to GME and continuing medical education, as well as to many allied health professions educational programs, in the United States and abroad. Like many medical schools, other health professional programs, including nursing, pharmacy, and physician assistant programs, are incorporating HSS topics into their curricula. Several authorities (e.g., the Interprofessional Education Collaborative and CanMEDS) increasingly emphasize interprofessional competencies, specifically in quality improvement and patient safety.51,52
우리는 이 작업이 HSS와 관련된 잠재적인 다음 단계를 알려준다고 믿는다.
첫째, 이러한 결과는 교육 방법 및 평가 조치(예: 이정표, 역량, 위탁 가능한 전문 활동)를 개발하고 학부생들이 효과적인 의료 전문가가 될 수 있도록 하는 커리큘럼을 설계 및 구현하기 위해 후속 작업에 사용될 수 있으며 사용해야 한다.
둘째로, 향후 연구는 교육 프로그램에서 이러한 영역의 확산과 인식된 중요성, 전문직 간 맥락에서 적용의 실용성 및 보건 시스템의 필요성에 대한 적합성을 평가해야 한다. 구체적으로, 우리의 결과는 HSS 커리큘럼에 대한 정적 2차원 관점을 제공하지만, 관련 시간과 관련 환경에서 올바른 교육 개입을 제시하는 것이 중요할 것이다.
We believe this work informs potential next steps related to the HSS.
First, these results can and should be used in subsequent work to develop educational methods and evaluation measures (e.g., milestones, competencies, entrustable professional activities) and to design and implement curricula that enable undergraduate trainees to be effective health care professionals.
Second, future work should assess these domains for their prevalence and perceived importance in educational programs, the practicality of applying them in interprofessional contexts, and their alignment with the needs of the health system. Specifically, our results provide a static, two-dimensional perspective of the HSS curriculum, but it would be important to present the right educational intervention at the relevant time and in the relevant setting.
이 일에는 몇 가지 한계가 있다. 첫째, 교육과정 설계가 내용보다는 학습자 결과에서 이상적으로 시작되지만, 문헌에서 합의 중심의 HSS 학습자 결과가 없다는 점을 감안할 때, 도메인 및 하위 범주와 함께 잠재적인 포괄적 커리큘럼 프레임워크를 식별하는 것이 학습자 결과 개발을 알리기 위한 필수 첫 번째 단계라고 생각한다..12,54
There are several limitations to this work. First, although curriculum design ideally starts with learner outcomes rather than content, given the lack of consensus-driven HSS learner outcomes in the literature, we believe the identification of a potential comprehensive curricular framework with domains and subcategories was a required first step to inform the development of learner outcomes.12,54
따라서, 우리의 결과는 커리큘럼 내용이 완전히 철저한 커리큘럼 프레임워크를 나타내지 않을 수 있다는 점에서 몇 가지 결점이 있다. 또한 아래처럼 여러 개념에 걸쳐 상당한 중복이 있음을 인지합니다.
핵심 커리큘럼 영역(예: 가치 기반 관리 및 보건 시스템 개선) 및
영역 내의 하위 범주(예: 의료 차이/불가능한 환자 집단 및 건강 결정 요인) 및
다른 저자가 합의를 도출했다면 다른 결과를 낳았을지도 모른다.
Therefore, our results have some shortcomings in that the curricular content may not represent a fully exhaustive curricular framework. We also recognize that there is significant conceptual overlap across the core curricular domains (e.g., value-based care and health system improvement) and subcategories within domains (e.g., health care disparities/vulnerable patient populations and determinants of health) and that consensus building by other authors may have yielded different results.
Acad Med. 2017 Jan;92(1):123-131.
doi: 10.1097/ACM.0000000000001177.
Health Systems Science Curricula in Undergraduate Medical Education: Identifying and Defining a Potential Curricular Framework
1J.D. Gonzalo is assistant professor of medicine and public health sciences and associate dean for health systems education, Penn State College of Medicine, Hershey, Pennsylvania. M. Dekhtyar is senior research assistant, Medical Education Outcomes, American Medical Association, Chicago, Illinois. S.R. Starr is assistant professor of pediatric and adolescent medicine and director of science of health care delivery education, Mayo Medical School, Mayo Clinic College of Medicine, Rochester, Minnesota. J. Borkan is chair and professor of family medicine and assistant dean for primary care-population health program planning, Alpert Medical School of Brown University, Providence, Rhode Island. P. Brunett is clinical professor, Department of Emergency Medicine, and associate dean for graduate medical education, Oregon Health & Science University School of Medicine, Portland, Oregon. T. Fancher is associate professor, Department of Internal Medicine, University of California Davis School of Medicine, Sacramento, California. J. Green is assistant professor of medicine and pediatrics, Vanderbilt University School of Medicine, Nashville, Tennessee. S.J. Grethlein is professor of clinical medicine, Department of Medicine, Indiana University School of Medicine, Indianapolis, Indiana. C. Lai is professor of medicine, University of California San Francisco School of Medicine, San Francisco, California. L. Lawson is assistant dean for curriculum, assessment, and clinical academic affairs and assistant professor of emergency medicine, Brody School of Medicine at East Carolina University, Greenville, North Carolina. S. Monrad is clinical assistant professor, Department of Internal Medicine, University of Michigan Medical School, Ann Arbor, Michigan. P. O'Sullivan is professor of medicine and director of research and development in medical education, University of California San Francisco School of Medicine, San Francisco, California. M.D. Schwartz is professor of population health and medicine and vice chair for education and faculty affairs, Department of Population Health, New York University School of Medicine, New York, New York. S. Skochelak is group vice president of medical education, American Medical Association, Chicago, Illinois.
Purpose:The authors performed a review of 30 Accelerating Change in Medical Education full grant submissions and an analysis of the health systems science (HSS)-related curricula at the 11 grant recipient schools to develop a potential comprehensive HSS curricular framework with domains and subcategories.Results:Analysis yielded three types of domains: core, cross-cutting, and linking. Core domains included health care structures and processes; health care policy, economics, and management; clinical informatics and health information technology; population and public health; value-based care; and health system improvement. Cross-cutting domains included leadership and change agency; teamwork and interprofessional education; evidence-based medicine and practice; professionalism and ethics; and scholarship. One linking domain was identified: systems thinking.
Conclusions:This broad framework aims to build on the traditional definition of systems-based practice and highlight the need for medical and other health professions schools to better align education programs with the anticipated needs of the systems in which students will practice. HSS will require a critical investigation into existing curricula to determine the most efficient methods for integration with the basic and clinical sciences.
Method:In phase 1, to identify domains, grant submissions were analyzed and coded using constant comparative analysis. In phase 2, a detailed review of all existing and planned syllabi and curriculum documents at the grantee schools was performed, and content in the core curricular domains was coded into subcategories. The lead investigators reviewed and discussed drafts of the categorization scheme, collapsed and combined domains and subcategories, and resolved disagreements via group discussion.
Exploring patterns and pattern languages of medical education Rachel H Ellaway1 & Joanna Bates2
소개 Introduction
의학 교육은 많은 다른 환경에서 이루어지며, 다양한 방법과 활동을 사용한다. 비록 지역 관행이 시간이 지남에 따라 다른 방향으로 발전하고 발전하는 경향이 있지만, 의학 교육은 guide and critique practice을 위한 연구에 의해 지원되는 점점 더 글로벌한 사업이다. 이러한 세계화 성장의 핵심 부분은 [일반적인 교육 관행(예: 포트폴리오 및 OSCE)]의 광범위한 채택뿐만 아니라 [공통 활동, 도구 및 관행(예: 문제 기반 학습, 주요 특징 질문 및 시뮬레이터)]의 개발 및 사용이었다. Medical education takes place in many different settings and it employs a multitude of methods and activities. Although local practices tend to develop and evolve in different directions over time, medical education is an increasingly global undertaking, supported by research to guide and critique practice. A key part of this growing globalisation has been the development and use of common activities, tools and practices (such as problem-based learning, key feature questions and simulators) as well as the widespread adoption of generic educational practices (such as portfolios and OSCEs).
의학 교육 문헌은 이러한 테크닉이 (화학자가 분자를 지칭하는 것과 동일한 방식으로) 일반적이고 잘 정의된 실체인 것처럼 언급하는 경향이 있지만, 실제로는 교육적 실체educational entity는 사례마다 크게 다를 수 있다. 적어도 다른 맥락이 의미와 효과를 재구성하는 경향이 있기 때문이다.1 불행히도 [고려 중인 활동 및 활동이 일어난 상황이나 맥락]보다는 [활동에서 생성된 데이터]를 분석하는 데 더 중점을 둔 많은 연구가 있었다.2
Although the medical education literature tends to refer to these techniques as if they were generic and well-defined entities (in the same way that a chemist might refer to a molecule), in practice educational entities can vary greatly between instances, not least because different contexts tend to reconstruct their meaning and efficacy.1 Unfortunately there has been a great deal of research that has focused more on analysing data generated from activities than on the activity under consideration or the context or contexts within which the activity took place.2
우리가 의학 교육에 사용하는 일반 구조에서 이러한 구조를 사용하는 연구를 평가하거나 합성하려고 할 때마다 이 분산 문제는 복합적이다. 서로 다른 연구에서 고려되는 교육 활동과 기법이 동일한지, 공통점과 어떻게 다른지에 대해서는 거의 고려하지 않는 경우가 많다. 이는 다른 연구자, 구현자 및 리더에게 (비록 숨겨지거나 무시되는 경우가 많지만) 문제를 제시한다. 본 논문에서 우리는 [교육 활동, 시스템 및 맥락을 설명할 때 패턴과 패턴 언어를 보다 신중하게 사용하는 것]이 이러한 단점을 해결하고 의료 교육에 대한 학술활동을 진전시키고 확장할 수 있는 잠재력을 가지고 있다고 주장한다.
This problem of variance in the erstwhile generic constructs we use in medical education is compounded whenever we seek to appraise or synthesise studies employing these constructs. There is often little consideration as to whether the educational activities and techniques considered in different studies are the same, what they have in common and how they differ. This presents problems (although they are often hidden or disregarded) for other researchers, implementers and leaders. We argue in this paper that a more deliberate use of pattern and pattern language in describing educational activities, systems and contexts has the potential to address these shortcomings and to advance and expand scholarship in medical education.
패턴 및 패턴 언어 Patterns and pattern languages
패턴은 [우리 주변의 세계에서 우리가 인지하는 규칙]입니다. 예를 들어, 우리는 문, 신발, 그리고 수저의 패턴을 쉽게 인식합니다. 우리가 마주치는 각각의 문, 신발, 숟가락은 독특한 특성을 가지고 있지만, 그것들이 무엇이고 어떻게 작동하는지 즉시 알 수 있다. 실제로, 우리가 그것의 패턴을 인식하고 그에 대응하는 것은 일상 생활을 정의하는 특성defining characteristics이다. [패턴을 인식하는 것]은 [사물의 어포던스, 사물이 어떻게 작동하는지, 무엇을 할 수 있는지, 그리고 사물의 본질적인 특징들을 인식하는 것]이다. 패턴은 [정규성의 수학적 모델]이 아니라 [인식과 이해를 기반으로 하는 인지 현상]이며, 특히 복잡한 사회 및 기술 시스템에서 다양성과 모호성을 분석할parse 수 있다. 패턴에 대한 인식이 개인에게 특정될 수 있지만, 사회 체계는 부분적으로 패턴에 대한 공유된 이해와 레퍼토리에 의해 정의된다. 사회 시스템에의 참여는 그것의 패턴과 그에 수반되는 가정과 기질을 공유하는 것을 포함한다. Patterns are regularities we perceive in the world around us. For example, we readily recognise the patterns of doors, shoes and cutlery. Although each door, shoe and spoon we encounter has unique properties, it is immediately apparent what they are and how they work. Indeed, it is a defining characteristic of everyday life that we recognise and respond to its patterns. Recognising a pattern is to perceive its affordances; how it works, what it can do and what its essential features are. A pattern is not a mathematical model of regularity, it is a cognitive phenomenon, based on perception and understanding, which allows us to parse variety and ambiguity, particularly in complex social and technical systems. Although the perception of a pattern may be specific to an individual, social systems are in part defined by a shared understanding and repertoire of patterns. Participation in a social system involves sharing its patterns and the assumptions and dispositions that accompany them.
패턴과 패턴 언어의 통합에 대한 이론적 이해는 건축, 경영, 컴퓨터 과학을 포함한 다양한 학문 분야에서 나타났다. 건축이론가 크리스토퍼 알렉산더는 '패턴'을 [특정한 맥락, 그 맥락에서의 문제, 그 문제의 해결책 사이의 관계를 정의하는 규칙]이라고 묘사했다.3 A theoretical understanding of patterns and their aggregation into pattern languages has emerged in different academic disciplines, including architecture,3, 4 management5 and computer science.6 The architectural theorist Christopher Alexander described a ‘pattern’ as a rule that defines the relationships between a particular context, a problem in that context and a solution to that problem.3
예를 들어, 문은 어떻게 할 것인가의 문제에 대한 해결책이다.
(i) 벽에 구멍을 만들어 우리가 그 동안 지나갈 수 있도록 한다.
(ii) 사용하지 않을 때 구멍을 닫아 둔다
For instance, a door is a solution to the problem of how to
(i) create an aperture in a wall through which we can pass while
(ii) closing the aperture between uses.
패턴은 다른 컨텍스트에서 다른 방식으로 실현됩니다. 자동차 도어, 현관 도어 및 찬장 도어는 모두 문으로 인식 가능하지만, 이러한 도어가 사용되는 컨텍스트는 동일한 기본 패턴에 대해 서로 다른 변형을 요구합니다.
The pattern is realised in different ways in different contexts; car doors, front doors and cupboard doors are all recognisable as doors, but the contexts in which they are used require different variations on the same underlying pattern.
알렉산더의 패턴은 '패턴 언어'의 요소였는데, '패턴 언어'는 사용자들이 건물, 정원, 마을이라고 부르는 3차원 패턴 조합의 무한한 다양성을 만들 수 있게 해주는 시스템입니다. 패턴 언어는 생성적입니다. 그것은 우리에게 배열의 규칙을 알려줄 뿐만 아니라, (규칙을 충족하는 한) 우리가 원하는 만큼 배열을 구성하는 방법을 우리에게 보여준다.'
Patterns for Alexander were elements of a ‘pattern language’, a ‘system which allows its users to create an infinite variety of those three dimensional combinations of patterns which we call buildings, gardens, towns … the pattern language is generative. It not only tells us the rules of arrangement, but shows us how to construct arrangements – as many as we want – which satisfy the rules' 3.
알렉산더에게 [패턴 언어] 다음으로 구성되었다.
패턴의 어휘
서로 다른 패턴들이 어떻게 관련되는지에 대한 구문
패턴이나 패턴의 조합이 어떻게 특정한 문제나 도전에 대한 해결책을 제공할 수 있는지를 설명하는 문법
For Alexander, a pattern language consisted of
a vocabulary of patterns,
a syntax of how different patterns related to each other, and
a grammar that described how a pattern or a combination of patterns could provide a solution to a particular problem or challenge.
예를 들어, 대부분의 건물들은 [벽, 지붕, 바닥, 창문 그리고 문 패턴]을 사용합니다; [어떻게 이 패턴들이 함께 사용될 수 있는지]를 명확하게 보여주는 것이 건물의 [패턴 언어]입니다. 결과적으로 나타나는 [패턴의 조합]은 [그 자체로 패턴]으로 인식될 수 있다; [패턴 언어]는 [패턴들이 어떻게 결합되어 새로운 패턴을 만들 수 있는지]를 설명할 수 있다. 알렉산더는 건축 패턴 언어의 어휘를 형성한 '링 로드', '물로의 접근', '먹는 대기'와 같은 253개의 건축 패턴을 확인했다.7
For instance, most buildings will employ wall, roof, floor, window and door patterns; it is the pattern language for buildings that articulates how these patterns can be used together. The resulting combinations of patterns may themselves be perceived as patterns (such as houses, garages and greenhouses); pattern languages can also describe how patterns can be combined to create new patterns. Alexander identified 253 architectural patterns, such as ‘ring roads’, ‘access to water’ and ‘eating atmosphere’ that formed the vocabulary for a pattern language of architecture.7
패턴 언어에 대한 알렉산더의 생각은 주로 물질적, 미적 문제에 대한 해결책과 관련이 있다. 비록 강의실, 시뮬레이터, 도서관과 같은 [물질 패턴material pattern]을 가지고 있지만, 의학 교육의 학술활동은 주로 [활동과 능력activity and capability]에 초점을 맞추고 있다. 그렇다면 알렉산더의 개념을 의학교육으로 어떻게 해석할 수 있을까요? [조직적 일상 이론Organizational routine theory]은 [활동의 패턴]에 특정한 초점을 두고 있으며, 따라서 그것은 이 문제에 반응하는 데 사용될 수 있는 개념적 도구를 제공한다.
Alexander's ideas of pattern languages are primarily concerned with solutions to material and aesthetic problems. Although it does have material patterns (such as lecture theatres, simulators and libraries), medical education scholarship focuses primarily on activity and capability. How then do we translate Alexander's concepts to medical education? Organisational routine theory has a specific focus on patterns of activity and as such it provides conceptual tools that can be used to respond to this problem.
Nelson과 Winter이 개발한 '루틴'이란 [반복적이고, 상대적으로 안정적이며, 그 루틴이 발생하는 조직을 정의하는, 조직적 맥락 내에서 발생하는 활동의 패턴]이다.5 조직 내의 개인과 그룹은 조직의 활동을 조정하는 데 도움이 될 수 있는 비교적 제한적이고 안정적인 [루틴 레퍼토리]에 의존하는 경향이 있다. 이러한 루틴은 조직 전체에 걸쳐 어느 정도의 행동 안정성을 제공할 수 있고, 관련 의사 결정 노력을 줄일 수 있으며, 조직의 지식organizational knowledge을 저장하는 데 도움을 줄 수 있다. 예를 들어, 일반적인 의료 교육 프로그램의 루틴에는 다음의 반복 활동이 포함된다.
강의(강의 및 문제 기반 학습),
평가(시험 및 OSCE),
행정(위원회 및 정책),
물류(스케줄링 및 재무 관리)
Developed from the work of Nelson and Winter,8a ‘routine’ is a pattern of activity within an organisational context that is recurrent, relatively stable, and defining of the organisation in which it occurs.5Individuals and groups within organisations tend to depend on a relatively limited and stable repertoire of routines that can help to coordinate the organisation's activities; these routines can afford a degree of stability of behaviour across the organisation, they can reduce the effort associated decision making, and they can help to store organisational knowledge.5As an example, the routines of a typical medical education programme include the recurring activities of
teaching (lecturing and problem-based learning),
assessment (exams and OSCEs),
administration (committees and policies), and
logistics (scheduling and financial management).
반복되는 속성을 가진 만큼 루틴도 마찬가지입니다. 루틴의 '일반적인 규칙과 절차는, 맥락을 가로질러 전달될 때 불완전하게 특정화incompletely specified되어야 한다… 루틴의 [전이가능성과 관련된 문제]는 [루틴의 필수적인 것과 주변적인 것]이 무엇인지 명확하지 않을 수 있기 때문에 발생한다.'루틴의 instance(활동 패턴)는 다음에 의해 정의된다.
패턴 프로토타입의 어떤 측면이 존재해야 하는지만큼이나 어떤 측면을 생략할 수 있는지
패턴이 그 패턴으로 인식되어지기 위해 어떤 임계 질량critical mass이 존재해야 하는지
As much as they have recurring properties, routines' ‘general rules and procedures have to be incompletely specified when transferred across contexts … problems with the transferability of routines arise because it may not be clear what is essential about the routines and what is peripheral’.5 An instance of a routine (an activity pattern), is defined as much by what aspects of the pattern prototype can be omitted as by what aspects must be present, or what critical mass of elements must be present for the pattern to be recognisable as such.
이것은 비트겐슈타인의 '가족 유사 개념'과 유사하다. 비록 그들 모두가 공유하는 단 하나의 자질도 없을지라도 공통점을 기반으로 사물을 하나로 묶는 온톨로지적 경향을 말한다.
This parallels Wittgenstein's ‘family resemblance concept’9: an ontological tendency to group things together on the basis of what they have in common even though there may not be a single quality that they all share.
의학 교육에서는 이것이 거의 명시적인 개념이 아니지만, 오타와 대학에서 팀 기반 학습(TBL)의 철학적이고 절차적인 요소의 구현에 대한 바르피오 외 연구진들의 연구에 반영되어 있다.10 원래의 요소 중 일부는 TBL 구현에 보존되었고, 일부는 현지 상황에 맞게 변경되었으며, 일부는 생략되었다. 그들은 어떤 모델의 파생상품derivatives 또는 모든 파생상품에, 요소elevment의 일부 또는 전체가 존재하는지(또는 존재해야 하는지)에 대한, 우려보다 모델의 철학과 원칙에 충실하는 것이 더 중요하다고 결론지었다. 이것은 암묵적인 패턴 사고implicit pattern thinking의 한 예이다.
Although this is rarely an explicit concept in medical education, it is reflected in the study by Varpio et al. on the implementation of the philosophical and procedural elements of team-based learning (TBL) at the University of Ottawa.10 Some of the original elements were preserved in their TBL implementation, some were changed to suit local circumstances and others were omitted. They concluded that it was more important to be true to the philosophy and principles of the model (or, as we would argue, the pattern) than to be concerned over whether some or all of the elements were (or should be) present in any or all of its derivatives. This is an example of implicit pattern thinking.
우리는 의학교육에 많은 패턴이 있고, 패턴에 기초한 사고와 실천의 많은 예가 있다고 제안하지만, 그런 방식으로 인식considered되는 경우는 거의 없다. 이러한 패턴은 여러 가지 방법으로 의료 교육 분야를 정의하는 [공유 인식 레퍼토리]를 형성한다. (교과서, 지침서 및 보고서와 같은) 의학교육 전체를 고려하는 저작들은, 일반적으로 의학교육을 패턴과 루틴의 교차 시스템으로 모델링하기 보다는, 각각의 방법과 접근 방식으로 고립시킨다. 이 환원주의적 접근 방식은 패턴과 루틴이 교차하는 방식, 서로 구축되거나 결합될 수 있는 방식을 보는 우리의 능력을 제한한다. 또한 [패턴과 루틴에 기초한 의학 교육의 학술활동]은 [개념 간의 차이에만 초점을 맞추는 분류학적 관점]보다 더 포괄적이고 관계적일 가능성이 있다. We suggest that there are many patterns in medical education and many examples of pattern-based thinking and practice, even though they are rarely considered as such. These patterns form a shared perceived repertoire (including but not limited to its routines) that in many ways defines the field of medical education. Works that consider medical education as a whole (such as textbooks, guides and reports) generally isolate different methods and approaches, rather than modelling medical education as a system of intersecting patterns and routines. This reductionist approach limits our ability to look at how patterns and routines intersect, build on each other, or can be combined. We also argue that a scholarship of medical education based on patterns and routines has the potential to be more inclusive and relational than taxonomic perspectives that focus only on the differences between concepts.
우리는 네 가지 명제를 중심으로 우리의 주장을 구성했다:
의학 교육의 패턴은 주로 학문적 의사소통을 통해 확립된다;
현대 의학 교육에는 패턴 사고의 상당한 암묵적 활용(활동 패턴으로서 루틴 포함)이 있다;
패턴 사고를 더 의도적으로 채택하지 못하는 것은 의학교육 학술활동(그리고 그것에 의해 형성되는 관행)에게 해롭다;
의학교육에서 패턴과 패턴 언어의 의도적인 사용은 학자와 실무자 모두에게 매우 생성적이고 자유로울 수 있는 잠재력을 가지고 있다.
We have structured our argument around four propositions:
that patterns in medical education are primarily established through scholarly communication;
that there is a significant tacit use of pattern thinking (including routines as activity patterns) in contemporary medical education;
that the failure to employ pattern thinking more deliberately has been to the detriment of medical education scholarship (and the practices that are shaped by it); and
that the deliberate use of patterns and pattern languages in medical education has the potential to be highly generative and liberating to scholars and practitioners alike.
패턴 사고 및 의료 교육 Pattern thinking and medical education
[패턴]은 [주요 요소]와 [그 요소들이 각기 다른 맥락에서 실현되는 방법]에 의해 정의됩니다. 이것은 각각의 개념이 구별되고 그것의 상위 개념의 관점에서 조직되는 [분류학적 세계관]과는 다르다. 우리는 문제 기반 학습(PBL)을 구문 분석하여 이를 설명할 수 있다.
[분류학적 관점]에서 PBL은 소규모 그룹 학습(클래스 크기별로 조직됨) 또는 사례 기반 학습(관련 작업에 의해 조직됨) 또는 촉진 또는 독립 연구와 같은 다른 주요 특성의 하위 집합이다. 각 관점은 다른 관점과 함께 한정자로 정의되는 하나의 주요 특성에 기초한다.
[패턴 관점]에서 PBL은 작은 그룹, 문제, 촉진, 독립 연구 등의 교차 패턴을 포함한다. 돌맨스 등은 PBL 내에서 [구성적 학습], [자기 주도적 학습], [협업 학습] 및 [상황 학습]을 포함한 다른 패턴 유사 구조를 식별했고, 슈미트 등은 [유연한 비계]와 [학습 조절]을 목록에 추가했다.
Patterns are defined by their key elements and the ways they are realised in different contexts. This is different from a taxonomic worldview where each concept is distinct and organised in terms of its parent concepts. We can illustrate this by parsing problem-based learning (PBL).
From a taxonomic point of view PBL is a subset of small-group learning (organised by class size) or of case-based learning (organised by the tasks involved), or of other primary characteristics such as facilitation or independent research. Each perspective is based on one primary defining characteristic with the others as qualifiers.
From a pattern perspective, PBL involves intersecting patterns of small groups, problems, facilitation, independent research and so on. Dolmans et al.11 identified other pattern-like constructs within PBL, including constructive learning, self-directed learning, collaborative learning and contextual learning, while Schmidt et al.12 added flexible scaffolding and regulation of learning to the list.
패턴 관점에서 PBL은 더 작은 패턴(작은 그룹, 문제 해결, 촉진, 독립적 연구)의 결합으로, 각각의 패턴은 다른 활동 패턴(시뮬레이션에서 작은 그룹, 의사소통 기술 훈련 등에서 '촉진')에서 발생할 수 있으며, 다른 조합으로 재구성하여 새로운 패턴을 만들 수 있다. From a pattern perspective, PBL is a confluence of smaller patterns (small group, problem-solving, facilitated, independent research), each of which may occur in other activity patterns (‘small group’ in simulation, ‘facilitated’ in communication skills training, etc.) and can be reassembled in other combinations to create new patterns.13
어떤 하나의 패턴이 다른 패턴보다 우선primacy하지 않고, 각각의 PBL이 반드시 모든 패턴측면을 포함해야 하는 것은 아니지만, PBL의 한 가지 형태라고 할 만한 패턴의 instance이다.[분류학적 정의]는 차이와 구별을 강조하는 반면, [패턴 정의]는 각기 다른 패턴들 또는 패턴의 측면들을 결합함으로써 혼합hybrid될 수 있다.예를 들어,
다중 미니 면접(MMI)은 거의 틀림없이 입학 면접과 OSCE의 hybrid of facets이고,
팀 기반 학습은 강의와 PBL에서 온 facets의 혼합이다.
패턴 사고는 활동 설계에 대한 이러한 암묵적 접근법을 더욱 명백하게 만들 것이다.
No pattern has primacy over any other and different instances of PBL in medical education may not necessarily involve all of its pattern's facets yet still clearly be an instance of that pattern by being considered to be a form of PBL. Whereas taxonomic definitions stress differences and distinctiveness, pattern definitions can be hybridised by combining patterns or facets from other patterns. For example, the multiple mini interview (MMI) is arguably a hybrid of facets from admissions interviews and OSCEs, and team-based learning hybridises facets from lecturing and PBL. Pattern thinking would make this implicit approach to activity design more explicit.
의학교육의 패턴은 정의상 그 분야에 관련된 사람들이 인식하고 공유하는 것이다. 실제로, 이러한 패턴을 인식하고 사용하는 것은 의학교육의 doxa를 정의내리는 측면 중 하나일 것이다. 패턴을 공유하려면 이름을 붙이고, 기술하고, 토론하고 적용해야 합니다. 의학교육에서 이 중 많은 부분이 논문, 발표 및 계획과 같은 학문적 행위(반드시 반드시 그렇지는 않다)에서 발생한다. 보다 구체적으로, 이러한 [학술적 커뮤니케이션에서 설정된 이상적인 형태]를 [새로운 교육적 맥락으로 변환]하려면 [패턴 사고]가 필요하며, 그 중 일부는 지역적으로 실용적이거나 바람직한 것에 대응하여 [수정되거나 생략]된다. 1, 10
The patterns of medical education are by definition perceived and shared by those involved in the field. Indeed, recognising and using these patterns is arguably one of the defining aspects of thedoxaof medical education. For a pattern to be shared it needs to be named, described, discussed and applied. In medical education much of this is generated from (but not necessarily by) scholarly acts such as papers, presentations and plans. More specifically, translating the ideal forms set out in these scholarly communications into new educational contexts requires pattern thinking as the ideal forms are necessarily deconstructed to identify their key features, some of which are amended or omitted in response to what is locally practical or desirable.1,10
따라서 패턴 사고는 본질적으로 적응적이고 번역적인 접근법이다. 새로운 맥락에서 새로운 종류의 활동이나 방법(또는 기존 형태의 새로운 변화)을 적용하는 것은 일정정도의 패턴 사고를 필요로 한다. 이러한 패턴 변이variation이 공유되고 논의되면, 가능한 변이variation이 탐색되며 패턴이 두꺼워지고, 패턴이 실현되는 많은 컨텍스트에 맞게 주요 기능을 적용할 수 있게 된다. 그것이 의학 교육 관행의 필수적인 부분임에도 불구하고, 이러한 현상은 거의 눈에 띄거나 인식되지 않기 때문에, Varpio 등에 의해 실존적 위기가 확인되었다. 우리는 패턴에 따른 다양한 실천 현실보다는 문헌에 제시된 [이상적 형태에 대한 패러다임적인 집착] 때문이라고 본다. Pattern thinking is therefore an intrinsically adaptive and translational approach. Applying a new kind of activity or method (or a new variation of an existing form) in a new context requires a degree of pattern thinking. As these pattern variations are also shared and discussed, the pattern thickens as possible variations are explored, and its key features become malleable to suit the many contexts within which the pattern is realised. Despite its being an essential part of medical education practice, this phenomenon is rarely noticed or acknowledged, hence the existential crisis identified by Varpio et al.10 This is, we argue, partly due to a paradigmatic adherence to ideal forms set out in the literature rather than the pattern-variant realities of practice.
우리가 PBL 또는 임상교육을 [극도로 정밀해지는 이상적인 실행과 결과의 집합을 정의]하기 위해 결합combine하여 연구할 수 있다는 믿음은, [맥락의 가변성과 그것을 처리하는 데 필요한 패턴 사고를 수용하지 않기에] 본질적으로 제한적이다. Becker가 관찰한 바와 같이 '[특정 루틴이 여러 맥락을 가로지른 전이가능성의 한계]에 따르는 중요한 함의는 [보편적 모범 사례]와 같은 것은 존재할 수 없다는 것이다. 오로지 ["국지적" 최고의 솔루션]만이 가능하다' The belief that we can research PBL or clinical teaching in ways that combine to define an increasingly precise set of ideal practices and outcomes is intrinsically limited without accommodating the variability of context and the pattern thinking required to deal with it. As Becker observes: ‘an importance consequence of the limits to the transferability of routines across contexts is that no such thing as a universal best practice can possibly exist. There can only be “local” best solutions’.5
이 문제는 효능 대 효과 논쟁에서도 반영됩니다. '효능efficacy은 [최적의 전달 조건]에서의 프로그램이나 정책의 유익한 효과를 의미하며, 효과effeictivness은 [보다 실제적인 조건]에서의 프로그램이나 정책의 효과를 의미한다.'두 가지 접근 방식 모두 패턴 사고를 채택할 수 있지만, 효과 연구는 패턴 사고의 사용에 더 의존적이고 더 다루기 쉽다고 우리는 주장한다. 패턴 사고가 없는 상황에서, 동일한 구조를 investigate한 것으로 추정되는 연구를 연결하는 것은 기껏해야 의문스러운 작업일 뿐이다. This issue is also reflected in the efficacy versus effectiveness debate where ‘efficacy refers to the beneficial effects of a programme or policy under optimal conditions of delivery [and] effectiveness refers to effects of a programme or policy under more real-world conditions’.14 Although both approaches can employ pattern thinking, effectiveness research is more dependent on and, we argue, more tractable with the use of pattern thinking. In the absence of pattern thinking, connecting studies that are supposedly investigating the same construct is questionable at best.
또한, [체계적인 검토 및 메타 분석]과 같은 대규모 합성 활동은, [서로 다른 연구의 활동이 동일한 패턴이나 패턴을 구현하거나 구현하지 않는 방법을 일관성 있게 평가하고 모델링할 수단]이 없는 경우 취약해질 수 밖에 없다. 우리가 어떻게 [[패턴의 의도적인 사용]이라는 측면에서 의학 교육을 재평가할 것인가]라는 질문은 다시 [패턴 언어]를 고려하게 만든다.
Moreover, large-scale synthesis activities such as systematic reviews and meta-analyses are weakened without the means to consistently appraise and model how activities in different studies do or do not embody the same pattern or patterns. How we reappraise medical education in terms of a deliberate use of patterns brings us back to a consideration of pattern languages.
알렉산더에게 패턴 언어는 다음의 세 가지로 구성된다.
패턴의 어휘,
다른 패턴의 상호작용의 구문,
패턴 또는 패턴의 조합이 특정 문제나 과제에 대한 해결책을 제공할 수 있는 방법을 설명하는 문법
For Alexander a pattern language consists of
a vocabulary of patterns,
a syntax of how different patterns interact, and
a grammar that describes how a pattern or a combination of patterns can provide a solution to a particular problem or challenge.
패턴 언어의 개발은 비록 한 분야 내에서 유도적이고 새로운 활동에 의해 알려졌지만, 실제와 학문에 사용되는 것에 대한 검토를 통해 더 체계적으로 접근할 수 있다. 이 주장을 설명하기 위해 우리는 4개의 현대 의학 교육 교과서 15-18장의 의학교육의 반복되는 패턴을 조사했다.
The development of a pattern language, although informed by the inductive and emergent activities within a field, can also be approached more methodically through a review of what is used in practice and scholarship. To illustrate this assertion we examined the chapter titles of four contemporary medical education textbooks15-18 for recurring patterns in medical education.
교과서 챕터 제목을 단일 스프레드시트에 입력하고 주제와 제목을 비교했으며, 유사하거나 동일한 주제를 병합했으며, 유사한 패턴이 사용된 횟수를 계산했다(표 1 참조). 우리는 새로운 패턴이 확인되지 않을 때까지 이 과정을 반복했다. 이를 통해 우리는 이러한 패턴이 활동을 위한 상위 수준의 패턴과 차례로 관련된다는 점에 주목했다.
참가자가 수행하는 작업(문제 기반, 피드백 및 시뮬레이션),
참가자가 할 때 수행하는 역할(환자, 교사, 학생) 및
활동 패턴이 실현되는 상황(사회, 공동체 및 소그룹)
We entered the chapter titles of the textbooks into a single spreadsheet, we compared topics and titles, we merged similar or identical topics, and we counted the number of times similar patterns were used (see Table 1). We repeated this process until no new patterns were identified. In doing so we noted that these patterns were in turn associable with higher-level patterns for activity:
what participants do (problem-based, feedback and simulation),
the roles that participants play when they are doing it (patient, teacher and student), and
the contexts in which the activity pattern is realised (bedside, community and small-group).
이 과정은 의학 교육 패턴 언어에 대한 흥미로운 후보 패턴 세트를 생성했지만, 그러한 언어에 포함될 수 있는 모든 패턴을 식별하지는 못했다. 예를 들어 통합, 위임가능성, 임상실습, 디브리핑, 역량 등과 같은 의료 교육에서 일반적으로 사용되는 패턴(적어도 의료 교육자로서의 경험에서)은 발견되지 않았다.
Although this process generated an interesting set of candidate patterns for a medical education pattern language, it did not identify all of the patterns that might be included in such a language. For instance, commonly used patterns in medical education (at least in our experiences as medical educators), such as integration, entrustability, clerkship, debriefing and competency, were not found.
그런 다음 패턴 언어에 대한 알렉산더의 개념을 탐구하기 위해 설명적illustrative 분석에 착수했다.3
어휘(구성 요소 패턴),
문법(구성 요소 패턴이 문제 또는 물질적 이득에 대한 해결책을 제공하는 방법) 및
구문(패턴이 더 넓고 추상적인 패턴과 어떻게 관련되는지)
We then undertook an illustrative analysis to explore Alexander's concepts of
a pattern language's vocabulary (component patterns),
its grammar (how the component pattern provides a solution to a problem or a material benefit) and
its syntax (how a pattern is related to wider and more abstract patterns).3
우리는 종적 통합 임상실습 (LIC)의 예를 들었고 기존의 연구 결과와 해석을 바탕으로 어휘, 문법 및 구문 요소를 식별했다(표 2 참조). 그렇게 함으로써 우리는 이러한 개념을 독립적 요소가 아닌 상호 연결된 패턴 언어의 일부로 이해하려고 할 뿐만 아니라 기본 메커니즘이 무엇인지 다시 강조해야 했다.
We took the example of the longitudinal integrated clerkship (LIC) and identified elements of vocabulary, grammar and syntax based on existing research findings and interpretations19-23(see Table 2). In doing so we had to reappraise what the underlying mechanisms were as well as seeking to understand these concepts as part of an interconnected pattern language rather than as standalone elements.
고찰 Discussion
의학교육을 패턴의 관점에서 바라보는 것은 여러 가지 시사점을 준다. 무엇보다도, 그것은 우리가 사용하는 개념과 그것들을 사용하는 방법의 [번잡함]을 묘사하고 존중한다. 패턴 사고는 우리가 학습 활동, 방법 및 시스템을 구별되고 고정된distinct and fixed 레퍼토리로 보는 것에서 해방시킴으로써 분야로서의 의학 교육에 도움이 될 수 있다. 예를 들어, [문제 기반 학습]과 [공동체 지향 학습]은 문제 해결과 독립적 학습의 패턴을 공유할 수 있지만, 그룹의 크기나 학습이 촉진되는 방식과 같은 다른 패턴에서는 다르다. 패턴 관점에서 그들의 공통점은 명백해지고, 따라서 교육 혁신과 탐구의 재료로 접근 가능하다. 패턴 사고는 우리의 개념과 루틴을 보는 새로운 방법을 제공합니다. 예를 들어, 그들의 경계가 어디에 있는지, 그리고 시간이 지남에 따라 어떻게 발전하고 변화하는지와 같은.24 Conceiving medical education in terms of patterns has a number of implications for the field. First and foremost, it illustrates and respects the fuzziness of the concepts we use and the ways in which we use them. Pattern thinking can help medical education as a field by freeing us from seeing learning activities, methods and systems as a distinct and fixed repertoire. For instance, problem-based learning and community-oriented learning may share patterns of problem solving and independent study but differ in other patterns such as the size of the group or the ways in which learning is facilitated. From a pattern perspective their commonalities become apparent, and as such they become accessible as ingredients for educational innovation and exploration. Pattern thinking affords new ways of looking at our concepts and routines, such as where their boundaries are and how they develop and change over time.24
패턴 사고는 의학교육의 많은 실천, 모델 및 접근방식을 유연한 레퍼토리로 자리하게 한다situate. 이는 새로운 또는 새로운 도전과 요구에 대응하여 새로운 형태와 실천방식을 생성하는 데 사용할 수 있는 [적응적adapatable 팔레트]이다. 따라서 의학교육을 위한 패턴 언어는 의학교육 학술활동 전반에 통합적이고 전체적인 틀로 작용할 수 있다. 패턴과 패턴 언어 기법은 [우리가 의학 교육의 규칙성]과 [그러한 규칙성이 실현되는 방법의 다양성]을 체계적으로 식별하고 표현하도록 도와줌]으로써, 우리가 하는 일의 책무성을 개선할 수 있는 잠재력을 가지고 있다. 패턴과 패턴 언어는,
체계적인 검토에서 등가성의 많은 난제들을 해결할 방법을 제공하며,
(용어, 기관, 학자가 달라져도) 시간에 따라 의학 교육 관행이 어떻게 변화하는지
수사학적 또는 담화 분석에 특정 패턴이 어떻게 사용되는지
(패러다임으로서) 패턴이 의학교육의 실무와 연구가 지속적으로 진화하는 방식을 어떻게 지시하고 형성하는지
Pattern thinking situates the many practices, models and approaches of medical education as a flexible repertoire, an adaptable palette that can be used to generate new forms and practices in response to new or emerging challenges and needs. Pattern languages for medical education can therefore serve as a unifying and holistic frame for medical education scholarship as a whole. Pattern and pattern language techniques have the potential to improve the accountability of what we do by helping us to systematically identify and express the regularities of medical education and the variety in how those regularities are realised.
They provide a way to address many of the challenges of equivalence in systematic reviews,25 and
they could also be used to track how medical education practice changes over time (even when terminology, institutions, and scholars come and go),
how certain patterns are used in rhetorical or discourse analyses, and
how pattern (as paradigm) directs and shapes the way medical education practice and research continue to evolve.
패턴은 활동에서 나타납니다. 그 반대 순서가 아니다. 이것은 아이디어와 개념이, 단순히 세상을 묘사하는 것이 아니라, 새로운 사고 방식과 행동 방식을 만들어내는 다소 [델루지아적인 관점]입니다. 따라서 패턴 사고는 의료 교육 및 그 주변의 더 높은 수준의 혁신, 중요한 인식 및 시설을 활성화하고 지원할 수 있는 잠재력을 가지고 있다. 패턴 사고는 또한 일정 정도의 [모호성을 수반하는 사고]에 정당성을 부여하고, 이를 바탕으로 우리가 (종단실습, 지역사회 기반 프로그램, 이행, 멘토링과 같은) 엄격한 정의나 결과에 굴복하기보다는, 여러 활동을 새롭게 볼 수 있게 한다.
Patterns emerge from activity; they don't precede it. This is a somewhat Deleuzian perspective where ideas and concepts generate new ways of thinking and acting rather than simply describing the world. Pattern thinking therefore has the potential to energise and support greater levels of innovation, critical awareness and facility in and around medical education. Pattern thinking also confers legitimacy on thinking that includes a degree of ambiguity, which in turn allows us to look afresh at activities that don't yield to tight definitions or outcomes, such as longitudinal placements, community-based programmes, transitions and mentorship.
패턴의 기본 메커니즘에 대한 분석은 패턴 내에서 그리고 패턴 간에 새로운 연구 기회를 열 수 있는 잠재력을 가지고 있다. 의학교육 장학금에서 패턴 사고의 사용을 제안함으로써, 우리는 다양한 형태의 탐구와의 개념적 연관성을 인정해야 한다. 우리가 주장해 온 것처럼, 패턴은 딱딱한 정의에 관한 것이 아니다; 패턴은 [우리의 관행]과 [그 관행이 일어나는 상황에 대한 공유된 인식]에 관한 것이다. 따라서 패턴 사고는 의학교육에서 점차 증가하는 현실주의 방법과 잘 부합하며, 의학교육의 패턴과 규칙성에 대한 탐구를 통하여 의학교육 실천 및 연구의 여러 방법을 [현실주의 접근법]과 연결시켜준다. An analysis of a pattern's underlying mechanisms (which are themselves patterns) has the potential to open up new research opportunities, both within a pattern and across patterns. In proposing the use of pattern thinking in medical education scholarship we should acknowledge the conceptual links with other forms of inquiry. As we have argued, patterns are not about hard definitions; they are about shared recognition of regularities in our practices and the contexts in which they take place. Pattern concepts, notably demi-regularities in the form of context-mechanism-outcome triads, are central to concepts of realist inquiry.26 Pattern thinking therefore aligns well with the growing use of realist methods in medical education practice and research, as well as connecting other methods with realist approaches through the exploration of patterns and regularities in medical education.
이것은 단순히 언어학이나 기호학의 문제인가? 언어는 학문적 담론의 주요 매체이고 따라서 이것이 우리의 주된 관심사였다. 그러나, 우리는 [언어란 의미적semiotic 표현을 위한 하나의 매개체일 뿐이며, 의학교육에는 패턴을 반영하고 패턴 사고에 굴복할 수 있는 잠재력이 있는 많은 다른 매체(건축, 시각, 계기, 행동 등)가 있다]는 야콥슨의 주장을 인식하고 동의한다.
Is this simply a matter of linguistics or semiotics? Language is the primary medium of scholarly discourse and this has therefore been our main focus. However, we recognise and agree with Jakobson's assertion that language is only one medium for semiotic expression27 and there are many other media (architectural, visual, instrumental, behavioural, etc.) in medical education that also reflect patterns and have the potential to yield to pattern thinking.
의학교육을 위한 하나 이상의 패턴 언어를 의도적으로 개발하고 사용하는 것에도 한계가 있다. 패턴에 대해 체계적으로 작업하는 데 필요한 노력은 물론, 패턴 언어가 얼마나 안정적이고 현재적이며 광범위하게 적용될 수 있는지에 대한 도전과 같은, 우리가 이미 설명한 실용적이고 개념적인 문제가 있다. 패턴 사고 역시 [우리가 서로 다른 패턴에 대한 인식을 공유하는 정도]에 의해 제한된다. 패턴은 문화적인 측면뿐만 아니라 패러다임적인 측면도 있을 수 있으며, 본질적으로 사회적으로 구성되며, 시간이 지남에 따라 그리고 맥락 사이에서 변화할 수 있다. 비록 모든 개념적 프레임워크가 대체로 다 그렇긴 하지만, 패턴 언어를 개발하고 사용하는 것 역시 우리의 생각을 제약시킬 수도 있고, 우리의 편견을 재현하거나 증폭시킬 수도 있으며, 또는 특정 의제를 다른 의제보다 더 진전advance시킬 가능성이 있다.
The deliberate development and use of one or more pattern languages for medical education also has its limitations. There are the practical and conceptual challenges we have already described, not least the effort needed to methodically work with patterns, and the challenge of how stable, current and widely applicable a pattern language can be. Pattern thinking is also limited by the extent to which we have a shared perception of different patterns. Patterns may be paradigmatic as well as cultural, and as such intrinsically socially constructed and subject to change over time and between contexts. Although this is arguably true of any conceptual framework, there is the potential for the development and use of a pattern language to act as a constraint on our thinking, to reproduce or even amplify our biases, or to advance certain agendas over others.
패턴을 절대적인 것이 아니라, [잠정적이고 유동적인 것으로 두는 것]은 이러한 문제를 해결하는 데 도움이 될 수 있지만, 패턴의 사용이 의학 교육에 가져올 수 있는 정밀도를 제한하기도 한다. 그러나 이러한 한계는 패턴 사고의 본질적인 한계라기보다는 의학 교육에 내재되어 있을 수 있다. 의학 교육을 위한 보다 명시적인 패턴 언어를 개발할 때, 우리는 [언어와 문화를 공유하는 지역] 간 용어와 개념의 변화뿐만 아니라, [언어와 문화가 상당히 다른 지역]으로부터 유입되는 variance을 염두에 두어야 한다. 실제로, 패턴 사고는 이러한 variance를 보다 명백하고 다루기 쉽게 만드는 데 도움이 될 수 있습니다. 우리는 의학 교육의 단 하나의 고정된 패턴 언어에 동의할 수 없을지도 모른다. 실제로 우리는 많은 [언어와 방언dialects]들이 있다는 것을 발견할지도 모른다. 의학교육의 맥락에서 패턴과 패턴 언어를 탐구하는 데는 분명히 해야 할 일이 많다.
Positioning patterns as provisional and fluid rather than as absolutes can help to address this, although it also limits the precision that the use of patterns can bring to medical education. These limits may, however, be intrinsic to medical education rather than an essential limitation of pattern thinking. In developing a more explicit pattern language for medical education we should be mindful of the variation in terms and concepts between regions that share the same (or similar) language and culture as well as the variances that flow from quite different languages and cultures. Indeed, pattern thinking may help to make these variances more explicit and tractable. We may not be able to agree on a single fixed pattern language of medical education, indeed we may find that there are many languages and dialects. There is clearly much to be done in exploring pattern and pattern language in the context of medical education.
결론 Conclusions
Regehr는 최근 의학 교육 연구에서 '어떤 것이 효과가 있는가'를 항상 증명하고 가장 단순한 일반 가능한 개념을 사용하여 이러한 증명들을 추구한 지배적인 사고에 도전했다. 그는 '교육의 과학은 [일반적인 문제]에 대한 [더 나은 일반 가능한 해결책]을 만들고 공유하는 것이 아니다. 그보다는 우리가 직면한 문제에 대해 더 나은 사고 방식을 만들고 공유하는 것이다'라고 이야기했다. 이 과제에 대한 우리의 해결책은 의학교육에서 패턴과 패턴 언어를 신중하고 체계적으로 사용하는 것이다.
Regehr recently challenged the dominant thinking in medical education research that sought always to prove whether something ‘works’ and that used the simplest most generalisable concepts in its pursuit of these proofs, suggesting instead that: ‘the science of education is not about creating and sharing better generalisable solutions to common problems, but about creating and sharing better ways of thinking about the problems we face’.28Our solution to this challenge is the deliberate and systematic use of patterns and pattern languages in medical education.
Med Educ. 2015 Dec;49(12):1189-96.
doi: 10.1111/medu.12836.
Exploring patterns and pattern languages of medical education
Context:The practices and concepts of medical education are often treated as global constants even though they can take many forms depending on the contexts in which they are realised. This represents challenges in presenting and appraising medical education research, as well as in translating practices and concepts between different contexts. This paper explores the problem and seeks to respond to its challenges.Results:The authors argue that the deliberate and systematic use of patterns and pattern languages in describing medical educational activities, systems and contexts can help us to make sense of the world, and the pattern languages of medical education have the potential to advance understanding and scholarship in medical education, to drive innovation and to enable critical engagement with many of the underlying issues in this field.
Methods:This paper explores the application of architectural theorist Christopher Alexander's work on patterns and pattern languages to medical education. The authors review the underlying concepts of patterns and pattern language, they consider the development of pattern languages in medical education, they suggest possible applications of pattern languages for medical education and they discuss the implications of such use. Examples are drawn from across the field of medical education.
E-learning – Caged bird or soaring eagle? RONALD M. HARDEN
7년 전, 'E is for everything-e-learning'(데이비스 & 하드 2001)이라는 논평에서, 우리는 지금이 e-러닝에 참여해야 할 때라고 주장했고, 성공하기 위해서는 Wayne Hodgins의 조언을 지지했다. 이후 의학에서도 다른 분야와 마찬가지로 e-러닝이 빠르게 확대되고 있다. 의과대학의 거의 모든 학생들은 그들의 하루의 일부 또는 일주일의 시간을 구글이나 다른 검색엔진을 사용하여 주제에 대한 정보를 찾고, 동료나 선생님과 의사소통하거나, 그들의 기관이나 다른 곳에서 개발된 단위, 모듈 또는 과정을 공부하며 보낸다. 이제 전자 학습 애플리케이션은 현대 의료 커리큘럼의 일부이자 일부이다(Hege et al. 2007). 온라인 학습은 편리함과 유연성, 그리고 컴퓨터의 가용성 증가와 학생들의 그것들에 대한 친숙함 때문에 인기가 높아져 왔다. Seven years ago, in a commentary ‘E is for everything–e-learning’ (Davis & Harden 2001), we argued that this was the time to engage in e-learning and supported Wayne Hodgins' advice that to succeed we needed to dive not dip into it. Since then, in medicine as in other fields, there has been a rapid expansion in e-learning. Almost every student in a medical school spends part of their day or their week online searching using Google or some other search engine for information on a topic, communicating with a colleague or teacher, or studying a unit, module or course developed in their institution or elsewhere. E-learning applications are now part and parcel of modern medical curricula (Hege et al. 2007). E-learning has grown in popularity because of its convenience and flexibility and because of the increasing availability of computers and students' familiarity with them.
'아카데미에서는 모든 전문 분야가 e-러닝을 수용하고 있다고 말한다.'는 최근호 '병원 닥터'에서 대서특필되었다. 영국 의학 왕립 대학 아카데미의 보고서(2007)에 따르면, 모든 의학 전문 분야의 의사들이 그들의 관행을 개선하기 위해 온라인 학습 기술을 채택하고 있다고 한다. The Report, Development of E-learning for Doctors는 의학에 적용되는 온라인 학습의 7가지 이점을 열거하고 있으며, 수많은 온라인 학습 응용 프로그램을 문서화한다. 영국에서 대학원 연수를 담당하는 대학들이 참여해왔다. 지난 7년 동안 e-러닝은 학부 의학교육의 맥락에서 번창했다. AAMC 의학 교육 개선을 위한 연구소 (2007)의 보고서는 '의료 교육자들이 학습 자원의 전달을 보충하기 위해 점점 더 많은 기술을 사용하고 있다. ‘Academy says all specialities are embracing e-learning’ was the headline in a recent issue of Hospital Doctor. According to a report from the UK Academy of Medical Royal Colleges (2007) doctors from all medical specialities are embracing e-learning techniques to help improve their practice, The report, Development of E-learning for Doctors, lists seven benefits of e-learning as applied to medicine and documents a number of e-learning applications in which the colleges responsible for postgraduate training in the UK have been involved. In the last seven years e-learning has also flourished in the context of undergraduate medical education. A report by the AAMC Institute for Improving Medical Education (2007) concluded that ‘medical educators increasingly use technology to supplement the delivery of learning resources.
[멀티미디어 기술, 월드 와이드 웹 및 네트워크 컴퓨터의 유비쿼터스 특성]은[교육 테크놀로지]를 [소수의 선구적인 교수진이 사용하는 난해한 레거시 애플리케이션]에서 [의대 교육 기업에 필수적인 주류 애플리케이션]으로 변화시켰습니다."이 저널에서 쿡(2006)은 e-러닝이 효과가 있느냐 없느냐가 아니라, 어떻게 가장 생산적으로 사용될 수 있느냐가 문제라고 주장해왔다. 교육 연구 검토(Bernard et al)에 발표된 경험적 문헌의 메타 분석. 2004)는 비동기 응용 프로그램의 효과 크기가 강의실 지시와 비교하여 거리 교육을 선호한다는 것을 발견했다.
The advent of multimedia technology, the World Wide Web and the ubiquitous nature of networked computers, have transformed educational technologies from esoteric legacy applications used by a few pioneering faculty to mainstream applications integral to the medical school educational enterprise.” In this journal Cook (2006) has argued that the question is not whether e-learning works or not (it does!) but how it can be used most productively. A meta-analysis of the empirical literature published in Review of Educational Research (Bernard et al. 2004) found that effect sizes for asynchronous applications favoured distance education compared to classroom instruction.
그러나 모든 이니셔티브가 성공적인 것은 아니다. 실제로 엄청난 고비용 실패가 있었다. 특히 이들 중에는 영국-e대학과 영국 국립보건서비스대학의 실패도 있었다. Bacsich(2006)는 영국 e-e University의 비판적 분석에서 e-러닝 노하우에 전적으로 의존함에도 불구하고 e-러닝에 대한 우수한 지식을 가진 직원을 임명하는 데 실패했다고 지적했다. 하원 교육 및 기술 선택 위원회(2005)는 또한 고위 경영진에 대한 e-러닝 전문지식의 부족이 UKeU 실패의 원인이었다고 결론지었다. 앞으로 몇 년 안에 우리 교육기관에서 이러닝의 역할에 대해 중요한 결정을 내려야 할 것입니다. 그리고 올바른 결정이 이뤄지려면 학교 애의 시니어 수준에서 적절한 이러닝 전문지식을 가지고 있는지 의문을 가져야 한다. Not all initiatives, however, have been successful. Indeed there have been spectacular high cost failures. Notably among these were the failures of the UK-eUniversity and the UK National Health Service University. In a critical analysis of the UK-eUniversity, Bacsich (2006) noted that, despite being wholly dependent on e-learning know-how, there was a failure to appoint staff with good knowledge of e-learning. The House of Commons Education and Skills Select Committee (2005) also concluded that the lack of e-learning expertise in senior management contributed to the UKeU failure. In the years ahead important decisions will need to be taken about the role of e-learning in our institutions. We should question whether we have appropriate e-learning expertise at a senior level in our schools, to ensure that the correct decisions are taken.
e-러닝의 합법적인 포부는 교육 및 학습에 대한 기존 접근 방식을 보다 효과적이고 효율적으로 만드는 것이다. 이것이 달성되려면 e-러닝 구현은 [필요한 교육, 기술 및 콘텐츠 전문 지식을 갖춘 직원]이 모니터링 및 관리해야 한다. 너무 자주 우리 학생들은 e-러닝이라는 미명하에, 영감을 주거나 보람 있는 학습 경험이 아닌 아마추어적인 잡동사니에게 당한다. 그들이 이익을 얻기를 기대하는 것은 효과적인 학습 전략이 내장되어 있고 학습 결과가 명확하게 명시된 신중하게 계획되고 실행되는 전문 학습 프로그램이다. 슬프게도, 우리는 컴퓨터가 단지 기계적인 페이지 터너page turner로서 의미 있는 참여나 학생과의 상호작용을 거의 또는 전혀 하지 않는 e-러닝 프로그램을 계속 보게 된다.
A legitimate aspiration of e-learning is to make existing approaches to teaching and learning more effective and efficient. If this is to be achieved, e-learning implementation has to be monitored and managed by staff with the necessary education, technology and content expertise. Too often our students are subjected, in the guise of e-learning, to an amateurish forrago that is neither an inspiring or rewarding learning experience. Not unreasonably what they should expect to benefit from is a carefully planned and executed professional learning programme with effective learning strategies embedded and clearly stated learning outcomes. Sadly, all too often we continue to see e-learning programmes where the computer is used simply as a mechanical page turner with little or no meaningful engagement or interaction with the student.
반 메리언보어 외 (2004)는 "현재 웹에서 발견될 수 있는 엄청난 양의 온라인 학습 응용 프로그램을 연구하는 열린 마음을 가진 교육가는 교육학적 관점에서, 온라인 학습이 진보라기보다는 한 단계 후퇴하는 것이라고 결론지을 수밖에 없을 것"이라고 결론지었다.
비슷한 우려는 로젠버그(2001, 페이지 44)에 의해 표현되었다. "기술에 대한 열정으로, [교육 및 정보 설계의 개념을 무시하는 것]은, 종종 무가치한 것만 가르치는 웹 마법으로 귀결된다."
Van Merriënboer et al. (2004) concluded that “An educationalist with an open mind who studies the overwhelming amount of e-learning applications that are currently to be found on the Web will be forced to conclude that from a pedagogical perspective, e-learning is a step backward rather than a step forward”.
Similar concerns were expressed by Rosenberg (2001, page 44), “Ignoring the tenets of instructional and information design amidst fervour over technology usually results in lots of Web wizardy that often doesn’t teach anything of value”.
그러나 e-러닝의 미래가 단순히 우리가 이미 하고 있는 일을 더 잘, 더 비용 효율적으로 할 수 있게 하는 데 있는지는 의심해야 한다. 재정적인 제약의 시기에 그것은 확실히 유혹적인 시나리오이다. It has to be questioned, however, whether the future of e-learning lies simply in allowing us to do better and more cost effectively what we are already doing. It is certainly a tempting scenario at a time of financial constraint.
e-러닝을 단순히 기존 교육 및 학습 방법을 온라인 학습으로 전환하고, 기존 교육 접근 방식을 지원하는 새로운 기술을 적용하는 것으로 보아서는 안 된다. 만약 우리가 그렇게 한다면, 그 결과는 의학 교육을 위한 21세기 비전으로 나아가는 데 별다른 기여를 하지 못할 것이다. 이는 위에서 요약한 바와 같이, 기존 접근법 e-러닝을 통한 향상의 가치를 과소평가하는 것이 아니다. 그러나 우리는 e-러닝이 제공하는 기회를 이용하여 의료 전문가 교육에 대한 새로운 패러다임을 모색하는 데 보다 야심적이어야 한다.
We should not see e-learning as simply applying new technologies to support existing approaches to teaching, converting existing teaching and learning methods to e-learning. If we were to do so the result would be a relatively insignificant contribution to the move to a 21st century vision for medical education. This is not to underestimate the value, as outlined above, of enhancing through existing approaches e-learning. We should be, however, more ambitious, some would say even adventurous, in taking the opportunity offered by e-learning to explore a new paradigm for the training of health care professionals.
1962년, 토마스 쿤은 "과학 혁명의 구조"를 저술하였고, "패러다임 시프트"의 개념을 이해하고, 정의하고, 대중화하였다. 쿤은 과학적 진보는 진화론적인 것이 아니라 "지적으로 폭력적인 혁명으로 얼룩진 일련의 평화적 방해"이며, 이러한 혁명에서는 "하나의 개념적 세계관이 다른 것으로 대체된다"고 주장했다. 의학 교육에서 우리는 하나의 사고 방식에서 다른 방식으로의 변화, 변화 또는 일종의 변혁으로 패러다임의 변화를 생각해야 한다(Take the Leap 2008). In 1962, Thomas Kuhn wrote The Structure of Scientific Revolution, and fathered, defined and popularized the concept of “paradigm shift” (p. 10). Kuhn argued that scientific advancement is not evolutionary, but rather a “series of peaceful interludes punctuated by intellectually violent revolutions”, and in those revolutions “one conceptual world view is replaced by another”. In medical education we should be thinking of a paradigm shift with a change from one way of thinking to another as a revolution, a transformation or a sort of metamorphosis (Take the Leap 2008).
대학 학문은 변화를 꺼린다. 많은 새로운 학습 기술이 개발되었고 다른 것들은 개발의 정점에 있다. 이것은 우리가 어떻게 학생들을 교육시키고 이전에는 고려 대상이 되지 않았던 가능성을 열어주는지에 대한 흥미로운 기회를 제공한다. 우리가 의제로 삼아야 할 것은 느린 진화적 변화가 아니라 우리의 접근 방식의 근본적인 수정이다.
University disciplines like medicine with a risk history and catalogue of highly developed learning methods are reluctant to change. Many new learning technologies have been developed and others are on the cusp of development. These offer exciting opportunities as to how we educate our students and open up possibilities previously not meriting consideration. What we should have on the agenda is not a slow evolutionary change but a fundamental revision of our approach.
전통적인 교사 중심 교육에서, 학생에 대한 통제력은 선생님에 의해 발휘된다. 즉, 그들이 무엇을 배우고, 어떻게 평가하는지이다. 그 비유에서 학생은 '새장 속의 새'이다. 지난 30년 동안 학생 중심의 접근 방식으로의 움직임이 있었는데, 이 접근 방식은 학생들에게 더 많은 통제권이 전달되었다. 베르비텐(2001)은 오늘날 고등교육을 휩쓸고 있는 두 가지 혁명이 있는데,
첫 번째 혁명은 교사 중심 교육에서 학습자 중심 교육으로의 전환이라고 제안했다.
두 번째는 전통적인 교실에서 가상의 교실로의 이동입니다.
학생 중심의 접근 방식에서, '날아오르는 독수리'와 같은 학생은 선택의 자유가 더 크고, 그들 자신의 행동과 그들이 이용할 수 있는 기회의 사용에 대한 책임이 더 크다.
In traditional teacher-centred education, control of the student is exerted by the teacher–what they learn, how they learn it and how it is assessed. The student is the ‘caged bird’ in our analogy. Over the past three decades there has been a move to a student-centred approach where more control is passed to the student. There are two revolutions sweeping through higher education today, suggested Verbeeten (2001),
the first one is the move from teacher- to learner-centred education.
The second one is the move from the traditional to the virtual classroom.
In a student-centred approach the student, like ‘the soaring eagle’, has greater freedom of choice and greater responsibility for their own behaviour and the use they make of available opportunities.
"교육 시스템의 논리"는 그린 외 연구진에게 시사한다. (2005) "학습자가 시스템에 맞추는 것이 아니라, 반대로 학습자에게 적합한 시스템이 되도록 해야 한다. 이것이 개인화의 본질이다. 모든 잠재력에 도달할 수 있는 참여적이고 독립적인 학습자를 육성하기 위해, [학생의 다양한 강점, 관심, 능력 및 니즈를 인식]하고, 이를 토대로 [맞춤형 지원을 제공할 수 있는 시스템]이 필요하다."
“The logic of education systems” suggests Green et al. (2005) “should be reversed so that it is the system that conform to the learner, rather than the learner to the system. This is the essence of personalization. It demands a system capable of offering bespoke support for each individual that recognizes and builds upon their diverse strengths, interest, abilities and needs in order to foster engaged and independent learners able to reach their full potential”.
많은 교사에게, 각 학생의 필요에 따라 개인화 지침을 개별화하는 것은 이상적인 생각이지만, 그들이 운영하는 제약 조건 내에서 가능하지 않았다(Harden et al. 1984). 좋은 소식은 학습 기회 내에 통합된 학습자 중심의 평가와 피드백을 통해 각 학생의 요구에 개별화된 다양한 학습 환경의 생성과 e-러닝의 잠재력을 활용하여 적응형 커리큘럼의 이 목표를 달성하기 위해 나아갈 수 있다는 것이다. 현재까지 많은 연구자들은 온라인 웹 기반 학습을 지원하고 학습자의 선호도, 관심사 및 탐색 행동을 고려하여 학습 경로를 적응적으로 제공하기 위해 개인화된 학습 메커니즘을 갖춘 e-러닝 시스템을 개발하는 데 초점을 맞추고 있다.
For many teachers, this idea of individualising instruction to the need of each student is an ideal to be aimed at but one that has not been possible to deliver within the constraints in which they operate (Harden et al.1984). The good news is that we can move forward to achieve this goal of an adaptive curriculum by harnessing the potential of e-learning and the creation of diverse learning environments individualised to the needs of each student with learner-focussed forms of assessment and feedback integrated within the learning opportunities. To date many researchers have focussed on developing e-learning systems with personalized learning mechanisms to assist on-line Web-based learning and to adaptively provide learning paths taking into account learner preferences, interests and browsing behaviours.
교육의 중요한 발전은 [동료 지원 또는 협업 학습에 대한 강조]가 증가한다는 것이다(Ross & Cameron 2007; Ten Cate & Durning 2007). 이것은 e-러닝이 중요한 변화를 가져오고 학생들의 학습 경험을 풍부하게 할 수 있는 또 다른 분야이다. [협력적 학습 커뮤니티]라는 아이디어는 고등 교육에서 정말로 중요한 개념이다. Garrison & Anderson(2003)은 (의학에서와 같이) 고차higher-order 학습이 기대하는 학습 성과일 때, '학습자 공동체'는 교육 경험의 필수적인 핵심 요소라고 주장했다. 온라인 학습은 협업 학습의 생성과 개발에 있어 고유한 역할을 하며 실제로 의료 교육에 대한 주요 기여도를 나타낼 수 있다. An important development in education has been an increasing emphasis on peer-assisted or collaborative learning (Ross & Cameron 2007; Ten Cate & Durning 2007). This is another area where e-learning can bring about a significant change and enrich the learning experience for students. The idea of a collaborative learning community is indeed a critical concept in higher education. A community of learners, argued Garrison & Anderson (2003) is an essential, core element of an educational experience when, as in medicine, higher-order learning is the desired learning outcome. E-learning has a unique role to play in the creation and development of collaborative learning and indeed may represent its major contribution to medical education.
e-러닝의 개발을 통해 우리는 적응형 개인화된 커리큘럼과 학생 간 및 국제적으로 그리고 직업 간에 공유된 학습을 제공할 수 있다. 앞을 내다보면 세 가지 옵션이 있다.
Through developments in e-learning we can deliver an adaptive personalised curriculum and shared learning between students locally and internationally and between professions. Looking ahead, there are three options.
첫 번째 옵션은 '가능성의 기술'과 관련이 있으며, e-러닝을 학습 객체, 안내 학습 모듈, 가상 환자 등으로 [(강의, 독립 학습 및 문제 기반 또는 사례 기반 학습)과 같은 기존 교육 및 학습 접근 방식을 통해 강화하려는 접근법]으로 본다. 이 옵션에서 기존 교육 및 학습 활동은 e-러닝의 기여를 통해 강화된다. The first option is concerned with ‘the art of the possible’ and views e-learning as an approach to strengthen, through bank of learning objects, guided learning modules, virtual patients, etc., existing teaching and learning approaches including lectures, independent learning and problem-based or case-based learning. In this option existing teaching and learning activities are reinforced through contributions from e-learning.
두 번째 옵션에서는 오래된 문제에 새로운 해결책을 적용하는 것을 훨씬 넘어서서, 교육에 대한 실질적인 새로운 접근법의 필요성이 인정된다. 패러다임 전환의 필요성이 충분히 인식되고 있다. e-러닝이 교육의 21세기 비전에 기여할 수 있다는 것이 받아들여지고 결과 기반 교육 및 교육 심리에 대한 이해에서 얻은 교훈에 대한 중요한 개혁 도면을 위한 프로그램이 확인된다. 이 옵션에는 의학을 가르치고 배우는 새로운 접근법을 제공해야 하는 필요성에 대한 직접적이고 창의적인 반응이 있습니다. 수정된 접근 방식은 현재의 접근 방식과는 상당히 다르게 보일 수 있으며 이를 도입하는 작업은 교육적 사고, 교육적 설계 및 기술을 포함하며 이러한 입력 사이의 중요한 연결을 인식한다. 이 옵션의 핵심은 기존 접근 방식에서 진화 과정을 넘어서는 큰 발전이 이루어진다는 것이다. 여행은 단순히 표면 운송surface transport의 발달에 의해서만이 아니라, 항공 여행의 발달에 의해서 변혁되었고, 기술과 공기역학의 새로운 원칙의 적용의 결과로 가능해졌다. 이와 같은 방식으로 (두 번째 옵션에서는) 의학교육에 대한 우리의 접근 방식에 중대한 변화가 일어날 것이다. In the second option the need for a substantial new approach to education that goes well beyond applying a new solution to an old problem is recognised. The need for a paradigm shift is fully recognized. That e-learning can contribute to a 21st century vision of education is accepted and a programme for significant reform drawing on the lessons learned in outcome-based education and from an understanding of educational psychology is confirmed. In this option there is a direct and creative response to the need to deliver a new approach to teaching and learning medicine. The revised approach may look quite different from current approaches and the work in bringing it about encompasses educational thinking, instructional design and technology and recognises the critical link between these inputs. The thrust in this option is that big advances are made that go beyond an evolutionary process from existing approaches. Travel was revolutionized not solely by developments in surface transport but by the development of air travel, made possible by the result of the application of new principles of technology and aerodynamics. In the same way major changes would be made in our approach to medical education.
세 번째 옵션은 변화에 관한 것이지만 옵션 2와 달리 의제의 전략 항목으로 '변화change'가 없다. 전통적인 교육과정뿐 아니라 문제 기반 커리큘럼의 맥락에서 e-러닝 활용의 중요성을 인식하고, 교사와 학생 모두의 즉각적인 필요성으로 보이는 것을 의학에 반영한다. 단, [교육에서 일어나는 변화]와 [교육 변화의 구현에서 새로운 학습 테크놀로지의 역할]을 인식한다. 보다 적응적인 개인화된 학습으로의 이동, 협업 및 공유 학습으로의 이동, 결과 기반 교육 모델의 맥락에서 진행에 중점을 둔다. The third option is about change but unlike option 2, does not have change as the strategic item on the agenda. It recognises the importance of the use of e-learning in the context of a traditional as well as a problem based curriculum and reflects what are seen as the immediate needs of both the teacher and the student in medicine. It recognises, however, the changes taking place in education and the role of the new learning technologies in their implementation. It takes account of the move to a more adaptive personalized learning, the move to collaborative and shared learning and the emphasis on progression within the context of an outcome-based educational model.
우리는 현재 이러한 옵션들 중 오직 하나, 즉 옵션 3만이 실행 가능하다고 주장한다.
첫번째 선택은 교육적으로 viable하지 않다. 그것은 변화에 대한 압력에 대응하여 교육에서 일어나고 있는 중요한 발전을 무시하고 몇 년 안에 충족되어야 하는 학생들의 요구를 인식하지 못한다. 'e-learning and e-teaching'은 Ellaway(2007)가 도전적이고 흥미롭고 위험하며 변화무쌍할 수 있음을 시사하지만, 무비판적인 관행이 점점 더 많아질수록 e-learning 혁명이 걸음을 내딛기도 전에 종결될 것이라는 실질적 위험이 있다.' 교육에서 기술을 사용하는 것 자체가 좋은 것은 아니지만 '절대적 정상creeping normalcy'의 위험을 회피할 경우, 오늘날과 내일의 요구를 해결하는 혁신적이고 창의적인 방법을 개발하는 강력한 촉매제가 될 수 있다.
슬프게도 위에서 설명한 두 번째 선택권은 정치적으로 소외되고 무시될 것이기 때문에 실현 가능성이 없다. 강력한 적은 어마어마하게 많고, 지지자는 거의 없을 것이다. 온라인 학습은 주류 제도화된 변화의 기반이 아니라 한계적 추구로 간주될 것이다.
이와는 대조적으로 세 번째 선택권, 혹은 그것의 어떤 형태는 의과대학 내에서 교육적으로나 정치적으로 실행 가능한 것일 수 있다. e-러닝이 상징적으로 중요한 움직임과 연관되지 않는 한, 단순히 강의를 대체하거나 향상시키는 것 이상의 것에 관심을 갖지 않는 한, 교실에 진짜 의미가 없는 한, e-러닝은 의대에서 학생의 경험에 크게 영향을 주지 않을 것이다.
We argue that at present only one of these options–option 3–is viable.
The first option is not viable educationally. It ignores the significant developments taking place in education in response to the pressures for change and fails to recognise the needs of students that must be met in the years ahead. ‘E-learning and e-teaching’ suggests Ellaway (2007) can be challenging, exciting, dangerous and transformational but there is a real peril that the creeping enormity of uncritical and safe practices in this area will declare the e-learning revolution over before it has really got into its stride’. Using technology in education is not of itself a good thing but it can be a powerful catalyst for developing innovatory and creative methods of addressing the needs of today and tomorrow if the dangers of ‘creeping normalcy’ are avoided.
Sadly the second option as described above is not likely to be viable because it will be marginalised politically and will be ignored. There will be powerful enemies and few champions. E-learning will be seen as a marginal pursuit and not the basis for mainstream institutionalised change.
The third option, or some form of it, in contrast may be viable educationally and politically within medical schools. Unless e-learning is associated with moves which are symbolically significant, unless it becomes concerned with more than just replacing or enhancing lectures, independent learning or problem-based learning and unless it has real significance in the classroom, e-learning is unlikely to significantly influence a student's experience in medical school.
드론(2007)은 e-러닝이 널리 채택되었지만 아직 걸음마 단계이며 많은 위험이 남아 있고 해결해야 할 문제가 있지만 미래 또는 e-러닝에 대해 낙관해야 할 충분한 이유가 있다고 주장했다. 교육기술, 보스토크(2007)는 "트로이 목마"라고 제안했다. (E-learning의) 내부에는 교육과 학생 학습에 관한 몇 가지 근본적인 질문들이 있는데, 이 질문들은 실천에 있어서 급진적인 변화를 위하여, 도시 벽을 깨부수고 개방할 준비가 되어 있다. 여기에 대처하는 것은 교육에서 다른 어떤 것보다도 흥미롭다. Dron (2007) has argued that although e-learning has been widely adopted it is still very much in its infancy and although many risks remain and problems to be solved there is good reason to be optimistic about the future or e-learning. Educational technology, suggested Bostock (2007) “is a Trojan horse: inside are some fundamental questions about teaching and student learning, ready to break out and open the city walls to some radical changes in practice. Rising to that challenge is as intriguing as anything in teaching”.
e-러닝의 발전은 이전에는 불가능했던 교육 이니셔티브와 접근 방식을 가능하게 한다. 그러나 우리는 높은 품질, 교육학적으로 건전하고 흥미롭고 협력적인 온라인 학습 기회를 제공하려는 열망과 이러한 의도를 실제로 제정하는 작업 부하 및 시간 요구 현실 사이에 지속적인 긴장이 존재한다는 것을 인식할 필요가 있다(Boerema et al. 2007).
Developments in e-learning make possible education initiatives and approaches previously not possible. We need to recognise, however, that ongoing tension exists between aspirations to provide high quality, pedagogically sound, interesting and collaborative online learning opportunities and the workload and time demand realities of enacting these intentions in practice (Boerema et al.2007).
그러나 의대 교사와 자원 제약의 상상력, 교육적 이해력, 전문성이 보조를 맞추지 못하고 그러한 발전을 어떤 위장된 공상과학 소설이 아닌 현실로 만드는 데 도움이 된다면 불행한 일이다. 우리 모두가 해결해야 할 과제는 학생들을 계속 '새장 속의 새'로 볼 것인지, 아니면 '독수리처럼 치솟을' 적절한 교육기회를 통해 힘을 실어줄 것인지 여부이다.
It is unfortunate, however, if the imagination, educational understanding and professionalism of the medical teacher and resource constraints do not keep pace and help to make such developments a reality rather than some disguised form of science fiction. The challenge for all of us is whether we will continue to see our students as ‘caged birds’ or instead empower them with appropriate education opportunities to ‘soar like the eagle’.
Exploring the characteristics and context that allow Master Adaptive Learners to thrive William B. Cutrera , Holly G. Atkinsonb , Erica Friedmanb, Nicole Deiorioc , Larry D. Gruppend , Michael Dekhtyare and Martin Pusicf
도입
Introduction
환자에게 고품질 치료를 제공하려면 의료팀이 기존 문제를 올바르게 식별하고 적절한 치료법을 선택 및 구현하며 미래의 건강 문제를 해결하기 위한 효과적인 예방 조치를 적용해야 한다(Regehr 및 Mylopoulos 2008). 일반적으로 알려진 환자 문제에 직면할 때, 의사는 일반적으로 새롭게 솔루션을 개발하기보다는 이전에 사용한 솔루션을 사용한다. 반면, 새로운 과제가 제시될 때, 사전 해결책은 작동하지 않을 수 있다. 이 경우 임상의는 새로운 문제에 대한 사전 지식의 방향을 바꾸고, 문제를 해결하기 위한 새로운 학습을 통합하고, 새로운 솔루션을 혁신해야 한다. 전문성 문헌은 [일상적 전문성]과 [적응적 전문성]을 구분한다
[일상적 전문성]은 기존의 효과적이고 효율적인 솔루션을 문제에 적용하는 반면,
[적응적 전문성]은 새로운 과제가 발생할 때 새로운 솔루션을 배우거나 혁신하기 위해서 필요하다.
Providing high-quality care to patients requires healthcare teams to correctly identify existing problems, select and implement appropriate therapies, and apply effective preventive measures to address future health issues (Regehr and Mylopoulos 2008). When confronted with common known patient problems, physicians typically employ previously used solutions rather than developing de novo solutions. When presented with novel challenges, prior solutions may not work. Instead, clinicians are required to re-orient prior knowledge to the new problem; incorporate new learning to address the problem, and innovate a new solution. The expertise literature contrasts these scenarios by differentiating routine and adaptive expertise (Schwartz et al. 2005; Mylopoulos and Regehr 2011; Carbonell et al. 2014; Mylopoulos and Woods 2017; Hatano et al. 1986).
Routine expertise applies existing effective and efficient solutions to problems,
while adaptive expertise is needed to learn or innovate new solutions when novel challenges are encountered.
의사들은 고품질 치료를 제공하기 위해 전문지식의 이러한 보완적인 측면을 입증해야 한다. 의료 교육에서 적응형 전문성 개발에 집중해야 한다는 목소리가 높아지고 있다(Mylopoulos 및 Woods 2017; Mylopoulos et al. 2018). 적응형 전문지식의 개발을 촉진하는 의사 학습 모델을 만들기 위해, Cutrer 외 연구진(2016)은 자기 조절에 기초한 평생 학습에 대한 메타인지 접근 방식을 설명했다. [이론 기반 모델]은 학습자와 교육자를 위한 공유 정신 모델과 언어를 만들어 더 깊은 학습과 적응적 전문 지식 개발을 촉진한다.
Practicing physicians must demonstrate these complementary aspects of expertise to provide high-quality care. Calls to focus on adaptive expertise development in medical education are increasing (Mylopoulos and Woods2017; Mylopoulos et al.2018). To produce a model for physician learning which facilitates the development of adaptive expertise, Cutrer et al. (2016) described a metacognitive approach to lifelong learning based on self-regulation. The theory-based model creates a shared mental model and language for learners and educators to facilitate deeper learning and the development of adaptive expertise.
마스터 어댑티브 학습자 모델 개요 Master Adaptive Learner model overview
[마스터 적응 학습자 모델](Cutrer et al. 2016)은 [의사 학습의 단계]와 [자기 조절 학습(SRL) 이론]을 통합 학습 모델로 결합한다. 이는 퀄리티 향상의 PDSA 모델과 비슷하다. 효과적인 학습을 위해서는 네 가지 주요 단계가 필요합니다(그림 1 참조). The Master Adaptive Learner model (Cutrer et al. 2016) combines stages of physician learning (Moore 2007) with the cycle of self-regulated learning (SRL) theory (White and Gruppen 2010) into an integrated learning model that parallels the Plan-Do-Study-Act cycle of quality improvement (Taylor et al. 2014). Four key phases are required for effective learning (see Figure 1).
[계획 단계]에서 학습자는 먼저 자신의 지식, 기술 또는 태도의 차이를 식별합니다. 갭 식별은 놀라운 순간(Schön 1983) 또는 의도적인 데이터 분석을 통해 이루어질 수 있다. 학생의 경우 퍼포먼스 데이터에는 시험 결과, 임상 성과 평가 또는 임상 감독자의 피드백이 포함될 수 있다. 거주자와 개업의의 경우 개별 또는 환자 패널의 결과가 차이를 강조할 수 있다. 갭 식별 후 학습자는 학습 기회를 선택하고 리소스를 검색합니다.
[학습 단계]에서는 간격 반복 학습(Kerfoot et al. 2011), 자가 테스트(Karpicke and Blunt 2011), 개념 매핑(Pintoi 및 Zeitz 1997)과 같은 [효과적인 학습 전략]과 [학습자원의 비판적 평가]를 통합한다.
[평가 단계]는 정보에 입각한 자체 평가(Sargeant et al. 2010; Sargeant et al. 2011)와 외부 피드백을 결합한다. 이 단계의 학습자는 새로운 학습에 대한 이해와 적용 능력을 얻었는지 여부를 평가합니다.
[조정 단계]에서는 학습자가 새로운 학습을 변화시키는 관행에 통합합니다. 불행히도, 연구는 개업의들이 learning encounter를 기반으로 임상적 관행을 바꾸는 것을 어려워하고 있음을 일관되게 보여준다. 이러한 문제를 해결하기 위해 학습자는 새로운 이해의 적용에 관한 구현(즉, 변경 관리)과 명확성에 관한 기술을 개발해야 합니다.
In the Planning phase, the learner first identifies a gap in his own knowledge, skills, or attitudes. Gap identification can come as a moment of surprise (Schön 1983) or via deliberate data analysis. For students, performance data can include test results, clinical performance assessments, or feedback from clinical supervisors. For residents and practicing physicians, outcomes from individual or panels of patients can highlight gaps. Following gap identification, learners select an opportunity for learning and search for resources.
The Learning phase incorporates critical appraisal of resources and effective learning strategies, such as spaced repetitious learning (Kerfoot et al. 2011), self-testing (Karpicke and Blunt 2011), and concept mapping (Pintoi and Zeitz 1997).
The Assessing phase combines informed self-assessment (Sargeant et al. 2010; Sargeant et al. 2011) with external feedback. Learners in this phase evaluate whether they have gained understanding and the ability to apply new learning.
In the Adjusting phase, learners incorporate new learning into changing practice. Unfortunately, studies consistently show that practicing physicians struggle to change their clinical practice based on learning encounters (Regehr and Mylopoulos 2008). To combat this, learners must develop skills around implementation (i.e. change management) and clarity regarding application of the new understanding.
중요한 것은 이러한 단계가 각각 고립된 상태에서 작동하지 않는다는 점입니다. MAL 프로세스의 기능을 더 깊이 이해하기 위해서는 내부 학습자 특성과 상황적 요인을 추가로 탐구해야 한다.
Importantly, these steps do not function in isolation. To more deeply understand the function of the MAL process, the internal learner characteristics and contextual factors must be further explored.
개인 특성 Personal characteristics
호기심 Curiosity
피츠제럴드(1999)는 호기심을 "조사하고, 발견하고 싶은 충동"이라고 묘사했다. 호기심은 더 많은 것을 알고 이해하는 학습자의 내면적 욕구이다. 이는 학습자가 질문에 답하지 않고 학습 사이클로 진입하도록 유도합니다. 호기심을 보이는 학습자들은 "비판적적인 지적을 받아들일 가능성이 적고, 질문을 즐겨 하며, 자신의 질문과 불확실성을 공개적으로 드러낼 의지가 있다"(Deakin Crick 2007). 교육자와 연구자들은 호기심이 학습을 촉발하고 지적 발견, 문제 해결, 공감 응답, 자기 모니터링 및 평생 학습에 중요한 역할을 한다고 가정했다(Fitzgerald 1999; Sternszus et al. 2017). Fitzgerald (1999) described curiosity as the “urge to investigate, to discover.” Curiosity is the internal desire of the learner to know and understand more. It drives the learner to enter the learning cycle rather than leave questions unanswered. Learners who demonstrate curiosity are “less likely to accept what they are told uncritically, enjoy asking questions, and are more willing to reveal their questions and uncertainties in public” (Deakin Crick 2007). Educators and researchers have postulated that curiosity triggers learning, playing a critical role in intellectual discovery, problem-solving, empathic responses, self-monitoring, and lifelong learning (Fitzgerald 1999; Sternszus et al. 2017).
지적 호기심은 두 가지 측면, 즉 [내재적이고 안정적인 기저점을 의미하는 특성 호기심]과 [가변적이고 상황에 따라 의존하는 상태 호기심]으로 구성된다(Sternszus et al. 2017). 리처드 외 연구진(2013)은 특성 호기심trait curiosity이 높은 의대생들이 암기에 의존하는 '표면' 학습 전략보다는 이해를 촉진하는 '딥(deep)' 학습 전략을 활용하는 경향을 보였다. 스턴츠저스 외 연구진(2017)은 의료 교육 경험에서 흔히 볼 수 있는 관행이 의도치 않게 호기심, 특히 상태 호기심state curiosity을 억제할 수 있다고 우려했다. 그러나, 이것은 완화될 수 있다: Dyche와 Epstein(2011)의 문헌 리뷰는 호기심과 관련된 마음의 습관이 "특정 증거 기반 교육 접근법"을 통해 뒷받침될 수 있다고 결론지었다.
Intellectual curiosity comprises two aspects, an inherent, stable baseline trait curiosity and a variable, context-dependent state curiosity (Sternszus et al.2017). Richards et al. (2013) have shown that medical students with high levels of trait curiosity tend to utilize “deep” learning strategies that promote understanding rather than “surface” learning strategies that rely on memorization. Sternszus et al. (2017) expressed concern that common practices in the medical educational experience may inadvertently suppress curiosity, especially state curiosity. However, this can be mitigated: a literature review by Dyche and Epstein (2011) concluded that curiosity and related habits of mind can be supported through “specific, evidence-based instructional approaches.”
동기 Motivation
동기부여가 없다면, 학습자들은 학습 사이클을 시작하고 완료하는데 필요한 시간이나 에너지를 소비하지 않을 것이다. 교육 심리학에서 나온 여러 이론들은 학습자의 동기를 탐구하며 의학 교육에 적용된다(Kusurkar et al. 2012). 예를 들어 동기 부여의 자기결정론(SDT)은 내재적 동기 부여와 외적 동기 부여(Ryan과 Deci 2000)를 구별한다. 연구에 따르면 내재적 동기 부여는 딥 러닝, 향상된 학업 성과, 연구의 지속 및 웰빙과 관련이 있다(Kusurkar et al. 2011; 10 Cate et al. 2011; Kusurkar et al. 2011). Without motivation, learners will not spend the time or energy necessary to enter in and complete the learning cycle. Multiple theories from educational psychology explore learner motivation and are applicable to medical education (Kusurkar et al. 2012). The Self-Determination Theory (SDT) of motivation, for example, distinguishes between intrinsic and extrinsic motivations (Ryan and Deci 2000). Studies have shown that intrinsic motivation is associated with deep learning, enhanced academic performance, continuation of studies, and well-being (Kusurkar et al. 2011; ten Cate et al. 2011; Kusurkar et al. 2011).
동기 부여는 학습을 촉진하는 데 있어 분명히 독립적인 변수이지만, 또한 종속변수가 될 수도 있다. 학습 환경(LE)은 동기를 향상시키는 데 중요한 역할을 할 수 있다(Kusurkar et al. 2011). 학생들의 내부 동기를 자극하기 위해 특별히 설계된 커리큘럼은 LE에 의해 생성된 결과에 강력하게 영향을 미칠 수 있다.
While motivation is clearly an independent variable in promoting learning, it can also be impacted. The learning environment (LE) can play an important role in enhancing motivation (Kusurkar et al.2011). Curricula that are specifically designed to stimulate internal motivation in students can powerfully influence the outcomes produced by the LE.
마음가짐 Mindset
[마음가짐]은 [자신의 지능과 학습능력에 대한 믿음 패턴]으로 정의되어 왔다. Dweck(1986, 2006)는 자기 이론과 학습에 미치는 영향을 "고정 사고방식"과 "성장 사고방식"으로 구분한다.
[고정형 마음가짐]을 가진 사람들은 지능이나 재능과 같은 기본적인 자질은 고정관념이라고 믿는다. 그들은 재능만이 큰 노력 없이 성공을 창출한다고 믿는 경향이 있으므로 당황하거나 실패할까 봐 도전을 주저한다.
[성장형 마음가짐]을 가진 사람들은 헌신과 노력을 통해 그들의 능력을 개발할 수 있다고 믿는다. 성장 마인드를 가진 사람들은 도전을 수용하고, 중요한 피드백을 수용하며, 학습에 투자합니다.
Mindset has been defined as a belief pattern held about one’s own intelligence and capacity for learning. Dweck (1986, 2006) differentiates between self-theories and their impact on learning as the “fixed mindset” and “growth mindset.”
Individuals with fixed mindsets believe that basic qualities, such as intelligence or talents, are fixed traits. They tend to believe that talent alone creates success – without much effort – and are therefore hesitant to take on challenges for fear of embarrassment or failure.
In contrast, individuals with growth mindsets believe they can develop their abilities through dedication and hard work. Individuals with growth mindsets embrace challenges, accept critical feedback, and invest in learning.
연구는 학생들의 사고방식이 그들의 학업성취도 향상을 초래하는 표적 개입을 통해 변할 수 있다는 것을 보여준다(Blackwell et al. 2007). 또한, 의대 학생들이 성장 사고방식을 채택할 수 있도록 돕는 것이 학습 방식을 바꾸려고 시도하는 것보다 학업 성공을 위한 더 효과적인 방법이라는 것을 입증한다(Feely and Biggerstaff 2015).
Research shows that students’ mindsets can change through targeted interventions resulting in enhancements in their academic performance (Blackwell et al.2007). Evidence also demonstrates that helping medical students adopt a growth mindset is a more effective route to their academic success than attempting to alter their learning styles (Feeley and Biggerstaff2015).
회복탄력성 Resilience
[회복탄력성]은 "역경, 외상, 비극, 위협 또는 심지어 중요한 위협의 원천에 직면하여 잘 적응하는 과정"이다. 도전과 실패에도 견디고 더 강하게 성장하는 능력이다. 덕워스 외 연구진 (2007)는 유사한 구조를 설명했는데, 이를 "그릿"이라고 부른다. 회복탄력성은 개인마다 크게 다른 복잡한 다차원 구조이다. 스트레스에 대한 개인의 반응은 수많은 유전적, 발달적, 인지적, 심리적, 신경생물학적 위험과 보호 요인에 따라 달라진다(Southwick 및 Charney 2012). Resilience is the “the process of adapting well in the face of adversity, trauma, tragedy, threats or even significant sources of threat” (American Psychological Association 2010). It is the ability to endure and grow stronger in the face of challenges and failures. Duckworth et al. (2007) have described a similar construct, which they call grit. Resilience is a complex multidimensional construct, which varies widely among individuals. An individual’s response to stress depends on numerous genetic, developmental, cognitive, psychological, and neurobiological risk and protective factors (Southwick and Charney 2012).
연구에 따르면, 특히 임상 학습 환경에서 회복탄력성은 의대생과 의사 웰빙의 중심 요소이다.회복탄력성은 학습자가 도전적이고 스트레스를 받는 경우에도 학습 과정을 지속하고 계속할 수 있는 능력을 부여합니다. Studies have identified resilience as a central element of medical student and physician well-being (Dunn et al. 2008; Dyrbye et al. 2010; Zwack and Schweitzer 2013), especially in clinical learning environments (Delany et al. 2015). Resilience gives learners the ability to persist and continue in the learning process, even when it becomes challenging and stressful.
회복탄력적인 학습자는 [스트레스에 대한 건강한 대응을 할 수 있는 역량을 강화하는 특정한 기술, 습관, 태도를 배양]하여 [최소한의 심리적, 신체적 비용]으로 목표를 달성한다. 여기에는 자아 인식, 명상, 자기 모니터링, 한계 설정 및 직장에서의 도전에 대한 건설적인 방법에 관여하는 능력이 포함된다(Epstein 및 Krasner 2013). 또한 가족 및 친구와의 관계 배양, 지속적인 직업 개발, 신체 운동, 영적 양육, 궁극적으로는 자신의 직업과 개인적 경계를 알고 받아들이는 등의 실천이 수반된다(Zwack and Schweitzer 2013). 그러므로, 회복탄력성은 교육과 연습을 통해 향상될 수 있습니다. 임상 환경에서 여기에는 환자 성공 사례의 개인적 성찰 또는 평가를 위한 보호 시간 창출이 포함될 수 있다. Resilient learners cultivate specific skills, habits, and attitudes that enhance their capacity to have a healthy response to stress, achieving goals with minimal psychological and physical costs. This includes the capacity for self-awareness, mindfulness, self-monitoring, limit setting, and engaging in a constructive way to challenges at work (Epstein and Krasner 2013). It also entails establishing practices such as cultivating relationships with family and friends, continuous professional development, physical exercise, spiritual nurturance, and ultimately knowing and accepting one’s professional and personal boundaries (Zwack and Schweitzer 2013). Thus, resilience can be enhanced through education and practice. In the clinical setting, this could include creating protected times for personal reflection or appreciation of patient successes.
이러한 내부 특성 외에도, 외부 고려사항은 MAL 프로세스에서 학습자가 성공할 수 있는 능력에 영향을 미친다.
In addition to these internal characteristics, external considerations also impact the learner’s ability to thrive in the MAL process.
코칭 Coaching
학습을 보다 효과적으로 만드는 데 있어 중요한 역할 때문에 [코칭]은 MAL 모델에서 중요한 역할을 합니다. 적응형 전문성은 학습자에게 "명확한 부담"을 유발합니다(Mylopoulos 및 Regehr 2009). 학생들은 MAL이 되기 위해 필요한 것을 어떻게 명시적으로 이해하고 있는가? 코칭은 MAL 모델의 4단계 각각에 중요한 영향을 미칠 수 있습니다. Because of its critical role in making learning more effective, coaching serves as the rheostat in the MAL model. Adaptive expertise creates a “clear burden” on learners (Mylopoulos and Regehr 2009), raising the question – how do students explicitly understand what is required to become a MAL? Coaching can have an important influence on each of the four stages in the MAL model.
Deiorio 외 연구진(2016)은 "교육 코치는 객관적 평가 검토를 통해 성과를 평가하고, 니즈를 파악하고 이를 달성하기 위한 계획을 수립하는 데 도움을 주며, 학습자가 책임감을 갖도록 지원함으로써, [학습자가 잠재력을 최대한 발휘]할 수 있도록 하기 위해 배정된 사람입니다. 코치는 학습자가 자기 모니터링을 개선할 수 있도록 지원하는 동시에, 코칭이 커리어 전반에 걸쳐 도움이 될 수 있다는 생각을 모델링합니다." Deiorio et al. (2016) note, “An academic coach is a person assigned to facilitate learners achieving their fullest potential…by evaluating performance via review of objective assessments, assisting the learner to identify needs and create a plan to achieve these, and helping the learner to be accountable. Coaches help learners improve their self-monitoring, while modeling the idea that coaching will likely benefit them throughout their career.”
코칭은 피드백 프로세스에서 신뢰할 수 있는 [장기적 관계]의 중요성을 강조할 수 있습니다. 교육동맹은 코칭 모델과 잘 맞아떨어집니다. 교육동맹이란, "피드백 프로세스를 하나의 정보 전송이 아닌, [관련되는 진실되고 헌신적인 교육 관계 내에서 이루어지는 협상과 대화]로 재구성한다. 이는 다음을 포함한다.
성능 및 표준에 대한 공유된 이해의 추구
실행 계획에 대한 협상 협정,
목표에 도달하기 위한 협력
실무에서 피드백을 사용할 수 있는 기회 공동 창출
Coaching can underscore the importance of a long-term, trusted relationship in the feedback process. The educational alliance aligns nicely with the coaching model, as it “…reframes the feedback process from one of information transmission to one of negotiation and dialogue occurring within an authentic and committed educational relationship that involves
seeking shared understanding of performance and standards,
negotiating agreement on action plans,
working together toward reaching the goals, and
co-creating opportunities to use feedback in practice” (Telio et al. 2015).
교육동맹은 MAL 사이클의 각 단계를 최적화할 수 있다.
This alliance can optimize each phase of the MAL cycle.
계획 단계: 갭 식별에 대한 성찰을 자극하고 학습자에게 목표를 설정하도록 유도하며, 대화를 지속적으로 파악된 목표로 되돌림으로써 코칭은 계획 단계에 긍정적인 영향을 미칠 수 있습니다. 코치는 학습자가 목표 설정에 익숙하지 않은 상황에서 I-SMART와 같은 프레임워크를 사용하고, [목표의 퀄리티에 대한 피드백]을 제공함으로써 목표가 타당한지 확인할 수 있습니다(Lockspeaker et al. 2013). 코치는 또한 목표 달성에 대한 책무성을 제공할 수 있습니다. Planning phase: By stimulating reflection on gap identification, prompting the learner to set goals, and by continually bringing the conversation back to identified goals, coaching can positively influence the Planning phase. With learners new to goal-setting, coaches can ensure that the goals are reasonable by using a framework such as I-SMART and providing feedback on the quality of the goals (Lockspeiser et al. 2013). Coaches can also offer accountability in goal attainment.
학습 단계: 코치는 학습이 [사실적 지식뿐만 아니라 의사 수행의 모든 영역을 포함하는] 평생의 습관이 되어야 한다는 생각을 모델링할 수 있다. 코치는 새로운 것을 배워야 했던 그들 자신의 경험에 대한 귀중한 개인적 일화를 제공할 수 있다. 또한 코치는 리소스를 추천하여 신뢰성을 제공하거나, 보다 적절한 학습 전략을 제안할 수 있습니다. Learning phase: Coaches can model the idea that learning should be a lifelong habit, including not just factual knowledge, but all domains of physician performance. Coaches may offer valuable personal anecdotes about their own experiences of needing to learn something new. Additionally, coaches may offer credibility in recommending resources or may suggest more appropriate learning strategies.
평가 단계: 의사의 자가 진단 기술은 일반적으로 결함이 있다(Davis et al. 2006). 코칭 관계는 코치가 평가 데이터의 객관적인 신뢰할 수 있는 해석자 역할을 하면서 사용 가능한 데이터에 대한 습관적인 성찰을 장려하여 자체 평가를 개선할 수 있는 잠재력을 제공합니다. 이 과정은 종종 학습자 포트폴리오(Vander Vleuten et al. 2012; Spickard et al. 2016)의 도움을 받는다. 학습과 마찬가지로, 코치는 실천에 대한in practice 평가 데이터를 받는 것은 스스로 수행하는 피드백 탐색 행동(Crommelink 및 Anseel 2013)의 중요한 부가물이라고 긍정적으로 프레이밍할 수 있다. Assessing phase: Physicians’ skills in self-assessment are generally flawed (Davis et al. 2006). The coaching relationship offers the potential to develop improved self-assessment by encouraging habitual reflection on available data, with coaches serving as objective trusted interpreters of assessment data. This process is often aided by learner portfolios (van der Vleuten et al. 2012; Spickard et al. 2016). As with learning, coaches can also positively frame that receiving assessment data in practice is a valuable adjunct to their own feedback seeking behavior (Crommelinck and Anseel 2013).
조정 단계: 조정 단계는 특히 환경에 대한 제어력이 떨어지는 후배 학습자에게 어려울 수 있습니다. 코치는 동일한 보건 시스템 내에서 근무했떤 경험을 들려주고, 치료의 질과 환자 안전이 향상되는 메커니즘에 대한 개괄overview을 제공할 수 있다. 이러한 모습이 신뢰할 수 있는 공명판credible sound board의 역할을 할 수 있다. Adjusting phase: The Adjusting phase can be difficult, especially for junior learners who may feel little control over their environment. Coaches can serve as credible sounding boards for ideas as they may bring experiences of working within those same health systems, and offer an overview of the mechanisms by which quality of care and patient safety is improved.
따라서 MAL 사이클에서 4단계 모두에 영향을 미칠 수 있는 능력으로 코칭은 코치와 학습자 교육 제휴를 통해 긍정적인 상황적 요인을 제공한다. MAL 프로세스의 외부 상황에 관한 최종적인 고려사항은 학습환경LE이다.
Thus, with its ability to influence all four stages in the MAL cycle, coaching offers a positive contextual factor through the coach-learner educational alliance. The final major consideration regarding the external context for the MAL process is the LE.
학습환경 Learning environment
중요한 배경background 영향인 [학습 환경]은 보다 효과적인 학습을 촉진하는 긍정적인 학습 환경이 될 수 있고, 그렇지 않으면 부정적인 것이 될 수도 있다. LE는 설정마다 다른 모호한 정의와 표현으로 인해 어려움을 겪는 복잡한 구조를 나타낸다. 대부분의 저자들은 LE가 교육적 상호작용과 결과를 중심으로 하기 때문에 [본질적으로 심리사회적]이라는 데 동의한다. The learning environment, a critical background influence, can be either positive, fostering more effective learning, or negative, impeding effective learning. The LE represents a complex construct that suffers from ambiguous definition and manifestations that vary from one setting to another. Most authors concur that the LE is fundamentally psychosocial in nature because it centers around educational interactions and outcomes.
다양한 수준의 사회 시스템(Gruppen과 Stansfield 2016)에서 LE를 생각해 보는 것이 유용하다.
기본적인 수준에서 [학습자 개인]은 학습 이력, 특성 및 기술이 모두 주어진 LE와 상호 작용에 영향을 미친다.
다음 계층은 함께 일하고 배우는 [그룹 또는 팀]입니다.
[조직(예: 의대, 보건 시스템 등)]은 LE의 또 다른 측면을 구성하는 정책, 문화, 우선순위 및 자원을 가진 더 큰 entity내의 여러 그룹을 포함하고 있으며, 이는 로케일에 따라 다를 수 있다(스코켈라크 외 2016).
[지역 사회와 사회]는 LE의 표현을 위해 훨씬 더 넓은 문맥을 제공한다.
It is useful to think of the LE from different levels of social systems (Gruppen and Stansfield 2016).
At the foundational level is the individual learner, whose learning history, characteristics and skills all influence one’s interaction with a given LE.
Next in the hierarchy are groups or teams of individuals who are working and learning together.
Organizations (e.g. a medical school, a health system, etc.) include multiple groups within a larger entity that has policies, culture, priorities, and resources that constitute another aspect of the LE, which may differ based on locale (Skochelak et al. 2016).
Local communities and societies provide even broader contexts for the expression of LEs.
학습자와 환경의 인터페이스에서, 우리는 MAL과 LE가 상호작용하는 두 가지 방법을 검토할 수 있다. 개별 학습자에 초점을 맞춰, 우리는 [MAL 모델이 어떻게 불리하거나 도전적인 LE에 적응하거나 대처하는 데 도움이 되는지] 고려할 수 있다. MAL 프로세스의 구성요소는 예방접종적inoculating 또는 보호적protective 효과를 가질 수 있다. 이러한 보호 효과의 일부는 MAL 프로세스에 "에너지를 주는" (호기심, 동기부여, 사고방식, 회복탄력성 등의) 내면적 특성에서 발생할 수 있다. 이들 각각은 어려움 앞에서의 인내와 잠재적으로 어렵거나 부정적인 환경에서의 지속성을 촉진한다.
At the interface of the learner and the environment, we can examine two ways the MAL and the LE interact. Focusing on an individual learner, we can consider how the MAL model helps one adapt to or cope with a possible adverse or challenging LE. The components of the MAL process may have an inoculating or protective effect. Some of this protective effect may arise from the internal characteristics that “energize” the MAL process: curiosity, motivation, mindset, and resilience. Each of these promotes perseverance in the face of difficulties and persistence in a potentially difficult or negative environment.
MAL 프로세스 자체는 다양한 방법으로 (학습환경에 대한) 적응을 돕는다.
MAL은 계획 단계에서 습득한 스킬을 통해 [환경과 관련된 지식과 기술 격차]를 파악하고 [해당 환경에서 실현 가능한 목표]를 수립할 수 있다.
마찬가지로, 학습 단계에서 습득한 스킬은 [특정 LE의 제약 조건에 더 적합한 학습 리소스와 전략을 식별]하는 데 사용될 수 있다. 학습환경에서 이용 가능한 피드백의 형태와 양은 MAL의 평가 단계에 큰 영향을 미칠 수 있다. 다음을 비교해보라
자신의 성과 데이터를 지속적으로 수신하고 검토하는 교수진과 지속적으로 교직원으로부터 피드백을 제공받는 레지던트들
격리된 상태에서 실습을 하는 교수진 의사들과 자신의 개발을 지도하기 위해 피드백을 전혀 받지 못했다고 보고하는 레지던트들
전자의 학습환경LE에서 [평가 단계]가 학습자에게 훨씬 더 자연스럽고 효과적인 것으로 느껴집니다.
마찬가지로 [조정 단계]는 환경에 따라 달라질 수 있습니다. 이러한 각 단계에서 강한 MAL은 주어진 LE 내의 불리한 특징에도 불구하고 분석, 적응 및 학습에 더 잘 준비되어야 한다.
The MAL process, itself, aids in adaptation in various ways.
Skills acquired to support the Planning phase will enable the MAL to identify knowledge and skill gaps that are relevant to the environment as well as to frame goals that are viable in that environment.
Similarly, skills in the Learning phase can be used to help identify learning resources and strategies that are better fits to the constraints of a particular LE. The form and the amount of feedback available in the environment may have a major impact on the assessment phase of the MAL. Consider the contrasting impact on a medical student surrounded by
faculty who consistently receive and review their own performance data and residents who are consistently provided with feedback from faculty members,
in contrast to faculty physicians who practice in isolation and residents who report never receiving any feedback to guide their own development.
The Assessing phase will feel far more natural and impactful for the learner in the former LE.
Similarly, the Adjusting phase may take different forms, depending on the environment. A MAL who is strong in each of these phases should be better prepared to analyze, adapt, and learn, in spite of the adverse features within a given LE.
다양한 LE 간의 전환이 학습자를 위한 과제로 확인되었다(Dunham et al. 2017). 이러한 전환은 교실에서 진료소로, 의과대학에서 레지던시로, 한 교대조에서 다른 교대로의 것일 수도 있지만, 이 모든 전환은 [학습을 지원하는 방식으로 transition을 용이하게ease 하는 프로그램을 개발할 기회]이다. 그러한 개입의 정확한 세부 사항은 학습자, 학습 목표 및 커리큘럼을 반영해야 한다. 그러나 주요 구성요소에는 코치, 독립 학습을 위한 자원, 격차를 인정하는 안전한 환경에서 피드백 제공을 위한 시스템, 학습 커뮤니티와 같이 구현을 촉진하는 팀과 소셜 네트워크가 포함될 수 있다(Smith et al. 2016).
Transitions between various LEs have been identified as challenges for learners (Dunham et al.2017). These transitions may be from classroom to clinic, from medical school to residency, from one rotation to another, but all are opportunities for developing programs to ease the transition in ways that support learning. The precise details of such interventions must reflect the learners, learning goals, and curriculum. However, key components could include coaches, resources for independent learning, systems for feedback provision in safe settings that acknowledge gaps, and teams and social networks that facilitate implementation, such as learning communities (Smith et al.2016).
Because change is ubiquitous in healthcare, clinicians must constantly make adaptations to their practice to provide the highest quality care to patients. In a previous article, Cutrer et al. described a metacognitive approach to learning based on self-regulation, which facilitates the development of the Master Adaptive Learner (MAL). The MAL process helps individuals to cultivate and demonstrate adaptive expertise, allowing them to investigate new concepts (learn) and create new solutions (innovate). An individual's ability to learn in this manner is driven by several internal characteristics and is also impacted by numerous aspects of their context. In this article, the authors examine the important internal and contextual factors that can impede or foster Master Adaptive Learning.
When I say . . . adaptive expertise Maria Mylopoulos & Nicole N Woods
전문 임상의사들은 질병의 징후와 증상에 대한 지식, 환자의 필요와 가치에 대한 이해, 사회적 맥락과 가용 자원을 이용하여 상황을 의미 있게 만들고 해결책에 도달한다.
때로는 알려진 해결책을 적용하는 것으로 충분합니다: 그렇지 않으면 일상적인 박테리아 감염을 보이는 건강한 환자에게 항생제를 처방해야 합니다.
다른 때에, 일상적인 환자가 아닌 환자를 위한 해결책은 임상의가 혁신을 필요로 할 것이다: 동일한 박테리아 감염을 가진 노숙자, 우울증 환자는 항생제에 대한 처방 이상의 것을 필요로 할 수 있다.
Expert clinicians use their knowledge of the signs and symptoms of illness, understanding of patients' needs and values, and the social context and available resources, to make meaning of situations and arrive at solutions. Sometimes applying a known solution is sufficient: an otherwise healthy patient who presents with a routine bacterial infection should be prescribed antibiotics. At other times, the solution for a non-routine patient will require the clinician to innovate: a homeless, depressed patient with the same bacterial infection may require more than just a prescription for antibiotics.
두 경우 모두 최종 솔루션은 임상 의사의 경험과 임상 영역에 대한 진화하는 이해의 일부가 된다. 우리가 '적응적 전문지식'이라고 말할 때, 우리는 임상 추론의 이러한 상황적인, 반복적인, 때로는 생성적인 총체적 활동을 포함한다. In both cases, the eventual solution becomes part of the clinician's experience and evolving understanding of her or his clinical domain. When we say ‘adaptive expertise’, we encompass this entire situated, iterative and sometimes generative activity of clinical reasoning.
전문가가 [때로는 효율적인 솔루션을 적용]하고 [때로는 환자의 요구를 충족하기 위해 혁신해야 한다]는 것을 이해하는 것이 [적응형 전문성] 구성의 핵심이다. 전문가들은 작업의 이러한 '효율성'과 '혁신' 치수의 균형을 적절히 맞출 수 있을 때 최적으로 적응한다.1 모든 임상 추론 모델에서처럼, 지식은 적응 전문지식의 이 두 가지 차원에서 모두 수행능력에 중요하다. Understanding that an expert sometimes applies an efficient solution and at other times must innovate to meet a patient's needs is central to the construct of adaptive expertise. Experts are optimally adaptive when they are able to appropriately balance these ‘efficiency’ and ‘innovation’ dimensions of their work.1 As in all models of clinical reasoning, knowledge is critical for the performance of both dimensions of adaptive expertise.
지식을 획득, 저장 및 적용하는 방법의 중요성과 함께, 적응형 전문지식의 프레임워크는 지식이 활동 중에 사용되는 두 가지 뚜렷한 방법, 즉 적용할 솔루션의 레퍼토리로서(효율성) 또는 새로운 솔루션(혁신)을 만드는 출발점으로 강조된다.일반적인 오해는 연습의 효율성이나 '일상적인' 차원이 '혁신적인 것'과 충돌하거나, 그렇지 않다는 것이다.적응형 전문지식을 위해서는 효율성과 혁신이 모두 필요합니다. 그들은 보완적이고, 똑같이 필요한 전문가 활동의 형태이다.
Alongside the importance of how knowledge is acquired, stored and applied2, 3 the framework of adaptive expertise emphasises two distinct ways that knowledge is used during activity, either as a repertoire of solutions to be applied (efficiency) or as the starting point for the creation of new solutions (innovation). A common misconception is that the efficiency or ‘routine’ dimension of practice is in conflict with, or inferior to, ‘being innovative’. Adaptive expertise requires both efficiency and innovation. They are complementary, equally necessary forms of expert activity.
임상의사가 알려진 해결책으로 충분할 상황에서 혁신을 추구한다면, 그들은 열악한 환자 치료를 제공할 가능성이 있다. 박테리아 감염의 일상적인 환자는 새로운 해결책을 필요로 하지 않는다. 항생제의 적절한 처방이 최적이다. 마찬가지로 임상의가 항상 모든 상황에 대해 알려진 해결책을 맞추려고 한다면, 그들은 또한 열악한 환자 치료를 제공하고 있다. 세균감염 환자가 아닌 경우 처방을 받아 집으로 돌려보낼 경우 치료하지 않은 상태로 남아 있거나 악화될 수 있으며 보다 공격적이거나 비용이 많이 드는 치료가 필요할 수 있다. 우리가 '적응적 전문성'이라고 말할 때, 우리는 효율성보다 혁신이 더 좋은 것이라는 위계를 의미하지 않는다. 오히려 임상 작업의 맥락 안에 위치한situated within 임상의의 지식은 [언제 효율성이 필요하고 언제 혁신이 필요한지]를 결정한다.
If a clinician seeks to innovate in a situation where a known solution will suffice, they are likely to be providing poor patient care. The routine patient with a bacterial infection does not require a new solution, timely prescription of an antibiotic is optimal. Similarly, if clinicians always seek to fit their known solutions to every situation they encounter, they are also providing poor patient care. If the non-routine patient with the bacterial infection is sent home with a prescription, the patient might remain untreated or may deteriorate and need more aggressive or costly care. When we say ‘adaptive expertise’ we are not proposing a hierarchy of innovation over efficiency. Rather, a clinician's knowledge situated within the context of his or her clinical work determines whether efficiency or innovation is required at any point in time.
전문지식이 이런 식으로 이해된다면 보건직 교육에 미치는 영향은 상당하다. 의학 교육은 지식 습득, 보존 및 응용에 대한 집단 강조를 대표하는 임상 추론의 지시와 평가를 위한 커리큘럼 전략, 도구 및 기법을 오랜 역사를 가지고 있다. 적응형 전문지식의 일부로 간주되는 이 유형의 훈련은, 전문가 문제 해결 중 [효율성의 개발]을 효과적으로 촉진한다. 전문지식의 [효율성과 혁신] 모두가 중요하다는 것을 받아들인다면, [혁신을 위한 훈련]을 지원하기 위하여 교육적 원리에 기반한 추가적인 보완적이고 동시적인 집중이 필요하다. If expertise is understood in this way, the implications for health professions education are significant. Medical education has a long history of creating curricular strategies, tools and techniques for the instruction and assessment of clinical reasoning that are representative of a collective emphasis on knowledge acquisition, retention and application.4 Viewed as part of adaptive expertise, this type of training effectively promotes the development of efficiency during expert problem solving. Accepting the importance of both the efficiency and innovation dimensions of expertise requires an additional complementary and synchronous focus on educational principles that support training for innovation.
이러한 원칙을 식별하고 이를 적응형 전문지식을 반영하는 결과와 연결시키는 문헌 조직이 늘어나고 있다. 예를 들어, 임상 징후와 증상을 기본 메커니즘과 명시적으로 연결하는 기초 및 임상 과학의 통합 교육은 [non-routine case의 문제 해결]은 물론 [새로운 학습]을 지원하는 것으로 나타났다.2 또한, 학습자가 여러 경우에 걸쳐 체계적인 특징 변화variation of feature에 의도적으로 노출되는 것을 강조함으로써, 적극적인 학습 활동이 문제에 대한 포괄적인 이해를 지원하는 것으로 나타났다.6 이러한 활동에 이어 직접적인 지시로 학생들은 답을 듣기 전에 풀려고 하는 문제에 대한 깊은 이해를 개발할 수 있다.6
There is a growing body of literature identifying these principles and linking them to outcomes reflective of adaptive expertise. For example, integrated instruction of basic and clinical sciences that explicitly links clinical signs and symptoms with underlying mechanisms has been shown to support problem solving in non-routine cases5 as well as support new learning.2 As well, active learning activities with an emphasis on deliberately exposing learners to systematic variation of features across cases have been shown to support comprehensive understanding of problems.6 These activities, followed by direct instruction, allow students to develop deep understanding of the problem they are trying to solve before being told an answer.6
일상적인 교육은 다양한 커리큘럼 모델에 이러한 원칙을 포함하도록 설계될 수 있다. 예를 들어 CBL 또는 PBL 세션과 interactive lecture는 학습자에게 기초 및 임상 과학에 대한 통합 교육을 제공할 수 있도록 세심하게 설계될 수 있으며, direct instruction에 이어 active learning이 극대화되도록 촉진될 수 있다. 평가는 학생들이 학습하고 기존 지식 테스트와 함께 평가 환경에서 적용할 수 있는 새로운 지식을 제공함으로써 역동적으로 만들 수 있다. 임상교육동안, 이러한 원칙을 강화하는 것이 임상 교사의 임무가 된다. 이는 임상 징후와 증상의 기본 메커니즘을 명확히 하기 위한 '왜' 질문을 하고, 환자 사례의 임상 징후와 증상을 의도적으로 변화시키고 학습자에게 그 함의를 설명하도록 요청함으로써 이루어질 수 있다. 비판적으로, 이것은 [학습자의 지식을 평가하는 질문]을 넘어 [학생들에게 임상 활동과 관련된 새로운 지식을 생각하고 적용하도록 요구하는 것]을 의미한다. Everyday teaching can be designed to incorporate these principles within a variety of curricular models. For example, case-based or problem-based learning sessions and interactive lectures can be carefully designed to provide learners with integrated instruction on basic and clinical science, and be facilitated in such a way as to maximise active learning followed by direct instruction. Assessments can be made dynamic by providing students with new knowledge to learn and apply in an assessment setting alongside testing their existing knowledge.2 During bedside teaching, it becomes the job of the clinical teacher to reinforce these principles. This can be done by asking ‘why’ questions to make explicit the underlying mechanisms of clinical signs and symptoms as well as by deliberately varying the clinical signs and symptoms of a patient case and asking learners to explain the implications. Critically, this means moving beyond questions that assess learners' knowledge in the moment and asking them to think about and apply new knowledge related to their clinical activity.
Effective Medical Lecturing: Practice Becomes Theory A Narrative Review Robert C. Lowe1 & Steven C. Borkan1
더 챌린지 The Challenge
대중 연설은 학문의학의 "ancient pillar"이다. 학생과 동료 그룹과의 대화는 학업 발전과 성취에 있어 측정 가능한 이정표이다. 이런 압박과 함께 '우리 학생들을 교육하라'는 요구가 높아지면서 '비효과적인 강의'라는 공통적이지만 역설적인 관행이 이어지고 있다. 비효율적인 강의를 만드는 것은 사실 매우 간단합니다.
1단계는 많은 양의 정보가 가득한 글머리표 슬라이드를 사용하여 PowerPoint 프레젠테이션을 생성해야 합니다.
2단계는 반사적으로 화면을 보면서 청중에게 각 슬라이드를 체계적으로 읽어주며 화자의 불안감을 줄여주는 내용을 담고 있다.
듣는 사람들은 이메일을 다루고, 동료들에게 문자를 보내고, 종종 무의식을 향해 마음을 놓음으로써 이 부담스러운 노력으로부터 벗어나려고 한다.
이야기가 끝나자 관중은 관례대로 정중하게 박수를 치고, 한 시간 안에 말을 잊는다.
연설자는 "안전하게" 탈출하고, 다른 날에 "가르칠" 준비가 되어 있다.
Public speaking is the “ancient pillar” of academic medicine. “Talks” to groups of students and colleagues are a measurable milestone for academic advancement and achievement. This pressure, combined with increasing demands to “educate our students,” has led to the common but paradoxical practice of “ineffective lecturing.” Producing an ineffective lecture is actually quite simple.
“Step One” requires creating a PowerPoint presentation with heavily bulleted slides replete with large quantities of information.
“Step Two” involves presenting the talk by systematically reading each slide to the audience while reflexively facing the screen to reduce speaker anxiety.
Listeners seek refuge from this burdensome endeavor by addressing e-mails, texting colleagues, and often disengaging toward unconsciousness.
As the talk ends, the audience politely applauds as is the custom, and then forgets the talk within the hour.
The speaker “safely” escapes, ready to “teach” another day.
이 주기는 수많은 학문적 학습의 중심에서 반복되며, 우리의 훈련생들은 강의에 참여하지 않는 것에 대해 불평한다.
This cycle is repeated in countless centers of academic learning and, just as often, our trainees complain about unengaging lectures.
위대한 강의 The Great Lecture
"위대한 강의"의 구성 요소들은 기원전 4세기에 아리스토텔레스가 그의 수사학에서 처음으로 개괄하였다. 이 논문의 제1권에서, 아리스토텔레스는 효과적인 프레젠테이션의 3가지 요소, 즉 이성(로고스)과 감정(파토스)에 대한 호소, 화자의 개인적 특성(에토스)에 대해 설명했다. [26]. 이것들은 우리의 현재의 교육적 임무에 똑같이 적용된다: 효과적인 강연은 듣는 사람을 자극하고 정보가 기억 속에 내재되도록 하는 [감정적 반응]을 유도하는 [논리적인 방식]으로 [정보를 제공]한다. 이러한 목적적 반응은 열정과 "화자의 유동성"을 포함하는 매력적인 프레젠테이션 스타일에 대응하여 발생합니다.
The components of the “great lecture” were first outlined in the fourth century B.C.E. by Aristotle in his Rhetorics. In Book One of this treatise, Aristotle described 3 components of an effective presentation: an appeal to reason (logos) and to emotion (pathos), as well as the speaker’s personal characteristics (ethos) [26]. These are equally applicable to our current educational mission: an effective talk presents information in a logical fashion that stimulates the listener and induces an emotional response that allows the information to be embedded in memory. This purposeful reaction occurs in response to an engaging presentation style that includes enthusiasm and the “speaker’s fluidity”.
'연사 성격'의 소재가 제기될 때, [카리스마 있는 연사는 콘텐츠 전문성이 부족한 것을 감추기 위해 'smoke and mirror'을 사용하는 사람]은 명백한 사기꾼이거나 교육자라기보다는 연예인에 불과하다는 것이 일반적인 방어적 반박이다. 반대론자들은 좋은 발표는 가장 최신의 사실과 사실적인 자료의 단순한 발표일 뿐이며, 그 밖의 모든 것들은 효과적인 교육과 무관한 "인기 대결"이라고 주장한다. 일반적으로 사용되는 이 믿음은 학문적, 사업적, 그리고 정부 환경에서 무수한 비효율적인 강의를 지원합니다. 더 중요한 것은, 이것이 몰입적이고 기억에 남는 프레젠테이션을 회피하는 구실이 된다는 것입니다. When the subject of the “speaker’s personality” is raised, a common defensive retort is that charismatic speakers are clearly charlatans using “smoke and mirrors” to hide their lack of content expertise or are mere entertainers rather than educators. The naysayers posit that a good presentation is simply a straightforward presentation of most up to date and factual material and that, beyond this, all else is a “popularity contest” irrelevant to effective education. This commonly held belief supports countless ineffective lectures in academic, business, and governmental settings. More importantly, it serves as the excuse to avoid engaging, memorable presentations.
"닥터 폭스 실험"은 이 뛰어난 태도를 지지하는 것처럼 보였다. 1973년, "Myron Fox 박사"가 "의학 교육에 수학 게임 이론을 적용"이라는 제목의 교육자들에게 강연을 하는 심리학 실험이 수행되었다. 폭스 박사는 사실 따뜻하고, 재미있고, 매력적인 스타일의 강의를 하는 배우였는데, 그 내용은 횡설수설이었다. 예상했던 대로, 청중들은 폭스 박사에게 호의적인 반응을 보였다. 이것은 "좋은" 강사가 청중을 속여 거짓 이야기를 감상하게 만들었다고 결론내림으로써 강의를 참여시키는 "Charlatan" 이론에 기여했다. 그러나 1975년에 실시된 후속 실험은 이러한 결론을 반박했다. 이 시나리오에서는 다양한 교육 콘텐츠와 함께 여러 강의가 진행됐다. 각각의 강연은 두 명의 연사에 의해 전달되었습니다: 하나는 매력적인 스타일을 가지고 있고 다른 하나는 직설적이지만 매력적이지 않은 스타일을 가지고 있습니다. 두 연사 모두 참여형 스타일은 고·저콘텐츠 강의 후 청중의 콘텐츠 유지율을 높였습니다.
The “Dr. Fox Experiment” seemed to support this preeminent attitude. In 1973, a psychological experiment was conducted wherein a “Dr. Myron Fox” presented a talk to a group of educators entitled “Applying Mathematical Game Theory to Medical Education.” Dr. Fox was in fact an actor who provided a warm, funny, and engaging style lecture, the content of which was gibberish. As might be expected, the audience favorably responded to Dr. Fox. This contributed to the “charlatan” theory of engaging lectures by concluding that a “good” lecturer fools an audience into appreciating a false narrative [20]. However, a subsequent experiment conducted in 1975 confronted this conclusion. In this scenario, several lectures were given with a variable amount of educational content. Each talk was delivered by two speakers: one with an engaging style and another with a straightforward but unengaging style. For both speakers, the engaging style resulted in greater content retention by the audience after high- and low-content lectures.
이 관찰은 내용이 "잘 말하는 사람"에 의해 청중에게 더 효과적으로 전달된다는 것을 시사하며, 다른 사람들에 의해 나중에 복제되는 발견인 상당한 교육적 편익[28]으로 해석한다[18]. 청중들을 끌어들이기 위한 열쇠는 그들의 관심을 끌고 붙잡아야 한다. 교육자의 경우 불행히도 [성인 집중력 기간은 10분]으로 제한되어 있으므로, 고전적인 50분 강의를 위한 참여 유지라는 화자의 과제가 복잡해진다. 더구나 이러한 '10분'의 주의력을 입증한 연구는 스마트폰과 소셜미디어 시대 이전에 이루어졌으며, 오늘날 청취자의 주의력 범위는 더욱 짧아진 것으로 생각된다. 다행히, 청중 집중력 기간은 다양한 형식과 아래에서 논의한 대화형 특징을 추가하고 강의 내내 주요 교육 포인트를 반복함으로써 주기적으로 "재설정"될 수 있다.
This observation suggests that content is more effectively transmitted to an audience by a “good speaker” and translates to significant educational benefit [28], a finding subsequently replicated by others [18]. The key to engaging the audience mandates attracting and holding their attention. Unfortunately for educators, the adult attention span is limited to 10 min [5, 15], complicating the speaker’s task of sustaining engagement for the classic 50-min lecture. Moreover, the studies that demonstrated this “10-min” attention span were conducted before the era of smartphones and social media, and it is believed that today’s listeners have an even shorter attention span. Fortunately, audience attention span can be periodically “re-set” by varying format, adding interactive features discussed below, and re-iterating key teaching points throughout the lecture.
강의 시간 관리 Lecture Time Management
"시간" 자체는 효과적인 프레젠테이션을 준비하는 데 필수적인 요소이지만 불행히도, 이용 가능한 것은 거의 없다. 다음을 포함한 여러 자극......들을 하려면, 대화식으로 강의를 하기에는 연습 시간이 부족해진다.
경쟁적인 학문적 우선 순위,
청중을 위해 적절한 강의 내용을 선택하는 시간을 진공청소기로 없앤다.
학습 목표 식별,
효과적인 슬라이드 세트의 초안 작성 및 정제, 그리고
반사적 또는 능동적 학습 단절을 약간 더한다.
“Time” itself is the vital ingredient for preparing an effective presentation but, unfortunately, is least available. Multiple stimuli, including
competing academic priorities,
vacuum away the time for selecting lecture content appropriate content for the audience,
identifying learning objectives,
drafting and refining an effective slide set, and
adding a pinch of reflective or active learning breaks,
...leaving inadequate practice time to deliver the lecture in an easy, conversational style.
이 벅찬 "강의에서의 to-do 리스트"는 식료품 목록은 심지어 선의의 교육자들도 각 슬라이드에 정보를 쌓아놓고 청중에게 소리내어 읽어줌으로써 "최소한의 강의 저항의 길"을 여행하게 하고, 우리 청중들이 우리의 강의 노력을 무시하도록 효과적으로 보장한다.
This daunting grocery list of “lecture to-dos” causes even well-intentioned educators to travel the “path of least lecture resistance” by piling information into each slide and then reading them aloud to the audience, effectively guaranteeing that our audience ignores our lecture efforts.
학술적 현실과 대화 불개의 전통, 효과적인 강의가 통달될 수 없다는 시각이 모두 우리의 강의현상을 유지하며 필연적으로 '나쁜 대화'를 만들어낸다. 시간은 de novo로 만들 수 없기 때문에, 그것은 꽤 유혹적이다.
파워포인트를 긴급하게 연다.
교육목표를 생략하고, 50분을 채울 만큼 충분한 슬라이드에 사실정보를 저장한다.
슬라이드 디자인을 무시한다.
배움을 촉진하는 이미지는 건너뛴다
적극적으로 반영하거나 참여하기 위해 청중의 초대를 생략한다.
그리고 나서, "시간이 부족하니" 강의 요약을 제외한다
Academic reality, a tradition of unengaging talks, and the view that effective lecturing cannot be mastered all sustain our lecturing status quo and inevitably lead to the creation of “bad talks.” Since time cannot be created de novo, it is quite tempting to
open PowerPoint with a sense of urgency,
skip educational goals, pile factual information onto enough slide to fill 50 min,
ignore slide design,
forego learning-enhancing images,
omit audience invitations to actively reflect or participate,
and then, for the “sake of time,” exclude a lecture summary.
이처럼, "나쁜 강의"는 놀랄 만큼 짧은 시간에 준비될 수 있지만, 동시에 예측 가능한 결과를 가져온다.
Admittedly, a “bad talk” can be prepared in a remarkably short time but with predictable results.
효과적인 강의의 효과성 향상과 효과적인 강의 조성에 필요한 시간 최소화를 위한 제안들이 요약되어 있다(표 1).
표 1 효과적인 강의를 위한 시간 절약 팁 Table 1 Time-saving tips for effective lecturing
• 2-4주 전에 준비 • 청중에게 맞춘 2~6가지 주요 교육 포인트 목록(2번 슬라이드 사용) • 가장 크고 균일한 글꼴, 간격 및 줄 번호를 가진 설계 슬라이드(그림 3, 4 참조) • 시각적 학습자를 자극하는 이미지 추가(예: Google 이미지) • 마이크로 요약 슬라이드 삽입: 내용 강조, 원활한 주제 전환 • 1-2명의 청중 질문을 고려합니다. • 수사적 질의는 성찰을 시뮬레이션하고, 소규모 그룹 토론은 학습자를 적극적으로 참여시킨다. • 요약 슬라이드, 미러 4~6가지 주요 교육 포인트 • 각 슬라이드에 익숙해질 때까지 배송 연습
• Preparing 2–4 weeks in advance • List 2–6 key teaching points geared to audience (use as slide no. 2) • Design slide with largest, uniform font, spacing, and line number (see Figs. 3, 4) • Add images to stimulates visual learners (e.g., Google Images) • Insert microsummary slides: emphasize content; smooth topic transitions • Consider 1–2 audience questions • Rhetorical queries simulate reflection; small group discussions actively engage learners • Summary slide; mirrors 4–6 key teaching points • Practice delivery until each slide is familiar
학생과 교사 사이의 물리적인 거리감을 모두 갖춘 원격 인터넷 교육은 고유한 과제를 제기하며 효과적인 교육을 지속하기 위한 새로운 솔루션을 필요로 한다. 원격 교육 및 강의 준비는 예상된 과제를 계속 제공하지만, 멀리서 가르치면 학생과의 피드백과 공명이 복잡해지고, 듣는 사람이 눈에 보이지 않게 "체크아웃"할 수 있으며, 교사에게 패배를 인정할 수 있는 기회를 제공하여 Zoom, Teams 등 날짜를 미리 정하는 비효율적인 교육 방법론으로 후퇴한다. 성인 학습자와 교사는 그 자체가 동일하기 때문에, 원격 청취자를 참여시키고 학습에 자극을 주는 방식으로 도전하고 참여시키는 정보를 전달하는 전략이 중심 목표로 남아 있다.(표 2). Remote Internet teaching, complete with physical distance between students and teachers, raises unique challenges and requires novel solutions to sustain effective teaching. While remote teaching and lecture preparation continue to provide the expected challenges, teaching from a distance complicates feedback and resonance with students, permits listeners to invisibly “check out,” and affords teachers the opportunity to admit defeat, retreating to ineffective teaching methodologies that pre-date Zoom, Teams, and other surrogate Internet media. Since the adult learners and teachers are themselves identical, strategies for engaging remote listeners and transmitting information that challenges and engages them in a manner that stimulates learning remain a central goal. Based on experiences to date and input from the latest educational literature [4, 7, 21, 22], modest adjustments by the lecturer substantially improve the remote learner’s and lecturer’s experience (Table 2).
표 2 원격 교육을 위한 효과적인 전략 Table 2 Effective strategies for remote teaching
• 강의 세션에 필요한 기술 설정 필요성 파악 • 화면 공유, 슬라이드 전진, 비디오 공유 및 링크된 리소스 연습 • 준비 자료 및 프레젠테이션 공유(PDF는 학생이 조작하기가 더 어렵습니다) • 소개 시간을 활용하여 학습자를 참여시키고, Q/A 공간을 정의합니다. • 학습자를 교차 참여시키기 위한 브레이크아웃 룸과 채팅 공간, 강사가 "룸"에서 능동적 학습을 관찰/공유할 수 있도록 함 • 동료/학생을 초대하여 채팅 공간을 통해 질문을 작성합니다. • 강의 리소스, 자습서 또는 기타 학습자 리소스에 대한 온라인 링크를 제공하여 학습자의 질문과 요구를 해결 • 학생들의 피드백을 구하고 기술 개선을 요청합니다. • Identify technological setup needs required for teaching session • Practice screen sharing, slide advancing, sharing videos, and linked resources • Share preparatory materials and presentation (PDFs are more challenging for students to manipulate) • Use introduction time to engage learners; define Q/A space • Breakout rooms and chat space to cross-engage learners promote active learner; allow lecturer to observe/share active learning across “rooms” • Invite a colleague/student to staff the Chat space to field questions • Provide online links to lecture resources, tutorials, or other learner resources, to address learners’ question and needs • Seek students’ feedback and solicit for technologic improvements
강의 내용 계획 방법 How to Plan Lecture Content
성인 학습의 원리를 이용하여 강의를 계획하는 것은 그 영향을 증가시킨다. Malcolm Knowles에 의해 명확하게 설명되는 이러한 원칙들은 성인 학습자를 가르치기 위한 귀중한 개념적 프레임워크이다. 일부 논란에도 불구하고 [19], 이러한 원칙은 효과적인 교육 세션을 설계하는 데 여전히 유용하다[14]. 비효과적(그림 1a) 대 효과적(그림 1b) 슬라이드. Using principles of adult learning to plan a lecture increases its impact. These principles, articulated by Malcolm Knowles, are a valuable conceptual framework for teaching adult learners. Despite some controversy [19], these principles remain useful for designing effective teaching sessions [14]. An ineffective (Fig.1a) vs. effective (Fig.1b) slide listingKnowles Principles of Andragogyis shown.
두 가지 성인 학습 원칙은 효과적인 프레젠테이션을 만드는 것과 가장 관련이 있다.
첫째, 성인은 자신의 삶과 업무 관행과 [관련된] 학습을 요청하기 때문에 각각의 강의가 청중에게 관련되는 것이 매우 중요하다[15]. 이것은 명백해 보일 수도 있지만 시간이 허용하는 한 많은 사실 정보를 제공함으로써 "권위적"인 것과도 반대될 수 있다. 일반적인 질병별 학술 강연은 (역사적 순서로) 질병 역학, 임상 프레젠테이션, 진단, 예후 및 현재 치료를 포함하도록 구조화된다. 각 주제 제목 아래에, 많은 정보가 전체 문장 또는 입력된 단락과 함께 글머리 기호 슬라이드로 표시됩니다.
비록 이 접근법이 약간의 교육적 장점을 가지고 있지만, 진정한 관련성은 청중들이 그들의 일상 생활에서 제시된 정보로 [무엇을 할] 것인지이다. 예를 들어, 공중 보건 청중에게 말할 때, 선별과 역학에 중점을 두는 것이 적절하지만, 윤색 진단과 치료는 일차 진료 의사들에게 반향을 일으킨다. 의대생들은 주제에 대한 최신 연구에 대한 철저한 토론으로부터 좀처럼 혜택을 받지 못한다. 이와는 대조적으로, 이 접근법은 주제 전문가들에게 매우 효과적이다.
Two adult learning principles are most relevant to creating effective presentations.
First, adults request learning that is relevant to their lives and work practices, making it critical that each talk berelevantto the audience [15]. This may seem obvious but also at odds with being “authoritative” by providing as much factual information as time permits. A typical disease-specific academic talk is structured to include (in historical order) disease epidemiology, clinical presentation, diagnosis, prognosis, and current therapy. Under each topic heading, a wealth of information is presented as bulleted slides with full sentences or typed paragraphs.
Although this approach has a modicum of educational merit, the true question of relevance refers to what the audiencewill dowith the presented information in their daily practice. For example, when speaking to a public health audience, emphasis on screening and epidemiology is appropriate, whereas embellishing diagnosis and treatment resonates with primary care physicians. Medical students rarely benefit from an exhaustive discussion of the latest research on a topic. In contrast, this approach is highly effective for topic experts.
선생님 강조하기 De-emphasizing the Teacher
효과적인 대화에서 중요한 것은 [선생님과 주제]가 아니라 [주제와 청중]을 강조해야 한다는 것이다. 이 초점으로, 화자는 효과적인 강의에 수반되는 정보의 과부하를 피하기 위해 [더 적은 정보를 더 표적화된 방식]으로 제공한다[15]. [목표를 세우는 것]은 대규모 그룹 강의를 준비하는 데 있어 두 번째 중요한 요소이다. 목표 또는 "학습 목표"는 표현 구조에 의해 명시적으로 또는 암시적으로 반영될 수 있다. 준비의 세 번째 핵심 초점은 각 프레젠테이션을 1시간 형식으로 효과적으로 전송할 수 있는 [3-5개의 기본 티칭 포인트]로 제한하는 것이다. 강의의 나머지 본문은 단순히 이러한 요점을 뒷받침하기 위한 것이다. 이 의도적인 연습은 청중들을 주요 개념에 집중시키고 이상적으로는 후속 조사와 학습을 고무시키는 지적 "준비" 역할을 하기 때문에 효과적인 가르침의 주요 구성요소이다.
In an effective talk, it is notthe teacher and the topicthat are important but rather, thetopic and audiencethat require emphasis. With this focus, the speaker provideslessinformation but in a more targeted way, avoiding information overload that accompanies ineffective lectures [15].Setting audience goalsis the second critical factor in preparing a large group lecture. Goals or “learning objectives” can be either explicitly or implicitly reflected by presentation structure. The third key focus of preparation (and most challenging) is tolimit each presentationto the 3 to 5 primary teaching points that can be effectively transmitted in a 1-h format. The remaining body of the lecture is simply designed to support these key points. This intentional exercise is a major component of effective teaching as it focuses the audience on key concepts and ideally serves as an intellectual “warm up” to inspire subsequent investigation and learning.
교육대상으로서의 청중 Audience as the Educational Target
효과적으로 구조화된 강의는 [사실]보다는 [개념에 대한 토론]에서 이익을 얻는다. 스마트폰, 휴대용 태블릿 및 랩톱 컴퓨터를 사용하여 전세계 데이터베이스에 즉시 액세스함으로써 학습자는 즉시 특정 사실과 온라인 주제 요약을 찾습니다. 발표자의 과제는 청취자가 최신 사실 목록을 제공하기보다는 제시된 정보를 정리하고 사용할 수 있는 [개념적 프레임워크]를 제시하는 것이다. 인지과학 연구에 따르면, [학습]이 [기억력에 대한 사실의 헌신]이 아니라 [스키마를 이용한 기억 속 정보의 조직]이라는 것을 보여준다. 효과적인 교사는 문제를 해결하거나 과제를 완료하기 위해 학습자의 지식 기반을 구성하고 지식 검색을 용이하게 하는 새로운 스키마를 만든다[22]. An effectively structured lecture benefits from a discussion of concepts rather than facts. With immediate access to the world’s database using smartphones, portable tablets, and laptop computers, learners instantaneously locate specific facts and online topic summaries. The speaker’s challenge is to present a conceptual framework that enables the listener to organize and use information being presented rather than provide an updated list of facts. Cognitive science research shows that learning is not the commitment of facts to memory but the organization of information in memory using schemas. Effective teachers create new schemas to structure their learners’ knowledge base and facilitate knowledge retrieval in order to solve a problem or complete a task [22].
일단 개념화되고 조직화되면, 듣는 사람들은 강의 내용을 기존의 의학적 지식과 연결할 수 있다. 화자의 목표는 청중에게 그들이 알고 있는 것을 상기시키고 이 기초 지식을 넓히고 심화시키는 것이다 [10, 11]. 익숙하지 않은 주제를 초보 청중에게 강의 형식으로 제시하는 것은 도전적이다. 예를 들어, "C형 간염" 강의의 내용은 청중 구성과 다양성, 즉 현장의 전문가, 1차 진료 의사, 제휴 건강 전문가, 교육생, 일반인 또는 다양한 혼합물에 따라 크게 달라질 것이다. 유인물은 학습자가 강의 시작 전에 새로운 정보를 선제적으로 검토할 수 있도록 하고, 학습자에게 '청중을 알고 있다'는 것을 보여줌으로써 교육적 가치를 창출한다. Once conceptualized and organized, the listeners can link the content of the lecture to their existing medical knowledge. The speaker’s goal is to remind the audience of what they know and then extend and deepen this baseline knowledge [10, 11]. Presenting an unfamiliar topic to a novice audience in a lecture format is challenging. For example, the content of a “hepatitis C” lecture will widely vary depending on the audience composition and diversity: experts in the field, primary care physicians, allied health professionals, trainees, general public, or a diverse mixture. Handouts allow the learner to preemptively review new information before the lecture begins and creates educational value by showing learners that the speaker “knows the audience.”
정보의 간단한 표현보다는, 목표된 개념을 설명하는 [이야기와 은유]는 장기적인 기억으로 지식을 캡슐화한다[30]. 구체적으로, 이야기, 사례 사례, 그리고 은유의 포함은 듣는 사람들이 새로운 방식으로 그들의 지식을 재구성할 수 있게 한다. 잘 설계된 강의는 3-5개의 주요 교육 포인트를 효과적으로 전달하기 위해 지식 생성 및 보존이라는 조직 구성 요소를 강화합니다. 열정과 감정은 가르침을 더욱 기억에 남게 한다. 독창적인 주제와 상관없이, 단조로움은 청중의 흥미를 거의 유발하지 않는다. 강연을 연습하면 강의자가 자연스러운 흐름을 이용해 자료를 제시할 수 있고, 열정과 감정이 정보 보유를 부채질하는 핵심 요소인 대화 방식으로 진행된다.
Stories and metaphors that illustrate the targeted concepts, rather than a straightforward presentation of information, facilitate knowledge encapsulation of into long-term memory [30]. Specifically, the inclusion of stories, case examples, and metaphors allows listeners to restructure their knowledge in a novel way. Well-designed lectures enhance this organizational component of knowledge generation and retention to effectively transmit 3–5 primary teaching points. Enthusiasm and emotion make teaching points more memorable [16]. Regardless of the inherent topic novelty, monotony rarely engenders audience interest. Practicing the talk permits the lecturer to present the material using natural flow and in a conversational style in which enthusiasm and emotion are the key ingredients that fuel information retention.
PowerPoint 슬라이드의 너트 및 볼트 준비 Nuts and Bolts of Preparing PowerPoint Slides
잘 설계된 PowerPoint 슬라이드 쇼는 두 가지 핵심 학습 이론을 통합하는 효과적인 프레젠테이션의 중요한 구성요소이다. 첫 번째 개념은 학습자가 두 채널을 통해 시각과 청각 정보를 동시에 처리한다는 것이다. [시각 채널]은 문자를 포함한 이미지를 처리하는 반면 [청각 채널]은 말을 처리한다. 이 두 채널이 보완적이라면 이해와 보존이 강화된다[17, 25]. 대조적으로, 청중에게 단어를 소리내어 읽는 것에서 비롯되는 불일치 채널은 듣는 사람이 더 지배적인 시각 채널을 추론하여 말하는 사람을 무시하게 한다. [청중들은 일반적으로 발표자가 말하는 것보다 읽는 속도가 더 빠르기 때문에, 슬라이드를 소리내어 읽는 것은 화자의 무관심을 사실상 보장한다]. 이와는 대조적으로, 보완적인 청각 및 시각 정보 채널을 사용하면 효과적인 학습을 촉진할 수 있다[1]. A well-designed PowerPoint slideshow is a critical component of an effective presentation that incorporates two key learning theories. The first concept is that learners simultaneously process visual and auditory information via two channels: the visual channel processes images including the written word, whereas the auditory channel processes speech. When these two channels are complementary, understanding and retention are enhanced [17, 25]. In contrast, discordant channels that result from reading words aloud to an audience cause the listener to ignore the speaker in deference to the more dominant visual channel. Since the audience member typically reads faster than a presenter speaks, reading slides aloud virtually guarantees speaker irrelevance. In contrast, using complementary auditory and visual information channels promotes effective learning [1].
효과적인 슬라이드 설계는 예측 가능하고 재현 가능한 과학이다. 첫째, 이미지 사용을 극대화하면서 각 슬라이드의 단어 수를 최소화합니다. 청각 채널이 화자의 말을 통합하는 동안 이미지는 시각 채널을 자극한다. "Beyond Bullet Points"(circa 2010)는 이 전략을 운용한다. 예를 들어, 완전한 문구를 사용하는 슬라이드 제목은 화자의 포인트에 대한 보완적 시각 및 청각 처리를 위한 단계를 설정한다. 슬라이드 제목을 반영하는 이미지는 소리를 크게 읽지 않고 청각 구성요소에 보완적인 시각적 자극을 제공한다 [27]. 잘못 설계된 슬라이드의 예가 두 단어 제목에서 비효율적인 슬라이드 제조를 설명하는 긴 진단 목록과 함께 표시된다(그림 2a). 두 번째 패널(그림 2b)은 스피커가 관련 진단 목록을 논의하도록 자극하는 "관심 이미지" 위에 말하는 사람이 무엇을 말할 것인지를 말로 청중에게 "알려주는" 효과적인 제목을 보여준다. 이중 채널 이론은 화자가 큰 소리로 읽도록 강요하지 않고 청중을 사로잡고 첫 번째 주요 교수 죄악을 피한다. 텍스트 중심의 슬라이드는 간혹 적절하지만, [텍스트를 줄이는 것]이 주의 산만함을 최소화하고 주제 이해를 촉진하며 청중의 주의를 스피커에 집중시킨다 [2].
Effective slide design is a predictable and reproduciblescience. First,minimizethe number of words on each slide whilemaximizingthe use of images. Images stimulate the visual channel while the auditory channel incorporates the speaker’s words. “Beyond Bullet Points” (circa 2010) operationalizes this strategy. For example, a slide title that uses a complete phrase sets the stage for complementary visual and auditory processing of the speaker’s point. An image that reflects the slide title provides complementary visual stimulation for the auditory component without reading aloud [27]. An example of a poorly designed slide is shown wherein a two-word title accompanies a long diagnostic list illustrating ineffective slide making (Fig.2a). The second panel (Fig.2b) illustrates an effective title that “tells” the audience in words what the speaker will address above an “image of interest” that stimulates the speaker to discuss the associated diagnostic list. Dual-channel theory engages the audience without forcing the speaker to read aloud and avoids the first cardinal teaching sin. Text-heavy slides are occasionally appropriate but pared down text minimizes distractions, fosters topic understanding, and focuses audience attention on the speaker [2].
효과적인 텍스트 슬라이드 기능은 비즈니스, 교육 및 의료 교육 문헌에서 도출된다(그림 3) [1, 5, 25, 27]. 글꼴 선택은 통신에 영향을 미치며 [28 포인트 보다 큰 글씨를 사용하는 것]는 두 가지 기능을 제공한다. 첫째, 청중들이 장소 크기에 관계없이 화면 단어를 인식할 수 있게 하고 둘째, 스피커가 각 슬라이드에 있는 단어를 제한하도록 함으로써 정보 과부하에 의도적인 "브레이크"를 배치한다. [17] 효과적인 슬라이드에는 이미지가 포함되어 있으며 한 줄에 6자 이내로 구성된 슬라이드당 최대 6자까지 구성된 몇 개의 단어만 있습니다. 특히, 일부 교육자들은 시각적 정보를 더욱 제한하는 더 단순한 "4 × 4" 형식을 제안한다 [23]. 시각적 겸손의 순효과는 미끄럼틀이 아닌 화자가 주요 청중의 초점을 유지한다는 것이다. Effective text slide features are derived from business, education, and medical education literature (Fig.3) [1,5,25,27]. Font selection affects communication and using fonts>28 point size serves two functions; first, it allows the audience to recognize screen words irrespective of the venue size; and second, it places an intentional “brake” on information overload by forcing the speaker to limit the words on each slide [17]. Effective slides contain images and only a few words organized as follows: a maximum of six lines per slide with no more than six words per line. Notably, some educators suggest a simpler “4 × 4” format that further limits visual information [23]. The net effect of visual modesty is that the speaker, not the slide, remains the primary audience focus.
다음 설계 원칙은 단일 형식, 글꼴 유형 및 슬라이드 간에 일관된 배열을 사용하는 것입니다. 음향 효과와 결합된 복잡한 PowerPoint 애니메이션 또는 애니메이션은 특히 다양한 애니메이션 옵션이 슬라이드 일관성을 훼손할 때 의도치 않게 시청자의 주의를 분산시킨다[17]. 최적의 슬라이드 디자인은 화자가 콘텐츠를 제공하는 동안 텍스트를 최소화하고 정보 이미지를 추가합니다 [16]. 반면에 짧은 텍스트 라인을 순차적으로 도입하여 슬라이드를 "구축"하는 것도 효과적이다 [8]. 이후 전략은 관객의 주의를 분산시킬 수 있는 화면의 단어를 제한한다. 효과적인 슬라이드를 생성하기 위한 최종 권장사항은 "세리프"에 관한 설계 문헌에서 도출한 것인데, 이는 엄선된 글꼴에 통합된 글자 끝에 있는 작은 점들이다. 타임즈 뉴로마를 포함한 인기 있는 글꼴은 세리프를 포함하고 있는 반면, 아리알은 "산세리프 글꼴"이다. 산세리프 글꼴은 특히 큰 강의실에서 읽기가 더 쉬우며 슬라이드에는 매우 선호된다[16]. The next design principle is to use a single format, font type, and a consistent arrangement between slides. Complex PowerPoint animation or animation coupled to sound effects unintentionally distracts audiences [17], especially when a variety of animation options compromises slide consistency. The optimal slide design minimizes text and adds an informational image while the speaker provides content [16]. On the other hand, “building” a slide by sequentially introducing short text lines is also effective [8]. The later strategy limits words on the screen that could distract the audience. The final recommendation for generating effective slides is derived from design literature regarding “serifs”: small points on the ends of letters that are incorporated into select fonts. Popular fonts including Times New Roman contain serifs, whereas Arial is a “sans serif font.” Sans serif fonts are easier to read, especially in a large lecture hall, and are strongly preferred for slides [16].
배경 슬라이드 색상은 시각적 정보를 전달하는 데 매우 중요합니다. 놀랍게도, 광학 연구는 흰색 배경에 검정색 텍스트("책 스타일")가 가장 큰 시각적 대비를 제공하므로 읽기 쉽다는 것을 확인한다. 그러나 흰색 또는 노란색 텍스트가 있는 어두운 배경의 표준 형식은 읽을 수 있으며 대형 강의실에서도 매우 적합합니다 [8, 17]. 슬라이드 색상이 중요한 경우 파란색 또는 녹색 배경에 빨간색 텍스트와 같은 색상이 충돌하지 않도록 주의하여 산만함을 최소화하고 가독성을 높입니다. 빨간색과 녹색 글꼴의 특정 회피는 모든 청중에서 색맹 남성의 상당한 부분을 존중한다[25]. 어두운 배경을 사용하는 체계와는 대조적으로, 밝은 배경은 동상수축의 원인이 되고 이미지 시각화 및 텍스트 가독성을 모두 손상시킨다. 복잡한 배경보다는 꾸밈이 없는 소박한 배경이 화자에게 집중하도록 한다. 어두운 배경에 겹치거나 외부 테두리가 없는 전체 화면을 채우는 이미지 역시 똑같이 효과적입니다.
Background slide color is critical for conveying visual information. Surprisingly, optics studies confirm that black text on a white background (“book style”) provides the greatest visual contrast and is therefore easiest to read. However, the standard format of a dark background with white or yellow text is readable and is also an excellent choice for large lecture halls [8,17]. If slide color is important, then avoiding clashing colors such as red text on a blue or green background minimizes distraction and enhances readability. Specific avoidance of red and green fonts respects the significant fraction of color-blind men in any audience [25]. In contrast to schemes that use a dark background, a bright background causes pupillary constriction and compromises both image visualization and text readability. Plain, unadorned backgrounds rather than complex ones encourage focus on the speaker. Images superimposed on a dark background or that fill the entire screen with no outside border are equally effective.
포인트 바이 포인트 Point by Point
Bulletpoints는 대부분의 PowerPoint 프레젠테이션에서 어디서나 볼 수 있는 스레드이며 주요 조직 툴입니다. 글머리 기호 점의 부적절한 사용(그림 4a) 및 적절한 사용(그림 4b)도 예시되어 있습니다. 첫 번째 글머리 기호는 설계가 미흡한 글머리 기호로, 각 글머리 기호는 텍스트에 설명된 오류를 표시합니다. 이와는 대조적으로, 대체 슬라이드는 작고 효과적이다. 텍스트 라인이 순차적으로 "구축"되면 청중은 스피커가 텍스트를 연결하는 스토리를 만들 때 무정렬 슬라이드의 각 점에 초점을 맞춘다. 요약하자면, 글머리 기호는 전체 문장이 아니라 평행 문법 구조를 가진 "헤드라인"이다. 구조를 최적화하기 위해 글머리 기호 첫 단어는 대문자로 표시하고 구두점은 사용하지 않습니다. 여러 개의 하위 글머리 기호는 더 작은 글꼴을 요구하며, 종종 읽기가 어렵고 "6 × 6 규칙"을 위반할 수 있다.
Bullet points are a ubiquitous thread in most PowerPoint presentations and a key organizational tool. The improper (Fig.4a) and proper (Fig.4b) use of bullet points is also illustrated. The first shows bullets that are poorly designed, with each one displaying a mistake described in the text. In contrast, the alternative slide is both compact and effective. When text lines are sequentially “built,” the audience focuses on each point in an uncluttered slide as the speaker creates a story that links the text. To summarize, bullets are not full sentences but “headlines” with a parallel grammatical structure. To optimize structure, the first word of the bullet is capitalized and without punctuation. Multiple sub-bullets require smaller fonts, are often hard to read, and can violate the “6 × 6 rule.”
프레젠테이션 오류는 쉽게 분류됩니다. 예를 들어 복잡한 데이터 테이블에는 종종 "이 슬라이드에 대해 사과드립니다"라는 문구가 함께 표시됩니다(그림 5a). 현실에선 진심 어린 사과도 좀처럼 용서받지 못한다. 대신, 더 큰 테이블에서 주요 데이터 포인트를 추상화한 후 간단한 그래프 또는 차트(PowerPoint 툴로 지원)를 생성하는 것이 바람직하다(그림 5b). 데이터 슬라이드는 깔끔하고, 깔끔하며, 장식이 없어야 합니다.
Presentation errors are easily categorized. For example, a complex data table is often accompanied by the phrase “I apologize for this slide” (Fig.5a). In reality, even a sincere apology is rarely forgiven. Instead, abstraction of key data points from the larger table followed by the creation of a simple graph or chart (facilitated by PowerPoint tools) is preferred (Fig.5b). Data slides should be straightforward, uncluttered, and without ornamentation.
효과적인 강의의 중심 목표는 스코틀랜드의 저명한 의학 교육자인 로널드 하든이 "Death by PowerPoint"라는 제목의 자극적인 기사를 통해 잘 표현하고 있다. 그는 연설자 없이 슬라이드가 절대 그 자체로 충분해서는stand alone 안 된다고 주장한다. 만약 그렇다면, 강의가 아니라 그냥 유인물을 배포하는 것이 가장 적절한 교육 형식이다. 화자의 아이디어 소통 능력은 대화의 이상적인 초점이며 정보 전달을 위한 활발한 포럼을 제공한다. 슬라이드는 어떤 의미에서 부수적인 것입니다. 이 사실은 발표자가 슬라이드 프레젠테이션을 제공하는 기술적 실패 중에 우연히 테스트된다. Educational accidents는 청중들이 강연의 가장 중요한 요소이고, 그 다음은 메시지이며, 슬라이드 다음으로 세 번째라는 증거이다[12]. 이야기, 사건, 그리고 은유는 청중들이 내용을 이해하고 행동 변화를 시작하는데 사용된다.
The central goal of an effective lecture is well articulated by Ronald Harden, a noted Scottish medical educator, in a provocative article entitled “Death by PowerPoint.” He argues that slides should never stand alone without the speaker. Otherwise, a handout, not a lecture, is the most appropriate educational format. The speaker’s ability to communicate ideas is an ideal focus of a talk and provides an active forum for conveying information. The slides are, in a sense, incidental. This fact is inadvertently tested during technical failures in which the speaker delivers a presentation sans slides. Educational accidents are evidence that theaudienceis the most important component of the talk, followed by themessage, and only third by the slides [12]. The story, the case, and the metaphor are used by audiences to understand content and initiate behavioral change.
플롯이 펼쳐지다 Plot Unfolds
특정 텍스트와 이미지를 통합하기 전에 그리고 개별 슬라이드를 주문하기 전에 구조를 미리 표시합니다. 스토리보드 형식을 사용하여 프리젠테이션의 개요를 설명할 수 있습니다. 이러한 접근 방식은 주로 잠재적인 취약점 목록을 사용하여 조직하는 데 있어 핵심적인 함정을 방지합니다. 연습 시간이 너무 적은 상황에서 탄환이 낭독되는 것은 연설자에게 아킬레스건이 된다. PowerPoint 편집 기능과 연습을 통해 키워드 및 지원 이미지만 완성된 제품에서 생존할 때까지 프레젠테이션을 점진적으로 잘라낼 수 있습니다. 이와는 대조적으로, 텍스트가 많은 버전은 PowerPoint "스피커에 대한 참고 사항" 또는 청중 유인물로 저장될 수 있다. 처음에는 이 접근 방식은 시간이 많이 걸리는 것처럼 보이지만 연습 시간을 적극적으로 활용하여 텍스트를 연속적으로 잘라내어 화자를 위한 공간을 만든다. "공간"은 화자의 불안감을 조장할 수 있지만, 2013년 이후 파워포인트 버전의 "프레젠터 뷰" 기능은 화자만이 이러한 노트를 볼 수 있게 한다. 이 기능은 화자의 기억을 자극하고, 일련의 "침묵적인" 스피커 프롬프트를 조직적으로 제공하며, 청중을 위해 텍스트와 이미지의 원활한 흐름을 유지한다(그림 6). Plot the structure in advance before incorporating specific text and images and before ordering individual slides. A presentation can be outlined using a storyboard format. This approach avoids a key pitfall of organizing primarily with an attractive list of potential bullet points. Left unembellished, and in the presence of too little practice time, bullet points read aloud become the Achilles’ heel for the speaker. PowerPoint editing capabilities and practicing allow the presentation to be progressively truncated until only keywords and supportive images survive the finished product. In contrast, the text-heavy versions can be saved as PowerPoint “notes to the speaker” or in an audience handout. At first, this approach seems time intensive but it actively utilizes practice time to serially truncate the text, creating space for the speaker. Although “space” might promote speaker anxiety, the “presenter view” function in PowerPoint versions after 2013 allows only the speaker to see these notes. This feature stimulates the speaker’s memory, provides an organized series of “silent” speaker prompts, and maintains a seamless flow of text and images for the audience (Fig.6).
스테이지 존재 및 전달 Stage Presence and Delivery
일단 설계, 조직 및 연습이 끝나면, 딜리버리가 중심이 됩니다. 가능할 때마다 장소, 조명, 화면 및 레이저 포인터, 마이크, 무선 슬라이드 어드밴서를 포함한 동반 장치를 "체크아웃"하면 효과적인 교육을 용이하게 한다. 이러한 선제적 접근 방식은 장소의 놀라움을 최소화하고 컴퓨터와 프로젝션 시스템뿐만 아니라 장치와 스피커 간의 최적의 연결을 보장합니다. 빠른 Projection은 각 슬라이드의 올바른 버전을 보장하고 플랫폼 간 및 소프트웨어 변환이 형식을 몰래 변경하거나 키 이미지를 잘라내지 않았음을 확인합니다. Once designed, organized, and practiced, delivery takes center stage. Whenever feasible, “checking out” the venue, lighting, screen, and accompanying devices including laser pointers, microphones, and wireless slide advancers facilitates effective teaching. This preemptive approach minimizes venue surprises and ensures optimal connection between the computer and projection system as well as between the devices and the speaker. Rapid projection ensures the correct version of each slide and confirms that inter-platform and software conversions have not surreptitiously altered the format or truncated key images.
효과적인 화자는 목소리를 워밍업하고, 텍스트 암기를 하지 않고, 대화 톤을 유지한다. 발표자는 각 슬라이드에 대해 충분히 숙지하여 활력과 자신감을 동시에 가질 수 있어야 합니다. "오래된 친구"같지 않은 슬라이드는 즉시 스피커에 추가 연습이 필요하다는 신호를 보낸다. 특히 주요 사실과 감정적 내용을 담은 초기 스토리는 즉시 청중들의 공감대를 형성하고 프레젠테이션에 대한 관심을 고조시킵니다. An effective speaker privately warms the voice (e.g., by reciting the alphabet aloud) and maintains a conversational tone while studiously avoiding memorizing the text. The presenter should be sufficiently familiar with each slide to be both energetic and confident. A slide that fails to resemble an “old friend” immediately signals to the speaker that additional practice is required. An initial story, especially one with key facts and emotional content, immediately creates audience rapport and spikes interest in the presentation.
웨어러블 마이크는 스피커가 무대를 가로질러 이동할 수 있도록 하고, 청중들의 상호작용을 강화하며, 다른 교육 포럼에서는 재현할 수 없는 진동을 만들어낸다. 많은 연사들, 특히 초보자들에게는 눈을 맞추는 것이 어려울 수 있다. 큰 강의실에서 한 명의 청중에게 시선을 집중함으로써 개인은 더욱 몰입할 수 있을 뿐만 아니라, "목표" 뒤에 있는 약 10-15명의 청취자의 "cone"도 직접 눈을 마주친다[6]. 따라서, 연설자가 강연의 과정에서 특정 구성원을 몇 명만 선택한다면, 청중의 훨씬 더 많은 부분이 "직접" 눈을 마주쳤다고 인지한다. 불안한 연사를 위해 행사장 뒷벽에 눈을 맞추는 것은 사실상 관객들의 눈 맞춤을 재현한다. 유일한 시각적 피벗 포인트로서 시상대를 피하는 것 또한 청중이 스피커를 따라가게 하고 그들을 더 끌어당긴다. A wearable microphone allows the speaker to move across the stage, enhances audience interaction, and creates a vibrancy that cannot be reproduced in other educational forums. For many speakers, especially novices, maintaining eye contact may be daunting. By focusing one’s gaze on a single audience member in a large lecture hall not only does the individual become more engaged, but a “cone” of approximately 10–15 listeners behind the “target” also experience direct eye contact [6]. Thus, if a speaker selects only a few specific members over the course of the talk, a substantially larger fraction of the group perceives “direct” eye contact. For anxious speakers, making eye contact with the venue’s rear wall virtually replicates eye contact for the audience. Avoidance of the podium as the sole visual pivot point also causes the audience to follow the speaker and further engages them.
음성은 화자의 주요 의사소통 도구이다. 프레젠테이션을 외우지 않기로 선택하면 음성 볼륨과 음조가 다양해져 강조점을 더한다. 초보자나 신경질적인 연사들에게, 연단은 "embraced" 또는 leaned upon할 물리적 목발 역할을 할 수 있다. 이러한 육체적 의존은 화자에게 어색한 육체적 관계를 만들고 보통 청중의 참여 수준을 위태롭게 한다. 이와는 대조적으로, 효과적인 스피커는 휴대용 마이크와 무선 핸드헬드 장치로 해방된다. 단상으로부터 해방되는 것이 학습자들에게 강조와 집중을 일으키는 손동작을 촉진한다. Voice is the speaker’s primary communication tool. Electing not to memorize the presentation allows voice volume and pitch to be varied, adding emphasis. For novices or nervous speakers, the podium can serve as a physical crutch to be “embraced” or leaned upon. This physical dependence creates an awkward physical relationship for the speaker and usually jeopardizes the audience’s level of engagement. In contrast, an effective speaker is liberated by a portable microphone and wireless, handheld devices. Podium liberation facilitates hand gestures that create emphasis and focus learners.
평균 성인 학습자는 10분 동안만 집중합니다 [3, 9]. 효과적인 화자는 이러한 현실을 수용하고 처음부터(학습 목표로), 중간(중간 요약으로), 그리고 대화의 결론(최종 요약)에 핵심 포인트를 진술하고 재주장할 기회를 반복적으로 통합한다. 이상적으로, 화자는 청중의 경각심을 피할 수 없는 소강상태를 예측하고 발표 중에 그들의 주의력에 대한 인지적 인식을 유지한다. 전략적으로 배치된 이야기, 사례 및 요약의 조합은 청중을 다시 사로잡습니다. 유머, 이미지, 애니메이션 및 표시된 음성 변화는 청중에게 효과적인 학습의 전제 조건인 경계심을 무의식적으로 자극하고 초점을 촉진하는 변화에 대해 경고한다[9].
The average adult learner concentrates for only 10 min [3,9]. An effective speaker embraces this reality and repeatedly incorporates opportunities to state and re-state key points at the beginning (aslearning goals), at the middle (as interim summaries), and at the talk’s conclusion (final summary). Ideally, the speaker predicts inevitable lulls in audience alertness and maintains cognitive awareness of their attentiveness during the presentation. A combination of strategically placed stories, cases, and summaries recaptures the audience. Humor, images, animation, and marked voice variation also alert the audience to changes that unconsciously stimulate alertness and promote focus, a prerequisite to effective learning [9].
참여 Engagement
전문가 연사조차도 청중을 완전히 참여시키기 위해 확립된 교육 기법을 사용함으로써 이익을 얻는다(그림 7). 가장 간단한 방법은 청중들이 큰 소리로 말하지 않고 집중하고 전념하도록 유도하는 수사적인 질문을 하는 것이다. 효과적인 연사는 의료 청중에게 토론 주제와 유사한 "비슷한 사례를 생각하라"고 요청함으로써 주의를 환기시킨다. 최근에 기술된 "Think-Pair-Share" 기술은 또한 청중의 학습을 증가시키는데 효과적이다 [10, 16]. 연습은 청중들이 1-2분 동안 고려해야 할 질문으로 시작하고, 2-3분 동안 그들의 생각을 공유하기 위해 인접한 청중들에게로 눈을 돌리고, 마지막으로 그룹에게 보고한다[10, 16]. 더 많은 청중에서, 4명에서 6명으로 구성된 그룹("버즈 그룹")은 유사한 교육 기능을 제공한다 [29]. 이 연습은 수동적인 청중들에게 편안한 분위기를 만들어 주고, 그들 스스로 질문에 대답하기 보다는 그룹 소견을 기꺼이 제시해 준다[13]. TurningPoint 또는 PollEverywhere와 같은 청중 응답 시스템(ARS)은 프레젠테이션 내에서 익명 "질문과 답변의 중단점"을 빠르게 생성합니다. 함께, 이러한 적극적인 정신 운동은 청중을 참여시키고, 중요한 입증 기반 사고에 초점을 맞추고, 공유된 의견을 장려하고, 해명을 위한 잠재적인 오해 영역에 대해 화자에게 알려준다. 발표자가 눈에 잘 띄지 않게 되고 대신 발표 투어가 진행되는 동안 전문 가이드가 되면서 청중 교육이 '낙태적'으로 강화된다. Even expert speakers benefit by using established teaching techniques to fully engage the audience (Fig. 7). The simplest way is to ask a rhetorical question that invites the audience to focus and commit without speaking aloud. Effective speakers promote attention by asking medical audiences to “think of a similar case” that parallels the discussion topic. The recently described technique of “Think-Pair-Share” is also effective for increasing audience learning [10, 16]. The exercise begins with a question to be considered for 1–2 min by the audience then turning to an adjacent audience member to share their thoughts for 2–3 min, and finally reporting back to the group [10, 16]. In larger audiences, groups of 4 to 6 individuals (“buzz groups”) serve a similar educational function [29]. This practice creates a comfortable atmosphere for passive audience members and a willingness to present group findings rather than answer a question on their own [13]. An audience response system (ARS) such as TurningPoint or PollEverywhere rapidly creates anonymous “question and answer break points” within the presentation. Together, these active mental exercises engage the audience, provide focus for critical evidenced-based thinking, encourage shared opinions, and inform the speaker about potential areas of misunderstanding(s) for clarification. Audience education is “paradoxically” enhanced as the speaker becomes less visible and instead becomes an expert guide during the presentation tour de force.
줌을 통한 수동적 강의는 (학생들이) 우리의 일반적인 강의보다 훨씬 덜 흥미롭다고 생각하기 때문에, 이러한 대규모 그룹 세션에서 적극적인 학습 방법을 사용하는 것이 훨씬 더 중요하다. 세션 리더는 실제로 Zoom을 사용하여 문제를 해결하거나 사례를 통해 작업할 수 있는 브레이크아웃 룸을 만들 수 있습니다. 소규모 브레이크아웃 강의실(3~4명의 학습자)이 가장 많은 참여로 이어집니다. 대규모 그룹이 있으면 소수의 학습자가 다른 학습자와 함께 대부분의 작업을 수행할 수 있기 때문입니다. 또한, 긴 시간이 더 많은 대화로 이어지고 당면한 문제에 덜 집중하게 되는 경향이 있기 때문에, 브레이크아웃 지속 시간은 3-5분이어야 한다. Passive lecturing via Zoom is considered (by our students) to be even less interesting than our usual lectures, so it is even more important to use active learning methods in these large group sessions. It is actually easy to use the method of think-pair-share with Zoom—the session leader can create breakout rooms in which teams of learners can solve problems or work though cases. We have found that small breakout rooms (3–4 learners) lead to the most participation, as larger groups can lead to a few learners doing much of the work with others simply standing by. In addition, the duration of breakouts should be 3–5 min, as longer times tend to lead to more general conversation and less focus on the problem at hand.
일단 학습자가 큰 그룹에 다시 모이면, 리더는 수업을 계속하기 전에 몇 개의 그룹에 응답을 요청할 수 있습니다. 큰 학급(우리 학교는 160개)에서도 5-7개의 그룹이 각각 1분씩 말하는 것이 효과적입니다. 50분짜리 세션에서 두 개의 브레이크아웃 룸을 갖는 것은 수업 시간의 약 20분을 차지합니다. ARS는 폴링 기능을 통해 줌에 내장되어 있습니다. 세션 리더는 세션 내에서 언제든지 시작할 수 있는 다중 선택 질문을 만들 수 있으며, 총 응답은 참가자가 볼 수 있습니다. 짧은 답변 질문의 경우, 대화 기능이 매우 효과적이지만, 세션 리더의 대화를 모니터할 수 있는 두 번째 사람이 있어야 합니다. 따라서 원격으로 제공되는 대규모 그룹 교육 세션에 활성 학습 요소를 추가하는 것은 어렵지 않다.
Once the learners reconvene in the large group, the leader can ask for a few groups to give their responses before continuing with the class; even in large classes (160 in our school), having 5–7 groups speak for a minute each appears to be effective. Having 2 breakout rooms in a 50-min session occupies about 20 min of class time. An ARS is built into Zoom through its polling function. The session leader can create multiple choice questions that can be launched any time within the session, and the aggregate responses are visible to the participants. For short answer questions, the Chat function is very effective, though it helps to have a second person to monitor the chat for the session leader. Thus, it is not difficult to add active learning elements to a remotely delivered large group teaching session.
결론 Conclusion
강력한 마무리는 효과적인 프레젠테이션에 중요하다. 효과적인 결론은 핵심 메시지를 단순화하고 새로운 사례나 이야기로 다시 진술하거나 강연 내내 지속된 사례 사례를 완성합니다. 효과적인 최종 요약에서, 높은 에너지 수준과 고무적인 "행동 요구"는 청중들이 세션이 끝난 후 그들의 행동을 변화시키기 위해 주요 대화 포인트를 기억하고 사용하도록 격려한다. 첫 번째 프레젠테이션 슬라이드(즉, 제목 슬라이드)도 마지막 슬라이드 역할을 할 수 있으므로, 비난 받을 만한 검은색 "슬라이드 쇼의 끝 - 종료하려면 클릭" 화면을 피할 수 있습니다. [재등장하는 타이틀 슬라이드]에서 연사는 청중에게 감사할 수 있고 청중과 관련된 질문을 즐길 수 있어 교육적 효과를 더욱 높일 수 있다. A strong finish is crucial to an effective presentation. An effective conclusion simplifies and re-states the key message with a new example or story or completes an example case sustained throughout the talk. In an effective parting summary, a high-energy level and an inspiring “call to action” encourage the audience to remember and use key talking points to alter their behaviors after the session has concluded. The first presentation slide (i.e., the title slide) can also serve as the final one, avoiding the reprehensible black “end of slideshow – click to exit” screen. During the re-emergent title slide, the speaker can thank the audience and entertain questions relevant to the audience, further enhancing educational impact.
요약하면 발표자가 아닌 청중이 주요 발표 초점이다. 교육 관련성을 위해서는 목적적합한 청중 타겟팅, 콘텐츠 재량(예: 연재 텍스트 잘라내기), 성인 학습자의 주의력의 주기적 성격의 수용, 유익하고 자극적인 이미지 및 연습한 발표자가 텍스트를 읽기보다 말하도록 유도하는 기술이 필요하다.
In summary, the audience, not speaker, is the primary presentation focus. Educational relevance requires
purposeful audience targeting,
content discretion (i.e., practiced, serial text truncation),
acceptance of the cyclical nature of adult learners’ attentiveness,
informative, evocative images, and
techniques that invite the practiced presenter to speak rather than read text.
Review Med Sci Educ. 2021 Jan 12;1-9. Effective Medical Lecturing: Practice Becomes Theory: A Narrative Review Robert C Lowe 1, Steven C Borkan 1 Affiliations collapse Affiliation 1Department of Medicine, Boston University Medical Center, Evans Biomedical Research Center, 650 Albany St, Room 546, Boston, MA 02118 USA. PMID: 33457070 PMCID: PMC7800837 DOI: 10.1007/s40670-020-01172-z Free PMC article Abstract Effective lecturing stimulates learning, creates a verbal history for our profession, and is a central basis for evaluating academic promotion. Unfortunately, few resources exist in the medical literature to guide the academician toward success as an effective lecturer. Using evidence-based principles, this review fosters adult learning in academic venues by incorporating the latest innovations in educational theory for both online and traditional teaching. The novice or advanced academic teacher will be guided toward critical self-evaluation of current teaching practices and encouraged to replace ineffective methods with ones more likely to be both rewarding and rewarded. By introducing literaturebased learning techniques, emphasizing audience targeting, truncating content to an appropriate level of detail, effectively linking images and text, and accepting the brevity of learners' attentiveness, we show that the audience, not the speaker, is the primary educational focus.
사회적 책무성을 갖춘 의과대학 만들기(AMEE Guide No. 109) (Med Teach, 2016)
Producing a socially accountable medical school: AMEE Guide No. 109 Charles Boelena, David Pearsonb, Arthur Kaufmanc, James Rourked, Robert Woollarde, David C. Marshf and Trevor Gibbsg
도입 Introduction
"21세기는 의료 서비스 제공의 품질, 형평성, 목적적합성 및 효과 개선, 사회적 우선 순위와의 불일치 감소, 보건 전문가의 역할 재정의 및 국민의 건강 상태에 미치는 영향의 증거 제공 등 의과대학에 다양한 과제를 제시한다." (GCSA 2010) “The 21st century presents medical schools with a different set of challenges: improving quality, equity, relevance and effectiveness in health care delivery; reducing the mis-match with societal priorities; redefining roles of health professionals and providing evidence of the impact on people’s health status.”(GCSA2010)
(의학교육에는) 교육, 학습 및 평가 방법론에 변화가 일어났으며, 주로 의학교육 연구와 기초 교육 이론에 대한 비판적 평가에 의해 촉진되었다(Eva 2008; Gibbs et al. 2011). 컨텍스트, 교육 환경 및 학습 공간의 적용 가능성은 모두 "목적에 맞는" 의료 전문가를 양성하기 위한 목적으로, 학습을 위한 새로운 기술과 병행하여 발전하였다(Ross et al. 2014). Changes have occurred in teaching, learning, and assessment methodologies, mainly facilitated by a critical appraisal of medical education research and the underlying theories of education (Eva 2008; Gibbs et al. 2011). The importance of context, the educational environment and the applicability of learning space have developed in parallel with new technologies for learning, all with a purpose of developing a “fit for purpose” healthcare professional (Ross et al. 2014).
20세기에 의학과 그것의 교육 시스템의 발전의 두드러진 특징은 전문화, 기술, 그리고 동반자 자격주의attendant credentialism에 대한 상대적으로 무비판적인 사랑이었다. 이것은 개인에게 [의료]와 [교육]의 실제 전달에 많은 매우 긍정적인 영향을 끼쳤지만, 동시에 두 시스템의 분리를 초래했고, 다른 시스템과의 분리를 가져왔다. 따라서 사회는 매우 유능한 실무자와 교육자를 통해 축복받았지만, 특히 가장 소외된 인구의 건강 요구에 대한 그들의 집단적 영향은 필요한 것보다 훨씬 적었다. 20세기 말까지, 직업교육의 근본적 사상가들 중 한 명은 다음과 같이 말했다: A salient feature of the development of medicine and its educational systems in the twentieth century has been a relatively uncritical love affair with specialization, technology, and attendant credentialism. While this has had many very positive effects on the actual delivery of health care and education to individuals, it has simultaneously led to a fractionation of both systems and their separation one from the other. Society has thus been blessed with highly competent practitioners and educators but their collective impact on the health needs of the populations, most particularly the most marginalized, has been far less than is needed. By the end of the twentieth century Ernest Boyer, one of the seminal thinkers in professional education was led to observe:
"우리 시대의 위기는 기술적 역량이 아니라 사회적, 역사적 관점의 상실과 관련이 있다. 양심과 역량의 비참한 이혼이다."(Boyer 1997)
“The crisis of our time relates not to technical competence, but to a loss of the social and historical perspective, to the disastrous divorce of competence from conscience.” (Boyer 1997)
세계가 건강의 사회적 결정요소를 더 비판적으로 바라보기 시작하면서 매우 가슴 아픈 의문이 생겼다: "사람들의 병을 치료한 뒤, 그들을 병들게 한 곳으로 돌려보내는 것이 무슨 도움이 되는가?" As the world began to look more critically at the social determinants of health there arose a very poignant question: “What good does it do to treat people’s illness and then send them back to the conditions that made them sick?”
사회적 책무에 관한 시책들이 구체화되기 시작한 21세기 초의 맥락이다. 활동은 Francophone 의과대학 이니셔티브와 같은 집단을 통해 필리핀 시골에서 GCSA로 대표되는 진정한 글로벌인 것에 이르기까지 다양한 규모로 일어나고 있었다. This was the context at the dawn of the twenty-first century when initiatives around social accountability began to take shape. Activities were occurring at a range of scales from the very local in rural Philippines through collectives such as the Francophone medical schools initiative to the truly global as represented by the Global Consensus for Social Accountability.
이 모든 것은 [의료계와 학계]가 [다음과 같은 모호하지 않은 의무가 있다는 중심 전제]에 토대를 두고 있다. All were predicated on the central premise that the medical profession and its academic community have an unambiguous obligation:
"…교육, 연구 및 서비스 활동을 지역사회, 지역 및/또는 국가의 우선적인 건강 문제를 해결하기 위해 지시direct합니다."
“…to direct their education, research and service activities towards addressing the priority health concerns of the community, region and/or nation they have the mandate to serve.”
우선적인 건강 문제는 정부, 의료 기관, 보건 전문가 및 대중이 공동으로 확인해야 한다(WHO 1995).
The priority health concerns are to be identified jointly by governments, health care organisations, health professionals and the public,(WHO1995).
GCSA는 높은 자원과 낮은 자원 상황에서 세계의 모든 지역을 끌어들여 기관, 조직 및 인증 시스템이 실제로 이 간단해 보이는 아이디어를 애니메이션화하려고 시도함에 따라 정확히 어떤 영향을 미치는지 보다 세밀하게 이해하게 되었다. 대부분의 국가에서 보건과 교육을 위한 정치 시스템은 도움 없이 서로 거리를 두고 있다는 것이 점점 분명해졌다. Lancet Commission 보고서(Frenk et al. 2010)에 의해 우아하게 요약된 이 분리와 각 시스템 내의 분리는 증가하는 비용 효과, 목적적합성, 품질 영향 또는 건강의 형평성에 의해 일치하지 않는 건강 시스템에 기여했다는 것이 명백하다. 간단히 말해서, 이 시스템은 그들이 추정적으로 복무해야 할 사회에 대해 책임을 지지 않고 있었다. The GCSA drew upon all regions of the world in both high and low resource situations to reach a more refined understanding of what exactly the implications were as institutions, organisations, and systems of accreditation attempted to actually animate this seemingly straight-forward idea. It became increasingly evident that, in most nations, the political systems for health and for education were unhelpfully distanced one from the other. Outlined elegantly by the Lancet Commission report Health Professions for a New Century (Frenk et al. 2010) it is apparent that this separation and the fractionation within each of the systems contributed to health systems whose increasing expense was not matched by an increasing cost effectiveness, relevance, quality impact, or equity in health. In short, the systems were not being held accountable to the societies they putatively served.
더 많은 개인과 조직이 (사회적 목적적합성, 사회적 책임에 대한 사회적 대응성 및 그 너머 사회적 책임에 대한 우리의 현재 활동을 어떻게 변화시킬 것인가를) 노력한 끝에 많은 작업, 증거 및 경험을 얻었다 a great deal of work, evidence, and experience has been gained as increasing numbers of individuals and organisations have wrestled with how to change our current activities towards
social relevance,
social responsiveness to
social responsibility, and beyond that to
social accountability.
이것은 단순히 좋은 의도를 넘어, 여러 부문에 걸쳐서 다음을 위하는 것으로 나아가고자 하는 포부를 수반한다.
필요한 전문인력의 종류를 개념화합니다.
그것을 생산하고
그들이 사회의 건강 요구를 해결하는데 있어 가장 높고 최선의 목적에 익숙해져 있는지 확인한다.
This carries with it the aspiration to move beyond good intentions to working across sectors to
conceptualize the kind of professionals needed,
produce them and
ensure that they are used to their highest and best purpose in addressing the health needs of their societies.
이는 건강 우선순위에 미치는 영향을 [평가할 수 있다]는 것을 의미합니다.
This means being able to assess their impact on health priorities.
사회적 책임 정의 Defining social accountability
지난 20년 동안, 보건 직업 학교 및 기타 의료 교육 제공자의 사회적 책임 개념은 특히 1995년(Boelen & Heck 1995)의 첫 정의 이후 탄력을 받았다. 사회적 책임에 대한 현재의 정의는 이 날부터 인정되며, 현재 다음과 같이 인정된다. Over the last two decades, the concept of social accountability of health professions schools and other healthcare educational providers has gained momentum, notably since its first definition in 1995 (Boelen & Heck 1995). The present day definition of social accountability is accepted from this date and is now recognized as:
"…의과대학이 의무적으로 교육, 연구 및 서비스 활동을 지역사회, 지역 및/또는 국가의 우선적인 건강 요구를 해결하도록 지시해야 합니다. 우선적인 건강 요구 사항은 정부, 의료 기관, 보건 전문가 및 대중이 공동으로 파악해야 합니다." “…the obligation of medical schools to direct their education, research and service activities towards addressing the priority health needs of the community, region, and/or nation they have a mandate to serve. The priority health needs are to be identified jointly by governments, healthcare organisations, health professionals and the public.”
이 정의는 이제 진화하는 문헌에 포함되었고 전 세계의 많은 학교와 기관에 의해 채택되었다. 의과대학의 사회적 책임에 대한 글로벌 컨센서스(GCSA 2010)는 이러한 정의를 재확인하고 나중에 사회적 책임과 대응성의 구체적인 정의를 용어집에 추가하였다.;
사회적 책임이 사회적 인식 범위 내에서 진실되고, 목적적이며, 측정 가능한 활동을 반영한다는 것을 인식하는 것
사회적 책임에서 사회적 책무까지
This definition has now become embedded in the evolving literature and has been adopted by many schools and organisations around the world. The Global Consensus for the Social Accountability of Medical Schools (GCSA 2010) reaffirmed this definition and later added the specific definitions of social responsibility and responsiveness into their terminology;
recognizing that social accountability reflects a true, purposeful, and measureable activity within the spectrum of social awareness;
from social responsibility to social accountability;
Boelen과 동료들은 나중에 이 주제를 명확히 했다(Boelen & Woollard 2011; Boelen et al. 2013). (표 1)
Boelen and colleagues later clarified this topic (Boelen & Woollard 2011; Boelen et al. 2013) (Table 1).
사회적 의무의 이러한 스펙트럼을 구조화함에 있어
In structuring this spectrum of social obligation,
사회적 책임은 "사회의 요구에 대응하는 의무의 인식 상태"로 정의된다.
즉, 지역사회가 헬스케어의 정의에 관여한다는 인식이다. 의료 교육에서 이는 공공 보건 정책과 보건 결정 요인을 설명하는 특정 강의에서 지역사회와 공공 보건 요구에 대한 인식을 높이는 과정에 자주 반영된다.
social responsibilityis defined as:“a state of awareness of duties to respond to society’s needs”– recognition that the community plays a part in defining healthcare. In healthcare education this is frequently reflected in courses that raise awareness of community and public health needs, of specific lectures describing public health policies and health determinants.
사회적 반응성이라는 용어를 갖게 되는데, 이는 다음과 같이 정의된다: 사회의 요구를 다루는 행동의 과정course of action이다.
실용적이거나 교육적인 측면에서 이것은 학생들이 지역사회 내에서 배우고, 학생들이 지역사회에서 시간을 보내고, 관찰하고, 때로는 건강과 관련된 공동체 활동을 수행하는 것으로 보여진다.
social responsiveness, defined as:a course of actions addressing society’s needs.In practical or educational terms, this is seen as students learning within the community, students spending time in the community, observing and sometimes partaking of community activities related to health.
사회적 책무는 이 스펙트럼의 끝에 나타난다.
이러한 행위가 [어떻게 영향을 미치거나 결과로 전환되는지를 측정하는 척도]를 가지고, [특정 조치action가 "졸업생들의 직무, 보건 시스템 성과 및 모집단의 건강 상태"에 가장 큰 영향을 미칠 수 있는 기회]를 갖게끔 하겠다는 [지역사회와의 약속]이다. 따라서 이는 측정 가능한 활동이며, 이것이 사회적 책무에서 가장 중요한 요소이다
Social accountabilitythen emerges at the end of this spectrum as an engagement with communities to ensure that actions have the greatest chance to achieve the desired effects upon graduates’ work, on health system performance and population’s health status together with a measure of how these actions affect or transition into results – it is therefore a measurable activity; a most important element within social accountability.
GCSA 문서는 130개의 유사한 사고 조직과 개별 지도자로 구성된 국제 참조 그룹을 통해 개발된 주요 사업이었다. GCSA는 델파이(Delphi)와 중재(Mediated) 과정을 사용하여 전 세계 모든 지역의 대표가 10개의 행동 영역을 정의했으며, 이를 처리하면 학교가 사회적으로 책임을 질 수 있게 된다. 이 [10가지 행동 영역]은 [사회에 대한 학교의 책임]의 네 가지 특정 요소에서 파생되었으며, 학교의 능력은 다음과 같다.
사회의 현재 및 미래의 건강 요구와 과제에 대응한다.
(건강 요구에 따라) 교육, 연구 및 서비스 우선순위를 재조정한다.
다른 이해당사자와의 거버넌스 및 파트너십 강화
평가와 인증을 사용하여 성과와 영향을 평가한다.
The GCSA document was a major undertaking developed through an international reference group of 130 similarly thinking organisations and individual leaders. The GCSA used a Delphi and mediated process, with representation from all regions of the world, to define 10 action areas, that if processed would enable the schools to become socially accountable. These 10 action areas were derived from four specific components of a school’s responsibility to society, notable the school’s ability to:
respond to current and future health needs and challenges in society;
reorientate their education, research and service priorities accordingly;
strengthen governance and partnerships with other stakeholders;
use evaluation and accreditation to assess their performance and impact.
Boelen and Woollard(2009)의 획기적인 논문은 다음과 같다. The landmark paper by Boelen and Woollard (2009) notes:
… 수월성excellence은 [자기자신의 행동이 사람들의 복지에 변화를 가져오는 것]을 증명하는 교육기관의 것이어야 한다. 이들이 배출하는 졸업생은 시민과 사회의 건강 증진을 위해 바람직한 모든 역량을 갖추어야 할 뿐만 아니라, 전문직업적 실천을 위하여 그 역량을 활용해야 한다. 세계보건기구(WHO)가 제시한 네 가지 원칙은 개인과 집단적 관점에서 사람들이 권리를 갖는 의료의 유형, 즉 질, 형평성, 목적적합성 및 효과성을 가리킨다. 따라서 건강의 사회적, 경제적, 문화적, 환경적 결정요인은 교육기관의 전략적 발전을 이끌어야 한다. … excellence should be reserved for educational institutions which verify that their actions make a difference to people’s well-being. The graduates they produce should not only possess all of the competencies desirable to improve the health of citizens and society, but should also use them in their professional practice. Four principles enunciated by the World Health Organisation refer to the type of health care to which people have a right, from both an individual and a collective standpoint: quality, equity, relevance and effectiveness. Therefore, social, economic, cultural and environmental determinants of health must guide the strategic development of an educational institution.
Boelen과 Woollard는 또한 사회적 책무에는 교육 및 학습 조직이 단순이 아닌 활동의 효과를 입증할 수 있도록, 사회적 책무를 평가하기 위해 CPU 모델을 개발한 기관의 개념화, 생산 활동 및 졸업생의 사용성이 포함되어야 한다고 언급했다.전위를 상술하다
Boelen and Woollard also noted that social accountability should include the institution’s Conceptualization, Production activities, and Usability of graduates, from which they developed the CPU model to assess social accountability, in order that teaching and learning organisations could demonstrate the effects of their activities, rather than simplistically describe a potential.
"완전한 사회적 책무를 지기 위해, 기관은 자신의 '제품'(졸업생, 서비스 모델 또는 연구 결과)이 공공의 이익을 위해 사용되고 있는지에 대한 의문을 제기할 권리를 보장할 필요가 있다."(Boelen & Woollard 2009). “To be fully socially accountable, an institution needs to claim the right to question whether its ‘products’ (graduates, service models or research findings) are being used in the best interest of the public”(Boelen & Woollard2009).
[의과대학의 사회적 책무의 본질]은 [우선적인 건강 요구]를 해결하기 위해 [지역사회/지역/국가]와 관여하고 대응하며 영향을 미치는 것으로 간주할 수 있다. 여기에는 지역사회, 지역 보건 서비스 기관 및 정부를 포함한 주요 이해 관계자들과 협력하여 건강을 개선하고 공정하고 효과적인 의료 서비스를 제공하는 것이 포함됩니다.
The essence of social accountability of medical schools can be considered to be engaging with, responding to and impacting on their community/region/nation to address their priority health needs. This involves working in partnership with key stakeholders including communities, regional health service organisations, and governments towards improving health and providing equitable and effective health care.
왜 우리가 사회적 책임을 져야 하는가? Why do we need to be socially accountable?
사회적 책임의 초점인 사회적 결정요인과 건강 Social determinants and health a focus of social accountability
[안전한 이웃, 생활 가능한 소득, 교육적 성취, 적절한 영양 섭취, 기초 보건 및 사회 서비스에 대한 접근, 그리고 사회적 포함과 같은] 사회적 결정 요소는 국가의 어떤의료 시스템보다 건강에 더 큰 역할을 한다(Marmot 2005).
예를 들어, 미국의 모든 사람들이 중등학교를 졸업한다면, 미국의 모든 흡연자들이 담배를 끊을 때보다 더 많은 생명을 구할 수 있다는 최근의 연구 결과가 나왔다(Krueger et al. 2015).
미국 남서부 뉴멕시코 주의 토착민들은 당뇨병에 대한 최상의 검사와 치료법을 가지고 있지만, 그 질환으로 인한 사망률이 가장 높다.
high quality care가 poor outcome을 막아줄 수는 없습니다. (건강에 약 10%만 기여하는) 의료 시스템에 들어가는 엄청난 자금이 [우리 인구의 질병의 기저에 있는 것을 방치하는 것]을 보충할 수 없다. 그리고 (질병의 기저에는) 사회적 결정요인이 있다.
북미 원주민 인구는 가장 높은 비만율, 낮은 교육적 성취도, 열악한 식생활 및 사회적 소외로 인해 어려움을 겪고 있습니다.
Social determinants such as safe neighborhoods, liveable income, educational attainment, adequate nutrition, access to basic health and social services, and social inclusion play a greater role in health than does any country’s healthcare system (Marmot2005).
For example, a recent study revealed that if all people in the United States graduated from secondary school, more lives would be saved than if all smokers in the country stopped smoking (Krueger et al. 2015).
In New Mexico in the south-western United States, the indigenous population has some of the best screening and treatment for diabetes, but has the highest death rate from that condition.
High quality care cannot protect against poor outcomes. The heavy funding of the healthcare system (which contributes to only about 10% of what makes people healthy) cannot make up for the neglect of what underlies illness in our population—the social determinants,
and the indigenous population in North America among all groups suffers from the highest rates of obesity, low educational attainment, poor diet, and social marginalization.
의료 사업자 및 사회적 책임 Health care providers and social accountability
대부분의 국가에서, [AMC에서 생산한 보건 인력 졸업자의 배경 및 전문성]과 [국가와 지역사회 졸업자가 봉사해야 할 우선적인 보건 인력 요구] 사이에는 상당한 단절이 있다.
가난한 나라에서 부유한 나라로 의사들이 떠나가는 것은 여전히 높은 수준을 유지하고 있다. 그 결과 의사를 "기부"하는 국가에서는 투자 수익이 거의 나지 않는다.
한 국가에 대해 적절하고 지리적으로 분포된 보건 인력을 생산하는 것은 사회 책임의 주요 요소로서, 인구의 진료 접근성 측면뿐만 아니라 지역적으로 접근하기 쉬운 적절한 의료 인력에 의해 생성된 지역사회에 대한 경제적, 사회적 편익 측면에서도 중요하다(Frenk et al. 2010).
In most countries, there is a substantial disconnect between the background and specialties of health workforce graduates produced by our academic centers and the priority health workforce needs of the country and communities graduates are to serve.
Physician migration from poorer to richer countries remains at high levels leaving the “donor” country with little return on their investment.
Producing the appropriate and geographically distributed health workforce for a nation is a major element in social accountability, both in terms of a population’s access to care but also in terms of the economic and social benefits to communities generated by an appropriate, locally accessible health workforce (Frenk et al. 2010).
또한 의료 서비스 제공이 상당한 공공 자원을 소비하는 사실에도 불구하고, 의료 서비스 제공의 사회적 사명에는 거의 관심을 기울이지 않는다. 이유는 많지만, 종종 학교는 [급여가 적지만 더 건강을 촉진하는 외래 환자 및 예방 서비스] 대신에 [비싸고, 높은 강도의 절차 지향적인 입원 서비스]에 집중하도록 incentivize된다. In addition, despite the fact that healthcare provision consumes substantial public resources, little of their attention is devoted to their social mission. Reasons are many, but often schools are incentivized to focus upon expensive, high intensity, procedurally oriented inpatient service instead of upon the lesser paid but more health promoting outpatient and preventive services.
기관이 사회적 임무를 수행하는 데 있어 추가적인 장벽은 학교 자체(부서 간, 대학 간, 미션 간)의 많은 사일로(교육, 임상 관리 및 연구)입니다. 기관의 사회적 책무를 적절히 표현하기 위해, 이러한 임무는 지역사회 건강에서 측정 가능한 개선을 보여주면서 목표가 외부로 향하는 곳에 상호 보완적이고 상호적으로 재강화하는 것mutually re-enforcing이어야 한다.
A further barrier to institutions fulfilling their social mission is the many silos within the school itself—between departments, between colleges and between missions—education, clinical care, and research. To adequately express the institution’s social accountability, these missions must be complementary and mutually re-enforcing where the goal is outward facing, showing a measurable improvement in community health.
아마도 가장 큰 장벽은 [기관들이 행동하도록 동기를 부여받는 전통적인 방식]일 것이다. 예방에 대한 투자는 보상이 좋지 않으며, 1차 진료와 협업 치료를 실천하는 데는 충분한 위신이 없습니다. 사회적 책임의 또 다른 핵심 요소인 사회의 다른 이해당사자 및 부문과의 공동체 참여는 소수의 교수들이 기술을 가지고 있거나 투자를 위해 충분한 시간을 허용하는 느린 과정이다. 직업들은 아마도 가장 자격이 있는 보건 분야에 대해 자율적으로 규제하는 경향이 있다. 따라서 [외부 규제]와 [기관의 책무]와 [우선순위 요구에 관한 지역사회가 창출한 조언과 방향]에 대한 근본적인 불편이 있다. Perhaps the greatest barrier is the traditional manner in which institutions are incentivized to behave. Investment in prevention is poorly rewarded, and practicing primary and collaborative care lacks sufficient prestige. Community engagement with other stakeholders and sectors in society, another key component of social accountability, is a slow process in which few faculty have skills or are allowed sufficient time for investment. Professions tend to be self-regulating with the health sector perhaps the most entitled. So there is an underlying discomfort with external regulation and community-generated advice and direction regarding priority needs and accountability of the institution.
의료 사업자와 사회적 책임의 필요성 사이의 관계는 Rourke(2013)가 제시한 수치로 가장 잘 설명될 수 있다(그림 1).
The relationship between healthcare providers and the need for social accountability may best be described by the figure presented by Rourke (2013) (Figure 1).
변화가 오고 있다. Change is coming
[지역사회 건강 요구를 해결하기 위해 대학, 병원, 미션 및 지역사회 참여의 통합을 위한 학술 기관의 총체적인 약속]은 매우 중요한 요구이며 대두되고 있다(Kaufman et al. 2015). 사회적 책임을 promoting하는 세력이 커지고 있다. 하나는 세계적으로 영향을 미치고 있는 "증거 기반 실천" 운동이다(Sackett et al. 1996). 한 나라의 1인당 지출은 그 인구의 건강과 잘 관계가 없다.
예를 들어, 미국은 1인당 다른 어떤 나라보다도 의료 서비스에 지출하는 나라가 많습니다. 이는 국내총생산의 18%에 해당합니다. 그러나 WHO는 품질에서 37위를 기록하고 있다(데이비스 외 2014). 원인은 많지만 전문의에 비해 1차 진료비 지원 부족, 인구 내 높은 사회경제적 격차, 사회안전망 지원 부족 등이 있다. 새로운 Affordable Care Act("Obamacare")는 이러한 적자를 여러 가지 방법으로 해결합니다(미국 의회 2010).
A total commitment by the academic institution to merge its colleges, hospitals, missions, and community engagement to address community health needs is a critical need and is emerging (Kaufman et al. 2015). Forces promoting social accountability are growing. One is the “evidence-based practice” movement, which is having a global impact (Sackett et al. 1996). The expenditure per person in a country correlates poorly with the health of that population. For example, the United States spends more than any other country per capita on healthcare (double the next highest spender); 18% of the gross domestic product. Yet, the WHO ranks it 37th in quality (Davis et al. 2014). The reasons are many, but include poor funding of primary care compared to specialists, high socioeconomic disparities within the population and poor support for the social safety net. The new Affordable Care Act (“Obamacare”) addresses these deficits in many ways (US Congress 2010).
변화의 또 다른 중요한 힘은 의료 서비스 및 정부 간의 가치, 글로벌 예산 및 "capitation"으로의 이동입니다. 즉, 보험 회사나 제공자 집단은 (서비스 항목별로 '서비스 수수료'를 받거나 비용을 지불하는 대신) 가입자의 건강을 관리하기 위해 정해진 금액을 받는다. 이 시나리오에서는 환자가 응급실에 가거나 예방 가능한 질환으로 입원하거나 과다한 양의 약을 복용할 때마다 진료비나 보험사, 실습단의 지원금을 적게 받는다. 대신, 이 약정에서, 그들은 사람들을 건강하게 하고, 건강의 사회적 결정요인을 검사하고 다루는 것을 수반함으로써 이익을 얻는다. 이것은 사회적 책임에 대한 "business case"의 한 예이다. Another important force for change is the movement among payers of healthcare services and governments toward value, global budgets, and “capitation.” In other words instead of getting a “fee for service” or pay for each item of service, an insurance company or provider group receives a fixed amount of money to manage the health of an enrolled population. Under this scenario, every time a patients goes to the emergency room, becomes hospitalized for a preventable condition or takes an excessive amount of drugs, the payers of care or insurance companies or practice group receives less funding. Instead, in this arrangement, they profit by keeping people healthy and that entails screening for and addressing the social determinants of health. This is an example of the “business case” for social accountability.
Academic institution은 이제 [졸업생들이 사회적 사명을 다하기 위하여] 건강지향적이고 다전문적인 건강관리 환경, 지역사회 현장에서 교육함으로써 [이러한 새로운 현실에 대비]해야 한다. 의사 및 기타 의료 전문가의 사회적 책임 역할을 확대하기 위해, 북미 지역의 점점 더 많은 기관들이 Health Extension agents를 교육, 고용 및 배치하고 있습니다. 개발도상국에서 출발하여 농업 부문(Kaufman et al. 2010)과 지역사회 보건 종사자(Pittman et al. 2015)의 예를 사용하는 이 모델은, [지역사회 참여 교육의 서비스 학습 모델]을 활용한다.
배울 필요가 있는 사람들에게 일선 서비스를 제공하는 것,
문화적, 언어적 능력의 혼합, 그리고
참여자가 속한 지역사회와 더 큰 신뢰를 형성한다(Ellaway et al. 2016).
Academic institutions have now to prepare graduates for this new reality by educating them in health-oriented, multi-professional healthcare settings, and community sites if they are to fulfill their social mission. To expand the role of physicians and other health professionals in being socially accountable, a growing number of institutions in North American are training, hiring, and deploying Health Extension agents. Originating from developing countries and using examples from the agricultural sector (Kaufman et al.2010) and Community Health Workers (Pittman et al.2015), this model utilizes a service learning model of community-engaged education; combining the skills of those
providing a front line service with those needing to learn,
blending cultural and linguistic ability, and
creating a greater trust with the communities served and from which the participants come (Ellaway et al. 2016).
국내외 운동 National and international movements
사회적 책임의 중요성에 대한 인식은 또한 새롭게 부상하고 지지하고 있는 국가 및 지역 운동으로부터 힘을 얻고 있다. 캐나다 의과대학은 국가적으로 일련의 사회적 책임 원칙(Capon et al. 2001)의 지침을 따르고 있다. 북미에서는 학업자원과 지역사회 보건의 우선적 요구를 연계하는 건강확장 운동을 확대하고, 학술기관 간 사회적 사명 성장을 촉진하는 비욘드 플렉스너 운동에 동참하는 학술기관이 늘고 있다. 명시적인 사회적 책임 권한을 가진 보건 전문학교의 국제 연합인 The Training for Health Equity Network는 사회적 책임에 대한 기관의 방향을 평가하기 위한 프레임워크에 협력했다(Larkins et al. 2013). The acknowledgement of the importance of social accountability is also getting a boost from emerging, supportive national, and regional movements. Canadian medical schools nationally are taking guidance from a set of social accountability principles (Cappon et al. 2001). In North America, a growing number of academic institutions are expanding the Health Extension movement to link academic resources with priority community health needs (www.healthextensiontoolkit.or) and a growing number are joining the Beyond Flexner movement which promotes the growth of social mission among the academic institutions (www.beyondflexner.org). An international association of health professional schools with an explicit social accountability mandate, The Training for Health Equity Network, has collaborated on a framework for assessing an institution’s orientation towards social accountability (Larkins et al. 2013).
마지막으로 지역사회 대응형 보건 직업 교육 및 서비스를 위해 헌신하는 가장 오래 생존한 국제 조직 중 하나는 The Network: Towards Unity for Health이다. 1979년 WHO의 지원을 받아 설립된 이 기구는 WHO와의 공식 관계에서 비정부기구(NGO)가 되었다. 그것은 그것의 시작부터 전세계의 학문적 보건 기관들을 국가와 지역사회의 우선적 요구에 연계시키는 프로그램과 전략을 보급해야 하는 중대한 필요성에 대응했다. 사회적 책임 운동은 이 네트워크에서 견고하고 국제적인 파트너를 찾았습니다.
Finally, one of the longest surviving, international organisations devoted to community-responsive health professions education and service is The Network: Towards Unity for Health. Founded in 1979 with support from the WHO, it became a Non-Governmental Organisation (NGO) in its official relations with the WHO. It responded from its inception to the critical need to disseminate programs and strategies that tied academic health institutions from around the world to the priority needs of their nations and communities. The social accountability movement has found a solid, international partner in this Network (www.the-networktufh.org).
사회적 책임을 보건 직업 교육에 어떻게 적용합니까? How is social accountability applied to health professions education?
의과대학에 대한 사회적 의무의 개념은 북미와 캐나다의 의과대학에 대한 Flexner의 주요 보고서에서 이미 인지할 수 있었다. 그는 미래의 의사 준비에서 높은 기준을 채택하는 것을 강력히 옹호했으며, 의사의 기능이 "개인적이고 치료적인 것이 아니라 사회적이고 예방적인 것"이 될 것이라는 큰 희망을 품었다. 그는 의과대학이 '공공 서비스 기업'이 되어야 한다는 상념과 함께 사회적 필요의 개념을 소개했다. 안타깝게도 플렉스너의 보고서의 경우, 그가 의대의 거의 50%를 폐쇄한 결과 많은 학교들이 문을 닫게 되었고, 폐교된 학교들은 실제로는 가난한 사람들을 위한 것이었다. The concept of a social obligation for medical schools was already perceptible in Flexner’s seminal report of North American and Canadian medical schools (Flexner 1910). He was a strong advocate for the adoption of high standards in the preparation of future physicians and held great hopes that the physician’s function would become “social and preventive, rather than individual and curative”. He introduced the concept of social need, with the corollary that a medical school should be “a public service corporation”. Sadly in the case of Flexner’s report, his closure of almost 50% of the medical schools resulted in many schools closing which indeed were catering for the under-served populations.
"사회적"이라는 용어는 다른 문화에서 다른 의미를 가질 수 있다. 예를 들어 서유럽 국가에서는 국가 규제 기구에 의해 보증된 연대를 불러일으킬 수 있는 반면 미국에서는 개인의 권리에 대한 간섭과 자율성에 대한 위협을 암시할 수 있다.본 가이드의 맥락에서 "사회적"은 라틴어 어원을 가리킨다. '소시에우스'란 동맹이란 뜻이다. 사회는 공동의 이익을 위해 헌신하는 개인과 기관들 사이의 완전하고 조정된 상호작용으로 보여진다. 저명한 역사학자 아놀드 토인비는 이렇게 말했다. The term “social” may carry a different meaning in different cultures. In Western European countries, for instance, it may evoke solidarity, warranted by national regulatory bodies, while in the United States it may allude to interference with individual rights and threat to autonomy. In the context of this Guide, “social” refers to its Latin etymology: “socius”, meaning an ally. Society is seen as the complete and coordinated interactions amongst individuals and institutions committed to a common good. The noted historian Arnold Toynbee put it thus:
"사회는 인간 사이의 관계의 총체적 네트워크입니다. 그러므로 사회의 구성 요소는 인간이 아니라 그들 사이의 관계이다. 사회 구조에서 개인은 단지 관계의 네트워크의 foci일 뿐이다……. 눈에 보이고 눈에 띄는 사람들의 집합은 사회가 아니라 군중이다. 군중은 사회와 달리 집결하거나 분산하거나 사진을 찍거나 학살할 수 있다.(토인비 1947년) “Society is the total network of relations between human beings. The components of society are thus not human beings but the relations between them. In a social structure individuals are merely the foci in the network of relationships…….a visible and palpable collection of people is not a society; it is a crowd. A crowd, unlike a society, can be assembled, dispersed, photographed, or massacred.” (Toynbee 1947)
따라서 (의과대학은) 현재와 미래의 건강 요구와 사회의 도전을 탐색하고, 가능한 한 효율적으로 이에 대처하며, 개입이 사회에 가장 큰 영향을 미칠 수 있도록 보장할 의무가 있다. The commitment therefore is to explore current and future health needs and challenges in society, to act on them as efficiently as possible, and to ensure interventions have the highest possible impact on society.
1995년 WHO의 사회적 책임에 대한 정의는
"신체적, 정신적, 사회적 행복의 완전한 상태"로서 건강에 대한 동일한 조직의 정의와 일치하며,
개인 및 집단적으로 사람들의 건강에 긍정적이거나 부정적인 영향을 미칠 수 있는 다양한 직접 및 간접적 원인(즉, 정치, 인구학적, 역학, 환경적, 문화적, 경제적)으로 "건강의 사회적 결정적 요인"의 정의와 일치한다.
The 1995 WHO definition of social accountability (WHO 1995) is consistent with
the same organization’s definition for health as “a complete state of physical, mental and social wellbeing”, and of
“social determinants of health” as a wide spectrum of direct and indirect causes, i.e. political, demographic, epidemiological, environmental, cultural, or economical, that can positively or negatively influence people’s health, both individually and collectively (WHO 1946).
최근 몇 년 동안, 일련의 주요 검토와 보고서들은 [보건전문직 교육기관의 사명]을 '사회의 인구학적, 경제적, 문화적 변화뿐만 아니라 사람들의 건강 요구와 명시적으로 연결]시키라는 권고안을 제시하였다. 이러한 보고서는 영국 일반의학위원회(GMC 2015), 캐나다 의학부 협회(AFC 2010), 랜싯 글로벌 독립 위원회(Frenk et al. 2011), 그리고 의과대학의 사회적 책임에 대한 글로벌 컨센서스(GCSA 2010)에서 나왔다. 이러한 모든 보고서에서 공통적인 주제는 사회적 요구에 맞는 의료 서비스를 제공하는 기술과 욕망을 가진 졸업생 건강 전문가들에게 초점을 맞추는 것이다. 이 보고서는 학교가 주요 이해 관계자들과 협력하여 교육, 연구 및 서비스 제공 분야에서 잠재력을 더 잘 활용하고 보건 분야의 전반적인 성과를 개선하는 데 더 중요한 역할을 할 수 있는 방법을 강조합니다. 그러한 사회적 책무에 대한 접근법이 의대를 [사회 정의를 증진하기 위한 더 넓은 운동] 안에 둘 수 있다는 주장이 제기되었다(Ritz et al. 2014).
In recent years, a series of major reviews and reports presented their recommendations to explicitly link the missions of health professional schools to people’s health needs as well as to demographic, economic, and cultural changes in societies. Such reports emanated from the UK General Medical Council (GMC2015), the Association of Faculties of Medicine of Canada (AFMC2010), the Lancet Global Independent Commission (Frenk et al. 2011) and the Global Consensus for Social Accountability of Medical Schools (GCSA2010). A common theme in all of these reports is the focus on graduating health professionals who have the skills and desire to provide health care that meets societal needs. They highlight ways for schools to partner with key stakeholders to better use their potential in education, research, and service provision and play a more prominent role in improving the overall performance of the health sector. It has been argued that such an approach to social accountability can place medical schools within a broader movement to promote social justice (Ritz et al.2014).
글로벌 컨센서스 문서(GCSA 2010)는 사람들의 건강 상태에 가장 잘 영향을 미치는 의과대학이 기대하는 변화를 탐구한다. 의대를 대상으로 하는 동안, 그것이 권장하는 10가지 전략적 방향은 모든 건강 전문 학교 또는 건강 행위자에게 적용된다(표 2). The Global Consensus document (GCSA2010) explores the transformation expected of a medical school to make the best impact on peoples’ health status. While targeting medical schools, the 10 strategic directions that it recommends are applicable to any health professional school or health actor (Table 2).
표 2. 글로벌 컨센서스 그룹의 10가지 전략적 방향 (GCSA 2010) Table 2. Ten strategic directions of the Global Consensus Group. (GCSA 2010)
1. 사회의 건강 요구 예측 2. 보건 시스템 및 기타 이해관계자와의 협력 3. 의사 및 기타 보건 전문가의 역할 변화에 적응 4. 성과 기반 교육 강화 5. 의과대학의 대응적이고 책임감 있는 거버넌스 구축 6. 교육, 연구, 서비스 제공 기준의 범위 정비 7. 교육, 연구, 서비스 제공의 지속적인 품질 개선 지원 8. 인가를 위한 의무적인 메커니즘의 확립 9. 글로벌 원칙과 컨텍스트 특수성의 균형 조정 10. 사회의 역할 정의
1. Anticipating society’s health needs 2. Partnering with the health system and other stakeholders 3. Adapting to the evolving roles of doctors and other health professionals 4. Fostering outcomes-based education 5. Creating responsive and responsible governance of the medical school 6. Refining the scope of standards for education, research and service delivery 7. Supporting continuous quality improvement in education, research and service delivery 8. Establishing mandated mechanisms for accreditation 9. Balancing global principles with context specificity 10. Defining the role of society
10가지 전략적 방향의 목록은 논리적 순서를 반영한다.
사회적 맥락에 대한 이해, 건강상의 도전과 필요의 확인, 효율적으로 행동할 수 있는 관계의 창출에서 출발 (영역 1과 영역 2).
건강 요구를 해결하기 위해 필요한 보건 인력의 스펙트럼 중,
의사의 예상 역할과 역량이 설명된다(영역 3)
일관된 연구 및 서비스 전략과 함께 의과대학이 구현하기 위해 부르는 교육 전략(영역 4).
국가 당국이 인식해야 할 수준(영역 8)의 높은 우수성(영역 6, 7)을 향하도록 하기 위해서는 표준이 필요하다.
사회적 책임은 보편적 가치(영역 9)이지만, 지역 사회는 궁극적인 성과 평가자(영역 10)가 될 것이다.
The list of the 10 strategic directions reflects this logical sequence,
starting with an understanding of the social context, an identification of health challenges and needs and the creation of relationships to act efficiently (Areas 1 and 2).
Among the spectrum of required health workforce to address health needs,
the anticipated role and competencies of the doctor are described (Area 3)
serving as a guide to the education strategy (Area 4),
which the medical school, along with consistent research and service strategies, is called to implement (Area 5).
Standards are required to steer the institution towards a high level of excellence (Areas 6 and 7),
which national authorities need to recognize (Area 8).
While social accountability is a universal value (Area 9),
local societies will be the ultimate appraisers of achievements (Area 10).
사회적 의무의 구배 Gradients of social obligation
어떤 의과대학이든 사회적 의무를 염두에 두어야 하는 것은 맞지만, 이 의무가 실제로 무엇을 의미하는지에 대한 혼란은 끊이지 않고 있다. 명확한 WHO 정의에도 불구하고(ibid), 사회적 책임은 지역사회가 완전히 참여하는 교육보다는 지역사회 기반 또는 지향적 교육 및 학습에서와 같이 지역사회와의 상호작용에 동화되는 경우가 많다(Ellaway et al. 2016). 또한, 서비스와 연구 활동에 대한 관심이 적은 학교의 교육적 임무에 너무 자주 제한을 받는다. 지난 몇 년 동안 저자들은 사회적 책임, 사회적 대응성, 사회적 책무의 세 가지 구분을 구별해야 하는 사회적 의무의 정의를 확장해 왔다(Boelen & Woollard 2011).
While any medical school is or should be mindful of its social obligation, there has been constant confusion on what this obligation really implies. Despite the clear WHO definition (ibid), social accountability is often assimilated to interaction with the community, as in community-based or orientated teaching and learning rather than education in which the community is fully engaged (Ellaway et al.2016). Also, too often is it restricted to the educational mission of a school, with less attention to service and research activities. Over the last few years, authors have expanded the definition of social obligation to distinguish three gradients: social responsibility, social responsiveness, and social accountability (Boelen & Woollard2011).
[사회적 책임]은 기관이 사회의 우선적인 건강 필요와 과제에 대한 암묵적인 인식을 가지고 있으며, 주로 직감이나 이를 해결하기 위한 자연스러운 성향에 의해 유도되는 상태로 간주된다. 이 경우, 학교는 학교의 우선적인 조치가 무엇이어야 하는지 그리고 교육, 연구, 서비스 프로그램의 결과가 사람들의 건강에 의미 있는 방식으로 영향을 미치는지에 대해 다른 건강 이해 관계자들과 상의할 필요를 느끼지 않을 수 있다.
예를 들어, 의료 커리큘럼은 현장 경험에 대한 노출을 포함하여 건강 결정 요인 및 공중 보건과 관련된 다양한 분야에서 충분한 학습 기회를 제공할 수 있지만, 졸업생이 공정하고 [효율적인 서비스를 제공하도록 설계된 보건 시스템에 최적으로 적합하도록 획득해야 하는 주요 역량]에 기초하지 않는다. 대표적인 예로는 건강의 사회적 결정요인, 공중보건, 건강시스템 등에 대한 강의가 있다.
Social responsibilityis seen as the state by which an institution has an implicit awareness of society’s priority health needs and challenges and is mainly guided by intuition or a natural inclination to address them. In this case, a school may not feel the need to consult other health stakeholders of what the school’s priority actions should be and whether the outputs of its education, research, and service programs affect people’s health in a meaningful way. For instance, a medical curriculum may provide ample learning opportunities in a variety of disciplines related to health determinants and public health, including an exposure to field experiences, but is not built on key competences graduates should acquire to optimally fit into a health system designed to deliver equitable and efficient services. A typical example would be a lecture course on social determinants of health, what is public health, the health system, etc.
[사회적 대응성]은 사실에 대한 비판적 평가에 의한 건강 요구의 명시적 식별과 우선 순위를 의미한다. 이 경우, 학교는 이러한 우선순위 요구를 해결하기 위한 임무와 행동 프로그램을 결정할 수 있고, 명확하게 식별된 결과에 더 의미 있게 자원을 streamline할 수 있다.
예를 들어, 학교는 현재의 보건 시스템과 보건 인력의 장단점을 분석하고 효율적이고 공정한 보건 서비스를 제공하기 위한 전략으로 일차 의료의 강력한 옹호자가 될 수 있다. 따라서 교육 프로그램의 기대 결과는 첫 번째 진료 제공자로서의 실무에 관련된 능력을 보유한 충분한 수의 졸업생의 생산이다.
따라서, 학생들은 지역사회 활동을 관찰하고 참여하기 위해 다양한 시간 및 발전 단계별로 지역사회로 보내진다. 커뮤니티의 규모, 구조 및 맥락에 대한 정의는 각 학교에 따라 다릅니다. 마찬가지로 교육 내용과 예상 학습 성과도 학교마다 다릅니다.
Further along the social obligation spectrum, and at a higher level on the scale is “social responsiveness”, which implies an explicit identification and prioritization of health needs by a critical appraisal of facts. In this case, a school is able to determine its mission and action programs to address those priority needs, and streamline its resources more meaningfully to clearly identified outcomes.
For instance, a school may have analyzed strengths and weaknesses of the current health system and health workforce, and be a strong advocate for primary health care as a strategy to provide efficient and equitable health services. Hence an expected outcome of its educational programs is the production of sufficient number of graduates possessing relevant competences to practice as the first line of care providers.
Hence, students are sent out to the community for varying lengths of time and at different stages of their development to observe and participate in community activities. The definition of the size, structure, and context of the community varies with each school; similarly the educational content and expected learning outcomes varies from school to school.
["사회적 책임"]은 스펙트럼의 마지막 단계인 사다리의 가장 높은 단계로 간주된다. 여기에는 제품, 졸업생, 연구 결과 또는 의료 모델, 의료 시스템의 성능 및 사람들의 건강 상태에 미치는 영향을 최대한 활용할 수 있도록 지역사회 내 주요 이해 관계자들과의 적극적인 참여와 파트너십이 포함됩니다.
예를 들어, 학교는 졸업생이 가장 필요한 분야에서 일하도록 장려하는 전략을 개발할 것이다. 졸업자는 지역사회에서 필요하고 잘 대표되지 않는 전문 분야로 장려된다. 연구는 지역사회에 직접적인 영향을 미치는 문제에 특별히 초점을 맞춘다(Straser et al. 2015). 사회적 책무는 이러한 변화의 영향을 평가하고 측정할 필요성을 내포하고 있다(표 1).
“Social accountability” is seen as the highest step on the ladder, the final stage in the spectrum. It involves active engagement and partnering with key stakeholders, including those within the community, to ensure the best use is made of how its products, be graduates, research findings or health care models, impact upon health systems’ performance and people’s health status.
For instance, the school would develop a strategy whereby graduates are encouraged to work in areas where they are most needed; graduates are encouraged into specialties that are needed and poorly represented in the community; research is specifically orientated towards issues that are directly impacting upon the community (Strasser et al. 2015). Social Accountability, most importantly, also implies a necessity to evaluate and measure the effect of such change (Table 1).
세계 각지의 의과대학에 대한 관찰은 많은 학교가 사회적 책임의 기준을 만족하고 부분적으로는 사회적 대응성을 달성하지 못했으나 사회적 책임의 수준을 달성하지 못한 것을 보여주는 경향이 있다(또는 그러한 성과를 입증하기 위한 연구 전문지식이나 지원을 받지 못한 것일 수 있다). 표 1의 요소 5와 6은 이러한 차이를 특징으로 한다.
Observations of medical schools from various parts of the world tend to show that many schools satisfy the criteria of social responsibility and in part social responsiveness, but have not achieved the level of social accountability (or perhaps have not had the research expertise or support to demonstrate such achievements). Elements 5 and 6 ofTable 1feature those differences.
사회적으로 책임 있는 학교의 경우
평가의 초점은 효율적인 관리가 성공적인 규정 준수와 동등한 범위의 프로세스에 있습니다.
외부 환경에 대한 제한적인 협의와 학계에 의해 본질적으로 설계된 규칙과 함께.
In the case of a socially responsible school,
the focus of evaluation is on process with scope that efficient management equates with successful compliance,
with rules essentially designed by the academic community and with limited consultation of the external environment.
사회적으로 반응하는 학교의 경우
(평가의) 초점은 다른 보건 이해당사자들과 협의하여 확인된 (사회 우선 건강 요구와의 일치에 의해) 증명되는 결과에 있다. 이러한 결과는 다음과 같습니다.
사회가 필요로 하는 보건 전문가의 질과 양,
우선적인 건강 문제를 다루는 연구 의제
사람 중심의 관리를 제공하는 health setting의 모델.
In the case of a socially responsive school,
the focus is on outcome evidenced by congruence with society priority health needs identified in consultation with other health stakeholders.
Those outcomes may be: quality and quantity of health professionals needed by society, a research agenda addressing priority health issues or models of health settings delivering person-centered care.
사회적으로 책임 있는 학교의 경우,
평가의 초점은 사람들의 건강 상태에 미치는 영향에 있다. 이는 학교가 그들의 제품이 궁극적으로 어떻게 사용되는지 추적하기를 열망한다는 것을 의미한다.
졸업생들의 성과,
연구 결과가 어떻게 실천으로 전환되는지,
효율적이고 공정한 의료 서비스가 목표 집단에 제공되는지 여부.
사회적으로 책임 있는 학교는 그 행동의 장기적인 결과에 대한 책임을 받아들인다.
In the case of a socially accountable school,
the focus of evaluation is on the impact on people’s health status, which implies that the school is keen to follow-up how its products are ultimately used: how graduates perform, how research findings are translated into practice, and whether efficient and equitable health services are delivered for a target population. A socially accountable school accepts the responsibility for long-term consequence of its actions.
학교성적을 평가하는 평가자 선택에서도 차이가 두드러진다.
사회적 책임의 경우 지역 학계에 속하거나
사회적 대응의 경우 외부일 수 있다.
두 경우 모두 평가자는 동료인 반면 사회적 책무의 경우 평가자는 다양한 의료 파트너로부터 제공되며, 주로 보건 기관, 보건 직업, 서비스 사용자 및 일반 대중을 대표한다.
Difference is also notable in the choice of assessors in evaluating the school performance. They may belong to the local academic community in case of social responsibility, or be external in case of social responsiveness. In both instances, assessors are peers while in the case of social accountability, assessors are provided from a wider array of health partners, principally representing those the school is committed to serve, i.e. the health organisations, health professions, the users of the service, and the public at large.Box 1demonstrates some examples of variability in defining social accountability.
사회적 책임을 어떻게 평가합니까? How is social accountability assessed?
의과대학의 사회적 책임을 위한 글로벌 컨센서스는 사회적 책임을 지는 학교를 다음과 같은 것으로 묘사했다.
현재와 미래의 보건 요구 및 사회 과제에 대응한다.
이에 따라 교육, 연구 및 서비스 우선 순위를 재조정한다.
거버넌스와 다른 이해관계자와의 파트너십을 강화한다.
평가와 인증을 사용하여 성능과 영향을 평가한다(GCSA 2010).
The Global Consensus for Social Accountability of medical schools has pictured a socially accountable school as one that:
responds to current and future health needs and challenges in society;
reorients its education, research and service priorities accordingly;
strengthens its governance and partnerships with other stakeholders;
uses evaluation and accreditation to assess performance and impact (GCSA2010).
학교가 사회적으로 책임을 지려면 선언된 의도, 프로그램 실행, 결과 및 영향 사이의 일관성을 입증해야 한다.
예를 들어, 학교가 건강 이견을 해소하기 위해 전념할 경우,
그것은 그러한 불균형을 개선할 수 있는 방법으로 봉사하기 위해 적절한 능력을 가진 졸업생들을 준비하기 위한 교육 프로그램을 설계할 것이다.
필요한 경우 지역 당국과 협력하여 일자리 기회를 열거나 창출할 것입니다.
그것은 새로운 졸업생들에게 매력적인 1차 진료와 다른 전문지식을 전달하기 위한 최선의 방법을 개선하기 위해 그것의 연구 능력을 사용할 것이다.
시간 경과에 따른 건강 상태 변화를 평가하고 적절한 의사 결정 수준에서 최종 개선 조치를 제안할 것이다.
For a school to be socially accountable, it needs to demonstrate consistency between declared intentions, program implementation, outcome, and impact.
For instance, if a school is committed to address health disparities,
it will design education programs to prepare graduates with appropriate competences to serve in a way that will improve those disparities,
it will collaborate with local authorities to open or create job opportunities where required,
it will use its research capacity to improve the best ways to deliver primary care and other specialties that are attractive to new graduates,
it will assess health status changes overtime and suggest eventual remedial actions at appropriate decision levels.
사회적 책임 개념은 과학적으로 타당한sound 개념이다. 건강, 건강 시스템, 건강 파트너, 학교 거버넌스, 학교의 행동과 같은 요소들을 명시적으로 정의하고, 이들 요소들 사이의 더 나은 관계가 건강에 더 큰 영향을 줄 수 있다는 증거를 찾기 때문이다.
The social accountability concept is a scientifically sound one as it explicitly defines elements such as: health, health system, health partners, school governance, and school’s actions, and seeks evidence that a better relationship between these elements can make a greater impact on health.
사회적으로 책임 있는 학교는 [사회를 위해 공개적으로 약속한 것을 사회에 보고]해야 한다.
예를 들어, 벤치마크는 의료 학교가 특정 모집단의 건강 우선 순위를 다루기 위해 보건 당국과 어떻게 관계를 형성하는지 탐구할 것이다.
보다 효율적인 보건 서비스를 위해 의료와 공공의 건강을 통합하는 방법을 설계하고, 보건 전문가들 사이에서 보다 효율적인 업무 할당을 제안한다.
가장 필요한 모집단에 대한 졸업생의 공정한 지리적 분포를 보장하고 보편적 보장을 위해 보건 이해 관계자와 협력한다.
A socially accountable school should report back to society what it had publicly engaged to do for society,
e.g. benchmarks will explore how a medical school creates a relationship with health authorities to address health priorities in a given population,
suggests a more efficient allocation of tasks among health professionals, experiments, and designs ways to integrate medicine and public health for more efficient health service,
ensures a fair geographical distribution of graduates for population in greatest need and partners with health stakeholders for universal coverage.
이것은 [동료들]뿐만 아니라, 함께 봉사하고 일하고자 하는 사람들(보건 당국, 보건 전문가, 시민 사회의 대표들(환자 및 고용주))에 의해서도 평가되는 학교의 사회적 책무로 발전할 수 있다. 이러한 대표자들이 유사한 사회적 책임 원칙을 채택한다면 이는 실현 가능할 것이다. This may develop in the future to the social accountability of a school being assessed not only by peers, but also by those it intends to serve and work with, i.e. representatives of health authorities, health professionals, and civil society (patients and employers). This would be feasible if these representatives would adopt similar social accountability principles.
개념화-생산-이용성의 약자인 CPU 모델과 같은 사회적 책임에 대한 평가 도구가 등장하기 시작하고 있다. 우선순위의 건강 요구와 관련된 조치를 계획하고, 그러한 조치를 구현하고, 사회에 예상되는 영향을 초래하는 조치를 보장하기 위해 학교 약속을 탐구하는 일련의 매개 변수로 구성된다(Boelen & Woollard 2009). 상자 2와 3은 CPU 모델이 어떻게 구조화되고 특정 결과에 적용되는지를 보여준다.
Evaluation instruments of social accountability are beginning to emerge, such as the CPU model, an acronym for “Conceptualization-Production-Usability”, made up of a sequence of parameters exploring respectively the school commitments in planning actions relevant to priority health needs, in implementing those actions and in ensuring actions produced the anticipated affects on society (Boelen & Woollard2009).Boxes 2and3demonstrate how the CPU model is structured and applied to specific outcomes.
THEnet(Training for Health Equality Network)은 호주, 캐나다, 남아프리카 및 필리핀의 의과대학 샘플에서 테스트한 CPU 모델과 현장에서 파생된 벤치마크로 [평가 프레임워크]를 설계했다
이러한 각 학교는 이 프레임워크가 건강 결과와 보건 시스템 성과에 긍정적으로 영향을 미치는 학교의 능력에 영향을 미치는 주요 요인을 식별하고, 학생, 직원 및 이해 관계자들 사이에서 문제에 대한 인식을 높이는 데 효과적이라는 것을 발견했다.
그것은 각 학교가 사회적 책임 임무, 비전, 목표를 검토하고 강점, 약점 및 격차를 식별할 수 있게 했다(Larkins et al. 2012).
또한 THEnet은 이러한 벤치마크를 더 잘 달성할 수 있도록 참여 의과대학에 지원과 공유 경험을 제공했다.
The Training for Health Equity Network (THEnet) has designed an evaluation framework with benchmarks derived from the CPU model and field tested in a sample of medical schools in Australia, Canada, South Africa, and The Philippines (The Training for Health Equity Network 2011).
Each of these schools found the framework effective to identify key factors that affect a school’s ability to positively influence health outcomes and health systems performance, also to raise awareness of the issue among students, staff, and stakeholders.
It allowed each school to review their social accountability mission, vision and goals and identify strengths, weaknesses and gaps (Larkins et al. 2012).
THEnet has also offered participating medical schools the support and shared experience to better achieve these benchmarks.
ASPIRE 이니셔티브는 유럽 의료 교육 협회(AMEE) 활동이며, 의학, 치과 및 수의과 학교(AMEE 2012)의 연구와 교육의 우수성을 인정하기 위해 고안되었다. 이 이니셔티브의 한 요소는 사회적 책무이다. The ASPIRE initiative is an Association for Medical Education in Europe (AMEE) activity that was designed to recognize excellence in education as well as research within medical, dental, and veterinary schools (AMEE 2012). One element of the initiative allows schools to demonstrate a level of excellence in social accountability,
의과대학이 사회적 책임을 핵심 가치와 지침 원칙으로서 수용해야 하는 점점 더 강제적인 이유를 더하는 많은 [부수적 편익]이 있으며, 이는 또한 평가 기준에 추가될 수 있다.
비용 증가와 의료 수요 증가로 인해 의료 자원을 최선으로 활용해야 하는 필요성
의료 시스템의 성능 향상을 통해 시민의 건강을 증진시키기 위한 학술적 연구 잠재력의 초점 향상. 개인 진료 및 인구 건강 영향에 초점.
사람들의 건강에 가장 큰 영향을 미치는 실행 행동의 우선순위를 정하고 입증할 필요성(사회적 책임의 증거 기반)
변화하는 인구 통계 및 의료 수요에 대응하기 위한 새로운 역할의 흥분과 보건 인력진 내 과제의 재분배
당국과 공공이 추구하는 기관의 투명성 제고 필요성
모든 보건 시스템은 아이디어, 접근 방식, 증거 및 영향을 지속적으로 진화해야 한다.
There are a number of ancillary benefits that add to an increasingly compelling reason for medical schools to embrace social accountability as a core value and guiding principle, which may also add to the assessment criteria:
the need to make the highest and best use of health resources, due to the rising costs and increased demands of healthcare;
the better focus of academic research potential to improve the health of citizens through better performance of health systems, focused on personal care and coordinated population health impact;
the need to prioritize and demonstrate performed actions that have the greatest impact on people’s health—a feature of the evidence base of social accountability;
the excitement of new roles and reallocation of tasks within the health workforce to respond to changing demographics and health care demands;
the need for greater transparency of performance of institutions as sought by authorities and the public alike;
all health systems require an on-going evolution of ideas, approaches, evidence and impact;
사회적 책임을 지는 학교를 개발하기 위한 실질적인 조언 Practical tips for developing a socially accountable school
현재 위치 점검, 자체 평가 Benchmarking the current position, self-assessment
모든 학교는 사회적 요구에 대응하기 위해 노력하는 자신의 권리를 주장할 수 있다. 사회적으로 책임 있는 학교를 발전시키기 위한 보편적인 전략은 없지만, 가능한 해결책으로 다양한 상황에 맞는 몇 가지 시나리오를 상상할 수 있다.
Every school can claim in its own right it endeavors to respond to societal needs. While there is no universal strategy to develop a socially accountable school, several scenarios could be imagined to fit different situations, with possible solutions:
시나리오 1: 학교는 알지 못합니다.
사회의 우선적인 건강 요구를 충족시키기 위해 학교가 상대적으로 외진 것을 모르고 있는 '아이보리 타워' 상황이다.
개별 학과의 연구업무가 우수하고 업무의 질과 관련성을 확신하며 학교 전체의 사회공헌을 고려하도록 조직되지 않은 것으로 유명하다.
학교에서 옹호자가 되기 위해 헌신하는 한 명 또는 소수의 교수들은 사회적 책임을 중요한 개념으로 인식했다.
수석 교수진 또는 주요 이해 당사자는 (특히 글로벌 야망이 지역 또는 지역 야심을 무색하게 하는) 사회적 책임 개념에 의문을 제기할 수 있다.
우수성은 "최첨단의" 연구 성과와 동일시될 수 있으며, 소수의 지지자들만이 우수성이 사회 전체의 건강 증진에 기여하는 능력에 의해 측정되어야 한다고 주장해야 할 것이다.
Scenario 1: School unaware.
The “ivory tower” situation where the school is unaware of its relative remoteness to fulfill society’s priority health needs. It is noted for excellence in the research work of individual departments, confident of the quality and relevance of its work and is not organized to consider the contribution to society of the whole school. One or a few faculty members who are committed to be advocates in their school have perceived social accountability as an important concept. Senior faculty or key stakeholders may question concepts of social accountability, particularly where global ambitions overshadow regional or local ones. Excellence may be equated with achievement in “cutting-edge” research, the challenge for the few advocates will be to argue that excellence should be measured by the capacity to contribute to health improvement for society as a whole (both local, regional, and global).
시나리오 2: 학교는 의지가 있다, 단...
교수들은 학교가 복무하는 사회에 대한 책임을 인식하고, 사회적 요구를 더 잘 충족시키기 위해 임무와 프로그램을 재조정하겠다는 의지를 표명할 것입니다. 일부 고립된 프로그램은 지역사회 조정과 참여를 포함하여 좋은 실천을 보여줄 것이다.
학교는 필요한 변화를 간절히 원할 수 있지만 자원 부족 및/또는 제한된 외부 및 이해관계자 지원으로 인해 그렇게 할 수 없다.
이 학교는 다른 우선 순위를 요구할 수도 있는 상급 기관의 정치적 의지(&재정적 지원)에 의존할 수도 있다. 사회적 책임을 인정하고 촉진하는 국가 이니셔티브는 학계와 보건계의 저명한 구성원들이 참여하는 환영할 것이다.
Scenario 2: School willing to, if only ………
Faculty of the school will be aware of its responsibilities to the society it serves, and express a willingness to readjust its missions and programs to better meet societal needs. Some isolated programs will demonstrate good practice including community alignment and involvement. School may be keen to make necessary changes but is not be able to do so due to lack of resources and/or limited external and stakeholder support. The school may rely on a political will (& financial backing) from higher authorities, which may demand different priorities. National initiatives to recognize and promote social accountability would be welcome, involving the academic community and prominent members of the health community.
시나리오 3: 학교는 인지하고 있고 기꺼이 하려고 하지만…….
이러한 맥락에서 학교는 어떤 우선순위 조치가 필요한지 알고 있으며 지역사회와 상호작용하는 중요한 경험을 가지고 있다. 교육 프로그램은 졸업생들이 필요한 역량을 습득할 수 있도록 설계되었으며, 연구 의제 및 보건소 네트워크에 대한 서비스 분야에서 건강 결정 요인을 다루겠다는 의지가 있다.
그러나 학교는 [졸업생의 관행, 보건 시스템 관리 스타일 및 모집단 건강 지표의 변화에 미치는 스스로의 영향(또는 영향의 증거)]이 제한적이라는 것을 알고 있다. 학교 지도부는 보다 효율적이고 공정한 의료 제공 시스템에 대한 기여도를 최적화하기 위해 주요 보건 이해 관계자들과 보다 강력한 파트너십을 구축하기로 결정했습니다.
이는 "결국, 우리가 책임져야 할 환자와 인구가 더 높은 수준의 건강을 달성했다는 것을 증명할 수 있을 때에만 우리는 우리의 변혁적인 노력에 성공했다고 말할 수 있을 것이다"라는 학장의 말로 대표된다.
학교는 [건강 결과에 대한 영향의 증거를 얻는데 필요한, 복잡한 연구를 위한 전문 지식과 능력을 제공하는 측면에서] 지원이 필요할 수 있다.
Scenario 3: School aware and willing, but…….
In this context the school is aware of which priority actions are needed and has a significant experience interacting with the community. Educational programs are designed for graduates to acquire required competences and there is commitment to address health determinants in the research agenda and in services to a network of health centers.
However, the school is aware of its limited impact (or evidence of impact) in changing graduates practice, health system management style and population health indicators. The leadership of the school is determined to create a stronger partnership with key health stakeholders to optimize its contribution to a more efficient and equitable health care delivery system.
This is exemplified by the words of their Dean: “Ultimately, we will have succeeded in our transformational efforts only when we can demonstrate that the patients and populations for which we are responsible have achieved a higher level of health”
The school may need support in terms of providing expertise and capacity for the complex research that allows evidence of impact on health outcomes.
시나리오 4: 학교, 의식, 의지, 그리고 궤도에 오른다.
드문 경우이긴 하지만, 이 학교는 동료들에게 인정받고 외부 벤치마킹을 통해 사회적 책임 분야에서 인정받는 리더가 될 것입니다. 그것은 비전과 전략을 지역사회 이해관계자들과 함께 설계하고 통제하며, 전략과 연계된 프로그램과 프로젝트를 가질 것이며, 그것이 봉사하는 모든 인구에서 건강 시스템과 건강 결과에 대한 개선을 보여줄 수 있는 능력을 가질 것이다.
다른 좋은 학교나 팀과 마찬가지로, 그것은 그 영예에 안주하지 않을 것이다. 더 많은 일을 하고 더 높은 목표를 세우고 더 멀리 도달하기 위해서는 강력한 지도 연합과 추진력이 여전히 필요하다.
Scenario 4: School, aware, willing and on track….
In rare cases the School would be a recognized leader in the field of social accountability – recognized by its peers and through external benchmarking. It will have vision and strategy designed and governed with its community stakeholders, it will have programs and projects aligned to strategy and will have the ability to demonstrate an improvement to health systems and health outcomes across all of the population it serves.
Like any good school or team it won’t be resting on its laurels – a strong guiding coalition and driving force is still needed to do more and aim higher and reach further.
문화의 변화, 생각의 변화: 변화를 주도한다. Changing culture, changing minds: leading change
시나리오 1과 2를 택한다면 변화를 전달하고 사회적으로 더 책임감 있는 학교를 세우려는 사람들은 다양한 리더십 기술과 전략이 필요할 것이다. 그들은 학교가 외부적으로 확립된 프레임워크에 반대했던 곳을 벤치마킹하는 것이 좋을 것이다. – 아마도 사회적 책임을 위한 TENet 또는 ASPIRE 프레임워크로부터 시작할 것이다(Ross et al. 2014). 이로부터, 학교의 이전을 시작하기 위한 변화-관리 전략이 필요하다.
학교는 이미 사회적 책임 원칙과 관련된 일을 하고 있는가?
또 뭘 해야 하죠? 무엇이 바뀌어야 합니까?
왜 변화가 이해관계자들에게 유익할까요?
어떻게 변화가 학교가 새로운 자금이나 지원을 유치하는 데 도움이 될까요?
(예: 한 지역의 건강 격차를 줄이기 위한 다른 보건 행위자와의 파트너십, 환자 중심의 관리 및 인구 보건 조치를 통합한 다중 전문 일차 의료 센터 실험, 연구 우선 순위 설정에 대한 지역사회 및 환자 참여, 탄소 발자국에 대한 인식 및 활동의 환경 영향)
If we take Scenarios 1 and 2, those who seek to deliver change and build a more socially accountable school will need a range of leadership skills and strategies. They would do well to benchmark where the school was against external established frameworks – perhaps starting with the THENet or the ASPIRE frameworks for social accountability (Ross et al. 2014). From this, a change-management strategy is needed to start a repositioning of the school:
What is the school already doing pertinent to social accountability principles?
What else should it do? What needs to change?
Why would change be beneficial to stakeholders?
How would change help the school attract new funding or support?
(e.g. partnership with other health actors to reduce health disparity in a territory; experimenting a multi-professional primary health care center integrating patient centered care and population health actions; community and patient involvement in setting research priorities; an awareness of carbon footprint and environmental impact of activity.)
그 결과 변경 대리인 또는 리더는 사회적 책임 행사를 주최하거나 워크숍을 통해 변화를 유발하고 주요 이해관계자를 초청하여 참여 학교로부터 모범 사례와 그것이 가져다 주는 이점을 들을 수 있다.
In turn the change agent or leader might seek to provoke change through hosting a social accountability event, or workshop and invite key stakeholders to hear good practice from participating schools and the advantages it brings.
사회적 책임 원칙을 지키고자 하는 사람들을 위한 세 가지 핵심 전략이 있다.
첫째, 사회적으로 진행 중인 작업의 우수성과 장점을 학교에 보여주십시오.
좋은 홍보,
수상,
연구에 대한 환자/공공의 참여(grant에 필수적인 경우가 많음),
국가 교육 또는 정책(잠재적으로 자금을 확보함)과의 정렬
둘째, 무정부 상태가 아니라 비전과 일치하는 곳에서만 파트너십과 변화를 달성할 수 있기 때문에 (비전을 수립하는 이해 당사자인) 연합을 다시 활성화하고 참여시켜야 합니다. 비전은 기관의 우수성임을 기억하십시오. 학교의 정신을 이끄는 사회적 책임을 포함한 모든 측면에서 우수성을 목표로 합니다.
셋째, 국가적으로나 세계적으로 로비를 합니다. 우리 모두는 국제 및 국가 문화가 우리와 일치할 때 지역적으로, 우리의 기관과 지역사회에서 변화를 성취하는 것이 최선이다. 사회 정의와 사회 변혁을 위한 이 광범위한 운동을 형성하도록 돕습니다.
There are three key strategies for those wishing to uphold the principles of social accountability.
First, to demonstrate excellence and advantage to the Schools from the work going on with and for society –
advantages from good publicity,
prizes,
patient/public involvement in research (often essential for grants),
alignment with national educational, or policy drivers (potentially unlocking funding).
Second, to reinvigorate and involve the guiding coalition – the stakeholders who build the vision – not to be anarchic but because partnership matters and change can only be achieved where vision aligns with visions. Remember the vision is excellence of an institution– aim for that in all facets, including the social accountability driving the ethos of the school.
Third, lobby, both nationally and globally. We all best achieve change locally, in our institutions and communities, when the international and national culture is aligned to ours. Help shape this wider movement for social justice and social transformation.
프로세스, 활동, 커리큘럼 및 기여 변경: 변경 관리 Changing processes, activities, curriculum, and contribution: managing change
학교가 변화의 과정을 따라 더 나아가고 있는 곳에서는 필요성은 모멘텀을 유지하고, 명확한 목표를 세우고, 성공을 축하하고, 안일함을 피하는 것에 관한 것일 수 있다. 교육과정 이니셔티브는 쉬운 승리이고, 지역사회 참여와 진정한 책무를 덜 필요로 할지도 모르지만, 교육과정 이니셔티브는 더 깊고 깊은 변화를 자극하기 위한 좋은 출발점으로 남아 있다.
예를 들어, 학생, 의대 직원, 보건 전문가가 참여하는 혁신적인 커뮤니티 프로젝트 만들기, 커뮤니티 프로젝트에 대한 평가가 학교에서 제시될 때 커뮤니티 대표가 참석하여 교류하도록 초대하는 것이다. 학교는 변화를 가속화하기 위해 그러한 계획들을 어떻게 활용하고 있는가?
Where the School is further along the process of change the need may be more about sustaining momentum, setting clear goals, celebrating successes, and avoiding complacency. Although curriculum initiatives may be easy wins, needing less community involvement, and true accountability, they remain good starting points to stimulate further and deeper changes.
For instance, the creation of innovative community projects involving students, medical school staff, and health professionals from the field; the invitation of community representatives to attend and interact when evaluation of community projects are presented at the school. How does the school capitalize on such initiatives to accelerate change?
학교의 원래 비전과 전략이 더 넓은 지도적 연대guiding coalition를 바탕으로 한 강력한 기반에 바탕을 둔다면 학교가 봉사하는 지역사회에 대한 기여도에 상당한 변화가 일어날 가능성이 더 높다.
학교가 복무하는 지역 사회와의 관계 본질을 바꾸려고 노력하는 과정이 정체되고 있다면, 이 지도 연합의 문화와 헌법을 재검토하고 다시 활성화할 필요가 있을 것이다.
아마도 한가한 날을 위한 시간, 회의, 학교 재집중하기 위한 외부적으로 촉진되는 행사, 목표를 재검토하고 이러한 마지막 단계를 만드는 데 있어 장애물을 다시 한 번 살펴보아야 할 것이다.
빠른 승리는 도움이 될 수 있지만, 혁신적 변화는 강점과 약점, 기회와 제약, 나아가야 할 집단적 결정에 대한 도전적인 대화가 필요합니다.
Significant change in a school’s contribution for and with the community it serves is more likely to happen if the school’s original vision and strategy is based on strong foundations with a wider guiding coalition.
If progress is stalling as a school seeks to change the nature of its relationship with the communities it serves then the culture and constitution of this guiding coalition may need to be revisited and reinvigorated.
Time perhaps for an away day, a conference, an externally facilitated event to refocus the school, re-examine the goal and look again at barriers to making these last steps.
Building the quick wins may help – but transformative change needs challenging conversations on strengths and weaknesses, on opportunities and constraints, collective decisions to move forward.
변화에 대한 장벽 및 저항 Barriers and resistance to change
사회적으로 책임 있는 의대를 개발하는 것이 항상 쉬운 일은 아니다. 학교의 철학과 조직 구조에 상당한 변화가 필요하다. 상대적으로 새로운 개념은 흔히 어려운 작업이다. 사회적 책임은 학교가 통제하려는 열망과 열망을 저해하고 변화에 대한 거부감과 빈번한 거부감으로 맞서는 경우가 많기 때문에 학교는 패러다임을 구현하기 위한 장벽을 의식해야 한다. Developing a socially accountable medical school is not always easy; a relatively new concept, which requires significant change in the schools’ philosophy, and organizational structure, is frequently a daunting task. Schools must be conscious of the barriers to implement the paradigm, since social accountability impinges upon an eagerness and desire of the school to control and is frequently countered by unwillingness and frequent disincentives to change.
마찬가지로, 개업의는 대개 치료를 제공하지만 환자의 사회적 요구를 항상 인식하거나 고려하지 않으며, 다른 보건 전문가에게 업무를 위임하는 것을 꺼린다. 연구자들은 커뮤니티와 관련된 질문을 자주 피하거나 커뮤니티에 이익이 되는 질문을 피한다.왜냐하면 그러한 연구는 종종 낮은 중요도, 발표되기 어렵고, 재정적인 지원을 얻기 어렵고, 그리고 종종 추진 위원회들의 눈에 낮은 위치를 차지하기 때문이다.
Similarly, practicing doctors usually provide care, not always recognizing or taking into account the patients’ social needs or are reluctant to delegate tasks to other health professionals; researchers frequently avoid questions related to the community or which will benefit the community, since the research produced is often seen of low importance, difficult to get published, hard to obtain financial support, and frequently occupies a lowly position in the eyes of the promotion committees.
교수진은 종종 "사회적 책무"와 같은 개념을 진정한 생물 의학이 아닌 "부드러운" 개념으로 폄하하고, 학생들이 그 개념을 진지하게 받아들이도록 하지 않는다. "사회적 책무"의 공간에서 일하면 사람들은 그들이 통제하는 영역인 편안한 영역에서 벗어나 다른 사람들로부터 배우고 신용을 공유해야 하는 영역으로 이동하게 된다. 학교는 다른 방향으로 찢어질 것이다. 지역사회와 협력하고 그 지역사회의 입학 허가를 넓히려는 의지가 진보적인 학교가 원하는 것보다 더 좁게 정의된 우수성을 보상하기 위해 국가 운전자들(그리고 재정적 인센티브)과 충돌할 수 있다. Faculty often denigrates concepts like “social accountability” as “soft”, not true bio-medical science, whilst discouraging students to take the concept seriously. Working in the “social accountability” space moves people out of the comfort zone, a zone they control, into an arena where they have to learn from others and share credit. Schools will be torn in differing directions – a willingness to work with communities and widen access to admissions from that community may clash with national drivers (and financial incentives) to reward excellence as defined more narrowly than the progressive school may wish.
긴장은 실제한다.긴장을 극복하는 첫 번째 방법은 긴장을 인식하고 학교의 의사 결정 기관이 모든 이해 관계자들과 정직한 정보에 입각한 토론을 하도록 하는 것입니다. 보수적 세력이 투명성 제고, 기관의 지배구조 개선, 부족한 자원의 보다 효율적인 사용을 위해 정부, 납세자 및 시민 모두가 환영하는 사회적 책임에 대한 전세계적인 모멘텀의 존재를 깨닫기 시작하면 변화에 대한 저항은 최소화될 수 있다.
The tensions are real – the first way to overcome them is to recognize them and ensure decision-making bodies in the school engage in honest informed debate with all stakeholders. Resistance to change may be minimized if conservative forces begin to realize the existence of a worldwide momentum towards greater social accountability welcome by governments, taxpayers, and citizens alike for greater transparency, better governance of institutions, and more efficient use of scarce resources.
빈번한 과제와 이에 접근하는 방법 Frequent challenges and how to approach them
진정한 사회적 책임에 대한 사회적 의무의 스펙트럼을 따라 진행되기 위해서는 수많은 과제를 해결하고 극복해야 한다. 표 3은 전 세계의 실제 사례에서 가져온 몇 가지 빈번한 도전 사례와 몇 가지 해결책을 제시한다. A host of challenges have to be addressed and overcome to progress along the spectrum of social obligation to true social accountability.Table 3notes some frequent examples of challenges, taken from real examples around the world, and some solutions.
향후 과제 Future challenges
우리는 의과대학이 사회적 책임을 지려면 미래에 환경적으로 책임을 져야 한다고 제안한다. 즉, 두 학교는 불가분의 관계에 있다. We suggest medical schools should in future be environmentally accountable if they are to be socially accountable – the two are inextricably interlinked.
의과대학에 환경적으로 책임질 수 있는 것은 어떤 모습일까요? 그리고 어떻게 측정될 수 있을까요? What would being environmentally accountable look like to a medical school, and how might it be measured?
첫째, 의과대학은 환경적으로 책임져야 한다.
즉, 우리가 사회로서 직면한 지구 환경 문제에 대한 인식과 이것이 미래의 학생과 직원, 그리고 학교에 의해 지역적으로 봉사되는 인구에 어떤 영향을 미칠 것인지에 대한 인식을 보여야 한다.
그러한 책임에는 학교와 학교 활동의 탄소 발자국의 계산과 직원, 학생 및 활동의 다른 환경 영향(예: 물과 자원 사용)에 대한 인식이 포함될 수 있다.
Firstly medical schools should be environmentally responsible;
showing an awareness of the global environmental challenges we face as a society – and recognition of how these will impact on future students and staff, and the populations served locally by the school.
Such responsibility may include a calculation of the carbon footprint of the school and its activities, and recognition about other environmental impact of staff, students, and activities (e.g. water and resource use).
둘째로, 학교는 환경적으로 대응해야 한다:
기후와 다른 자원 사용 측면에서, 지역 환경과 지구 환경에 미치는 영향을 완화하기 위해 필요한 조치들에 대한 인식을 입증해야 한다. 사실상, "지상에서 더 가볍게 여행하는" 방법에 대한 인식을 보여줍니다.
여기에는 물, 원자재, 에너지 절약 정책(건축 및 여행 정책 수정 포함)을 위한 정책과 우선순위가 포함될 수 있으며, 이를 통해 재활용을 줄이고 지속 가능한 개발을 옹호하는 이니셔티브를 장려할 수 있다.
Secondly, schools should be environmentally responsive:
demonstrating an awareness of the steps needed to alleviate their impact on the local and global environment, both in terms of climate and other resource use. In effect, to demonstrate an awareness of how to “tread more lightly on the earth”.
This may include policies and priorities for saving water, raw materials, and energy (including amendments to building and travel policies), to reduce and recycle and to encourage initiatives that champion sustainable development.
셋째, 사회적 책임을 지는 모든 학교는 그러나 환경적으로 책임져야 한다:
인식과 대응성을 입증된 명확한 실천 계획과 연계하고, 학교와 봉사된 지역사회가 환경에 미치는 영향을 줄이고, 피해가 불가피할 경우에는 피해를 완화할 수 있는 방법에 초점을 맞추기 위해 지역 사회와 협력해야 한다.
그러한 활동은 환경적 책임을 지기 위한 접근 방식에서뿐만 아니라 측정 가능한 결과에서도 나타날 수 있다.
Thirdly, any socially accountable school should however be environmentally accountable:
linking the awareness and responsiveness to the challenges highlighted with a proven clear plan of action; working with local communities to focus on how the school and its served communities can reduce its impact on the environment and mitigate damage to it where impact is inevitable.
Such activity may be manifest both in the approach to being environmental accountable but also in measurable outcomes.
[환경적으로 책무성을 갖는 학교]는 환경적 영향을 줄이고 미래 세대를 위해 건강 시스템이 점점 더 지속 가능하게 하기 위해 교육, 연구 및 서비스를 통해 일을 하는 명확하고 효과적인 정책을 가질 것이다. 이는 여행, 운송 및 에너지 사용에 대한 효과적인 정책에서부터 가정 의료에 더 가까운 곳에 대한 연구, 진단, 치료 및 관리에서 원자재 사용을 줄이는 것에 이르기까지 다양할 수 있다. 또한 졸업생들이 자신과 자신의 직업이 환경에 미치는 영향을 이해하게 되어 지역 및 글로벌 생태계에 미치는 영향을 완화할 수 있는 기술을 갖추게 될 것이다. 이를 통해, 의과대학, 그들의 직원들과 졸업생들은 그들이 책임지고 있는 의료서비스가 그들이 봉사하는 지역 사회와 그들이 속한 행성의 장기적인 건강을 증진시킬 수 있도록 도울 수 있다. 환경 책임 학교는 자원을 더 효율적으로 사용하고, 예방에 초점을 맞추고, 폐기물 및 저평가 절차를 피하고, 가능한 경우 저탄소 기술을 선택하고, 환자 자율성을 강화하여 자신의 진료를 관리하는 [지속 가능한 의료 시스템]을 평가하고 촉진할 것이다(Mortimer 2010).
An environmentally accountable school would have clear and effective policies to reduce its environmental impact and work through education, research, and service to ensure health systems are increasingly sustainable for future generations. This may range from effective policies on travel, transport, and energy use to research into closer to home health care, to reduced use of raw materials in diagnostics, therapeutics, and care. It would also have as outcomes graduates who understood the impact of themselves and their profession on the environment, so they are equipped with the skills to mitigate their impact on the local and global ecosystem. Through this, medical schools, their staff and graduates, can help ensure that the health services they are responsible for will promote the long term health of the communities they serve, and the planet they form part of. Environmentally accountable schools will evaluate and promote sustainable healthcare systems which use resources more efficiently, focus on prevention, avoid waste and low value procedures, chooses low-carbon technologies wherever possible and foster patient autonomy to manage their own care (Mortimer 2010).
사회적 책임을 지는 의대의 실제 사례 Practical examples of socially accountable medical schools
좋은 교육실천 공유하기 Sharing good practice in education
교육 및 사회적 책임: 영국 헐 요크 의과대학 Education and social accountability: Hull York Medical School, UK
헐 요크 의과대학은 2003년에 설립되었는데, 이전에 검진받았던 지역의 의료 서비스 제공을 개선하기 위해 설립되었다. HYMS는 이러한 목표를 향한 노력의 공로로, 특히 고품질 초등 및 지역사회 관리를 장려한 데 대한 지원으로 2013년에 ASPIRE – 사회적 책임 상을 수상하였다. Hull York Medical School, situated within the Yorkshire and Humber region of east England, was established in 2003 to help improve health care provision in a previously under doctored area. HYMS was awarded the ASPIRE – Social Accountability Award in 2013 in recognition of its work towards this aim, particularly for its support in promoting high quality primary and community care.
초등돌봄 및 지역사회 기반 학부 교육 Primary care and community based undergraduate education
지역 대학원 교육 및 서비스 제공 지원 Support for postgraduate education and service provision in the region
사회적 책임 및 연구 Social accountability and research
캐나다 뉴펀들랜드 메모리얼 대학교 Memorial University of Newfoundland, Canada
사회적으로 책임이 있는 의과대학은 지역사회와 지역의 우선적인 건강 요구에 영감을 받아 이에 대응하는 연구를 수행한다. 여기에는 생물 의학 발견에서 임상 연구, 인구 건강 연구에 이르기까지 다양한 주제가 포함될 수 있다. 의과대학은 연구 및 지식번역/동원/응용에 대한 의제개발, 제휴, 참여 등 연구에 지역사회를 적극 참여시킨다. 연구는 지역 사회/지역에 유익한 영향을 주는 활동에 우선 순위를 두고 있으며, 여기에는 의료 서비스 및 서비스 인구의 건강에 긍정적인 영향이 포함된다(AMEE 2012). Medical schools that are socially accountable perform research that is inspired by and responds to their community and region’s priority health needs. This may include a range of topics, from biomedical discovery to clinical research to population health research. The medical school actively engages the community in research including developing the agenda, partnering and participating in research and knowledge translation/mobilization/application. The research gives priority to activities that create beneficial effects upon its community/region including a positive impact on the health care for and the health of the population served (AMEE 2012).
사회적 책임 및 서비스 개발 Social accountability and service development
캐나다 북부 온타리오 의과대학 Northern Ontario School of Medicine, Canada
북부 온타리오 의과대학(Northern Ontario School of Medicine, NOSM)은 캐나다에서 가장 최신의 의과대학으로 2002년에 설립되었으며, 사회적 책임에 대한 명시적 권한을 가지고 있다. 지리적으로 방대한(>800,000 평방 킬로미터) 인구와 인구가 희박한(80,000명의 인구) 지역의 인구를 위해, NOSM은 지역사회가 참여하는 의료 교육의 고유한 모델을 개발했다(Straser et al. 2013). 북부 온타리오 주의 건강 결과는 전체적으로 지방 평균 이하이며, 특히 시골과 외딴 지역에 사는 인구의 40%와 원주민과 프랑코폰 인구의 상당한 소수민족에 대해 그러하다. NOSM은 교육 프로그램의 설계와 전달에 능동적인 파트너로서 지역사회를 참여시켰고, 인구의 우선적인 건강 요구에 커리큘럼 내용을 집중시켰으며, 역사적으로 서비스가 부족한 설정과 임상 배치 기회를 구체적으로 조정했다. 포괄적 커뮤니티 사무직은 MD 프로그램의 중요한 종적 측면으로, 의대생들에게 1차 진료 환경에서 고품질 학습을 제공하고 졸업 시 유사한 요구 사항이 높은 시골 환경에서 실습할 수 있도록 준비한다(Straser et al. 2015). 교육학에 대한 비판적 접근 방식은 NOSM의 사회적 책임 의무와 관련이 있기 때문에 교육 활동에 대한 지속적인 평가에 기초하며, 예를 들어 4년 MD 프로그램 전반에 걸쳐 인구 및 공공 보건에 대한 과정을 포함시켰으며, 실제 Northern Ontario community에 설정된 시나리오가 있는 사례 기반 학습이다.건강의 사회적 결정요인에 대한 명시적 논의와 시골, 북부, 원주민, 프랑코폰 출신 학생을 선발하는 입학전형(Ross et al. 2014)이다. The Northern Ontario School of Medicine (NOSM) is the newest medical school in Canada and was established in 2002 with an explicit social accountability mandate. Serving the population of a geographically vast (>800,000 sq. km.) and sparsely populated (population of 800,000) region, NOSM has developed a unique model of distributed community-engaged medical education (Strasser et al. 2013). Health outcomes in Northern Ontario are below the provincial average as a whole and particularly so for the 40% of the population living in rural and remote communities and the significant minority populations of Indigenous and Francophone people. NOSM has engaged communities as active partners in the design and delivery of educational programs, focused the curricular content on the priority health needs of the population and specifically aligned clinical placement opportunities with settings that have been historically under-served. The Comprehensive Community Clerkship is a critical longitudinal aspect of the MD Program that provides medical students with high quality learning within a primary care setting and prepares them to practice in similar high-needs rural settings upon graduation (Strasser et al. 2015). A critical approach to pedagogy underlies continual evaluation of the teaching activities as they relate to the social accountability mandate of NOSM and has led, for example, to the inclusion of a course on Population and Public Health throughout the four-year MD program, case-based learning with scenarios set in real-life Northern Ontario communities, explicit discussion of the social determinants of health and an admissions process that favors selection of students from rural, northern, Indigenous, and Francophone backgrounds (Ross et al. 2014).
결론들 Conclusions
의과대학으로서 사회적 책임으로 나아간다는 것은 의과대학이 보건시스템의 change agent로 바뀐다는 것을 의미한다. 그것은 항상 새로운 건강관리 졸업생과 직접적인 관계를 가진 모든 사람들과의 변화와 긴밀한 협력을 포함한다. 그들 중 많은 사람들은 역사적으로 학교와 어떠한 직접적인 접촉도 한 적이 없었다. 그것은 진정한 지역사회 참여, 효과적인 의사소통에 대한 헌신, 그리고 상호 존중을 포함한다. 우수한 커뮤니티 프로젝트를 개발하고 제공하는 개인에 의해 주도되는 변화는 헤드라인을 장식할 수 있지만, 전략적, 재정적, 관리 등 모든 수준에서 사회적 책임을 포함하려는 학교 전체의 지원 약속에서 비롯된 것이 아니라면 이러한 변화는 여전히 고립되고 피상적인 것으로 남을 것이다.
Moving towards social accountability as a medical school means changing a medical school into a health system change agent. It always involves change and close working with all who have a direct relationship with the new healthcare graduate, many of whom have never historically had any previous direct contact with the school. It involves genuine community involvement, commitment to effective communication, and mutual respect. Whilst change led by individuals in developing and delivering excellent community projects may get headlines, such change will remain isolated and superficial if it does not flow from a supported commitment across the school to embed social accountability at all levels – strategic, financial, and managerial.
사회적 책임은 또한 인증 기관을 포함하여 국가 당국, 정치 및 학계의 지원을 필요로 한다. 힘들기는 하지만, 근본적인 아이디어에는 논란이 없고, 가장 전통적인 학교에 실질적인 이익을 가져다 줄 수 있기 때문에 달성될 수 있다. (연구와 혁신 자금 지원의 해제를 통해, 비록 지역사회와 환자가 기금 모금과 교육 또는 연구 프로젝트에 대한 지원으로 밀접하게 참여하지만).
Social accountability also requires support from national authorities, political, and academic, including accrediting bodies. Whilst tough, this can be achieved, simply because the underlying ideas are not controversial and can bring real benefit to the most traditional school (through unlocking research and innovation funding, though close community and patient engagement with fund raising and support for education or research projects).
Health systems worldwide are confronted with challenges due to increased demand from their citizens, an aging population, a variety of health risks and limited resources. Key health stakeholders, including academic institutions and medical schools, are urged to develop a common vision for a more efficient and equitable health sector. It is in this environment that Boelen and Heck defined the concept of the "Social Accountability of Medical Schools" - a concept that encourages schools to produce not just highly competent professionals, but professionals who are equipped to respond to the changing challenges of healthcare through re-orientation of their education, research and service commitments, and be capable of demonstrating a positive effect upon the communities they serve. Social Accountability calls on the academic institution to demonstrate an impact on the communities served and thus make a contribution for a just and efficient health service, through mutually beneficial partnerships with other healthcare stakeholders. The purpose of this Guide is to explore the concept of Social Accountability, to explain it in more detail through examples and to identify ways to overcome obstacles to its development. Although in the Guide reference is frequently made to medical schools, the concept is equally applicable to all forms of education allied to healthcare.
