CanMEDS 2025에서 반인종주의 (Can Med Educ J. 2023)
Anti-racism in CanMEDS 2025

 

소개
Introduction

캐나다에서 흑인, 원주민, 유색인종은 인종차별과 억압의 빈번한 표적이 되고 있습니다. 캐나다의 흑인은 수 세기에 걸친 원주민 커뮤니티와 최근 몇 세대에 걸쳐 이민 온 커뮤니티(예: 카리브해 또는 아프리카계) 등 다양한 출신 배경을 가지고 있습니다. 이들은 모두 캐나다의 교육, 의료 및 사법 기관에 뿌리를 둔 신념, 태도, 편견, 고정관념, 차별을 강화하는 정책과 관행으로 인해 억압을 경험했다는 공통점을 가지고 있습니다. 원주민들은 다음에 의한 억압을 받아왔습니다.

  • [권력의 불균형, 제도적 장벽, 불평등한 결과]를 확립, 유지, 영속화시킨 [정착민 식민지 정책과 관행의 유산]에서 비롯된 [인종 기반 차별, 부정적인 고정관념, 불의에 의해 억압]
Black, Indigenous, and people of color are frequent targets of racism and oppression in Canada. Black people in Canada have diverse origins–centuries old communities and communities of recent immigration in the last few generations (such as with those of Caribbean or African descent). All share a common experience of oppression by policies and practices rooted in Canadian educational, healthcare, and justice organizations that reinforce beliefs, attitudes, prejudice, stereotyping, and/or discrimination. Indigenous peoples have been oppressed by
  • the race-based discrimination, negative stereotyping, and injustice stemming from the legacy of settler colonial policies and practices that have established, maintained, and perpetuated power imbalances, systemic barriers, and inequitable outcomes.

유색인종은 다양한 역사와 배경을 가진 무수히 많은 집단에 속하며, 비슷한 방식으로 억압받고 있습니다. 또한 인종, 종교, 능력, 성적 지향, 사회경제적 지위, 성별, 성 정체성 등다양한 정체성이 교차하면서 배제와 차별이 더욱 심해집니다.1
People of color span a myriad of groups with diverse histories and backgrounds that are oppressed in similar ways. Additionally, intersecting identities of race, religion, ability, sexual orientation, socioeconomic status, gender and gender identity exacerbate exclusion and discrimination.1

우리 의료기관에서 널리 인정하지는 않지만, 인종차별적 관행과 이데올로기는 서양의학의 근간을 이루고 있으며2,3 계속해서 해를 끼치고 있습니다. 우리 의료계는 아직 이 사실을 의미 있게 직시하지 못하고 있습니다. 의료 서비스 제공자들이 근무하는 환경을 조사해 보면, 직장 내 학대 및 트라우마 경험에서 인종이 다른 의료 서비스 제공자들이 과대 대표되고 있습니다. 놀랍게도 흑인 의사의 70%4와 흑인 간호사의 88%5가 캐나다에서 직장에서 인종 차별을 경험했다고 보고했습니다. 인종이 다른 환자들을 대상으로 데이터를 강력하게 수집한다면 어떤 결과가 나올지 상상만 해도 알 수 있습니다. 의식적이든 무의식적이든 인종적 편견(예: 흑인 환자는 통증을 느끼지 못한다는 믿을 수 없는 믿음6)은 현재 의사 인력의 일부에 남아 있으며 임상 학습 및 업무 환경에 스며들어 안전성을 떨어뜨리고 건강 불평등을 악화시키며 환자의 신뢰를 약화시킬 수 있습니다.7
Although not widely acknowledged by our medical institutions, racist practices and ideologies are foundational underpinnings of Western Medicine2,3 and continue to cause harm. Our profession has yet to confront this truth in a meaningful way. When we examine the environments in which care providers practice, racialized care providers are overrepresented in the experience of workplace-related mistreatment and trauma. An alarming seventy percent (70%) of Black physicians4 and eighty-eight percent (88%) of Black nurses5 report experiences of racism in workplaces in Canada. One can only imagine what the data would show if robustly collected on racialized patients. Racial biases–conscious or unconscious (i.e. the incredulous belief that Black patients do not feel pain6)–persist in aspects of the current day physician workforce and can permeate the clinical learning and work environment, making it less safe, exacerbating health inequities, and eroding patient trust.7

개인적 차원에서 인종적 편견은 인종이 다른 환자 및 동료와의 상호작용에 영향을 미칠 수 있습니다. 인종적 편견이 학습 및 임상 환경에 스며들면 환자 치료가 손상되고 결과가 나빠집니다.8-14 연구자들은 백인에 대한 암묵적 선호를 가진 백인 수련의가 심근경색 혈전용해술을 할 때 흑인 환자가 아닌 백인 환자를 치료할 가능성이 더 높다는 사실을 발견했습니다.8 이 연구는 의사의 무의식적 편견이 임상 의사 결정에서 인종/민족 격차에 기여하고 의료 시술의 사용을 예측할 수 있음을 보여주었습니다. 백인 의사는 전문 분야에 관계없이 백인을 선호하는 암묵적인 선호를 가지고 있으며 때때로 백인이 아닌 환자를 열등하게 대하는 것으로 나타난 한 체계적 문헌고찰에서 보듯이 이러한 편견을 확인하지 않고 방치하면 편견이 지속될 수 있습니다.9
At an individual level, racial bias can affect interactions with racialized patients and colleagues. When racial bias permeates the learning and clinical environment patient care is compromised and outcomes are worse.814 Researchers found that white trainees with an implicit preference for white individuals were more likely to treat white patients, and not Black patients, with thrombolysis for myocardial infarction.8 This study showed that physicians’ unconscious biases may contribute to racial/ ethnic disparities in clinical decision-making and may predict the use of medical procedures. Left unchecked, such bias persists as shown in a systematic review which found white physicians, regardless of specialty, have an implicit preference of favoring white people and will sometimes treat non-white patients in an inferior fashion.9

제도적 차원에서 인종 편견은 적극적인 인종화로 이어질 수 있으며 흑인, 원주민 및 인종 차별 의사와 환자에게 안전하지 않은 업무 및 규제 환경을 조성할 수 있습니다.15 의료 환경에서 원주민 환자는 건강 결과에 영향을 미치는 심각하고 만연한 반원주민 인종 차별을 계속 경험하고 있습니다.10 최근 증거에 따르면 원주민 신분은 백인 환자에 비해 응급실에서 더 높은 중증도 분류 점수를 받을 확률이 낮고,7 흑인, 원주민, 인종차별 환자는 백인 환자보다 치료를 받기 위해 더 오래 기다리며,11 조직적 인종차별은 사망의 원인으로 입증되었습니다.12 요컨대, 인종차별적 치료는 사망을 초래합니다. 
At the systemic level, racial bias can lead to active racialization and create unsafe work and regulatory environments for Black, Indigenous and racialized physicians and patients.15 Indigenous patients in healthcare settings continue to experience significant and pervasive anti-Indigenous racism which has an impact on their health outcomes.10 Recent evidence demonstrates: that First Nations status is associated with lower odds of receiving higher acuity triage scores in the emergency department in comparison to white patients;7 Black, Indigenous and racialized patients wait longer than white patients to receive care;11 and systemic racism is a proven cause of death.12 In short, racist care kills.

캐나다에서 인종차별이 공중보건 비상사태로 선포되었음에도 불구하고16 의료기관과 규제 기관의 전면적이고 조직적이며 체계적인 조치가 부족합니다.17 우리 의료계는 반인종주의자가 되어야 합니다. 2015년에 개정된 CanMEDS 의사 역량 프레임워크18는 의료계가 반인종주의 의료에 필요한 기술을 반영하고, 알리고, 지원할 수 있는 기회를 제공합니다. 이 원고는 의학교육에서 새롭게 떠오르는 반인종주의 개념을 요약하고 이를 2025년 CanMEDS 의사 역량 프레임워크에 통합하기 위한 권장 사항을 제공하는 것을 목표로 합니다.
Despite racism being declared a public health emergency in Canada16 full-scale, coordinated, and systemic action from our medical institutions and regulatory bodies is lacking.17 Our profession needs to become anti-racist. The revision of the 2015 CanMEDS Physician Competency Framework18 provides an opportunity for the medical community to reflect, inform the skills, and support the conditions needed for anti-racist medicine. This manuscript aims to summarize emerging anti-racism concepts in medical education and to provide recommendations for incorporating them into the 2025 CanMEDS Physician Competency Framework.

반인종주의란 무엇이며 의사의 역량에 왜 중요한가?
What is anti-racism and why is it important to physician competency?

반인종주의는 조직적 인종차별을 포함한 인종차별의 존재를 인식하는 데 뿌리를 둔 프로세스, 체계적인 분석 방법, 사전 예방적 행동 방침입니다. 인종적으로 불평등한 결과와 집단 간 권력 불균형식별, 제거, 예방, 완화하고 불평등을 지속시키는 구조를 바꾸기 위해 적극적으로 노력합니다.13 
Anti-racism is a process, a systematic method of analysis, and a proactive course of action rooted in the recognition of the existence of racism, including systemic racism. It actively seeks to identify, remove, prevent, and mitigate racially inequitable outcomes and power imbalances between groups and change the structures that sustain inequities.13

반인종주의는 여러 가지 이유로 의사의 역량에 중요합니다. 

  • 첫째, 위에서 설명한 바와 같이 인종주의는 학습자, 동료, 환자, 지역사회의 건강과 웰빙에 직접적인 영향을 미칩니다.
  • 둘째, 불균등한 건강 결과, 건강 불평등, 심지어 사망에까지 기여하는 것은 인종이 아니라 인종차별입니다.19-21
  • 셋째, 캐나다 인구의 인종 및 민족적 다양성이 증가함에 따라 의료 전문가들이 변화하는 인구 통계의 요구를 충족하기 위해 새로운 성향과 기술을 개발하고 성장할 수 있는 기회와 책임이 생겼습니다.
  • 마지막으로, 의료계 내 인종차별에 맞서기 위해 캐나다의 모든 의사는 의학교육, 수련, 장학, 진료 등 어떤 분야에 종사하든 불편한 진실을 인식하고 받아들여야 합니다. 서양 의학의 토대는 인종차별적 관행과 이념에 기반을 두고 있으며2,3 이는 오늘날에도 지속되어 환자 치료와 인종차별적 동료와의 상호작용에 영향을 미치고 있다는 사실을 인정하고 받아들여야 합니다.

Anti-racism is important to physician competency for several reasons.

  • First, as outlined above, racism directly impacts the health and wellness of our learners, colleagues, patients, and communities.
  • Second, it is racism—and not race—that contributes to disparate health outcomes, health inequities, and even death.1921 
  • Third, the increasing racial and ethnic diversity of the Canadian population provides an opportunity and a responsibility for medical professionals to grow and develop new dispositions and skills to meet the needs of our shifting demographics.
  • Finally, in order to combat racism in medicine, all physicians in Canada –whether they are engaged in medical education, training, scholarship, or practice—must recognize and accept an uncomfortable truth; the foundation of Western medicine is grounded in racist practices and ideologies2,3 which persist today and affect patient care and interactions with racialized colleagues.


우리는 캐나다의 모든 의사가 인종주의가 환자 치료 결과와 흑인, 원주민 또는 유색인종으로 식별되는 의사 동료에게 미치는 영향을 해결하기 위해 반인종주의, 반억압적 진료에 대한 지속적인 역량을 입증해야 한다고 주장합니다.12 이러한 상황의 심각성은 새로운 진료 기준의 설정을 포함하되 이에 국한되지 않는 의료 전문가의 긴급한 조치와 시정 대응을 요구합니다.10 반인종주의 조치를 취하려면 명확한 언어 사용과 인종주의와 억압의 기원에 대한 확실한 개념적 이해, 이를 없애기 위한 대응이 필요하며 표 1은 자세한 용어집을 제시합니다. 표 1에서 의도적으로 누락된 용어는 의료 기관과 조직이 이 분야에서 달성하고자 하는 목표를 정의하기 위해 자주 사용하는 용어인 형평성, 다양성, 포용성입니다. 이러한 용어는 편안하고 열망을 불러일으키지만, 행동 지향적이지 않고 인종적 형평성이 필요한 집단이 앞으로 나아가는 것을 방해하는 문제인 인종차별과 억압을 명시적으로 언급하지 않기 때문에 인종차별의 맥락에서는 도움이 되지 않는다고 판단했습니다.
We argue that all physicians in Canada must demonstrate ongoing competence in anti-racist, anti-oppressive praxis, to address the impact of racism both on patient outcomes and on their physician colleagues who identify as Black, Indigenous, or people of color.12 The gravity of this situation demands urgent action and corrective responses from medical professionals, including but not limited to the setting of new practice standards.10 Anti-racist action requires the use of explicit language and solid conceptual understanding of the origins of racism and oppression, and counteractions to eliminate these; Table 1 provides a detailed glossary. Intentionally absent from Table 1 are terms that are frequently embraced by health care institutions and organizations to define what they aspire to achieve in this area: equity, diversity, and inclusivity. While these terms are comfortable and aspirational, we find them unhelpful within the context of racism because they are not action-oriented, and they do not explicitly name the issues that prevent racialized equity-deserving groups from moving forward: racism and oppression.

Term 용어 정의
Definition
Anti-Black racism 반흑인 인종 차별
교육, 의료, 사법 등 캐나다 기관에 뿌리를 둔 정책 및 관행으로 아프리카, 흑인, 카리브해 출신에 대한 신념, 태도, 편견, 고정관념 및/또는 차별을 반영하고 강화하는 것을 말합니다.24,25

The policies and practices rooted in Canadian institutions, such as education, healthcare, and justice, which mirror and reinforce beliefs, attitudes, prejudice, stereotyping, and/or discrimination towards people of African, Black, and Caribbean descent.
24,25
Anti-Indigenous racism 반원주민 인종 차별
이는 인디언법 및 기숙사 학교 제도와 같은 차별적인 연방 정책에서 분명하게 드러납니다. 또한 각 주의 형사 사법 및 아동 복지 시스템에서 원주민이 과대 대표되고 교육, 복지, 건강에서 불평등한 결과가 나타나는 것에서도 나타납니다. 원주민에 대한 적대감과 폭력 행위의 증가에서 반원주민 인종차별에 대한 개인의 생생한 경험을 확인할 수 있습니다.24

This is evident in discriminatory federal policies such as the Indian Act and the residential school system. It is also manifested in the overrepresentation of Indigenous peoples in provincial criminal justice and child welfare systems, as well as inequitable outcomes in education, well-being, and health. Individual lived-experiences of anti-Indigenous racism can be seen in the rise in acts of hostility and violence directed at Indigenous people.
24
Anti-oppression 반억압
반억압 접근법은 일부 집단에 혜택을 주고 다른 집단을 배제하는 사회 내 권력 불균형을 인식합니다. 이 접근법은 억압, 인종차별 및 기타 형태의 차별이 없는 환경을 조성하기 위한 전략을 개발하고자 합니다. 인종, 혈통, 출신지, 피부색, 출신 민족, 시민권, 신념, 성별(임신 포함), 성적 지향, 성 정체성, 성 표현, 나이, 범죄 기록, 결혼 여부, 가족 상태, 장애 등 눈에 보이거나 보이지 않는 정체성과 다양성의 교차점을 인정하고 다양한 정체성 간의 형평성을 증진하는 것을 목표로 합니다.24

An anti-oppression approach recognizes the power imbalance within society that attributes benefits to some groups and excludes others. This approach seeks to develop strategies to create an environment free from oppression, racism, and other forms of discrimination. It acknowledges the intersections of identity and diversity, both visible and invisible, including race, ancestry, place of origin, colour, ethnic origin, citizenship, creed, sex (including pregnancy), sexual orientation, gender identity, gender expression, age, record of offences, marital status, family status, and disability, and aims to promote equity between the various identities.
24
Anti-racism 반인종주의
반인종주의는 조직적 인종차별을 포함한 인종차별의 존재를 인식하는 데 뿌리를 둔 과정, 체계적인 분석 방법, 적극적인 행동 방침입니다. 반인종주의는 인종적으로 불평등한 결과와 집단 간의 권력 불균형을 식별, 제거, 예방, 완화하고 불평등을 지속시키는 구조를 바꾸기 위해 적극적으로 노력합니다.13

Anti-racism is a process, a systematic method of analysis, and a proactive course of action rooted in the recognition of the existence of racism, including systemic racism. Anti-racism actively seeks to identify, remove, prevent, and mitigate racially inequitable outcomes and power imbalances between groups and change the structures that sustain inequities.
13
Colonialism 식민주의
한 민족이나 권력이 다른 민족이나 지역을 지배하는 관행 또는 정책으로, 종종 식민지를 설립하고 일반적으로 경제적 지배를 목적으로 합니다. 식민지화 과정에서 식민지 지배자는 자국의 종교, 언어, 경제 및 기타 문화적 관행을 강요할 수 있습니다.26 식민주의는 크게 네 가지 유형으로 분류됩니다: 1) 정착민 식민주의, 2) 착취 식민주의, 3) 대리 식민주의, 4) 내부 식민주의.

A practice or policy of control by one people or power over other people or areas, often by establishing colonies and generally with the aim of economic dominance. In the process of colonization, colonizers may impose their religion, language, economics, and other cultural practices.
26 It is broadly classified into four types: 1) settler colonialism, 2) exploitation colonialism, 3) surrogate colonialism, and 4) internal colonialism.
Critical consciousness 비판적 의식 
파울로 프레이리에 의해 대중화된 개념으로, 현실에 개입하여 현실을 변화시키는 능력으로 정의됩니다. "의식 고양"이라고도 하는 이 개념에는 이러한 이해를 통해 깨달은 자신의 삶에서 억압적인 요소에 대항하는 행동이 포함됩니다.27 현대의 공식은 비판적 의식을 세 가지 요소로 나눕니다.

1) 비판적 성찰은 억압과 불평등이 존재하는 역사적, 제도적 방식에 대한 인식입니다.
2) 비판적 동기는 인지된 불평등을 해결하기 위해 인지된 능력 또는 도덕적 헌신입니다.
3) 비판적 행동은 인지된 불평등을 변화시키고, 도전하고, 이의를 제기하기 위한 개인적 또는 집단적 행동에 참여하는 것입니다.28

A concept, popularized by Paulo Freire, defined as the ability to intervene in reality to change it. Also known as “consciousness raising”, it includes taking action against the oppressive elements in one's life that are illuminated by that understanding.
27 Contemporary formulations divide critical consciousness into three components. 

1) Critical reflection is an awareness of both the historical and systemic ways oppression and inequity exist.
2) Critical motivation is the perceived capacity or moral commitment to address perceived inequalities.
3) Critical action is participation in individual or collective action to change, challenge, and contest perceived inequity.
28
Cultural safety 문화적 안전
문화적 안전은 치료를 받는 사람이 결정하는 결과입니다. 문화적 안전은 의료 서비스 제공자가 자신의 문화적 배경과 지배 문화가 소수 문화권에 서비스를 제공할 때 권력 관계의 본질을 성찰하여 내재된 위계를 해체하기 위해 노력할 것을 요구합니다. 서비스 제공자는 다른 집단의 신념과 문화적 관행을 조사하고 이해할 필요 없이 연령, 직업 또는 사회 계층, 인종적 배경, 성별, 성, 종교적 신념, 장애 등에서 자신과 다를 수 있는 사람들의 강점을 인정하고 장려해야 합니다. 문화적 안전을 위해서는 다수 문화권의 제공자가 소수 문화권에 대한 고정관념에 도전해야 합니다. 이는 다양성에 대한 긍정적인 인식을 촉진합니다.29

Cultural safety is an outcome determined by the recipient of care. It requires healthcare providers to reflect on their own cultural background and the nature of power relations in the provision of services to a minority culture by a dominant culture, so that the providers can work to dismantle the inherent hierarchy. Providers do not need to research and understand other groups’ beliefs and cultural practices; rather, they acknowledge and promote the strengths of those who may differ from them in age, occupation or social class, ethnic background, sex, sexuality, gender, religious belief, and disability. Cultural safety requires providers from the majority culture to challenge their own stereotyped views of a minority culture. It promotes positive recognition of diversity.
29
Epistemic racism 인식론적 인종주의
한 인종 집단의 지식을 다른 인종 집단보다 우월한 것으로 간주하는 것을 말하며, 여기에는 어떤 지식이 가치 있는 것으로 간주되는지뿐만 아니라 지식으로 간주되는지에 대한 판단도 포함됩니다.30

Refers to the positioning of the knowledge of one racial group as superior to another, it includes a judgment of not only which knowledge is considered valuable but is considered to be knowledge.
30
Intersectionality 교차성
사람들의 삶이 다중적이고 중첩된 정체성과 사회적 위치에 의해 형성되는 방식을 인정하는 프레임워크로, 이러한 요소들이 결합하여 추가적인 장벽이나 기회를 창출하는 등 해당 개인이나 집단에게 독특하고 뚜렷한 경험을 만들어낼 수 있습니다. 인종화의 맥락에서 이는 인종차별 또는 특권에 대한 사람들의 경험이 인종화된 한 집단 내를 포함하여 개인 또는 집단의 민족성, 원주민 정체성, 식민주의 경험, 종교, 성별, 시민권, 사회경제적 지위 또는 성적 지향과 같은 개인 또는 집단의 중첩된(또는 "교차하는") 사회적 정체성에 따라 다를 수 있고 달라질 수 있음을 인식하는 것을 의미합니다.31

A framework that acknowledges the ways in which people’s lives are shaped by their multiple and overlapping identities and social locations, which, together, can produce a unique and distinct experience for that individual or group, such as by creating additional barriers or opportunities. In the context of racialization, this means recognizing the ways in which people’s experiences of racism or privilege, including within any one racialized group, may differ and vary depending on the individual’s or group’s overlapping (or “intersecting”) social identities, such as ethnicity, Indigenous identification, experiences with colonialism, religion, gender, citizenship, socio-economic status or sexual orientation.
31
Microaggression 미시적 공격
소외된 집단(예: 성소수자, LGBTQ2S+, 장애)의 구성원에 대한 적대적, 경멸적, 부정적 비하 및 모욕미묘하게 그리고 종종 의도적 또는 비의도적으로 표현하는 일상적인 언어적, 행동적 또는 환경적 모욕, 발언 또는 행동으로, 일상적이고 일상적인 인종차별이라고도 합니다.24

Brief and common daily verbal, behavioral, or environmental indignities, comment or action that subtly and often intentionally or unintentionally expresses a hostile, derogatory, or negative slights and insults toward a member of a marginalized group (such as, but not limited to BIPOC, LGBTQ2S+, disability), also referred to as casual and everyday racism.
24
Positionality 지위
사회적 지위와 권력의 차이가 사회에서 정체성과 접근성을 형성하는 방식을 말합니다.32

Refers to the how differences in social position and power shape identities and access in society.
32
Power 권력
편안하고 안전하며 생산적이고 수익성 있는 삶을 사는 데 필요한 것을 얻을 수 있는 기회를 향상시키는 정보, 지식, 인맥, 경험 및 전문성, 자원, 의사 결정과 같은 특권에 대한 접근성.23

Access to privileges such as information, knowledge, connections, experience and expertise, resources, and decision-making that enhance a person’s chances of getting what they need to live a comfortable, safe, productive, and profitable life.
23
Privilege 특권
사회에서 지배적인 집단의 구성원에게 존재하는 불로소득의 권력, 혜택, 이점, 접근권 및 기회. 다른 집단에 비해 한 집단이 갖는 상대적 특권을 의미하기도 합니다. 페기 매킨토시의 글과 도구 '백인 특권'을 참조하세요: 보이지 않는 보따리 풀기"33를 참조하세요.

Unearned power, benefits, advantages, access, and opportunities that exist for members of the dominant group(s) in society. Can also refer to the relative privilege of one group compared to another. See Peggy McIntosh’s article and tool “White Privilege: Unpacking the Invisible Knapsack.”
33
Race 인종
주로 피부색이나 '내재적' 또는 '변하지 않는' 것으로 인식되는 기타 명백한 차이와 같은 신체적 특성(표현형)을 기준으로 사람들을 그룹으로 분류하는 데 사용되는 용어입니다.34 예를 들어, 사회 집단의 문화나 종교는 때때로 변하지 않고 내재적인 것으로 취급될 수 있습니다. 인종 범주는 과학이나 생물학에 근거한 것이 아니라 사회가 만들어낸 차이(즉, "사회적으로 구성된")에 근거하며, 사람들의 삶에 중대한 영향을 미칩니다. 인종 범주는 시간과 장소에 따라 달라질 수 있으며 민족, 문화 또는 종교적 집단과 겹칠 수 있습니다.

A term used to classify people into groups based principally on physical traits (phenotype), such as skin colour or other apparent differences perceived as “inherent” or “unchanging.”
34 For example, a social group’s culture or religion may sometimes be treated as unchanging and inherent. Racial categories are not based on science or biology but on differences that society has created (i.e., “socially constructed”), with significant consequences for people’s lives. Racial categories may vary over time and place, and can overlap with ethnic, cultural, or religious groupings.
Race Correction 인종 보정
'인종 조정', '인종 수정' 또는 '인종 규범화'라고도 합니다. 이러한 해로운 관행은 의료 서비스 제공자가 다른 기준, 즉 "환자의 인종 또는 민족에 따라 결과를 조정하거나 "수정"하는 진단 알고리즘 및 진료 지침을 사용함으로써 발생합니다."10 이러한 관행의 사용은 환자의 치료 및 지원 접근성에 영향을 미칩니다.

Also referred to as “race adjustment”, “race modification” or “race norming”. This harmful practice results from health care providers using different criteria, “diagnostic algorithms and practice guidelines that adjust or “correct” their outputs on the basis of a patient’s race or ethnicity.”
10 The use of this practice has implications for patient’s access to treatment and support.
Self-determination 자기결정권
각 개인이 스스로 선택하고 자신의 삶을 관리할 수 있는 능력을 말합니다. 이는 심리적 건강과 웰빙에 중요한 역할을 하며, 사람들이 자신의 선택과 삶을 통제할 수 있다고 느끼게 하여 참여 동기와 개인의 결과에도 긍정적인 영향을 미칩니다.35
Refers to each person's ability to make choices and manage their own life. It plays an important role in psychological health and well-being, and allows people to feel that they have control over their choices and lives, which positively impacts motivation to engage and even outcomes for individuals.
35
Settler Colonialism 정착민 식민주의
이러한 형태의 식민주의는 종종 종교적, 정치적 또는 경제적 이유로 식민지에 정착민을 대규모로 이주시키는 것을 포함합니다. 이러한 형태의 식민주의는 캐나다, 미국, 호주와 같은 국가의 원주민들이 정착민들이 기존 인구를 대체하면서 경험했습니다. 이러한 형태의 식민주의는 토지와 번영을 차지하기 위한 목적으로 많은 수의 정착민들이 식민지로 이주하는 것을 포함합니다.
This form of colonialism involves the large-scale immigration of settlers to colonies, often motivated by religious, political, or economic reasons. This form of colonialism has been experienced by Indigenous peoples in countries such as Canada, the United States and Australia as settlers supplant prior existing populations. This form of colonialism involves a large number of settlers emigrating to colonies for the expressed purpose of claiming land and prosperity.
Structural competency 구조적 역량
증상, 태도 또는 질병처럼 임상적으로 정의되는 다양한 문제(예: 우울증, 고혈압, 비만, 흡연, 약물 '비순응', 트라우마, 정신병)가 의료 및 음식 배달 시스템, 구역법, 도시 및 농촌 인프라, 의료화, 심지어 질병과 건강의 정의와 같은 문제에 대한 상위 결정의 하류 영향을 식별하는 훈련된 능력입니다.36
The trained ability to discern how a host of issues defined clinically as symptoms, attitudes, or diseases (e.g. depression, hypertension, obesity, smoking, medication “non-compliance”, trauma, psychosis) also represent the downstream implications of upstream decisions about such matters as health care and food delivery systems, zoning laws, urban and rural infrastructures, medicalization, or even the very definitions of illness and health.
36
Structural racism 구조적 인종차별
공공 정책, 제도적 관행, 문화적 표현 및 기타 규범이 인종화된 집단의 불평등을 강화하고 영속화하는 방식으로 작동하는 시스템. 이는 백인의 특권과 '피부색'과 관련된 불이익이 시간이 지남에 따라 지속되고 적응할 수 있도록 허용한 우리 역사와 문화의 차원을 식별합니다. 구조적 인종차별은 소수의 사람이나 기관이 선택한 것이 아니라 우리 모두가 존재하는 사회, 경제, 정치 시스템의 특징입니다.37
A system in which public policies, institutional practices, cultural representations, and other norms work in ways to reinforce and perpetuate racialized group inequity. It identifies dimensions of our history and culture that have allowed white privilege and disadvantages associated with “colour” to endure and adapt over time. Structural racism is not something that a few people or institutions choose to practice; instead, it has been a feature of the social, economic, and political systems in which we all exist.
37
Systemic racism 시스템적 인종차별
일부 인종 집단을 배제, 이동 또는 소외시키거나 가치 있는 혜택과 기회에 접근하는 데 불공정한 장벽을 만드는 조직 문화, 정책, 지침, 관행 또는 절차. 이는 종종 조직 문화, 정책, 지침, 관행, 절차가 중립적으로 보이지만 일부 그룹에 특권을 부여하고 다른 그룹에 불이익을 주는 영향을 미치는 제도적 편견의 결과입니다.19
Organizational culture, policies, directives, practices, or procedures that exclude, displace, or marginalize some racialized groups or create unfair barriers for them to access valuable benefits and opportunities. This is often the result of institutional biases in organizational culture, policies, directives, practices, and procedures that may appear neutral but have the effect of privileging some groups and disadvantaging others.
19
Trauma-informed care 트라우마 정보에 기반한 치료
치유를 지향하는 효과적인 의료 서비스를 제공하기 위해서는 환자의 과거와 현재 생활 상황에 대한 완전한 그림이 이해되어야 한다는 것을 인정하는 치료 접근법입니다. 이러한 접근 방식은 의료기관의 임상 및 조직 수준에서 모두 구현되어야 효과적입니다.22
An approach to care that acknowledges that a complete picture of a patient’s life situation — past and present — must be understood in order to provide effective health care services with a healing orientation. This approach must be implemented at both the clinical and organizational levels of institutions to be effective.
22
Upstander intervention 방관자Upstander 개입
방관자Upstander는 고위험 또는 유해한 결과를 초래할 수 있는 행동을 목격하고 상황을 개선하기 위해 개입을 선택하는 사람입니다. 업스탠더가 개입하는 상황에는 일상적인 피해 행위(예: 길거리 괴롭힘, 따돌림, 차별적 발언, 성차별적 농담) 또는 고위험 상황(예: 신체적 폭력, 성폭행, 관계 폭력으로 이어질 수 있는 상황)이 포함됩니다.38
An upstander is someone who witnesses a behavior that could lead to something high risk or harmful and makes the choice to intervene to make things better. Situations an upstander intervenes in include daily acts of harm (i.e., street harassment, bullying, discriminatory comments, sexist jokes), or high risk situations (i.e., situations that may lead to physical violence, sexual assault, relationship violence).
38

이 원고에서는 반인종주의적 진료와 관련된 주요 개념을 간략히 검토하고 이를 2025 CanMEDS 의사 역량 프레임워크에 통합하기 위한 권장 사항을 제공합니다. 중요한 것은 이전에 발간된 왕립대학 문서에서 원주민을 특별히 돌보는 데 있어 의료 제공자, 학습자 및 교육자를 위한 주요 접근법, 아이디어 및 배경 지식을 설명하고 있으며22, 이 시리즈의 관련 신흥 개념 원고에서는 다른 억압받는 인구와 관련된 형평성, 다양성, 포용성 및 사회 정의를 다루고 있다는 점입니다.23 우리는 또한 프레임워크 자체가 인종차별을 용인할 수 있음을 시사하는 설득력 있는 논평에 독자들의 주의를 환기시킵니다.15 우리는 이 일련의 문서가 2025년 버전의 CanMEDS로 효과적으로 번역되어 미래에 의사들이 환자와 지역사회를 돌보는 데 있어 행동 지향적이고, 반인종차별적이며, 반억압적이고, 구조적 역량을 갖추고, 문화적으로 안전한 진료에 유능하게 참여할 수 있기를 희망합니다. 

Within this manuscript we briefly review key concepts related to anti-racist praxis and provide recommendations for incorporating them in the 2025 CanMEDS Physician Competency Framework. Importantly, a previously published Royal College document describes the key approaches, ideas and background knowledge for health care providers, learners and educators in caring specifically for Indigenous Peoples22 while a related emerging concepts manuscript in this series addresses equity, diversity, inclusion, and social justice as they relate to other oppressed populations.23 We also draw our readers attention to a compelling commentary which suggest that the Framework, itself, may be permissive of racism.15 We are hopeful that this suite of documents will be effectively translated into the 2025 version of CanMEDS to ensure that — in the future – physicians are able to competently engage in action-oriented, anti-racist and anti-oppressive, structurally competent, and culturally safe praxis in the care of our patients and our communities.

2015 CanMEDS 역량 프레임워크에서 반인종주의는 어떻게 표현되어 있나요?
How is anti-racism represented in the 2015 CanMEDS competency framework?

2015 CanMEDS 의사 역량 프레임워크(표 2A)에는 반인종주의에 대한 명시적인 언급은 없지만, 관련 개념을 다루는 커뮤니케이터, 학자, 건강 옹호자 및 전문가 역량이 있습니다. 가장 근접한 역량인 커뮤니케이터 4.1은 환자와의 문화적으로 안전한 의사소통을 요구합니다(표 2B). CanMEDS에 반인종주의 역량이 없으면 인종이 다른 의료진의 부정적인 경험과 인종이 다른 환자의 예후 악화에 기여할 수 있습니다. 학자들은 인종차별과 관련하여 전문직건강 옹호자 역할 사이의 긴장을 강조하며, 전문직이 인종 형평성과 사회 정의를 옹호하는 인종 차별적 의사에 대해 무기로 사용된다고 지적했습니다.39 따라서 프레임워크 자체가 인종차별을 영속화할 수 있다는 설득력 있는 주장이 제기될 수 있습니다.15
While there are no explicit references to anti-racism within the 2015 CanMEDS Physician Competency Framework (Table 2A), there are Communicator, Scholar, Health Advocate, and Professional competencies that touch on related concepts. The closest enabling competency, Communicator 4.1, calls for culturally safe communication with patients (Table 2B). The absence of anti-racist competencies in CanMEDS may contribute to the negative experiences of racialized health care providers and the worsened outcomes of racialized patients. Scholars have highlighted a tension between the Professional and Health Advocate roles when it comes to racism, with professionalism being weaponized against racialized physicians who are advocating for racial equity and social justice.39 Thus a compelling argument can be made that the Framework may itself perpetuate racism.15

 

 

 

2025 CanMEDS 역량 프레임워크 내에서 인종 차별을 어떻게 표현할 수 있을까요?
How can anti-racism be represented within the 2025 CanMEDS competency framework?

인종주의는 의료 시스템과 더 넓은 사회의 문화와 구조 속에 존재하기 때문에 의료 및 의학교육 시스템 내에서 인종주의를 해결하는 것은 많은 과제를 안고 있습니다. 인종차별을 해결하기 위한 효과적인 접근법으로 조직 전체에 반인종주의적 접근 방식을 도입할 것을 제안합니다. 반인종주의적 접근법은 개인이 비판의식, 문화적, 심리적 안전, 트라우마 정보에 기반한 치료, 업스탠더 개입의 개념을 적절히 활용하여 학습 환경과 임상 치료 환경 모두에서 안전과 소속감의 문화를 조성하는 데 지식과 기술을 갖추고 있을 때 가능합니다.
Since racism exists within the culture and fabric of the health care system and broader society, addressing racism within the healthcare and medical education systems presents many challenges. We propose the incorporation of an anti-racist approach throughout the fabric of our organizations as an effective approach to addressing racism. An anti-racist approach is enabled when individuals are knowledgeable and skilled in appropriately utilizing concepts of critical consciousness, cultural and psychological safety, trauma-informed care, and upstander intervention to create a culture of safety and belonging both within the learning environment and the clinical care environment.

우리는 반인종주의가 의사의 모든 역량을 가로지르고 있으며, 기존의 CanMEDS 역량 프레임워크는 반인종주의, 반억압적 진료와 관련된 의사에 대한 기대치를 명시적으로 명시하여 발전할 필요가 있다고 믿습니다. 우리는 19개의 수정 사항과 24개의 추가 사항을 요구하며, 이를 통해 반인종주의가 CanMEDS의 각 역할에서 중요한 구성 요소가 될 수 있도록 할 것입니다. 이러한 역량과 표 2에 설명된 다른 역량들은 21세기 의사가 건강 형평성을 증진하고 보다 다양하고 포용적인 환경을 적극적으로 지원하는 데 필요한 역량입니다. 
We believe anti-racism is a cross-cutting physician competency, and that the existing CanMEDS competency framework requires evolution with explicit statements for expectations of physicians related to anti-racist, anti-oppressive praxis. We call for nineteen modifications and twenty-four additions that would make anti-racism a prominent component within each of the CanMEDS roles. These competencies, and others described in Table 2, are required for the 21st century physician to promote health equity and actively support more diverse and inclusive environments.

이러한 새로운 역량을 캔메드에 통합하는 것은 작은 진전이지만, 반인종주의 및 반억압적 실천의 근본적인 필요성을 보여주는 더 효과적인 방법은 인종차별적 요소로 오염된 토양에서 자랐다는 인식을 높이기 위해 CanMEDS의 '꽃'을 완전히 새롭게 상상하는 것입니다.2,3 반인종주의 토양에 단단히 뿌리를 내린 꽃의 이미지는 우리 공통의 인류를 대표하는 줄기를 지지하면서 인정과 가능성의 메시지를 전달하고 반인종주의로 가득한 꽃잎을 돋아나게 할 수 있을 것입니다. 우리 시대의 시급한 요구와 높아지는 기대에 부응하기 위해서는 새로운 의사의 정체성15이 필요하며, 반인종주의는 의사의 기본 역량이 되어야 합니다.
While incorporating these new competencies within CanMEDS would be a small step forward, a more effective way to demonstrate the fundamental need for anti-racist and anti-oppressive praxis would be a complete reimagining of the CanMEDS ‘flower’ to raise awareness that it was grown in soil corrupted by racist elements.2,3 The image of a flower with roots firmly established in anti-racist soil would deliver a message of acknowledgement and possibility while supporting a stem representative of our common humanity40 and sprouting petals infused with anti-racism. A new physician identity15 is required to meet the urgent needs and growing expectations of our times, and anti-racism must be a foundational physician competency.

 


Can Med Educ J. 2023 Mar 21;14(1):33-40. doi: 10.36834/cmej.75844. eCollection 2023 Mar.

Anti-racism in CanMEDS 2025

Affiliations

1Cumming School of Medicine, University of Calgary, Alberta, Canada.

2Collège des Médecins du Québec, Quebec, Canada.

3University of Toronto, Ontario, Canada.

4University of British Columbia, British Columbia, Canada.

5University of Saskatchewan, Saskatchewan, Canada.

6University of Ottawa, Ontario, Canada.

PMID: 36998489

PMCID: PMC10042777

DOI: 10.36834/cmej.75844

근거중심의학과 공유의사결정의 연결(JAMA, 2014)
The Connection Between Evidence-Based Medicine and Shared Decision Making

Tammy C. Hoffmann, PhD1,2; Victor M. Montori, MD, MSc3; Chris Del Mar, MD, FRACGP1

 

근거 기반 의학(EBM)과 공유 의사 결정(SDM)은 모두 양질의 의료 서비스를 제공하는 데 필수적이지만, 이 두 접근법 간의 상호 의존성은 일반적으로 잘 알려져 있지 않습니다. 근거 기반 의학은 환자로부터 시작하여 환자로부터 끝나야 합니다. 임상의는 근거를 찾아 평가하고 그 추론을 자신의 전문 지식과 통합한 후 환자의 가치와 상황을 반영한 결정을 내립니다. 환자의 가치, 선호도, 상황을 통합하는 것은 아마도 가장 어렵고 제대로 매핑되지 않은 단계일 것이지만, 가장 적은 관심을 받고 있습니다.1 이로 인해 EBM이 환자의 가치와 선호도를 무시한다는 비판이 제기되었는데, 이는 명백히 의도가 아닙니다.2 
E
vidence-based medicine (EBM) and shared decision making (SDM) are both essential to quality health care, yet the interdependence between these 2 approaches is not generally appreciated. Evidence-based medicine should begin and end with the patient: after finding and appraising the evidence and integrating its inferences with their expertise, clinicians attempt a decision that reflects their patient’s values and circumstances. Incorporating patient values, preferences, and circumstances is probably the most difficult and poorly mapped step—yet it receives the least attention.1 This has led to a common criticism that EBM ignores patients’ values and preferences—explicitly not its intention.2

공유 의사 결정임상의와 환자가 옵션, 이점과 해로움에 대해 논의하고 환자의 가치, 선호도, 상황을 고려한 후 공동으로 건강 결정에 참여하는 과정입니다. 이는 환자 중심의 의사소통 기술과 EBM의 교차점이며, 좋은 환자 치료의 정점입니다(그림).
Shared decision making is the process of clinician and patient jointly participating in a health decision after discussing the options, the benefits and harms, and considering the patient’s values, preferences, and circumstances. It is the intersection of patient-centered communication skills and EBM, in the pinnacle of good patient care (Figure).

 

 
 

하나만으로는 부족할까요?
One Without the Other?

이러한 접근 방식은 대부분 병행하여 발전해 왔지만, 어느 쪽도 다른 쪽 없이는 그 목표를 달성할 수 없습니다. SDM 없이는 진정한 EBM이 이루어질 수 없습니다.3 SDM은 근거를 상담에 명시적으로 가져와 환자와 논의할 수 있는 메커니즘입니다. 임상의가 환자의 선호도를 의사 결정에 반영하려고 해도 때때로 잘못 추측하는 경우가 있습니다. 그러나 근거에 기반한 숙고를 통해 환자는 정보에 입각한 선호도를 구축할 수 있습니다. 결정을 실행하고 그 결과를 감당해야 하는 환자의 입장에서는 이 과정을 통해 임상의의 근거와 전문성, 그리고 자신의 가치와 선호도를 의사 결정에 통합한다는 점을 인식하는 것이 더 적절할 수 있습니다. SDM이 없으면 EBM은 증거 폭압으로 변질될 수 있습니다. SDM이 없으면 근거가 실제 진료와 개선된 결과로 제대로 이어지지 않을 수 있습니다.
These approaches, for the most part, have evolved in parallel, yet neither can achieve its aim without the other. Without SDM, authentic EBM cannot occur.3 It is a mechanism by which evidence can be explicitly brought into the consultation and discussed with the patient. Even if clinicians attempt to incorporate patient preferences into decisions, they sometimes erroneously guess them. However, it is through evidence-informed deliberations that patients construct informed preferences. For patients who have to implement the decision and live with the consequences, it may be more pertinent to realize that it is through this process that patients incorporate the evidence and expertise of the clinician, along with their values and preferences, into their decision-making. Without SDM, EBM can turn into evidence tyranny. Without SDM, evidence may poorly translate into practice and improved outcomes.

마찬가지로, EBM의 원칙에 주의를 기울이지 않으면 SDM의 여러 단계가 근거와 불가분의 관계에 있기 때문에 한계가 있습니다. 예를 들어, 질환의 자연력, 가능한 옵션, 각각의 이점과 해로움에 대해 환자와 논의하고 이를 정량화할 때는 반드시 최상의 연구 증거를 기반으로 해야 합니다. SDM에 이러한 근거가 포함되지 않은 경우, 환자가 표현하는 선호도는 옵션의 위험과 이점에 대한 신뢰할 수 있는 추정치에 근거하지 않을 수 있으며, 그 결과 진정한 정보를 바탕으로 한 결정이 이루어지지 않을 수 있습니다.
Likewise, without attention to the principles of EBM, SDM becomes limited because a number of its steps are inextricably linked to the evidence. For example, discussions with patients about the natural history of the condition, the possible options, the benefits and harms of each, and a quantification of these must be informed by the best available research evidence. If SDM does not incorporate this body of evidence, the preferences that patients express may not be based on reliable estimates of the risks and benefits of the options, and the resulting decisions not truly informed.

단절이 있는 이유는 무엇인가요?
Why Is There a Disconnect?

EBM과 SDM 사이에 존재하는 단절의 원인 중 하나는 EBM의 리더, 연구자, 교사와 SDM의 리더, 연구자, 교사가 서로 다른 클러스터 출신이며, 역사적으로 서로 다른 클러스터에서 진료, 연구, 출판, 협업하는 경향이 있기 때문일 수 있습니다. 일부 형태의 SDM은 환자 커뮤니케이션에서 비롯되었으며, 이 분야의 컨퍼런스와 저널에서 많은 연구가 발표되었습니다. 1997년에 발표된 한 중요한 논문에서는 SDM을 치료 의사 결정의 모델이자 환자-임상의 간 의사소통 기술로 개념화했습니다. 그러나 이 논문은 EBM과 아무런 연관성이 없었는데, 그도 그럴 것이 EBM은 초기 단계였기 때문입니다.2
A contributor to the existing disconnect between EBM and SDM may be that leaders, researchers, and teachers of EBM, and those of SDM, originated from, and historically tended to practice, research, publish, and collaborate, in different clusters. Some forms of SDM have emerged from patient communication, with much of its research presented in conferences and journals in this field. A seminal paper in 19974 conceptualized SDM as a model of treatment decision making and as a patient-clinician communication skill. However, it did so without any connection to EBM—perhaps not surprisingly, because EBM was in its infancy.2

반대로 임상 역학에서 시작된 EBM은 증거를 찾고, 평가하고, 종합하는 것을 용이하게 하는 방법과 리소스에 중점을 두었습니다. 이러한 근거를 환자와 논의하고 그 사용에 환자와 함께 참여하는 것에는 훨씬 덜 집중해 왔습니다 (때로는 '소프트' 기술이라고 폄하되기도 함) . EBM에 대한 대부분의 관심은 스캔들(예: 미공개 데이터, 결과 '스핀', 이해관계 충돌)과 첨단 기술(예: EBM을 더 쉽고 편리하게 만드는 시스템)에 관한 것이었습니다. 환자와의 의사 결정에 근거를 사용하는 것에 대한 정보는 부족합니다.
Conversely, with its origins in clinical epidemiology, much of the focus of EBM has been on methods and resources to facilitate locating, appraising, and synthesizing evidence. There has been much less focus on discussing this evidence with patients and engaging with them in its use (sometimes even disparagingly referred to as “soft” skills). Most of the EBM attention has involved scandals (eg, unpublished data, results “spin,” conflicts of interest) and the high technology milestones (eg, systems to make EBM better and easier). Information about using evidence in decision-making with patients has been scant.

두 접근법 사이의 단절은 임상의와 학생에게 제공되는 교육에서도 분명하게 드러나며, 이 역시 교사의 배경을 반영하는 경우가 많습니다. EBM 교육을 수강할 수 있는 기회는 주로 질문을 형성하고 근거를 찾아 비판적으로 평가하는 데 초점을 맞춘 내용으로 가득합니다.5 근거를 적용하고 통합하는 방법을 배우는 것은 일반적으로 없거나 기술 훈련 없이 통과하는 과정으로 언급됩니다.
Disconnect between the 2 approaches is also evident in, and maintained by, the teaching provided to clinicians and students, again often reflecting the backgrounds of their teachers. Opportunities to attend EBM teaching abound with content largely focused on forming questions and finding and critically appraising evidence.5 Learning how to apply and integrate the evidence is usually absent, or mentioned in passing without skill training.

EBM과 SDM의 연결성 실현하기
Realizing the Connection Between EBM and SDM

논리적으로 시작할 수 있는 방법은 SDM 스킬 트레이닝을 EBM 트레이닝에 통합하는 것입니다. 이는 앞서 언급한 EBM 교육의 결함뿐만 아니라 현재 이용 가능한 SDM 교육 기회의 부족을 해결하는 데 도움이 될 것입니다. 또한 SDM의 활용을 촉진하고 더 넓게는 증거 번역을 촉진할 수 있습니다. 최근 의학교육에 SDM을 일상적으로 통합해야 한다는 요구는 두 접근법을 밀접하게 연계하여 활용할 수 있는 즉각적인 기회를 제공합니다. 
A logical place to start is by incorporating SDM skill training into EBM training. This will help to address not only the aforementioned deficits in EBM training but also the lack of SDM training opportunities presently available. Additionally, it may facilitate the uptake of SDM and, more broadly, evidence translation. Recent calls for SDM to be routinely incorporated into medical education present an immediate opportunity to capitalize on closely aligning the approaches.

EBM과 SDM을 통합하기 위한 또 다른 시작점은 임상 진료 지침의 개발과 실행입니다. 대부분의 가이드라인은 권고안을 수립할 때 환자의 선호도를 고려하지 않는 반면,6 일부 가이드라인은 임상의에게 환자와 옵션에 대해 이야기하라고 조언하지만, 이를 수행하는 방법과 환자가 이해할 수 있는 방식으로 근거를 전달하는 방법에 대한 지침은 제공하지 않습니다. 다음의 경우에 가이드라인에서 공동 의사 결정을 강력히 권장할 수 있습니다.

  • 옵션의 장단점이 거의 대등한 경우,
  • 근거의 불확실성으로 인해 명백히 우월한 접근법을 결정하기 어려운 경우,
  • 환자의 행동에 따라 혜택과 위험의 균형이 달라지는 경우(와파린을 사용하는 환자의 복약, 모니터링, 식이요법 준수 등)


Another place to start to bring EBM and SDM together is the development and implementation of clinical practice guidelines. Whereas most guidelines fail to consider patients’ preferences in formulating their recommendations,6 some advise clinicians to talk with patients about the options but provide no guidance about how to do this and communicate the evidence in a way patients will understand. Shared decision making may be strongly recommended in guidelines

  • when the options are closely matched in their advantages and disadvantages,
  • when uncertainty in the evidence impairs determination of a clearly superior approach, or
  • when the balance of benefits and risks depends on patient action, such as adherence to medication, monitoring, and diet in patients using warfarin.

결론
Conclusions

최근까지 EBM과 SDM 간의 연관성은 거의 없거나 기껏해야 암시적인 수준이었습니다. 그러나 상호 작용의 고무적인 징후가 나타나고 있습니다. 예를 들어, 두 접근법을 일부 통합하여 가르치거나,7 가이드라인을 SDM을 촉진하기 위해 어떻게 조정할 수 있는지에 대한 탐구,8,9 두 접근법을 모두 인정하는 연구 및 리소스 도구가 등장하고 있습니다. 후자의 예로는 의사결정에 적절한 근거를 제공하기 위해 환자 및 임상의와 협력하여 연구 의제 및 우선순위 설정, 체계적으로 수집된 최신 근거를 인용하고 그 신뢰성을 평가하는 국제 환자 의사결정 지원 표준의 새로운 근거 기준 등이 있으며,10 이를 통해 SDM 도구의 개발이 근거 기반 가이드라인의 수립에 대한 현대적 요구사항에 부합하도록 조정하고 있습니다. 또한, 근거 기반 의료의 실천과 공유 의사 결정의 과학에 초점을 맞춘 독립적인 대표 학회들이 공동 회의를 소집하고 있습니다.
Links between EBM and SDM have until recently been largely absent or at best implied. However, encouraging signs of interaction are emerging. For example, there has been some integration of the teaching of both,7 exploration about how guidelines can be adapted to facilitate SDM,8,9 and research and resource tools that recognize both approaches. Examples of the latter include research agenda and priority setting occurring in partnership with patients and clinicians to help provide relevant evidence for decision making; and a new evidence criterion for the International Patient Decision Aids Standards requiring citation of systematically assembled and up-to-date bodies of evidence, with their trustworthiness appraised,10 thus aligning the development of SDM tools with contemporary requirements for the formulation of evidence-based guidelines. Also, independent flagship conferences focused on the practice of evidence-based health care and on the science of shared decision making are now convening joint meetings.

의학은 최신 근거 없이 시행될 수 없고, 시행되어서도 안 됩니다. 또한 정보에 입각한 환자의 선호도를 파악하고 존중하지 않고 의학을 시행할 수도 없습니다. 임상의, 연구자, 교사, 환자는 이러한 접근법의 상호 의존적 관계를 인식하고 적극적으로 촉진해야 합니다. EBM에는 SDM이 필요하고, SDM에는 EBM이 필요합니다. 환자에게는 이 두 가지가 모두 필요합니다.
Medicine cannot, and should not, be practiced without up-to-date evidence. Nor can medicine be practiced without knowing and respecting the informed preferences of patients. Clinicians, researchers, teachers, and patients need to be aware of and actively facilitate the interdependent relationship of these approaches. Evidence-based medicine needs SDM, and SDM needs EBM. Patients need both.


JAMA. 2014 Oct 1;312(13):1295-6. doi: 10.1001/jama.2014.10186.

The connection between evidence-based medicine and shared decision making

Affiliations collapse

1Centre for Research in Evidence-Based Practice, Faculty of Health Sciences and Medicine, Bond University, Queensland, Australia2University of Queensland, Brisbane, Australia.

2Knowledge and Evaluation Research (KER) Unit, Mayo Clinic, Rochester, Minnesota.

3Centre for Research in Evidence-Based Practice, Faculty of Health Sciences and Medicine, Bond University, Queensland, Australia.

PMID: 25268434

DOI: 10.1001/jama.2014.10186

내과의 종단적 코칭 프로그램에서 목표의 공동구성 및 대화(Med Educ, 2022)
Goal co-construction and dialogue in an internal medicine longitudinal coaching programme
Laura Farrell1 | Cary Cuncic1 | Wendy Hartford2 | Rose Hatala1 | Rola Ajjawi3

1 소개
1 INTRODUCTION

코칭은 특히 역량 기반 의학교육(CBME)의 도입과 함께 대학원 의학교육에서 각광을 받고 있습니다. 북미 지역에서는 레지던트 프로그램에서 '학습자가 잠재력을 최대한 발휘할 수 있도록' 종단적 학업 코치 역할을 할 교수진을 배정하기 시작했습니다.1 캐나다 왕립 의사 및 외과의사 대학(RCPSC)은 이러한 '시간 경과에 따른 코칭'2,3 이 임상 환경 밖에서 이루어지며, 여러 프리셉터와 짧고 단편적인 로테이션으로 인해 평가가 수집되지만 반드시 의미 있는 방식으로 집계되지 않는 문제를 해결하기 위해 필요하다고 설명했습니다.4, 5 레지던트와 코치는 평가 데이터를 협력적이고 성찰적으로 검토하여 역량 발전을 돕고, 이상적으로는 레지던트의 자기조절학습(SRL) 기술을 개발합니다.6-9 많은 프로그램이 이러한 종단적 코칭 모델을 채택하고 있지만, 프로그램에서 시행하는 코칭은 일반적으로 보다 지시적인 상호작용인 조언 및 멘토링과 같은 다른 역할과 모호해질 위험이 있습니다.10 종단적 코치는 학습자 목표와 프로그램 요구사항에 모두 초점을 맞추도록 해야 합니다.2 
Coaching has gained prominence in postgraduate medical education, particularly with the introduction of Competency-Based Medical Education (CBME). Within North America, residency programmes have begun to assign faculty to act as longitudinal academic coaches, ‘to facilitate learners achieving their full potential’.1 The Royal College of Physicians and Surgeons of Canada (RCPSC) has described this ‘coaching over time’2, 3 as occurring outside the clinical environment to address the challenges of short, fragmented rotations with different preceptors, where assessments are collected but not necessarily collated in a meaningful way.4, 5 Residents and coaches collaboratively and reflectively review assessment data to aid in progression of competence, ideally developing residents' self-regulated learning (SRL) skills.6-9 Despite many programmes adopting this longitudinal coaching model, coaching that is implemented by the programme risks blurring with other roles such as advising and mentoring, which are generally more directive interactions.10 Longitudinal coaches are challenged to ensure a focus both on learner goals and on programme requirements.2

스포츠, 음악 및 비즈니스에서 배운 것을 모델로 한 다양한 종단 코칭 프로그램의 개발이 설명되었습니다.4, 11, 12 학업 코치는 대부분 프로그램에서 의도적으로 전공의와 짝을 이루어 그들의 전문성을 활용하여 관련 평가 정보를 논의하고, 전공의가 앞으로 나아가는 데 도움이 되는 달성 가능한 목표를 공동 구성하고, 목표 도달 여부를 평가합니다.2, 4, 11 이상적으로는 레지던트가 취약점을 공유하고 이를 통해 지속적인 SRL(목표 설정, 성과 모니터링, 학습 계획 반영 및 조정)에 필요한 기술을 개발할 수 있는 기회가 있습니다.5 코치는 코치가 레지던트 네트워크의 일부가 되어 공동 목표 설정, 성과 모니터링 및 반영에 참여하면서 학습을 공동 조정할 수 있습니다.13 성과 목표 개발에 피드백을 통합하는 것을 명확하게 강조하는 코칭 논의에 대한 다양한 접근법이 제공되었습니다.4, 7, 9, 12 예를 들어, R2C2(관계, 반응, 내용 및 코칭) 모델은 달성 가능한 목표를 설정하고 피드백을 중심으로 학습 변화 계획을 개발하는 코칭의 중요성을 강조합니다.7, 9 
The development of various longitudinal coaching programmes, modelled from what has been learned from sport, music and business, have been described.4, 11, 12 Academic coaches are most often intentionally paired with residents by the programme and draw on their expertise to discuss relevant assessment information, co-construct achievable goals that aid the resident to move forward and assess whether goals have been reached.2, 4, 11 Ideally, there is opportunity for the resident to share vulnerabilities and in doing so develop skills needed for ongoing SRL (goal setting, monitoring performance, reflecting and adapting a learning plan).5 Coaches may co-regulate learning as the coach becomes part of the resident network, engaging the resident in collaborative goal setting, performance monitoring and reflection.13 Various approaches to coaching discussions have been provided that place clear emphasis on the incorporation of feedback into developing performance goals.4, 7, 9, 12 For example, the R2C2 (relationship, reaction, content and coaching) model emphasises the importance of coaching where achievable goals are set and a learning change plan developed around feedback.7, 9

목표 개발에 대한 의도적인 강조에도 불구하고, 현재 종단적 코칭 대화에서 목표가 어떻게 논의되고 목표 공동 구성이 어떻게 진행되는지에 대한 설명은 거의 없습니다. 또한 이러한 대화에서 논의되는 내용이 전공의의 성장을 어떻게 지원할 수 있는지에 대해서는 추가적인 연구가 필요합니다. 따라서 임상 교육에서 피드백 대화에서 목표에 대한 의도적인 대화에 대해 이해한 내용을 바탕으로 코칭 환경에서 목표를 성공적으로 공동 구성하는 데 필요한 요소를 밝히는 것이 유용할 수 있습니다. 피드백 문헌에 따르면, 프리셉터가 목표의 필요성을 역할 모델링하고 학생을 목표에 대한 대화에 참여시키는 초기 목표 설정 및 목표 논의에 중점을 둡니다.14, 15 목표 불일치는 프리셉터와 학습자 간에 단순히 어떤 목표를 우선순위에 둘 것인지뿐만 아니라 학습자가 인지한 필요와 프리셉터의 기대를 모두 충족하는 새로운 목표를 생성하기 위해 협상됩니다. 목표 공동 구성의 원칙을 통합하면 코치와 레지던트가 종단적 코칭에서 목표를 식별하고 우선순위를 정하는 데 도움이 될 수 있습니다.15 그러나 피드백 대화에서 목표 설정과 관련된 문제는 종단적 코칭 관계에서 다르게 나타날 수 있습니다. 
Despite an intentional emphasis on goal development, currently, there is little description of how goals are discussed and how goal co-construction plays out in longitudinal coaching conversations. In addition, how the content of the discussions during these conversations might support residents' growth needs further study. It may, therefore, be useful to draw on what is understood around intentional dialogue of goals in feedback conversations in clinical teaching to shed light on the elements needed to successfully co-construct goals in the coaching setting. From the feedback literature, there is a focus on initial goal setting and discussion of goals, where the preceptor role models the need for goals and engages students in dialogue around their goals.14, 15 Goal mismatches are negotiated between preceptor and learner not merely around which or whose goals to prioritise but also to generate new goals that address both learners' perceived needs and preceptors' expectations. Incorporating tenets of goal co-construction may help coaches and residents identify and prioritise goals in longitudinal coaching.15 However, challenges around goal setting in feedback conversations may manifest differently in the longitudinal coaching relationship.

이 연구에서는 내과 종단 코칭 프로그램에서 코치와 레지던트 간의 실제 코칭 대화를 분석했습니다. 이 연구는 목표 공동 구성을 민감화 개념으로 사용하여 코칭 관계와 공동 피드백에 대한 대화를 탐색함으로써 종단 코칭에 대해 현재 이해되고 있는 내용을 기반으로 합니다. 레지던트의 목표와 그 진화에 대한 분석을 통해 종단적 코칭이 수련 중인 레지던트에게 미칠 수 있는 과정과 효과에 대해 조명합니다. 요약하면, 이 연구는 다음과 같은 질문을 던집니다: 레지던트 의학 교육에서 종단적 코칭 관계에서 목표 공동 구성은 어떻게 전개될까요? 
In this study, we analysed the actual coaching conversations between coach and resident in an internal medicine longitudinal coaching programme. Our research builds on what is currently understood about longitudinal coaching by exploring coaching relationships and dialogue around collated feedback using goal co-construction as a sensitising concept. Through analysis of residents' goals and their evolution, we shed light on the processes and effects longitudinal coaching may have on residents in training. In summary, this research asks: How does goal co-construction unfold in longitudinal coaching relationships in resident medical education?

2 방법
2 METHODS

우리는 내과 종단 코칭 프로그램을 조사하기 위해 구성주의적 탐구 지향에 부합하는 질적 연구 접근 방식인 해석적 기술법16 을 사용했습니다. 간호과학에서 비롯된 해석적 기술법의 인식론적 뿌리는 연구자가 통합된 지식을 식별하고 적용하는 과정을 포함하는 유연한 질적 접근법을 사용하여 이론을 넘어 실천으로 나아갈 수 있도록 합니다.16 해석적 기술법은 개인의 경험과 데이터 전반의 공통 패턴에 주목하고 실천에 적용할 수 있는 지식을 생성하고자 하는 매우 실용적인 접근법입니다.16 
We used interpretive description,16 a qualitative research approach aligned with a constructivist orientation to inquiry, to examine an internal medicine longitudinal coaching programme. Interpretive description's epistemological roots, stemming from nursing science, allow the researcher to move beyond theory into practice using a flexible qualitative approach that includes processes for identifying and applying aggregated knowledge.16 It is a highly pragmatic approach that attends to individual experiences and common patterns across the data and seeks to generate applied knowledge for practice.16

2.1 설정 및 모집
2.1 Setting and recruitment

브리티시 컬럼비아 대학교(UBC)의 내과 레지던트 프로그램매년 약 50명의 레지던트를 수용하는 3년 과정의 프로그램입니다. 연구 당시에는 1년차 레지던트만 프로그램에서 학업 코치와 짝을 이루었습니다. 코치는 일반적으로 레지던트에 대한 평가나 평가에 관여하지 않았습니다. 2019년 7월에 수련을 시작한 모든 1년차 레지던트(N = 47명)와 그들의 코치(N = 30명)가 1년 동안 이 연구에 참여하도록 초대되었습니다. 코치와 레지던트는 본질적으로 취약할 수 있는 토론을 녹음하도록 요청받았기 때문에 편의 표본 추출을 사용했습니다. 코치 6명과 레지던트 8명(코치 2명은 레지던트 2명과 각각 짝을 이루었습니다)을 포함한 8쌍의 부부가 참여에 동의하고 사전 동의를 제공했습니다. 코치와 레지던트 모두 1년 동안 4번의 미팅을 오디오 테이프로 녹음하고 개별적으로 오디오 녹음된 퇴소 인터뷰에 참여하도록 요청받았습니다.  
The University of British Columbia's (UBC) internal medicine residency programme is a 3-year programme accepting approximately 50 residents per year. At the time of the study, only first-year residents were being paired by the programme with an academic coach. The coach was not typically involved in assessment or evaluation of the resident. All first-year residents (N = 47) starting training in July 2019 and their coaches (N = 30) were invited to participate in this study for the duration of 1 year. We used convenience sampling as coaches and residents were asked to record discussions that could be inherently vulnerable. Eight dyads including six coaches and eight residents (two coaches were paired with two residents each) agreed to participate and provided informed consent. Both coach and resident were asked to audiotape their four meetings over a 1-year period and participate in individual audiotaped exit interviews.

2.2 코치 교육/레지던트 교육
2.2 Coach training/resident training

모든 코치와 레지던트는 레지던트 프로그램 디렉터, 역량 위원회 위원장 및 연구팀 구성원인 RH, LF, CC가 제공하는 별도의 교육을 받았습니다. 교육은 위에서 설명한 바와 같이, 레지던트가 역량을 발전시키고 평생 학습 기술을 구축할 수 있도록 협력적이고 성찰적으로 코칭하는 '시간에 따른 코칭'에 대한 RCPSC 접근 방식을 기반으로 이루어졌습니다.2 코칭의 틀을 제공하기 위해 R2C2 모델이 도입되었습니다.7, 9 R2C2 모델에 따라 코치는 레지던트와 관계를 구축하고, 평가에 대한 레지던트의 반응을 탐색하고, 평가의 내용을 탐색하고 변화를 위해 코치하도록 권장되었습니다.7, 9 또한 고려해야 할 성찰 프롬프트 등 R2C2에 대한 요약 팜플릿을 제공받았습니다. 이들에게는 위에 명시된 코칭 프로그램의 목적과 코치와 임상 수퍼바이저 또는 멘토의 차이점에 대한 교육이 제공되었습니다. 레지던트들은 코치에게 역량 위원회에 소감을 제출하도록 요청받지만 레지던트 진급에 관한 결정에는 직접 관여하지 않는다는 사실을 들었습니다. 변화를 위한 코칭의 일환으로 코치와 레지던트 모두와 함께 목표 공동 구성의 원칙을 검토했습니다.15 
All coaches and residents underwent separate training delivered by residency programme directors, competency committee chairs and members of the research team, RH, LF and CC. Training was based on the RCPSC approach to ‘coaching over time’ as described above: to collaboratively and reflectively coach residents towards progression of competency and build lifelong learning skills.2 To provide a framework for coaching, the R2C2 model was introduced.7, 9 As per the R2C2 model, coaches were encouraged to build relationships with their residents, explore residents' reactions to the assessments, explore the content of the assessments and coach for change.7, 9 Residents were also provided with a pamphlet outlining R2C2 including reflection prompts to consider. They were educated on the above stated purpose of the coaching programme and the differences between a coach and clinical supervisor or mentor. Residents were told that their coach would be asked to provide an impression to the competency committee but would not be involved directly in the decisions regarding resident promotion. As part of coaching for change, the tenets of goal co-construction were reviewed with both coaches and residents.15

2.3 코치-전공의 회의
2.3 Coach–resident meetings

모든 레지던트는 회의 전에 자신의 최근 평가를 검토하고 강점/약점 및 학습 목표에 대해 언급하는 자기 성찰 양식을 작성하여 제출해야 했습니다. 이 문서는 레지던트의 모든 평가(필기 시험, 관찰된 구조화된 임상 시험 및 직장 기반 평가)와 더불어 코치가 회의 전에 검토하거나 회의 중에 논의했습니다. 코치는 레지던트 1년차에 세 번, 2년차 초에 한 번, 총 세 차례에 걸쳐 1시간 동안 개별 레지던트와 만났습니다. 
All residents were required to complete and submit a self-reflection form involving reviewing their recent assessments and commenting on strengths/weaknesses and learning goals prior to each meeting. This document, in addition to all of the resident's evaluations (written examinations, observed structured clinical exams and workplace-based assessments), was reviewed by the coach before the meeting and/or discussed during the meeting. The coach met with their individual residents for 1 hour three times during their first year and one time during the start of their second year.

2.4 데이터 수집
2.4 Data collection

코치들은 전공의와의 미팅을 오디오 테이프로 녹음하여 연구팀에 제출하도록 요청받았습니다. 모든 코치와 8명의 전공의 중 7명이 반구조화된 퇴사 인터뷰에 참여했으며, 이 인터뷰는 WH에서 Zoom을 통해 오디오 테이프로 진행했습니다. 코칭 세션에서는 논의되는 목표의 유형, 이러한 목표가 어떻게 협상되는지, 시간이 지남에 따라 어떻게 진행되는지에 대한 데이터를 제공했습니다. 인터뷰 데이터는 코칭에 대한 참가자들의 경험을 조사했습니다. 코치에 대한 인터뷰 질문은 코칭 역할에 대한 인식, 레지던트와의 관계, 코칭 세션 중 목표 공동 구성 등을 고려했습니다(부록 S1). 레지던트를 대상으로 한 인터뷰 질문에는 목표 공동 구성 및 관계에 대한 인식 외에도 사전 성찰의 이점과 코칭의 인지된 효과도 고려되었습니다(부록 S2). 코칭 세션과 인터뷰의 오디오 테이프는 필사하고 비식별화했습니다. 8쌍의 부부 중 6쌍만 오디오테이프를 제출했으며(2쌍은 녹음에 기술적 어려움이 있었음), 총 18개의 녹취록을 제출했습니다. 3명의 dyads는 4번의 코칭 세션을 모두 제출했고, 1명은 3번, 1명은 2번, 1명은 1번의 세션만 제출했습니다. 모든 녹음 데이터는 총 894분 분량의 코칭 데이터(세션은 약 30~60분 길이로 다양함)와 총 367분 분량의 출구 인터뷰 데이터(24~34분 범위)로 분석되었습니다. 
Coaches were asked to audiotape meetings with residents and submit these to the research team. All coaches and seven of the eight residents engaged in semi-structured exit interviews, which were conducted by WH via Zoom and audiotaped. The coaching sessions provided data on the types of goals being discussed, how those goals are negotiated and how they progress over time. The interview data sought participants' experiences of coaching. Interview questions for coaches considered their perceptions of the coaching role, their relationship with the resident and goal co-construction during the coaching session (Appendix S1). In addition to perceptions of goal co-construction and relationships, interview questions for residents considered the benefits of pre-reflection and perceived effects of coaching (Appendix S2). Audiotapes of the coaching sessions and interviews were transcribed and de-identified. Of the eight dyads, only six submitted audiotapes (two dyads had technical difficulties with recordings) for a total of 18 recordings. Three dyads submitted all four coaching sessions, one submitted three sessions, one submitted two sessions and one submitted only one session. All recordings were analysed for a total of 894 minutes of coaching data (sessions varied from approximately 30–60 minutes in length) and a total of 367 minutes (range 24–34 minutes) of exit interview data.

2.5 데이터 분석
2.5 Data analysis

해석적 설명 Interpretive description은 연구자가 연구의 도구로서 연구자를 포용합니다.16 분석 전반에 걸쳐 우리는 문헌, 우리 자신의 해석과 경험, 경험적 데이터를 바탕으로 주제를 개발하는 분석 프레임워크를 개발하려고 노력했습니다.

  • 연구팀의 두 팀원(LF와 WH)은 모든 녹취록을 읽고 처음에는 연역적 코딩 접근법을 사용하여 코칭 데이터를 분류하고 설명하기 시작했습니다.
    • 이는 R2C2 개념에 대한 코딩으로 시작하여 목표 공동 구성의 원칙(역할 모델링 목표, 목표 관련 대화, 목표 협상 및 프로그램 표준 보장)을 민감화 렌즈로 코딩했습니다.7, 9
  • 또한 목표 공동 구성의 증거, 목표의 진화 및 목표 달성 계획을 포함하여 회의가 진행되는 동안 표를 사용하여 목표 유형을 귀납적으로 코딩하고 추적했습니다.
  • 예비 아이디어와 주제는 데이터 샘플을 읽은 연구팀과 함께 논의하고 다듬었습니다.
    • 이 단계에서는 어떤 목표가 논의되었는지, 누가(코치 또는 레지던트) 목표를 확인했는지, 목표가 어떻게 구성되었는지, 목표를 달성하기 위한 계획과 시간이 지남에 따라 목표가 어떻게 진화했는지에 특히 주의를 기울였습니다.
    • 이 수준의 코딩은 '의미를 미리 결정하는 데 사용되는 것이 아니라, 식별된 주제에 대한 부분을 한곳에 모아 해석 과정을 완료하는 데 사용됩니다."(14쪽)
  • 그런 다음 모든 연구자는 목표 공동 구성을 염두에 두고 출구 인터뷰와 관련하여 코치-레지던트 간 다이애드 대화를 귀납적으로 분석했습니다. 이 단계에서는 다이애드 경험의 해석(유사점과 차이점)과 코칭의 효과에 초점을 맞춰 데이터 간 연결고리를 찾았습니다.
  • 팀은 정기적으로 만나 코드를 더욱 세분화하고 의미를 도출하여 참가자 경험에 대한 일관된 그림을 형성하고 데이터에서 누락될 수 있는 부분에 대해 논의했습니다. 두 가지 데이터 수집 방법과 두 참가자 그룹을 통해 강화된 데이터는 연구 질문에 답하기 위한 충분한 이해를 제공한다고 판단했습니다(Dey의 이론적 충분성 개념에서 도출).17 

Interpretive description embraces the researchers as instrumental to the research.16 Throughout the analysis, we sought to develop an analytical framework that draws from the literature, our own interpretations and experiences, and the empirical data to develop themes.

  • Two members of the research team (LF and WH) read all of the transcripts and initially employed a deductive coding approach to begin to categorise and describe the coaching data.
    • This began with coding for both R2C2 concepts and then for tenets of goal co-construction as our sensitising lens (role-modelling goals, dialogue around goals, goal negotiation and ensuring programme standards).79 
  • In addition, types of goals were inductively coded and tracked using tables over the course of the meetings including evidence of goal co-construction, evolution of goals and plans to meet goals.
  • Preliminary ideas and themes were discussed and refined with the research team who read a sample of the data.
    • At this level, we paid particular attention to what goals were discussed, who (coach or resident) identified goals, how goals were constructed, plans to meet goals and how they evolved over time.
    • Coding at this level is not used to ‘predetermine meaning, but to allow for segments about an identified topic to be assembled in one place to complete the interpretative process’.14, p. 340 
  • All researchers then inductively analysed one coach–resident dyad conversation in relation to the exit interviews with goal co-construction in mind. At this level, we focused on interpretations of dyad experiences (similarities and differences) and the effects of coaching making connections between the data.
  • The team met regularly to further refine the codes and derive meaning and form a cohesive picture of participant experiences, as well as to discuss what might be missing in the data. We judged the data offered a sufficient understanding (drawn from Dey's notion of theoretical sufficiency) for answering the research question, strengthened by the two methods of data collection and the two participant groups.17

연구팀에는 내과 레지던트들과 임상적으로 함께 일하는 의학교육 연구 경력이 있는 세 명의 일반 내과 의사(LF, CC, RH)가 참여했습니다. LF, CC, RH는 모두 코치들을 위한 초기 교수진 개발 세션을 진행했으며 반복적인 코치 회의에 참여했습니다. LF와 CC는 현재 학술 코치이기도 하며, 코치로서의 경험이 분석에 영향을 미쳤습니다. RH는 역량 위원회 위원장을 맡고 있습니다. WH는 재활 과학 프로그램의 박사 과정 학생이며 이 연구의 연구 조교였습니다. RA는 경험이 풍부한 의학교육 연구자(피드백 대화 포함)이자 맥락과 전문 분야에 대한 외부인으로, 프로그램 내에서 당연하게 여겨지는 코칭의 가정에 대한 대화를 유도했습니다. 
Members of the research team included three general internists with backgrounds in medical education research (LF, CC and RH) who all work clinically with internal medicine residents. LF, CC and RH all facilitated the initial faculty development session to coaches and participated in the iterative coach meetings. LF and CC are also current academic coaches, and their experiences as coaches influenced analysis. RH is chair of the competency committee. WH is a doctoral student in the Rehabilitation Science Program and was the research assistant for the study. RA is an experienced medical education researcher (including feedback dialogues) and outsider to the context and specialty, who prompted conversations about the taken for granted assumptions of coaching within the programme.

2.6 윤리
2.6 Ethics

이 연구는 UBC 윤리 심의 위원회(H19-00634)의 승인을 받았습니다. 
This study was approved by UBC Ethics Review Board (H19-00634).

3 결과
3 RESULTS

우리는 두 가지 주제를 개발했습니다:

  • (i) 목표의 내용은 레지던트가 되는 방법에 초점을 맞추었으며, 코칭 상호작용은 임상 진료 환경의 문제를 해결하는 방법에 대한 내용은 드물고, 대신 레지던트 과정에서 발생하는 많은 비환자 대면 문제에 초점을 맞추었고,
  • (ii) 공동 구성은 주로 목표의 우선순위를 정하거나 새로운 목표를 식별하는 것이 아니라, 목표를 달성하는 방법에 대해 발생했습니다.

We developed two themes:

  • (i) The content of the goals focused on how to be a resident, in that coaching interactions were infrequently about how to address challenges in the clinical care environment, but instead focused on many of the non-patient-facing issues that come up in residency, and
  • (ii) the co-construction mainly occurred in how to meet goals, rather than in prioritising goals or identifying new goals.

3.1 목표의 내용: 레지던트가 되는 방법
3.1 Content of goals: How to be a resident

초기 레지던트 목표는 주로 내과 1년차 레지던트의 역할에서 배우고 발전하는 것에 관한 것이었습니다(표 1). 여기에는 코치와 레지던트 모두가 시작한 목표가 포함되었습니다. 프로그램에서 코치에게 평가 데이터가 완전하고 검토되었는지 확인하도록 요청했기 때문에 코치는 레지던트가 이 주제와 관련된 목표를 개발하도록 했습니다. 코칭 관계 초기에 레지던트의 목표에는 지식 기반, 효율성 및 절차적 기술 향상과 자신감 개발이 포함되었습니다. 
Initial resident goals were mainly about learning and developing in the role of a first-year internal medicine resident (Table 1). These included goals initiated by both coaches and residents. As the programme had asked coaches to confirm assessment data were complete and reviewed, the coach ensured the resident developed goals related to this topic. Early in the coaching relationship, resident goals included improving knowledge base, efficiency and procedural skills and developing confidence.

... 관리 계획과 절차에 대해 더 자신감을 갖는 것. 더 많은 것을 찾고 시도해 보려고 하지만 어떤 모습일지 모르겠습니다. (레지던트 H, 미팅 1)
… being more confident with my management plan and then the procedures: to try to seek and attempt more but I don't know what it looks like. (Resident H, Meeting 1)

첫해 중반에 접어들면서 더 많은 전공의들이 시니어 레지던트 역할로의 전환 준비, 교육 기술 향상, 경력 계획에 도움이 되는 일렉티브 선택에 대해 논의했습니다. 경력 계획과 연구 목표(예: 프로젝트 선정 및 원고 완성)는 모두 일 년 내내 개발되고 발전했습니다.
Towards the middle of the first year, more dyads discussed preparing for the transition to the senior resident role, improving teaching skills as well as elective selection to help with career planning. Both career planning and research goals (e.g. project selection and manuscript completion) were developed and evolved throughout the year.

레지던트들은 한 해 동안 자신의 목표가 발전했음을 인정했지만, 직접적인 임상 환자 치료의 문제 해결과 관련된 목표는 여전히 거의 없었습니다:
Residents acknowledged that their goals evolved over the year, though there were still very few goals around addressing challenges in direct clinical patient care:

신입 레지던트로서 기본을 배우려고 노력하는 것 같았지만, 해가 지날수록 팀을 어떻게 이끌어야 할까? 팀을 어떻게 관리해야 할까요? 직원들은 집에 가고 나 혼자 당직인데 어떻게 하룻밤 사이에 이 모든 일을 처리할 수 있을까요? 그래서 제가 달성하려고 했던 목표의 성격이 바뀐 것 같아요... 기본기를 배우는 것에서 회진에 대한 자신감을 키우고 학생들을 가르치는 것으로 바뀌었죠. (레지던트 C, 퇴사 인터뷰)
As a new resident, I just felt I was trying to learn the basics … but as the year went on it became more about how do I lead a team? How do I manage a team? How do I do all this stuff overnight when it's just me … and my staff has gone home and I'm on call … dealing with all the stuff that I don't know about? And so I think the nature of the goals I was trying to achieve changed … it went from learning about fundamentals to developing more confidence when it comes to … rounds, and teaching students. (Resident C, exit interview)

어려운 케이스나 어려운 상호작용에 대한 레지던트의 의견을 코치가 조사할 기회가 여러 번 있었습니다. 그러나 대화는 필수 근무지 기반 평가 완료와 같은 레지던트 교육에 초점을 맞춘 주제로 돌아갔습니다. 환자 치료에 대한 제한적인 논의는 대개 특정 환자의 관리에 대해 설명하거나 어려운 케이스에서 큰 그림을 볼 필요성에 대해 논의하는 등 개별적인 사건에 관한 것이었으며, 목표가 개발되지 않는 경우가 많았습니다.  
On several occasions, there was opportunity for a coach to probe a comment made by the resident about a difficult case or challenging interaction. However, often the conversation turned back to topics focused on resident training such as completing the required workplace-based assessments. The limited patient care discussions were usually about isolated incidents (e.g. describing the management of a specific patient or discussing needing to see the big picture in a difficult case), and often no goals were developed.

세션의 종적 측면이 이러한 과제를 논의할 공간을 제공했기 때문에 코칭 토론은 레지던트가 되는 방법(예: 공부하는 방법, 연구 계획, 위탁 전문 활동[EPA] 완료 및 경력 계획)에 더 집중되었을 수 있습니다. 실제로 한 레지던트는 레지던트 학습에 대한 논의가 환자 치료 문제가 주요 초점이 되어야 하는 임상 환경에서는 잘 이루어지지 않는다고 말했습니다: 
Coaching discussions may have been focused more on the logistics of how to be a resident (e.g. how to study, research planning, completing entrustable professional activities [EPAs] and career planning) because the longitudinal aspect of sessions provided the space to discuss these challenges. In fact, one resident stated that discussions about resident learning were less available in the clinical setting where patient care issues need to be a primary focus:

... [임상에서는] 나보다는 환자에 대해 더 많은 시간을 이야기하는 반면, 코칭 미팅에서는 나 자신, 내가 학습을 어떻게 하고 있는지, 무엇을 더 발전시켜야 하는지에 대해 더 많은 시간을 보냈습니다. (레지던트 H, 퇴사 인터뷰)
… [clinically] we spend time talking more about the patient than me, whereas the coaching meetings were more driven about myself, how I'm doing with my learning, what I need to get up [to] more. (Resident H, exit interview)

또 다른 레지던트는 임상 환경에서 일상적으로 발생하지 않는 문제에 대해 논의할 수 있다는 점을 장점으로 꼽았습니다:
Another resident brought forward the benefit of discussing issues that do not come up on a day-to-day basis in the clinical setting:

코칭 세션은 일상적으로 필요하지 않은 기술에 대해 정말 유용했다고 생각합니다. 그리고 임상적인 것 외에도 연구와 같은 다른 측면의 중요성에 대해 이야기하는 것도 도움이 된 것 같아요. (레지던트 E, 퇴사 인터뷰)
I think [the coaching sessions were] really useful for those skills that aren't necessarily as required day to day. And then I think outside of clinical things it was just helpful to talk about the importance of other aspects like research or things like that. (Resident E, exit interview)

첫 회의에서 여러 전공의가 중요한 임상 환자 치료 목표(예: 환자가 안전하고 필요한 치료를 받을 수 있도록 하는 것)에 대해 논의했지만, 레지던트가 수련을 진행하면서 이러한 중요한 목표는 재검토되지 않았습니다. 흥미롭게도 한 레지던트는 첫 번째 코치-레지던트 미팅에서 수련 첫 해에 예상되는 목표의 진화를 요약했는데, 이 요약은 모든 레지던트가 한 해 동안 발전하는 모습을 반영했습니다: 
Although several dyads discussed overarching clinical patient care goals in the first meeting (such as making sure patients are safe and get the care they need), these overarching goals were not revisited as the resident progressed in training. Interestingly, one resident summarised their expected evolution of goals over the first year of training in their initial coach–resident meeting, and this summary mirrored what we saw develop over the course of the year for all residents:

따라서 처음에는 레지던트들이 일반적인 지식과 사물에 대한 접근 방식을 개선하는 등 효율성을 높이려고 노력했습니다. 그리고 시간이 지남에 따라 의대생들을 가르치는 역할, 멘토링 역할, 그리고 조직적인 역할을 더 많이 개발하여 선임 레지던트가 될 수 있습니다. 이것이 첫해의 매우 일반적인 목표에 대한 저의 이해입니다. (레지던트 E, 미팅 1)
So initially we are [residents] just kind of trying to get more efficient—improve our general knowledge, our approach to things. And then as we go along, develop more of a teaching role, a mentorship role for medical students and then an organizational role, where we would be more of a senior level resident. That's kind of my understanding of the very general overarching goals of the first year. (Resident E, Meeting 1)

 

3.2 각 회의에서 주로 목표 달성을 위한 계획에 초점을 맞춘 공동 구성
3.2 Co-construction in each meeting mainly focused on plans to meet goals

대부분의 경우, 목표가 정해지면 그 목표를 달성하기 위한 계획이 논의되었습니다. 각 세션에서 우선순위를 정할 목표에 대한 논의는 거의 없었습니다. 코치와 레지던트 모두 목표를 제시할 수 있었고, 피드백을 검토하면서 회의 중에 다른 목표가 확인되었습니다. 이렇게 설정된 목표에 따라 목표 달성을 위한 계획에 대한 공동 구성 또는 협상이 자주 이루어졌습니다. 
For the most part, if goals were identified, plans to meet those goals were discussed. Within each session, there was little negotiation around which goals to prioritise. Both the coach and resident were able to bring goals forward, and other goals were identified during the meeting as feedback was reviewed. With these established goals, co-construction or negotiation frequently occurred around the plans to meet them.

일부 목표는 한 번만 제시되었지만(예: 다가오는 로테이션에 대한 목표), 다른 목표는 각 세션에서 레지던트가 1년 동안 목표를 달성하기 위해 계획을 발전시킨 증거와 함께 논의되었습니다.

  • 예를 들어, 한 다이애드의 경우, 코치가 첫 번째 회의에서 콘텐츠 지식 향상이라는 목표를 제시하고, 이후 회의에서 다시 언급하고, 레지던트가 최종적으로 목표를 구체화했습니다.
  • 미팅 1에서 레지던트는 향후 3개월 동안 100개가 넘는 핵심 내과 주제 중 절반에 대한 접근법을 배우겠다고 말했습니다.
  • 미팅 2에서 이 계획은 달성할 수 없다는 것이 분명해졌고 코치는 계획을 수정할 것을 권유합니다. 두 사람은 레지던트가 매주 1~2개의 주제를 학습해야 한다는 데 동의합니다.
  • 마지막 세션에서 레지던트는 코치에게 시니어 레지던트 역할로 전환하면서 학습의 초점을 서비스에서 확인된 지식 격차에 맞춰 변경해야 한다고 전달합니다.

코치는 초기에 계획에 대해 상당한 조언을 제공했지만, 마지막 세션에 이르러 레지던트는 코치의 조언 없이도 계획을 조정할 수 있었습니다: 
Though some goals only came up once (e.g. goals for upcoming rotations), other goals were discussed at each session with evidence of evolution of the resident's plan to meet the goal across the year.

  • For example, in one dyad, the goal of improving content knowledge was brought up in the first meeting by the coach, returned to in the subsequent meetings and ultimately refined by the resident.
  • In Meeting 1, the resident states that they will try to learn an approach to half the over 100 core internal medicine topics in the following three months.
  • In Meeting 2, it is clear that this plan was not achievable, and the coach recommends revising the plan. Together, they agree that the resident should attempt to learn one to two topics per week.
  • By the last session, the resident relays to the coach that they needed to change the focus of their studies as they transitioned to the senior resident role, to the knowledge gaps identified on service.

The coach provided significant input on the plan early on, but by the last session, the resident was able to adjust their plan without input from the coach:

공부 습관이 작년부터 조금씩 적응하고 바뀌어야 한다는 것을 깨달았습니다... 임상적인 질문을 중심으로 하루에 15분씩 매일 하는 루틴 같은 것이 추상적인 내용이나 접근 방식에 대해 읽는 것보다 실제로 더 도움이 된다는 것을 알게 되었습니다. (레지던트 G, 미팅 4)
I realize that my study habits need to adapt and change a little bit from last year … I found that like a daily kind of routine with just 15 minutes a day kind of thing, based around a clinical question, is actually more helpful than reading about like abstract things or even an approach. (Resident G, Meeting 4)

목표를 달성하기 위한 계획을 함께 세우는 데 도움을 주기 위해 코치들은 광범위한 목표(예: 지식 기반 개선)에 대한 대화에 참여하여 그 목표를 어떻게 달성할 수 있는지에 초점을 맞춥니다. 이러한 토론에서 코치들은 스터디 그룹을 구성하거나 의도적인 학습 습관을 개발하는 것의 이점을 공유하는 등 레지던트로서의 전략을 공유했습니다. 이러한 계획은 종종 종단적으로 재검토되었습니다: 
To help co-construct plans to meet goals, coaches would engage in a dialogue about a broad goal (e.g. improve knowledge base), focusing on how that goal might be met. In these discussions, coaches shared their strategies as residents, including sharing benefits of forming study groups or of developing intentional study habits. These plans were often revisited longitudinally:

그리고 [이전 목표]가 다루어지지 않은 경우, 저는 다시 돌아가서 이것이 여러분의 이전 목표라고 말하고 이것이 방금 논의한 내용과 여러분이 작업하기로 선택한 것과 어떤 관련이 있는지 살펴봅시다. 그리고 X, Y, Z를 하겠다는 계획은 어떻게 진행되었으며 실제로 그 계획이 도움이 되었나요? (코치 6, 종료 인터뷰)
And then you know if [a previous goal] has not been covered, I would circle back and say well these are your previous goals and let us see how that relates to what you have just discussed and what you have chosen to work on. And how did it go with your plan of doing X, Y, Z and was that the plan that actually served you? (Coach 6, exit interview)

코치들은 EPA와 같은 직장 기반 평가를 완료하는 등 프로그램에서 요구하는 목표를 달성하는 데 도움이 되었습니다. 많은 Dyad들이 EPA를 완료하는 데 장애가 되는 요소(예: 질문을 잊어버리는 것, 프리셉터가 완료하는 것을 잊어버리는 것, 기술 문제)에 대해 논의했습니다. 여러 코치들은 이러한 장벽을 극복하는 방법에 대해 논의했으며, 몇몇 코치는 시스템 솔루션을 포함한 프로그램 개선을 옹호하겠다고 밝혔습니다. 예를 들어 
Coaches were helpful in troubleshooting goals required by the programme, for example, completing workplace-based assessments, such as EPAs. There was discussion in many of the dyads around the barriers to completing EPAs (e.g. forgetting to ask, preceptor forgetting to complete and technology issues). The dyad would discuss how to overcome these barriers, with several coaches indicating that they would advocate for programme improvements, including systems solutions. For instance:

제가 생각한 가장 좋은 방법은 아마도 다음에 하위 전문 서비스에 전화해야 할 때 선배에게 전화 통화를 들어달라고 요청하면 '그 컨설팅을 요청할 때 더 잘할 수 있었던 점은 다음과 같습니다'라고 말할 것입니다. 또는 컨설턴트를 지나가다가 만나서 환자에 대해 이야기하는 것도 좋습니다. 선배를 끌어들이면 컨설턴트도 함께 작성할 수 있을 거예요. (코치 1, 미팅 2)
I was going to say for [foundational EPA], the best way that I've thought of as far as getting [foundational EPA] is probably, the next time you need to call a subspecialty service, ask your senior to just listen to the phone call and they'll say, ‘Here's what you could have done better in asking for that consult’. Or if you meet the consultant in passing and talk about the patient or something like that. Just try to rope your senior into being there with you and they'll be able to fill it out. (Coach 1, Meeting 2)

드물게 코치는 레지던트에게 (시니어 레지던트의 환자 분류 기술과 같이) 수련 후반기에 더 적합한 목표를 다시 검토해 보라고 권유했습니다. 수련 첫 3개월 차의 주니어 레지던트가 의대생 교육에 대해 우려하며 공식적으로 교육 자료를 준비해야 하는지 논의했을 때 코치는 다음과 같은 통찰력을 제공했습니다: 
Rarely, the coach recommended to a resident that they revisit a goal more suited to later in training, such as senior resident triage skills. When a junior resident in their first 3 months of training was concerned about teaching medical students and discussed whether they should formally prepare teaching material, the coach offered this insight:

... 우리는 확실히 새로운 주니어들이 적극적으로 가르칠 것이라고 기대하지 않습니다. 그러니 여러분이 기여할 수 있는 모든 것, 그리고 여러분이 한 모든 것이 대단하지 않나요? ... 지금 이 시점에서는 여러분이 먼저 산소 마스크를 쓰고 제자리를 찾았으면 좋겠어요. (코치 6, 미팅 1)
… we're certainly not expecting new juniors to be actively teaching. So I just think anything that you were able to contribute and anything you did, isn't that great? … at this point in time, we're wanting you to put your own oxygen mask on first and find your feet. (Coach 6, Meeting 1)

4 토론
4 DISCUSSION

본 연구는 목표 공동 구성에 의도적으로 초점을 맞추어 내과 레지던트 수련 프로그램 첫 해의 종단 코칭에서 발생하는 목표 개발에 대해 조명합니다. 이 연구에서 종단 코칭은 코치와 레지던트가 함께 협력하여 레지던트의 요구, 고유한 피드백, 평가 및 경험에 맞는 계획을 맞춤화할 수 있었기 때문에 레지던트가 레지던트 생활의 일부 실제 기술과 관련된 목표를 논의하고 달성할 수 있는 공간을 만들었습니다.
Through an intentional focus on goal co-construction, our study sheds light on the goal development that occurs in longitudinal coaching in a first year of an internal medicine resident training programme. Longitudinal coaching in this study created a space for residents to discuss and achieve goals related to some of the practical skills of being a resident, as coaches and residents were able to work together to tailor plans specific to the residents' needs, unique feedback, assessments and experiences.

연구 결과에 따르면 코칭 논의는 주로 1년차 레지던트로서 기능하는 것과 관련된 목표(예: 학습 기술, 조직 기술, 교육, 연구, 건강, 경력 계획 및 시니어 레지던트로의 전환)에 초점을 맞추었으며, 직접적인 환자 진료 환경과 관련된 임상 역량 개발에는 덜 중점을 두었습니다. 이러한 비환자 진료 관련 영역에 대한 코칭이 학습자의 특정 수련 단계(이 경우 레지던트 1년차)와 관련된 전문직 정체성 개발을 향상시키는 데 핵심이 될 수 있습니다.18 다양한 수련 단계에서 이루어져야 하는 전문직 정체성 개발에 대한 지원은 의사의 전반적인 전문직 정체성 형성의 중요한 측면이지만 연구가 잘 이루어지지 않았습니다.18, 19 레지던트 전환과 같은 전환 시점에 레지던트를 지원하는 것이 중요한 것으로 나타났습니다.20-23 본 연구는 내과 전공의의 수련 전환 단계 이후에도 코칭 관계를 지속하는 것이 유익하다는 것을 보여줍니다. 이를 통해 레지던트들은 1년차 레지던트로서 수련의 기초부터 선임 레지던트로서 수련의 핵심, 그리고 최종적으로 진료 전환에 이르기까지 역량을 발전시키는 동안 전문가로서의 정체성을 개발할 수 있도록 지속적으로 지원받을 수 있습니다.24 
Our study reveals that coaching discussions mainly focused on goals related to functioning as a first-year resident (e.g. study skills, organisational skills, teaching, research, wellness, career planning and transitioning to senior residency), with less emphasis on developing clinical competencies related to direct patient care settings. It is possible that coaching around these non-patient care-related areas may be key to enhancing the professional identity development related to a particular stage of training of a learner, in this case, that of a first-year resident.18 Support for the professional identity development that needs to occur at various stages of training is an important aspect of overall professional identity formation of a physician, though it has been less well studied.18, 19 Supporting residents during transition points such as transitioning to residency has been shown to be important.20-23 Our study demonstrates the benefit for continuing coaching relationships beyond the transition to discipline stage of an internal medicine resident. This ensures that residents continue to be supported as they develop their professional identity during their progression of competencies, from foundations of discipline as a first-year resident, to core of discipline as a senior resident, and eventually to transition to practice.24

레지던트가 되는 방법을 의도적으로 지원하는 공간을 갖는 것은 종단 코칭의 중요한 측면일 가능성이 높으며, 레지던트들이 종단 코칭 관계를 보편적으로 높이 평가하는 이유일 수 있습니다.4, 11, 12 그러나 종단 코칭 환경에서 직접적인 임상 진료 관련 역량에 대한 논의가 현저히 부족하다는 점은 더 고려해야 할 사항입니다. 본 연구에 따르면 종단 코칭은 (바쁜 임상 환경에는 적합하지 않은 대화 유형인) '레지던트가 되기 위한 탐색'에 대해 논의할 수 있는 공간을 제공한다고 합니다. 환자 치료 역량에 대한 논의(예: 환자 상태 변화 인식 및 치료 목표 수립 필요성)는 임상 환경에서 자주 발생하므로 본질적으로 다른 곳에서 다루어질 수 있습니다.25 또는 우리 프로그램의 종단 코치는 임상 환경에서 레지던트를 직접 관찰하는 경우가 거의 없거나 전혀 없었기 때문에, 환자 치료 상호 작용을 공유하는 데 직접 참여하지 않아 논의하기가 더 어려웠을 수 있습니다. 자기 성찰 양식의 사전 제출로 인해 보다 가시적인 주제에 초점을 맞추게 되어 덜 구체적인 주제에 대한 논의에 대한 단서를 놓치거나, 전공의 간 목표의 동질성, 예를 들어 배려심 있고 지식이 풍부한 의사로 성장하는 것과 같은 중요한 목표에 집중하지 못했을 가능성이 있습니다. 마지막으로, 코치들이 레지던트 평가 데이터에 의도적으로 초점을 맞추다 보니 기회를 놓쳤을 수도 있습니다. 이는 자연스럽게 환자 진료 중 레지던트를 직접 관찰하는 즉각성에서 벗어난 코치로서 시간과 다양한 평가 과제에 걸쳐 성과 및 피드백 정보의 의미 결정을 지원하는 것이 얼마나 쉽고 자연스러운 일인지에 대한 의문을 제기합니다.
Having a space that intentionally supports how to be a resident is likely an important aspect of longitudinal coaching and may be why residents universally appreciate longitudinal coaching relationships.4, 11, 12 However, the notable lack of discussion around direct clinical care-specific competencies in the longitudinal coaching setting deserves more consideration. Our study suggests that longitudinal coaching provides the space to discuss navigating being a resident: a type of conversation that does not fit into a busy clinical environment. It may be that discussions around patient care competencies (e.g. recognising changes in patient status and the need to establish goals of care) occur frequently in the clinical setting and so are essentially dealt with elsewhere.25 Alternatively, longitudinal coaches in our programme rarely or never directly observed their residents in clinical settings and, therefore, were not directly part of any shared patient care interactions making it more difficult to discuss. It is possible that the pre-submission of a self-reflection form resulted in targeting topics that were more tangible, perhaps leading to missed cues for the discussion of less concrete topics, homogeneity of goals across dyads and the loss of focus on an overarching goal of, for example, developing into a caring, knowledgeable physician. Finally, there may have been missed opportunities due to the intentional focus of coaches on resident assessment data. This naturally begs the question of how easy or natural is it to support meaning-making of performance and feedback information across time and different assessment tasks, as a coach who is once removed from the immediacy of direct observation of the resident during patient care?

종단 코칭에서는 코치가 직접 관찰에 관여하지 않을 수 있으므로, 평가 '데이터'는 특정 루브릭과 역량 라벨에 맞추기 위해 환자 경험의 세부 사항이 제거된 채 탈맥락화됩니다. 데이터 학자들은 데이터는 표현적인 것이 아니라(즉, 데이터는 맥락과 무관하게 고정된 의미를 갖지 않음) 관계적이고 맥락적이라고 말합니다.26 따라서 코치와 레지던트는 데이터를 재맥락화해야 하며, 코치는 다양한 데이터가 특정 주장을 어느 정도 뒷받침하는지 반복적으로 이해해야 합니다. 코치는 코칭 토론에서 목표 공동 구성을 지원하기 위해 의미 있게 사용하기 위해 레지던트의 주장 및 해석과 관련하여 그렇게 해야 합니다. 코치와 학습자를 위한 특정 임상 성과/피드백 토론을 위해 평가 데이터를 재맥락화하는 것은 어려울 수 있지만, 성과에 대한 토론을 장려하기 위해 종단적 코칭에 직접 관찰 기회를 포함하면 코칭 관계와 대화의 성격이 달라질 수 있습니다. 
In longitudinal coaching, coaches may not be involved in direct observation, so the assessment ‘data’ is decontextualised, stripped of the specifics of the patient encounter, to fit within certain rubrics and labels of competence. Data scholars suggest that data are not representational (i.e. data do not have a fixed meaning independent of context) but, instead, relational and contextual.26 Therefore, the coach and resident were required to recontextualise the data, with the coach repeatedly needing to understand the extent to which various data support particular claims. The coach must do so in relation to the resident's claims and interpretations in order to use them meaningfully to support goal co-construction within a coaching discussion. Although recontextualising assessment data for specific clinical performance/feedback discussions for coach and learners might be a challenge, including direct observation opportunities for longitudinal coaching to encourage discussion around performance would alter the nature of the coaching relationship and dialogue.

4.1 제한 사항
4.1 Limitations

본 연구는 수련 첫 해 동안 피드백을 논의하고 성과 목표를 개발하기 위해 반복적인 코치-레지던트 미팅을 포함하는 종단적 코칭에 대한 단일 레지던트 프로그램의 접근 방식을 연구한 것이므로 연구 결과의 적용 가능성은 제한적입니다. CBME 내에서 종단적 코칭을 시행하는 방식은 시간이 지남에 따라 코칭이 진행되는 방식에 영향을 미칠 수 있으며 코치와 레지던트 간의 논의가 달라질 수 있습니다. 저희 교수진 개발에서는 R2C2와 목표 공동 구성을 강조했는데, 이러한 접근 방식이 코치-레지던트 간 토론에 영향을 미쳐 목표와 관련하여 두 집단 간에 유사성을 보이는 결과를 낳았을 수 있습니다. 이 연구는 코치와 레지던트 간의 실제 토론을 실시간으로 포함함으로써 이점을 얻었지만, 더 큰 데이터 세트를 사용했다면 기록된 대화 유형에서 더 다양한 유형을 발견했을 가능성이 있습니다. 
The transferability of our findings is limited as this was a study of a single residency programme's approach to longitudinal coaching involving iterative coach–resident meetings to discuss feedback and develop performance goals over their first year of training. Within CBME, variations in the implementation of longitudinal coaching may impact how coaching plays out over time and may lead to different coach–resident discussions. Our faculty development emphasised R2C2 and goal co-construction, and this approach may have impacted coach–resident discussions and resulted in the similarities we see across dyads with respect to goals. Though the study benefited from including actual discussions between coach and resident as they occurred in real time, it is possible that with a larger data set, we would have found a greater variety in the types of conversations recorded.

5 시사점
5 IMPLICATIONS

우리는 종단 코칭 프로그램이 1년차 레지던트에게 프로그램 요건을 탐색하는 과정에서 1년차 레지던트가 되는 방법에 대해 이야기할 수 있는 공간과 시간을 제공함으로써 직접적인 환자 진료 외에 레지던트의 직업적 정체성 형성에 도움이 되는 역할을 한다는 것을 보여주었습니다. 또한 레지던트들은 비슷한 수준의 수련 과정에서 비슷한 목표를 가질 수 있지만, 개인마다 이러한 목표를 달성하는 방법은 다릅니다. 코치는 목표 달성을 위한 계획과 관련하여 레지던트별 문제를 해결하는 데 중요한 역할을 할 수 있습니다. 이를 염두에 두고 코치는 레지던트 목표에 대한 코칭이 레지던트의 전문적 정체성 형성에 어떤 영향을 미칠 수 있는지에 대한 추가적인 교수진 개발을 통해 이점을 얻을 수 있습니다.
We have shown that our longitudinal coaching programme provides first-year residents a space and time to talk about how to be a first-year resident as they navigate the programme requirements, thus demonstrating a role in helping to develop professional identity formation of residents outside of direct patient care. What's more, though residents may have similar goals at similar levels of training, how an individual can meet these goals differs. The coach can play an important role in troubleshooting resident-specific challenges around plans to meet goals. With this in mind, coaches may benefit from further faculty development around how coaching around resident goals can impact professional identity formation of a resident.

향후 연구에서는 데이터 과학 렌즈를 통해 종단적 코칭 논의에서 환자 치료 과제가 어떻게 그리고 왜 두드러지게 나타나지 않는지 탐구하는 것을 고려할 수 있습니다. 물론, 특정 임상 성과/피드백 논의를 위해 평가 데이터를 재맥락화하는 문제는 특히 종단 코칭이 학습자가 진정한 환자 치료에 대한 책임이 증가함에 따라 자신의 진척도를 측정하는 종단 통합 수련과는 대조적으로 더 고려할 가치가 있습니다.27 교수진 개발을 고려할 때 코치에게 환자 치료와 관련된 문제를 논의하도록 유도할 수 있는 단서에 특히 주의를 기울이도록 요청하면 논의되는 목표 유형이 더 넓어질 수 있습니다. 즉, 코칭을 위한 스캐폴딩 구조와 개방형 코칭 회의 사이에 균형이 있다고 생각합니다. 종단적 코칭 요건에 더 많은 방향과 지원을 계속 추가하면 다양한 수련 단계에서 레지던트의 정체성 형성을 지원하는 기능이 저하될 위험이 있습니다. 더 많은 교수진 개발이 더 나은 것은 아닐 수도 있습니다. 종단적 코칭 대화가 역량과 전문적 정체성 형성 모두에 대한 공동 규제와 성찰을 개선하는 데 가장 잘 기여할 수 있는 방법에 대한 이해를 높이는 데 집중하는 것이 핵심일 수 있습니다. 
Future studies may consider exploring how and why patient care challenges might not feature prominently in longitudinal coaching discussions, perhaps through a data science lens. Certainly, the challenge of recontextualising assessment data for specific clinical performance/feedback discussions merits further consideration, especially as longitudinal coaching is in contrast longitudinal integrated clerkships, where learners gage their progress by their increased responsibility for authentic patient care.27 In considering faculty development, it is possible that asking coaches to pay particular attention to cues that may lead to discussing issues related to patient care will broaden types of goals discussed. That said, we suspect there is a balance between scaffolding structure for coaching and open-ended coaching meetings. There is a risk of continuing to add more direction and supports to the longitudinal coaching requirements, as this may detract from its ability to support residents in their identity formation at various stages of training. It may be that more faculty development is not better. Focusing on improving our understanding of how longitudinal coaching conversations can best contribute to improving co-regulation and reflection on both competencies and professional identity formation may be the key.

 


Med Educ. 2023 Mar;57(3):265-271. doi: 10.1111/medu.14942. Epub 2022 Oct 11.

Goal co-construction and dialogue in an internal medicine longitudinal coaching programme

Affiliations

1Department of Medicine, University of British Columbia, Vancouver, British Columbia, Canada.

2Department of Occupational Science and Occupational Therapy, University of British Columbia, Vancouver, British Columbia, Canada.

3Centre for Research in Assessment and Digital Learning, Deakin University, Melbourne, Victoria, Australia.

PMID: 36181337

DOI: 10.1111/medu.14942

Abstract

Background: Longitudinal coaching in residency programmes is becoming commonplace and requires iterative and collaborative discussions between coach and resident, with the shared development of goals. However, little is known about how goal development unfolds within coaching conversations over time and the effects these conversations have. We therefore built on current coaching theory by analysing goal development dialogues within resident and faculty coaching relationships.

Methods: This was a qualitative study using interpretive description methodology. Eight internal medicine coach-resident dyads consented to audiotaping coaching meetings over a 1-year period. Transcripts from meetings and individual exit interviews were analysed thematically using goal co-construction as a sensitising concept.

Results: Two themes were developed: (i) The content of goals discussed in coaching meetings focused on how to be a resident, with little discussion around challenges in direct patient care, and (ii) co-construction mainly occurred in how to meet goals, rather than in prioritising goals or co-constructing new goals.

Conclusions: In analysing goal development in the coach-resident relationships, conversations focused mainly around how to manage as a resident rather than how to improve direct patient care. This may be because academic coaching provides space separate from clinical work to focus on the stage-specific professional identity development of a resident. Going forward, focus should be on how to optimise longitudinal coaching conversations to ensure co-regulation and reflection on both clinical competencies and professional identity formation.

보건의료 업무를 통한 학습: 전제, 기여, 실천(Med Educ, 2016)
Learning through health care work: premises, contributions and practices
Stephen Billett

 

소개
Introduction

오랫동안 인식되어 온 바와 같이, 업무 환경에서의 경험은 보건의료 종사자의 초기 직업 준비와 직업 생활 전반에 걸친 지속적인 개발 모두에서 학습에 뚜렷한 기여를 할 수 있습니다.1, 2 그러나 이러한 목적을 위해 직장 경험을 효과적으로 활용하고 보건의료 실무의 혁신과 효율성을 증진하려면 이러한 경험의 기여와 한계를 이해하고 실제 행동에 활용해야 합니다.3, 4 이러한 목표를 달성하려면 교육 과학의 많은 가정이 '학교 교육'(즉, 교육 기관에서의 학습 경험)에 기반을 두고 있기 때문에 교육 과학의 정보를 바탕으로 하지만 제약이 없는 학습 설명을 참조할 필요가 있습니다. 
As long recognised, experiences in work settings can make distinct contributions to health care workers’ learning, both in their initial professional preparation and ongoing development across their professional working lives.1, 2 Yet, to effectively utilise workplace experiences for these purposes and advance innovation and efficacy in health care practice requires the contributions and limitations of these experiences to be understood, and used to inform practical actions.3, 4 This goal requires drawing on accounts of learning informed, but not constrained, by educational science as many of its assumptions are founded in ‘schooling’ (i.e. taught experiences in educational institutions).

이러한 우려를 해결하기 위해 직장에서의 학습에 관한 경험적 탐구와 관련 문헌을 바탕으로 의료 업무에서의 일상적인 경험이 미래의 도전 과제 해결을 포함하여 교육적으로 가치 있는 것으로 자리매김할 수 있는 방법을 설명합니다. 항상 의료 직종에서 시작되는 것은 아니지만, 이러한 질문은 다음에 대해 잠재적으로 임상 환경에 적용할 수 있는 통찰력을 제공합니다. 

  • (i) 이러한 환경을 통한 학습이 어떻게 발생하는지,
  • (ii) 이러한 학습 과정과 결과의 잠재력과 한계는 무엇인지,
  • (iii) 업무 내에서 그리고 업무를 통해 학습과 혁신을 촉진할 수 있는 방법은 무엇인지

In addressing these concerns, empirically-based inquiries regarding learning in workplaces and the relevant literature are drawn upon to describe how everyday experiences in health care work can be positioned as educationally worthwhile, including addressing future challenges. Although not always founded in health care occupations, these inquiries offer insights that can potentially be translated to clinical settings about:

  • (i) how learning through those settings arises,
  • (ii) the potential and limitations of these learning processes and outcomes, and
  • (iii) how learning and innovation can be promoted in and through work.

기본적으로, 보건의료 업무를 통한 효과적인 학습은 한편으로는 임상 환경에서 제공되는 활동과 상호작용, 다른 한편으로는 보건의료 종사자가 이러한 활동에 참여하는 방식 사이의 이중성을 통해 발생하는 것으로 설명합니다.5 이는 학습이 일상적인 업무 활동이나 임상 교육과 같은 중재를 통해 발생하는 경우 모두 해당됩니다. 
Foundationally, they explain effective learning through health care work as arising through a duality between the activities and interactions afforded in clinical settings, on the one hand, and how health care workers elect to engage with them, on the other.5 This is the case whether that learning arises through everyday work activities or interventions, such as clinical teaching.

따라서 원칙적으로 교육 기관에서의 경험을 통한 학습과 임상 환경에서의 학습에 대한 설명에는 차이가 없습니다.6 둘 다 경험을 제공하고 개인(즉, 학생과 종사자)은 자신에게 주어진 경험을 어떻게 활용할 것인지를 선택합니다. 그러나 질적으로 보면 임상 환경은 독특한 물리적, 사회적 환경, 활동, 상호작용을 통해 경험에 대한 접근성을 제공하고 학습 보건의료 관행에 부합하는 기여를 합니다. 이러한 환경이 제공하는 단서와 단서, 직업적으로 진정한 목표 지향적 활동과 상호작용은 교실 기반 경험만으로는 불가능한 방식으로 효과적인 보건의료 업무에 필요한 지식에 접근하고 이를 확보하는 데 도움을 줍니다.7 그러나 임상 경험을 통한 학습과 관련된 한계, 단점 및 위험에 대한 명확한 증거가 있습니다.7 따라서 이러한 경험은 한계를 보완하기 위한 노력으로 확장되는 업무 수행에 필요한 학습 결과를 실현하는 잠재력 측면에서 가치를 평가할 필요가 있습니다. 이러한 자질을 정교화하고 현재와 미래의 의료 종사자의 학습을 어떻게 해결할 수 있는지를 발전시키는 것이 이 연구의 핵심입니다. 의료 서비스 실무에서 초기 전문성 준비와 지속적인 개발 모두에서 직장 경험이 차지하는 역할이 커지고 실무에서 혁신과 효율성에 대한 요구가 증가함에 따라 이러한 이해가 특히 중요해지고 있습니다. 
In principle, therefore, there is no difference between accounts of learning through experiences in educational institutions and in learning in clinical settings.6 Both afford experiences and individuals (i.e. students and workers) elect how they engage with what is afforded them. However, qualitatively, clinical settings, with their distinctive physical and social environments, activities and interactions, afford access to experiences and make contributions aligned with learning health care practices. The clues and cues provided by those settings, and their occupationally authentic goal-directed activities and interactions grant access to and assist in securing the kinds of knowledge required for effective health care work, in ways that classroom-based experiences alone cannot.7 There is, however, clear evidence of limitations, shortcomings and risks associated with learning through workplace experiences.7 Hence, these experiences need to be valued in terms of their potential for realising the learning outcomes that are required for workplace performance that extends to efforts to redress its limitations. Elaborating these qualities and advancing how they can address health care workers’ learning now and in the future is the central focus here. The increasing role of workplace experiences in both initial professional preparation and ongoing development in health care practice, and the growing requirement for innovation and efficacy in practice, makes such understandings particularly important.

일을 통한 학습을 이해하기 위한 네 가지 전제
Four premises for understanding learning through work

'학교 교육'의 교훈, 관행 및 초점(즉, 교육 기관 및 관행의 교훈)은 그 자체로 필수적이지만, 현재 효과적인 학습 경험을 구성하는 요소에 대한 고려를 지배하고 왜곡할 수 있습니다. 이는 의도적인 교육 프로그램과 경험 외에서 발생하는 학습을 무시하거나 경시하는 결과를 초래할 수 있습니다.6 따라서 일을 통한 학습을 지원하는 프로세스는 해당 학습이 어떻게 가장 잘 정렬되고, 지원되고, 강화될 수 있는지를 설명할 수 있는 전제를 사용하여 이해해야 합니다. 현재 이러한 네 가지 전제가 발전했습니다. 
The precepts, practices and focuses of ‘schooling’ (i.e. those of educational institutions and practices), although essential in their own right, currently dominate and can distort considerations of what constitutes effective learning experiences. This can lead to the ignoring or downplaying of learning that arises outside of intentional educational programmes and experiences.6 Therefore, processes supporting learning through work need to be understood using premises that can describe how that learning can be best ordered, supported and augmented. Four such premises are now advanced.

첫째, 학습은 항상 일어납니다. 학습은 인간의 사고와 행동의 필연적인 결과입니다.8, 9 실무자가 업무 활동과 상호작용에 참여할 때, 과제를 완료하는 것 이상으로 그들이 알고 있고, 할 수 있고, 가치 있게 여기는 것(즉, 학습)에 변화가 일어나는 것으로 나타났습니다.7 따라서 학습은 의도적인 교육 경험을 위해 예약되거나 반드시 강화되는 것이 아닙니다. 실제로 학습이 이루어지는 장소보다는 일상적인 업무 경험의 유형과 질, 그리고 그에 대한 개인의 반응이 학습 내용을 형성합니다.10 개인에게 새로운 임상 과제나 활동에 참여하는 것은 새로운 학습의 잠재력을 제공합니다. 새로운 경험에 효과적으로 참여하고 적절한 지원을 받으면 임상 역량을 더욱 발전시킬 수 있습니다. 그러나 개인의 기존 역량 또는 준비도(즉, 근위 발달 영역)를 벗어난 활동은 제한적이거나 부정적인 결과(예: 혼란 또는 좌절)를 초래할 수 있습니다.7 따라서 경험이 많은 동료의 지도가 필요합니다. 중요한 것은 일상적이거나 익숙한 임상 활동도 절차를 연마하고 개선하여 임상 추론에 필요한 인과 관계와 연관성을 확립함으로써 보다 효과적인 진료로 이어질 수 있다는 점입니다.12 이러한 점진적 학습은 종종 의식적으로 인식하지 못한 채 발생하며, 실무자가 기억하거나 연구자가 포착하기 어려울 수 있다는 점입니다. 따라서 개인이 알고 있고, 할 수 있고, 가치 있게 여기는 것(즉, 학습)의 변화는 직장 생활 전반에 걸쳐 진행되며 교육 프로그램이나 교사의 개입에 의존하지 않습니다. 
First, learning occurs all the time. It is an inevitable consequence of human thinking and acting.8, 9 When practitioners engage in work activities and interactions, more than completing tasks, changes have been shown to take place in what they know, can do and value (i.e. learning).7 Hence, learning is not reserved for or necessarily enhanced by intentional educational experiences. Indeed, rather than where they occur, it is the type and quality of everyday work experiences and individuals’ responses to them that shape what is learned.10 Engaging in clinical tasks or activities that are novel to individuals offers the potential for new learning. Novel experiences, if effectively engaged with and adequately supported, can lead to development of further clinical capacities. However, activities beyond the scope of individuals’ existing competence or readiness (i.e. their zone of proximal development) 11 can lead to limited or negative outcomes (e.g. confusion or frustration).7 Hence, there is a need for guidance by more experienced co-workers. Importantly, routine or familiar clinical activities can also lead to more effective practice through honing and refining procedures and establishing causal links and associations of the kind required for clinical reasoning.12 This incremental learning often arises without conscious awareness and can be difficult to recall by practitioners and capture by researchers. So, changes in what individuals know, can do and value (i.e. learning) are ongoing across working lives and are not dependent on educational programmes or teachers’ interventions.

둘째, 연구에 따르면 근로자는 업무 활동에 참여하면서 자신의 직업 활동을 재구성하고13 잠재적으로 변화시킵니다.14 따라서 보건의료 종사자는 특정 시점과 특정 상황에서 특정 목표를 향해 임상 업무를 수행하면서 자신의 직업을 재구성하고, 이를 통해 직업을 유지하고 점진적으로 변화시키는 데 관여합니다. 때때로 이러한 리메이킹은 직업적 관행의 변화로까지 확장되기도 합니다. 현재 전 세계 의료 종사자들은 에볼라 바이러스를 억제하기 위해 감염 관리 관행을 바꾸고 있습니다. 기존 프로토콜이 실패함에 따라 새로운 절차가 개발, 시험, 제정되어 의료 관행이 변화하고 있습니다. 따라서 개인에게 발생하는 변화(예: 학습)뿐만 아니라 직종도 근로자의 행동을 통해 변화합니다. 따라서 미래의 임상 절차를 식별, 수행 및 평가하고 혁신을 확보하는 것은 필연적으로 보건의료 업무와 학습의 동시 발생과 관련이 있습니다. 
Second, studies indicate that as workers engage in work activities they also remake,13 and potentially transform, their occupational activities.14 So, as health care practitioners carry out their clinical work at particular moments in time and under particular circumstances, directed towards specific goals, they are engaged in remaking their occupations, thereby sustaining and, incrementally, transforming them. Sometimes, that remaking extends to the transformation of occupational practice. Worldwide, health care workers are currently changing their infection control practices to contain the Ebola virus. As existing protocols fail, new procedures are developed, trialled and enacted, thereby transforming health care practice. So, more than changes arising in individuals (i.e. learning), occupations also change through workers’ actions. Hence, identifying, carrying out and evaluating future clinical procedures and securing innovations are inevitably linked to the co-occurrence of health care work and learning.

셋째, 임상 지식(예: 의학, 방사선 촬영 등)은 역사, 문화, 상황적 요구사항의 산물이기 때문에 근로자가 이를 확보하기 위해서는 접근하고 참여해야 합니다. 직장 환경은 물리적 및 사회적 환경, 실제 직업 사례를 구성하는 활동 및 상호 작용을 통해 이러한 지식의 측면에 대한 접근성을 제공하는 것으로 나타났습니다.8 그러나 개인이 이러한 경험에 접근하는 것 이상으로, 경험한 것의 가치에 대한 평가를 포함하여 효과적인 학습이 이루어지려면 이러한 환경에 대한 적극적인 참여가 필요합니다. 이러한 참여는 업무를 통한 일상적인 사고와 행동을 통해 발생하며, 개인의 학습과 개발이 개인적으로 매개된다는 점을 강조합니다. 
Third, as clinical knowledge (e.g. that for medicine, radiography, etc.) is a product of history, culture and situational requirements, it has to be accessed and engaged with to be secured by workers. Workplace settings have been shown to provide access to aspects of that knowledge through physical and social environments, and activities and interactions that comprise authentic instances of occupations.8 However, more than individuals accessing these experiences, their active engagement with these environments is required for effective learning to take place, including their appraisals of the worth of what is experienced. This engagement arises through everyday thinking and acting through work, and emphasises that an individual's learning and development are personally mediated.

넷째, 학습과 발달은 서로 분리되어 있지만 상호 의존적인 두 가지 과정입니다. 개인은 경험을 통해 학습하면서 순간순간의 학습 또는 미시적 유전적 발달이 지속적으로 일어난다.15 그러나 이러한 학습은 이미 알고 있고, 할 수 있고, 가치 있게 여기는 것, 즉 이전의 경험과 학습의 유산legacies(즉, 온톨로지의 발달)을 전제로 한다.15 따라서 개인의 발달은 '동일한' 경험에서도 다르게 배울 수 있음을 의미한다.6, 16 따라서 학습과 발달 사이의 상호 연계는 어느 정도는 개인에 따라 달라질 수 있다. 이 모든 것은 임상 실습을 통한 학습이 가장 잘 진행되고 지원될 수 있는 방법을 촉진하기 위해서는 개인을 지식의 의미 창조자이자 구성자로 자리매김하는 것이 핵심임을 시사합니다. 
Fourth, learning and development are two separate, but interdependent, processes. Moment-by-moment learning or micro-genetic development continually occurs as individuals learn through their experiences.15 However, this learning is premised on what they already know, can do and value, which are legacies of earlier experiences and learning (i.e. their ontogenetic development).15 So, people's personal development means that they may learn differently from the ‘same’ experience.6, 16 Hence, the interlinking between learning and development is person dependent, to a degree. All this suggests that positioning individuals as meaning-makers and constructors of knowledge is central to promoting how learning through clinical practice might best progress and be supported.

이러한 전제에서 볼 때, 업무를 통한 학습은 직장에서 일상적으로 사고하고 행동하는 정상적인 결과로 간주됩니다. 사회적 및 물리적 환경, 활동 및 상호 작용을 구성하는 요소는 이러한 학습과 그 효과를 형성합니다. 또한 학습자에게 제공되는 경험과 학습자의 참여 방식은 의료 업무를 통해 학습하는 지식의 유형과 범위의 핵심입니다. 직장을 그 자체로 학습 환경으로 간주하기 위한 이러한 전제를 설명했으므로 이제 일을 통한 학습의 특수한 특성을 자세히 설명할 필요가 있습니다. 
From these premises, learning through work is seen as a normal outcome of everyday thinking and acting at work. Factors comprising the social and physical environments, and their activities and interactions, shape that learning and its efficacy. Also, the experiences afforded to learners and how they engage with them are central to the type and extent of knowledge learned through health care work. Having outlined these premises for considering workplaces as learning environments in their own right, it is necessary to elaborate the particular qualities of learning through work.

일을 통한 학습
Learning through work

인류 역사를 통틀어 작업 활동에 참여하는 것이 가장 일반적인 학습 방식입니다.17 대부분 관찰, 모방, 연습(예: 미메시스), 간혹 직접 지도를 통해 이루어졌지만, 가르치는 경우는 거의 없었습니다.8 비교적 최근까지만 해도 대부분의 직업을 배울 수 있는 유일한 수단이 바로 이러한 방식이었습니다. 근대 국민국가가 형성되고 산업화가 진행되면서 생겨난 '학교 교육의 시대' 이전에는 교육적 제공educational provision이 있는 직업(예: 의학)이 거의 없었습니다. 그러나 그러한 직업조차도 실습에 기반한 경험에 의존했습니다. 실제로 그리스에서는 학생들이 실제 의료 경험에 대한 접근성이 부족한 점을 보완하기 위해 해부학 수업과 교과서가 의학교육에 도입되었습니다.17 관찰과 모방의 과정은 직장을 포함하여 개인의 삶에서 일어나는 많은 학습의 중심이며, 이는 대부분 가르치거나 안내하지 않고 진행됩니다.18, 19 이러한 주장은 교육 규정이 보편화되고 정통적인 학교 교육 사회에 사는 사람들에게는 논쟁의 여지가 있는 것처럼 보일 수 있습니다. 그러나 조던은 인류 역사에서 가르침은 항상 부차적인minor 지식 습득 방법이었다고 지적합니다. 그녀는 이렇게 조언합니다:  
Across human history, participating in work activities is the commonest mode of learning.17 Mostly this has taken place through observation, imitation, practice (i.e. mimesis) and occasional direct guidance, but only rarely teaching.8 Until relatively recently, this was the only means by which most occupations were learned. Before the ‘era of schooling’, which arose with the formation of modern nation states and industrialisation, very few occupations (e.g. medicine) had educational provisions. However, even those occupations relied on practice-based experiences. Indeed, in Hellenic Greece anatomy classes and textbooks were introduced into medical education to compensate for a lack of student access to authentic medical experiences.17 Processes of observation and imitation are central to much of the learning that takes place over an individual's life, including that at work, which largely proceeds without being taught or guided.18, 19 Such claims may seem contentious to those living in schooled societies where educational provisions are ubiquitous and orthodox. However, Jordan 19 notes that teaching has always been a minor method of knowledge acquisition in human history. She advises:

... 교훈적인 교수 학습 방식은 우리 학교에서 가장 자연스럽고 ... 가장 효과적이고 효율적인 교수 학습 방법으로 당연하게 여겨질 정도로 널리 퍼져 있습니다. 이러한 견해는 관찰과 모방을 통해 학습하는 우리 고유의 문화에서 많은 사례가 있음에도 불구하고 유지되고 있습니다.
… the didactic mode of teaching and learning has come to prevail in our schools to such an extent that is often taken for granted as the most natural, … most efficacious and efficient way of going about teaching and learning. This view is held despite the many instances in our own culture of learning through observation and imitation.

따라서 인류 역사를 통틀어 의료 업무와 종사자에게 중요한 의미를 지닌다는 점을 고려할 때,4 이러한 경험의 특징과 기여에 대해 간략히 설명할 가치가 있습니다. 
Therefore, given its significance for health care work and workers across human history,4 the characteristics and contributions of these experiences are worthy of a brief elaboration.

다양한 산업 분야에서 관찰, 인터뷰, 중요 사건에 대한 회상 등을 통해 근로자가 업무를 통해 그리고 업무를 위해 학습하는 방식을 연구한 결과 네 가지 주요 기여 요인이 확인되었습니다.7

  • 첫째, 근로자가 목표 지향적인 업무 활동과 상호작용에 참여하여 '그냥 하는 것'을 통해 절차적, 개념적, 성향적 지식을 습득하게 됩니다. 업무 활동에 참여하려면 개인이 알고 있고, 할 수 있고, 가치 있는 것을 활용해야 하며, 이러한 활동을 완료함으로써 개인이 변화할 수 있습니다.
  • 둘째, 직장의 사회적, 물리적 환경은 이러한 활동을 수행하고 학습하는 데 필요한 단서를 제공합니다. 다양한 직종에 걸쳐 근로자들은 학습을 위해 관찰과 다른 사람의 이야기를 듣는 것이 중요하다고 일관되게 보고했습니다. 이러한 '간접적' 지침은 업무 및 학습 과정을 모니터링하고 안내하는 목표(즉, 달성해야 하는 목표)를 생성하는 것으로 밝혀졌습니다.
  • 셋째, 업무 활동연습 기회를 제공하므로 사람들은 과제를 효과적으로 수행하고 임상적 추론과 같은 과제에 필요한 종류의 개념 간에 인과관계와 명제적 연결을 구축하는 능력을 연마할 수 있습니다.12
  • 넷째, 경험이 많은 근로자의 밀착 지도학습하기 어렵고 시행착오를 통해 가장 잘 배울 수 없는 지식에 접근하고 확보하는 데 도움이 됩니다.7 

Using observations, interviews and recall of critical incidents across a range of industries, studies of how workers learn through and for their work have identified four key contributing factors.7 

  • First, through workers engaging in goal-directed work activities and interactions – ‘just doing it’ – procedural, conceptual and dispositional knowledge is acquired. Engagement in work activities requires individuals to utilise what they know, can do and value, and through completing those activities these can change.
  • Second, workplaces’ social and physical environments afforded clues and cues about performing and learning those activities. Across a range of occupations, workers consistently reported the importance of observation and hearing others for their learning. This ‘indirect’ guidance was found to generate goals (i.e. what needs to be achieved) that guide and permit monitoring of work and learning processes.
  • Third, work activities afford opportunities for practice, so people can hone their abilities to enact tasks effectively and build causal and propositional links amongst concepts of the kind required for tasks such as clinical reasoning.12 
  • Fourth, close guidance by more experienced workers assists in accessing and securing knowledge that is difficult to learn and would not be best learned through trial and error.7

이 네 가지 기여 요인 중 세 가지가 주로 학습자의 행동, 주체성, 의도에 기반하고 있다는 점은 주목할 만합니다. 이들은 보다 전문적인 작업자와의 활동을 포함하여 경험한 것에 대한 적극적인 참여를 강조합니다. 종단적 지방 배치 의대생을 대상으로 한 인터뷰 기반 연구에 따르면, 병행 진료를 통해 임상 의사 결정에 참여한 의대생은 교육 병원에서 보다 제한된 활동에 참여한 동료가 확보(즉, 학습)한 지식에 비해 더 풍부하고 적용 가능한 의학 지식을 생성하는 것으로 나타났습니다.20 따라서 진정한 활동과 상호작용, 흥미와 집중적인 의도적 참여의 조합은 효과적인 직장 학습 경험에 핵심적으로 기여하는 것으로 종합적으로 간주됩니다.
It is noteworthy that three of these four contributions are primarily based on learners’ actions, agency and intentions. They emphasise active engagement with what is experienced, including activities with more expert workers. An interview-based study of medical students in longitudinal rural placements found that their engagement with clinical decision making through parallel consultations was held to be generative of richer and more applicable medical knowledge compared with that secured (i.e. learned) by their peers who engaged in more restricted activities in a teaching hospital.20 So, the combination of authentic activities and interactions, interest and focused intentional engagement are held collectively as key contributions to effective workplace learning experiences.

그러나 업무를 통한 학습의 잠재적 한계는 여러 연구에서 분명하게 드러납니다.7 근로자들은 필요한 활동에 대한 접근성이 부족하고, 해당 환경에서 직업 지식을 효과적으로 습득하는 데 필요한 직접적인 지침이 부족하다고 보고합니다. 명시적이거나 접근하기 어려운 경우, 개인은 업무 및 학습 목표와 일부 업무 목표를 달성하는 방법을 이해하는 데 어려움을 느낀다고 보고합니다. 또한 실습을 통해 배운 내용이 부적절할 수 있습니다(예: 좋지 않거나 도움이 되지 않거나 위험한 습관이나 관행). 또한 근로자는 적응 학습을 생성하는 방식에 참여하기를 꺼릴 수 있습니다.7 따라서 의료 환경에서 직장 경험이 학습에 어떻게 도움이 될 수 있는지 평가할 때 이러한 잠재적 한계를 보완할 수 있는 조치가 필요합니다. 그러나 잠재력을 효과적으로 활용하고 한계를 보완하기 위한 아이디어는 교육 프로그램의 정설과 개념을 뛰어넘어야 합니다. 이러한 가정, 관행(예: 교육) 및 담론은 제약이 될 수 있고 도움이 되지 않을 수 있습니다
However, the potential limitations of learning through work are evident across these studies.7 Workers report a lack of access to required activities and the direct guidance needed for effectively gaining occupational knowledge in those settings. When they are not explicit or accessible, individuals report difficulty in understanding the goals for their work and learning, and how to achieve some work goals. Also, what is learned through practice can be inappropriate (i.e. bad, unhelpful or dangerous habits or practices). In addition, workers can be reluctant to participate in ways that generate adaptive learning.7 So, in appraising how workplace experiences can assist learning in health care settings, measures to redress these potential limitations are required. However, ideas for effectively utilising their potential and redressing limitations need to go beyond the orthodoxies and conceptions of educational programmes. Their assumptions, practices (i.e. teaching) and discourse can be constraining and unhelpful.

업무에 필요한 전략적이고 구체적인 절차의 대부분은 이러한 기관에서 선호하는 선언적(즉, '상태화 가능한') 형태의 지식으로는 표현할 수 없거나 포착할 수 없습니다.

  • 구체화된 앎의 방식(예: 청진 21)도 이러한 형식에 의해 수용되지 않으며,
  • 일부 의료 진단 및 치료에 필수적인 촉각적 참여(예: 느낌 및 촉각 능력)도 마찬가지입니다.
  • 선언적 형식에 의존하는 이 담론은 윤리적 행위와 같은 성향(예: 가치, 관심, 의도)을 수용하는 데도 어려움을 겪습니다.

교육 담론은 또한 교훈적인 가르침을 강조하기 때문에,19 일을 통한 학습과의 관련성을 제한합니다. 그러나 교육 담론에 대한 이러한 비판은 교육 제공, 교사의 업무 및 교육 기관에서의 경험의 본질적인 기여를 축소하려는 의도가 아닙니다. 대신, 교육 담론에서 선호하는 기준이 아니라 직장에서의 학습 경험이 그 자체로 평가받아야 한다는 것입니다. 이러한 플랫폼을 통해 이러한 학습 경험을 효과적으로 활용하고, 최적화하고, 보강할 수 있는 방법에 대한 새로운 평가를 할 수 있습니다. 

Much of the strategic and specific procedures required for work are not expressible or captured by the declarative (i.e. ‘stateable’) forms of knowledge favoured in those institutions.

  • Embodied ways of knowing (i.e. auscultation 21) are also not accommodated by such forms, nor is
  • haptic engagement (i.e. feeling and tactile competence), which is essential to some health care diagnoses and treatments.
  • With its reliance upon declarative forms, this discourse also struggles to accommodate dispositions (i.e. values, interest and intentionality), for instance ethical conduct.

The educational discourse also emphasises didactic teaching,19 thereby limiting its relevance to learning through work. This critique of the educational discourse is, however, not intended to diminish the essential contributions of educational provision, teachers’ work and experiences in educational institutions. Instead, the concern here is for workplace learning experiences to be appraised on their own terms and not on bases favoured in educational discourse. Such a platform permits fresh appraisals about how these learning experiences can be utilised effectively, optimised and augmented, as advanced below.

의료 업무를 위한 학습: 실습 커리큘럼, 교육학 및 개인적 인식론
Learning for health care work: practice curricula, pedagogies and personal epistemologies

이러한 전제를 바탕으로 직장 내 경험을 효과적으로 활용하고 보강할 수 있는 방법을 이해하는 것이 중요합니다. 일을 통한 학습에 관한 실용적인 탐구와 문헌은 의료 서비스 직장을 효과적인 학습 환경으로 만들기 위한 세 가지 핵심 기반을 제공합니다. 이는 의료 종사자와 직장이 의료 업무에서, 의료 업무를 통해, 의료 업무를 위한 학습을 어떻게 지원할 수 있는지에 대한 해석이 가능한 것으로 간주됩니다. 다음은 다음과 같습니다:

  • (i) 실천 커리큘럼 - 보건의료 지식을 습득하는 데 필요한 경험의 유형과 순서,
  • (ii) 실천 페다고지 - 보건의료 환경에서 학습을 강화하는 활동과 상호작용,
  • (iii) 개인의 인식론적 실천 (즉, 개인이 알고 있고, 할 수 있고, 가치 있게 여기는 것) - 개인이 지식을 해석하고 구성하는 방식을 형성

이제 각각에 대해 차례로 설명합니다.
Following these premises, it is important to understand how workplace experiences can be effectively utilised and augmented. The practical inquiries and literature about learning through work, offer three key bases for making health care workplaces effective learning environments. These are seen as translatable into how health care practitioners and workplaces can support learning in, through and for health care work. These are:

  • (i) practice curricula - the types and sequencing of experiences required to gain health care knowledge,
  • (ii) practice pedagogies – activities and interactions that augment learning in health care settings, and
  • (iii) individuals’ epistemological practices (i.e. what individuals know, can do and value) that shape how they engage in construing and constructing knowledge.

Each is now discussed in turn.

실천 커리큘럼
Practice curriculum

커리큘럼은 '따라야 할 과정' 또는 '진행해야 할 길'을 의미합니다.22 이와 유사하게, 개인이 효과적인 업무에 필요한 직업 기술을 배우기 위해 진행하는 업무 활동의 경로가 있습니다. 이러한 경험에 초점을 맞춘 인류학 연구에 따르면 직업의 일상 업무에 몰입하는 과정에서 많은 학습이 이루어진다고 합니다.18, 19, 23 Lave의 테일러링 견습과정에 대한 설명에 따르면,14 초보자가 필요한 업무 수행(즉, 학습 목표)을 관찰할 수 있는 기회에 점진적으로 참여한 다음, 업무 수행에 필요한 기술을 배우고 개선할 기회를 제공하는 활동을 하는 경험 경로를 확인할 수 있습니다. 그러나 기존 업무 경험을 통해 접할 수 있거나 접하지 못할 업무에 대한 학습을 촉진하기 위해 이러한 연구들은 의도적으로 경험을 구조화하거나 다른 곳에서 경험을 제공할 수 있음을 보여줍니다.18, 24 따라서 실천 교육과정은 업무 환경에서 경험에 접근할 수 있는 기회를 마련하여 효과적으로 실습할 수 있는 기술을 점진적으로 확보하는 것을 포함합니다. 이러한 경로는 종종 실수의 결과가 심각하지 않은 작업에 초보자를 먼저 참여시킨 다음, 실수의 결과가 더 심각한 작업으로 이동하는 것을 전제로 합니다.14, 20, 24, 25
The word curriculum means the ‘course to follow’ or ‘track to progress along’.22 Analogously, there are pathways of work activities along which individuals progress to learn the occupational skills required for effective work. Anthropological studies focusing on such experiences report that much learning arises through immersion in the everyday tasks of an occupation.18, 19, 23 Lave's account of a tailoring apprenticeship,14 identifies a pathway of experiences that engaged novices incrementally in opportunities to observe the required work performance (i.e. goals for learning), then activities that progressively provided opportunities to learn and refine the skills required to perform work tasks. However, to promote learning of tasks that might or will not be encountered through existing work experiences, these studies indicate that there can be the deliberate structuring of experiences or the provision of experiences elsewhere.18, 24 The practice curriculum, therefore, involves arranging access to experiences in work settings to progressively secure the skills to practice effectively. Such pathways are often premised on first engaging novices in tasks where the consequences of making mistakes are not serious, and then moving them on to tasks where the consequences of errors are more severe.14, 20, 24, 25

이러한 경험은 앞서 언급했듯이 의도적으로 순서를 정할 수 있습니다. 조산대학생들을 대상으로 한 연구에 따르면, 두 가지 종류의 실습 중 연속간호 경험에 처음 참여했을 때 산모의 관점에서 출산 과정을 이해하게 되었고, 학생들은 산모가 직면하는 문제와 그들의 우려를 알게 되었습니다.25 즉, 조산대학생들은 임상 배치에 참여하기 전에 전체 출산 과정을 대리 경험함으로써 특정 단계와 총체성을 이해하게 되었습니다. 이러한 통찰력을 통해 학생들은 임상 배치에 참여하고 산모의 우려를 고려한 방식으로 절차(예: 검사)를 수행할 준비가 더 잘 되어 있습니다. 따라서 이 순서는 의도적으로 산모와 아기의 건강을 평가하고 분만을 포함한 절차를 수행하는 데 필요한 기술을 개발하는 데 집중하기 전에 이해와 목표를 생성하는 것을 목표로 합니다. 따라서 앞서 언급한 병행 컨설팅의 예와 마찬가지로,20 이 순서는 조산사 학생들이 실습을 통해 알고, 수행하고, 가치 있게 여겨야 하는 것을 점진적으로 확보하고자 합니다.
These experiences can be deliberately ordered, as noted previously. A study of midwifery students indicated that, of their two kinds of practicums, initial engagement in continuity of care experiences provided understandings about birthing processes from the mother's perspective, and students came to know the issues these women face and their concerns.25 That is, through vicariously experiencing the entire birthing process, these midwifery students came to understand its specific phases and totality, prior to engaging in clinical placements. Through possessing these insights, students are more ready to engage in clinical placements and carry out procedures (e.g. examinations) in ways considerate of birthing mothers’ concerns. So, this sequencing intentionally aims to generate understandings and goals before focusing on developing the skills needed for assessing a birthing mother and her baby's health and undertaking procedures, including delivering babies. Hence, as with the example of parallel consulting raised earlier,20 this sequencing seeks to progressively secure what midwifery students need to know, do and value through practice.

이러한 커리큘럼 원칙은 효과적인 학습 결과를 확보하기 위해 일상적인 업무 활동을 어떻게 순서화하고 조직할 것인지에 대한 지침을 제공합니다. 본질적으로 학습자가 처음부터 끝까지 전체 작업 또는 프로세스를 볼 수 있도록 하면 프로세스의 일부를 숙달하는 데 집중할 때 구조를 제공할 수 있습니다. 또한, 학습자가 프로세스의 어느 부분을 수행할지 제어하면 점진적으로 더 어렵거나 위험에 노출되기 쉬운 활동을 수행할 수 있는 기회를 제공할 수 있습니다. 
These curriculum principles offer guidance on how to order and organise everyday work activities to secure effective learning outcomes. In essence, allowing learners to see the whole task or process from start to finish, can provide a structure when they focus on mastering parts of the process. Furthermore, controlling which parts of the process they undertake provides an opportunity to ensure they undertake progressively more difficult or risk-prone activities.

실천 페다고지
Practice pedagogies

실천 페다고지는 직장 내 학습 경험을 풍부하게 하거나 강화하는 활동 또는 상호 작용입니다. 실천 페다고지는 임상 업무에 필요한 절차적 기술과 개념적 이해를 개발하는 데 도움을 주는 등, 다른 방법으로는 얻을 수 없는 학습에 필요한 지식에 접근할 수 있도록 하여 학생들이 의도적으로 기술을 쌓고 직업에 대한 깊은 이해에 필요한 연결과 연상을 할 수 있도록 합니다.12 이러한 교육법은 강의실에서 사용하는 것과는 다를 수 있습니다. 여기에는

  • 전문가가 과제를 수행할 때 스토리텔링과 언어화(예: thinking aloud)를 포함할 수 있으며,17 이를 통해 경험이 적은 관찰자가 사고와 행동에 더 쉽게 접근할 수 있습니다.
  • 또한 교육적으로 풍부한 작업 과제(즉, 특정 수업을 지원할 수 있는 잠재력이 있는 과제)에 참여하거나,26 특정 의료 절차를 수행할 때 경험이 많은 파트너가 직접 지시하고 '실습'을 지원하는 것도 있습니다.
  • 그런 다음 환자의 상태나 심장 질환 진단을 기억하기 위한 니모닉 사용,21, 24, 27 및 작업 수행 모델을 제공하는 반제품 및 인공물 사용이 있습니다.17

Practice pedagogies are activities or interactions that enrich or augment workplace learning experiences. They can make accessible the knowledge required to be learned, which otherwise might not be obtained, including assisting with developing procedural skills and the conceptual understanding required for clinical work, so that students can intentionally build skills and make the links and associations required for deep understandings about the occupation.12 These pedagogies may be distinct from those used in classrooms.

  • They can include experts’ story-telling and verbalisation (i.e. thinking aloud) when performing work tasks,17 which makes their thinking and acting more accessible to less experienced observers.
  • There is also engagement in pedagogically rich work-tasks (i.e. those with the potential to support a particular lesson),26 direct instruction and ‘hands on’ assistance by more experienced partners in the performance of specific medical procedures.
  • Then there is the use of mnemonics for remembering patients’ conditions or diagnoses of heart conditions,212427 and half-finished jobs and artefacts that provide models for work performance.17 

예를 들어, 간호사의 인수인계는 교육적으로 풍부한 활동이 될 수 있습니다. 인수인계 시 (i) 환자, (ii) 환자 상태, (iii) 치료, (iv) 치료에 대한 반응, (v) 예후에 대한 토론에 참여하면 서로 다른 발달 단계에 있는 실무자들이 자신이 알고 있고, 할 수 있고, 가치 있는 것을 더 발견할 수 있는 기회를 제공합니다. 이러한 학습은 주니어 간호사나 학생이 환자의 상태를 이해하는 것에서부터 숙련된 간호사와 예후에 대한 토론을 통해 미묘한 차이에 대한 정보를 얻고 이해를 확보하는 것까지 다양합니다. 이러한 일상적인 업무 활동은 간호사가 환자의 상태, 치료 및 경과와 관련된 복잡한 요인을 이해하는 데 도움이 될 수 있습니다. 의사의 이환율 및 사망률 회의도 비슷한 경험과 잠재적 결과를 제공합니다. 의료진은 이러한 종류의 활동을 일상적인 것으로 간주할 수 있지만, 학습 잠재력은 참가자의 참여를 통해서만 실현될 수 있습니다. 본질적으로 큰 소리로 생각하고, 추론을 설명하고, 다른 숙련된 실무자와 대화에 참여하는 것은 모두 일상적인 업무의 일부이지만 apprentice에게는 높은 교육적 가치를 가질 수 있습니다. 
For instance, nurses’ handovers can be pedagogically rich activities. Participating in discussions during handovers about: (i) patients, (ii) their conditions, (iii) their treatments, (iv) responses to treatments, and (v) prognoses provides opportunities for practitioners at different points of development to discover further what they know, can do and value. That learning can range from junior nurses or students understanding patients’ conditions, through to participants being informed about and securing nuanced understandings through discussions about prognosis with experienced nurses. These daily work activities can assist nurses to understand the complex factors associated with a patient's condition, treatment and progress. Doctors’ morbidity and mortality meetings offer similar experiences and potential outcomes. Although health care practitioners may see these kinds of activities as being routine, their learning potential will only be realised through engagement by participants. In essence, thinking aloud, explaining reasoning and engaging in dialogue with other experienced practitioners are all routine parts of work, but can have high educational value for an apprentice.

이러한 교육적 관행이 신중하게 고려되고 시행되면 의료 환경에서 일상적인 업무 활동의 학습 잠재력을 강화할 수 있습니다.
When carefully considered and enacted, these kinds of pedagogical practices can strengthen the learning potential of everyday work activities in health care settings.

개인의 인식론적 실천
Personal epistemological practices

개인에게 제공되는 경험 너머에는 개인이 경험에 참여하는 방식이 있습니다. 이는 강의실에서의 경험, 임상 교육을 통한 경험, 하급 직원으로 일하는 경험, 임상 배치 중 경험, 일상적인 의료 실무에서의 경험에 관계없이 해당됩니다.3 직장 생활 전반에서 대부분의 학습은 개인이 일상적인 사고와 행동에 적극적으로 참여함으로써 이루어지는데, 이는 개인적으로 매개됩니다. 우리는 업무 활동에서 끊임없이 모방 학습(예: 관찰, 모방, 연습)을 합니다.17 학습자가 학습할 직업 지식을 포착(즉, 장악)28하거나 '훔쳐'29야 하는 도제식 학습의 원래 개념과 실천의 핵심입니다. 실제로 견습생을 뜻하는 일본어 미나라이(見習生)는 관찰을 통해 배우는 사람을 의미하며, 미나라이 큐우이쿠(見習生)라는 용어는 눈에 띄지 않는 관찰을 통한 학습을 의미합니다.30 이러한 참여는 개인의 관심과 의도에 기반을 두고 있으며, 개인의 사고와 행동의 본질과 방향을 안내하고 학습자의 준비성(즉, 능동적 학습에 효과적으로 참여할 수 있는 관심과 역량)을 강조합니다.18 실제로 개인은 의도적으로 성과 향상을 추구하는 등 적극적으로 참여하기를 원해야 합니다.24, 31 이 모든 것은 개인의 인식론(즉, 개인이 알고, 할 수 있고, 가치 있는 것)에 전제되어 있습니다. 이러한 학습 과정은 자기 주도적인 노력뿐만 아니라 사회적 파트너, 사물 및 인공물과 교류하고, 직장의 사회적 및 물리적 환경에서 단서와 단서를 적극적으로 찾고 활용하며, 과제를 완료하는 동안 진행 상황을 모니터링하는 등 상호 의존적인 학습으로 구성됩니다. 따라서 직장 학습에 크게 기여하는 것은 감독자뿐만 아니라 견습생의 동기 부여와 주체성입니다. 
Beyond experiences afforded to individuals is how they elect to engage with them. This is the case regardless of whether it is an experience in the classroom, through clinical teaching, working as a junior staff member, during clinical placements or in everyday health care practice.3 Across working lives, seemingly, most learning takes place through individuals’ active engagement in their everyday thinking and acting: it is personally mediated. We constantly engage in mimetic learning (i.e. observation, imitation and rehearsal) in our work activities.17 It is central to the original concept and practice of apprenticeship, wherein learners have to apprehend (i.e. seize) 28 or ‘steal’ 29 the occupational knowledge to be learned. Indeed, the Japanese word for apprentice is minarai, one who learns by observation, and the term minarai kyooiku refers to learning through unobtrusive observation.30 This engagement is founded on personal interest and intentionality, which guides the nature and direction of individuals’ thinking and acting, and emphasises learners’ readiness (i.e. they have the interest and capacity to engage effectively in active learning).18 Indeed, individuals have to want to engage actively, including deliberately seeking to improve performance.24, 31 All of this is premised on individuals’ personal epistemologies (i.e. what individuals know, can do and value). This learning process is not just self-directed efforts, it comprises interdependent learning: engaging with social partners, objects and artefacts, and actively looking for and drawing on clues and cues from the social and physical environment of workplaces, and then monitoring progress during task completion. Thus, a large contributor to workplace learning is the motivation and agency of the apprentice, not just the supervisor.

실천 커리큘럼과 페다고지, 개인의 인식론이 어떻게 결합될 수 있는지를 설명하기 위해 수(시골 종단 실습 중인 의대 3학년 학생)의 경험을 예로 들 수 있습니다.20 그녀의 실습은 시골 일반 진료소에 배치되어 지역 병원에서 근무하는 것이 포함되었습니다. 처음에는 일반의의 진료를 참관하고 함께 일했으며, 점차적으로 진료에 더 많이 참여했습니다. 6주 후에는 환자들의 동의를 얻어 병력 청취, 검사, 진단을 내리고 의사의 확인을 받는 등 진료를 병행했습니다. 이를 통해 실제 의료 활동과 상호 작용에 참여하고 연습하면서 동료들보다 훨씬 더 발전된 이해와 성향, 절차적 기술을 개발할 수 있었다고 평가받았습니다. 주요 대도시 교육 병원에서의 활동은 실제 임상 의사 결정이 아닌 대리 활동을 통해 이루어지고 참여도가 낮은 것으로 보고되었습니다.

  • 따라서 Sue가 겪은 경험의 종류와 순서(예: 실천 커리큘럼)와 풍부한 지원(예: 실천 페다고지)은 그녀가 이러한 진정한 의료 활동을 통해 배우는 데 도움이 되었습니다.
  • Sue의 개인적인 인식론도 중요한 역할을 했습니다. 그녀는 이러한 활동에 참여하는 것 외에도 지역 사회와 교류하고(예: 지역 교회와 테니스 클럽에 가입) 학습에 적극적으로 참여했습니다. 예를 들어, 그녀는 일반 진료실에서 배운 방법을 모델로 삼아 효과적으로 채혈하는 방법을 배웠습니다. 병원에서 이 역할을 정기적으로 수행하는 간호사를 확인한 그녀는 먼저 이 간호사가 채혈하는 모습을 관찰한 다음, 그 간호사의 지도를 받아 채혈을 모방하고 연습한 다음, 충분한 횟수 동안 이러한 절차를 수행하여 이를 개선하고 연마했습니다.

이 사례는 실천 커리큘럼(예: 경험의 가용성 및 순서), 페다고지(예: 관찰과 실습을 병행할 수 있는 컨설팅 제공) 및 개인 인식론(예: 지역사회, 수술 및 병원에 적극적으로 참여)에 대한 예를 제공합니다. 

To exemplify how practice curricula and pedagogies and personal epistemologies might come together, the experiences of Sue (a third-year medical student on a longitudinal rural placement) are illustrative.20 Her placement was located in a rural general practice and included engagements at the local hospital. She initially observed and worked alongside the general practitioner, by sitting in on consultations and, incrementally, being more involved in them. After 6 weeks of this, and with patients’ consent she engaged in parallel consultations, with history-taking, examinations and arriving at diagnoses that were subsequently checked by the doctor. So, she engaged in and rehearsed authentic medical activities and interactions, and developed understandings, dispositions and procedural skills that were judged as being far more advanced than those of her peers. Their activities in a major metropolitan teaching hospital were reported as being less engaged, and occurring through substitute activities and not in actual clinical decision making.

  • So, the kinds of experiences Sue had and their sequencing (i.e. practice curriculum) and the rich support (i.e. practice pedagogies) assisted her to learn through these authentic medical activities. Sue's personal epistemology also played a key role.
  • Beyond participating in those activities, she also engaged with the local community (i.e. joined the local church and tennis club) and acted proactively in her learning. For instance, she learned how to take bloods effectively by modelling how she had learned in general practice. Having identified the nurse who regularly performed this role at the hospital, she first observed this nurse taking bloods, and then proceeded to imitate her and practise taking bloods under guidance, and then engaged in a sufficient number of these procedures to refine and hone them.

This vignette provides an example of a practice curriculum (i.e. the availability and sequencing of experiences), pedagogies (e.g. provisions of parallel consulting, being able to observe and practice) and personal epistemologies at play (e.g. her active engagement in the community, surgery and hospital).

번역을 넘어서
Beyond translation

이 짧은 글은 다른 분야의 개념과 연구 결과를 사용하여 의료 환경에서의 학습을 이해하고 촉진하는 것을 목표로 합니다. 그러나 야들리 등4이 언급한 바와 같이, 이러한 번역이 쉽거나 간단한 경우는 거의 없으며 이 사례도 예외는 아닙니다. 따라서 이 번역을 지원하기 위해 향후 연구, 심의 및 제정을 위해 세 가지 고려 사항을 제시합니다:

  • (i) 연구 결과의 적용 가능성,
  • (ii) 학습해야 할 지식과 그 학습을 촉진하는 경험과의 연계성,
  • (iii) 실무자 참여의 중요성

This brief article aims to use concepts and findings from other fields to understand and promote learning in health care settings. However, as Yardley et al.4 state, few such translations are easy or straightforward and this case is no exception. Hence, to support that translation, three considerations are advanced here for future research, deliberations and enactments:

  • (i) the applicability of these findings,
  • (ii) the knowledge to be learned and the alignments with experiences that promote that learning, and
  • (iii) the importance of practitioner engagement.

첫째, 위에서 설명한 아이디어는 역사적, 인류학적 설명을 바탕으로 한 것으로, 때때로 현대 의료 현장과는 다른 상황을 언급합니다. 따라서 위에서 언급한 커리큘럼과 교육적 관행은 특정 업무 요구와 맥락에서 비롯된 것으로, 현재와 미래의 보건의료 실무에 대한 적용 가능성과 효능을 평가할 필요가 있습니다. 따라서 임상 진료 환경에서 혁신을 촉진하고 실현하는 것과 관련된 효과를 포함하여 효과를 평가하기 위해서는 이미 수행된 것과 같은 보다 근거 있고 근거 있는 경험적 조사가 필요합니다3, 16, 32.
First, the ideas outlined above in drawing upon historical and anthropological accounts, sometimes refer to situations distinct from those in contemporary health care workplaces. Hence, the kinds of curricula and pedagogical practices mentioned above emerged from particular work demands and contexts, and their applicability to and efficacy in contemporary and future health care practices need to be appraised. Therefore, more grounded and situated empirical enquiries, such as those already conducted,3, 16, 32 are required to appraise effectiveness, including that associated with promoting and realising innovation in clinical practice settings.

둘째, 과거에 필요했던 지식과 현재와 미래에 필요한 지식의 종류가 명확하고 점점 더 구분되고 있습니다. 여기에는 개념적이고 상징적인 업무 관련 지식, 특히 기술 사용의 증가와 관련된 지식이 포함됩니다. 적절한 성향(즉, 가치관, 태도, 의도)의 발달에 대해서도 비슷한 우려가 제기됩니다. 특히 개념 발달에 관한 문헌은 이러한 형태의 지식이 불투명하고 접근하기 쉽지 않다는 점에서 지식 개발의 본질적인 어려움을 지적합니다. 따라서 의료 업무와 관련된 이러한 지식을 생성하는 업무 환경의 경험을 보다 심층적으로 이해하기 위해서는 추가적인 연구가 필요할 것으로 보입니다. 특히, 업무 활동을 통해 개념적 지식과 성향적 지식을 증진할 수 있는 커리큘럼과 교육적 관행, 특히 학습자의 개인적 인식론 증진을 포함하는 커리큘럼과 교육적 관행이 중요할 것으로 보입니다. 손 씻기 등 수많은 실습 사례에서 알 수 있듯이 이해와 절차에 대한 지식만으로는 충분하지 않습니다. 그 대신 개인이 절차에 적합한 방식으로 참여하고 학습하기 어려운 지식을 확보하기 위해 노력하는 것이 중요합니다.
Second, a clear and growing distinction is between the kinds of knowledge required previously, and that needed for the present and future. This includes conceptual and symbolic work-related knowledge, particularly that associated with the growing use of technology. Similar concerns are raised about the development of appropriate dispositions (i.e. values, attitudes and intentions). The literature on conceptual development, in particular, points to the inherent difficulty of developing these forms of knowledge, as they are opaque and not always easy to access. Consequently, further work is likely to be required to understand, in greater depth, what kinds of experiences in work settings are generative of this knowledge related to health care work. Specifically, those curricula and pedagogical practices that can promote conceptual and dispositional knowledge through work activities are likely to be important, particularly when they include promoting learners’ personal epistemologies. It is clear from so many instances of practice (e.g. hand washing) that understanding alone and knowledge of procedures is insufficient. Instead, it is how individuals exercise dispositions in engaging in procedurally appropriate ways and make an effort to secure knowledge that is difficult to learn.

셋째, 제안된 내용 대부분이 학습에 관한 것이므로 의료 종사자의 효과적인 참여와 학습을 촉진하기 위한 노력이 핵심 우선 순위가 됩니다. 이러한 홍보는 종사자들의 거부감을 해소하는 것뿐만 아니라, 이를 활용하기 위해 기꺼이 노력하는 실무자들이 사용하고 경험할 수 있는 교육 및 커리큘럼을 마련하는 데에도 필요합니다. 따라서 일상적인 업무 활동에서 이러한 지원을 활용할 수 있는 방법을 파악하는 것이 그 효과의 핵심이 될 것입니다. 앞서 언급했듯이, 일부 일상적인 업무 활동(예: 인수인계, 이환율 및 사망률 회의)은 잠재적으로 교육적으로 풍부한 것으로 확인되었습니다. 그러나 개인이 이러한 활동을 교육적인 것으로 인식하고 의도적으로 참여하지 않는다면 이러한 경험의 잠재력을 충분히 실현할 수 없습니다. 따라서 의료진이 이러한 경험을 보다 최적으로 활용할 수 있도록 참여시키기 위한 노력을 기울여야 합니다. 
Third, given that much of what is proposed is about learning, efforts to promote effective engagement and learning by health care practitioners become a key priority. This promotion needs to address not only the reluctance of workers, but also having pedagogical and curriculum practices that are able to be used and experienced by practitioners willing to make the effort to use them. Hence, identifying ways in which such support can be exercised within everyday work activities is likely to be central to their efficacy. As noted, some everyday work activities have been identified as being potentially pedagogically rich (e.g. handovers, and morbidity and mortality meetings). However, unless individuals view them as such and engage with them intentionally, the potential of these experiences will not be fully realised. Hence, efforts should be made to engage health care practitioners in utilising these experiences more optimally.

결론
Conclusions

보건의료 업무 환경에서의 경험은 현재와 미래를 위해 목적에 맞는 방식으로 직업 기술을 학습할 수 있는 기반을 제공합니다.16, 32 그러나 학교 사회의 정통성과 교육 담론의 특권적 지위를 고려할 때, 직장을 그 자체로 중요한 학습 환경으로 이해할 필요가 있습니다.4 교육 환경과 같은 다른 환경과 마찬가지로 효과적인 업무 수행에 필요한 기술을 배우는 데 중요한 기여를 하지만 잠재적 한계도 있습니다. 따라서 학습 환경으로서 직장workplace의 잠재력을 촉진하는 데 사용할 수 있고 교육 기관에서 제정된 것과는 다른 방식으로 진행되는 커리큘럼과 페다고지 실천이 필요합니다. 또한 학습자의 개인적 인식론과 이러한 인식론이 궁극적으로 실습 경험의 질과 그 결과에 어떻게 핵심적인 역할을 하는지에 대해 특히 강조되었습니다. 이 세 가지 요소는 현재와 미래의 환자 치료의 질을 유지하고 개선하는 데 도움이 될 수 있는 풍부한 학습 경험을 이해하고 확보하는 데 중요한 토대가 됩니다.

Experiences in health care work settings offer bases for the learning of occupational skills in ways that are purposeful now and for the future.16, 32 However, given the orthodoxies of school societies and the privileged status of educational discourses, there is a need to understand workplaces as important learning environments in their own right.4 Like other environments, such as educational settings, they make important contributions to learning the skills required for effective work practice, but also have potential limitations. So, curricula and pedagogical practices are required that can be used to promote the potential of workplaces as learning environments and which occur in ways that are distinct from those enacted in educational institutions. In addition, particular emphasis has been given to learners’ personal epistemologies and how these are ultimately central to the quality of practice experiences and their outcomes. Together, these three elements are held as important foundations for understanding and securing rich learning experiences that can assist in sustaining and improving the quality of patient care now and in the future.


 

Med Educ. 2016 Jan;50(1):124-31. doi: 10.1111/medu.12848.

Learning through health care work: premises, contributions and practices

Affiliation

1School of Education and Professional Studies, Griffith University, Mount Gravatt, Queensland, Australia.

PMID: 26695472

DOI: 10.1111/medu.12848

Abstract

Context: Learning through work has long been important for the development of health care workers' occupational competence. However, to effectively utilise this mode of learning, its particular qualities and contributions need to be understood and optimised and its limitations redressed.

Concepts: Optimising the experiences health care workplaces provide, augmenting their potential for learning and promoting workers' engagement with them can, together, improve workers' ability to respond to future occupational challenges. Importantly, such considerations can be used to understand and appraise workplaces as learning environments. Here, the concepts of practice curricula and pedagogies, and workers' personal epistemologies (i.e. what individuals know, can do and value) are described and advanced as practical bases for optimising learning in and for health care workplaces now and for the future.

Conclusion: Such bases seem salient given the growing emphasis on practice-based provisions for the initial preparation and on-going professional development of health care workers' capacities to be effective in their practice, and responsive to occupational innovations that need to be generated and enacted through practice.

어떻게 근무현장-기반 평가가 졸업후교육에서 학습을 가이드하는가: 스코핑 리뷰 (Med Educ, 2023)
How workplace-based assessments guide learning in postgraduate education: A scoping review 
Leslie Martin1 | Sarah Blissett2 | Bronte Johnston3 | Michael Tsang1 | Stephen Gauthier4 | Zeeshan Ahmed5 | Matthew Sibbald1 

 

1 서론
1 INTRODUCTION

평가 전략은 수련의가 학습하는 방식에 분명한 영향을 미칩니다.1-3 역량 기반 의학교육(CBME)4-6 에서 작업장 기반 평가(WBA)를 늘리려는 전 세계적인 변화는 학습자7, 8 와 피드백 추구와 같은 학습 행동에 긍정적인 영향을 미쳤습니다.9, 10 CBME 내 프로그램 평가의 가장 중요한 희망은 WBA를 사용하여 작업장에 학습 평가를 포함시키는 동시에 강력한 고부담 승진 결정(학습의 평가)을 최적화하고 프로그램 개선을 위한 정보를 제공하고자 하는 것입니다.11, 12 안타깝게도 예비 문헌에 따르면 각 평가의 형성적 의도와 총괄적 의도가 혼재되어 있어 프로그램 평가를 통해 학습 목표를 달성하는 데 어려움이 있음을 보여줍니다.13-15 임상 환경에서 WBA를 사용하여 낮은 부담의 학습 목표높은 부담의 진급 결정을 모두 달성할 때 연수생이 성과와 학습 목표 사이의 갈등을 인식함에 따라 유사한 긴장이 발생했습니다.16, 17 이러한 긴장의 핵심은 사회적으로 구성되고 고도로 맥락적인 직장에서 임상 성과를 '객관적으로 평가'해야 한다는 과제입니다.18 임상 업무 환경에서는 이러한 맥락적 전문성을 '실천 속에서 아는 것'이라고 합니다.19 
Assessment strategies clearly impact how trainees learn.1-3 The worldwide shift to increase workplace-based assessment (WBA) within competency-based medical education (CBME)4-6 in postgraduate medical education (PGME) has no doubt positively impacted learners7, 8 and learning behaviours, such as seeking feedback.9, 10 The overarching hope of programmatic assessment within CBME is to embed learning assessments in the workplace using WBA, while optimizing robust high-stakes promotion decisions (assessment of learning), and providing information for programme improvement.11, 12 Unfortunately, preliminary literature illustrates challenges in achieving learning goals through programmatic assessment, due to conflation of the formative and summative intent of each assessment.13-15 Similar tensions have arisen when using WBA in the clinical environment to achieve both low-stakes learning goals and high-stakes promotion decisions, as trainees perceive conflict between performance and learning goals.16, 17 Integral to these tensions is the challenge of ‘objectively assessing’ clinical performance in the socially-constructed and highly contextual workplace.18 In the clinical workplace, this contextual expertise is referred to as ‘knowing in practice’.19

현재 우리는 강력한 평가 프로그램을 직장으로 전환하는 것이 수련의 학습에 미치는 영향에 대해 명확하게 이해하지 못하고 있습니다. 또한 현재 WBA를 사용하여 학습을 위한 평가를 성공적으로 달성하는 방법에 대한 포괄적인 프레임워크가 없습니다. 최근의 해석학적 검토에 따르면 학습을 위한 평가를 달성하기 위해서는 별도의 평가자 그룹을 정의하여 평가의 요약적 역할과 형성적 역할을 명확히 구분해야 한다는 결론을 내렸습니다20. 이러한 제안은 문헌의 다른 부분에도 반영되어 있습니다.9 그러나 다른 사람들은 평가의 명확한 긴장을 관리하기 위해 '양자택일적 사고'를 넘어 '양립적 사고'로 나아가야 한다고 주장합니다.21 따라서 직장 환경에서 학습을 위한 WBA를 성공적으로 달성하는 길은 아직 불분명합니다. 
We currently do not have a clear understanding of the implications of shifting a robust programme of assessment into the workplace on trainee learning. Furthermore, there is currently no comprehensive framework for how to successfully achieve assessment for learning using WBA. A recent hermeneutic review concluded that a clear distinction be drawn between the summative and formative role of assessment by defining separate group of assessors20 in order to achieve assessment for learning. This suggestion is also reflected elsewhere throughout the literature.9 However, others have argued that we need to move beyond ‘either-or thinking’ in order to manage the clear tensions in assessment, and rather towards a ‘both-and’ approach.21 Thus, the path to successfully achieve WBA for learning in the workplace environment remains unclear.

초기 직장 기반 학습(WBL) 모델은 CBME 내에서 구현된 것과 유사하게 직접적인 관찰과 피드백에 중점을 두고 의도적으로 학습을 발판으로 삼는 결과 중심 직장 모델로 전환할 것을 요구했습니다.20 WBL에 관한 후속 모델 또는 이론은 CBME가 널리 구현되기 전에 만들어졌거나,22, 23 공식화된 평가 또는 WBA에 기반한 문헌을 특별히 제외했습니다.24, 25 CBME 맥락에서 프로그램적 WBA가 구현된 이후 WBL 모델을 재검토한 적은 없습니다. 
Early models of workplace-based learning (WBL) called for the movement towards a outcomes-driven workplace model to intentionally scaffold learning, with an increased focus on direct observation and feedback, similar to what was implemented within CBME.20 Subsequent models or theories regarding WBL were created prior to widespread implementation of CBME,22, 23 or specifically excluded literature based on formalised assessment or WBA.24, 25 Models of WBL have not been revisited since the implementation of programmatic WBA in the CBME context.

WBA가 이러한 프레임워크에 어떤 영향을 미치는지 더 잘 이해하지 못한 상태에서 WBL의 이론적 프레임워크를 현재의 CBME 맥락에 적용해서는 안 됩니다. 보다 완전한 프레임워크가 없다면 의학전문대학원 교육에서 학습과 평가를 모두 최적화하기 위한 노력은 계속될 것입니다. 현재의 복잡한 학습 환경에서 WBL과 평가를 이해하기 위해서는 대안적인 이론이 필요하다는 주장이 제기되고 있습니다.26 이 분야에서 이론을 개발하면 CBME 맥락에서 학습을 위한 평가라는 궁극적인 목표를 달성하는 방법을 조명할 수 있는 대안적인 관점을 제공할 수 있을 것입니다.
Theoretical frameworks of WBL should not be applied in current CBME contexts without a better understanding of how WBA impacts these frameworks. Without a more complete framework, it is likely that the struggle to optimize both learning and assessment will continue in postgraduate medical education. It has been argued that alternative theories are required to understand WBL and assessment in the current complex learning environment.26 Developing theory in this space will provide an alternative perspective to shed light on how to achieve the ultimate goal of assessment for learning in the CBME context.

첫 번째 단계로, 이 범위 검토를 통해 우리는 PGME 내에서 이 공간에 대한 이해를 넓히기 위해 WBA와 WBL 사이의 특정 교차점을 다루는 주요 문헌 기반의 폭과 깊이를 탐구하고자 했습니다. 분석은 빌렛의 보건의료 업무를 통한 학습 모델의 네 가지 전제에 따라 진행되었습니다.25 이 모델은 전통적인 '교실' 교육 밖에서 보건의료 분야의 학습이 어떻게 이루어지는지 이해하기 위한 명확하고 간결한 프레임워크와 잘 정리된 원칙을 제공합니다. 이는 평가가 이러한 원칙에 의도적 또는 비의도적으로 영향을 미칠 수 있는 방법을 탐구하는 데 강력한 발판을 제공합니다. 간단히 말해, 네 가지 전제는 각각 다음을 강조합니다.25

  • (1) 학습은 항상 일어나고,
  • (2) 직장 참여는 직장 환경과 직원의 위치를 변화시키고,
  • (3) 직장의 물리적, 사회적 측면은 임상 지식과 학습을 제공하며,
  • (4) 학습과 개인 개발은 다르지만 상호 의존적인 과정이다.

As a first step, through this scoping review we sought to explore the breadth and depth of the primary literature base that addresses the specific intersection between WBA and WBL in order to expand our understanding of this space within PGME. The analyses were guided by the four premises of Billett's model of learning through health care work.25 This model offers a clear and concise framework with well-articulated principles for understanding how learning in healthcare occurs outside of traditional ‘classroom’ education. This provided a strong scaffold to explore how assessment may intentionally or unintentionally influence these principles. Briefly, the four premises respectively highlight

  • (1) how learning is always happening;
  • (2) workplace engagement transforms the workplace environment and staffs' positions;
  • (3) the physical and social aspects of a workplace provide clinical knowledge and learning; and
  • (4) learning and personal development are different, but interdependent processes.25 

이 틀을 사용하여,25 우리는 WBA를 통한 학습을 설명할 때 깊이 강조되고 탐구된 영역과 1차 문헌 기반에서 덜 주목된 다른 영역을 강조하고자 했습니다. WBL의 렌즈를 통해 이러한 문헌 기반을 종합함으로써, WBA가 빈번하게 사용되는 시대에 WBL 모델을 업데이트하기 위한 향후 연구를 통해 해결될 수 있는 문헌의 격차를 발견할 수 있기를 바랍니다. 
Using this framework,25 we sought to highlight areas that have been deeply emphasized and explored in describing learning through WBA, and others that have been less attended to across the primary literature base. In synthesizing this literature base through the lens of WBL, we hope to uncover gaps in the literature that can be addressed through future studies aimed at updating models of WBL within the era of frequent WBA.

2 방법
2 METHODS

저희는 WBA가 대학원 의학교육에서 학습을 어떻게 안내하는지에 대한 문헌의 범위 검토를 수행했습니다. 
We conducted a scoping review of literature exploring how WBA guide learning in postgraduate medical education.

2.1 검토 유형
2.1 Type of review

범위 검토는 광범위하고 이질적인 잠재적 문헌 기반과 명확하게 정의된 연구 질문을 고려할 때 이용 가능한 문헌의 범위를 매핑하는 이상적인 방법으로 선택되었습니다.27, 28 이 방법론은 질적, 양적 및 미발표 문헌을 포함할 수 있으며 레지던트 교육에서 WBA를 사용하는 기존 문헌의 상태를 파악하는 데 중점을 둡니다.29 
A scoping review was selected as an ideal method to map the extent of available literature given the broad and heterogeneous potential literature base, and clearly defined research question.27, 28 This methodology allows for the inclusion of qualitative, quantitative and unpublished literature, and focuses on capturing the state of existing literature the use WBA in residency training.29

2.2 관련 연구 식별 및 선택
2.2 Identifying and selecting relevant studies

이 범위 검토는 이전에 발표된 프레임워크를 따랐다.28, 30-32 PRISMA-ScR 체크리스트는 출판에 앞서 참고하였다.33 연구팀은 먼저 일차 문헌에 근거하여, WBA가 대학원 의학교육에서 WBL을 어떻게 안내하는가라는 집중 연구 질문을 개발했다.
This scoping review followed previously published frameworks.28, 30-32 The PRISMA-ScR Checklist was references in advance of publication.33 The research team first developed a focused research question: based on the primary literature, how do WBA guide WBL in postgraduate medical education?

연구 질문의 범위에 검색을 포함하기 위해 명확한 포함 및 제외 기준을 선험적으로 정의했습니다. 특히, 해당 분야에서 새롭게 떠오르는 주요 관점과 의견을 알려주는 데이터의 범위를 이해하고 종합하기 위해 1차 문헌만 포함하기로 결정했습니다. 이 주제에 대한 수많은 의견, 논평 및 리뷰가 있다는 것을 잘 알고 있습니다. 이러한 자료는 연구팀에게 해당 분야의 지배적인 관점을 알리는 데 도움이 되도록 충분히 검토되었지만, 1차 데이터의 폭과 깊이를 이해하고자 하는 연구 목표를 고려하여 범위 검토에 공식적으로 포함되지는 않았습니다.
Clear inclusion and exclusion criteria were defined a priori in order to contain the search to the scope of our research question. Of note, the decision was made to only include primary literature because we wanted to understand and synthesize the scope of data that informs the predominant emerging perspectives and opinions in the field. We recognize that there are numerous opinions, commentaries and reviews on the subject. These were reviewed in full to help inform the research team on prevailing perspectives in the field, but not formally included in the scoping review given our research aim to understand the breadth and depth of primary data.

2.3 포함 기준
2.3 Inclusion criteria

논문은 대학원 의학교육 내 모든 이해관계자(예: 감독자, 수련의, 환자 및 관련 의료 전문가)의 관점에서 직장 및 WBA에서의 학습에 대한 인식 또는 기타 측정을 포착한 경우 포함되었습니다.
Papers were included if they captured perceptions or other measures of learning in the workplace and WBA from the perspective of any stakeholder (e.g., supervisors, trainees, patients and allied health professionals) within Postgraduate Medical Education.

본 연구의 목적을 위해, 우리는 학습이 임상 환경에서의 활동과 상호작용, 그리고 수련의의 참여에 의존하는 직장 내 학습(WBL)에 대한 빌렛의 정의를 사용했습니다.34 WBA는 관찰이 필요하고 피드백의 기회를 창출하는 임상 환경에서 수행되는 평가로 정의했습니다.35 영어로 제공되고 1차 데이터(양적, 질적 또는 혼합 방법)가 포함된 논문만 포함했습니다.
For the purposes of our work, we used Billett's definition of learning in the workplace (WBL) where learning is reliant on both the presence of activities and interactions in clinical settings, and the engagement of trainees.34 WBA was defined as an assessment performed in the clinical environment that requires observation and creates the opportunity for feedback.35 Only papers that were available in English and contained primary data (quantitative, qualitative or mixed-methods) were included.

2.4 제외 기준
2.4 Exclusion criteria

제외 기준에는 다른 보건 전문직 분야, 학부 의학교육과 관련된 논문 및 전문을 볼 수 없는 논문이 포함되었습니다.
The exlusion criteria included papers related to other health professions fields, undergraduate medical education and those unavailable in full text.

검색 전략은 사서의 도움을 받아 의학교육 대학원 교육, 직장 학습, 평가 또는 평가를 포착하기 위해 핵심 용어를 사용하여 개발되었습니다(전체 검색 전략은 부록 S1 참조). 이 전략은 OVID Medline, Web of Science, ERIC 및 CINAHL 데이터베이스에 적용되었습니다. 2020년 9월까지 출판된 논문이 이 검토에 포함되었습니다.
The search strategy was developed with the assistance of a librarian using the core terms to capture medical education postgraduate training, workplace learning and assessment or evaluation (see Appendix S1 for the complete search strategy). The strategy was applied in OVID Medline, Web of Science, ERIC and CINAHL databases. Papers published until September 2020 were included in this review.

검색 전략에 의해 포착된 모든 논문의 제목과 초록은 연구팀원 두 명(LM과 SB)이 독립적으로 선별하고 포함 및 제외 기준과 비교하여 적절성을 결정했습니다. 검토 과정에서 소프트웨어 Rayyan QCRI가 사용되었습니다.36 연구자들은 검색 전략과 포함 기준이 적절한지 확인하기 위해 심사 과정의 시작, 중간, 마지막 단계에서 만났습니다.31 포함 여부에 대해 이견이 있는 경우 초록을 다시 검토하여 합의에 도달할 수 있는지 확인했습니다. 심사 과정이 끝나면 연구팀원 2명이 각 논문의 전문(LM 및 SB)을 검토하여 포함 기준을 더 이상 충족하지 못하는 경우 해당 논문을 삭제했습니다. 이견이 있는 경우 연구팀의 세 번째 구성원이 참여하여 합의에 도달할 때까지 토론을 진행했습니다. 연구 흐름도는 그림 1을 참조하세요. 
The titles and abstracts of all papers captured by the search strategy were screened by two members of the research team independently (LM and SB) and compared against the inclusion and exclusion criteria to determine their appropriateness. The software Rayyan QCRI was used during the review process.36 Researchers met at the beginning, midpoint and final stages during the screening process to ensure the search strategy and inclusion criteria were appropriate.31 If there was disagreement regarding inclusion, the abstract was re-reviewed to see if a consensus could be reached. After the screening process, two members of the research team reviewed the full text of each paper (LM and SB), and if inclusion criteria were no longer met, it was removed. If disagreements were raised, a third member of the research team was involved, and a discussion held until consensus reached. Please see Figure 1 for the study flow chart.

2.5 데이터 추출
2.5 Data extraction

데이터 추출을 안내하기 위해 엑셀 스프레드시트를 선험적으로 개발하여 반복적으로 업데이트했습니다. 연구팀 전체가 데이터 추출에 참여했으며, 추출은 포함된 모든 논문에 대해 중복으로 수행되었습니다. 추출된 데이터에는 논문 번호, 제목, 저자, 학술지, 출판 연도, 국가, 주요 방법론, 주요 연구 결과 및 검토자가 포함되었습니다. 질적 데이터의 경우, 연구 결과를 단순히 요약하는 것을 피하기 위해 서술적 분석 방법을 사용했습니다.31 연구자들은 선별 과정의 시작, 중간, 최종 단계에서 만나 데이터 수집이 합리적이고 의미 있는지 확인했습니다.31 검토 과정에서 각 논문은 포함된 양적 연구에 대해서는 의학교육 연구 품질 도구(MERSQI)37 를, 질적 연구에 대해서는 Cote 등이 발표한 질적 연구 그리드를 사용하여 품질을 평가했습니다.38 품질 검토 과정은 연구팀과 독자에게 포함된 연구의 품질에 대해 정보를 제공하기 위한 것이며 포함 또는 제외를 안내하기 위해 사용되지는 않았습니다. 
An excel spreadsheet was developed a priori to guide data extraction, and updated iteratively. The entire research team participated in data extraction, and extraction was done in duplicate for every included paper. The extracted data included the papers' assigned number, title, authors, journal, year of publication, country, primary methodology, key findings and reviewers. For qualitative data, a descriptive-analytical method was employed to avoid simply summarizing the findings.31 Researchers met at the beginning, midpoint and final stages of the screening process to ensure the data collection was both reasonable and meaningful.31 During the review, each paper was also assessed for quality, using the Medical Education Research Study Quality Instrument (MERSQI)37 for included quantitative studies, and a qualitative study grid as published by Cote et al.38 The quality review process was meant to inform the research team and readers regarding quality of the included studies and was not used to guide inclusion or exclusion.

2.6 데이터 분석
2.6 Data analysis

각 논문의 서술적-분석적 요약을 검토한 후, 각 팀원이 개별적으로 질적 주제를 생성했습니다. 그런 다음 팀원들 간에 합의에 도달할 때까지 논의하여 다음 기준을 충족하는 프레임워크를 개발했습니다: (1) 기초 문헌을 반영하고, (2) 연구팀의 면밀한 검토를 견뎌내고, (3) 해당 분야와 관련성이 있을 만큼 충분한 깊이와 폭을 포함해야 합니다. 빌렛의 네 가지 전제는 직장 기반 평가 이전의 의료 환경에서의 WBL에 대한 명확하고 전체적인 관점을 제공하기 때문에 분석의 틀을 구성하기 위해 선택되었습니다.25 데이터 분석의 마지막 단계로, 연구팀은 연구 및 실무에 대한 연구 결과의 향후 함의를 탐색했습니다. 
Upon reviewing the descriptive-analytical summaries of each paper, qualitative themes were generated individually by each team member. These were then discussed amongst the team until consensus was reached, and a framework was developed, which met the following criteria: (1) reflected the underlying literature; (2) withstood scrutiny of the research team and (3) included sufficient depth and breadth to have relevance to the field. Billett's four premises were selected to frame the analysis because they provide a clear and holistic perspective on WBL in the healthcare setting which pre-dated workplace-based assessment.25 As the final step of data analysis, the research team explored future implications of our findings on research and practice.

2.7 자문 단계
2.7 Consultation phase

검토 완료 후 결과의 타당성을 높이기 위해 외부 이해관계자에게 전문가 의견을 구하여 연구 결과가 WBA 및 WBL에 대한 그들의 경험에 공감할 수 있도록 했습니다.32 
To improve the validity of our results upon completion of the review, expert opinion was sought from external stakeholders to ensure our results resonated with their experience in WBA and WBL.32

2.8 연구팀
2.8 Research team

연구팀은 교육 설계, 평가 및 임상 추론에 대한 전문성을 갖춘 캐나다의 3개 대학(맥마스터 대학, 웨스턴 대학, 퀸즈 대학)의 다양한 임상의 및 의학교육자 그룹으로 구성되었습니다. 저자들은 CBME 구현의 여러 단계에서 다양한 환경에서 WBA 및 CBME에 대한 다양한 행정 및 실무 경험을 보유하고 있습니다. 이 팀은 학습에 대한 사회적 구성주의 철학과 CBME의 목표에 대한 공통된 이해를 공유합니다. 
The research team consisted of a diverse group of clinicians and medical educators at three academic Universities in Canada (McMaster University, Western University and Queens University), with expertise in instructional design, assessment and clinical reasoning. The authors have diverse administrative and practical experience with WBA and CBME across a breadth of settings at various stages of CBME implementation. The team shares a social constructivist philosophy on learning, and a common understanding of the goals of CBME.

3 결과
3 RESULTS

문헌 검색을 통해 692개의 초록이 생성되었으며, 이 중 51개의 논문이 전체 텍스트 검토 기준을 충족했습니다(그림 1). 51개 논문 중 33개 논문이 포함 기준을 충족했습니다. 전체 텍스트를 검토한 결과, 직장에서의 학습과 평가의 교차점에 대한 이해를 돕는 1차 데이터가 상대적으로 부족하다는 점이 강조되었습니다. 
The literature search generated 692 abstracts, of which 51 papers met criteria for the full text review (Figure 1). Of the 51 papers, 33 met the inclusion criteria. The full text reviewed highlighted that there is a relative paucity of primary data informing our understanding regarding the intersection between learning and assessment in the workplace.

3.1 포함된 논문의 특징
3.1 Characteristics of included articles

표 1은 이 검토에 포함된 논문의 특징을 요약한 것입니다. 포함된 각 논문에 대한 자세한 요약은 부록 S2에서 확인할 수 있습니다. 논문은 외과 및 의학 전문 분야에 걸쳐 있으며 주로 북미와 유럽에서 수행되었습니다. 포함된 논문의 대부분은 질적 방법론을 사용했으며, 세부적으로는 23건의 질적 연구, 5건의 혼합 방법, 5건의 정량적 연구가 포함되었습니다. 정성적 연구는 대부분 인터뷰(43%) 또는 포커스 그룹(39%)을 사용했습니다. 이러한 정성적 연구 중 상당수가 구성주의적 근거 이론을 분석에 사용했으며(36%), 대부분 WBA 도구(미니 임상 평가 연습[CEX], 사례 기반 토론 등)를 사용하는 데 중점을 두었습니다. 정량적 연구 또는 혼합 방법 연구의 구성 요소는 Q 방법론 연구39 및 평가 점수의 후향적 비교를 사용한 두 연구를 제외하고는 설문조사 기반이었습니다.40 
Table 1 summarizes the characteristics of the included articles in this review. A more detailed summary of each included paper is available in Appendix S2. The papers spanned both surgical and medical specialities and were predominantly conducted in North American and European contexts. The majority of the included papers employed qualitative methodology: the specific breakdown included 23 qualitative, five mixed methods and five quantitative studies. Qualitative studies mostly employed interviews (43%) or focus groups (39%). A significant proportion of these qualitative studies employed constructivist grounded theory for the analyses (36%), and most of them focused on the employment of a WBA tool (mini-clinical evaluation exercise [CEX], case-based discussion, etc.). The quantitative studies, or components of mixed-method studies, were survey-based with the exception of two studies, which used a Q methodological study39 and retrospective comparison of assessment scores.40

 

모든 연구는 교육생(36%), 교수진(6%) 또는 둘 다(58%)의 관점에서 WBA를 통한 학습에 대한 인식에 초점을 맞추었습니다. 논문 중 12편(36%)만이 사회적 정체성이나 상황적 학습 이론과 같은 기존의 심리학 또는 교육 이론을 명시적으로 언급했습니다. 분석에 이론을 참조한 논문에서는 사회 인지 이론이 가장 많이 사용되었습니다(15%). 
All studies focused on the perception of learning through WBA, from the perspective of either trainees (36%), faculty (6%) or both (58%). Only 12 of the papers (36%) made any explicit reference to an existing psychological or education theory, such as social identity or situated learning theory. In the papers that did reference a theory in their analyses, social cognitive theory was the most common (15%). 

 

3.2 주제별 분석
3.2 Thematic analysis

이 문헌고찰의 주제별 분석은 빌렛(Billett) 등이 설명한 의료 업무를 통한 학습의 네 가지 전제에 따라 구성되었습니다.25
The thematic analysis for this review was framed by the four premises of learning through healthcare work described by Billett et al.25

3.2.1 전제 1: 학습은 항상 일어난다
3.2.1 Premise one: Learning occurs all the time

업무를 통한 학습에 관한 빌렛의 논문에서 논의된 바와 같이, 학습은 의도적인 교육 경험만을 위한 것이 아니라 수련생이 업무에 적절히 참여하고 감독자의 지원을 받는다면 일상적인 경험 중에 발생합니다.25 전통적인 직장 학습의 단점은 수련생이 모든 임상 활동에 대한 접근을 보장받지 못하고 간접적인 지도에 의존하기 때문에 학습 목표가 불분명할 수 있다는 위험입니다.25 일부 맥락에서 WBA는 중요한 업무 기반 기술과 역량을 묘사함으로써 학습 목표를 명확하게 개선해 왔습니다.7
As discussed in Billett's paper on learning through work, learning is not reserved for intentional educational experiences but rather occurs during everyday experiences if trainees adequately engage in work and are supported by supervisors.25 A shortcoming of traditional workplace learning is the risk that trainees will not be guaranteed access to all clinical activities, and that learning goals may remain unclear because of reliance on indirect guidance.25 In some contexts, WBAs have improved clarity around learning goals by delineating important workplace-based skills and capabilities.7

이 검토에서 여러 연구에서 강조된 WBA의 주요 장점 중 하나는 WBL에서 피드백이 개선되었다는 점입니다. 많은 교육생들은 WBA를 직접 관찰과 피드백을 '강제'할 수 있는 기회로 여겼으며, WBA 도구를 사용하지 않는 한 피드백은 드문 경험이라는 인식을 보고했습니다.10, 64 이러한 도구는 피드백의 구조와 구체성을 향상시키고 전통적으로 간과되는 비기술적 직접 관찰 기술에 대한 피드백을 장려하는 것으로도 인정받았습니다.48, 49, 52, 54, 63 여러 연구에서 훈련생들은 일관되게 WBA와 관련된 수치적 척도보다 서술적 피드백에서 더 많은 의미를 발견했습니다.7, 49, 51 주목할 점은 WBA가 피드백 과정을 개선했다는 인식이 모든 연구에서 모든 참가자에게 보편적으로 공유되지는 않았다는 것입니다: WBA의 규정된 구조가 활동의 강제적이고 형식적인 특성으로 인해 실제로 피드백의 질을 저하시킨다는 상반된 인식이 존재했습니다.8, 25, 53, 63
One key advantage of WBA that was highlighted across the studies in this review was an improvement in feedback in WBL. Many trainees viewed WBA as an opportunity to ‘force’ direct observation and feedback, and reported the perception that feedback was a rare experience outside of the use of WBA tools.10, 64 These tools have also been credited with enhancing the structure and specificity of feedback, as well as encouraging feedback on non-technical directly observed skills which are traditionally overlooked.48, 49, 52, 54, 63 Across studies, trainees consistently found more meaning in narrative feedback than in the numeric scales associated with WBA.7, 49, 51 Notably, the perception that WBA improved the feedback process was not universally shared by all participants across the studies: there was a contradictory perception that the prescribed structure of WBAs actually led to a deterioration in the quality of feedback due to the compulsory and form-filling nature of the activity.8, 25, 53, 63

3.2.2 전제 2: 개인이 자신의 업무에 참여할 때, 그들은 또한 직장과 직업의 지속적인 변화에 기여한다.
3.2.2 Premise two: As individuals engage in their work, they also contribute to the ongoing transformation of the workplace and their occupation

수련생이 임상 학습 환경에 참여할 때, 그들은 직장 프로세스와 문화의 적극적인 변화에 기여합니다.25 직장 피드백의 증가는 수련생과 감독자 모두의 일상적인 업무 흐름의 변화를 나타냅니다. 또한, 일부 연구에서 WBA 도구를 사용하면 수련생이 인지된 기존 숙련도의 범위를 넘어서는 과제를 완료하도록 장려하는 것으로 나타났습니다.49, 65 '근위 발달 영역'으로의 이러한 추진은 새로운 숙련도의 개발 또는 개선을 촉진하고 수련생이 직장에서 특정 학습 경험을 추구하려는 노력을 변화시킬 수 있습니다.49 
As trainees engage with the clinical learning environment, they contribute to an active change in workplace processes and culture.25 Increased workplace feedback represents a change in the day-to-day workflow of both trainees and supervisors. In addition, the use of WBA tools was found to encourage trainees to complete tasks beyond the scope of their perceived existing skillset in some studies.49, 65 This push towards the ‘proximal zone of development’ could facilitate the development or refinement of novel skills and change efforts by trainees to seek particular learning experiences in the workplace.49

안타깝게도 현재 임상 업무 환경은 다양한 학습 환경에서 WBA를 쉽게 이수할 수 있도록 체계적으로 변화하지 않았습니다. 연수생과 트레이너 모두 직접 관찰, 피드백 제공, WBA 완료에 필요한 시간8, 41, 49, 63 을 장애물로 일관되게 강조했습니다. 이러한 시간 압박은 임상 환경에서 교육과 환자 치료에 대한 경쟁적인 책임으로 인해 악화되는 것으로 나타났습니다.57 업무량, 분절된 업무 패턴, 업무 분배와 같은 의료 시스템 변수가 WBL에 영향을 미치는 것으로 잘 알려져 있습니다.24 개인이 임상 및 교육 업무에 계속 종사하면서 의무적으로 WBA를 이수해야 하는 경우, 관찰, 피드백을 위한 시간을 확보하고 수련의의 학습 목표 수립에 의도적으로 피드백을 통합하기 위해서는 업무 공간 혁신이 이루어져야 할 것입니다.58 
Unfortunately, at this time the clinical workplace has not systematically changed to facilitate the completion of WBAs across different learning environments. Time was consistently highlighted by both trainees and trainers as a barrier for direct observation, provision of feedback, and completion of a WBA,8, 41, 49, 63 each of which are necessary to achieve learning. This time pressure was felt to be exacerbated by competing responsibilities for both education and patient care in the clinical environment.57 Health systems variables such as workload, fragmented work patterns, and distribution of work are well recognized to influence WBL.24 As individuals continue to engage in both their clinical and educational work, which includes the compulsory completion of WBAs, workplace transformation will need to occur in order to create time for observation, feedback, and deliberate integration of feedback into the formulation of trainees' learning goals.58

WBA의 인지된 가치에 관한 직장 내 변화는 시간이 지남에 따라 발생할 수 있습니다. 한 연구에 따르면 마일스톤이 도입된 지 10년이 지난 후 수련의들은 성과와 성적에 덜 집중하게 되었고, 수치 평가보다는 직접적인 관찰과 즉각적인 피드백이 학습에 미치는 긍정적인 영향에 감사를 표하는 것으로 나타났습니다.66 임상 학습 환경 내에서 WBA를 광범위하게 시행하는 초기 단계인 지금, 우리는 WBA의 시행으로 인해 지속적인 변화가 일어날 것으로 예상할 수 있습니다. 
Workplace transformation regarding the perceived value of WBAs can occur with time. In one study, it was shown that 10 years after the rollout of milestones, trainees became less focused on performance and grades, and expressed appreciation for the positive learning implications of direct observation and in-the-moment feedback rather than numerical assessments.66 At this early stage of widespread implementation of WBA within the clinical learning environment, we can anticipate ongoing transformations to take place as a result of the implementation of WBAs.

3.2.3 전제 3: 직장은 물리적 및 사회적 환경에 의해 구성된 임상 지식을 제공합니다. 이러한 실제 환경에 대한 적극적인 참여는 개인적으로 매개되며 의미 있는 학습을 위한 필수 조건입니다.
3.2.3 Premise three: Workplaces provide clinical knowledge framed by the physical and social environments. Active engagement with these authentic environments is personally mediated and a requisite for meaningful learning

이러한 전제는 학습이 이루어지는 문화와 맥락의 핵심적인 중요성실제 환경에 대한 교육생의 적극적인 참여의 필요성을 강조합니다.20 따라서 WBA를 사용하는 감독자와 교육생 모두 이러한 도구의 워크플로와 목적에 대한 이해를 공유하는 것이 중요합니다. WBA가 이중 목적(형성 또는 학습을 위한 평가 vs 요약 또는 학습의 평가)으로 사용되기 시작했다는 점을 감안할 때,11 연수생과 감독자 모두의 관점에서 볼 때 목적이 명확하지 않은 것은 이해할 수 있습니다.7-9, 49, 50, 56, 57 WBA의 목적에 대한 이해의 다양성은 '총괄 대 형성'이라는 이중 목적에 대한 인식을 넘어선 것으로 나타났습니다.

  • de Jonge 등의 연구에 따르면 참가자들 사이에서 WBA에 대한 다섯 가지 관점이 발견되었습니다.39 예를 들어, 이 연구에서 한 관점은 학습자가 능동적이고 자기 주도적인 역할을 수행해야 하며 '학습할 내용을 결정'해야 하는 WBA 과정을 통해 학습자의 주체성을 강조합니다.39 이는 객관성과 같은 일부 다른 관점과는 대조적이었는데, WBA가 고도로 구조화되고 기준 기반이며 '개별 학습 목표에 맞춰지지 않는 것'에 가치를 두었습니다.39
  • 다른 연구에서도 많은 교육생이 기준 기반 성과 기준이 평가 데이터 해석과 학습 목표 개발에 어떻게 도움이 되는지 유사하게 설명했습니다.7, 46, 53, 67 명확하게 정의된 성과 기준은 연수생과 감독자가 WBA 과정에 참여하고, 주어진 역량을 달성하는 것이 무엇을 의미하는지 이해하고, CBME 맥락에서 피드백을 촉진하는 데 도움이 될 수 있습니다.46, 48, 52, 53, 55, 67 
  • 드 존지 연구39 에서 언급된 다른 관점으로는
    • 임상 환경에서 양질의 환자 치료를 보장하기 위해 WBA가 중요하다고 느낀 책무성
    • 응답자가 WBA가 감독자와 연수생 간의 합작 투자라고 느낀 상호성이 있습니다.
    • 학습자와 수퍼바이저 간에 WBA를 완료할 책임이 어디에 있는지에 대한 '논쟁'은 문헌의 다른 곳에서도 볼 수 있습니다.10
  • 직장에서의 의료 교육의 사회적, 문화적 맥락자율성과 효율성을 모두 중시하는 것으로 알려져 있습니다.47 이러한 효율성 중시는 수련생이 직장에서 수퍼바이저에게 평가를 완료하도록 요청하는 것을 특히 어렵게 만듭니다.47 주요 이해관계자들 사이에서 WBA의 목적과 실행에 대한 공유된 이해가 부족하여 프로세스의 구매와 참여에 영향을 미치고, 불행히도 수련생의 전반적인 학습 가치를 약화시킬 수 있습니다. 

This premise highlights the core importance of the culture and context where learning takes place, and the need for active engagement of trainees in the authentic environment.20 As this stands, it is critical that both supervisors and trainees using WBAs share an understanding of the workflow and purpose of these tools. Given that WBAs have begun to serve a dual purpose (formative or for-learning versus summative or of-learning),11 there remains an understandable lack of clarity of purpose from the perspective of both trainees and supervisors.7-9, 49, 50, 56, 57 The diversity of understanding regarding the purpose of WBAs has been shown to go beyond the perception of the dual ‘summative versus formative’ purpose.

  • A study by de Jonge et al. uncovered five different perspectives on WBA amongst their participants.39 For example, one perspective in this study emphasizes learner agency through the WBA process, where trainees should play an active, self-directed role and ‘decide what is to be learnt’.39 This was in contrast with some of the other perspectives, such as objectivity, where value was placed on WBA being highly structured, criterion-based and ‘not be tailored to individual learning goals’.39 
  • Across other studies, many trainees similarly described how criterion-based performance standards helped guide their interpretation of assessment data and the development of learning goals.7465367 Clearly defined performance standards can help trainees and supervisors engage in the WBA process, understand what it means to achieve a given competency, and facilitate feedback in the CBME context.464852535567 
  • Other perspectives noted in the de Jonge study39 included
    • accountability, where WBA was felt to be important in the clinical setting to ensure high-quality patient care, as well as
    • mutuality, where respondents felt WBA should be a joint venture between supervisor and trainee.
    • The ‘debate’ about where the responsibility falls to complete WBAs between learners and supervisors is seen elsewhere throughout the literature.10 
  • It is known that the social and cultural context of medical training in the workplace values both autonomy and efficiency.47 This focus on efficiency makes it particularly challenging for trainees to ask supervisors to complete an assessment in the workplace.47 The lack of shared understanding regarding the purpose and implementation of WBA amongst key stakeholders has impacted the buy-in and engagement with the process, which can unfortunately undermine the overall learning value for trainees.


이러한 문제에 기여하는 것은 PGME 교육생 교육에서 개별 슈퍼바이저가 수행하는 역할의 다중성입니다. 예를 들어, 한 명의 수퍼바이저가 개별적인 순간 평가, 종단적 종합 평가, 연수생 그룹에 대한 승진 관련 결정에 대한 가중치 부여를 동시에 담당할 수 있습니다.49 수퍼바이저들은 교사와 평가자의 역할을 겸하고 있기 때문에 비판적인 피드백을 제공하는 것이 어렵다고 말했습니다.52 WBA를 시행할 때, 평가가 수퍼바이저와 학습자 간의 대인 관계 및 신뢰 관계 구축에 미치는 영향을 고려하는 것이 어려웠습니다.57 또한, 수련생은 수퍼바이저가 직면한 이러한 문제에 민감하며, 이러한 공유된 역할이 WBA 후 제공되는 피드백의 신뢰성에 미칠 수 있는 영향을 인식하고 있습니다.8, 9, 45 이에 대응하여, 수퍼바이저와 수련생이 직접 관찰의 역할에 대해 공개적으로 논의할 것을 권장하고 있습니다.45 이는 WBA 중 양측의 요구를 명확히 하기 위한 것입니다. 수퍼바이저와의 종적, 지지적 관계는 학습자가 평가 순간의 학습 가치에 기여한다고 느꼈기 때문에 학습을 촉진하도록 권장됩니다.8, 9, 57, 61 이는 수퍼바이저가 시간이 지남에 따라 실제 임상 실습을 반복적으로 관찰할 수 있게 해주기 때문에 의미 있는 피드백을 향상시킬 수 있습니다.57 

Contributing to this challenge is the multitude of roles an individual supervisor may play in the education of PGME trainees. For example, one supervisor may be simultaneously responsible for completing individual in-the-moment assessments, longitudinal summative assessments and weighing in on decisions regarding promotion for a group of trainees.49 Supervisors have spoken about the difficulty in providing critical feedback, given their combined role of teacher and assessor.52 In the implementation of WBAs, it has been difficult to account for the impact of assessment on the interpersonal relationship between supervisors and learners and the establishment of a trusting relationship.57 In addition, trainees are sensitive to this challenge facing supervisors and recognize the impact this shared role can have on the authenticity of feedback provided after a WBA.8, 9, 45 In response to this, it has been recommended that supervisors and trainees openly discuss the role of direct observation,45 in order to clarify the needs of both parties during a WBA. Longitudinal, supportive, relationships with supervisors were felt by learners to contribute to the learning value of the assessment moments and therefore are encouraged to facilitate learning.8, 9, 57, 61 This can enhance meaningful feedback, as it allows supervisors to repeatedly observe authentic clinical practice over time.57

3.2.4 전제 4: 경험 전반에 걸친 학습과 개인 개발은 서로 연관되어 있지만 별개의 과정이며, 개인은 한 경험에서 동일한 것을 배우지 않는다.
3.2.4 Premise four: Learning and personal development across experiences are related but separate processes, and individuals will not learn the same thing from one experience

두 개인은 한 경험에서 같은 것을 배우지 않을 것입니다.25 이는 '학습을 위한' WBA를 구현하는 데 있어 잘 문서화되어 있으며 학습 목표와 성과 목표 사이의 긴장으로 설명되어 온 도전 과제에 대한 강력한 틀을 제공합니다. 예를 들어, 연구에 따르면 학습자는 다음 두 가지 목표 중 하나를 달성하기 위해 WBA 사례 또는 평가자를 찾는 것으로 나타났습니다:

  • (1) 역량 입증(성과 지향) 또는
  • (2) 학습 극대화(성장 또는 숙달 지향) .9, 67

Two individuals will not learn the same thing from one experience.25 This provides a powerful framing of the challenges which have been well-documented in the implementation of WBA ‘for-learning’ and has been described as the tension between learning versus performance goals. For example, studies illustrate that learners specifically seek WBA cases or assessors to achieve one of two goals:

  • (1) demonstrate competence (performance orientation) or
  • (2) maximize learning (growth or mastery orientation).967 

Castanelli 등은 WBA에서 역량을 입증하려는 학습자의 동기를 '선순환 또는 악순환'으로 설명합니다.49 악순환에 빠진 학습자의 경우 WBA가 '틱 박스' 연습이 되어 평가의 진정성과 전반적인 학습 가치에 영향을 미칠 위험이 있습니다.8, 10, 49, 51, 53, 55, 56 한 연구에 참여한 연수생들은 전문성 개발을 지원하는 데 있어 이러한 피드백이 중요한 요소임을 인식하면서도 비공식적인 피드백이 자존감에 덜 위협적이라고 느꼈기 때문에 WBA의 맥락 밖에서 부정적이거나 건설적인 피드백(즉, '진정한 학습')을 구체적으로 추구하는 것으로 나타났습니다.9 WBA를 시행함으로써 학습자에게 도움이 되도록 평가를 조작하는 '게임'의 문화를 의도하지 않게 조성한 것은 아닌지 의문이 제기되었습니다.9
Castanelli et al. describe learners' motivation to demonstrate their competence in WBAs as the ‘Virtuous or Vicious Cycle’.49 For those in the Vicious Cycle, there is a risk that WBAs could become ‘tick-box’ exercises, impacting the authenticity of the assessment and overall learning value.8, 10, 49, 51, 53, 55, 56 Trainees in one study identified specifically seeking negative or constructive feedback (i.e., ‘real learning’) outside of the context of a WBA, as they recognized the critical element of such feedback in supporting their professional development but felt informal feedback was less threatening to their self-esteem.9 The question has been raised whether, through the implementation of WBA, we have unintentionally created a culture of ‘gaming’—manipulating assessments to benefit the learner.9

일부 교육생이 성과 목표를 중심으로 학습하는 경향은 전통적인 WBA 이외의 영역에서도 나타났습니다. 이 검토에 포함된 다른 연구에서는 공식적인 WBA를 동시에 완료하지 않더라도 모든 관찰이 평가처럼 느껴진다는 인식을 바탕으로 직접 관찰하는 것만으로도 수행 불안에 대한 유사한 설명이 발견되었습니다.41, 42 이에 따라 교수진은 비공식적이고 직접적인 관찰 순간이 최종 요약 평가에 영향을 미친다고 지지했습니다.41 자기 평가를 조사한 또 다른 연구에서는 학습자가 피드백을 얻고 통합하려고 노력하지만 확인되지 않은 정보를 두려워하고 자신의 자기 평가와 불일치를 조정하는 데 어려움을 겪는 유사한 긴장이 강조되었습니다.43 이러한 평가의 '위협'은 훈련생의 성과 지향적 조정 행동으로 이어질 수 있으며,42, 58 이는 비공식 직접 관찰의 학습 가치를 훼손할 수 있습니다. 이러한 결과를 바탕으로 일부 교육자들은 구조화된 평가와 엄격하게 분리된 관찰 기반 코칭 문화를 제안했습니다.42, 57 
The inclination for some trainees to orient themselves around performance goals has been shown in spheres outside of traditional WBA. Other studies captured in this review found a similar description of performance anxiety simply from being directly observed, based on the perception that any observation felt like an assessment, even without the concurrent completion of a formal WBA.41, 42 In keeping with this, faculty endorsed that informal and direct observation moments did impact their final summative assessments.41 In another study looking at self-assessment, similar tensions were highlighted43 where learners sought to obtain and integrate feedback, but feared disconfirming information and struggled to reconcile inconsistencies with their own self-appraisal.43 This ‘threat’ of assessment can lead to a performance-oriented adjustment trainees' behaviour,42, 58 which will undermine the learning value of informal direct observation. Based on this finding, some educators have proposed a culture of observation-based coaching that is strictly separated from any structured assessment.42, 57

그러나 포함된 연구들은 평가의 '위협'이 보편적이지 않다는 것을 보여줍니다. 연수생 개개인은 직접 관찰로 인한 정서적 스트레스에 대한 반응이 다양하며,58 WBA에 대한 선호도도 다양합니다.63

  • 한 연구에서, 피드백 및 평가에 대한 일반적인 접근 방식에 WBA가 보완적이라고 생각한 슈퍼바이저나 연수생은 더 쉽게 도구를 통합할 수 있었습니다.63
  • 같은 연구에서, WBA가 일반적인 접근 방식에 적합하지 않지만 그 과정의 가치를 인정하여 도구를 통합하려고 노력한 개인도 있었습니다.63
  • WBA의 역할을 이해하지 못하는 개인은 그 과정이 특히 부담스럽고 교육적 가치가 낮다고 느꼈습니다.63
  • 적극적인 슈퍼바이저는 자주 관찰하고 피드백을 제공함으로써 교육생들의 평가 회피 행동을 극복할 수 있는 것으로 나타났습니다.58
  • 종종 전체 교육 그룹이 관점을 공유하는데, 이는 사회적 맥락의 중요성을 더욱 강조합니다.58
  • 이에 발맞춰 Balmer 등의 후속 연구에 따르면 교수진과 교육생 모두 CBME 맥락에서 10년 후 성과 지향에서 학습 지향으로 전환할 수 있었습니다.66
  • 성과에서 학습 지향으로의 전환은 이해관계자들이 성과 기준, 과정 및 목적을 포괄적으로 지향하고 결국 공유 정신 모델을 달성하기 위해 시간이 더 필요하다는 것을 시사할 수 있습니다.

이 범위 검토에 포함된 연구 전반에서 사회적 학습 이론이 가장 일반적으로 적용된 이론이었습니다.9, 43, 47, 57, 61 이는 이 분야의 연구자들 사이에서 WBA를 통한 학습을 이해하는 데 있어 사회적 맥락의 중심 역할에 대해 어느 정도 동의한다는 것을 시사합니다. 

Yet the included studies illustrate that the ‘threat’ of assessment is not universal. Individual trainees have variable responses to the emotional stress of direct observation,58 and variable affinity towards WBA.63 

  • In one study, supervisors or trainees that found WBA complimentary to their usual approach to feedback and assessment were able to incorporate their use with greater ease.63 
  • In this same study, there were individuals who did not find that WBA fit with their usual approach, but ascribed to the value of the process, and thus worked to incorporate the tools.63 
  • It was individuals who did not understand the role of WBA that found the process particularly burdensome and the educational value to be low.63 
  • Active supervisors have been shown to be able to overcome avoidant assessment behaviour by trainees by offering frequent observation and feedback.58 
  • Perspectives are often shared by the whole training group, which further highlights the importance of the social context.58 
  • In keeping with this, a follow-up study by Balmer et al. found that both faculty and trainees were able to shift from a performance orientation to a learning orientation after 10 years in a CBME context.66 
  • The transition from performance to learning orientation could suggest that we simply need more time to comprehensively orient stakeholders to the performance standards, process and purpose, and eventually achieve a shared mental model.

Across the included studies in this scoping review, social learning theories were the most commonly applied theories.9, 43, 47, 57, 61 This suggests some agreement regarding the central role of social context in understanding learning through WBA amongst researchers in this field.

WBL 문헌 기반에서 수퍼바이저와 연수생 행동의 개인차는 학습의 조절자로서 광범위하게 설명되어 왔습니다.24, 25 Wiese 등의 모델에서는

  • 수퍼바이저 스타일의 차이가 학습에 미치는 영향(전문적 대 비전문적 행동 모델링, 마이크로 매니지먼트 대 미니멀리스트 수퍼바이저 스타일)과
  • 연수생 간의 차이(자신의 학습에 대한 연수생의 주체성, 부적절한 지원 추구에 대한 인식 및 두려움, 피드백 추구 행동)를 강조했습니다.24

WBL에 대한 Billett의 논문에서도 마찬가지로 개인이 사회적 맥락에서의 참여, 환경 단서의 흡수 및 자신의 진행 상황 모니터링을 포함하여 제공되는 학습 경험에 참여할 수 있는 다양성을 강조하고 있습니다.25 따라서 다양한 교육생 목표 지향성은 WBA 시대에 새로운 것은 아니지만 임상 환경에서 직접 관찰, 피드백 및 평가의 요구 빈도와 인식이 증가함에 따라 더 큰 관심을 받고 있습니다.  
In the WBL literature base, individual differences in supervisor and trainee behaviours have been extensively described as modulators of learning.24, 25 In the Wiese et al. model,

  • differences in supervisory styles were highlighted for their impact on learning (professional versus unprofessional behaviour modelling, micromanaging versus minimalist supervisor styles) as were
  • differences between trainees (trainee agency over their own learning, perceptions and fears of inappropriate support seeking, feedback-seeking behaviours).24 

Billett's paper on WBL similarly emphasizes the variance through which individuals will engage in the provided learning experiences, including their engagement in the social context, uptake of environmental clues and monitoring of their own progress.25 Thus, the different trainee goal orientations are not new in the era of WBA but have received greater attention given the increased required frequency and perceived stakes of direct observation, feedback and assessment in the clinical environment.

4 논의
4 DISCUSSION

이 범위 검토를 통해 연수생과 교수진의 관점에서 WBA를 통한 학습을 탐구하는 광범위한 1차 문헌 기반을 확인했습니다. 이전 리뷰와 관점에서는 WBA의 실행,6,68 수용성, 효과 및 유용성을 검토한 바 있지만,20 본 연구는 WBA가 대학원 의학 학습에 미치는 영향을 총체적으로 탐구한 최초의 연구입니다. 긴장과 도전 과제를 재구성하기 위해 이 분석은 빌렛의 기존 WBL에 따라 진행되었습니다.25  
This scoping review identified a broad primary literature base exploring learning through WBA from the perspective of trainees and faculty members. While prior reviews and perspectives have examined the implementation,6, 68 acceptability, effectiveness, and utility of WBA,20 our study is the first to holistically explore how WBA impacts postgraduate medical learning. In order to re-frame tensions and challenges, the analysis was guided by Billett's existing WBL.25

우리는 학습'알고, 할 수 있고, 가치 있는 것'으로 변화하는 과정으로 정의합니다.25 이 광범위한 정의를 적용하면 학습이 항상 어떻게 발생하는지 명확해집니다. 임상 업무 환경에서는 교육생의 가치 체계 변화와 같이 모든 형태의 학습을 포착하거나 측정하기 쉬운 것은 아닙니다. 학습을 안내하기 위해 WBA를 사용할 때, 감독자가 직접 관찰하고 피드백을 제공하고 평가를 완료하는 능력에 따라 우선순위가 정해지는 특정 유형의 학습이 있습니다. 그 외의 관찰, 상호 작용 및 비공식적인 피드백은 체계적으로 포착할 수 없습니다. 이러한 점을 염두에 두고, 이 범위 검토에서는 WBA와 WBL 사이의 가장 강력한 연결고리로서 피드백을 강조합니다. 보건 전문직 교육에서 피드백은 '교육생의 성과를 개선하기 위한 의도로 주어진 교육생의 관찰된 성과와 표준 간의 비교에 대한 구체적인 정보'로 정의되었습니다.69 위에서 설명한 바와 같이, WBA는 이러한 객관적인 표준을 정의하고48, 49, 52, 54, 63 피드백 빈도의 증가를 유도함으로써 피드백의 구체성과 구조를 강화했습니다.10, 64 그러나 이러한 도구가 교육생에게 제공되는 피드백의 질을 확실하게 개선하지는 못했습니다.8, 53, 63 의미 있는 피드백은 종종 교수진에서 교육생에게 피드백이 선형적으로 전달되는 것이 아니라 교수진과 교육생 간의 공동 구성으로 설명됩니다.24 WBA는 이러한 논의의 출발점이 될 수 있지만,45 이러한 평가가 학습과 역량 평가라는 이중 목적을 달성하는 경우 교수진과 교육생 모두에게 기대치와 목표를 공동 구성하는 것은 실질적으로 어려운 일이 됩니다.7, 48  
We define learning as the process of change to what someone ‘knows, can do and values’.25 Applying this broad definition, it becomes clear how learning occurs all the time. In the clinical workplace, not all forms of learning are easy to capture or measure, such as changes to a trainees' value system. When we hone in on the use of WBA to guide learning, there are certain types of learning that become prioritized based on a supervisor's ability to directly observe, provide feedback and complete an assessment. Other observations, interactions and informal pieces of feedback cannot be systematically captured. With that in mind, this scoping review highlights feedback as the strongest link between WBA and WBL. Feedback within health professions education has been defined as specific information about the comparison between a trainee's observed performance and a standard, given with the intent to improve the trainee's performance’.69 As described above, WBA has enhanced feedback specificity and structure by defining those objective standards,48, 49, 52, 54, 63 and prompting an increase in the frequency of feedback.10, 64 However, these tools have not reliably improved the quality of feedback provided to trainees.8, 53, 63 Meaningful feedback is often described as a co-construction between faculty and trainees, rather than the linear transmission of feedback from faculty to trainee.24 A WBA can act as a starting point for this discussion,45 but co-construction of expectations and goals becomes practically challenging for both faculty and trainees when these assessments serve the dual purpose of learning and assessment of competence.7, 48

4.1 향후 연구를 위한 격차 확인
4.1 Identified gaps for future study

4.1.1 연구 결과의 확장
4.1.1 Expanding research outcomes

이 범위 검토에서 수집한 문헌은 일반적으로 교수진과 연수생의 관점과 WBA 도구의 실행에 대한 반응에 초점을 맞추었습니다. 평가 도구에 대한 인식이 효능에 영향을 미치고,70 태도와 문화가 도구의 수용 가능성과 학습 가치에 영향을 미친다는 것은 분명하지만,63,71 인식을 넘어서는 연구를 시작하는 것이 중요합니다. WBL 이론에서 향후 조사해야 할 관심 있는 결과로는 WBA가 직장의 변화에 미치는 영향,25 전문가 정체성 형성, 안전한 의료행위 참여, 미래 의료행위 준비 등이 있습니다.24 이는 의료 학습 모델을

  • 전통적인 자격 지표(지식, 기술 및 태도)를 넘어
  • 사회화(전문가 그룹의 일원이 됨) 및
  • 주체화(사려 깊고 성찰적이며 책임감 있는 의사 되기)로 확장하려는 최근 제안과 일치합니다.72

사회화 및 주체화를 탐구하는 미래의 학문적 작업은 신중하게 설계된 이론 기반 종단 질적 연구를 통해 추구할 수 있습니다. 
The literature captured in this scoping review generally focused on faculty and trainee perspectives and reactions to the implementation of WBAs tools. While it is clear that perception of an assessment tool will impact the efficacy,70 and attitudes and culture will impact the acceptability and learning value of any tool,63, 71 it is important that we start to move beyond perceptions. Future outcomes of interest to investigate in WBL theory could include the impact of WBA on transformation of the workplace,25 professional identity formation, safe participation in practice and preparation for future practice.24 This aligns with a recent proposal to expand the medical model of learning beyond

  • traditional qualification metrics (knowledge, skills and attitudes) to include
  • socialization (becoming a member of a professional group) and
  • subjectification (becoming a thoughtful, reflective and responsible physician).72 

Future scholarly work to explore socialization and subjectification could be pursued through carefully designed theory-informed longitudinal qualitative studies.

4.1.2 평가 어휘집
4.1.2 Lexicon of assessment

프로그램적 WBA에 적용된 어휘집은 감독자와 훈련생이 공유된 정신 모델을 개발하는 능력을 의도하지 않게 방해했을 수 있습니다. 최근 사용자의 공유된 이해를 개선하기 위해 WBA의 설계와 위임 언어를 최적화해야 한다는 주장이 제기되었습니다.73 언어는 평가의 인지된 부담에도 영향을 미칠 수 있습니다.14 자율성과 유연성을 강화하는 언어로 WBA를 설계하면14, 15 학습자의 주체성을 촉진하고 다양한 교육 상황 및 문화와의 조율을 지원할 수 있습니다.73 이러한 변화는 학습 결과를 설명하기 위해 고안된 도구가 대화, 여러 이해관계자의 관점, 학습이 이루어지는 시스템의 복잡성을 통합해야 한다고 제안하는 경험적 학습 이론 및 문화역사 활동 이론과 일치합니다.23 이는 직장에서의 사회적 학습을 의도적으로 통합하는 훈련생에 대한 성과 관련 피드백으로의 전환을 강화하는 역할을 할 것입니다.74 WBA 프로그램을 재설계할 때 우리는 질문을 할 수 있습니다:

  • 학습을 보다 효과적으로 안내하기 위해 WBA 중에 발생하는 복잡하고 상황에 기반한 상호 작용을 포착하도록 도구를 최적화할 수 있을까요?

이러한 재설계에는 이러한 평가의 객관성 부족에 대한 불만을 지속하기보다는 직장 기반 평가에서 '공유-주관성'을 포용하고 중요하게 여길 기회가 있습니다.18 향후 작업에서는 설계 반복에 정보를 제공하기 위해 직장 학습에 관한 지표를 사용하여 WBA를 운영하는 품질 개선 접근법을 채택할 수 있습니다.
The lexicon applied to programmatic WBA may have unintentionally impeded the ability for supervisors and trainees to develop a shared mental model. It was recently argued that the design of WBA, and the language of entrustment, needs to be optimized in order to improve the shared understanding of the users.73 Language is likely to also have an impact on the perceived stakes of an assessment.14 Designing WBA with language that enhances autonomy and flexibility14, 15 could promote learner agency and support alignment with different training contexts and cultures.73 This shift would align with both experiential learning theory and cultural historical activity theory, which suggest that tools designed to describe learning outcomes need to integrate dialogue, perspectives from multiple stakeholders, and the complexity of the system in which the learning takes place.23 This would serve to reinforce the shift towards performance-relevant feedback for trainees, which intentionally integrates social learning in the workplace.74 In re-designing our programmes of WBA could we ask the question: 

  • Can the tools be optimized to capture the complex and situationally-rooted interactions that occur during WBA in order to guide learning more effectively? 

There is opportunity in this re-design to embrace and value ‘shared-subjectivity’ in workplace-based assessment rather than perpetuating the frustration about the lack of objectivity of these assessments.18 Future work could adopt a quality improvement approach in operationalizing WBA using metrics around workplace learning to inform design iterations.

4.1.3 범위 확장: 문화적, 이론적, 철학적 토대
4.1.3 Expanding the scope: Cultural, theoretical and philosophical underpinnings

임상팀, 지역 문화, 임상 업무의 성격은 모두 WBL 환경에서 감독자, 수련생, 환자 간의 관계와 상호작용에 영향을 미칩니다.24 이 백서에서는 WBA의 실행이 직장을 어떻게 변화시킬 것인지에 대해 논의합니다. 여러 논문에서 (조직 수준에서) 문화적 변화의 필요성과 CBME 내에 WBA를 통합하기 위한 광범위한 동의에 대해 언급하고 있지만,48 다음은 여전히 불분명합니다.

  • (1) 이를 어떻게 배양해야 하는지,
  • (2) 임상 작업장의 변화(의도적이든 비의도적이든)를 어떻게 모니터링해야 하는지

The clinical team, local culture, and nature of clinical tasks all influence the relationship and interactions between supervisors, trainees and patients in the WBL environment.24 In this paper, we discuss how the implementation of WBA will transform the workplace. While papers speak to the need for cultural change (at the organizational level) and widespread buy-in for integrating WBA within CBME,48 it remains unclear

  • (1) how this should be cultivated and
  • (2) how we should monitor the transformation of our clinical workplaces (both intentional and unintentional).

이 리뷰에 포함된 대부분의 연구는 귀납적 질적 방법론, 주로 구성주의 근거 이론(CGT)을 적용했습니다. 완전 귀납적 연구 설계인 CGT의 경우, 연구팀은 데이터로부터 자체 이론을 생성합니다.75 현 단계에서 우리는 WBA 맥락에서 '긴장'으로 나타나는 행동과 정서적 반응을 이해하기 위해 향후 연구에서 사회문화 및 학습 이론이 필요하다고 주장합니다. 링가드와 클라센은 임상 수퍼비전의 복잡한 차원을 지속적으로 이해하는 것의 중요성에 대해 언급하며, 이는 WBA를 통해 수련생과 수퍼바이저의 행동을 평가하는 비선형 매트릭스를 포함합니다.76 우리는 이 렌즈를 통한 추가 연구가 학습을 위한 평가가 언제, 어떻게 이루어질 수 있는지에 대해 더 가까이 다가갈 수 있기를 바랍니다. 
Most studies included in this review applied inductive qualitative methodologies, predominantly constructivist grounded theory (CGT). In the case of CGT, which is a fully inductive study design, the research team generates their own theory from the data.75 At this stage, we argue that sociocultural and learning theories are required in future studies in order to understand the behaviour and emotional reactions presenting as ‘tensions’ within the WBA context. Lingard and Klasen comment on the importance of continuing to understand the complex dimensions of clinical supervision, a non-linear matrix that contains evaluating trainees' and supervisors' behaviours with WBAs.76 We hope that further research through this lens could move closer to if, when and how assessment-for-learning can be achieved.

이 백서에서는 임상 학습 환경에서 WBA를 사용하는 사람들이 공유하는 멘탈 모델의 부재와 이것이 교육생의 참여에 미치는 영향을 강조합니다. 한 걸음 물러서서 생각해보면 이러한 구현 문제는 CBME의 철학적 기원에 대해 생각해 볼 때 예측할 수 있었던 문제일 수도 있습니다. 타바레스 등이 주장한 바와 같이, 평가 문헌에는 역량의 철학적 토대에 대한 일관된 정신 모델이 부족하며, 일부 모델은 실증주의 또는 포스트 실증주의에 부합하고 다른 모델은 구성주의 또는 해석주의에 부합합니다.77 이러한 다양한 철학적 관점은 평가 설계, 실행, 교수진 개발 및 연수생과 WBA의 상호작용에 영향을 미치며, 이는 의심할 여지없이 학습에 영향을 미칠 것입니다.

  • 실증주의적 관점은 일부 기준 기반 성과 표준에 초점을 맞출 가능성이 높으며,7, 39, 77 이는 성과 지향에 대한 긴장을 고조시킬 위험이 있습니다.
  • 반면 구성주의적 관점은 강력한 심리측정의 필요성을 덜 강조하고, 유연성 향상과 학습자 선택권 확대를 통해 상황 및 문화적 요인을 포착하는 것을 수용합니다.77

우리는 WBA 및 학습 분야에서 연구자들이 다양한 철학적 입장을 계속 유지할 것임을 인식하며, 향후 작업에서 이러한 대화의 일관성과 명확성을 높이기 위해 연구자들이 자신의 철학적 입장을 명시적으로 공개할 것을 촉구합니다.77 연구자의 철학적 입장은 연구 결과와 얽혀 있으며 WBA를 통한 학습 결정의 기본이 될 것입니다.77 
This paper highlights the absence of a shared mental model by those using WBA in clinical learning environments and the impact of this on trainees' engagement. Taking a step back, perhaps this implementation challenge could have been predicted when we think about the philosophical origins of CBME. As argued by Tavares et al., there is lack of a consistent mental model around the philosophical underpinnings of competence within assessment literature, with some models aligning with positivism or post-positivism, and others with constructivism or interpretivism.77 These different philosophical perspectives will impact assessment design, implementation, faculty development and trainee interaction with WBA, which will undoubtedly impact learning.

  • Positivist perspectives are more likely to focus on some of the criterion-based performance standards,73977 which risks contributing to the rising tensions around performance orientation.
  • Alternatively, a constructivist perspective de-emphasizes the need for robust psychometrics, and embraces capturing situational and cultural factors through enhanced flexibility and greater learner agency.77 

We recognize that there will continue to be a variety of philosophical positions held by researchers in the space of WBA and learning, and echo the call for researchers to explicitly disclose their philosophical position in order to enhance alignment and clarity of these conversations in future work.77 Researchers' philosophical positions are intertwined with research outcomes and will be fundamental to determining learning through WBA.77

4.2 요약
4.2 Summary

빌렛의 네 가지 전제의 렌즈를 사용하여 WBA를 통한 학습의 과제를 재구성하면 관찰을 상황화하고 표준화하여 앞으로 나아갈 길을 명확하게 제시하는 데 도움이 됩니다.

  • 학습WBA 획득 여부와 관계없이 WBL 내에서 항상 발생한다는 것이 분명해집니다. 지나치게 규범적이지 않다면, WBA는 WBL에서 학습 목표의 명확성을 높이고 덜 일반적으로 관찰되지만 진정한 임상 술기에 대한 직접적인 관찰과 피드백을 장려하는 역할을 할 수 있습니다.
  • 또한, WBA에 대한 우리의 지속적인 참여는 우리의 업무 환경을 변화시키고 있으며, 우리는 이러한 영향을 파악하고 이해하는 초기 단계에 있습니다. WBA가 학습이나 목표 지향성에 미치는 영향에 대해 '모든 것에 맞는' 하나의 정의를 내릴 수는 없다는 점을 인식하는 것이 중요합니다. 즉, 부분적으로는 WBL 환경 내에서 WBA 프로세스에 대한 참여가 개인적, 사회적으로 매개되기 때문입니다.
  • 마지막으로, 우리는 WBA와 WBL 모두에서 학습의 조절자를 이해함으로써, 교육 프로그램이 다양한 사회적 환경 내에서 개별 학습자의 요구에 맞게 평가 전략을 조정하고 '실천 속에서 아는 것'에 필요한 주관성을 포용하는 시스템을 만들 수 있다고 제안합니다.

Re-framing the challenges of learning through WBA using the lens of Billett's four premises helps to provide clarity on a path forward by situating and normalizing our observations.

  • It becomes clear that learning occurs all the time within WBL, irrespective of whether WBAs are obtained. If not overly prescriptive, WBA can serve to enhance clarity of learning goals in WBL and to encourage direct observation and feedback on less commonly observed, yet authentic, clinical skills.
  • Furthermore, our ongoing engagement with WBA is transforming our workplace, and we are early stages of capturing and understanding this impact. It is important to recognize that we cannot seek to define a ‘one size fits all’ understanding of the impact of WBA on learning or goal orientation. That is, in part, because engagement in the WBA process within the WBL environment is both personally and socially mediated.
  • Finally, we propose that understanding the modulators of learning in both WBA and WBL may allow educational programs to tailor their assessment strategies towards individual learner needs within different social environments, and to create a system that embraces subjectivity required for ‘knowing in practice’.

4.3 한계
4.3 Limitations

범위 검토의 좁은 초점 때문에 직장 내 평가와 학습을 모두 다룬 주요 연구 논문만 포함되었습니다. WBA를 사용하여 학습을 위한 평가를 달성하는 방법에 대한 관점과 논쟁이 증가하고 있지만, 우리의 의도는 이 분야를 알려주는 주요 데이터를 종합하는 것이었습니다. 또한 실제 임상 환경에서의 학습 및 평가에 대한 광범위한 개념에 초점을 맞추었기 때문에 통제된 환경에서 개별 WBA 도구를 실험적으로 검증하는 동안 학습 결과의 개발 및 측정에 관한 모든 1차 문헌을 수집하려고 하지는 않았습니다. 검색 전략은 포괄적이었지만, 연구팀은 검색 전략을 추가 데이터베이스에 적용했다면 추가 연구를 포착할 수 있었을 것이라는 점을 인지하고 있습니다.
Given the narrow focus of a scoping review, only primary research papers that captured both assessment and learning in the workplace were included. While there are growing perspectives and debates regarding how to achieve assessment for learning using WBA, our intention was to synthesize the primary data that informs this space. Furthermore, given the focus on the broader concepts of learning and assessment in the authentic clinical environment, we did not seek to capture all primary literature regarding the development and measurement of learning outcomes during the experimental validation of individual WBA tools in controlled settings. While the search strategy was inclusive, the research team recognizes that additional studies may have been captured if the search strategy was applied to additional databases.

4.4 교육자 및 연구자를 위한 시사점
4.4 Implications for educators and researchers

이용 가능한 문헌에 따르면 WBA는 '학습을 위한 평가'와 '학습에 대한 평가'라는 두 가지 목적을 달성하기 위해 활용되고 있지만, 실제로 이러한 상호 목표가 달성되었음을 아직 입증하지 못했습니다. 현재 우리는 평가와 학습에 대한 가정 사이에서 교착 상태에 빠져 있습니다. 이 백서에서는 WBL 이론에 주목하여 이 논의를 재구성하고자 했습니다. 우리는 학습과 사회문화 이론을 연구 설계에 더 많이 통합하고, WBA를 통해 학습에 관한 모델을 업데이트할 때 연구자의 철학적 입장에 명확히 맞출 것을 제안합니다. 실질적으로, CBME 교육 맥락에서 리더와 교육자들은 현재의 WBL 환경에서 교육생들 사이에 존재할 다양한 관점을 잘 설명하는 것이 중요합니다. 
The available literature suggests that although WBAs are being utilized to serve the dual purpose of ‘assessment-for-learning’ and ‘assessment-of-learning’, we have yet to demonstrate achievement of these mutual goals in practice. We are currently in a stalemate between assessment and learning assumptions. In this paper, we have sought to re-frame this conversation by attending to WBL theory. We propose that learning and sociocultural theory be more heavily integrated into research design, with clear alignment to the researchers' philosophical position when updating models on learning through WBA. Practically speaking, it is critical that leaders and educators in a CBME training context come to recognize the well-described variety of perspectives that will exist amongst their trainees in the current WBL environment.

5 결론
5 CONCLUSION

결론적으로, 빌렛의 네 가지 전제25에 따라 WBA와 WBL의 중첩에 초점을 맞춘 문헌을 종합하여 중요한 격차를 강조하고 CBME의 궁극적인 목표인 직장 내 학습을 위한 평가를 달성할 가능성을 높이기 위한 주요 탐구 방법을 확인했습니다. In conclusion, by bringing together the literature that focuses on the overlap between WBA and WBL framed by Billett's four premises,25 we have highlighted critical gaps, and identified key avenues for exploration to increase our chances of achieving the ultimate goal of CBME: assessment for learning in the workplace.

 

 


Med Educ. 2023 May;57(5):394-405. doi: 10.1111/medu.14960. Epub 2022 Nov 21.

How workplace-based assessments guide learning in postgraduate education: A scoping review

Affiliations

1Department of Medicine, McMaster University, Hamilton, Ontario, Canada.

2Department of Medicine, Western University, London, Ontario, Canada.

3McMaster Education Research, Innovation, and Theory Program, McMaster University, Hamilton, Ontario, Canada.

4Department of Medicine, Queens University, Kingston, Ontario, Canada.

5Department of Medicine, Ottawa University, Ottawa, Ontario, Canada.

PMID: 36286100

DOI: 10.1111/medu.14960

Abstract

Introduction: Competency-based medical education (CBME) led to the widespread adoption of workplace-based assessment (WBA) with the promise of achieving assessment for learning. Despite this, studies have illustrated tensions between the summative and formative role of WBA which undermine learning goals. Models of workplace-based learning (WBL) provide insight, however, these models excluded WBA. This scoping review synthesizes the primary literature addressing the role of WBA to guide learning in postgraduate medical education, with the goal of identifying gaps to address in future studies.

Methods: The search was applied to OVID Medline, Web of Science, ERIC and CINAHL databases, articles up to September 2020 were included. Titles and abstracts were screened by two reviewers, followed by a full text review. Two members independently extracted and analysed quantitative and qualitative data using a descriptive-analytic technique rooted in Billett's four premises of WBL. Themes were synthesized and discussed until consensus.

Results: All 33 papers focused on the perception of learning through WBA. The majority applied qualitative methodology (70%), and 12 studies (36%) made explicit reference to theory. Aligning with Billett's first premise, results reinforce that learning always occurs in the workplace. WBA helped guide learning goals and enhanced feedback frequency and specificity. Billett's remaining premises provided an important lens to understand how tensions that existed in WBL have been exacerbated with frequent WBA. As individuals engage in both work and WBA, they are slowly transforming the workplace. Culture and context frame individual experiences and the perceived authenticity of WBA. Finally, individuals will have different goals, and learn different things, from the same experience.

Conclusion: Analysing WBA literature through the lens of WBL theory allows us to reframe previously described tensions. We propose that future studies attend to learning theory, and demonstrate alignment with philosophical position, to advance our understanding of assessment-for-learning in the workplace.

임상환경에서 문화가 학습, 실천, 정체성 발달에 영향을 주는 방식에 대한 시야 넓히기(Med Educ, 2021)
Widening how we see the impact of culture on learning, practice and identity development in clinical environments
Dale Sheehan1 | Tim J. Wilkinson2

 

감각을 개발하고 특히 보는 법을 배우세요. 모든 것이 다른 모든 것과 연결되어 있다는 것을 깨달으십시오. (레오나르도 다빈치)
Develop your senses—especially learn how to see. Realize that everything connects to everything else. (Leonardo Da Vinci)

1 소개
1 INTRODUCTION

세기가 바뀌면서부터 보건 전문 교육 학자들은 임상 학습 환경에 점점 더 많은 관심을 갖게 되었고, 직장 환경에서 무엇이 학습에 도움이 되고 방해가 되는지 이해하기 위한 연구를 진행했습니다. 환경, 사회적, 물리적 측면, 감독자의 역할, 학습자의 주체성 등 직장이 제공하는 어포던스를 파악하는 데 중점을 두었습니다. 이 모든 것은 학습 환경이 제공하는 기회를 극대화하는 데 목적이 있습니다. 사회문화적 관점,1,2 직장 학습 이론,3-5 상황 학습6 및 상황성 이론7의 수용은 이러한 노력을 뒷받침해 왔습니다. 이번 자아, 사회 및 상황에 대한 과학 현황 시리즈의 일환으로, 우리는 상황을 보다 폭넓게 바라보는 방법과 문화가 이에 어떤 영향을 미칠 수 있는지에 초점을 맞춥니다.  
Since the turn of the century, health professional education scholars have become increasingly interested in the clinical learning environment, positioning research to understand what helps and hinders learning in workplace settings. The focus has included uncovering the affordances that the workplace offers: the environment, social and physical aspects; the role of the supervisor; and the agency of the learners. These are all aimed at maximising the opportunities the learning environment presents. The embracing of sociocultural perspectives,1, 2 workplace learning theory,3-5 situated learning6 and situativity theory7 have supported these endeavours. As part of this State of the Science series on Self, Society and Situation, we focus on how we might see the situation more broadly and how culture might influence this.

먼저 용어에 대한 몇 가지 설명을 드리겠습니다. '상황'이란 임상 학습 환경을 의미합니다. 임상 학습 환경 자체에 대한 정의는 쉽지 않지만, 저희의 목적상 학습이 이루어지는 모든 임상 업무 환경을 포함하며, 이러한 의도적으로 넓은 관점에는 실무자와 수련의에게 학습 경험을 제공하면서 주로 업무(의료 서비스 제공)에 중점을 두는 환경뿐만 아니라 업무에 중점을 두지 않는 환경도 포함될 수 있습니다. 여기에는 학부 및 대학원 교육뿐만 아니라 지속적인 실습 단계의 교육도 포함됩니다. 또한 모든 의료 전문직을 포함하는 것으로 보고 있습니다. 일부에서는 '일'과 '학습'을 분리하려고 하지만, 저희는 보다 통합적인 관점을 취합니다. 2019년이 되어서야 개인적 요소, 사회적 요소, 조직적 요소(조직 문화 포함), 물리적 공간, 가상 공간을 강조하는 학습 환경의 개념적 틀이 제안되었습니다.8 마찬가지로 문화도 정의에 저항해 왔습니다.9 역량과 마찬가지로 문화는 보건 전문가 교육에서 '신의 용어'가 될 수 있습니다.10 링가드는 '신 용어의 위험은 반복적인 사용과 친숙함을 통해 자연스럽고 보편적이며 필연적인 현실의 질서를 암시하게 된다는 점'이라고 경고합니다.10 이러한 용어를 구분하는 것은 낯설게 만들고, 이를 뒷받침하는 동기를 발굴하며, 적응적이고 유연한 담론을 위한 공간을 여는 작업입니다.10 그러나 이 백서 뒷부분에서 논의하는 최근 연구는 문화의 구성 요소를 명확히 하고 있습니다.
First, some clarification of terms are made. By ‘situation’, we refer to clinical learning environments. The clinical learning environment itself has resisted definition but for our purposes includes any clinical workplace where learning occurs—this deliberately wide view encapsulates environments that primarily focus on work as well as those that are focused on work (the delivery of health care services), while providing learning experiences for practitioners and trainees. It includes undergraduate and postgraduate training as well as ongoing practice stages of training. We also see this as including all health professions. Some try to separate ‘work’ from ‘learning’, but we take a more integrated view. It was not until 2019 that a conceptual framework of the learning environment was proposed, which highlighted a personal component, a social component, an organisational component (including the organisational culture), physical spaces and virtual spaces.8 Likewise, culture has resisted definition.9 Culture, like competence, may have become a ‘God term’ in health professional education.10 Lingard warns us that ‘the danger with God terms is that, through repeated use and familiarity, they become suggestive of a natural, universal and inevitable order of reality.10 Teasing them apart is an exercise in making them unfamiliar, excavating the motivations that underpin them, and opening space for an adaptive and flexible discourse’.10 However recent work, which we discuss later in this paper, has clarified components of culture.

보건 전문 교육자들이 보건 환경에서 일하는 동안 개인이 학습하는 방식에 대한 생각을 어떻게 발전시켜왔는지 요약합니다. 임상 작업장 환경에서의 학습에 관한 새로운 논의를 검토합니다. 최근에 우리는 문화와 학습 환경에 미치는 영향에 관한 다른 사람들의 연구에 경각심을 불러일으킨 관찰 연구를 자체 연구에 포함하기로 결정했습니다. 우리는 우리의 성찰을 공유하고 조직 문화와 문화의 더 넓은 측면이 자주 언급되지만 덜 자주 탐구되는 요소라는 결론을 내리는 예시적인 사례 연구를 제공합니다. 실무와 연구에 대한 시사점을 논의합니다. 
We summarise how health professional educators have evolved their thinking about how individuals learn while working in health environments. We review the emerging dialogue concerning learning in clinical workplace environments. Recently, we moved to include observational studies in our own work which has alerted us to the work of others around culture and its impact on learning environments. We share our reflections and offer illustrative case studies concluding that organisational culture and wider aspects of culture are factors that are often mentioned but less often explored. We discuss the implications for practice and research.

2 우리가 아는 것
2 WHAT WE KNOW

이제는 시대에 뒤떨어진 관점에서는 학습이 가르치는 내용에 의해 통제될 수 있다고 주장했습니다. 이후 학습자의 자율성과 신뢰를 반영하는 학습 성과로 초점이 옮겨졌습니다. 이후 직장에서의 학습이 처음 생각했던 것만큼 예측하기 어렵다는 사실을 깨닫고 감독자의 역할에 더 중점을 두게 되었습니다. 이로 인해 수퍼바이저는 학습 내용을 통제하거나 관리하는 데 도움을 줄 수 있으며, 학습자가 학습을 하지 않는다면 이는 학습자, 수퍼바이저 또는 dyad에게 문제가 있다는 견해로 이어졌습니다. 이후 직업 교육사회 학습 패러다임이라는 더 넓은 분야의 영향을 받은 연구에서는 학습 환경과 학습자의 학습 환경에 대한 경험에 주목했습니다. 예를 들어, 우리는 자체 연구와 Stephen Billett과의 협력을 통해 임상 환경에 대한 학습자의 경험과 학습의 필수 요소인 참여를 지원하기 위해 감독자가 할 수 있는 일을 조사했습니다.11 우리는 실무 커뮤니티 내에서 학습이 어떻게 발생하는지 고려하고6 직장이 학습자에게 무엇을 제공하고 이것이 워크플로와 물리적 환경에 의해 어떻게 영향을 받는지 이해하는 데 관심을 갖게 되었습니다.4, 11, 12 이 연구는 모든 역량을 포괄할 수 있도록 학습 결과를 업무 경험에 매핑하려는 시도와 대조적으로 진행됩니다. 당시의 개념은 학습 환경을 둘러싼 문화를 기껏해야 통제할 수 없는 것으로, 최악의 경우 무시해야 할 것으로 간주했습니다. '숨겨진 커리큘럼'이라는 용어는 학습 환경의 부정적 영향과 동의어로 여겨질 정도로 부정적으로 여겨지기도 했습니다.13 집단 따돌림은 이러한 부정적 영향 중 하나에 초점을 맞추었지만, 여기에서도 의대생 괴롭힘 문제를 해결하려면 의사에 초점을 맞춰야 하고, 간호대생 괴롭힘 문제를 해결하려면 간호사에 초점을 맞춰야 한다는 제한적이고 비전문적인 렌즈를 통해 바라보려는 경향을 보였습니다. 실제로 괴롭힘 문화는 환경 문화를 반영하는 것으로, 여러 분야에 걸쳐 발생하는 경우가 많습니다. 예를 들어 의대생은 의사보다 간호사에게 괴롭힘을 당할 가능성이 더 높거나 더 높습니다.14  
A now outmoded view contended that learning could be controlled by what is taught. The focus then moved to learning outcomes, reflecting greater agency and trust in the learner. Later developments followed the realisation that learning in workplaces is not as predictable as first thought so there was a greater focus on the role of the supervisor. This led to the view that the supervisor could help control or manage what is learnt and if the trainee was not learning, then somehow it was either a problem with the trainee, the supervisor or the dyad. Influenced by the wider field of vocational education and social learning paradigms, later research turned attention to the learning environment and learners' experiences of those environments. As an example, in our own research and working with Stephen Billett, we investigated learners' experiences of the clinical environment and what supervisors could do to support participation as an essential ingredient for learning.11 We considered how learning occurred within communities of practice6 and became interested in understanding what the workplace afforded learners and how this was influenced by workflows and the physical environment.4, 11, 12 This work contrasts with trying to map learning outcomes to work experiences to ensure that every competency is covered. Conceptualisations at that time came to view the culture surrounding the learning environment as, at best, out of control and, at worst, something to be ignored. It was often seen as negative—adapting the term the ‘hidden curriculum’, which came to be seen as synonymous with the adverse impacts of the learning environment.13 Bullying became a focus of one of these adverse impacts, but even here we tended to view this through a limited, uniprofessional, lens—to fix the bullying of medical students, we need to focus on the doctors; to fix the problems of bullying nursing students, we needed to focus on nurses. In fact, a bullying culture is more a reflection of the environmental culture and often occurs across disciplines—for example, medical students are just as, or more, likely to be bullied by a nurse than by a doctor.14

좋은 견습생, 좋은 감독자, 좋은 학습 환경을 만드는 요인을 탐구한 연구에서 몇 가지 핵심 메시지를 제시했습니다.15-17
As research explored what made a good apprentice, a good supervisor and a good learning, environment it offered some key messages.15-17

  • 학습자 참여가 핵심입니다.
  • 환경은 학습 기회를 제공함으로써 교육을 수행하지만, 이는 슈퍼바이저가 지원해야 합니다.
  • 학습자가 주체성과 발언권을 갖기 위해서는 업무 압박, 인적 요인 및 오류를 유발할 수 있는 기타 영향의 영향을 인정하면서 안전한 환경이 필요합니다.
  • 학습 환경을 직접 관찰하면 팀 커뮤니케이션을 이해하여 학습 이벤트가 발생하는 위치를 파악하고 전문가 간 협업이 이루어지는 방식과 장소를 탐색하는 데 도움이 됩니다.
  • Learner participation is the key.
  • The environment does the teaching by affording opportunities for learning, but this needs to be supported by the supervisor.
  • In order for learners to have agency and a voice, they need safe environments while acknowledging the impacts of work pressure, human factors and other influences that could lead to errors.
  • Direct observation of learning environments helps gain an understanding of team communication to see where learning events happen and to explore how and where interprofessional collaboration occurs.


이 논문은 사물이 서로 연결되어 있다는 것을 깨닫는 데 도움이 되는 감각을 개발해야 한다는 레오나르도 다빈치의 인용문에서 시작되었습니다. 우리는 더 넓은 기관의 요소를 포용하고, 환자 치료 및 임상 학습 모델에 영향을 미치는 조직의 가치와 문화를 인식하고 인정하여 이를 외면하거나 무시하지 않고 함께 일하며, 성찰과 관찰을 통해 암묵적인 것을 가시화하고 문화에 대한 다양한 관점을 포용할 필요가 있다고 제안합니다.
Our paper started with a quote from Leonardo Da Vinci who suggests we need to develop our senses to help us realise that things connect to each other. We suggest there is a need to embrace the wider institution factors, recognise and acknowledge an organisation's values and culture as they impact on models of patient care and clinical learning in order to work with these, not around them or ignore them, to make what may be tacit visible through reflection and observation and to embrace a range of perspectives on culture.

3 새로운 대화
3 THE EMERGENT DIALOGUE

학습 환경의 개념적 틀은 정책, 리더십 행동, 규제 기관 및 인증의 영향을 포함한 조직 문화의 역할을 강조했습니다.8 이와 함께 질 향상 분야의 저자들은 보건의료 조직 문화를 '의료 서비스 조직의 눈에 잘 띄지 않는 부드러운 측면과 이것이 진료 패턴에서 어떻게 나타나는지'에 대한 은유로 설명했습니다.18 이 연구는 학습 환경 작업의 범위를 넓혀 조직 문화가 보건의료 실무에 미치는 영향과 따라서 특정 학습 환경에서 제공되는 어포던스(또는 그렇지 않은)를 탐구해야 할 필요성을 강조합니다. 두 가지 관점 모두 특히 학습자가 자신의 전문적 정체성을 만들고 창조하기 위해 노력할 때 '문화'가 감독자와 학습자에게 미치는 영향을 상기시켜 줍니다.
A conceptual framework of the learning environment highlighted the role of organisational culture including the impact of policies, leadership actions, regulatory bodies and accreditation.8 Alongside this, authors in quality improvement have described health care organisation culture as a metaphor for ‘the softer less visible aspects of health service organisations and how these become manifest in patterns of care’.18 This work highlights the need to broaden the scope of learning environment work to explore the impact of organisational culture on health care practices and therefore the affordances (or not) offered in specific learning environments. Both perspectives remind us of the impact of ‘culture’ on the supervisor and learner, particularly as learners strive to create and create their professional identities.

이제 수련자와 슈퍼바이저가 속한 더 넓은 조직의 영향, 이것이 학습에 미치는 영향, 그리고 이것이 보건 서비스, 도시, 지역 및 국가에 따라 어떻게 달라지는지에 대한 관심이 떠오르고 있습니다. 이러한 제도적 요인을 탐구하는 과정에서 의학교육자들에게 '문화를 불러일으키기'를 권유한 Bearman 등의 비판적 검토는 시의적절합니다.19 이들의 연구에 따르면 의학교육자들은 문화에 대해 자주 언급하지만 대개 부정적이거나 중립적인 자세로 언급하는 것으로 나타났습니다. 이들은 '교육자, 학생, 행정가에게 권한을 부여하는 문화에 대한 개념이 현저히 부재'하지만 동시에 사회적 환경과 관행의 영향력을 인정하고 있음을 발견했습니다.19 
What is now emerging is an interest in the impact of the wider organisation in which a trainee and a supervisor are situated, how this impacts on learning and how this varies across health services, cities, regions and countries. As part of exploring these institutional factors, a critical review by Bearman et al. is timely in its invitation to medical educators to ‘invoke culture’.19 Their work revealed that medical educators comment on culture frequently but usually negatively or from a neutral stance. They found that there is a ‘notable absence around conceptualisations of culture that allow educators, students and administrators agency’ but at the same time acknowledge the influence of social settings and practices.19

Watling 등은 문화에 대한 세 가지 관점, 즉 조직, 정체성, 실천을 인정하는 프레임워크를 제시합니다.9

  • 조직 관점조직 내에서 개인을 묶는 공유된 가정과 가치를 강조합니다.9
  • 정체성 관점은 개인이 자신을 보는 방식을 형성하는 공동의 내러티브의 힘을 강조합니다.9
  • 실천 관점활동인적-물적 네트워크 또는 배열을 강조합니다.9 

Watling et al. offer a framework that recognises three perspectives on culture: organisational, identity and practice.9 

  • The organisational perspective highlights the shared assumptions and values that bind individuals within an organisation.9 
  • The identity perspective highlights the power of communal narratives to shape how individuals see themselves.9 T
  • The practice perspective highlights activity and human-material networks or arrangements.9

우리는 이러한 관점을 수용하거나 조정했으며, 세 가지 관점 모두에 공통점이 있음을 인식하면서 각각에 대해 예시적인 사례 연구와 잠재적인 탐구 프로그램을 제공합니다. 이러한 관점 내에서 그리고 이러한 관점을 넘나들며 작업하면 다른 연구를 보완하거나 다른 보건 연구자들과 파트너십을 맺고 학제 간 협력자와 함께 혼합 방법 접근법을 설계할 수 있는 기회를 제공할 가능성이 매우 높습니다. 그림 1은 학습 환경의 문화가 다층적이고 다요인적이라는 것을 보여주는 개념적 관점을 제공하는 것을 목표로 합니다. Watling 등의 관점에9 사회, 교육 제공자 및 직업 자체와 관련된 문화를 추가했습니다.
We have embraced or adapted these perspectives, and for each, we offer illustrative case studies and potential programmes of enquiry while recognising there is a common thread across all three. Working within and across these perspectives is very likely to complement other work and or provide opportunities for partnerships with other health researchers and to design mixed-methods approaches with interdisciplinary collaborators. Figure 1 aims to provide a conceptual view illustrating that the culture of a learning environment is multilayered and multifactorial. To Watling et al.'s perspectives,9 we have added the cultures associated with society, the education provider and the profession itself.

개인은 즉각적인 상황의 문화, 일반적으로 진료 배치, 특히 임상 팀의 문화를 가장 잘 알고 있지만 여기에는 물리적 배치, 작업 리듬, 작업 도구 또는 장비(인공물)도 포함됩니다.11 그러나 이러한 배치는 의료 서비스의 조직 문화와 사회 자체의 문화에 영향을 받습니다. 이러한 모든 요소와 상호 작용하는 것은 직업 및 교육 제공자의 문화입니다. 그러나 가장 중요한 것은 이러한 문화가 반드시 일치하는 것은 아니며,20 이러한 문화를 조정하는 것은 개인에게 긴장을 유발할 수 있다는 것입니다.
The individual will be most aware of the culture of the immediate situation, commonly the practice placement, particularly the clinical team, but this also includes the physical layout, the rhythms of work and work tools or equipment (artefacts).11 However such placements will, in turn, be influenced by the organisational culture of the health service and that of society itself. Interacting with all these factors are the cultures of the profession and the education provider. Most importantly however, these cultures will not necessarily be aligned,20 and reconciling such alignments can cause tension for individuals.

4 조직 문화
4 ORGANISATIONAL CULTURE

조직 문화사고 방식, 어떤 지식이 가치 있고 일반적으로 받아들여지는지, 지식이 어떻게 사용되는지,21 그리고 의료 환경 내에서 환자 치료가 어떻게 제공되는지에 대한 가정을 형성합니다. 조직의 문화는 비전, 사명, 가치, 리더십 모델, 자금 및 계획 모델, 직무 설계, 성과 관리, 팀워크, 혁신, 갈등 해결 방법, 슈퍼비전, 임상 리더십 및 관리 스타일에 의해 영향을 받습니다.22 베어만 등은 또한 '문화'라는 용어의 기본 개념이 움직일 수 없는 문화에서 사용 가능하고 유연한 문화까지 연속선을 따라 존재한다고 지적했습니다.19 우리는 학습에 있어 후자가 해당된다고 생각하여 조직과 협력하여 학습 문화를 발견, 개발 및 개선할 수 있기를 희망합니다. 
Organisational culture shapes assumptions about ways of thinking, what knowledge is worthwhile and commonly accepted, how knowledge will be used,21 and within health care settings, how patient care is delivered. An organisation's culture is influenced by its vision, mission, values, leadership models, funding and planning models, job design, performance management, teamwork, innovation, methods for conflict resolution, supervision, clinical leadership and managerial styles.22 Bearman et al. also noted that the underlying conceptions of the term ‘culture’ sit along a continuum: from culture as immoveable to culture as usable and malleable.19 We would like to think that the latter is true for learning so that we could partner with organisations to uncover, develop and improve its learning culture.

학부 및 대학원 프로그램에 소속된 임상 교육자만이 근로자의 주체성을 개발하기 위해 노력하는 것은 아닙니다. 교육에 주로 관여하지 않는 조직에서도 문화가 지식 공유 행동23 및 지식 관리와 밀접한 관련이 있다는 몇 가지 증거를 확인한 것은 고무적입니다.21, 24 조직은 안전한 환자 치료를 보장하고 신기술과 새로운 기술을 수용하기를 원합니다. 또한 역량과 역량을 위한 기술을 구축하고 전문가 간 이해를 발전시키기를 원합니다. 교육 기관과 의료 서비스 사이에 공생이 가능하다는 생각은 새로운 것은 아니지만,25 학습 환경에서 시너지 효과를 확인하고 숨겨진 커리큘럼에 반하는 것이 아니라 협력할 수 있는 미충족 기회가 있다는 것을 시사합니다. 이는 의료 서비스를 지식 개발의 파트너, 전문가 간 치료 및 협력 진료의 협력자, 모두를 위한 안전하고 건강한 환경을 보장하는 파트너, 환자 치료 결과를 개선하는 파트너로 포용하는 것입니다. 
Clinical educators attached to undergraduate and postgraduate programmes are not the only ones working to develop agency in workers. Here it is encouraging to see some evidence that, even for organisations not primarily involved in education, culture is strongly associated with knowledge-sharing behaviour23 and with knowledge management.21, 24 Organisations want to ensure safe patient care and to embrace new technology and new skills. They want to build skills for competence and capability and develop interprofessional understandings. The idea that there could be symbiosis between an education organisation and a health service is not new,25 but it does suggest there are unmet opportunities to identify synergies in learning environments; to work with and not against the hidden curriculum. This would embrace health services as partners in knowledge development, a collaborator for interprofessional care and collaborative practice, a partner in ensuring safe and healthy environments for all, and a partner to improve patient outcomes.

각 조직은 서로 다른 기회를 제공할 가능성이 높으며, 이러한 기회를 설명하고 이해하면 기회를 더 잘 활용할 수 있습니다. 예를 들어, 의료 서비스 기관은 스스로를 학습하는 조직이라고 설명하는 경우가 많으며 품질 개선 전문가, 전문 개발 직원, 웰빙 실무자 등 관련 팀을 보유하고 있습니다. 이러한 팀은 '공식적인' 교육의 목표에 부합하는 학습 및 업무 문화 목표를 구현하는 임무를 맡고 있습니다. 더 넓은 렌즈를 사용하여 사물이 서로 어떻게 연결되어 있는지 파악하는 것이 업무 환경 분석에서 포착되어야 합니다. 
Each organisation is likely to offer different opportunities; describing and understanding those opportunities could help us make better use of them. For example, health service organisations often describe themselves as learning organisations and have relevant teams, such as quality improvement specialists, professional development staff, and well-being practitioners. These teams are tasked with implementing goals for learning and work culture that align to those of ‘formal’ education. Using a wider lens and seeing how things connect to each other should be captured in our analyses of workplace environments.

조직 문화를 설명하는 사례 연구
Case study to illustrate the organisational culture

영국에서 파운데이션 수련의의 처방 오류 원인에 대한 심층 조사를 실시한 결과,26 뉴질랜드의 두 보건 서비스에서도 비슷한 문제를 인식했습니다. 약사가 처방 오류를 발견했지만 전문가 간 협업 문화가 없었기 때문에 의사-약사 협업을 통해 이러한 오류를 예방할 수 없었습니다. 두 의료 서비스의 교육 부서는 질 향상 약사와 협력하여 일상적인 상호작용에서 의사와 약사 간의 전문직 간 협업을 활용하여 효과적인 처방을 촉진하는 방법을 모색했습니다.27-29 약사는 질 향상 전문 지식을, 교육 부서는 직장 학습 및 전문직 간 교육에 대한 전문 지식을 가져와 문제를 해결했습니다. 서로 협력한 결과 오류 감소뿐만 아니라 협업 문화도 개선되었습니다.27-29 
In response to an in-depth investigation in the United Kingdom into causes of prescribing errors by foundation trainees,26 two health services in New Zealand recognised a similar problem. Prescribing errors were detected by pharmacists, but there was not a culture of interprofessional collaboration, so preempting such errors through doctor–pharmacist collaboration did not occur. The education units of both health services partnered with quality improvement pharmacists and explored ways to leverage the interprofessional collaboration between doctors and pharmacists in their everyday interactions to promote effective prescribing practice.27-29 The pharmacists brought their quality improvement expertise, and the education units brought expertise in workplace learning and interprofessional education to address the problem. They partnered with each other and found not only a reduction in errors but also an improvement in collaborative culture.27-29

한 사이트는 다른 사이트에 비해 더 큰 영향을 미쳤습니다.28 학습자와 교육자의 질적 인터뷰 데이터는 그 이유에 대한 통찰력을 제공하고 전수 가능성 및 조직 문화에 관한 귀중한 교훈을 제공했습니다. 효과가 가장 컸던 현장에는 시뮬레이션에 대한 높은 수준의 지원을 제공하는 시뮬레이션 유닛이 있었고, 병동 기반 전문가 간 코칭에 대한 사전 경험이 있었습니다. 공유된 임상 리더십과 의료 서비스 코드 설계 및 개선 학습에 대한 헌신은 조직의 목표였습니다. 따라서 두 서비스 간의 강력한 협업 문화와 함께 프로그램을 수행하기 위한 전제 조건이 있는 직장 환경과 문화를 갖추고 있었습니다. 다른 사이트는 그 효과가 적었고, 돌이켜보면 시행 전에 더 많은 교육과 브리핑이 필요하다는 것을 깨달았습니다. 
There was greater impact at one site compared with the other.28 The qualitative interview data from learners and educators provided insight into why and offered a valuable lesson regarding transferability and organisational culture. The site with the greatest effect had a simulation unit that provided a high level of support for the simulations, as well as prior experience of interprofessional ward-based coaching. Shared clinical leadership and a commitment to codesign of health services and improvement learning were espoused organisational goals. It therefore had a workplace environment and culture with prerequisites for undertaking the programme with a strong culture of collaboration between the two services. The other site had a lesser effect and retrospectively we realised that it needed to undertake more training and briefing prior to implementation.

이중 사이트 구현을 통해 업무 환경과 문화적 요인이 사이트마다 다를 수 있으며, 광범위하게 구현하려면 이를 예상해야 한다는 사실을 깨닫게 되었습니다. 모든 사이트에는 고유한 실행 강점과 과제가 있습니다. 
Dual-site implementation reminds us that workplace contextual and cultural factors will vary across sites and any widespread implementation needs to anticipate this. All sites have their own implementation strengths and challenges.

5 실천 문화
5 PRACTICE CULTURE

실천 문화는 종종 의료팀 수준에서 나타납니다. 한 팀에서 받아들일 수 있는 규범, 기대치, 일반적인 관행이 다른 팀에서는 받아들여지지 않을 수 있습니다.30 이는 때때로 '여기는 이렇게 한다'라는 문구로 요약됩니다. 이러한 문화는 대개 팀의 선임 간호사나 선임 의사와 같은 선임 멤버에 의해 설정됩니다. 각 팀마다 고유한 특성과 프로토콜이 있으며, 모든 프로토콜이 명시적이거나 팀원들이 명확히 알 수 있는 것은 아닙니다. 이러한 특수성을 이해하고 이를 명시하는 것이 효과적인 슈퍼비전의 중요한 전제 조건인 것으로 밝혀졌습니다.30 또한 이러한 특수성은 직장이 제공하는 어포던스, 즉 학습할 수 있는 내용을 형성합니다. 마찬가지로 물리적 배치, 사용 가능한 장비, 자연스러운 업무 리듬은 모두 학습에 영향을 미치지만 장소마다 상당히 다릅니다.11 이러한 차이가 존재하지 않는다고 가정하기보다는 이러한 차이를 더 명확하게 만들어서 어떻게 작용하는지 이해할 수 있는 방법을 찾아야 합니다. 이는 교육 프로그램을 확장하거나 다른 센터에 프로그램을 배포할 때 특히 중요합니다.
Practice culture is often manifest at the health care team level. Trainees often notice this—the norms, expectations and common practices that are acceptable in one team may be less acceptable in another.30 This is sometimes encapsulated in the phrase ‘this is how we do things here’. Such a culture is often set by a senior member of the team—a senior nurse or senior doctor. Each team has its idiosyncrasies and protocols—not all of which are explicit or even able to be enunciated by the team members. Understanding these idiosyncrasies and making them explicit has been found to be an important prerequisite to effective supervision.30 They also shape what affordances the workplace offers and therefore what can be learnt. Likewise the physical layout, the equipment that is available and the natural rhythm of workplace practices are all influential on learning yet vary considerably from place to place.11 Rather than pretend these variations do not exist, we need to find ways to make them more explicit so that we can then understand how they act. This is particularly important when scaling up an education programme or rolling out a programme to other centres.

실습 환경을 설명하는 사례 연구
Case studies to illustrate the practice environment

  1. 수퍼바이저 트레이너인 저자 중 한 명(박사)은 수퍼바이저 교육 과정 중 참가자들이 자신의 학습 환경을 감사하도록 요청받은 실습을 감독했습니다. 참가자들은 한 발 물러서서 학습 환경으로서 자신의 직장을 관찰하고 성찰하여 배치의 학습 기회를 파악하도록 요청받았습니다. 이는 직장 커리큘럼 매핑4의 개념에서 파생된 활동이었지만 보다 미시적인 수준에서 수행되었습니다. 교육에 참여한 감독자들은 익숙한 환경을 새로운 시각으로 바라보는 것의 가치를 높이 평가하면서 이 활동이 도움이 되고 눈을 뜨게 하는 활동이라고 보고했습니다. 수업 시간에는 장애물을 공유하고 해결책을 찾기 위해 노력했습니다.
    As a trainer of supervisors one of the authors (D. S.) oversaw an exercise within a supervisor training course where participants were asked to audit their learning environment. They were asked to step back, observe and reflect on their workplace as a learning environment to identify the learning opportunities of the placement. This was an activity drawn from the concept of mapping the workplace curriculum4 but undertaken at a more microlevel. Supervisors in training reported this as a helpful and an eye-opening activity, appreciating the value of looking at a familiar environment through a change of lens. In class they shared barriers and worked on solutions for workarounds.
  2. 학습 환경을 직접 관찰한 결과 학습은 종종 '한입 크기'(한 번에 1분 미만)로 이루어졌으며, 업무의 성격과 리듬으로 인해 특정 장소와 특정 시간에 발생할 가능성이 더 높았습니다.11
    Direct observation of a learning environment uncovered learning often occurred in ‘bite-sized’ pieces (<1 min at a time) and were more likely to occur in specified places and at particular times due to the nature and rhythm of work.11
  3. 조산사 배치 현장 두 곳의 경험 경로와 교육적 특성을 매핑하여 조산사 커리큘럼이 프로그램의 의도된 학습 결과를 실현하는 특정 교육적 관행에 의해 어떻게 주문되고 보강될 수 있는지 파악했습니다.12 두 가지 실습 기반 경험은 학생들에게 뚜렷한 학습 결과를 만들어 냈습니다.
    The pathways of experiences and pedagogic properties of two midwifery placement sites were mapped to identify how the midwifery curriculum could be ordered and augmented by particular pedagogic practices that realise the program's intended learning outcomes.12 The two different practice-based experiences generated distinct learning outcomes for the students.

수퍼바이저는 조직의 문화에 영향을 받기도 하고 기여하기도 하며, 종종 순환적이고 상호 의존적인 방식으로 영향을 주고받습니다. 수퍼바이저는 현지 문화에 몰입되어 있기 때문에 수퍼비전에 대한 암묵적 신념과 수퍼바이저로서의 정체성에 어떤 영향을 미치는지 인식하지 못할 수 있습니다.31, 32 칸틸롱 등은 교수진 개발이 수퍼바이저로서의 정체성, 신념 및 관행을 강화하는 환경적 요인에 대한 교사의 마음챙김을 증가시키도록 시도해야 한다고 제안합니다.32 이는 신규 수퍼바이저가 적절한 성향(예: '교수법'을 식별하는 동기 개발)을 갖는 것에서 적절한 성향(예: '교수법'을 실행하는 것)을 실행하는 것(예: 사회 및 문화적 맥락에 관여하고 대응하는 것)으로 이동할 수 있도록 지원할 필요성을 강조하는 수퍼바이저 교육에 시사점을 줍니다."32
Supervisors are both influenced by, and contributors to, their organisation's culture, often in a cyclical, interdependent way. Because of their immersion in the local culture, they may not be aware of how it is impacting on their tacit beliefs about supervision and their identity as a supervisor.31, 32 Cantillon et al. suggests faculty development should attempt to increase teacher's mindfulness of the environmental factors that sharpen their identities, beliefs and practices as supervisors.32 This has implications for supervisor training highlighting a need to assist new supervisors to move from having the appropriate disposition (e.g., developing the motivation to identify ‘teaching work arounds’) to enacting the appropriate disposition (e.g., implementing the ‘teaching work arounds'…. as they engage with and respond to social and cultural contexts.’32

수퍼바이저는 긍정적이든 부정적이든 조직의 문화적 힘에 관여하고 이에 대응할 때 자신의 가정(예: 위계 업무량 또는 교육 대 환자 치료의 긴장 관계에서 우선순위)에 대해 의도적으로 성찰할 기회를 제공받는 것이 도움이 될 수 있습니다. 수퍼바이저의 정체성, 역할에 대한 암묵적 신념과 이해는 조직 전체의 관점에 영향을 받을 가능성이 높습니다.
Supervisors may benefit from being provided with opportunities to deliberately reflect on their assumptions (e.g., about hierarchy workload or priorities in the teaching vs. patient care tension) as they engage with, and respond to, cultural forces in their organisation, both positive and negative. The identity of the supervisor, the tacit beliefs and understandings they have about the role are likely influenced by the organisation wide view.

6 정체성
6 IDENTITY

직업적 정체성을 개발하는 것은 독립적인 의료 전문가가 되기 위한 과제 중 하나입니다. 학습 환경과 문화도 정체성 형성에 영향을 미치며, 이는 다시 수련 단계에 따라 달라집니다.

  • 학부 수준에서 학습 환경은 임상 경험의 원천으로 여겨지는 경우가 가장 많습니다.33
  • 이후 신규 졸업생의 경우, 학습 환경은 직업적 정체성을 형성하고 진로 결정을 내리고 취업하는 장소로 여겨집니다.
  • 의료 전문가가 더 고위직이 되어 업무 환경에 완전히 몰입할 때 비로소 이러한 환경이 보다 일관되고 예측 가능하게 됩니다.

그러나 실무자가 환경 문화를 형성하는 데 있어 더 큰 권한을 갖는 것은 바로 이 고위급 수준에서입니다. 인턴십은 정체성 형성의 시기로 볼 수 있으며, '의사 되기'라는 자기 결정적 능동적 과정으로서 이 중요한 전환을 이해하려면 문화 또는 사회화 이론보다 더 넓은 관점이 필요합니다.34 예를 들어, 경영학 문헌의 모델을 사용하여 인턴 교육을 시간이 지남에 따라 자아의 전개와 변화라는 되기 과정으로 설명할 수 있습니다.34
Developing a professional identity is one of the tasks of becoming an independent health professional. The learning environment and its culture also impact on identity formation which, in turn, depends on the stage of training.

  • At an undergraduate level, the learning environment is most often seen as a source of clinical experiences.33 
  • Later, as new graduates, it is seen as a place to shape professional identity, to shape career decisions and to be employed.
  • It is only when health professionals become more senior and fully immersed in the work environment that such environments become more consistent and predictable.

It is at this more senior level however that practitioners have greater agency in shaping the environment culture. An internship can be viewed as a period of identity formation and, as a self-determined active process of ‘becoming a doctor’, requires a wider perspective than enculturation or socialisation theories to understand this significant transition.34 For example, a model from management literature could be used to describe intern education as a process of becoming: as an unfolding and as a transformation of the self over time.34

전문가 간 팀의 일원이 되는 법을 배우는 것은 전문가 정체성에 대한 또 다른 도전이며, 이는 관점의 균형을 맞추고 자신의 전문적 역할과 팀 역할의 균형을 맞춰야 합니다. 의료팀 과제와 같은 활동은 학생과 인턴이 서로의 직업과 역할에 대한 이해를 높이고 직장에서 서로를 인정하는 데 도움이 됩니다.35
Learning to be part of an interprofessional team is another challenge to professional identity that requires balancing perspectives and juggling one's own professional roles with team roles. Activities such as health care team challenges have increased students' and interns' understanding of each other's professions and roles and lead to recognition of each other in workplaces.35

신규 의사의 경우, 많은 경우 자신의 가치관이나 의료인으로서의 역할에 대한 인식과 상충되는 환경에서 일하고 전문직으로 전환하는 과정에서 정체성을 확립하는 데 많은 노력을 기울여야 합니다. 최근 의료계에서 원주민(마오리족)36 및 태평양계37 졸업생 의사가 크게 증가한 뉴질랜드에서 개인이 업무 환경에 적응하는 과정이 잘 드러납니다. 수상 경력에 빛나는 팟캐스트에서 마오리족 의사를 갓 졸업한 엠마 에스피너의 관점에서 바라본 다음 사례 연구는 비 마오리족이 주류를 이루는 의료 직장 문화와 마오리족의 불평등한 건강 결과와 관련된 의료 시스템 내에서 마오리족 의대생으로서 정체성을 관리하는 데 따르는 어려움을 보여줍니다.
For new practitioners, there is much identity work to undertake in the challenge of moving into a profession and working in an environment that for many is at odds with their values and perception of their role as a health professional. The enculturation of the individual into a work environment has been well illustrated recently in New Zealand where the medical workforce has seen a substantial increase in indigenous (Māori)36 and Pacific37 graduating doctors. The following case study taken from the perspective of Emma Espiner, a newly graduated Māori doctor, in an award winning podcast, demonstrates the challenges of managing identity as a Māori medical student within a health workplace culture that is predominantly non-Māori and within a health care system associated with unequal health outcomes for Maori.

개인 문화와 조직 문화의 조화를 보여주는 사례 연구
Case study illustrating reconciling personal culture with organisational culture

팟캐스트 시리즈에서 마오리족 의대생인 엠마 에스피너는 마오리족을 차별하는 의료 시스템에서 일하는 것이 어떤 것인지 설명합니다. '불평등한 결과란 마오리족인 경우 사망 확률이 높다는 뜻입니다."38 그녀는 의과대학에서 마오리족 건강 통계에 대해 배우는 것과 '실제 사람들, 즉 와나우(대가족)와 함께 실시간으로 플레이하는 것'이 어떻게 다른지에 대해 이야기합니다.38
In a podcast series, a Māori medical student Emma Espiner describes what it is it like working in a health system that discriminates against your people. ‘Unequal outcomes is jargon for a better chance of dying if you are Māori.’38 She discusses how it is one thing to learn about Māori health statistics at medical school and another to see this ‘Playing out in real time with real people, your whānau [extended family]’.38

그녀는 마오리 의료 서비스 제공자(키아 오라 응아티와이)의 의사로 일하는 한 일반의(GP)의 경험을 설명합니다38:
She describes the experience of a general practitioner (GP) working as a doctor for a Māori health provider (Ki A Ora Ngātiwai)38:

'한 번은 지역사회의 건강에 깊이 관여하고 있는 사람에게 제 깨달음을 설명한 적이 있습니다. 내가 웰빙(오라)의 개념에 대해 설명하기 시작하자 그녀는 코웃음을 치며 마오리족에게 오라는 개인의 웰빙이 아니라 집단주의에서 비롯된 웰빙이라고 말했다...... 지역사회 거버넌스와 소유권이 키아 오라 응아티와이의 특징이지만 그렇다고 해서 키아 오라 응아티와이가 서비스를 제공하는 지역사회에 대한 의료 제공을 통제할 수 있는 권한이 있다는 의미로 해석되지는 않는다. 모든 마오리족 의료 제공자와 마찬가지로 자금 조달 메커니즘, 계약 보고 요건 및 성공 척도는 마오리족이 아닌 세계를 반영하는 구조와 시스템에 의해 결정되고 이에 따라 정의됩니다. 이러한 환경은 마오리족 의료 서비스 제공자들을 더욱 구별 짓는 요소이며, 자결권을 위한 지속적인 정치적 투쟁이 바로 제가 일하는 세계입니다.
‘Once I described my epiphany to someone who was heavily involved with the health of her community. She snorted when I started to expound on my conceptualisation of wellness (ora) and [said] in not so many words, that for Māori ora is not individual wellness but is instead the wellness arising from collectivism.… While community governance and ownership are defining features of Ki A Ora Ngātiwai this does not translate into having control over the delivery of health care into the communities that Ki A Ora Ngātiwai services. Like all Māori health providers the funding mechanisms, contract reporting requirements and measures of success are dictated by, and defined by, structures and systems that reflect a non-Māori world. It is this environment that further distinguishes Māori health providers — the ongoing political struggle for self-determination — and it is in this world that I work.’

이 사례는 마오리족 의료 종사자들이 현재 시스템 내에서 최선을 다하면서 변화를 옹호해야 하는 어려움이 있음을 반영합니다. '새로운 세상을 설계하면서 반창고를 붙이는 동시에 동의하지 않는 사람들과 싸우고 있습니다.'38
This example reflects that the challenge for Māori health practitioners is that they are advocating for change while having to do their best within the current system. ‘You are putting on the band aid on while designing the new world and all the while fighting those who do not agree with you.’38

이 사례 연구는 사회 문화가 조직에 미치는 영향과 의료 서비스 제공 방식을 보여줍니다. 또한 지배적인 문화가 어떻게 불평등을 지속시킬 수 있는지도 보여줍니다. 또한 이러한 영향이 개인 수준에서 어떻게 나타날 수 있는지, 한 문화권의 의료진이 자신의 가치와 신념을 조직의 가치와 신념과 조화시키는 데 어려움을 겪을 수 있음을 보여줍니다. 또한 조직 문화에 맞추기 위해 항상 개인이 변화해야 하는 것은 아니며, 오히려 개인이 더 넓은 범위의 시스템적 변화를 옹호할 수 있음을 보여줍니다.
This case study illustrates the impact of society culture on an organisation and how health services are provided. It also illustrates how a dominant culture can perpetuate inequities. Furthermore, it shows how these effects can be manifest at the individual level where a practitioner from one culture may find it hard to reconcile their values and beliefs with those of the organisation. It further illustrates that it should not always be the individual who has to change to fit within the organisation's culture—rather individuals can advocate for wider systemic changes.

7 문화 드러내기
7 REVEALING CULTURE

문화의 이러한 영향을 더 잘 이해하려면 어떻게 인식해야 할까요? 문화는 그 문화에 몰입한 사람에게는 보이지 않는 경우가 많지만 규범과 가치에 주목하면 인식할 수 있습니다. 이러한 보이지 않는 규범을 발견하기 위한 몇 가지 질문은 다음과 같습니다.
If we are to understand better these effects of culture, how might we recognise them? Culture is often unseen by those immersed in it but can be recognised by noting norms and values. Some questions to uncover these unseen norms might be to ask

  • 우리는 서로의 관행을 관찰하고 있으며 이러한 관행은 어떻게 제정되었는가? 서로의 학습을 돕는 방식으로 간주되는가, 아니면 판단을 내리기 위한 것인가?
    Do we observe each other's practice and how is this enacted? Is it seen as a way of helping each learn or is it to make judgements?
  • 기관은 서로에게 어떻게 피드백을 제공하나요? 의료 서비스는 교육 기관에 어떻게 피드백하고, 교육 기관은 의료 서비스에 어떻게 피드백하나요? 피드백에 대한 응답으로 어떤 일이 일어나나요?
    How do institutions feedback to each other? How does the health service feed back to a training institution and how does a training institution feed back to a health service? What happens as a response to that feedback?
  • 오피니언 리더와 변화 옹호자들은 어떻게 인식하고 있으며 어떤 장벽과 조력자를 만나게 되나요?
    How are opinion leaders and change advocates perceived and what barriers and enablers do they encounter?
  • 직원들이 학습할 수 있는 시간을 어떻게 확보할 수 있을까요?
    How do we make time for our employees to learn?
  • 품질 개선을 위한 의견을 말하고 아이디어를 제안하는 것이 안전하다고 느끼나요? 누가 이런 일을 할 수 있는 권한을 가지고 있나요?
    Do we feel safe to speak up and offer ideas for quality improvement? Who has the power to do this?
  • 직원들이 만나는 중요한 시간과 장소는 어디이며 회의에서 논의되는 내용은 무엇인가요?
    What are the critical times and places that staff meet and what is discussed at those meetings?
  • 연습의 어떤 측면에 엄격한 프로토콜이 있으며 '여기서 하는 방식'으로 간주되는가?
    What aspects of practice have strict protocols and are seen as ‘how we do things here’?
  • 학습자가 하지 말아야 하는 활동에는 어떤 것이 있나요?
    What activities are learners discouraged from?
  • 여기서 배우기 쉬운 것은 무엇이고 어려운 것은 무엇인가요?
    What is easy to learn here and what is more difficult?
  • 전문가 간 견해가 의사 결정에 어떻게 통합되나요?
    How are interprofessional views integrated into decisions?
  • 다른 조직에서 온 신입 연수생에게 문화가 어떻게 고통을 줄 수 있나요?
    How might culture cause distress to a new trainee from another organisation?
  • 수련의가 직장에서 '인상적'이 되게 하는 원동력은 무엇이며, 어떤 행동이 '인상적'으로 여겨지는가39?
    What drives students to ‘impress’ in the workplace and what behaviours are seen as ‘impressive’39?
  • 어떤 임상 환경이 다른 임상 환경보다 다양성을 더 지지하는 것으로 여겨지는 이유는 무엇인가요?
    Why are some clinical environments seen as more supportive of diversity than others?
  • 형평성 문제는 어떻게 해결됩니까?
    How are issues of equity addressed?
  • 사람들은 형평성이나 직원 복지와 관련된 문제를 발견했을 때 안전하게 말할 수 있다고 느끼나요?
    Do people feel safe to speak up when they see problems with equity or staff wellbeing?

8 앞으로 나아갈 길
8 THE WAY FORWARD

보건 기관과 협력하여 실습 학습 문화를 파악하는 것이 유익한 출발점이 될 수 있다고 생각합니다. 조직에서 가장 많이 사용하는 두 가지 평가는 참여도 설문조사문화 설문조사입니다.21, 24 문화 설문조사를 더 많이 활용하는 것이 앞으로 나아갈 수 있는 방법일 것입니다. 보건 전문가 교육에서는 학습자의 배치 경험을 파악하기 위해 설문조사를 실시하는 것이 일반적입니다. 조직은 직원의 역할, 책임, 업무량, 관리자 및 동료와의 관계, 의사소통 및 협력, 직무 스트레스 등 직원의 개인적인 업무 경험을 파악하기 위해 참여도 설문조사를 실시합니다. 이 두 가지 모두 배치에 대한 학습자 평가와 마찬가지로 '나'의 관점을 다룹니다. 이와는 대조적으로 문화 설문조사 응답은 사람들이 적응하기 위해 필요하다고 생각하는 행동과 규범의 관점에서 직원들이 현재 문화를 어떻게 인식하고 있는지를 알려줍니다. 문화 설문조사는 '우리'의 관점을 다룹니다. 예를 들어, 한국의 한 연구에 따르면 씨족 문화와 옹호 문화는 조직 학습과 매우 긍정적인 관계가 있는 반면, 시장 문화와 위계 문화는 그러한 관계가 없는 것으로 나타났습니다.40 이러한 설문조사의 결과는 해석의 여지가 있고 그 유용성에 의문이 제기될 수 있지만, 그에 따른 토론과 대화는 유익한 정보를 제공할 수 있습니다.
One place we believe it can be fruitful to start is to partner with health organisations to unpack the practice learning culture. Two of the most popular assessments that organisations use are engagement surveys and culture surveys.21, 24 Perhaps making more use of culture surveys is a way forward. In health professional education, it is common to survey learners to understand their experience of a placement. Organisations undertake engagement surveys to understand the employees' personal experience of work: how they feel about their roles, responsibilities, workload, relationships with managers and colleagues, communication and cooperation, and job stress. Both of these address the ‘I’ perspective much as learner evaluations of placements do. In contrast, culture surveys responses tell us how the workforce perceives the current culture in terms of the behaviours and norms that people believe are required to fit within. Cultural surveys address the ‘we’ perspective. For example, a Korean study found that clan and advocacy cultures had strong positive relationships with organisational learning, while market and hierarchy cultures showed no such relationships.40 While the results of such surveys may be open to interpretation and their usefulness challenged, the discussion and conversations that ensue could be informative.

의료 전문가 학습자가 처한 상황을 완전히 이해하려면 이론적 접근 방식과 연구 방법의 폭을 넓혀야 할 수도 있습니다. 지금까지 유익한 정보를 제공한 연구는 종종 민족지학과 직접 관찰을 사용했는데,11 이는 암묵적인 지식과 관행뿐만 아니라 우리가 자란 사회, 인종, 성별에서 비롯된 뿌리 깊은 신념 등 당연한 것으로 받아들여지고 보이지 않는 것을 발견하는 데 도움이 될 수 있기 때문입니다. 이는 우리의 직업 문화, 교육 문화, 우리가 몸담고 있는 조직의 교차점을 탐구하는 데 도움이 될 수 있습니다. 우리는 교육, 민족지학, 질 개선 및 실행 과학 간의 연구 시너지를 창출하기 위해 수련생, 수퍼바이저, 환자라는 삼위일체를 넘어선 공동 연구를 모색해야 합니다. 베어먼은 '학습 문화와 문화적 반성성에 관한 다른 문헌들은 대부분 간과되는 영역, 즉 사람들이 사회가 가하는 강력한 힘을 인식하면서 어떻게 문화에 효과적으로 영향을 미칠 수 있는지 탐구하는 데 도움이 될 수 있다'고 제안합니다.19
If we are to understand fully the situation in which we place health professional learners, we may also need to broaden our theoretical approach and with it our research methods. Research to date that has been informative has often used ethnography and direct observation,11 possibly as it assists in uncovering that which is accepted, unseen taken for granted, not just our tacit knowledge and practice but our deeply ingrained beliefs taken from the society in which we grew up, our race, gender. It can help explore the intersection of our professional culture, our educational culture and the organisations we practice in. We should explore collaborative research that extends beyond the triad of trainee, supervisor and patient to create research synergies among education, ethnography, quality improvement and implementation science. Bearman suggests that ‘Other literature on learning cultures and cultural reflexivity may help explore a territory which is mostly overlooked: how people can effectively influence a culture whilst recognising the strong forces exerted by the social’.19

9 결론
9 CONCLUSIONS

우리는 관점을 재구성하고 학습 환경의 '지저분함'을 포용해야 할 구성 요소로 볼 필요가 있다고 제안합니다. 안전하고 효과적인 환자 치료라는 우리 모두가 열망하는 목표를 달성하기 위해 보건 및 환자 단체와 협력할 수 있는 기회를 제공하는 요소입니다. 환자 치료는 사회에 대한 우리의 의무이며, 이 과학의 상태 시리즈에서 자아, 상황, 사회라는 삼위일체를 완성합니다.
We suggest we need to reframe our views and see the ‘messiness’ of the learning environment as a component to be embraced. A component that provides opportunities for partnering with health and patient organisations to achieve the goal we all aspire to – safe and effective patient care. Patient care is our obligation to society and completes the triad within this State of the Science series of self, situation and society.

또한, 우리는 이제 막 학습 환경의 의미를 파악하기 시작했을 뿐이라고 생각합니다. 

  • 학습 환경은 수행해야 할 작업 그 이상이며 연수생과 감독자 관계 그 이상입니다.
  • 학습 환경은 전문가 간, 제도적, 물리적, 문화적, 일상화되고 체계적인 것입니다.
  • 학습은 수련의가 배우고자 하는 내용, 감독 방법, 수행해야 하는 업무뿐만 아니라 물리적 환경, 다른 의료 전문가들의 상호작용과 행동, 치료를 안내하기 위해 마련된 시스템에 의해 형성됩니다.
  • 마지막으로, 학습은 우리가 서로에게서 배울 수 있는지 여부, 일과 학습의 우선순위, 지식을 '보유'하는 주체를 중요하게 여기는 문화적 규범의 영향을 받습니다.
  • 우리는 보는 것을 넓혀야 할 뿐만 아니라 그것을 보는 (연구) 방법과 함께 일하는 협력자를 넓혀야 합니다.

Furthermore, we suggest that we have only just begun to see what we mean by the learning environment.

  • It is more than the work that needs to be done and it is more than the trainee-supervisor relationship.
  • It is interprofessional, institutional, physical, cultural, routinised and systemic.
  • Learning is shaped not only by what we intend trainees to learn, how we supervise and the work that has to be done, but is shaped by the physical environment, the interactions and behaviours of other health professionals and the systems in place to guide care.
  • Finally, learning is influenced by the cultural norms that value (or not) whether we can learn from each other, how work and learning are prioritised, and who ‘holds’ knowledge.
  • Not only do we need to broaden what we see, but we should broaden the (research) methods by which we see it and the collaborators with whom we work.

 


Med Educ. 2022 Jan;56(1):110-116. doi: 10.1111/medu.14630. Epub 2021 Sep 2.

Widening how we see the impact of culture on learning, practice and identity development in clinical environments

Affiliations collapse

1Otago Medical School, University of Otago, Dunedin, New Zealand.

2Education Unit, University of Otago, Christchurch, Ringgold standard institution, Christchurch, New Zealand.

PMID: 34433232

DOI: 10.1111/medu.14630

Abstract

As part of this State of the Science series on Self, Society and Situation, we focus on how we might see the situation of the workplace as a learning environment in the future. Research to date into how health professionals learn while working in clinical workplace environments has mostly focused on the supervisor-trainee relationship or on the interaction between the affordances of a workplace and the receptiveness of trainees. However, the wider environment has not received as much focus-though frequently mentioned, it is seldom investigated. We suggest there is a need to embrace the wider institution factors, recognise and acknowledge an organisation's values and culture as they impact on clinical learning in order to work with these, not around them or ignore them, to make what may be tacit visible through reflection and observation and to embrace a range of perspectives on culture.

키워드 특이적 알고리듬으로 발전 문제가 있는 전공의 찾아내기 (J Grad Med Educ. 2019)
Detection of Residents With Progress Issues Using a Keyword–Specific Algorithm
Gaby Tremblay, MSc Pierre-Hugues Carmichael, MSc Jean Maziade, MD, FCMF, CCMF, MSc Mireille Gre´goire, MDCM, FRCPSC

 

 

소개
Introduction

전공의 수련 과정에 등록한 레지던트 중 학습에 어려움을 겪는 레지던트를 조기에 발견하는 것은 지속적인 과제입니다. 여러 연구에서 레지던트의 4.3%에서 9.1%가 수련 중 어려움을 겪는 것으로 나타났습니다.1,2 레지던트의 학습 어려움은 수련 후반에 확인되는 경우가 많으며,3 평가자가 수련 중 평가 보고서(ITER)에 "어려움" 또는 "실패"를 표시하거나 다른 로테이션 종료 평가 양식에 "실패"를 지정하는 것을 꺼리는 경우가 많기 때문입니다.4,5  그러나 ITER와 같은 순환 평가에서 서술의 길이와 모호하거나 부정적인 의견의 비율은 레지던트 교정의 잠재적 필요성을 나타냅니다.3,6 수련생 평가에서 서술적 의견은 가치가 있는 것으로 나타났으며,7,8 학습자의 역량 달성을 향한 진행 상황을 판단할 때 고려해야 합니다.9-11  
Early identification of a resident with progress difficulties who is enrolled in postgraduate medical training is an ongoing challenge. In various studies, between 4.3% and 9.1% of residents show evidence of struggling during training.1,2  The learning difficulties of residents are frequently identified late in their training,3  as assessors are often reluctant to mark “in difficulty” or “failure” on in-training evaluation reports (ITERs), or to designate “fail” on other end-of-rotation assessment forms.4,5  However, the length of narratives and percentage of ambiguous or negative comments on rotation assessments, such as ITERs, indicate a potential need for resident remediation.3,6  Narrative comments in assessing trainees have been shown to be valuable,7,8  and must be taken into account when determining learners' progress toward achieving competencies.911 

언어 분석 도구가 교육에 적용되고 있지만, 의학교육에서의 언어 분석에 관한 논문은 거의 발표되지 않았으며, 학부생에 초점을 맞춘 경향이 있다.12 역량 기반 의학교육의 일환으로 제공되는 모든 서술 정보를 처리하기 위해, 우리는 특정 키워드를 기반으로 진도에 문제가 있는 전공의를 감지할 수 있는 알고리즘으로 구성된 새로운 컴퓨터 의미 분석을 개발하고자 했다. 
Although the tools of language analytics have been applied in education, very few articles concerning language analytics in medical education have been published, and those that have tend to focus on undergraduate students.12  In order to handle all the narrative information becoming available as part of competency-based medical education, we sought to develop a novel computerized semantic analysis, which consists of an algorithm that is able to detect residents with progress issues, based on certain keywords.

방법
Methods

2001년부터 2013년까지 라발대학의 공인 프로그램에서 수련을 받은 모든 레지던트의 모든 ITER(사전 설정된 목표 달성 여부, 해당 서술, 전체 점수[합격/불합격] 및 일반적 의견을 나타내는 양식)가 포함된 데이터베이스를 추출하고 익명화하여 기록에 대한 기밀성을 보장했습니다. 이 연구에서 다루는 기간 동안 가정의학과에서 사용된 ITER 형식이 다른 레지던트 프로그램과 크게 달랐기 때문에 ITER는 가정의학과 또는 캐나다 왕립 의사 및 외과의 대학(RCPSC) 프로그램(온라인 보충 자료로 제공됨)으로 구분되었습니다. 데이터베이스에는 프로그램 이름, 레지던트 레벨, 로테이션 블록 번호, 레지던트 시작일과 종료일, 레지던트 근무지, CanMEDS 역할 평가(등급 및 코멘트), 전체 로테이션 평가(코멘트), 수련 기간 중 결근 일수 등이 포함되었습니다. 일반적으로 ITER는 로테이션 완료 후 30일 이내에 참석 교수진에 의해 완료되었습니다. 
A database containing all ITERs (forms indicating whether preset objectives are met, corresponding narratives, overall score [pass/in difficulty/fail], and general comments) from all residents training in accredited programs at Université Laval between 2001 and 2013 was extracted and anonymized to ensure confidentiality of their track records. The ITERs were split into either family medicine or Royal College of Physicians and Surgeons of Canada (RCPSC) programs (provided as online supplemental material), as the ITER format used in family medicine for the period covered in this study differed significantly from that of other residency programs. The databases included

  • the name of the program,
  • residency level,
  • rotation block number,
  • residency beginning and end dates,
  • residency site,
  • CanMEDS13  role assessments (ratings and comments),
  • overall rotation evaluation (comments), and
  • number of days of absence during the training period.

In general, ITERs were completed by attending faculty within 30 days of rotation completion.

각 데이터베이스에 대해 "어려움"(즉, 고군분투 중) 또는 "실패" 등급을 받은 것으로 정의되는 진도 문제가 있는 레지던트를 식별했습니다. 연구 목적을 위해 특정 레지던트의 모든 ITER는 "실패" 또는 "어려움 중"이라는 언급이 있는 양식이 나타날 때까지 보관되었습니다. 진행 문제가 확인된 ITER 이후의 모든 ITER는 폐기되었습니다.
For each database we identified residents with progress issues, defined as having an ITER either rated “in difficulty” (ie, struggling) or “fail.” For the purposes of the study, all ITERs from a given resident were kept until a form with the mention “failure” or “in difficulty” appeared. All ITERs following an ITER with identified progress issues were discarded.

교육 설계자는 프랑스어로 작성된 모든 ITER를 검토하고 긍정적 피드백 및 성능 저하와 관련된 용어를 제안했습니다. 용어는 전반적 퍼포먼스 설명 섹션에 입력된 133,216개의 단어와 ITER의 각 CanMEDS 역할에 대한 서술 섹션에 입력된 84,365개의 단어에서 결정되었습니다. 데이터베이스의 전반부는 긍정 및 부정 키워드 목록을 만드는 데 사용되었으며, 이 목록은 데이터베이스의 후반부와 일관성을 확인했습니다. 이중 의미(긍정 또는 부정)를 가질 수 있는 프랑스어 단어와 접속사는 삭제되었습니다. 이 목록의 실질적인 중요성은 의학전문대학원 부학장과 비의료인인 의학부 구성원이 확인했습니다. 이러한 키워드 목록과 영어 번역본은 온라인 보충 자료로 제공됩니다. 
An instructional designer reviewed all ITERs written in French and proposed terms associated with positive feedback and underperformance. Terms were determined from 133 216 words entered in the overall performance comments section and 84 365 words entered in the narrative section of each CanMEDS role of the ITERs. The first half of the database was used to make a list of positive and negative keywords that was checked for consistency against the second half of the database. French words that could have a dual meaning (either positive or negative) and conjunctions were discarded. The practical significance of this list was confirmed by the associate dean of postgraduate medical education and by a nonmedical member of the faculty of medicine. The list of these keywords with an English translation is provided as online supplemental material.

이러한 키워드를 기반으로 한 분류 규칙은 분류 및 회귀 트리 방법을 사용하여 재귀적 분할을 통해 구성되었습니다.14 이 방법론은 변수와 컷오프 값을 자동으로 선택할 수 있는 유연성과 비교적 간단한 분류 규칙을 생성할 수 있는 능력 때문에 선호되었습니다. 기술적 방법론에 대한 자세한 내용은 온라인 보충 자료로 제공됩니다. 분류 및 회귀 트리 알고리즘은 가정의학과 및 전문 프로그램 데이터 세트에 독립적으로 적용되었으며, 100%에 가까운 민감도(실제 양성으로 정확하게 식별되는 비율)와 최대 특이도(실제 음성으로 정확하게 식별되는 비율)를 가진 규칙을 얻는 것을 목표로 조정되었습니다. 도출된 각 분류 규칙에 대해 민감도, 특이도, 양성 및 음성 예측값(각각 실제 양성 및 실제 음성 비율)을 계산했습니다. 알고리즘은 키워드와 동시에 또는 그 이후 언제든지 "실패" 또는 "어려움"이라는 엄격한 기준과 전체 점수를 비교했습니다. 각 데이터 세트에 대해 얻은 최종 규칙의 데이터만 제시합니다. 어려움을 겪는 전공의의 유병률이 낮았기 때문에 성능 변동성이 증가하지 않도록 데이터 세트를 훈련 세트와 테스트 세트로 나누지 않았습니다.15   

A classification rule based on these keywords was constructed by recursive partitioning using classification and regression tree methods.14  This methodology was preferred due to its flexibility in automatically selecting variables and cutoff values and its ability to produce relatively simple classification rules. Technical methodologic details are presented as online supplemental material. The classification and regression tree algorithm was applied independently to the family medicine and specialized programs data sets and tuned with the aim of obtaining rules with near 100% sensitivity (proportion of actual positives correctly identified as such) and maximal specificity (proportion of actual negatives correctly identified as such). Sensitivity, specificity, and positive and negative predictive values (proportion of true positives and true negatives, respectively) were computed for each derived classification rule. The algorithm was compared to the stringent standard of “fail” or “in difficulty” overall score, either concurrent to the keyword or anytime thereafter. We present only data of the final rules obtained for each data set. Due to the low prevalence of struggling residents, data sets were not split into training and testing sets to avoid increasing performance variability.15 

라발 대학교 윤리위원회는 이 프로젝트의 심의를 면제했습니다. 
The Université Laval Ethics Board exempted this project from review.

통계 분석은 R 3.2.3(오스트리아 비엔나, 비엔나 통계 컴퓨팅 재단)을 사용하여 수행되었습니다. 
Statistical analyses were carried out with R 3.2.3 (R Foundation for Statistical Computing, Vienna, Austria).

결과
Results

등록된 3292명의 전공의에 대한 총 4만1618개의 ITER가 있었습니다. RCPSC 데이터베이스에는 2002년 5월부터 2013년 11월까지 라발대학의 36개 공인 프로그램에서 수련을 받은 2163명(여성 60%)의 ITER 3073건이 포함되어 있습니다. 가정의학 데이터베이스는 2001년 8월부터 2013년 9월까지 1129명의 레지던트(여성 73%)가 수련한 11,545명의 ITER로 구성되었습니다. 현재 50개의 농촌 및 도시, 대학 기반 공인 수련 프로그램에 910명의 레지던트가 등록되어 있습니다.

There was a total of 41 618 ITERs for the 3292 registered residents. The RCPSC database contained 30 073 ITERs from 2163 residents (60% female) training in 36 accredited programs at Université Laval between May 2002 and November 2013. The family medicine database was composed of 11 545 ITERs from 1129 residents (73% female) training between August 2001 and September 2013. There are currently 910 residents registered in the 50 rural and urban, university-based accredited training programs.

표 1은 RCPSC 레지던트 프로그램에 등록한 레지던트를 분류할 때 선택한 규칙의 성능을 보여줍니다. 이 분류 규칙은 100%의 민감도를 달성하는 동시에 87.7%의 특이도를 최대화합니다. 이 특정 그룹에서는 2163명의 레지던트 중 78명(4%)에서 진행 문제가 확인되었습니다. 분류 트리는 이러한 전공의를 진행 문제가 있는 것으로 정확하게 분류했습니다. 그러나 분류 트리는 난이도 또는 실패를 나타내는 전체 점수는 없었지만, 256명의 전공의를 진행 문제가 있는 것으로 식별하여 23.4%의 양의 예측값을 얻었습니다.

Table 1 presents the performance of the chosen rule when classifying residents enrolled in an RCPSC residency program. This classification rule achieves 100% sensitivity while maximizing specificity at 87.7%. In this particular group, progress issues were identified in 78 of the 2163 residents (4%). The classification tree correctly classified these residents as having progress issues. However, the classification tree identified 256 residents as having progress issues, although they did not have an overall score indicating difficulty or failure, resulting in a positive predictive value of 23.4%.

표 2는 가정의학과 프로그램에 등록한 레지던트를 분류할 때 선택한 분류 규칙의 성능을 보여줍니다. 이 분류 규칙은 민감도 100%를 달성하는 동시에 특이도는 79.2%로 최대화했습니다. 이 그룹에서는 1129명의 레지던트 중 67명(6%)에서 진행 문제가 확인되었습니다. 분류 규칙은 이러한 레지던트를 정확하게 식별했지만, 난이도 또는 실패를 나타내는 전체 점수는 없었지만 221명의 레지던트를 진행 문제가 있는 것으로 식별하여 23.3%의 양의 예측값을 얻었습니다.

Table 2 presents the performance of the chosen classification rule when classifying residents enrolled in the family medicine program. The classification rule achieves 100% sensitivity while maximizing specificity at 79.2%. In this group, progress issues were identified in 67 of 1129 residents (6%). The classification rule identifies these residents correctly, but it identified 221 residents as having progress issues, although they did not have an overall score indicating difficulty or failure, resulting in a positive predictive value of 23.3%.

그림 1과 그림 2는 각각 RCPSC와 가정의학과 레지던트에 대해 선택한 분류 규칙을 분류 트리 형태로 보여줍니다. 트리의 각 노드는 키워드와 해당 빈도를 모두 포함하는 간단한 이진 기준을 나타내며, 기준이 충족되면 트리에서 왼쪽으로 이동합니다.

Figures 1 and 2, respectively, present the chosen classification rules for RCPSC and family medicine residents in classification tree form. Each node of the tree represents a simple binary criterion, which includes both a keyword and its frequency, with movement down the tree going to the left when the criterion is met.

참고: 트리의 각 노드는 명확한 키워드와 해당 빈도를 모두 포함하는 간단한 이진 기준을 나타내며, 기준이 충족되면 트리에서 왼쪽으로 이동합니다. 레지던트의 모든 수련 중 평가 보고서(ITER)에 "우수excellent" 키워드가 9회 이상 포함된 경우, 시스템은 일반 코멘트 섹션에서 "지연lag" 키워드를 찾습니다. 이 키워드가 없는 경우(지연 = 0), 해당 레지던트는 진도 문제가 없는 것으로 분류됩니다(검은색 화살표로 표시된 왼쪽의 "0" 분기). 757:0은 이 알고리즘에 따라 757명의 레지던트에게 문제가 발생하지 않았음을 나타냅니다. 모든 ITER에서 "지연"이 한 번 이상 발생하면("지연" ≠ 0), 해당 레지던트는 진행에 문제가 있는 것으로 분류됩니다(회색 화살표로 표시된 "1" 분기점). 6:1은 6명에게는 문제가 없었고 1명에게는 문제가 있었음을 나타냅니다. 괄호 안의 단어는 해당 키워드가 검색된 ITER의 특정 섹션을 나타냅니다. "일반"은 ITER의 전체 성능 섹션을 나타냅니다. 발생 빈도에 괄호 사이의 단어가 나타나지 않으면 시스템은 ITER의 모든 섹션을 검색합니다.

Note: Each node of the tree represents a simple binary criterion, which includes both a definite keyword and its frequency, with movement down the tree going to the left when the criterion is met. When a resident has 9 or more occurrences of the keyword “excellent” in all of his or her in-training evaluation reports (ITERs), the system then looks for the keyword “lag” in the general comment section. If it is absent (lag = 0), then the resident is classified as having no progress issues (in the “0” branch to the left as shown by the black arrow). 757:0 indicates that 757 residents were not in difficulty and none had issues following this algorithm. If “lag” occurs at least once in all ITERs (“lag” ≠ 0), the resident is classified as having progress issues (in the “1” branch as shown by the gray arrow). 6:1 indicates that 6 residents did not have issues and 1 did. Words between parentheses indicate the specific section of the ITER where the keyword is searched. “General” indicates the overall performance section of the ITER. When no words between parentheses appear under the frequency of occurrences, the system searches all sections of the ITER.

참고: 코멘트 1은 가정의학과 수련 평가 보고서(ITER)의 의료 전문가 섹션, 코멘트 2는 의사소통 능력 및 전문성, 코멘트 3은 협업 및 관리, 일반은 전반적인 성과 섹션을 의미합니다. 괄호 안의 단어는 해당 키워드가 검색된 ITER의 특정 섹션을 나타냅니다. 괄호 사이의 단어가 발생 빈도 아래에 나타나지 않으면 시스템은 ITER의 모든 섹션을 검색합니다.

Note: Comment 1 refers to the medical expert section of the family medicine in-training evaluation report (ITER), comment 2 to communication skills and professionalism, comment 3 to collaboration and management, and general to the overall performance section. Words between parentheses indicate the specific section of the ITER where the keyword is searched. When no words between parentheses appear under the frequency of occurrences, the system searches all sections of the ITER.

트리의 각 노드는 명확한 키워드와 그 빈도를 모두 포함하는 간단한 이진 기준을 나타내며, 기준이 충족되면 트리에서 왼쪽으로 이동합니다. 레지던트가 모든 ITER의 의료 전문가 섹션에서 "독립independent" 키워드가 1회 이상 발생하면 시스템은 커뮤니케이션 및 전문성 섹션에서 "작업 중work on" 키워드를 찾습니다. 이 키워드가 존재하면("작업 중" ≠ 0), 시스템은 ITER의 모든 섹션에서 "관심interested"을 찾습니다. 2개 미만인 경우, 해당 레지던트는 진행 문제가 없는 것으로 분류됩니다(검은색 화살표로 표시된 왼쪽의 "0" 지점). 30:0은 이 알고리즘에 따라 30명의 레지던트가 어려움을 겪지 않았고 문제가 없었음을 나타냅니다. 모든 ITER에서 "관심"이 두 번 이상 발생하면(관심 < 2 아님), 해당 레지던트는 진행 문제가 있는 것으로 분류됩니다(회색 화살표로 표시된 "1" 분기). 13:3은 실제로 13명의 레지던트에게 문제가 없었고 3명에게 문제가 있음을 나타냅니다.
Each node of the tree represents a simple binary criterion, which includes both a definite keyword and its frequency, with movement down the tree going to the left when the criterion is met. When a resident has more than 1 occurrence of the keyword “independent” in the medical expert section of all ITERs, the system then looks for the keyword “work on” in the communication and professionalism section. If it is present (“work on” ≠ 0), the system looks for “interested” in all sections of the ITER. If there are fewer than 2 occurrences, the resident is classified as having no progress issues (in the “0” branch to the left as shown by the black arrow). 30:0 indicates that 30 residents were not in difficulty and none had issues following this algorithm. If “interested” occurs at least twice in all ITERs (interested not < 2), the resident is classified as having progress issues (in the “1” branch as shown by the gray arrow). 13:3 indicates that 13 residents in fact did not have issues and 3 did.

토론
Discussion

이 후향적 연구에서 우리는 성과가 미흡한 레지던트와 관련된 키워드를 기반으로 한 알고리즘이 프로그램 디렉터가 어려움을 겪고 있는 레지던트를 식별하는 데 도움이 된다는 것을 입증할 수 있었습니다. 이 알고리즘은 100%의 민감도와 100%의 음의 예측값에서 알 수 있듯이 진행에 어려움을 겪고 있는 모든 레지던트의 순위를 정확하게 매겼습니다. 
In this retrospective study, we were able to demonstrate that an algorithm based on keywords associated with a suboptimal performance would help a program director identify a struggling resident. The algorithm correctly ranked all residents who had difficulty progressing, as evidenced by the 100% sensitivity and 100% negative predictive value.

진행에 문제가 있는 모든 전공의를 감지하는 알고리즘의 이러한 능력은 알고리즘 설계에 내재되어 있습니다. 이러한 절충안이 더 낮은 양의 예측 값을 제공한다는 것을 알기 때문에 특이성을 극대화했습니다. 저희의 의견으로는, 성과가 좋은 레지던트의 파일을 검토하는 것보다 어려움에 처한 레지던트의 탐지가 지연되는 결과가 훨씬 더 중요하다고 생각합니다. RCPSC 데이터 세트에서 총 334명의 레지던트가 진도 문제가 있는 것으로 확인되었습니다(그림 1). 그러나 이 데이터베이스에는 36개 프로그램의 평가 양식이 포함되어 있으며 12년 동안의 기간이 포함되어 있습니다. 따라서 매년 평균적으로 프로그램 디렉터가 검토해야 하는 레지던트 파일은 알고리즘에 의해 어려움에 처한 것으로 잘못 식별된 1건 미만이었습니다. 가정의학과에서는 그림 2에 제시된 알고리즘이 어려움에 처한 레지던트를 감지하는 데 가장 효과적인 것으로 입증되었습니다(민감도 100%, 음의 예측값). 가정의학과 프로그램의 규모가 크다는 점을 고려할 때, 12년 동안 221건의 오탐지false positives 은 교육 현장 책임자에게 이미 잘 알려진 레지던트 그룹에서 교육 현장당 1년에 1~2건에 불과합니다. 이 연구의 목적상 알고리즘을 테스트한 기준은 전체 글로벌 점수입니다. 일부 오탐false positives은 수퍼바이저의 피드백에 따라 성과가 개선되어 이후 성과가 좋은 코호트에 합류한 고군분투하는 레지던트를 나타낼 가능성이 높습니다. 또는 수퍼바이저가 "어려움" 또는 "실패"에 해당하는 전체 점수를 부여하지 않고 내러티브에서 저성과를 설명할 수도 있습니다.4,5 따라서 일부 오탐에는 실제 고군분투하는 레지던트가 포함될 수 있습니다. 
This ability of the algorithm to detect all residents with progress issues is embedded in its design. Specificity was maximized, knowing that this compromise would give a lower positive predictive value. In our opinion, the consequences of delaying the detection of a resident in difficulty are much more important than reviewing the file of an otherwise well-performing resident. A total of 334 residents were identified as having progress issues in the RCPSC data set (figure 1). However, this database includes assessment forms from 36 programs and covers a period of 12 years. Therefore, each year, on average, a program director would have to review less than 1 resident file that was falsely identified by the algorithm as being in difficulty. As for family medicine, the algorithm presented in figure 2 proved to be the most effective in detecting residents in difficulty (100% sensitivity and negative predictive value). Considering the large size of the family medicine program, the 221 false positives over the 12-year period represent only 1 or 2 cases per year per teaching site, among a group of residents already well known to the teaching site director. For the purpose of this study, the standard against which the algorithm was tested is the overall global score. It is likely that some of the false positives represent struggling residents who improved their performance following feedback from their supervisors, and joined the well-performing cohort thereafter. Alternatively, supervisors could describe underperformance in the narratives without assigning the corresponding overall score “in difficulty” or “fail.”4,5  Therefore, some false positives may include true strugglers.

그림 1과 2의 알고리즘은 어려움을 겪는 전공의를 감지하는 데 필요한 키워드의 시리즈와 빈도를 강조합니다. 또한 평가자의 평가 관행에 대한 통찰력도 제공합니다. 

  • 예를 들어, "양호good"의 빈도가 높다는 것은 이 단어가 대부분의 ITER에서 일반적으로 사용되며 심지어 어려움을 겪는 전공의를 묘사하는 데에도 사용되기 때문에 평가자가 일반적으로 이 단어를 남용하고 있음을 시사합니다. 
  • "지연lag"이라는 키워드는 "우수excellent"라는 키워드와 여러 번 일치했습니다(그림 1). 
  • 마찬가지로 그림 2에서 볼 수 있듯이 '관심interested'과 같은 일부 긍정적인 키워드는 부정적인 성과와 연관되어 있었습니다. 이는 고군분투하는 전공의의 ITER에서 특정 격려 문구가 우선적으로 사용될 수 있음을 시사할 수 있습니다.

The algorithms in figures 1 and 2 highlight a series and frequency of keywords needed to detect struggling residents. They also provide some insight into the evaluation practices of assessors.

  • For example, the high frequency of “good” suggests that this word is generally overused by assessors, as it is commonly used in most ITERs, even to describe struggling residents.
  • The keyword “lag” has coincided with several occurrences of the keyword “excellent” (figure 1).
  • Likewise, some positive keywords, such as “interested,” were associated with negative performance, as indicated in figure 2. This might suggest that specific encouragement wording may be preferentially used in ITERs of struggling residents.

이 연구의 결과는 블라인드 교수진이 34명의 내과 레지던트의 ITER를 개별적으로 검토한 이전 연구에서 발견한 결과와 유사하며, 이 연구에서 댓글 섹션의 단어 수와 부정적이거나 모호한 댓글이 있는 ITER의 비율은 심각한 진도 문제와 관련이 있었습니다.6 유사한 디자인을 사용하여 일반 외과 레지던트를 대상으로 한 후향적 연구에서는 수련 첫 해에 84%의 어려움을 겪는 레지던트를 식별할 수 있음을 보여주었습니다.16 
The results of this study parallel the findings found in a previous study of 34 internal medicine residents' ITERs, reviewed individually by blinded faculty members, in which the number of words in the comment section and the percentage of ITERs with negative or ambiguous comments were associated with serious progress issues.6  Using a similar design, a retrospective study of general surgical residents demonstrated that 84% of struggling residents could be identified in their first year of training.16 

캐나다 의사 위원회 시험의 첫 번째 파트에 대한 자동화된 에세이 채점이 신뢰할 수 있는 것으로 입증되었다는 점을 고려할 때,17 자동화된 컴퓨터 의미 분석을 사용하면 프로그램 디렉터와 대학원 의학교육 사무실의 업무를 용이하게 할 수 있습니다. 어려움에 처한 레지던트의 유병률이 낮다는 점을 고려할 때, 키워드 접근법은 레지던트 코호트가 많은 프로그램 디렉터와 경험이 적은 프로그램 디렉터, 그리고 대학원 부학장에게 유용한 플래깅 도구가 될 수 있습니다. 각 프로그램별로 ITER를 하위 분석하는 것도 흥미로운 추가 기능이었지만, 진행에 어려움을 겪은 전공의의 비율이 낮고 데이터 기밀성 문제로 인해 불가능했습니다.
Considering that automated essay scoring of the first part of the Canadian Medical Council examinations has been shown to be reliable,17  the use of an automated computer semantic analysis could facilitate the work of program directors and the office of postgraduate medical education. Given the low prevalence of residents in difficulty, a keyword approach would be a valuable flagging tool for program directors with large resident cohorts and those with little experience, as well as for the postgraduate associate dean. A subanalysis of ITERs for each program would have been an interesting addition, but the low rate of residents who experienced progress difficulties and data confidentiality concerns made this impossible.

이 알고리즘을 통해 데이터베이스에서 진행에 문제가 있는 전공의을 정확하게 식별할 수 있었지만, 부정적 키워드의 첫 사용과 "어려움" 또는 "실패"라는 글로벌 ITER 등급 사이의 리드 타임은 확인할 수 없었습니다. 또한 컴퓨터 알고리즘은 훈련생을 평가할 때 때때로 사용되는 외교적 언어의 미묘한 차이를 이해하지 못합니다.11 부정적 예측 값과 민감도는 데이터 세트에 따라 달라질 수 있습니다. 또 다른 한계는 연구 당시 가정의학과 전공의에 대한 별도의 데이터 세트를 사용했다는 점인데, 이는 이 프로그램이 RCPSC 전문과목과 상당히 다른 ITER 양식을 사용했기 때문입니다. 또한 모든 데이터는 단일 대학에서 수집되었습니다. 따라서 일부 언어 패턴은 보다 광범위한 기관 문화의 결과일 수 있으며, 일반화 가능성을 제한할 수 있습니다. 교육생의 성별18 또는 인종적 배경에 따라 언어가 다르게 사용되어 편견을 유발할 수 있습니다. 이러한 알고리즘이 부적절하게 사용될 경우, 전공의를 어려움에 처한 사람으로 잘못 분류할 수 있습니다. 마지막으로, 출판을 위해 이 글에 제시된 알고리즘의 키워드는 영어로 번역되었지만 통계 분석은 프랑스어로 작성된 ITER를 사용하여 수행되었습니다. 프랑스어 이외의 언어로 이 알고리즘을 사용하려면 키워드에 대한 문화 간 검증이 필요합니다. 
While this algorithm made it possible to accurately identify residents in the database who have shown progress issues, it remains unable to determine the lead time between the first use of the negative keywords and the global ITER rating of “in difficulty” or “fail.” Moreover, a computerized algorithm does not understand the subtleties in the diplomatic language sometimes used in assessing trainees.11  The negative predictive value and sensitivity could also vary with a different data set. Another limitation was the separate data set for family medicine residents, since at the time of the study this program used an ITER form that was significantly different from the RCPSC specialties. Moreover, all data were collected at a single university. Thus, some of the linguistic patterns could be a result of a broader institutional culture, potentially limiting its generalizability. Language could be used differently according to the gender18  or ethnic background of trainees, inducing a bias. If used inappropriately, such an algorithm could lead to false labeling of residents as strugglers. Finally, for publishing purposes, the keywords of the algorithms presented in this article were translated into English, but the statistical analysis was done using ITERs written in French. Using this algorithm in a language other than French would require transcultural validation of the keywords.

현재 코호트에서 알고리즘의 키워드 사용에 대한 유효성 증거를 제공하려면 추가적인 전향적 분석이 필요합니다. 성과가 저조한 훈련생을 조기에 발견하는 알고리즘의 효율성을 평가하고 하나의 키워드 세트를 모든 프로그램에 사용할 수 있는지 여부를 결정하기 위한 추가 연구는 모든 ITER가 동일한 구조를 공유하는 지금 중요한 다음 단계입니다. 
Additional prospective analyses are required to provide validity evidence for the use of the keywords of the algorithm in current cohorts. Further study to assess the algorithm's efficacy for earlier detection of underperforming trainees and to determine whether one set of keywords could be used for all programs are key next steps now that all ITERs share the same structure.

결론
Conclusions

회귀 트리를 사용한 분류에서 도출된 알고리즘을 사용하여 전향적 컴퓨터 의미 분석을 통해 레지던트의 진행 상황을 체계적으로 모니터링하는 것은 특히 역량 기반 의학교육의 일환으로 점점 더 많은 서술형 평가를 분석해야 할 필요성을 고려할 때 어려움에 처한 레지던트를 식별하는 효과적인 방법이 될 수 있습니다.
Systematic monitoring of resident progress through a prospective computerized semantic analysis using an algorithm derived from a classification with regression trees may be an effective way to identify residents in difficulty, especially given the need to analyze increasing numbers of narrative evaluations as part of competency-based medical education.


J Grad Med Educ. 2019 Dec;11(6):656-662. doi: 10.4300/JGME-D-19-00386.1.

Detection of Residents With Progress Issues Using a Keyword-Specific Algorithm

PMID: 31871565

PMCID: PMC6919172

DOI: 10.4300/JGME-D-19-00386.1

Free PMC article

Background: The literature suggests that specific keywords included in summative rotation assessments might be an early indicator of abnormal progress or failure.

Objective: This study aims to determine the possible relationship between specific keywords on in-training evaluation reports (ITERs) and subsequent abnormal progress or failure. The goal is to create a functional algorithm to identify residents at risk of failure.

Methods: A database of all ITERs from all residents training in accredited programs at Université Laval between 2001 and 2013 was created. An instructional designer reviewed all ITERs and proposed terms associated with reinforcing and underperformance feedback. An algorithm based on these keywords was constructed by recursive partitioning using classification and regression tree methods. The developed algorithm was tuned to achieve 100% sensitivity while maximizing specificity.

Results: There were 41 618 ITERs for 3292 registered residents. Residents with failure to progress were detected for family medicine (6%, 67 of 1129) and 36 other specialties (4%, 78 of 2163), while the positive predictive values were 23.3% and 23.4%, respectively. The low positive predictive value may be a reflection of residents improving their performance after receiving feedback or a reluctance by supervisors to ascribe a "fail" or "in difficulty" score on the ITERs.

Conclusions: Classification and regression trees may be helpful to identify pertinent keywords and create an algorithm, which may be implemented in an electronic assessment system to detect future residents at risk of poor performance.

임상진료상황에서 능숙한 의사소통가의 특징 식별하기(Med Educ, 2022)
Identifying characteristics of a skilled communicator in the clinical encounter
Michelle Verheijden1,2 | Esther Giroldi1,2 | Valerie van den Eertwegh3 | Marscha Luijkx4 | Trudy van der Weijden1 | Anique de Bruin2 | Angelique Timmerman1

 

1 서론
1 INTRODUCTION

의사-환자 커뮤니케이션은 의료 서비스 제공에 중요한 역할을 하며 핵심 의료 역량으로 인식되고 있습니다.1-3 이러한 인식은 현재의 의료 교육 관행과 의료 서비스에서 변화하는 커뮤니케이션 요구 사이의 불일치를 해결해야 함을 의미합니다.1, 4-10 
Doctor-patient communication plays an important role in the delivery of health care and has been recognised as a core medical competency.1-3 This recognition implies addressing a signalled misalignment between current medical training practices and changing communication needs in health care.1, 4-10

따라서 의료 교육 프로그램에서는 여러 가지 일반적인 의사소통 지침을 도입하여 이러한 불일치를 해결하려고 시도해 왔습니다.8 예를 들어, '환자의 이야기 요약하기' 또는 '적극적인 경청'과 같이 임상에서 필요한 의사소통 기술을 정의하기 위해 개발된 SEGUE 프레임워크11 및 캘거리-캠브리지 모델12, 13이 있습니다.4-7, 14, 15 스킬 기반 접근법은 학습자에게 유용한 상담 구조와 스킬 도구 상자를 제공하므로 높은 평가를 받고 있지만, 실제 풍부한 진료 환경에서 효과적으로 의사소통하는 것은 충분하게 지원하지 못합니다.2, 4-7, 9, 16 학습자는 직면하는 임상 문제에 의해 도전을 받고 환자의 요구를 고려하여 의사소통을 조정합니다.1, 5-7, 17 이는 Veldhuijzen 등과 Essers 등이 의사소통은 일차적으로 목표 중심적이며, 상담의 여러 맥락적 요인(예: 의료, 환자 또는 의사 관련)에 의해 영향을 받는다고 말한 것처럼 각 임상 상황에서 의사소통을 맞춤화할 필요가 있음을 시사합니다.10, 13, 18 
Consequently, medical training programmes have attempted to address this misalignment by introducing multiple generic communication guidelines.8 For instance, the SEGUE framework11 and Calgary–Cambridge model12, 13 were developed to define communications skills needed in the clinical encounter like ‘summarising the patient's story’ or ‘active listening’.4-7, 14, 15 Although a skills-based approach is highly valued as it provides learners a helpful consultation structure and a toolbox of skills, it insufficiently supports them in communicating effectively in the complexity of the authentic rich practice setting.2, 4-7, 9, 16 Learners are challenged by the clinical problems they encounter and adjust communication considering patient needs.1, 5-7, 17 This implies a need to tailor communication in each clinical encounter, as Veldhuijzen et al and Essers et al state that communication is primarily goal driven and influenced by several contextual factors (i.e. medical-, patient- or doctor-related) in the consultation.10, 13, 18

이러한 필요성은 '의사소통 기술'에 초점을 맞추던 것에서 '숙련된 의사소통'으로 전환하는 현재의 담론과 연결됩니다.8, 10 의사-환자 의사소통 학습은 경험적 직장 학습 중 의사소통의 맥락화된 적용을 통해 보다 적절하게 다룰 수 있습니다.7, 9, 10, 16, 17, 19, 20 숙련된 의사소통의 전문성을 얻기 위해서는 성찰과 피드백을 바탕으로, 개인 수행의 [적용, 적응 및 개선 기회]를 제공하는 도전적인 임상 학습 과제에 기반하여 의도적인 연습이 필요합니다.21, 22 
This signalled need connects to the current discourse shifting from focusing on ‘communication skills’ towards ‘skilled communication’.8, 10 Learning doctor–patient communication may be more appropriately addressed by a contextualised application of communication during experiential workplace learning.7, 9, 10, 16, 17, 19, 20 For attaining expertise in skilled communication, deliberate practice is required based on challenging clinical learning tasks that provide opportunities for application, adaptation and refinement of personal performance, based on reflection and feedback.21, 22

그럼에도 불구하고 숙련된 의사소통 접근법이 정확히 무엇이며 숙련된 의사소통자의 특성이 무엇인지에 대한 합의가 부족합니다.1, 7, 9, 15, 23 우리는 숙련된 의사소통의 개념을 설명하기 위한 예비 단계로 의료 의사소통과 관련된 이해관계자들의 관점을 종합하기 위해 명목 그룹 기법(NGT)을 사용했습니다.22 NGT는 의학 교육에 널리 적용되었으며, 구조화된 특성상 모든 이해관계자가 자신의 의견을 표현할 수 있는 동등한 기회를 보장하여 토론을 촉진하고 공유된 합의를 형성합니다.24-26 
Nevertheless, a lack of consensus exists about what a skilled communication approach exactly entails and what characteristics are of a skilled communicator.1, 7, 9, 15, 23 We used the nominal group technique (NGT) to synthesise viewpoints from stakeholders involved in medical communication as a preliminary step to inform describing the concept of skilled communication.22 NGT has been widely applied in medical education, and its structured nature ensures all stakeholders to have equal opportunities to express their views, stimulating discussion and creating a shared consensus.24-26

본 연구는 현재 의료 커뮤니케이션 연구의 이론 구축에 기여하고 숙련된 커뮤니케이션 교육을 위한 학습자 중심 접근법의 개발을 알리고 향후 임상 실무로의 이전을 지원하는 것을 목표로 합니다.9, 10, 15 다음과 같은 연구 질문이 다루어졌습니다: '임상 현장에서 숙련된 커뮤니케이터의 특징은 무엇인가?' 
We aim to contribute to theory building in current health communication research and to inform the development of a learner-centred approach for skilled communication training and support its future transfer to clinical practice.9, 10, 15 The following research question was addressed: ‘What are characteristics of a skilled communicator in the clinical encounter?’

2 방법
2 METHODS

설정
Setting

이 연구는 네덜란드의 일반 진료(GP) 전문 교육 프로그램의 맥락에서 수행되었으며, 8개의 GP 교육 기관 중 5개 기관에서 참가자를 모집했습니다. 일반의의 임상 업무량은 다양한 의학적 및 심리사회적 불만 사항으로 구성되어 있어 임상적 상황에 맞게 커뮤니케이션을 일관되게 조정해야 하기 때문에 GP 환경을 선택했습니다.14, 17, 23, 24, 27, 28 GP 교육 프로그램은 3년에 걸쳐 4일의 직장 기반 교육과 1일의 공식 교육으로 번갈아 가며 구성됩니다. 
The study was performed in the context of the general practice (GP) specialty training programme in the Netherlands, recruiting participants from five out of eight GP training institutes. The GP setting was chosen because the clinical workload of a GP consists of a variety of medical and psychosocial complaints, which requires a consistent adjustment of communication to the needs of the clinical encounter.14, 17, 23, 24, 27, 28 The GP training programme consists of 3 years, alternating 4 days of workplace-based training with 1 day of formal education.

연구 설계
Study design

숙련된 커뮤니케이터의 특성을 규명하기 위해 2020년 4월부터 10월까지 네덜란드의 GP 교육 프로그램 이해관계자를 대상으로 6번의 NGT 세션이 진행되었습니다. NGT는 특정 주제에 대한 아이디어를 도출하기 위한 합의 그룹 방식으로, 참가자들이 구조화된 상호작용을 통해 생각을 공유하고 토론에 참여하도록 지속적으로 자극함으로써 여러 이해관계자의 관점을 통합하는 데 도움이 됩니다.29, 30 COVID-19 팬데믹으로 인해 모든 NGT 세션은 Zoom 플랫폼을 사용하여 전자 환경에서 진행되었습니다.31, 32
Six NGT sessions were conducted between April and October 2020 among Dutch stakeholders of the GP training programmes to elucidate characteristics of a skilled communicator. The NGT is a consensus group method to generate ideas on a certain topic and facilitates the integration of multiple stakeholders' perspectives by constantly stimulating participants to share their thoughts and engage in the discussion through a structured interaction.29, 30 Due to the COVID-19 pandemic, all NGT sessions took place in an electronic environment using the Zoom platform.31, 32

참가자 Participants

각 NGT 세션의 최적 참가자 수는 5~7명으로, 6개의 세션에 최소 30명이 참여해야 합니다.25, 33 의도적 표본 추출을 사용하여 의사-환자 커뮤니케이션에 대한 경험과 전문성을 바탕으로 잠재적 이해관계자 목록을 구성했습니다.34 이 목록에는 (1) GP, (2) GP 연수생, (3) GP 트레이너, (4) GP 연수 프로그램의 조정자 및 교육과정 개발자, (5) 의료 커뮤니케이션 분야 연구자가 포함되었습니다. 75명의 잠재적 이해관계자에게 이메일을 통해 연구의 목적과 절차, 필요한 시간 투자에 대한 정보를 제공하면서 참여를 요청했습니다. 각 NGT 세션 전에 모든 참가자로부터 서면 동의서를 받았으며, 참가자는 자발적으로 참여했습니다. 또한 참가자들은 인구통계학적 설문지를 작성했습니다. 참가자를 식별할 수 있는 모든 개인 식별 정보는 하나 이상의 인공 식별자(가명)로 대체되었습니다.
The optimal number of participants for each NGT session is five to seven, resulting in a minimum of 30 participants for six sessions.25, 33 By using purposive sampling, a list of potential stakeholders was composed based on their experience and expertise in doctor-patient communication.34 The list included (1) GPs, (2) GP trainees, (3) GP trainers, (4) coordinators and curriculum developers of the GP training programme and (5) researchers in medical communication. We invited 75 potential stakeholders to participate via e-mail, providing information about the purpose and procedure of the study and needed time investment. Written informed consent was obtained from all participants prior to each NGT session, and participation was on a voluntary basis. Moreover, participants completed a demographic questionnaire. All personally identifiable personal information, which could lead to the participants, was replaced by one or more artificial identifiers (pseudonyms).

데이터 수집
Data collection

90분에서 120분까지 진행된 NGT 세션은 오디오 녹음 후 그대로 필사되었습니다. 모든 NGT 세션은 동일한 프로토콜(부록 S1)을 사용했으며, 두 명의 사회자, 한 명의 교육 연구자 겸 심리학자(AT)와 한 명의 박사 과정 학생 겸 GP 수련의(MV)가 진행했습니다.35, 36 추가 연구자 겸 보건 과학자(EG)가 세션에 참석하여 관찰하고 현장 메모를 작성했습니다. 연구팀은 숙련된 의사소통에 대한 현재 과학적 담론에서 아이디어를 수집하기 위해 문헌 연구와 의사소통 전문가와의 세 차례의 반구조화 인터뷰를 수행하여 명목 질문을 구성했습니다.29, 36, 37

  • 세션 절차에 대한 간략한 설명 후 다음과 같은 명목 질문이 제기되었습니다: '숙련된 GP 의사소통자의 특징은 무엇인가요? NGT 세션에서 우리는 특성을 '임상 상황에서 숙련된 의사소통자를 설명하는 전형적이거나 눈에 띄는 특징'으로 소개했습니다.
  • 둘째, 명목상의 질문에 대해 참가자들은 개별적으로 자신의 아이디어를 적었습니다.
  • 셋째, 참가자들은 하나의 아이디어를 '라운드 로빈' 방식으로 그룹에 공유했습니다. 진행자 중 한 명이 모든 아이디어를 워드 문서로 옮겨 모든 참가자가 디지털 화면에서 볼 수 있도록 했습니다.
  • 넷째, 참가자들은 자신의 아이디어를 명확히 밝히고 비슷한 아이디어를 결합할 수 있는 기회를 제공받았습니다.
  • 다섯째, 모든 참가자는 숙련된 커뮤니케이터에게 가장 중요하다고 생각되는 특성을 기술한 7가지 아이디어를 개인적으로 선택하고 1점부터 7점(총 28점)까지 점수를 매겼으며, 7점이 가장 높은 점수를 받았습니다. 웹 기반 플랫폼인 Qualtrics(버전 XM; Qualtrics, 유타주 프로보: 2020)를 사용하여 익명으로 순위를 매기는 과정을 조정하고 보안을 유지했습니다.
  • 마지막으로 참가자들은 총 순위에 대해 토론하여 그룹 합의를 도출했습니다. 진행자는 모든 참가자에게 돌아가면서 토론에 참여하도록 개별적으로 초대하고, 각 토론 라운드에서 참가자들이 아이디어와 의견을 공유할 수 있는 충분한 기회를 제공했으며, 최종 순위가 디지털 화면에 표시될 때 각 참가자에게 명시적인 합의를 요청했습니다. 그룹 합의에 도달하지 못한 경우 한두 차례에 걸쳐 순위를 다시 정하는 과정을 거쳤습니다. 그룹 합의는 그룹에서 생성된 특성의 총 순위에 대해 모든 참가자가 구두로 동의하는 것으로 정의되었습니다. 앞서 언급한 단계에 대한 자세한 개요는 부록 S1에서 확인할 수 있습니다.

The NGT sessions, ranging in time from 90 to 120 min, were audio-recorded and transcribed verbatim. All NGT sessions used the same protocol (Appendix S1) and were facilitated by two moderators, one educational researcher and psychologist (AT) and one PhD student and GP trainee (MV).35, 36 An additional researcher and health scientist (EG) was present during the sessions to observe and make field notes. The research team constructed the nominal question by performing a literature study and three semi-structured interviews with communication experts to assemble ideas from the current scientific discourse on skilled communication.29, 36, 37 

  • After a brief explanation of the sessions procedure, the following nominal question was posed: ‘What are characteristics of a skilled GP communicator?’ During the NGT sessions, we introduced characteristic as ‘a typical or noticeable feature describing a skilled communicator in the clinical encounter’.
  • Second, in response to the nominal question, participants individually wrote down their ideas.
  • Third, participants shared a single idea to the group in a ‘round robin’ fashion. One of the moderators transcribed all ideas in a word document, which was visible for all participants on the digital screen.
  • Fourth, participants clarified their ideas and were provided with the opportunity to combine similar ideas.
  • Fifth, all participants privately selected seven ideas, which described characteristics deemed most important for a skilled communicator and scored them from 1 to 7 (total of 28 points), 7 being the highest rank score. The web-based platform Qualtrics (version XM; Qualtrics, Provo, Utah: 2020) was used to coordinate and secure the anonymous ranking process.
  • In the end, participants discussed the total ranking to reach group consensus. The moderators invited all participants individually to take part in the discussion by giving turns to all participants, providing sufficient opportunities for participants to share ideas and views during each round of discussion and asking explicit consensus from each participant when the final ranking was presented on the digital screen. If no group consensus was reached a re-ranking process occurred in one or two rounds. Group consensus was defined as a voiced agreement of all participants on the total ranking of characteristics generated by the group. A more detailed outline of the aforementioned steps is available (Appendix S1).

데이터 분석
Data analyses

모든 NGT 세션의 결과물은 양적, 질적으로 모두 분석되었습니다. 분석 결과 숙련된 커뮤니케이터의 특성과 임상에서 숙련된 커뮤니케이션 접근법의 개념적 모델을 파악할 수 있었습니다.
The output of all NGT sessions was analysed both quantitatively and qualitatively. The analyses resulted both in the identification of characteristics of a skilled communicator and a conceptual model of a skilled communication approach in the clinical encounter.

2.5.1 분석 접근법
2.5.1 Analysis approach


인구통계학적 변수는 Windows용 SPSS 26.0(IBM Corp. Armonk, NY)의 서술적 통계를 사용하여 분석했습니다. 설명적 통계를 사용하여 NGT 세션의 양적 구성 요소를 분석했습니다. NGT 세션의 내용은 5단계에 걸쳐 수행된 (반복되는) 주제를 식별, 분석 및 보고하는 주제별 내용 분석을 사용하여 분석했으며, 이는 흐름도(그림 1)에 설명되어 있습니다.38, 39
Demographic variables were analysed using descriptive statistics in SPSS 26.0 for Windows (IBM Corp. Armonk, NY). We analysed the quantitative components of the NGT sessions using descriptive statistics. The content of the NGT sessions was analysed using thematic content analysis by identifying, analysing and reporting (recurring) themes performed in five phases and is illustrated in the flow diagram (Figure 1).38, 39

  • 먼저, 연구팀원(MV, AT, EG)은 각 NGT 세션에 대해 개별적으로 조립된 항목에 대한 일반 설명을 독립적으로 작성했습니다(부록 S3 참조).
  • 다음으로, 개별 팀원들이 작성한 일반적 설명을 연구팀이 합의에 도달할 때까지 논의하여 클러스터를 만들었습니다(부록 S4 참조).
  • 셋째, 연구팀은 모든 NGT 세션에서 도출된 클러스터를 반복적으로 비교하여 유사한 내용을 병합하여 주제를 종합했습니다(부록 S5 참조).
  • 넷째, 의사-환자 전문가 패널의 두 연구자(ML, VvdE)가 식별된 주제와 기본 클러스터에 대한 구성원 점검을 수행하여 모든 NGT 세션의 내용이 포함되었는지 평가하여 최종 주제 및 클러스터 목록을 도출했습니다.
  • 마지막으로, 연구팀은 문헌에 대한 내용을 반영하여 테마의 관련성과 내부 일관성을 평가하여 개념을 식별했습니다(사용된 용어의 정의는 부록 S2 참조). 전문 번역가가 최종 주제와 클러스터를 영어로 번역한 후, 영어에 능통한 네덜란드 원어민 연구팀원이 다시 네덜란드어로 번역하여 번역의 정확성을 검증하고 연구팀 전체가 승인했습니다.
  • First, research team members (MV, AT, EG) independently formulated general descriptions for the assembled items for each NGT-session separately (see Appendix S3).
  • Next, these general descriptions by individual team members were discussed by the research team until consensus was reached, resulting in clusters (see Appendix S4).
  • Third, the research team performed an iterative comparison of formulated clusters from all NGT sessions to merge for a similar content, resulting in the synthesis of themes (see Appendix S5).
  • Fourth, two researchers (ML, VvdE) of a doctor–patient expert panel performed a member check of the identified themes and underlying clusters to assess if the content of all NGT sessions was covered, resulting in the final list of themes and clusters.
  • Finally, the research team assessed the relatedness and internal coherence of the themes by reflecting on their content against literature, resulting in the identification of concepts (see Appendix S2 for definition of used terms). A professional translator translated the final themes and clusters into English, and then members of the research team as native Dutch speakers proficient in English translated them back into Dutch to verify the accuracy of the translations, which was approved by the whole research team.

반사성
Reflexivity

저희는 이 연구의 결과가 연구자와 참여자 간의 상호작용에 의해 공동으로 구성되었음을 인정합니다. 연구팀은 인구통계학적 특징(예: 여성, 백인, 국적)은 비슷했지만 의사-환자 커뮤니케이션 연구 및 교육과 관련된 전문 지식과 관점에는 다양성이 있었습니다. 일반의 수련의 및 박사 과정 학생(MV), 일반의 교육 기관에서 일하는 심리학자(AT), 학부 의료 교육 프로그램에서 일하는 커뮤니케이션 연구자 및 트레이너(EG), 자기조절 학습에 대한 연구 전문성을 갖춘 교육 심리학자(AdB) 등이 참여했습니다. 이러한 다양한 전문적 배경은 팀 토론에 깊이와 풍성함을 더했습니다. 편견을 방지하기 위해 연구팀 내에서 개별 데이터 분석 결과를 논의할 때 비판적인 입장을 견지했으며, 데이터의 의미를 도출하는 과정에서 다른 관점을 모색했습니다.40 
We acknowledge that outcomes in this study are co-constructed by interactions between researchers and participants. While our research team was similar in terms of demographic features (i.e. female, white and nationality), there was diversity in expertise and perspectives related to doctor–patient communication research and training. A GP trainee and PhD student (MV), a psychologist working at a GP training institute (AT), a communication researcher and trainer working at a undergraduate medical training programme (EG) and an educational psychologist with research expertise in self-regulated learning (AdB). These different professional backgrounds provided depth and richness to the team discussions. To prevent biases, we kept critical of our stances in discussing findings from individual data analysis within the research team and explored alternative viewpoints during the process of making meaning of the data.40

3 결과
3 RESULTS

결과는 사회 인구학적 특성, NGT 세션 순위 결과를 설명하는 연구 특성, 주제별 내용 분석 결과 숙련된 커뮤니케이터의 특성, 숙련된 커뮤니케이션 접근 방식을 설명하는 개념적 모델 개발로 제시됩니다.
The results will be presented as socio-demographic characteristics, study characteristics describing the NGT session ranking results, characteristics of a skilled communicator as a result of thematic content analysis, and the development of a conceptual model describing a skilled communication approach.

사회 인구학적 특성
Socio-demographics characteristics

총 34명의 이해관계자가 6개의 NGT 세션 중 하나에 참여(응답률 48%)했습니다. 이해관계자의 연령은 26세에서 65세(평균 45세, SD 13.2세)였으며, 여성이 19명(56%)이었습니다. 표 1은 이해관계자의 특성 및 직업적 배경 구성에 대한 정보를 제공합니다.
A total of 34 stakeholders participated (response rate 48%) in one of the six NGT sessions. The stakeholders' ages ranged from 26 to 65 years (mean 45, SD 13.2 years), and 19 were female (56%). Table 1 provides information on stakeholders' characteristics and the composition of their professional backgrounds.

연구 특성
Study characteristics

6번의 NGT 세션이 진행되었으며, 각 세션마다 참가자들이 NGT 세션에서 정리한 여러 항목(n = 191)으로 구성된 '상위 7가지 특성'(부록 S3 참조)이 도출되어 41개의 클러스터로 이어졌습니다. 질적 분석 결과, 숙련된 커뮤니케이터의 특성을 설명하는 9개의 테마가 도출되었습니다. 표 2는 주제와 해당 클러스터의 순위를 보여줍니다. 테마는 이러한 결합된 기준에 따라 나열되어 있습니다: (1) 일련의 NGT 세션에서 가장 높은 순위를 차지한 클러스터와 (2) 특정 테마 내의 모든 클러스터 점수의 합입니다.

Six NGT sessions were conducted, each resulting in its own ‘Top 7 of characteristics’ (see Appendix S3) consisting of multiple items (n = 191) that were organised by the participants during the NGT sessions, leading to 41 clusters. Qualitative analysis resulted in nine themes, describing characteristics of a skilled communicator. Table 2 shows the rankings of the themes and corresponding clusters. The themes are listed according to these combined criteria:

  • (1) the clusters ranked the most often over the series of NGT sessions and
  • (2) the sum of all cluster scores within a specific theme.
 

숙련된 커뮤니케이터의 특성
Characteristics of a skilled communicator

이 섹션에서는 숙련된 커뮤니케이터의 특성을 설명하는 식별된 주제를 그림 2에 설명된 내러티브로 개괄적으로 설명합니다. 주제는 참가자들이 순위를 매겨 조립한 항목에 대한 주제별 콘텐츠 분석의 결과로 식별됩니다.

In this section, the identified themes describing characteristics of a skilled communicator will be outlined and described as a narrative, which are illustrated in Figure 2. Themes are identified as a result of the thematic content analysis of the rank-ordered assembled items by the participants.

3.3.1 A: 환자에게 민감하고 적응하기
3.3.1 A: Being sensitive and adapting to the patient

5번의 NGT 세션 동안 '환자에게 민감하고 적응하기'라는 주제를 나열하고 점수를 매겼습니다. 이 주제는 환자의 경험과 요구에 민감하게 반응하는 것과 환자와의 언어적, 비언어적 의사소통을 조정하는 것으로 세분화할 수 있습니다. 또한, 공통점을 찾는 것은 환자와의 만남에서 무엇이 필요한지 민감하게 파악하고 그에 따라 의사소통을 조정하는 것으로 언급되었습니다.
During five NGT sessions, the theme ‘Being sensitive and adapting to the patient’ was listed and scored. It can be subdivided into being sensitive to the patient's experience, and needs and adjusting verbal and non-verbal communication to the patient. Moreover, finding common ground was mentioned as being sensitive to what is needed in the encounter and adapt communication accordingly.

3.3.2 B: 대인 커뮤니케이션을 능숙하게 적용하는 것
3.3.2 B: Being proficient in applying interpersonal communication

네 개의 NGT 세션에서 '대인 커뮤니케이션을 능숙하게 적용하기'라는 주제를 나열하고 점수를 매겼습니다. 센트럴은 대인 커뮤니케이션을 적용하는 방법을 알고 언제 상담에 적용해야 하는지 아는 측면에서 의사와 환자 간의 관계를 증진하는 대인 커뮤니케이션을 시연하고 있습니다. 이 주제에 따라 평화와 신뢰 형성, 완전한 존재감 드러내기, 충분한 시간 갖기, 희망과 현실 사이의 균형 잡기 등 다양한 목표와 기술이 보고되었습니다. 또한 참가자들은 대화 과정에 대해 상호적으로 논의하고 상호 기대치를 명확히 할 필요성에 대해 언급했습니다.
Four NGT sessions listed and scored the theme ‘Being proficient in applying interpersonal communication’. Central is demonstrating interpersonal communication fostering the relationship between doctor and patient, both in terms of knowing how to apply it and knowing when to apply it in the consultation. Under this theme, different objectives and skills were reported, for example: creating peace and trust, displaying full presence, taking sufficient time and balancing between hope and realism. In addition, participants mentioned the need to attend to reciprocity discuss the dialogical process and articulate mutual expectations.

3.3.3 C: 자기 인식, 학습 능력 및 반성적 역량
3.3.3 C: Self-awareness, learning ability and reflective capacity

'자기 인식, 학습 능력 및 반성적 역량'이라는 주제는 네 번의 NGT 세션에서 나열되고 채점되었습니다. 여기에는 규범과 가치, 경계, 함정, 의사소통 스타일에 대한 개인의 인식이 포함됩니다. 환자와 동료의 피드백에 개방적이고 자신의 의사소통의 단점을 성찰함으로써 자신의 관점이나 편견과 같은 개인적 기준 프레임에 대한 인식이 강화됩니다. 또한, 이 주제에서는 학습에 대한 의지, 즉 이전 경험을 바탕으로 다양한 커뮤니케이션 전략을 실험할 수 있는 성장 마인드가 언급되었습니다.
The theme ‘Self-awareness, learning ability and reflective capacity’ was listed and scored by four NGT sessions. It includes personal awareness of norms and values, boundaries, pitfalls and communication style. By being open for feedback from patients and colleagues and reflecting upon shortcomings in one's communication, performance awareness of own personal frame of reference (e.g. perspectives and prejudices) is fostered. Moreover, within this theme willingness to learn was mentioned: a growth mind-set, which enables experimenting with different communication strategies based upon prior experiences.

3.3.4 D: 진정으로 관심 갖기
3.3.4 D: Being genuinely interested

네 번의 NGT 세션에서 '진정으로 관심 갖기'라는 주제를 나열하고 점수를 매겼으며, 호기심을 보이는 태도를 통해 환자와 열린 대화를 나누는 것이 중요하다고 언급했습니다. 호기심을 갖고, 쉽게 접근하고, 비판적이지 않고, 열린 마음을 갖는 것이 필수적입니다.
Four NGT sessions listed and scored the theme ‘Being genuinely interested’ and to establish an open dialogue with the patient by displaying an attitude of curiosity. It is essential to be curious, easily accessible, non-judgmental and open-minded.

3.3.5 E: 환자 중심 커뮤니케이션을 능숙하게 적용하기
3.3.5 E: Being proficient in applying patient-centred communication

네 번의 NGT 세션 동안 '환자 중심 의사소통을 능숙하게 적용하기'라는 주제가 나열되고 점수가 매겨졌습니다. 이 주제는 의사소통 전략의 메커니즘잠재적 효과에 대한 지식과 효과적인 정보 교환 개발로 세분화할 수 있습니다. 의사는 상담 시 환자의 눈높이에 맞게 언어를 유연하게 조정하고, 질문과 설명을 구체적으로 하고 이해 여부를 확인해야 합니다. 
During four NGT sessions, the theme ‘Being proficient in applying patient-centred communication’ was listed and scored. This theme can be subdivided into knowledge about the mechanisms and potential effects of communication strategies and developing an effective information exchange. In their consultations, doctors need to flexibly adjust their language to the level of the patient, being concrete in questioning and providing explanations and checking for understanding.

3.3.6 F: 목표 지향적 의사소통
3.3.6 F: Goal-oriented communication

네 번의 NGT 세션 동안 '목표 지향적 의사소통'이라는 주제를 나열하고 점수를 매겼습니다. 이는, 필요할 때마다, 환자와 의사 모두의 의제를 다루고 추가적인 주의가 필요한 문제와 불필요해 보이는 문제를 구분하기 위해 주도적으로 행동하는 것을 의미합니다. 시간 제한적 개입은 상담 과정에 관한 선택을 할 때 목표 지향적으로 일할 수 있도록 지원합니다. 동시에 분석적이고 깊이 탐구하는 자세는, 임상과 환자의 목표를 모두 고려하고 이를 연결하면서, 내용과 과정 사이의 균형을 맞출 수 있게 해줍니다.
During four NGT sessions, the theme ‘Goal-oriented communication’ was listed and scored. It means taking the lead, whenever it is necessary, to address the agenda of both patient and doctor and differentiate between issues that require additional attention and those that seem superfluous. Time-contingent interventions support goal-oriented working in making choices regarding the course of the consultation. Concomitantly, being analytic and exploring deeper enable balancing between content and process while taking into account both clinical and patients' goals and bridging them.

3.3.7 G: 진정성 확보하기
3.3.7 G: Being authentic

네 개의 NGT 세션에서 '진정성'을 주제로 선정하고 점수를 매겼습니다. 이는 의사소통 성과가 환자에게 거의 감지되지 않는다는 것을 의미합니다. 진정성 있는 방식으로 목표를 달성하면 자연스럽고 개인적인 스타일의 커뮤니케이션으로 이어집니다. 이를 위해서는 공감, 취약성, 그리고 필요한 경우 불안감에 대한 소통을 보여줘야 합니다.
Four NGT sessions listed and scored the theme ‘Being authentic’. It means that communication performance is almost imperceptible to the patient. Achieving goals in an authentic manner leads to a natural and personal style in communication. This necessitates showing empathy, vulnerability and communication about insecurities, if needed.

3.3.8 H: 적극적인 경청
3.3.8 H: Active listening

'적극적 경청'이라는 주제는 세 번의 NGT 세션에서 목록화되어 점수를 받았다. 경청 능력으로 묘사되었다.

  • 환자가 자신의 이야기를 할 수 있는 여지를 만들고, 만남에서 환자의 단서와 환자가 강조하는 것에 대해 적극적으로 경청하며 (비)언어적 의사소통에 집중하는 것으로 설명되었습니다.

The theme ‘Active listening’ was listed and scored by three NGT sessions, which was described as the ability to listen:

  • attentively and thereby creating room for patients to tell their story, and actively for patient cues in the encounter and what is stressed by the patient, and focus on (non-)verbal communication.

3.3.9 I: 환자와 협력하기
3.3.9 I: Collaborating with the patient

두 개의 NGT 세션에서 '환자와 협력하기'라는 주제를 나열하고 점수를 매겼습니다. 이는 의사와 환자가 투명성을 위해 노력하고 상호 계획에 도달하는 평등에 기반합니다. 다른 한편으로, 협업은 환자가 문제 해결의 공동 파트너가 되어 환자의 자율성을 높이고 공동 의사 결정을 내릴 수 있는 공동 책임에 기반합니다.
Two NGT sessions listed and scored the theme ‘Collaborating with the patient’. On the one hand, this is based on equality: doctor and patient striving towards transparency and reaching a mutual plan. On the other hand, working collaboratively is based on a shared responsibility where the patient becomes co-partner in problem solving enhancing the patients' autonomy and enabling to shared decision making.

숙련된 의사소통 접근법의 개념적 모델
Conceptual model of a skilled communication approach

이 개념적 모델(그림 3 참조)에서는 두 가지 순환적이고 중요한 프로세스가 실제 커뮤니케이션 행동과 커뮤니케이션에 대한 성찰의 중심이 됩니다. 이러한 작업을 수행하려면 다음과 같은 특성이 필요합니다. 의사는 첫 번째 과정인 의사소통에 민감해야 하며, 의사소통을 만남의 필요에 맞게 조정해야 합니다. 관찰된 의사소통 행동은 의사의 적용된 기술과 표시된 태도에 영향을 받습니다. 

  • 연구 결과에서 첫 번째 구성 요소는 대인 관계 및 환자 중심 커뮤니케이션을 적용하는 숙련도로 확인되었습니다. 또한, 능동적 경청은 고도로 숙련된 과정으로 확인되었으며, 이는 (대인관계 및 환자 중심) 의사소통을 적용하기 위한 조건부 도구로 볼 수 있습니다.41 
  • 두 번째 구성 요소인 태도적 측면은 진정성과 진정한 관심으로 확인되었으며 숙련된 커뮤니케이터의 핵심으로 간주됩니다. 이러한 태도적 측면은 임상적 만남에서 환자에게 민감하게 반응하고 의사소통을 조정하는 과정을 용이하게 합니다.

In this conceptual model (see Figure 3), two circular and overarching processes are central actual communication behaviour and reflection on communication. The following characteristics are needed to perform these tasks. The doctor needs to be sensitive and adapt communication to the needs of the encounter, which is the first process. The communication behaviour observed is influenced by applied skills and displayed attitudes of the doctor.

  • The first component is identified in our findings as the proficiency to apply interpersonal and patient-centred communication. Moreover, the characteristic Active listening was identified as a highly skilled process, which could be seen as a conditional tool to apply (interpersonal and patient-centred) communication.41 
  • The second component, attitudinal aspects, are identified in as authenticity and genuine interest and considered as core for a skilled communicator. These attitudinal aspects facilitate the process of being sensitive and adapting communication to the patient in the clinical encounter.

또한 숙련된 커뮤니케이터가 환자와 협력하고 필요한 경우 주도권을 잡으면서 임상 진료 중에 목표를 조정할 수 있도록 하는 데 있어 기술과 태도는 조건적인 요소입니다. 이는 의사소통이 본질적으로 맥락적이고 목표 중심적이라는 점과 일맥상통합니다.14, 18, 28 또한, 상담에서 환자와 의사의 관련 목표를 다룰 때 상호 합의점을 찾는 것이 촉진됩니다.14 숙련된 커뮤니케이터는 또한 임상 진료 중 의사소통 과정을 스스로 모니터링할 수 있어야 하며, 이는 두 번째로 확인된 병행 과정과 일맥상통합니다: '자기 인식, 학습 능력 및 반성적 능력'과 일치합니다.42, 43
Skills and attitudes are also conditional in enabling a skilled communicator to adjust goals during the clinical encounter while working collaboratively with a patient and taking the lead if needed. This resonates with communication being inherently contextual and goal driven.14, 18, 28 Furthermore, finding mutual agreement is fostered in addressing both patients' and doctors' related goals in the consultation.14 A skilled communicator should also be able to self-monitor communication processes during the clinical encounter, which resonates with the second identified parallel process: ‘self-awareness, learning ability, and reflective capacity.42, 43

4 논의
4 DISCUSSION

이 연구의 목적은 의료 커뮤니케이션 분야의 다양한 이해관계자의 관점을 종합하여 숙련된 커뮤니케이션의 개념을 알리는 것이었습니다. 6차례에 걸쳐 진행된 NGT 세션에 참여한 이해관계자들은 총 191개의 항목을 종합적으로 해명했습니다. 이러한 결과를 주제별 내용 분석에 사용하여 임상 현장에서 숙련된 커뮤니케이터의 특성을 설명하는 9가지 주제를 식별했습니다.

  • (A) 환자에 대한 민감성과 적응력,
  • (B) 대인 커뮤니케이션 적용에 능숙함,
  • (C) 자기 인식, 학습 능력 및 성찰 능력,
  • (D) 진정으로 관심 있음,
  • (E) 목표 지향적 커뮤니케이션,
  • (F) 진정성,
  • (G) 환자 중심 커뮤니케이션 적용에 능숙함,
  • (H) 적극적인 경청,
  • (I) 환자와 협력하는 것

식별된 주제는 각 특성이 의사의 개인 레퍼토리의 일부이며 통합된 전체를 구성하기 때문에 내용상 밀접한 관련이 있습니다.9, 14, 16, 44
The purpose of this study was to inform the concept of skilled communication by synthesising viewpoints from different stakeholders in the field of medical communication. Stakeholders participating in the six conducted NGT sessions collectively elucidated 191 items. We used these findings in a thematic content analysis and identified nine themes, describing characteristics of a skilled communicator in the clinical encounter:

  • (A) being sensitive and adapting to the patient;
  • (B) being proficient in applying interpersonal communication;
  • (C) self-awareness, learning ability and reflective capacity;
  • (D) being genuinely interested;
  • (E) goal-oriented communication;
  • (F) being authentic;
  • (G) being proficient in applying patient-centred communication;
  • (H) active listening; and
  • (I) collaborating with the patient.

The identified themes are closely related in content as each characteristic is part of the doctor's personal repertoire and constitutes an integrated whole.9, 14, 16, 44

또한, 확인된 주제를 바탕으로 (1) 환자에 대한 민감성과 적응력, (2) 자기 인식, 학습 능력, 반성적 능력이라는 두 가지 병렬 프로세스를 추출할 수 있고 임상에서 핵심이 되는 숙련된 의사소통 접근법의 개념적 모델을 개발했습니다. 이 모델은 전문적 성과를 모니터링하고 조절하는 넬슨과 나렌스(1990)의 이론적 모델에서 설명하는 순환 과정과 일치합니다.42, 45
Moreover, based on the identified themes, we developed a conceptual model of a skilled communication approach in which two parallel processes could be distilled and are key in the clinical encounter:

  • (1) being sensitive and adapting to the patient and
  • (2) self-awareness, learning ability and reflective capacity.

This model is concordant with the circular processes described by the theoretical model of Nelson and Narens (1990) of monitoring and regulating professional performance.42, 45

연구 질문에 비추어 볼 때, 의사 소통 행동은 임상적 만남의 필요에 민감하게 반응하고 의사소통을 조정함으로써 조절되며, 이는 환자 중심의 상담 결과에 도달하기 위해서는 의사 행동 적응성(PBA)이 필수적이라고 제안한 Carrard 등의 문헌에 의해 뒷받침됩니다. 의사가 환자의 선호도를 정확하게 해석하고 그에 따라 커뮤니케이션 행동을 조정할 수 있을 때 PBA가 달성됩니다.46 숙련된 커뮤니케이터는 임상 상담의 필요에 따라 다양한 커뮤니케이션 전략을 적응적으로 적용해야 한다는 점에서 PBA는 우리의 연구 결과를 반영합니다.46
In reflecting on our research question, communication behaviour is regulated through being sensitive and adapting communication to the needs of the clinical encounter, which is supported in literature by Carrard et al, who suggest that doctor behavioural adaptability (PBA) is essential to reach patient-centred consultation outcomes. PBA is achieved if the doctor is able to correctly interpret patients' preferences and adapt communication behaviour accordingly.46 PBA mirrors our findings in that a skilled communicator should apply different communication strategies adaptively in response to the needs of the clinical encounter.46

결과적으로 숙련된 커뮤니케이터는 임상 진료 중 의사소통 과정을 스스로 모니터링할 수 있어야 하며, 이는 두 번째로 확인된 병행 과정인 자기 인식, 학습 능력 및 반성적 역량과도 일치합니다. 의사는 의사소통 수행을 평가할 때 진료 중 내면의 생각과 감정을 모니터링하는 것이 필수적입니다.47 이 두 번째 과정과 일치하는 개념은 Hall과 Mast가 소개한 대인관계 정확성입니다.47 대인관계 정확성은 환자의 비언어적 및 단서에 민감하여 환자의 감정, 요구, 의도를 정확하게 인식하는 능력으로 설명됩니다.46, 47
Subsequently, a skilled communicator should also be able to self-monitor communication processes during the clinical encounter, which resonates with the second identified parallel process: self-awareness, learning ability and reflective capacity. Essential is that the doctor monitors internal thoughts and feelings during the encounter in evaluating communication performance.47 In line with this second process is the concept of interpersonal accuracy, introduced by Hall and Mast.47 Interpersonal accuracy is described as the ability to accurately perceive patients' feelings, needs, and intentions by being sensitive to patients' non-verbal and cues.46, 47

의료 교육에서 일상적 전문성적응적 전문성을 개발하는 것의 차이는 임상 상황에서 자기 인식, 학습 능력 및 성찰 능력을 병행 과정으로 파악하는 것으로 설명할 수 있습니다.48

  • 일상적 전문성을 보이는 의사는 익숙한 임상 상황에서 의사소통할 때는 능숙하지만, 미지의 예상치 못한 상황으로 자신의 성과를 이전하는 데 어려움을 겪을 수 있습니다.48-51 에릭슨의 전문성 습득 모델에서 볼 수 있듯이 이러한 의사소통은 안정되고 자동적이고 쉽게 실행되는 수준에 도달하게 됩니다.22 그 결과 의사소통이 환자의 요구에 유연하게 적응하지 못합니다.21, 48, 52
  • 반면 적응적 전문성을 보이는 의사는 모든 임상 상황에서 창의적이고 혁신적인 방식으로 의사소통 행동을 조정할 수 있습니다.22, 53 적응적 전문성에 도달하려면 의도적인 연습에 기반한 상황 학습이 핵심이며 성찰과 피드백이 개인 개발을 이끄는 수단이라고 Eraut는 지적합니다.20, 21, 48 

The differentiation between developing routine and adaptive expertise in medical training may explain identifying self-awareness, learning ability and reflective capacity as a parallel process in the clinical encounter.48 

  • Doctors demonstrating routine expertise are proficient when communicating in a familiar clinical situation but may have difficulties in transferring their performance to unknown and unexpected situations.48-51 As Ericsson's model of expertise acquisition shows, this communication will become stable and will reach a level of automaticity and effortless execution.22 This results in communication not becoming flexibly adapted to patient needs.214852 
  • In contrast, doctors demonstrating adaptive expertise are able to tailor their communication behaviour in a creative and innovative manner in every clinical situation.2253 To reach adaptive expertise, Eraut indicates that situated learning based on deliberate practice is key and reflection and feedback are vehicles to steer personal development.202148

의료 교육에서는 학습자가 자신의 학습 과정에 능동적으로 참여할 수 있도록 성과에 대한 자기 인식을 촉진하는 학습자 중심 접근법을 촉진하는 데 중점을 두어야 하며, 이를 통해 진료 현장에서 환자의 요구에 맞게 의사소통을 조정할 수 있고, 궁극적으로 개인의 발전을 촉진할 수 있습니다.9, 10, 16, 44, 53-55 그리고 이후 성찰과 정기적인 피드백을 통해 자신의 생각과 느낌을 모니터링합니다.20, 42 
In medical training, emphasis should be on facilitating a learner-centred approach to promote self-awareness of performance for learners to become actively involved in their own learning process, which enables them to adapt communication to patient needs in the encounter, and eventually fosters their personal development,9, 10, 16, 44, 53-55 and, subsequently, monitor their own thoughts and feelings by reflection and regular feedback.20, 42

학습은 실제 임상 환경에서 구성되며, 학습자는 이러한 환경이 학습자에게 영향을 미치기 때문에 이 환경에 적극적으로 영향을 미치는데, 이를 경험적 학습 '현장 학습'이라고도 합니다.20, 56 학습자의 필요와 학습 목표에 따라 학습자가 자신의 개인적인 의사소통 스타일(예: 진정성, 진정한 관심)을 개발하도록 안내하고 학습자의 개인적 발전을 촉진하려면 교육이 종적 지향적이며 적극적인 지원과 안내된 성찰을 제공하는 것이 필수적입니다.56-58
Learning is constructed from the authentic clinical setting, and learners actively influence this setting as this same setting influence learners, also known as experiential learning ‘learning on the job’.20, 56 To guide learners in their needs and learning goals to develop their own personal communication style (e.g. authentic, genuine interested), fostering the personal development of learners, it is essential that training is longitudinal oriented and provides active support and guided reflections.56-58

시사점
Implications

커뮤니케이션 교육 및 연구를 위한 권장 사항을 공식화할 수 있습니다. 이 개념적 모델은 숙련된 커뮤니케이션 학습을 위한 템플릿으로 사용할 수 있는 식별된 특성을 뒷받침합니다. 의사소통 훈련은 임상 현장에서 의사소통에 대한 반복적인 실험을 촉진하고 의사소통 수행에 대한 체계적인 성찰을 지원하여 숙련된 의사소통의 전문성을 확보할 수 있도록 해야 합니다. 이를 통해 학습자는 학습 목표를 설정하고 학습 활동을 계획하는 데 있어 학습 과정을 능동적으로 이끌어갈 수 있으며, 개인의 발전을 촉진할 수 있습니다.9, 16, 21, 47
Recommendations can be formulated for communication training and research. The conceptual model underpins the identified characteristics that may be used as a template for learning skilled communication. Communication training should facilitate repeated experimentation with communication in the clinical encounter and support systematic reflection on communication performance to attain expertise in skilled communication. This may enable learners to actively steer their learning processes in setting goals and planning learning activities, stimulating their personal development.9, 16, 21, 47

또한, 우리의 개념 모델은 숙련된 커뮤니케이션을 운영하며 학습자가 숙련된 커뮤니케이터가 되기 위해 개발해야 하는 두 가지 중요하고 순환적인 프로세스를 설명합니다. 교육은 학습을 평생의 연속체로 생각하고 학습자가 실제 임상 환경에서 접하는 경험에 의미를 부여할 수 있도록 학습자를 적극적으로 지원해야 합니다.20, 56, 57 향후 연구에서는 확인된 숙련된 의사소통 접근법이 임상 업무 환경 학습 중에 어떻게 최적으로 지원될 수 있는지 탐구해야 합니다.
Moreover, our conceptual model operationalises skilled communication and describes two overarching and circular processes learners need to develop to become skilled communicators. Training requires the need to actively support learners as learning is to be thought of as a lifelong continuum and help learners to make meaning of the experiences they encounter in the authentic clinical setting.20, 56, 57 Future research should explore how the identified skilled communication approach can be optimally supported during clinical workplace learning.

강점 및 한계
Strengths and limitations

이번 연구 결과는 강점과 한계를 고려하여 해석해야 합니다. 강점은 다음과 같습니다: 

  • (1) 상대적으로 많은 이해관계자 그룹이 다차원적 개념을 세분화하여 총체적인 복잡성을 파악하는 과정에서 광범위한 숙련된 의사소통 특성을 생성했다는 점,
  • (2) 다양한 참여 이해관계자(예: GP, GP 수련의, 교수진 및 연구자)가 있었다는 점,
  • (3) 다수의 NGT 세션이 식별된 특성의 일반화 가능성을 높였다는 점 등이 있습니다.

Our findings should be interpreted considering the strengths and limitations present. The strengths include:

  • (1) a relatively large group of stakeholders generated an extensive number of skilled communication characteristics during the process of breaking down a multidimensional concept to get to grips on its holistic complexity,
  • (2) the variety of participating stakeholders (i.e. GPs, GP trainees, faculty members and researchers) and
  • (3) multiple NGT sessions increasing the generalisability of the identified characteristics.

또한 한계도 알고 있습니다. 

  • 첫째, 코로나19 팬데믹으로 인해 세션이 전자 환경에서 진행되었기 때문에 직접 눈을 마주치지 않고 비언어적 제스처를 취하는 데 어려움이 있을 수 있습니다.54 그러나 NGT 방식은 구조화된 템플릿을 채택하고 진행자가 세션 중 모든 참가자를 개별적으로 초대하여 토론에 참여하도록 했습니다. 따라서 이러한 한계가 연구 결과에 영향을 미치지는 않았을 것으로 예상합니다.
  • 둘째, 우리는 본질적으로 복잡하고 다차원적인 개념을 매핑하려고 시도했고, NGT 방법은 풍부한 데이터를 생성했기 때문에 참가자들이 데이터를 개념적으로 심층적으로 탐색할 수 없었다는 점을 알고 있습니다.
  • 셋째, 이 연구의 초점은 앵글로색슨 국가의 의료 환경과 특히 GP 교육 프로그램에 맞춰져 있었습니다. 이러한 환경과 이에 대한 사람들의 인식은 국가마다 다를 수 있다는 점을 알고 있습니다. 반면, 네덜란드의 8개 GP 수련 기관 중 5개 기관의 참가자를 포함했기 때문에 연구가 수행된 환경이 강점이라고 생각합니다. 비슷한 교육 시스템과 역량 프레임워크를 고려할 때 본 연구 결과는 다른 앵글로색슨 국가의 의료 교육 및 의료 환경에 일반화할 수 있을 것으로 기대합니다.
  • 마지막으로, 본 연구는 의사-환자 커뮤니케이션 교육 영역에서 의료 전문가와 교육자의 관점을 규명하는 데 중점을 두었기 때문에 환자를 포함하지 않은 것은 본 연구의 한계로 볼 수 있습니다.

We are also aware of limitations.

  • First, due to the COVID-19 pandemic, the sessions were held in an electronic environment, which can be a challenge due to, for example, the absence of direct eye contact and non-verbal gestures.54 However, the NGT method adopts a structured template and the moderators invited all participants individually to take part in the discussion during the sessions. Therefore, we expect that this limitation did not alter our findings.
  • Second, we realise that we have tried to map a concept that is complex and multidimensional in nature, and the NGT method generated a richness of data, which does not enable participants to explore the data in-depth conceptually.
  • Third, the focus of this study was on health care settings of Anglo-Saxon countries and on the GP training programme in particular. We are aware that the setting, and people's perceptions thereof, may differ across countries. On the other hand, we consider the setting in which the study was performed a strength as we included participants from five out of eight GP training institutes in the Netherlands. We expect the outcomes of our study to be generalisable to medical training and health care settings in other Anglo-Saxon countries, given comparable educational systems and their competency frameworks.
  • Finally, not including patients can be seen as a limitation of this study as we decided to exclude patients as our focus is on elucidating the perspectives of health care professionals and educators within the domain of training doctor–patient communication.

결론
Conclusion

이번 연구 결과는 숙련된 커뮤니케이터의 특성을 밝히고 숙련된 커뮤니케이션 접근 방식을 개념화했으며, 이는 개념적 모델에 요약되어 있습니다. 임상 현장에서 숙련된 의사소통의 전문성을 갖추기 위해서는 (1) 환자에 대한 민감성과 적응력, (2) 자기 인식, 학습 능력, 반성적 역량이라는 두 가지 과정이 병행되어야 합니다. 전문성을 갖추기 위해서는 환자의 요구와 목표에 맞게 커뮤니케이션을 조정하고 임상 진료 중 커뮤니케이션 과정을 지속적으로 모니터링하는 방법을 배우는 것이 상호 의존적입니다. 개념 모델에 제시된 식별된 특성은 의사가 숙련된 커뮤니케이터가 될 수 있도록 지원하는 학습자 중심 접근법을 개발하는 데 도움이 될 수 있으며, 이는 의료 교육에서 직장 학습을 하는 동안에도 마찬가지입니다. 이는 교육에서 학습자의 학습 과정을 적극적이고 종적으로 안내하여 개인 개발을 촉진할 필요가 있음을 의미합니다.
Our findings elucidate characteristics of a skilled communicator and conceptualise a skilled communication approach, which is outlined in a conceptual model. Two parallel processes are essential to attain expertise in skilled communication in the clinical encounter: (1) being sensitive and adapting to the patient and (2) self-awareness, learning ability and reflective capacity. To attain expertise, learning to adapt communication to patients' needs and goals and continuously monitor communication processes during the clinical encounter are interdependent. The identified characteristics laid out in the conceptual model may inform the development of a learner-centred approach in supporting doctors to become skilled communicators, during workplace learning in medical training. For training, this implies the need to actively and longitudinally guide learners in their learning processes to facilitate personal development.

 

 


 

Med Educ. 2023 May;57(5):418-429. doi: 10.1111/medu.14953. Epub 2022 Oct 26.

Identifying characteristics of a skilled communicator in the clinical encounter

Affiliations collapse

1Department of Family Medicine, Care and Public Health Research Institute (CAPHRI), Maastricht University, Maastricht, The Netherlands.

2Department of Educational Development and Research, School of Health Professions Educations (SHE), Maastricht University, Maastricht, The Netherlands.

3Skillslab, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.

4Department of Family Medicine, School for Public Health and Primary Care, Faculty of Health Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.

PMID: 36223270

DOI: 10.1111/medu.14953

Abstract

Background: In medical communication research, there has been a shift from 'communication skills' towards 'skilled communication', the latter implying the development of flexibility and creativity to tailor communication to authentic clinical situations. However, a lack of consensus currently exists what skilled communication entails. This study therefore aims to identify characteristics of a skilled communicator, hereby contributing to theory building in communication research and informing medical training.

Method: In 2020, six nominal group technique (NGT) sessions were conducted in the context of the general practitioner (GP) training programme engaging 34 stakeholders (i.e. GPs, GP residents, faculty members and researchers) based on their experience and expertise in doctor-patient communication. Participants in each NGT session rank-ordered a 'Top 7' of characteristics of a skilled communicator. The output of the NGT sessions was analysed using mixed methods, including descriptive statistics and thematic content analysis during an iterative process.

Results: Rankings of the six sessions consisted of 191 items in total, which were organised into 41 clusters. Thematic content analysis of the identified 41 clusters revealed nine themes describing characteristics of a skilled communicator: (A) being sensitive and adapting to the patient; (B) being proficient in applying interpersonal communication; (C) self-awareness, learning ability and reflective capacity; (D) being genuinely interested; (E) being proficient in applying patient-centred communication; (F) goal-oriented communication; (G) being authentic; (H) active listening; and (I) collaborating with the patient.

Conclusions: We conceptualise a skilled communication approach based on the identified characteristics in the present study to support learning in medical training. In a conceptual model, two parallel processes are key in developing adaptive expertise in communication: (1) being sensitive and adapting communication to the patient and (2) monitoring communication performance in terms of self-awareness and reflective capacity. The identified characteristics and the conceptual model provide a base to develop a learner-centred programme, facilitating repeated practice and reflection. Further research should investigate how learners can be optimally supported in becoming skilled communicators during workplace learning.

가능성과 불가피성: AI-관련 임상역량의 격차와 그것을 채울 필요성(Med Sci Educ. 2021)
The Potential and the Imperative: the Gap in AI‑Related Clinical Competencies and the Need to Close It
Kim V. Garvey1 · Kelly Jean Thomas Craig2 · Regina G. Russell3 · Laurie Novak4 · Don Moore5 · Anita M. Preininger6 · Gretchen P. Jackson2,6 · Bonnie M. Miller7 

 

 

우리 삶에서 인공지능(AI)의 존재감이 커지면서 인간 상호 작용과 능력에 대한 이해가 활발히 변화하고 있습니다. AI가 강화된 디바이스의 도움으로 생활하고 일하는 방식은 우리가 세상을 경험하는 방식, 환경을 처리하고 상품을 소비하는 방식, 심지어 국가가 국가 안보 프로토콜과 지정학적 경계를 설정하는 방식까지 바꾸고 있습니다[1, 2].  
The growing presence of artificial intelligence (AI) in our lives is actively transforming our understanding of human interaction and capability. Living and working with the aid of AI-enhanced devices are altering the way we experience our worlds, the way we process environments and consume goods, and even the way countries establish their national security protocols and geo-political boundaries [1, 2]. 

의료 분야에서는 전문가마다 AI를 구성하는 요소에 대해 의견이 다를 수 있습니다. 명확하게 하기 위해 우리는 AI를 의료진과 환자의 임상적 결정, 행동, 환경을 보강하기 위한 기술로 정의합니다. 이러한 기술은 예측 분석, 머신 러닝(ML), 자연어 처리(NLP) 등의 계산 수단을 통해 구현되며, 전자 의료 기록, 로봇과 같은 신기술 또는 개인 디바이스에서 구현될 수 있습니다. 예를 들면 위험 점수, 챗봇, 이미지 분석 등이 있습니다.  
Within healthcare, experts may differ as to what constitutes AI. For purposes of clarity, we define AI as technologies that are intended to augment the clinical decisions, actions, and environments of healthcare workers and patients. These technologies are enabled by computational means such as predictive analytics, machine learning (ML), and natural language processing (NLP), and could be implemented in electronic health records, in new technologies such as robots, or in personal devices. Examples include risk scoring, chatbots, and image analysis. 

특정 형태의 의료 AI는 수십 년 동안 사용되어 왔으며, 전문가 시스템 및 임상 의사 결정 지원 도구와 같은 애플리케이션은 1970년대 초에 개발되었습니다. [3, 4] 최근에는 정보 및 컴퓨팅 기술의 발전과 함께 대규모 데이터 및 컴퓨팅 리소스에 대한 액세스가 가능해지면서 혁신적인 잠재력을 지닌 강력한 세대의 AI를 개발할 수 있게 되었습니다. 토폴은 포괄적인 리뷰를 통해 이러한 차세대 AI 도구가 다양한 전문 분야에 걸쳐 환자, 의료 시스템, 임상의에게 어떤 영향을 미칠지 개괄적으로 설명했습니다[5]. 요컨대, 임상의는 자동화 및 로봇공학의 증가, ML 및 NLP에 대한 의존도 증가, 의료 IT 시스템, 개별 환자 및 인구집단에서 도출된 AI 인사이트의 통합을 포함하는 미래를 예상해야 합니다.  
Certain forms of healthcare AI have been employed for decades; applications such as expert systems and clinical decision support tools were developed as early as the 1970s. [3, 4] More recently, advances in information and computing technologies, together with access to large-scale data and computational resources, have enabled the development of a powerful generation of AI forms with transformative potential. In his comprehensive review, Topol outlined the ways in which this new generation of AI tools will impact patients, health systems, and clinicians across a range of specialties [5]. In short, clinicians should anticipate a future that includes an increased presence of automation and robotics, more reliance on ML and NLP, and incorporation of AI-derived insights from health IT systems, individual patients, and populations. 

잠재력, 의무, 그리고 격차
The Potential, the Imperative, and the Gap

의료 실무에서 AI 사용이 증가함에 따라 교육자, 의료 시스템 및 전문 조직은

  • (1) 안전하고 환자 중심적인 사용에 필요한 역량 범위를 정의하고
  • (2) 교육 연속체의 모든 단계에서 학습자를 위한 커리큘럼에 이러한 역량을 신중하게 통합해야 할 의무가 생겼습니다. 

The increasing use of AI in healthcare practice creates an imperative for educators, health systems, and professional organizations to

  • (1) define the range of competencies needed for safe and patient-centered use and
  • (2) thoughtfully integrate these into curricula for learners across all phases of the educational continuum.

이미 많은 저자들이 의료 전문직 학습자에게 AI 기반 세계에서 실습에 대해 교육하기 위한 구조화된 접근 방식을 요구했습니다[6,7,8,9,10,11].

  • 체계적 문헌고찰에서 Sapci와 Sapci는 의학교육자들이 AI 기술의 교육적 함의를 비판적으로 검토하기 시작했음을 보여주었습니다[9].
  • Paranjape는 의료 전문직 학습자를 위해 시행된 다양한 이니셔티브를 설명하고 의학교육 연속체 전반에 걸쳐 프로그램에 포함되어야 하는 주제에 대한 권장 사항을 제시했습니다[12].
  • James와 다른 사람들은 조정된 학습 접근법의 부재에 대한 우려를 공유하며 근거 기반 의학 커리큘럼을 모방할 모델로 사용할 것을 제안했습니다[13].
  • 또한 윌저는 조직 리더가 이러한 신기술의 가능성과 위험성을 완전히 이해하고 새로운 평가 및 감독 역량을 개발하여 기술을 현명하게 도입하고 신중하게 모니터링할 수 있도록 해야 한다고 강조했습니다[14]. 

Numerous authors have already called for a structured approach to educating health professions learners about practicing in an AI-powered world [6,7,8,9,10,11]. In their systematic review, Sapci and Sapci showed that medical educators have begun to critically examine the educational implications of AI technologies [9]. Paranjape described a variety of initiatives that have been implemented for health professions learners and offered recommendations for topics that should be included in programs across the medical education continuum [12]. James and others shared concerns about the lack of coordinated learning approaches and suggested using evidence-based medicine curricula as a model to emulate [13]. In addition, Wiljer emphasized the need for organizational leaders to fully understand both the promise and the peril of these emerging technologies and to develop new evaluative and oversight capabilities so that technologies can be wisely introduced and carefully monitored [14].

6. Hodges BD. Ones and zeros: medical education and theory in the age of intelligent machines. Med Educ. 2020;54(8):691–3. https:// doi. org/ 10. 1111/ medu. 14149. 
7. Masters K. Artificial intelligence in medical education. Med Teach. 2019;41(9):976–80. https:// doi. org/ 10. 1080/ 01421 59X. 2019. 15955 57.
8. Wartman S, Combs D. Medical Education must move from the information age to the age of artificial intelligence Acad Med 2018;93(8):1107-1109. https:// doi. org/ 10. 1097/ ACM. 00000 00000 002044
9. Sapci AH, Sapci HA. Artificial intelligence education and tools for medical and health informatics students: systematic review. JMIR Med Educ. 30 Jun 2020;6(1):e19285. https:// doi. org/ 10. 2196/ 19285
10. Alrassi J, Katsufrakis PJ, Chandran L. Technology can augment, but not replace, critical human skills needed for patient care. Acad Med. 2021;96(1):37–43. https:// doi. org/ 10. 1097/ ACM. 00000 00000 003733.
11. Harish V, Morgado F, Stern AD, Das S. Artificial intelligence and clinical decision making: the new nature of medical uncertainty. Acad Med. 2021;96(1):31–6. https:// doi. org/ 10. 1097/ ACM. 00000 00000 003707.
12. Paranjape K, Schinkel M, Nannan Panday R, Car J, Nanayakkara P. Introducing artificial intelligence training in medical education. JMIR Med Educ. 3 Dec 2019;5(2):e16048. https://d oi. org/10. 2196/ 16048
13. James CA, Wheelock KM, Woolliscroft JO. Machine learning: the next paradigm shift in medical education. Acad Med. 2021;96(7):954–7. https:// doi. org/ 10. 1097/ ACM. 00000 00000 003943.

사고 리더들에게는 분명 시급하지만, 실제 실무 환경에서는 체계적인 학습 접근법의 필요성이 쉽게 드러나지 않을 수 있는데, 이는 부분적으로는 우리 생활에 스마트 기기가 어디에나 존재하고 이러한 시스템이 어떻게 작동하는지에 대한 이해가 거의 없음에도 불구하고 이러한 시스템에 참여하는 위험한 경향이 있기 때문입니다. 예를 들어, 자동차는 본질적으로 바퀴 달린 복잡한 컴퓨터로, 대부분의 주말 수리공이 이해할 수 있는 수준을 훨씬 뛰어넘지만 우리는 운전을 합니다. 우리는 사회적 규범이나 규제 환경에 대한 암묵적 신뢰 때문에 난해한 기술을 무비판적으로 받아들이는 데 익숙해져 있습니다. 
While undeniably urgent to thought leaders, the need for a systematic learning approach may not be as readily apparent in actual practice settings, in part because of the ubiquitous presence of smart devices in our lives and the perilous tendency to engage with these systems despite little understanding of how they work. For example, our cars are essentially complex computers on wheels, well beyond the comprehension of most weekend tinkerers, and yet we drive. We have become accustomed to uncritical acceptance of arcane technologies, perhaps because of social norms or tacit trust in a regulatory environment.

이러한 무비판적 수용 경향은 의료 환경으로 옮겨질 경우 위험할 수 있습니다.

  • 우선, AI 도구와 같은 복잡한 시스템이 기존의 복잡한 의료 시스템에 도입되고 있는데, 각 시스템이 서로 다르기 때문에 의도하지 않은 결과가 발생할 가능성이 높아집니다.
  • 또한 특정 AI 도구에 대한 암묵적인 신뢰는 시기상조일 수 있습니다. 미국 식품의약국(FDA)은 거의 모든 새로운 의료 기기에 대해 엄격한 승인 절차를 거치지만, 의료 기기로서의 AI/ML 기반 소프트웨어는 아직 공식화 중인 다른 위험 등급별 규제 프로세스를 필요로 합니다[15].
  • 마지막으로, AI는 이전 세대의 의료 기술과는 다른 특징을 가지고 있습니다. AI는 인간과 유사한 지능을 제공하도록 설계될 수 있기 때문에 도구라기보다는 사고의 동반자로 여겨지며, 따라서 헌신적이고 지속적인 훈련의 필요성이 훨씬 덜 분명해집니다. 

This tendency towards uncritical adoption could be dangerous if transferred into healthcare settings.

  • For one, complex systems, such as AI tools, are being introduced into the enormous pre-existing complexity of healthcare systems, each one different from the others, increasing the potential for idiosyncratic unintended consequences.
  • In addition, tacit trust in any specific AI tool may be premature. Although the US Food & Drug Administration puts nearly all new medical devices through a rigorous approval process, AI/ML-based Software as a Medical Device will require a different set of risk-stratified regulatory processes that are still being formulated [15].
  • Finally, AI presents differently than prior generations of healthcare technologies. Because it can be designed to offer human-like intelligence, AI appears to be less of a tool and more of a thinking companion, making the need for dedicated and ongoing training even less apparent.

이러한 우려의 맥락에서, 저희는 임상 환경에서 AI를 사용하는 데 필요한 의료진의 역량에 관한 출판된 연구를 확인하기 위해 범위 검토를 실시했습니다. 2009년 1월 1일부터 2020년 5월 1일 사이에 MEDLINE, CINAHL, Cochrane Library 데이터베이스에서 발표된 문헌은 의료 전문가(예: 의료, 간호, 약학) 및 모든 교육 단계에서의 전문성 개발, 모든 임상 진료 환경에서의 AI 기반 도구, 전문 교육 역량 영역 또는 성과 측정(예: 의학전문대학원교육인증위원회[ACGME] 핵심 역량) 관련 용어 검색 쿼리를 사용하여 선별되었습니다. 영어, 사람을 대상으로 한 연구, 초록 유무, 미국(미국) 환경에 대한 제한이 있었습니다. 
In the context of these concerns, we conducted a scoping review to identify published research on provider competencies needed for use of AI in clinical settings. Literature published between January 1, 2009, and May 1, 2020, from MEDLINE, CINAHL, and the Cochrane Library databases was curated using search queries for terms related to healthcare professionals (e.g., medical, nursing, and pharmacy) and their professional development in all phases of education; AI-based tools in all settings of clinical practice; and professional education competency domains or performance measures (e.g., Accreditation Council for Graduate Medical Education [ACGME] core competencies). Limits were provided for English language, studies in humans, presence of abstracts, and United States (US) settings.

문헌 검색 결과 3,476건의 고유 인용이 이루어졌으며, 이 중 109건의 논문이 전체 텍스트 심사 대상에 포함되었습니다. 전체 텍스트 심사 결과, 새로운 AI 시스템을 구현할 때 입증된 임상의 역량에 대해 보고한 연구는 4편에 불과했습니다.[16,17,18,19] 관찰된 역량은 ACGME 환자 치료 및 대인관계 및 의사소통 기술 영역에 속했습니다[20]. 이들 논문 중 임상의가 필요로 할 수 있는 새로운 AI 관련 역량을 설명한 논문은 없었으며, 구현 전 교육에 대해 언급한 논문은 단 한 편에 불과했습니다. 임상의가 개입의 성격, 개발 방법, 기존 워크플로우에 어떻게 통합해야 하는지에 대해 설명한 연구는 하나도 없었습니다. 검토를 위해 처음에 확인된 연구의 양은 의료 분야에서 AI의 성장에 대한 예측을 확인시켜 주며, 새롭거나 향상된 전문 역량을 설명하는 기사의 부족은 효과적인 사용에 필요한 역량에 대한 지식의 현재 격차에 대한 우려를 확인시켜 줍니다.  
Literature searches yielded 3,476 unique citations, of which 109 articles were eligible for full-text screening. Upon full-text screening, only four studies reported on clinician competencies demonstrated in implementing the new AI systems.[16,17,18,19] The observed competencies fell within the ACGME Patient Care and Interpersonal and Communication Skills domains [20]. None of these articles described any new AI-specific competencies clinicians might need and only one mentioned any form of pre-implementation training. None of the studies indicated what clinicians were told about the nature of the interventions, how they were developed, or how they should be incorporated into pre-existing workflows. The volume of studies initially identified for review confirms predictions about the growth of AI in healthcare, and the paucity of articles describing new or enhanced professional competencies affirms concerns about the current gap in knowledge about the competencies required for their effective use.

주의 사례
Cautionary Tales

필요한 역량을 부여하기 위한 체계적인 접근 방식 없이 새로운 기술을 도입할 때 발생할 수 있는 피해를 보여주는 임상 의학의 몇 가지 역사적 사례를 소개합니다. 이러한 시나리오는 AI 도구의 사용과 직관적으로 유사하지는 않지만 일반화할 수 있는 시사점을 담고 있습니다.
We offer several historical examples from clinical medicine that illustrate the harm that can result when new technologies are introduced without structured approaches to imparting the required competencies. While not intuitively analogous to the use of AI tools, these scenarios have generalizable implications.

전기 수술
Electrosurgery

한 세기가 넘는 기간 동안 외과의들은 수술 중 출혈을 보다 신속하고 완벽하게 제어하기 위해 전기 수술 장치를 사용해 왔습니다. 수련 중인 외과의사들은 일상적인 상황에서 이러한 기기를 사용하는 방법을 보편적으로 배웠지만, 기기의 기본 물리학이나 비정상적이거나 예상치 못한 상황이 발생할 때 발생할 수 있는 위험을 설명하는 공식적인 커리큘럼은 없었습니다. 디바이스 제조업체는 적절한 사용법을 설명하는 정보를 제공했지만, 이러한 리소스에 대한 접근이 거의 이루어지지 않았고 다양한 환경과 디바이스가 사용되는 전체 시스템의 복잡성을 고려하지 않았습니다. 이로 인한 지식 부족은 20세기 후반까지 심각한 환자 화상과 심지어 수술실 화재의 원인이 되었습니다[21]. 2012년 말, 미국 위장관 내시경 외과의사 협회(SAGES)-수술 에너지의 기본적 사용(FUSE) 위원회는 "외과의사들이 수술 시 에너지의 안전한 사용에 대해 무엇을 모르는지 모른다"고 말했습니다[22].
For over a century, surgeons have used electrosurgical devices to more rapidly and completely control intra-operative bleeding. While surgeons-in-training universally learned how to use these devices in routine situations, there were no formal curricula that explained the basic physics of the devices, or the risks that can emerge when unusual or unexpected circumstances arise. Device manufacturers provided information describing appropriate use, but these resources were rarely accessed and did not account for the variety of environments and the complexity of the overall systems in which these devices were employed. The resulting knowledge deficit contributed to serious patient burns and even operating room fires well into the latter decades of the twentieth century [21]. As late as 2012, the Society of American Gastrointestinal Endoscopic Surgeons (SAGES)-Fundamental Use of Surgical Energy (FUSE) Committee stated that “surgeons don’t know what they don’t know about the safe use of energy in surgery” [22].

복강경 담낭 절제술
Laparoscopic Cholecystectomy

복강경 담낭절제술은 1980년대 후반에 일반 외과계에 도입되었으며, 환자 선호도가 높았기 때문에 대규모 연구를 통해 결과와 위험성이 결정되고 새로운 기술에 대한 최적의 교육 과정이 개발되기 전에 빠르게 자리를 잡았습니다. 경험이 축적되면서 일반적인 담관 손상이 크게 증가하는 것으로 나타났습니다. 이 심각한 합병증의 위험은 상대적으로 낮았지만 미국에서만 매년 약 75만 건의 담낭절제술이 시행되었지만 절대적인 영향은 놀라웠고, 결국 외과계는 포괄적인 교육과 지속적인 절차 개선의 필요성을 인식하게 되었습니다[23]. 
Laparoscopic cholecystectomy was introduced to the general surgery community in the late 1980s, and because of strong patient preference, the procedure rapidly took hold before large-scale studies determined outcomes and risks, and before optimal training processes for the new technical skills were developed. As experience accumulated, a significant increase in common bile duct injuries was noted. Even though the risk of this serious complication remained relatively low, with nearly 750,000 cholecystectomies performed annually in the US alone, the absolute impact was alarming, and the surgical community eventually recognized the need for comprehensive training and ongoing refinement of the procedure [23].

소화성 궤양 질환
Peptic Ulcer Disease

1984년 워렌과 마샬은 소화성 궤양이 위산 분비의 일차적 변화가 아니라 헬리코박터 파일로리(H. pylori) 박테리아에 의해 발생한다는 강력한 증거를 제시했습니다[24]. 그럼에도 불구하고 임상의들이 치료용 항생제 치료를 일관되게 권장하기까지 거의 20년이 지났지만, 이를 뒷받침하는 연구가 증가하고 수많은 가이드라인과 권고안이 발표되었습니다[25]. 임상의들은 질병 개념의 근본적인 변화를 정당화하기 위해 추가적인 증거가 필요하다고 주장하는 것은 당연한 일이었지만, 이러한 장기간의 지연은 정서적 역량에 대한 보다 일반적인 결핍을 반영하는 것이기도 했습니다. 새로운 질병 패러다임은 의사의 자율성, 신념, 진료 습관, 전문 분야 문화, 경우에 따라서는 금전적 이해관계 등 새로운 기술의 도입을 방해할 수 있는 모든 강력한 태도적 요인에 도전했습니다. 그 결과 많은 환자들이 예방 가능한 궤양 재발, 불필요한 수술 및 기타 합병증으로 인해 피해를 입었습니다.
In 1984, Warren and Marshall provided strong evidence that peptic ulcers are caused by the bacterium Helicobacter pylori (H. pylori) and not primary alterations in gastric acid secretion [24]. Nonetheless, nearly two decades passed before clinicians consistently recommended treatment with curative antibiotics, despite a growing body of supportive research and the publication of numerous guidelines and recommendations [25]. While clinicians were within reason to insist that additional evidence was needed to justify such a profound change in disease conceptualization, this prolonged delay also reflected a more general deficiency in affective competencies. The new disease paradigm challenged physician autonomy, beliefs, practice habits, specialty cultures, and, in some cases, financial interests, all strong attitudinal factors that can impede the adoption of new technologies. As a result, many patients suffered harm from preventable ulcer recurrences, unnecessary operations, and other complications.

AI 도구와 임상 기술은 서로 다른 것처럼 보일 수 있지만, 체계적인 분석과 훈련이 없는 상태에서 강력한 새 기능을 도입할 때의 위험은 비슷합니다. 또한 한 번에 한 명의 환자에게 부상이 발생하는 외과 수술과는 달리, AI 도구의 뛰어난 확장성은 위험의 복합화로 이어집니다[5, 26]. 
While AI tools and clinical technologies may seem dissimilar, the risks of introducing powerful new capabilities in the absence of systematic analysis and training are analogous. And as opposed to surgical operations where the injury occurs one patient at a time, the great scalability of AI tools also leads to the compounding of risk [5, 26].

전기 수술의 경우와 마찬가지로 임상의는 AI 도구를 사용하기 전에 해당 도구가 적절한 환자 집단에 의도한 목적에 맞게 구현되고 채택되었는지 확인하기 위해 AI 도구에 대해 "알아야 할 사항"을 파악해야 합니다[27]. 예를 들어, 만성 질환 결과를 개선하기 위해 개인 맞춤형 치료의 혜택을 받을 수 있는 환자를 예측하기 위해 미국에서 널리 사용되는 위험 점수 알고리즘은 체계적으로 흑인 환자에게 백인 환자보다 낮은 점수를 할당했습니다. 분석 결과, 이 도구는 질병의 중증도를 나타내는 지표로 의료비 지출을 사용했으며, 과거 비용을 통해 미래 비용을 예측할 수는 있었지만 구조적 불평등으로 인해 흑인 환자의 의료 서비스 이용률이 낮은 것은 고려하지 않았습니다. 그 결과, 흑인 환자들은 실제 질병 상태보다 낮은 비율로 만성 질환 관리 프로그램에 등록되었습니다[28].   
Just as in the case of electrosurgery, clinicians need to “know what they need to know” about AI tools before using them to ensure that they are being implemented and adopted for the intended purpose on an appropriate patient population [27]. For example, a risk scoring algorithm widely used in the US to predict which patients would benefit from personalized care to improve chronic illness outcomes systematically assigned Black patients lower scores than White patients. Analysis showed that the tool used healthcare expenditures as a proxy for severity of illness, and while past costs did predict future costs, the tool did not account for lower utilization of healthcare services by Black patients as the result of structural inequalities. Subsequently, Black patients were enrolled in these chronic disease management programs at lower rates than indicated by their actual disease status [28].

복강경 담낭 절제술의 경험과 유사하게, AI 기반 의사 결정 지원 시스템의 초기 경험은 이를 사용하는 의료 시스템이 비용, 구현 과제 및 한계를 완전히 인식하지 못할 경우 발생할 수 있는 잠재적 피해를 보여주었습니다[5, 29, 30]. 예를 들어, 유방조영술 판독을 위한 컴퓨터 보조 진단(CAD) 도구는 2000년대 초반에 환자, 인구, 의료 시스템에 대한 이점과 위험이 분석에 의해 입증되기 전에 빠르게 채택되었습니다. 이러한 분석 결과, CAD는 위양성 판독을 증가시키는 반면 특이도와 전반적인 진단 정확도는 감소시키는 것으로 밝혀졌습니다. 저자들은 환자의 불안, 불편, 피해에 대한 영향 외에도 추가 영상 검사 및 생검의 증가로 인해 연간 55만 달러(미화)의 초과 비용이 발생할 수 있다고 추정했습니다[31]. 최신 세대의 CAD 도구는 입력과 결과가 발생함에 따라 학습하고 적응할 수 있지만, 이점이 위험을 능가하는지 확인하기 위해서는 면밀한 모니터링이 여전히 필수적입니다[15, 27]. 
Similar to the experience with laparoscopic cholecystectomy, early experience with AI-based decision support systems demonstrated the potential harms that can result if health systems using them are not fully aware of the costs, implementation challenges, and limitations [5, 29, 30]. For example, computer-assisted diagnosis (CAD) tools for interpretation of mammography were quickly adopted in the early 2000s before analysis demonstrated their benefits and risks for patients, populations, and health systems. When such analysis was performed, CAD was found to increase false positive readings while decreasing specificity and overall diagnostic accuracy. In addition to the impact on patient anxiety, inconvenience and harm, the authors estimated that the increase in additional imaging studies and biopsies could lead to excess costs of $550,000 (US dollars) per year [31]. Newer generations of CAD tools have the ability to learn and adapt as inputs and outcomes accrue, but close monitoring remains essential to ensure that benefits outweigh the risks [15, 27].

헬리코박터 파일로리의 사례와 유사하게, 전문가들은 검증된 AI 도구의 도입이 늦어지면 환자, 임상의, 의료 시스템이 잠재적 혜택을 누리지 못할 것이라고 우려하고 있습니다. 이러한 주저는 기반 과학에 대한 유사한 회의론과 전문가의 자율성, 진료 패턴 및 재정적 영향에 대한 유사한 우려에서 비롯될 수 있습니다[32]. 
Similar to the experience with H. pylori, experts are concerned that slow adoption of validated AI tools will prevent patients, clinicians, and health systems from reaping their potential benefits. Hesitation may stem from similar skepticism about the underlying science and similar concerns about professional autonomy, practice patterns and financial impacts [32].

반성
Reflections

이러한 역사적 사례는 발생할 수 있는 문제의 유형뿐만 아니라 이를 해결하고 예방하는 데 있어 구조화된 학습 접근법의 가치를 조명합니다. 
These historical examples shed light not only on the types of problems that can arise but also on the value of structured learning approaches in addressing and preventing them.

복강경 담낭절제술의 경우 담관 손상 위험은 집도의의 경험과 관련이 있다는 연구 결과가 발표되었습니다. 이에 따라 SAGES의 지도자들은 전문가 위원회를 구성하여 복강경 수술 접근법의 안전한 사용에 필요한 역량을 포괄하는 포괄적인 교육 프로그램을 개발하도록 했습니다. 복강경 수술의 기초(FLS) 위원회는 처음에 내용을 정의하고, 더 광범위한 SAGES 커뮤니티 내에서 검토한 다음, 커리큘럼을 만들기 위해 내용을 다듬었습니다. 심리측정학자들은 지식과 기술을 모두 포괄하는 시험을 설계하고 평가하는 데 도움을 주었으며, FLS 커리큘럼과 시험은 이제 미국 외과학회의 인증에 필수입니다[33]. 시술에 대한 이해도가 높아지고 새로운 역량을 심어주는 공식적인 교육 접근 방식이 도입되면서 담관 손상 발생률이 감소했지만, 기존의 개복 시술에서 볼 수 있는 낮은 수준까지는 아니며, 이는 위험의 일부가 경험 이외의 요인에 기인한다는 것을 의미합니다[23]. 이제 환자들은 동의 절차의 일부로 이러한 위험에 대해 일상적으로 고지받지만, 빠른 회복, 통증 감소, 입원 기간 단축으로 인해 이점이 위험보다 훨씬 더 큽니다. 
In the case of laparoscopic cholecystectomy, studies demonstrated that risk of bile duct injury was associated with a surgeon’s experience. In response, the leaders of SAGES assembled an expert committee and charged it with developing a comprehensive educational program covering the competencies needed for the safe use of laparoscopic surgical approaches. The Fundamentals of Laparoscopic Surgery (FLS) committee initially defined the content, vetted it within the broader SAGES community, and then refined it to create the curriculum. Psychometricians helped design and evaluate an examination covering both knowledge and technical skills, and the FLS curriculum and examination are now required for certification by the American Board of Surgery [33]. With better understanding of the procedure and formal training approaches that instilled the new competencies, the incidence of bile duct injuries has diminished, although not to the lower levels seen with traditional open procedures, meaning that some part of the risk is attributable to factors other than experience [23]. Patients are now routinely informed of this risk as part of the consent process, but because of the rapid recovery, diminished pain, and shorter hospitalization, the benefits far outweigh the risk.

마찬가지로 전기 수술 사용에 대한 부적절한 교육으로 인한 피해를 해결하기 위해 SAGES는 외과 의사, 마취과 의사, 간호사, 엔지니어로 구성된 다분야 전문가 그룹을 구성하여 전기 수술 기기의 안전한 사용을 위한 역량을 정의했습니다. 초기 역량 목록은 SAGES의 리더들이 검토했으며, 심리측정 전문가들이 타당하고 신뢰할 수 있는 시험 개발을 도왔습니다. 그 결과, 사용자가 다양한 실제 조건에서 전기수술 기기를 안전하게 작동하는 데 필요한 지식과 기술을 갖출 수 있도록 하는 수술 에너지의 기본적 사용(FUSE) 커리큘럼이 개발되었습니다[34]. 
Similarly, to address the harms resulting from inadequate training in the use of electrosurgery, SAGES assembled a multidisciplinary group of surgeons, anesthesiologists, nurses, and engineers, who defined the competencies for safe use of electrosurgical devices. The initial list of competencies was reviewed by the leaders of SAGES and psychometricians helped develop a valid and reliable examination. The resulting Fundamental Use of Surgical Energy (FUSE) curriculum ensures that users have the requisite knowledge and skills for safe operation of electrosurgical devices under a variety of real-world conditions [34].

인공지능 도구의 채택이 지연되는 기저에 있는 정서적(사회적, 문화적) 요인은 최적의 사용을 촉진하는 인지적, 기술적 요인보다 구조화된 커리큘럼으로 해결하기 어려울 수 있습니다. 헬리코박터 파일로리의 경우, 미국 질병통제예방센터와 국립보건원은 결국 환자뿐만 아니라 임상의를 대상으로 한 교육 및 마케팅 자료를 만들어 변화를 이끌어냈습니다[25]. 일반적으로 지식과 기술이 계속해서 빠른 속도로 성장하고 발전함에 따라 임상의는 진료 패턴을 위협하거나 방해할 수 있는 새로운 역량이 개발될 것이라는 사실을 자신의 직업적 정체성의 일부로 통합해야 하며, 심지어 정체성 자체의 측면까지도 통합해야 합니다. 과학적 회의론은 결코 사라져서는 안 되지만, 부정과 저항보다는 호기심과 학습으로 전환해야 합니다. 
The affective (social and cultural) factors underlying delayed adoption of Ai tools may be more difficult to address with structured curricula than the cognitive and technical factors that will promote optimal use. In the case of H. pylori, the US Centers for Disease Control and Prevention and the National Institutes of Health eventually created educational and marketing materials aimed at patients as well as clinicians to help bring about a shift [25]. In general, as knowledge and technology continue to grow and evolve at accelerated rates, clinicians should incorporate as part of their professional identity the fact that new capabilities will be developed over the course of their careers that might threaten or disrupt practice patterns and even aspects of that identity itself. While scientific skepticism should never go away, it should be channeled into curiosity and learning rather than denial and resistance.

향후 방향
Future Directions

모든 유형의 의료 전문가는 진화하는 AI-증강 기술과 임상 치료의 인터페이스 내에서 성공하기 위한 역량을 명확히 하고, 측정하고, 반복해야 하는 교육적 의무가 있습니다. 새로운 기술이 도입될 때와 마찬가지로, 이러한 역량은 임상의사에게나 가장 주니어 학습자에게나 똑같이 관련성이 있을 것입니다. 필요한 AI 기술 중 상당수는 사용 중인 개입에 따라 달라질 것이며, 도구가 도입됨에 따라 적시 교육이 필요할 것입니다. 그러나 한 가지 AI 도구나 지능형 지원 유형만을 사용하는 데 필요한 기술보다 훨씬 더 광범위한 역량에 대한 질문이 있으며[35], 모든 의료 전문가는 새로운 테크놀로지가 구현될 때 알아야 할 사항을 학습하기 위한 일반적인 접근 방식을 개발해야 합니다. 
Healthcare professionals of all types have the educational imperative to articulate, measure, and iterate competencies for thriving within this evolving interface of AI-augmented technology and clinical care. As is the case when any new class of technology is implemented, these competencies will be just as relevant to practicing clinicians as they will be to the most junior learners. Many of the required AI skills will be specific for the intervention being employed and will necessitate just-in-time training as tools are introduced. However, there are questions of competence much broader that the skills needed for use of any one AI tool or type of intelligent support alone [35], and all health professionals should develop a general approach for learning what they need to know about new technologies as they are being implemented.

임상 AI 도입에는 새로운 종류의 윤리적 문제가 수반되며, 임상의 역량 목록에는 이러한 문제를 예측하고 해결하기 위한 전략이 포함되어야 합니다. 예를 들어, 

  • 어떤 상황에서 환자가 의사 대신 AI 기반 로봇으로부터 진단을 받는 것이 적절할까요?
  • 사전 동의는 언제 필요하며 어떤 정보를 포함해야 할까요?
  • 기계 학습과 인간 학습 프로세스 간에 제한된 리소스를 어떻게 할당해야 하며, AI는 비용과 고급 인프라의 필요성 때문에 리소스가 풍부한 환경과 리소스가 부족한 환경 간의 격차를 확대할 것인가요?
  • AI 도구가 편향된 데이터 세트로부터 학습하도록 허용되어야 할까요?
  • 임상 데이터의 잠재적 편향성과 그에 따른 추천은 어떻게 평가하고 관리할 것인가?
  • 개인정보 보호의 필요성과 투명성의 필요성은 어떻게 균형을 이룰 수 있을까요? [5, 36].

A new class of ethical challenges accompanies the introduction of clinical AI and any list of clinician competencies should include strategies for anticipating and addressing them. For example,

  • in what circumstances will it be appropriate for a patient to receive a diagnosis from an AI-powered robot instead of a physician?
  • When will informed consent be necessary and what information should be included?
  • How should limited resources be allocated between machine learning and human learning processes, and will AI widen the gap between resource-rich and resource-poor settings because of its expense and the need for advanced infrastructure?
  • Should AI tools be permitted to learn from biased datasets?
  • How will potential biases in clinical data and resulting recommendations be evaluated and managed?
  • How will the need for privacy be balanced with the need for transparency? [536].

임상 환경에서 AI 사용을 연구하는 연구자가 [도구를 효과적으로 사용하는 데 필요한 교육], 특히 모든 연구 설계 및 보고서에서 [역량에 대해 설명하는 것]은 큰 이점을 창출할 수 있는 또 다른 간단한 단계입니다. 새로운 AI 도구의 구현 매트릭스에 전문 학습을 의도적으로 포함시키는 것은 도구 배포에서 최적의 결과를 달성하는 데 필수적입니다. 이는 보건 전문직 교육자와 이러한 도구를 개발, 테스트 및 구현하는 사람들 간의 새로운 파트너십을 의미합니다.
Another simple step that could generate great benefit would be for researchers who study the use of AI in clinical settings to describe the education necessary for effective use of the tool, specifically addressing competencies in all study designs and reports. Deliberately including professional learning in the implementation matrix for new AI tools will be essential for achieving optimal outcomes in their deployment. This will mean new partnerships between health professions educators and those who develop, test, and implement these tools.

AI 도구[30, 37] 사용을 위한 권장 전문 역량 개발의 필요성을 해결하기 위해, 우리는 보건 전문직 교육 및 AI 분야의 사고 리더들과 구조화된 인터뷰를 실시하여 시뮬레이션 및 실제 업무 환경 모두에서 테스트하고 개선할 수 있는 역량 프레임워크를 개발할 것입니다. 이러한 리더는 출판된 저술과 두 분야의 전문가 추천을 통해 선정됩니다. 이 프레임워크는 ACGME 핵심 역량 프레임워크에 기반할 수 있으며, 다음 등을 포함할 수 있습니다.

  • AI 유형에 대한 기본 지식,
  • 환자별 정보에 비추어 인구 기반 추정치를 변경하기 위해 베이지 정리를 사용하는 능력,
  • 환자와 동료에게 확률을 명확하게 전달하는 능력,
  • 특정 환경에 적합한 AI 도구를 결정하고 이에 액세스하는 방법,
  • 환자의 목표와 가치가 AI 기반 추천을 어떻게 수정해야 하는지 공감적으로 식별하는 능력 

이상적으로, 이러한 역량은 임상의와 임상 치료에 대한 연민, 인간성, 신뢰를 유지하거나 강화하는 [공유 의사결정 모델]에서 AI의 신중한 사용을 촉진해야 합니다[10, 38]. 그러나 이러한 이상을 달성하기 위해서는 의료 시스템과 개인 모두의 의도적인 노력이 필요합니다. 우연히 이루어지지 않을 것입니다. 
To help address the need for the development of recommended professional competencies for the use of AI tools [30, 37], we will conduct structured interviews with thought leaders in health professions education and in AI to develop a competency framework that subsequently can be tested and refined within both simulated and authentic workplace experiences. These leaders will be identified through their published writings and by recommendation of experts in both fields. The framework could be based on the ACGME core competency framework and might include

  • basic knowledge about the types of AI;
  • the use of Bayes’ theorem to alter population-based estimates in light of patient-specific information;
  • the ability to clearly communicate probabilities to patients and colleagues;
  • the ability to determine which AI tools are relevant in specific settings and then how to access them; and
  • the ability to empathically discern how patient goals and values should modify AI-driven recommendations.

Ideally, these competencies should promote the thoughtful use of AI in shared decision-making models that sustain or even enhance compassion, humanity, and trust in clinicians and clinical care [10, 38]. However, intentional effort on the part of both health systems and individuals will be required to achieve this ideal. It will not happen by chance.

궁극적으로 시스템적 사고, 비판적 사고, 실용적 지혜와 같은 [통합적 역량]이 AI 활용에 필요할 수 있습니다. 이러한 기술은 환자 중심의 인본주의적 치료의 기본이며 전문 임상의가 수년간의 교육과 감독을 통해 개발합니다. 한 사고 리더는 "AI는 인공적이지도, 지능적이지도 않으며"[39] 현명하거나 비판적인 사고 능력을 보여주지 않는다고 주장합니다. 판단력과 분별력은 여전히 인간에게서 나와야 합니다. 두려움과 대중의 통념과는 달리, AI는 인간의 사고를 대체할 가능성이 높지 않으며, 오히려 이를 보강하는 데 사용될 가능성이 높습니다. AI의 힘과 잠재력을 활용하려면 AI가 없을 때와 마찬가지로, 어쩌면 훨씬 더 잘 생각해야 할 것입니다. 그렇지 않으면 기계와 인간이 "함께 더 똑똑해지고 멍청해질 수 있다"는 노먼의 두려움이 현실화될 위험이 있습니다(그림 1 [40]).

Ultimately, there may be integrative competencies for the use of AI; for example, systems thinking, critical thinking, and practical wisdom. These skills are foundational to patient-centered, humanistic care and are developed by professional clinicians over years of training and supervised practice. One thought leader argues that “AI is neither artificial, nor intelligent”[39] and it certainly does not exhibit wise or critical thinking capacities. Judgement and discernment will still need to come from humans. Contrary to fears and popular mythology, AI is not likely to supplant human thinking, but more likely will be used to augment it. This will require that we think just as much—and perhaps much better—than we do without AI, if we are to reach its power and potential. If not, we run the risk of realizing Norman’s fear that machines and humans may become “smarter and dumber together” Fig. 1 [40].

 


Med Sci Educ. 2021 Sep 9;31(6):2055-2060. doi: 10.1007/s40670-021-01377-w. eCollection 2021 Dec.

The Potential and the Imperative: the Gap in AI-Related Clinical Competencies and the Need to Close It

Affiliations collapse

1Center for Advanced Mobile Healthcare Learning, Vanderbilt University Medical Center, Nashville, TN USA.

2AI Research and Evaluation, IBM Watson Health, Cambridge, MA USA.

3Office of Undergraduate Medical Education, Vanderbilt University School of Medicine, Nashville, TN USA.

4Center of Excellence in Applied Artificial Intelligence, Department of Bioinformatics, Vanderbilt University Medical Center, Nashville, TN USA.

5Vanderbilt University School of Medicine, Nashville, TN USA.

6IBM Watson Health, Cambridge, MA USA.

7Office of Health Sciences Education, Vanderbilt University Medical Center, 2525 West End Avenue, Office 1586, TN Nashville, USA.

PMID: 34956712

PMCID: PMC8651813

DOI: 10.1007/s40670-021-01377-w

Free PMC article

 

No abstract available

구름낀 푸른하늘: 의대생-전공의 이행에서의 지속적 긴장을 식별하고 미래의 이상적 상태 그리기(Acad Med, 2023)
Blue Skies With Clouds: Envisioning the Future Ideal State and Identifying Ongoing Tensions in the UME–GME Transition
Karen E. Hauer, MD, PhD, Pamela M. Williams, MD, Julie S. Byerley, MD, MPH,
Jennifer L. Swails, MD, and Michael A. Barone, MD, MPH

 

 

의학교육의 목적은 환자의 요구를 충족하고 점점 더 다양해지는 인구를 돌볼 수 있는 지식, 기술, 태도(역량)를 갖춘 의사를 양성하는 동시에 공익을 위해 봉사하는 의료계의 의무를 이행하는 것입니다. 1 의학교육은 또한 COVID-19 팬데믹과 조직적 인종차별을 포함하여 건강과 웰빙에 대한 현재의 도전에 맞설 준비가 된 강력한 인력을 확보하고 지원하기 위해 수련생과 의사의 웰빙에도 관심을 기울여야 합니다. 2,3 이러한 널리 지지되는 목표에도 불구하고 현재의 단계적 의사 수련 과정은 어려움을 겪고 있습니다. 4,5

  • 교육 연속체 전반에 걸쳐 조정이 제대로 이루어지지 않고,
  • 수련의 진도를 의료 요구에 맞추지 못하며,
  • 여러 이해관계자에게 스트레스를 유발하고,
  • 수련의와 교육자의 시간, 에너지, 자원을 과도하게 소비하는 

The purpose of medical education is to prepare physicians with the knowledge, skills, and attitudes (competencies) to meet patient needs and care for an increasingly diverse population while fulfilling the medical profession’s obligation to serve the public good. 1 Medical education also needs to attend to trainee and physician well-being to ensure and support a robust workforce prepared to confront current challenges to health and wellness, including the COVID-19 pandemic and systemic racism. 2,3 Despite these widely endorsed aims, the current stepwise process of physician training

  • suffers from poor coordination across the educational continuum;
  • fails to align trainee progression with health care needs;
  • creates stress for multiple stakeholders; and
  • consumes excessive trainee and educator time, energy, and resources. 4,5

이러한 단점을 보여주는 특별한 문제점은 의과 대학에서 레지던트로 전환하는 과정입니다

  • [학생]들은 의과대학 4학년이 되면 교육적, 개인적 가치를 인식하지만,6 이 시기에는 주로 지원 절차에 집중합니다. 자기소개서와 2차 지원서 작성, 방문 로테이션 완료, 인터뷰 예약, 프로그램 방문을 위한 여행 등이 포함된 이 과정은 많은 재정적, 시간적 비용이 발생하며 재정적 여유가 있는 학생에게 유리합니다. 7-9 이 과정은 또한 전환에 관련된 다른 사람들에게도 부담을 줍니다. 
  • [의과대학 교육자]들은 재학생 및 예비 학생, 동료, 인증기관 사이에서 학교에 대한 우호적인 인식을 조성하기 위한 지속적인 노력의 일환으로 학생들이 원하는 레지던트 자리를 확보할 수 있도록 경쟁합니다. 
  • 한편 [레지던트 프로그램 디렉터, 직원 및 교수진]은 학생들이 많은 수의 지원서를 제출하도록 장려하는 시스템의 맥락에서 지원자에 대한 비슷한 수준의 정보가 포함된 수백 개의 지원서를 접수하고 처리합니다. 10 
  • 이러한 과중한 업무량을 관리하기 위해 교육계 리더들은 자기소개서 타겟팅, 추천서 구조화, 면접 제한 등 다양한 솔루션을 제안했습니다. 11-14 이러한 솔루션은 미국 의대 및 정골과 학생, 교육자, 레지던트 프로그램 디렉터 및 직원뿐만 아니라 미국 레지던트 자리를 확보하는 데 더 큰 장애물을 경험하는 국제 의대 학생 및 교육자에게도 지원 절차를 완화할 수 있는 잠재력을 가지고 있습니다. 14,15 

그러나 의과대학에서 레지던트로의 전환을 개선하기 위한 공식적이고 대규모적인 노력은 없었습니다.

A particular pain point demonstrating these shortcomings is the transition from medical school to residency.

  • While students recognize educational and personal value to the fourth year of medical school, 6 they largely focus this time on the application process. The process, which involves writing personal statements and secondary applications, completing visiting rotations, securing interviews, and traveling to visit programs, incurs high financial and time costs and advantages students with more financial resources. 7–9 The process also strains others involved in the transition.
  • Medical school educators vie to ensure their students secure desired residency positions as part of their ongoing efforts to foster favorable perceptions of their school among current and prospective students, peers, and accreditors.
  • Meanwhile, residency program directors, staff, and faculty receive and process hundreds of applications containing similarly glowing information about candidates, in the context of a system that incentivizes students to submit high numbers of applications. 10 
  • To manage this overwhelming workload, education leaders have proposed various solutions, including targeting personal statements, structuring letters of recommendation, and limiting interviews. 11–14 These solutions hold potential to ease the application process not only for U.S. medical and osteopathic students, educators, and residency program directors and staff but also for students and educators from international medical schools, who experience even greater hurdles to securing U.S. residency positions. 14,15 

But there has been no formal, large-scale effort to improve the transition from medical school to residency.

학부 의학교육에서 대학원 의학교육 검토 위원회(UGRC)
Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC)

2020년에 발표된 USMLE 1단계 점수 보고가 합격/불합격 결과만으로 변경되면서 학부 의학교육(UME)에서 의학전문대학원(GME)으로의 전환을 학습자, 프로그램, 잠재적으로 의료계에 도움이 되는 방식으로 완화하고 개선하는 논의가 촉발되었습니다. 16,17 [교육 연속성을 개선하기 위해 노력하는 이해관계자들이 모여 수련의와 의사에 대한 감독, 교육, 평가에 중점을 두는 단체]의사 책임성 연합(CoPA)은 학부 의학교육-의학전문대학원 교육 검토위원회에 전환을 개선하기 위한 권고안을 작성하도록 의뢰했습니다. UGRC는 학습과 건강을 최적화하고 수련의가 공익을 위해 봉사할 수 있는 역량을 갖추도록 교육 연속성을 추구하는 데 이해관계자를 통합하는 것을 목표로, 비효율성과 이해관계자 간 이해관계가 상충하는 현재의 프로세스를 혁신하기 위해 대규모 변화 관리를 수반했습니다. 변화 관리에는 필요한 변화의 목적과 범위를 이해하여 다양한 이해관계자를 원하는 상태로 안내하는 강력한 비전을 만들어야 합니다. 18,19 
The change in USMLE Step 1 score reporting to a pass/fail outcome only, announced in 2020, catalyzed discussions about easing and improving the transition from undergraduate medical education (UME) to graduate medical education (GME) in ways that would benefit learners, programs, and potentially health care. 16,17 The Coalition for Physician Accountability (CoPA), an organization that convenes stakeholders committed to improving the educational continuum and focuses on oversight, education, and assessment of trainees and physicians, charged the Undergraduate Medical Education to Graduate Medical Education Review Committee with crafting recommendations to improve the transition. The charge to the UGRC entailed large-scale change management to transform the current process, which is characterized by recalcitrant inefficiencies and competing stakeholder interests, with the goal to unify stakeholders in pursuing an educational continuum that optimizes learning and wellness and equips trainees to serve the public good. Change management requires understanding the purpose and scope of needed change to create a powerful vision that guides diverse stakeholders toward a desired state. 18,19

[공유된 비전]을 달성하려면 쉬운 해결책이 없는 UME-GME 전환의 현재 긴장을 인정해야 합니다. 상호 연결된 모든 우려 사항을 충분히 해결하지 못한 채 해결책에 조기에 집중하는 것을 피하기 위해 UGRC는 긴장을 해결하기보다는 인정하는 접근 방식인 양극성 사고를 채택했습니다. 20 양극성 사고는 의학 교육에서 학습자 평가의 긴장을 고려하는 데 유용한 프레임을 제공합니다. 21 양극성 또는 긴장은 서로 다른 장단점을 가진 스펙트럼의 두 극을 나타냅니다. 이해관계자의 서로 다른 가치관은 서로 다른 극의 상대적 장점에 대한 견해를 형성합니다. 조직이 수용의 태도와 긴장을 관리하려는 목표를 가지고 시스템 설계에 접근하면 복잡한 문제를 성공적으로 해결할 수 있습니다. 따라서 이 글의 목적은

  • (1) UGRC가 구상하는 이상적인 상태를 제시하고
  • (2) 양극성 사고를 사용하여 관리가 필요한 이상적인 시스템의 긴장을 이해하는 것입니다.

Achieving a shared vision requires acknowledging current tensions in the UME–GME transition that defy easy solutions. To avoid a premature focus on solutions that insufficiently address all interconnected concerns, the UGRC employed polarity thinking, an approach that acknowledges rather than solves tensions. 20 Polarity thinking provides a useful frame to consider tensions in learner assessment in medical education. 21 Polarities, or tensions, represent 2 poles of a spectrum with different advantages and disadvantages. Stakeholders’ different values shape their views of relative merits of different poles. When organizations approach systems design with an attitude of acceptance and a goal of managing tensions, they are positioned to succeed in tackling complex problems. Thus, the purpose of this article is to

  • (1) present the ideal state envisioned by the UGRC and
  • (2) use polarity thinking to understand tensions in the ideal system that will require management.

UGRC 방법
UGRC Methods

[학부 및 대학원 의학교육자, 국내 및 국제 의학교육 기관 회원, 일반인 회원, 학생, 레지던트, 의학박사 학위 수여 학교 및 정골의학 학교 대표 등 30명]으로 구성된 UGRC 위원들은 이상적인 상태의 전환을 위해 노력했습니다. 이상적인 상태를 구상하기 위해 UGRC는 문헌, 데이터 및 이해관계자 경험을 검토하여 UME-GME 전환의 문제점을 특성화했습니다. 결과 기반 교육의 원칙을 준수하면서22 UGRC는 현재의 우려 사항과 원하는 결과 사이의 격차를 해소하는 비전을 명확히 하기 위해 백워드 디자인 프로세스에 참여했습니다. 23
The 30 members of the UGRC included undergraduate and graduate medical educators, national and international medical education organizational members, public members, students, and residents, with representatives of MD-granting and osteopathic schools. To envision the ideal state, the UGRC reviewed literature, data, and stakeholder experience to characterize problems in the UME–GME transition. Adhering to tenets of outcomes-based education, 22 the UGRC engaged in a backward design process to articulate a vision that addresses the gap between current concerns and desired outcomes. 23

UGRC는 UME-GME 전환이 학습자, 교육자, 대중 등 모든 이해관계자에게 최적의 결과를 가져다주는 이상적인 상태를 성과로 정의했습니다. 24 이 "푸른 하늘" 접근 방식은 혁신을 불러일으키고 복잡한 문제를 해결하는 데 적합합니다. 25 회원들이 현상 유지에서 벗어나 대담하게 생각할 수 있는 충분한 시간을 갖도록 하기 위해 UGRC는 2개월 동안 UME-GME 전환을 위한 이상적인 상태를 개념화하는 데 전념했습니다. UGRC는 레지던트 지원 단계에 맞춰 4개의 작업 그룹을 구성하여 매치의 거래적 측면이 아닌 이상적인 전환 시스템을 구상했으며, 전환의 다음과 같은 측면을 포함했습니다:

  • (1) 레지던트 준비도(예: 학생 진로 상담, 역량 평가), 
  • (2) UME 관점에서의 지원 및 선발 과정의 메커니즘(예: 학생과 학교의 지원 및 선발 경험)  
  • (3) GME 관점에서의 지원서 선발 과정의 메커니즘(예: 지원서 검토, 면접, 후보자 순위), 
  • (4) 매칭 후 최적화(예: 학습자의 의과대학에서 레지던트로의 전환 지원). 

The UGRC defined outcomes as an ideal state in which the UME–GME transition produces optimal results for all stakeholders: learners, educators, and the public. 24 This “blue-skies” approach invites innovation and is well suited to addressing complex problems. 25 To ensure that members had adequate time to think boldly outside the status quo, the UGRC devoted 2 months to conceptualizing an ideal state for the UME–GME transition. The UGRC charged 4 work groups aligned with residency application stages to envision an ideal transition system, rather than just the transactional aspects of the Match, including the following aspects of the transition:

  • (1) residency readiness (e.g., student career advising, assessing competence);
  • (2) the mechanics of the application and selection process from the UME perspective (e.g., student and school experience with applications, interviews);
  • (3) the mechanics of the application selection process from the GME perspective (e.g., application review, interviewing, candidate ranking); and
  • (4) post-Match optimization (e.g., supporting learner transition from medical school to residency).

4개의 작업 그룹은 각각 7~8명으로 구성되었으며, 학생 및 레지던트 교육자, 기관 대표, 학습자, 일반인이 각 작업 그룹에 고루 분포되어 있습니다. 모든 작업 그룹에서 이상적인 상태를 위한 통일된 동인은 웰빙, 공익, 다양성, 형평성, 포용성에 대한 약속이었습니다.
Each of the 4 work groups included 7 to 8 members with student and resident educators, organizational representatives, learners, and members of the public distributed throughout the work groups. Unifying drivers for the ideal state across work groups were commitments to well-being; public good; and diversity, equity, and inclusion.

먼저, 각 작업 그룹은 전환의 각 부분에 대한 이상적인 상태를 개념화했습니다. 전체 UGRC는 각 이상적인 상태를 검토하고 구체화하여 그룹 간의 차이를 분석했습니다. 그런 다음 작업 그룹 리더는 복합적인 이상적인 상태를 생성했습니다. 복합 이상 상태의 타당성을 구축하고 시스템 설계를 성공적으로 안내하고 원하는 결과를 달성할 가능성을 높이기 위해 UGRC는 2020년 12월에 이 작업에 관심이 있는 103개 조직을 대상으로 설문조사를 통해 관련 이해관계자의 의견을 구했습니다. 주로 의대생(n = 10), 레지던트/펠로우(n = 1), 레지던트 프로그램 디렉터(n = 15), 사무직 디렉터(n = 8), 의료 협회(n = 11), 주 의사회(n = 53), CoPA 회원 단체(n = 5) 등이 참여했습니다. 32개의 응답을 받아 주제별로 정리했으며, 확인된 주제는 추가 구성 요소를 호출하지 않고 복합적인 이상적 상태 내용을 강화했습니다. 이상적인 상태 특성화는 이후 현재 상태와 이상적인 상태 사이의 격차를 탐색하고 이상적인 상태 구성 요소에 매핑된 권장 사항을 생성하는 UGRC 작업을 안내했습니다. 
First, each work group conceptualized an ideal state for their portion of the transition. The entire UGRC vetted and refined each ideal state and analyzed discrepancies across groups. Work group leaders then generated a composite ideal state. To build validity of the composite ideal state and increase the likelihood that it will successfully guide system design and achieve desired outcomes, the UGRC sought relevant stakeholder input via a survey in December 2020 of 103 organizations interested in this work. These primarily represented medical students (n = 10), residents/fellows (n = 1), residency program directors (n = 15), clerkship directors (n = 8), medical associations (n = 11), state medical societies (n = 53), and CoPA member organizations (n = 5). We received 32 responses, which we organized thematically; the identified themes reinforced composite ideal state content without invoking additional components. The ideal state characterization subsequently guided UGRC work exploring gaps between current and ideal states and generating recommendations mapped to ideal state components.

이상적 상태의 특성
Characterization of the Ideal State

UGRC는 다음과 같은 핵심 가치에 중점을 둔 시스템으로 이상적인 상태를 구상했습니다(그림 1).

  • 학습의 연속성을 촉진하고,
  • 관련된 사람들의 복지를 지원하고,
  • 다양성을 증진하고,
  • 편견을 최소화하고,
  • 공익에 기여하고,
  • 신뢰할 수 있는 정보와 결과를 제공

The UGRC envisioned a blue-skies ideal state as a system centered upon core values that

  • facilitate the continuum of learning,
  • support the well-being of those involved,
  • promote diversity,
  • minimize bias,
  • serve the public good, and
  • yield trustworthy information and results (Figure 1).

이상적인 UME-GME 전환은 공평하고 효율적이며 투명합니다. 24 표 1은 이상적인 전환이 학습자의 성장, 근거에 기반한 전문과목 선택, 역량 달성 및 개인 건강을 어떻게 지원하는지에 대한 개요를 제공합니다.

  • 학습자는 개인의 강점과 학습 요구를 인식하고 직업적 정체성 형성을 최적화하는 방식으로 의과대학에서 적합한 레지던트 프로그램으로 진급합니다.
  • 이 시스템은 학습자, 교육자 및 적절한 경우 규제기관을 위해 의미 있는 정보를 생성하는 도구를 사용하여 신뢰할 수 있는 역량 문서를 제공합니다.
  • 이 시스템은 프로그램 디렉터와 후원 기관에 지속 가능한 학습자 중심 경험을 제공합니다.
  • 이상적인 시스템은 의학교육 및 의료 시스템의 변화에 유연하게 적응할 수 있으며 지속적으로 개선됩니다.
  • 재정, 교육, 환자 치료, 복지 등의 비용은 가치를 극대화하고 이해 상충을 인식하며 공익을 지원할 수 있는 적절한 규모로 책정되어야 합니다.
  • 학습자는 다양한 환자 집단에 서비스를 제공하고, 격차를 최소화하며, 형평성을 높여 의료의 사회적 사명과 공적 계약을 이행할 준비가 되어 있습니다.
  • 의학교육 및 의료 시스템이 인종차별과 유해한 편견의 영향을 최소화하기 위해 노력함에 따라, 다양성은 모든 전문 분야, 프로그램 및 지리적 영역에 걸쳐 존재하고 중요시됩니다.
  • 교수진, 학습자 및 시스템 구조는 성장 마인드를 키우는 포용적인 학습 환경을 조성합니다.
  • 의대생은 신뢰할 수 있고 수준 높은 조언을 통해 궁극적으로 자신의 커리어를 책임질 수 있는 역량을 갖추게 됩니다.

The ideal UME–GME transition is equitable, efficient, and transparent. 24Table 1 provides an overview of how the ideal transition supports learner growth, evidence-informed specialty selection, achievement of competence, and personal wellness.

  • Learners progress from medical school to well-suited residency programs in a manner that recognizes their individual strengths and learning needs and optimizes professional identity formation.
  • The system provides trustworthy documentation of competence using tools that generate meaningful information for learners, educators, and where appropriate, regulators.
  • The system provides a learner-centered experience sustainable for program directors and sponsoring institutions.
  • The ideal system is flexibly adaptable to changes in medical education and health care systems; it is continuously improved.
  • Costs—financial, educational, patient care, well-being—are right-sized to maximize value, recognize conflicts of interest, and support the public good.
  • Learners are prepared to serve diverse patient populations, minimize disparities, and elevate equity to fulfill medicine’s social mission and public contract.
  • Diversity is present and valued throughout all specialties, programs, and geographic areas as medical education and health care systems act to minimize effects of racism and harmful bias.
  • Faculty, learners, and system structure cultivate inclusive learning environments that foster a growth mindset.
  • Medical students, supported by reliable and high-quality advising, are ultimately empowered to take responsibility for their career progression.

 

이 푸른 하늘의 비전은 매칭 전, 매칭 중, 매칭 후의 UME-GME 전환에 관한 것입니다. 위원회는 다음의 것들이 이상적인 상태에서 어떻게 나타날지 상상했습니다(표 1).

  • 웰니스,
  • 전공 선택,
  • 학습자 선발,
  • 역량,
  • 연속성 및 핸드오프,
  • 테크놀로지,
  • 라이선스 및 자격 인증,
  • 생애 전환,
  • 레지던트 시작 및 레지던트 환경

이러한 열망적인 사고는 UGRC 회원들로 하여금 학습자(미국 의대 및 정골 의학 졸업생, 미국 시민권자 국제 의학 졸업생[IMG], 미국 외 IMG), UME 및 GME 교육자, 대중에게 혜택을 주기 위해 현재 생태계의 개선과 변화를 구상하게 만들었습니다. 
This blue-skies vision attends to the UME–GME transition before, during, and after the Match. The committee envisioned how wellness, specialty selection, learner selection, competence, continuum and handoff, technology, licensing and credentialing, life transition, residency launch, and residency environment would manifest in an ideal state (Table 1). This aspirational thinking propelled UGRC members to envision enhancements and changes to the current ecosystem to benefit learners (medical and osteopathic U.S medical graduates, U.S. citizen international medical graduates [IMGs], and non-U.S. IMGs), UME and GME educators, and the public.

현재 상태의 긴장
Tensions in the Current State

UME-GME 전환의 [이상적인 상태에 대한 비전][실제 현재 상태] 사이에는 격차가 존재합니다. 이러한 격차는 학습자, 교육자, 레지던트 프로그램 및 대중의 가치관이 서로 관련되어 있지만 다양한 목표를 가지고 있기 때문에 존재하며, 이러한 목표의 차이로 인해 현재 UME-GME 전환에서 잘못된 조정과 실패를 초래합니다. 이러한 불일치와 실패는 사려 깊은 관심과 행동, 옹호로 관리하고 해결하지 않는 한 당분간 지속될 근본적인 긴장에 기반을 두고 있으며, 쉽게 해결되지 않을 것입니다.
Gaps exist between the vision for an ideal state and the actual current state of the UME–GME transition. These gaps exist because learners, educators, residency programs, and the public value related yet varied goals, and the differences in these goals result in misalignment and failings in the current UME–GME transition. These misalignments and failings are grounded in underlying tensions that will persist for the foreseeable future and defy easy solutions unless they are managed and addressed with thoughtful attention, action, and advocacy.

고베어츠와 동료들은 양극성 사고 모델을 설명하면서 긴장을 관리하기 위한 세 가지 단계, 즉 보기, 매핑, 탭핑/활용을 명확하게 설명합니다. 21 

  • 보기는 긴장의 존재를 인식하고 인정하는 것과 같습니다. 20,21 
  • 매핑은 긴장의 반대 극에 있는 긍정적인 측면과 부정적인 측면을 식별하는 것을 의미합니다. 
  • 태핑/활용에는 각 극의 장점을 극대화하고 단점을 최소화하기 위한 프로세스와 행동을 식별하는 것이 포함됩니다. 

In describing the Polarity Thinking model, Govaerts and colleagues articulate 3 steps for managing tensions: seeing, mapping, and tapping/leveraging. 21 

  • Seeing equates to recognizing and acknowledging the existence of the tension. 20,21 
  • Mapping entails identifying positive and negative aspects of opposite poles of the tension.
  • Tapping/leveraging involves identifying processes and actions to optimize upsides and minimize downsides of each pole.

아래에서는 문헌 검토와 UGRC 논의 참여를 바탕으로 파악한 UME-GME 전환의 3가지 핵심 긴장에 대해 설명합니다("보기"). 부록 디지털 부록 1은 각 긴장에 대한 극성 지도("매핑")를 보여줍니다. 표 2는 '양립' 관점("활용/활용")을 통해 긴장과 이를 관리할 수 있는 기회를 설명합니다. 우리는 교육 시스템과 전반적인 의료 시스템의 복잡한 상호 작용으로 인한 긴장을 포함하여 다른 긴장이 존재한다는 것을 인정합니다.
Below, we describe 3 central tensions in the UME–GME transition that we identified based on our review of the literature and participation in UGRC discussions (“seeing”). Supplemental Digital Appendix 1 at https://links-lww-com-ssl.access.hanyang.ac.kr:8443/ACADMED/B324 shows the polarity map for each tension (“mapping”). Table 2 describes tensions and opportunities to manage them through a “both-and” lens (“tapping/leveraging”). We acknowledge that other tensions exist, including some driven by complex interactions of the educational system and overall health care system.

acadmed_2023_01_03_hauer_acadmed-d-21-02933_sdc1.pdf
1.11MB

학습과 성장을 위한 평가의 목적과 순위 및 서열화를 위한 평가의 목적 비교
The purpose of assessment for learning and growth versus ranking and sorting

의학교육자들은 자신의 지속적인 성장과 개선에 전념하는 의사를 대중에게 제공하고자 합니다. 의학 발전의 속도와 대부분의 의사가 정규 교육 이후에 경력을 쌓는 현실을 고려할 때, 평생 학습과 성장 마인드를 촉진하는 기술과 행동은 필수적입니다. 26-28 그러나 레지던트 선발 과정에서는 학생과 학교가 최고 성과자를 구별할 방법을 모색함에 따라 [성장 관련 행동]보다 [성과 관련 행동]이 더 강조되고 있습니다. 마찬가지로, 레지던트 지원서를 많이 받는 프로그램 디렉터들은 지원자의 학업 기록을 구별하고 신속하게 순위를 매기고 분류할 수 있는 의미 있는 평가 데이터를 찾고 있습니다.
Medical educators aspire to provide the public with physicians dedicated to their own continuous growth and improvement. Given the speed of medical advances and reality that the majority of physicians’ careers occur after formal education, skills and behaviors that promote lifelong learning and growth mindset are essential. 26–28 However, the residency selection process emphasizes performance-related behaviors more than growth-related behaviors as students and schools seek ways to distinguish top performers. Similarly, program directors receiving high numbers of residency applications seek meaningful assessment data to distinguish among the academic records of candidates and enable quick ranking and sorting.

이러한 현상은 학습자들 사이에 고정된 사고방식을 조장하고 평가 데이터에서 잠재적으로 잘못된 추론(예: 높은 시험 점수가 양질의 환자 치료를 예측한다는 것)을 가능하게 합니다. 사고의 리더와 교육 학자들은 평가가 성장을 위한 도구로 사용되기보다는 무기화되고 있다고 경고해 왔습니다. 29 UME-GME 전환 과정에서 관리되지 않은 이러한 긴장은 의과대학 전체에서 평가가 사용되고 평가되는 방식을 형성했습니다.

  • 레지던트 지원 시 신뢰도가 높은 총괄적 표준 객관식 시험에 초점을 맞추다 보니 순위 매기기와 분류에는 덜 유용하지만 학습이나 환자 진료에는 더 가치 있는 평가(예: 실무 기반 평가)의 개발과 채택이 부족해졌습니다. 30
  • 수치 점수의 작은 차이는 오차 범위 내에 있는 것으로 공개적으로 보고됨에도 불구하고 과도하게 해석됩니다. 31
  • 또한, 점수가 의도하지 않은 목적으로 사용될 경우, 시험 성과에 대한 잘못된 능력주의가 발생하여 성장 지향성을 소멸시키고 의학의 다양성과 포용성을 제한할 수 있습니다. 32,33

This current state manifests in the promotion of a fixed mindset among learners and enables potentially incorrect inferences from assessment data (e.g., that high exam scores predict quality patient care). Thought leaders and education scholars have warned that assessments are being weaponized rather than used as a tool for growth. 29 This unmanaged tension across the UME–GME transition has shaped how assessments are used and valued throughout medical school.

  • The focus on high-reliability summative, standardized, multiple-choice question exams as key currency in residency applications shortchanges the development and adoption of assessments that are less useful for ranking and sorting but more valuable for learning or patient care (e.g., workplace-based assessments). 30 
  • Small differences in numeric score performance are overinterpreted despite these being publicly reported as within margins of error. 31 
  • Furthermore, when scores are used for purposes for which they were not designed, a false meritocracy develops around examination performance that can extinguish growth-orientation and limit diversity and inclusion in medicine. 32,33

의학교육자는 평가 목적을 중심으로 두 극의 장점을 모두 발전시킬 수 있도록 평가 목표를 재구성해야 합니다. 신뢰도와 정밀도가 높은 평가 형식을 "목적에 맞는" 방식으로 사용하여 중요한 전환점에서 중요한 판단을 내릴 수 있습니다. 레지던트 프로그램 지도부가 인정하지 않는 국제학교 출신 지원자 등 GME 지원자에 대한 자세한 정보나 맥락이 부족한 경우, 면허 시험 점수는 의학 지식에 대한 최소한의 역량을 보장합니다. 임상의가 진단 테스트 데이터를 사용하여 해석하고 의사 결정을 내리는 것처럼 교육자는 현재 평가 형식의 강점과 한계(즉, 응시자에 대해 무엇을 나타낼 수 있고 무엇을 나타낼 수 없는지)를 이해하고 준수하기 위해 노력해야 합니다. 총체적인holistic 검토를 수행할 때 "목적에 맞는" 평가 데이터를 활용하면 지원자를 학습 및 경력 목표에 적합한 GME 프로그램에 매칭한다는 명시된 목표에 더 가까워질 수 있습니다. 그렇게 하지 않으면 레지던트 선발의 행정 업무량을 관리하기 위해 평가 데이터를 부적절하게 사용하는 일이 지속되고, 지원자 수를 줄이고 총체적holistic 검토를 수행하기 위한 프로그램 리소스를 강화할 필요성을 피할 수 없게 됩니다.
Medical educators must reframe goals for assessment to advance the upsides of both poles around assessment purpose. Assessment formats with high reliability and precision can be used in a “fit-for-purpose” manner to inform high-stakes judgments at significant transition points. When more detailed information or context about a GME applicant is less available (e.g., for an applicant from an international school unrecognized by residency program leadership), licensing examination scores ensure minimum competence in medical knowledge. Educators should commit to understanding and adhering to strengths and limitations of current assessments formats (i.e., what they can and cannot represent about candidates), just as clinicians interpret and make decisions using diagnostic test data. Leveraging assessment data as “fit-for-purpose” when conducting holistic review will get us closer to our stated goal that candidates match into GME programs well suited to their learning and career goals. Not doing so perpetuates the inappropriate use of assessment data to manage the administrative workload of residency selection and avoids the need to reduce application numbers and enhance resources for programs to conduct holistic review.

학습자 대 근로자로서의 레지던트의 기능
The function of residents as learners versus workers

GME 프로그램의 교육 목표와 현대 의료 시스템에서 레지던트의 기대치 사이의 단절은 '학습자'와 '근로자'를 겉보기에는 반대되는 극에 놓이게 합니다. 근무 시간 제한에도 불구하고 많은 임상 학습 환경은 여전히 번아웃을 유발하고34 체계적인 학습과 성찰을 위한 시간을 제한적으로만 허용합니다. 의료 시스템의 대규모 임상 운영을 유지하기 위해 GME 선발이 지속적인 학습을 희생하면서까지 즉각적인 인력 준비에 지나치게 집중되고 있습니다. 취업 준비성에 대한 이러한 강조로 인해 의과대학은 교육에 중요한 다른 역량을 가르치거나 평가 또는 보고하거나 절차적 기술이나 더 복잡한 임상 과제와 같이 졸업생이 아직 학습 중인 영역에 대해 보고하는 데 인센티브를 받지 못하고 있습니다. 35-37 UME 교육자들은 학생들이 완전한 역량을 갖추지 못한 것으로 비춰질 수 있는 정보를 보고하는 것을 두려워합니다. 부록 디지털 부록 2에는 이러한 긴장에 대한 극성 지도가 나와 있습니다. 
Disconnect between the educational goals of GME programs and the expectations of residents in modern health care systems places “learners” and “workers” on seemingly opposite poles. Despite work-hour restrictions, many clinical learning environments still contribute to burnout 34 and afford only limited time for structured learning and reflection. To maintain high-volume clinical operations of health systems, GME selection has become overly focused on immediate workforce readiness at the expense of ongoing learning. Because of this emphasis on work-readiness, medical schools are disincentivized to teach, assess or report on other competencies that are also critical to training, or report on areas where graduates are still learning, such as procedural skills or more complex clinical tasks. 35–37 UME educators fear reporting information that may portray students as less than fully competent and jeopardize their match. Supplemental Digital Appendix 2 at https://links-lww-com-ssl.access.hanyang.ac.kr:8443/ACADMED/B324 shows the polarity map for this tension.

교육자는 양쪽 극의 장점을 모두 인식하여 이러한 긴장을 관리해야 합니다. UME와 GME는 UME-GME 전환 과정에서 학습자에게 적용되는 공통 프레임워크와 공통 역량 세트를 함께 정의하고 구현해야 합니다. 신규 레지던트는 첫날부터 업무에 기여할 수 있어야 하며, 점진적으로 독립적인 역할을 수행할 수 있도록 충분한 감독과 학습 기회를 제공하는 환경도 제공되어야 합니다. 레지던트 시작을 위한 현실적인 역량에 대해 UME와 GME를 더 잘 연계하고, 전환 전반에 걸쳐 개별화된 학습과 지원을 제공하는 학습자 인수인계를 통해 지속적인 학습자 개발을 가능하게 할 것입니다. 38 효과적인 시스템은 성과에 대한 반성, 경험을 통한 학습 및 개선에 대한 시연을 포함하여 양질의 임상 성과 및 환자 치료 결과와 관련된 모든 역량 영역에서 연속성을 따라 교육 성과를 식별하고 평가해야 합니다. 39 서비스와 교육에 대한 "양립적" 관점을 강조하면 성장 지향성을 촉진하고 학습자 사이에서 잠재적으로 파괴적인 성과 사고방식과 완벽주의를 제한할 수 있습니다. 이러한 교육 과정은 지속적인 회복탄력성과 교육에 대한 공동체 의식을 촉진합니다. 40 보건 시스템 전체는 교육 시스템이 주민들이 학습하고 개인 지식의 격차를 메울 수 있는 시간을 제공하는 데 필요한 재정 및 기타 자원을 제공해야 할 책임이 있습니다. 41
Educators must manage this tension by recognizing the upsides of both poles. UME and GME must together define and implement a common framework and a common set of competencies that apply to learners across the UME–GME transition. New residents should be expected to contribute to the workforce on day 1, and in turn, they should also be afforded an environment with ample supervision and learning opportunities to scaffold their progressively independent roles. Better alignment of UME and GME on realistic competencies for starting residency, along with learner handovers that inform individualized learning and support across the transition, will enable continued learner development. 38 An effective system should identify and value educational outcomes along the continuum in all competency domains related to high-quality clinical performance and patient care outcomes, including demonstration of reflection upon performance, learning through experience, and improvement. 39 Emphasizing the “both/and” view of service and education will promote growth orientation and limit potentially destructive performance mindsets and perfectionism among learners. Such a training path promotes enduring resilience and a sense of community around education. 40 The health system as a whole is responsible for providing the financial and other resources needed for the educational system to afford time for residents to learn and fill the gaps in their individual knowledge. 41

개인의 선호도와 직업 및 대중의 필요성 비교
Individual preferences versus needs of the profession and public

UME-GME 전환 과정에서 누구의 요구가 우선인지에 대한 긴장은 지속될 것입니다.

  • 한 쪽 극에는 통제에 대한 개인적 선호, 뛰어난 학벌, 미래 교육 기회, 교육 부채 상환 능력, 생활 방식에 대한 우려로 인한 개인의 요구가 있습니다.
  • 다른 극에는 전체 의학교육 시스템이 책임을 져야 하는 대중을 포함한 더 광범위한 시스템의 요구가 있습니다.

Within the UME–GME transition, the tension of whose needs are primary will persist.

  • On one pole are the needs of the individual, driven by personal preferences for control, distinguished academic pedigree, opportunities for future training, ability to repay educational debt, and lifestyle concerns.
  • On the other pole are the needs of the broader system, including the public to whom the whole medical education system is accountable.

이러한 상황은 선호하는 프로그램에서 선호하는 전공분야에 대한 수련을 계속하고 일치하지 않는 우려되는 결과를 피할 수 있는 [개인들의 자격entitlement]으로 나타날 수 있습니다.

  • 광범위한 의료 수요보다 의대생의 개인적 선호를 우선시하는 시스템은 환자에게 불이익을 줍니다.
  • 또한 경쟁과 계층 구조는 의료계의 핵심 가치는 아니지만,42,43 UME-GME 전환의 많은 측면에서는 경쟁적 우위를 중요시합니다. 44
  • 경쟁은 능력과 잠재력이 아니라 레지던트 또는 의사 성과와 관련이 의심스러운 특성에 근거하여 지원자 간의 계급class 차이를 유발합니다(예: 정골 의학 학교 또는 국제 의과 대학 출신 학생은 매치에서 절대적으로 불리함).
  • 이러한 계급 차이로 인해 지속되는 고정관념은 정골 의대 또는 국제 의대 출신 학생들이 경쟁이 치열한 전문과목이나 프로그램에 매칭될 가능성이 낮기 때문에 의료 수요에 비해 의사의 지리적 및 전문과목 불균형을 조장합니다. 45 부록 디지털 부록 3은 이러한 긴장에 대한 양극성 지도를 보여줍니다.

These circumstances may manifest as individual entitlement to continue one’s training in a preferred specialty at a preferred program and avoid the feared outcome of not matching.

  • A system that prioritizes the personal preferences of medical students over broader health care needs disadvantages patients.
  • Furthermore, although competitiveness and hierarchy are not core values of the profession, 42,43 many aspects of the UME–GME transition value competitive advantage. 44 
  • Competition prompts class differences among applicants, based not on ability and potential but rather on characteristics that are doubtfully related to residency or physician performance (e.g., students from osteopathic schools or international medical schools are categorically disadvantaged in the Match).
  • Stereotypes perpetuated from these class differences promote geographic and specialty maldistribution of physicians compared with health needs, as students from osteopathic or international medical schools are less likely to match into competitive specialties or programs. 45 Supplemental Digital Appendix 3 at https://links-lww-com-ssl.access.hanyang.ac.kr:8443/ACADMED/B324 shows the polarity map for this tension.

개인과 집단의 목표가 공존하는 보건의료 분야와 마찬가지로, 지원자의 개인적 선호와 집단적 요구 사이의 긴장은 UME-GME 전환에서도 지속될 것이므로 관리가 필요합니다. 이러한 긴장의 장점은 적절하게 조정된 인센티브와 공존할 수 있습니다. 개인이 특정 센터와 프로그램에 재능을 집중하기보다는 기술과 재능을 분산하도록 장려하고 인센티브를 제공해야 합니다. 사회적 불의에 맞서 싸우고자 하는 강한 동기를 가진 레지던트 지원자는 자원이 풍부한 학술 보건 센터 대신 작은 도시의 프로그램에 적합할 수 있습니다. 재정적 인센티브와 부채 탕감 프로그램을 만들어 지원자가 원하는 경력을 쌓을 권리를 침해하지 않으면서도 인력 부족 지역에서 수련과 실습을 선택하도록 장려할 수 있습니다. 46
Just as in health care, where individual and population goals coexist, tension between applicants’ personal preferences and collective needs will persist in the UME–GME transition and therefore must be managed. The upsides of this tension can coexist with properly aligned incentives. Individuals should be encouraged and incentivized to distribute skills and talent rather than to concentrate talents in select centers and programs. A residency applicant with strong motivation to combat social injustices may find an appropriate fit in a small urban program instead of a well-resourced academic health center. Financial incentives and debt relief programs can be created that encourage applicants to choose to train and practice in shortage areas without compromising their right to try for a desired career path. 46

토론
Discussion

이 원고는 권고 보고서에 요약된 UGRC의 푸른 하늘 비전을 통해 설명된 이상적인 UME-GME 전환을 개괄적으로 설명합니다. 24 이상적으로 이러한 전환은 학습자, 교육자 및 대중의 교육 및 복지 요구를 충족하는 조율되고 효율적인 시스템 내에서 이루어져야 합니다. 또한, 모든 학습자가 다양한 환자와 인구의 의료 요구를 충족할 수 있는 의사가 될 수 있는 기회를 가질 수 있도록 전환 과정 전반에 걸쳐 형평성을 증진해야 합니다. 또한 UGRC는 의과대학 및 레지던트 커리큘럼이 핵심 교육 콘텐츠로서 성장 마인드와 직업적 정체성 형성에 중점을 두어 의사가 UME-GME 전환과 실무에 적응하고 자신의 지식과 기술을 발전시킬 수 있도록 준비시킬 것을 명시적으로 권고합니다.
This manuscript outlines an ideal UME–GME transition articulated through the UGRC blue-skies visioning that is outlined in its recommendations report. 24 Ideally, this transition should occur within a coordinated, efficient system that meets the educational and wellness needs of learners, educators, and the public. Furthermore, equity should be promoted throughout the transition to ensure that all learners have opportunities to become physicians equipped to meet the health care needs of diverse patients and populations. The UGRC also explicitly recommends that medical school and residency curricula should focus on growth mindset and professional identity formation as core educational content to prepare physicians to adapt and advance their knowledge and skills through the UME–GME transition and into practice.

전환 시스템에서 혁신적인 변화가 일어나기 위해서는 내재된 긴장을 정의하고 관리하는 것이 매우 중요합니다. 지속적이고 새로운 과제를 해결하려면 역동적인 시스템 내에서 견제와 균형을 통해 세심한 모니터링, 관리, 협력이 필요합니다. 현재 목적과 재정적 인센티브가 서로 다른 개인, 프로그램, 조직의 이해관계가 더 잘 조율되면 일방적인 옹호보다는 이러한 긴장에 대한 균형 잡힌 시각이 촉진될 것입니다. 이러한 재조정을 촉진하기 위해 UGRC는 UME-GME 전환 시스템의 지속적인 품질 개선을 관리하기 위한 감독 위원회를 구성할 것을 권고했습니다.
For transformative change to occur in the transition system, it is critically important to define and manage its inherent tensions. Ongoing and emerging challenges require careful monitoring, management, and collaboration with checks and balances within a dynamic system. Greater alignment of individual, program, and organizational interests—all of which are currently misaligned in purpose and financial incentives—will promote balanced views of these tensions rather than one-sided advocacy. To promote this needed realignment, the UGRC has recommended that an oversight committee be created to manage continuous quality improvement of the UME–GME transition system.

평가의 목적(학습 대 순위 및 분류)과 레지던트의 역할(학습자 대 근로자)을 둘러싼 긴장은 교육 연속체 전반에 걸친 공통 역량 프레임워크, 역량과 연계된 평가, 구조화된 학습자 인계인수에 대한 주요 UGRC 권장 사항을 통해 해결됩니다. 이러한 공통 결과 프레임워크를 정의하기 위해서는 UME 및 GME 교육자 그룹이 협력하여 공통의 "목적에 맞는" 평가 도구 및 전략의 선택과 추가 개발을 가이드하는 데 사용해야 합니다. 필수 술기를 수행하는 학습자를 직접 관찰하는 것을 강조하는 평가는 현재 사용 가능한 점수 및 성적보다 피드백을 향상시키고 레지던트 성과를 예측하는 데 더 나은 정보를 생성할 수 있습니다. 44,47 학생이 멘토와 함께 작성한 후 새로운 레지던트 프로그램 디렉터와 함께 다시 방문하는 [매칭 후 개별화된 학습 계획]은 UGRC 권장사항에 언급된 대로 레지던트로의 전환을 보다 효과적으로 안내하는 데 사용될 수 있습니다. 
Tensions around the purpose of assessment—for learning versus for ranking and sorting—and around the role of residents—as learners versus workers—are addressed through key UGRC recommendations for a common competency framework across the educational continuum, assessments aligned with competencies, and structured learner handovers. A collaborative UME and GME educator group is needed to define this common outcomes framework, which should then be used to guide the selection and further development of common “fit for purpose” assessment tools and strategies. Assessments that emphasize direct observation of learners conducting essential skills can enhance feedback and generate better information to predict residency performance than currently available scores and grades. 44,47 A post-Match individualized learning plan that a student creates with a mentor and then revisits with their new residency program director can be used to more effectively guide the transition to residency, as noted in the UGRC recommendations.

개인적 이익과 집단적 이익 사이의 긴장을 해소하기 위해 UGRC는 전문과목에서 인력 및 다양성 평가를 실시하여 어떤 유형의 수련의와 의사가 어디에 필요한지 결정하고 공평한 채용 관행을 위한 교육에 참여할 것을 권장합니다. 필요한 변화를 유도하기 위해 교육자들은 사회 정의, 건강 및 재정적 목표에 봉사하는 자체 인력을 강화하기 위한 일부 경쟁력 있는 전문과목 및 프로그램의 노력을 바탕으로 성공적인 채용에 대한 관점을 확장할 수 있습니다. 48,49 

To address the tension around individual versus collective good, the UGRC recommends that specialties conduct workforce and diversity evaluations to determine which types of trainees and physicians are needed and where and engage in training for equitable recruitment practices. To prompt needed change, educators can expand their view of a successful recruitment by building on efforts of some competitive specialties and programs to strengthen their own workforce in service to social justice, health, and financial aims. 48,49 

투명성과 형평성을 증진하기 위해 UGRC는 학생과 지도교수가 레지던트 프로그램 지원자의 특성, 초대, 인터뷰 및 결과에 대한 검색 가능한 데이터베이스에 액세스할 수 있어야 한다고 권장합니다. 또한 UGRC는 단순히 선택적 개선 사항으로 제공되는 것이 아니라 모든 프로그램에서 UME 및 GME 학습자에게 웰니스 지원을 의무화할 것을 권장합니다. 이러한 지원에는 UME 프로그램에서 GME 프로그램으로 전환하는 데 필요한 시간과 리소스, 간소화된 초기 라이선스 절차가 포함되어야 합니다.

To promote transparency and equity, the UGRC recommends that students and advisors should have access to a searchable database about residency program applicant characteristics, invitations, interviews, and outcomes. The UGRC also recommends that wellness supports be required for UME and GME learners across programs, not simply offered as optional enhancements. These supports should include time and resources for moving from a UME to GME program and streamlined initial licensing procedures.

이상적인 상태는 단기간에 또는 타협 없이 달성할 수 없습니다. 이러한 장밋빛 비전은 비현실적이거나 비현실적인 것으로 간주되는 콘텐츠에 대한 질문을 불러일으킬 것입니다. 모두를 위한 복지를 최적화하고 모든 지원자가 전공의 수련을 위한 충분한 준비와 신뢰를 갖출 수 있을까요? 환자 안전에 있어 무사고라는 이상적인 개념과 마찬가지로, 열망하는 이상적인 상태를 설명하는 것은 교육적 변화를 주도합니다. 이러한 장밋빛 비전을 달성하기 위해서는 작은 변화와 조기 승리가 중요하며, 지속적인 유연성과 적응도 필요합니다.
An ideal state cannot be achieved quickly or without compromise. This blue-skies vision will prompt questions about content deemed impractical or unrealistic. Can we optimize well-being for all and ensure every applicant is fully prepared and trustworthy for residency? Like the ideal concept of zero harm in patient safety, 50 describing the aspirational ideal state drives educational change. To achieve this blue-skies vision, small changes and early wins will be critical, as will ongoing flexibility and adaptation.

이 원고는 UME-GME 전환의 주요 긴장을 탐구하지만, 저자들은 다른 긴장도 존재한다는 것을 인식하고 있습니다. 예를 들어, UGRC는 의사 지불 및 급여 문제를 그룹의 책임 범위를 벗어난 것으로 파악했습니다. 이상적인 상태를 상상하는 것은 당연히 아직 존재하지 않는 시스템을 상상하는 것을 수반하며, 따라서 현재 증거 기반에는 이러한 이상을 달성하는 데 필요한 단계를 뒷받침할 증거가 부족합니다. 이상적인 상태로 나아가기 위해서는 결과를 입증하고 증거 기반을 구축하기 위한 점진적인 연구가 필요합니다. UGRC는 UME-GME 전환 전반에 걸쳐 형평성을 우선시하지만, 블루 스카이 시스템조차도 모든 참여자에게 공평한 결과를 보장하지 못할 수 있음을 인식하고 있습니다. 
While this manuscript explores major tensions in the UME–GME transition, authors recognize that other tensions exist as well. For example, the UGRC identified challenges in physician payment and salary as beyond the scope of the group’s charge. Envisioning the ideal state naturally entails imagining a system that does not yet exist, and as such, the evidence base currently lacks evidence to support the steps needed to achieve this ideal. To move toward the ideal state, incremental research is needed to demonstrate outcomes and build the evidence base. Despite prioritizing equity throughout the UME–GME transition, the UGRC recognizes that even a blue-skies system may not ensure equitable outcomes for all participants.

결론적으로, UGRC는 학습 및 건강 목표를 달성하는 데 필요한 시스템 설계를 안내하는 이상적인 상태를 구상했습니다. UGRC 회원들은 지속되는 주요 긴장을 인식했습니다.

  • 평가의 목적: 순위 및 분류 지원 대 학습 지원
  • 교육생의 역할: 학습자 대 근로자
  • 개인의 필요와 희망 대 공동의 이익

학습자와 교육자는 이러한 긴장을 제거하거나 해결할 수는 없지만, 이를 인식하고 여러 이해관계자의 관점에 대한 협력과 개방성을 통해 이를 관리하는 데 다시 집중해야 합니다. 학습자와 프로그램 간의 적합성을 최적화하는 조율되고 효율적인 UME-GME 전환이라는 더 큰 비전에 대한 공동의 약속은 이를 달성하기 위해 필요할 수 있는 희생과 타협을 정당화합니다. 웰빙, 다양성, 형평성, 포용성, 공익에 대한 의료계의 약속에 초점을 맞추는 것은 시스템을 보다 이상적인 상태로 이끄는 데 매우 중요합니다.
In conclusion, the UGRC has envisioned an ideal state to guide system design needed to achieve learning and health goals. UGRC members recognized key tensions that persist around

  • the purposes of assessment to support ranking and sorting versus learning,
  • the roles of trainees as both learners and workers, and
  • the needs and wishes of the individual versus the collective good.

While learners and educators cannot eliminate or solve these tensions, they must recognize them and refocus on managing them through collaboration and openness to multiple stakeholder perspectives. A shared commitment to the larger vision of a coordinated and efficient UME–GME transition that optimizes fit between learners and programs justifies the sacrifices and compromises that may be required to achieve it. Maintaining focus on medicine’s commitments to wellness, diversity, equity, inclusion, and the public good will be critical to guide the system toward a more ideal state.

 


Acad Med. 2023 Feb 1;98(2):162-170. doi: 10.1097/ACM.0000000000004920. Epub 2022 Aug 9.

Blue Skies With Clouds: Envisioning the Future Ideal State and Identifying Ongoing Tensions in the UME-GME Transition

Affiliations collapse

Affiliations

1K.E. Hauer is associate dean for competency assessment and professional standards and professor, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California; ORCID: http://orcid.org/0000-0002-8812-4045 .

2P.M. Williams is associate dean for student affairs and professor, Department of Family Medicine, Uniformed Services University of the Health Sciences, F. Edward Hébert School of Medicine, Bethesda, Maryland.

3J.S. Byerley was interim dean, University of North Carolina Adams School of Dentistry, and professor of pediatrics, University of North Carolina School of Medicine, Chapel Hill, North Carolina, at the time of writing and is now president and dean, Geisinger Commonwealth School of Medicine, Scranton, Pennsylvania.

4J.L. Swails is residency program director, codirector of interprofessional education, and associate professor, Department of Medicine, McGovern Medical School, University of Texas Health Science Center, Houston, Texas; ORCID: http://orcid.org/0000-0002-6102-831X .

5M.A. Barone is vice president, competency-based assessment, NBME, Philadelphia, Pennsylvania, and adjunct associate professor of pediatrics, Johns Hopkins University School of Medicine, Baltimore, Maryland; ORCID: http://orcid.org/0000-0002-4724-784X .

PMID: 35947473

DOI: 10.1097/ACM.0000000000004920

Abstract

The transition from medical school to residency in the United States consumes large amounts of time for students and educators in undergraduate and graduate medical education (UME, GME), and it is costly for both students and institutions. Attempts to improve the residency application and Match processes have been insufficient to counteract the very large number of applications to programs. To address these challenges, the Coalition for Physician Accountability charged the Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC) with crafting recommendations to improve the system for the UME-GME transition. To guide this work, the UGRC defined and sought stakeholder input on a "blue-skies" ideal state of this transition. The ideal state views the transition as a system to support a continuum of professional development and learning, thus serving learners, educators, and the public, and engendering trust among them. It also supports the well-being of learners and educators, promotes diversity, and minimizes bias. This manuscript uses polarity thinking to analyze 3 persistent key tensions in the system that require ongoing management. First, the formative purpose of assessment for learning and growth is at odds with the use of assessment data for ranking and sorting candidates. Second, the function of residents as learners can conflict with their role as workers contributing service to health care systems. Third, the current residency Match process can position the desire for individual choice-among students and their programs-against the workforce needs of the profession and the public. This Scholarly Perspective presents strategies to balance the upsides and downsides inherent to these tensions. By articulating the ideal state of the UME-GME transition and anticipating tensions, educators and educational organizations can be better positioned to implement UGRC recommendations to improve the transition system.

임상추론 교육을 위한 세 가지 지식-지향 교수전략: 자기설명, 개념매핑연습, 의도적 성찰: AMEE Guide No. 150 (Med Teach, 2022)
Implementation of three knowledge-oriented instructional strategies to teach clinical reasoning: Self-explanation, a concept mapping exercise, and deliberate reflection: AMEE Guide No. 150
Dario Torrea , Martine Chamberlandb and Silvia Mamedec

 

소개
Introduction

임상 추론은 의사의 성과와 결과적으로 환자 치료의 질에 중대한 영향을 미칩니다(Eva 2005; Norman 2005). 이러한 중요성에도 불구하고 최근까지 학부 및 대학원 프로그램에는 임상 추론을 가르치기 위한 구체적인 활동이 포함되어 있지 않았습니다. 전통적으로 학생과 수련의는 주로 견습과 경험을 통해 임상 추론을 배워야 했습니다(Graber 외. 2005). 최근 이러한 전통에 의문이 제기되고 있습니다. 의학교육 전반에 걸쳐 임상적 추론이 명시적이고 포괄적으로 다루어져야 한다는 공감대가 확산되고 있습니다(Kononowicz 외. 2020; Cooper 외. 2021). 그러나 이 목표를 향한 진전은 더딘 것 같습니다. 임상 추론은 학부 커리큘럼에 체계적으로 통합되어 있지 않은 경우가 많습니다(Trowbridge 외. 2015). 실제로 최근 설문조사에 참여한 대부분의 미국 의과대학에서는 임상 추론에 대한 구체적인 교육 세션이 부족한 것으로 나타났습니다. 결과적으로, 임상실습 책임자들은 학생들이 임상실습에 들어갈 준비가 충분히 되어 있지 않다고 생각했습니다(Rencic 외. 2017). 종단적 임상 추론 커리큘럼에서 무엇을, 언제, 어떤 교육 전략으로 가르쳐야 하는지에 대한 명확한 지침은 없습니다(Cooper 외. 2021). 
Clinical reasoning critically influences physicians’ performance and, consequently, the quality of patient care (Eva 2005; Norman 2005). Despite its importance, until recently, undergraduate and postgraduate programs did not include specific activities for teaching clinical reasoning. Traditionally, students and trainees were expected to learn clinical reasoning largely through apprenticeship and experience (Graber et al. 2005). This tradition has recently been questioned. There is growing consensus that clinical reasoning should be addressed explicitly and comprehensively throughout medical education (Kononowicz et al. 2020; Cooper et al. 2021). However, progress towards this goal seems slow. Clinical reasoning is often not systematically integrated in the undergraduate curriculum (Trowbridge et al. 2015). Indeed, in the majority of US medical schools recently surveyed, specific teaching sessions dedicated to clinical reasoning are lacking. Consequently, clerkships directors considered students not being adequately prepared to enter the clinical clerkships (Rencic et al. 2017). There is no clear guidance on what to teach, when and with which instructional strategies in a longitudinal clinical reasoning curriculum (Cooper et al. 2021).

이러한 커리큘럼에 대한 최근 지침은 학습 과학의 증거로 뒷받침되는 교육 전략을 선택하여 과학적 접근 방식을 채택할 필요성을 강조하고 있습니다(Cooper 외. 2021). 또한 슈미트와 마메데(2015)는 내러티브 리뷰에서 전문성 개발의 여러 단계에서 임상 추론을 가르치기 위해 서로 다른 교육 전략이 필요할 수 있다고 주장합니다. 최근의 리뷰에서는 교육 활동의 목적이 콘텐츠 지식 개발인 지식 중심 접근법의 가치를 보여주었습니다(Schmidt and Mamede 2015; Prakash 외. 2019; Cooper 외. 2021). 이러한 리뷰에서는 이해를 구축하고, 지식 조직을 촉진하며, 성찰을 촉진하는 전략이 의대생의 임상 추론을 개선하는 데 효과적이라는 것을 보여주었습니다. 자기 설명(SE)의도적 성찰(DR)은 이러한 효과적인 지식 중심 교육 전략의 두 가지 예입니다(Schmidt and Mamede 2015; Prakash et al. 2019). 이 두 가지 전략은 임상 문제를 해결하기 위한 지식의 검색, (재)구성 및 적용을 촉진하며 임상 추론을 가르칠 때 함께 구현할 수 있는 상호 보완적인 학습 연습이 될 수 있습니다(Chamberland 외. 2020). 그러나 언어화와 반성이 임상 추론을 학습하는 데 중요한 과제인 경우, 지식을 시각적으로 표현하는 것이 복잡한 문제를 이해하는 데 특히 도움이 될 수 있습니다. 예를 들어, 개념 매핑으로 묘사된 지식의 그래픽 표현은 복잡한 사고를 가시화하여 임상 추론을 향상시키는 동시에 지식 조직과 의미 있는 학습을 촉진할 수 있습니다(Acton 외. 1994; Delany와 Golding 2014; Wu 외. 2016). 임상 추론 매핑 연습(CReSME)은 임상 추론 교육에 사용되는 개념 매핑 기법의 예시적인 예입니다(Torre 외. 2019). 

Recent guidelines for such a curriculum have stressed the need to adopt a scientific approach by opting for instructional strategies supported by evidence from the learning sciences (Cooper et al. 2021). Moreover, Schmidt and Mamede (2015), in a narrative review, posit that different instructional strategies may be needed to teach clinical reasoning at different stages of expertise development. Recent reviews have shown the value of a knowledge-oriented approach in which the purpose of teaching activities is content knowledge development (Schmidt and Mamede 2015; Prakash et al. 2019; Cooper et al. 2021). These reviews have shown strategies that build understanding, foster knowledge organization, and promote reflection to be effective in improving medical students’ clinical reasoning. Self-explanation (SE) and deliberate reflection (DR) are two examples of these effective knowledge-oriented instructional strategies (Schmidt and Mamede 2015; Prakash et al. 2019). They both foster retrieval, (re-)construction, and application of knowledge to solve clinical problems and might be complementary learning exercises that could be implemented together in teaching clinical reasoning (Chamberland et al. 2020). Yet, if verbalization and reflection are critical tasks for learning clinical reasoning, a visual representation of knowledge may be particularly helpful in the understanding of complex problems. A graphic representation of knowledge depicted, for example, by concept mapping, may enhance clinical reasoning by making complex thinking visible, while fostering knowledge organization and meaningful learning (Acton et al. 1994; Delany and Golding 2014; Wu et al. 2016). The Clinical Reasoning Mapping Exercise (CReSME) is an illustrative example of a concept mapping technique used for the teaching of clinical reasoning (Torre et al. 2019).

이론과 경험적 데이터로 뒷받침되는 이 세 가지 교육 전략은 의대생에게 유용한 도구가 될 수 있습니다. 그러나 이러한 전략의 효과에 대해 보고된 여러 연구는 전략에 대한 일반적인 설명만 제공합니다. 이러한 전략을 활용하고자 하는 교사는 연구 논문에서 제공하는 개요와 전략을 실행하는 데 필요한 구체적인 단계 및 운영 측면 사이를 탐색해야 합니다. 따라서 이 가이드의 목적은 교육자에게 임상 추론을 가르치기 위해 이러한 전략을 사용하는 활동을 설계하고 학부 커리큘럼에 통합하는 데 대한 실질적인 조언을 제공하는 것입니다. 또한 전략을 적용하려는 현지 상황에 맞게 조정하는 데 도움이 될 수 있습니다. 조정은 종종 필요하지만 전략이 잘 작동하기 위한 필수 조건에 영향을 미쳐서는 안 됩니다(Mamede and Schmidt 2014; Chamberland 외. 2020). 실행에 대한 구체적인 지침은 교육자가 이러한 위험을 피하는 데 도움이 될 수 있습니다. 
These three instructional strategies, supported by theory and empirical data, can be helpful tools for medical teachers. However, the several published studies reporting on their effectiveness provide only a general description of the strategies. Teachers interested in employing them would need to navigate between the overview provided by research papers and the concrete steps and operational aspects required for putting the strategies into practice. Therefore, the purpose of this guide is to provide educators with practical advice on the design of activities using these strategies for the teaching of clinical reasoning and their integration into the undergraduate curriculum. It may also help adapt the strategies to the local context where they are to be applied. Adjustments are often necessary but should not affect essential conditions for the strategies to work well (Mamede and Schmidt 2014; Chamberland et al. 2020). Specific instructions on the implementation may help educators avoid this risk.

임상 추론 교육에 대한 관심이 증가함에 따라 많은 교육 전략이 제안되었지만, 그 효과에 대한 조사가 수반되는 경우는 많지 않습니다(Schmidt and Mamede 2015; Lambe 외. 2016; Prakash 외. 2019). 우리는 많은 전략이 존재한다는 것을 알고 있으며 SE, CReSME 및 DR이 가장 효과적인 전략이거나 채택해야 할 유일한 전략이라고 주장하지 않습니다. 그럼에도 불구하고 이러한 전략을 선택한 이유는 중요한 이론적 원칙, 해당 전략의 사용을 뒷받침하는 경험적 증거, 우리 자신의 경험(Lambe 외. 2016; Prakash 외. 2019; Cooper 외. 2021), 그리고 학부 수준에서 임상 추론을 가르치는 종단적 및 발달적 접근 방식에 결합하여 적용할 수 있는 잠재력을 고려했기 때문입니다. 
As interest in the teaching of clinical reasoning increases, many teaching strategies have been proposed though not so often accompanied by investigation of their effectiveness (Schmidt and Mamede 2015; Lambe et al. 2016; Prakash et al. 2019). We are aware that many strategies exist and are not arguing that SE, CReSME, and DR are the most effective ones or the only ones to be adopted. Nevertheless, we selected these strategies because of overarching theoretical principles, empirical evidence supporting their use, and our own experience with them (Lambe et al. 2016; Prakash et al. 2019; Cooper et al. 2021) and the potential for a combined application in a longitudinal and developmental approach to teaching clinical reasoning at the undergraduate level.

이 가이드에서는 먼저 이러한 전략의 사용을 뒷받침하는 이론적 배경을 정리한 다음 각 전략에 대한 설명과 실제 적용을 살펴보고 마지막으로 이러한 전략을 통합하는 방법에 대한 제안을 제공합니다.
In this guide, we will first synthesize the theoretical background that supports the use of these strategies, then move to the description and practical application of each one, and finally provide suggestions on how to integrate them.

이론적 프레임워크
Theoretical framework

임상적 추론은 여러 이론적 프레임워크에 기반을 두고 있습니다(Schmidt 외. 1990; Charlin 외. 2000; Croskerry 2009; Durning 외. 2013). 이 백서의 목적상, 우리는 지식 조직, 스키마의 초기 형성, 질병 스크립트의 후속 개발 및 개선이라는 형태의 정보 처리 이론의 교리에 초점을 맞추고 있습니다(Schmidt 외. 1990). 영향력 있는 의학 전문성 발달 이론에 따르면 지식 개발과 조직화는 네 가지 발달 단계를 거쳐 진행된다고 주장합니다(Schmidt and Rikers 2007). 

  • 인과 네트워크 형성,
  • 지식 캡슐화,
  • 질병 스크립트 개발,
  • 환자 사례를 통한 질병 스크립트 인스턴스화

Clinical reasoning is grounded in a number of theoretical frameworks (Schmidt et al. 1990; Charlin et al. 2000; Croskerry 2009; Durning et al. 2013). For the purpose of this paper, we focus on tenets of information processing theory in the form of knowledge organization, early formation of schemas and subsequent development and refinement of illness scripts (Schmidt et al. 1990). An influential theory of development of expertise in medicine argues that knowledge development and organization progress through four developmental stages:

  • formation of causal networks;
  • knowledge encapsulation;
  • development of illness scripts; and
  • instantiation of illness scripts by patient examples (Schmidt and Rikers 2007).

교육 첫 단계에서 의대생은 생의학 및 임상 과학을 연결하는 인과적 네트워크로 구성된 지식을 습득합니다. 질병은 병리 생리학적 메커니즘으로 설명되는 경향이 있으며, 학생들은 질병의 징후 및 증상과 그 인과 메커니즘 사이의 관계를 개발하려고 시도합니다. 이 단계에서 학생들은 관계의 의미를 설정하는 단어로 연결된 일련의 개념으로 구성된 명제적 네트워크 구조를 형성합니다.
In the first stage of their training, medical students acquire knowledge that is organized into causal networks linking biomedical and clinical sciences. Diseases tend to be explained by pathophysiological mechanisms, and students attempt to develop relationships between signs and symptoms of a disease and their causal mechanisms. At this stage, students form propositional network structures which comprise a series of concepts linked by a word that sets the meaning of their relationship.

학생들은 이 지식을 임상 문제 해결에 적용하면서 흔히 '캡슐화'라고 하는 단순화된 인과 모델을 개발하는 두 번째 단계로 이동합니다. 학생들은 병태생리학적 설명으로 연결된 개념을 캡슐화하는 보다 정교하고 고차원적인 지식 구조를 더 적게 만들기 시작합니다. 이렇게 캡슐화된 개념라벨이 붙고 질병 또는 증후군으로 분류되며, 더 많은 양의 임상 지식을 포괄하고 더 쉽게 검색하고 사용할 수 있습니다.
As students apply this knowledge to solve clinical problems, they move to a second stage which entails development of simplified causal models often referred to as ‘encapsulation’. Students begin to create a lower number of more refined, higher order knowledge structures that encapsulate concepts linked by pathophysiological explanations. These encapsulated concepts are labeled, and categorized into a disease or syndrome; they subsume a greater amount of clinical knowledge and can more easily retrieved and used.

임상 문제에 대한 경험이 증가함에 따라 학생들은 세 번째 단계로 진입합니다. 캡슐화된 개념은 더욱 재구성되고 궁극적으로 질병 스크립트로 재구성됩니다. 질병 스크립트는 프로토타입이거나 이전에 진료한 환자를 기반으로 한 임상 관련 정보의 풍부한 스키마입니다. 이러한 스크립트는 의사가 일련의 임상 징후 또는 증상이 있는 환자를 진료할 때 언제든지 활성화하고 검색할 수 있습니다(Schmidt & Boshuizen, 1993).

As experience with clinical problems increase, students enter a third stage. Encapsulated concepts are further restructured and ultimately reorganized into illness scripts. Illness scripts are rich schema of clinically relevant information, either prototypical or based on a patient previously seen. These scripts can be activated and searched at any time by the physician in response to a patient presentation with a set of clinical signs or symptoms (Schmidt & Boshuizen, 1993).

우리는 SE, CReSME 및 DR이 지식 구조 및 조직 개발 단계에 발판을 제공하고 실습을 최적화할 수 있는 교육 전략이라고 주장합니다. 올바르게 구현되면 학부 수준의 학생들 사이에서 임상적 추론의 발달을 촉진할 수 있습니다.
We argue that SE, CReSME, and DR are instructional strategies that can provide scaffold and optimize practice for the stages of development of knowledge structures and organization. If correctly implemented, they may promote the development of clinical reasoning among students at undergraduate level.

자기 설명
Self-explanation

SE란 무엇인가요?
What is it?

자기 설명은 학습 자료에 대한 이해를 심화시키고 자신의 지식을 모니터링할 목적으로 각 학생이 학습 자료를 사용하는 동안 스스로 설명을 제공하도록 요구하는 교육 기법입니다(Chi 외. 1994; Chi 2000). '

  • '자기'라는 용어는 중요하며 SE의 두 가지 중요한 특징을 나타냅니다. 첫째, 설명은 학생에 의해 생성되고 둘째, 이러한 설명은 이 학생을 위해 제공됩니다. 이는 다른 사람을 가르치기 위해 설명을 제공하는 것과는 상당히 다릅니다(Renkl 및 Eitel 2019). 따라서 SE는 선험적으로 개별 학습 활동입니다. 
  • 설명이라는 용어를 명확히 하는 것도 중요합니다. 설명의 개념은 다양한 의미를 가질 수 있지만, SE 문헌에서는 일반적으로 학생이 기본 원리(원리 기반 SE)를 참조하여 문제의 요소를 설명하는 진술을 의미합니다(Renkl and Eitel 2019; Chi 2000).  

SE is an instructional technique that requires each student to provide explanations for him/herself while engaging with a learning material in the purpose of deepening his/her understanding and monitoring his/her knowledge (Chi et al. 1994; Chi 2000).

  • The term Self is important and refers to two critical features of SE. Firstly, the explanations are generated by the student and, secondly, these explanations are provided for this student. It is quite different from giving explanations to teach others (Renkl and Eitel 2019). SE is then, a priori, an individual learning activity.
  • The term explanation is also important to clarify. Although the concept of explanation can have a variety of meanings, in the SE literature, it usually refers to statements expressed by the student that explains an element of the problem in reference to an underlying principle (principle-based SE) (Renkl and Eitel 2019; Chi 2000). 

따라서 자기 설명은 단순히 thinking aloud 또는 텍스트의 일부를 반복하거나 의역하는 것이 아닙니다. SE가 학습에 미치는 이점은 학생들이 더 많은 SE를 생성할 때 증가하지만, 더 중요한 것은 문제의 요소와 기본 원리 또는 메커니즘을 연결하는 데 참여할 때 더욱 커집니다(Renkl 및 Eitel 2019).
So self-explaining is not simply thinking aloud, repeating or paraphrasing a segment of the text. The benefits of SE on learning are increased when students produce more SE but more importantly, when they engage in making links between the elements of the problem and underlying principles or mechanisms (Renkl and Eitel 2019).

SE는 학생의 지식이 여전히 심화 및 수정이 필요한 복잡한 문제나 덜 익숙한 문제에 유용한 것으로 보입니다(Chi 외. 1994; Wong 외. 2002; Chamberland 외. 2013). 학생이 문제를 완벽하게 이해하고 더 이상 학습할 여지가 없는 경우, 자기 설명에 참여해도 아무런 이점이 없습니다. SE는 지식을 구축하는 데 도움이 되며 지식을 자동화하지는 않습니다. 학생이 상호 연결되고 일관된 심층 지식을 개발할 수 있도록 지원하는 등 SE가 학습에 미치는 이점은 여러 영역에서 입증되었습니다(Chi 2000; Richey와 Nokes-Malach 2015). SE는 컴퓨터 기반 교육과 텍스트, 도표, 연습 문제, 풀어야 할 문제 등 다양한 학습 자료와 함께 사용되어 왔습니다. 
SE appears to be useful for complex problems or less familiar, when the student’s knowledge still needs deepening and revision (Chi et al. 1994; Wong et al. 2002; Chamberland et al. 2013). If the student understands perfectly the problem and there is no room for more learning, there is no benefit of engaging in self-explaining. SE helps build knowledge and does not automatize it. The benefits of SE on learning such as supporting student’s development of deep interconnected and coherent knowledge, has been shown in several domains (Chi 2000; Richey and Nokes-Malach 2015). SE has been used in computer-based instruction and with different learning materials such as text, diagrams, worked-examples, and problems to solve.

의학에서 SE는 진단적 추론을 기르기 위한 교육 기법으로 학부생을 대상으로 실험적으로 연구되었습니다. 익숙하지 않은 사례를 풀면서 SE를 사용한 학생들은 추가 지시 없이 조용히 사례를 풀었던 학생들에 비해 더 나은 진단 성과를 보였습니다(Chamberland 외. 2011). 학생들이 생성한 SE의 내용 분석에 따르면 익숙한 사례에 비해 덜 익숙한 사례를 접할 때 더 많은 생의학 지식 또는 기본 메커니즘(원리 기반 SE)을 재활성화하여 질병 스크립트의 일관성을 높여 더 나은 진단을 내리는 데 도움이 될 수 있는 것으로 나타났습니다(Chamberland 외. 2013). 이는 진단 추론을 향상시키기 위해 학습하는 동안 생물 의학 지식을 임상 지식과 제공/연결하는 것이 중요하다는 이전 연구와 일치합니다(Wood et al. 2007). 
In medicine, SE has been studied experimentally in undergraduate students as an instructional technique to foster diagnostic reasoning. Students who used SE while solving lesser familiar cases showed better diagnostic performance when compared to students who had solved cases in silence without further instructions (Chamberland et al. 2011). Content analysis of SE generated by students indicated that when facing lesser familiar cases in comparison with familiar cases, they reactivated more biomedical knowledge or underlying mechanisms (principle-based SE), which could help them increase coherence of their illness scripts thus leading to better diagnosis (Chamberland et al. 2013). This is in line with previous studies showing the importance of providing/linking biomedical knowledge with clinical knowledge while learning to increase diagnostic reasoning (Wood et al. 2007).

진단적 추론을 키우기 위해 SE를 잘 설계한 활동은 학생들이 학습 자료를 사용하는 동안 다음을 요구할 것입니다.

  • 사전 지식을 재활성화하고,
  • 현재 지식을 정교화하고 설명을 제공하며,
  • 문제의 임상 요소와 관련 기본 메커니즘 또는 원리를 연결하도록 

결과적으로 학생은 질병에 대한 자신의 표현을 수정할 수 있을 뿐만 아니라 후속 학습을 안내하기 위해 지식의 모호성과 격차를 인식할 수 있습니다(Chamberland 외. 2015, 2020; 예시는 부록 1 참조). 
A well-designed activity using SE to foster diagnostic reasoning will require students, while working with the learning material, to reactivate prior knowledge, to elaborate on current knowledge and provide explanations, making links between the clinical elements of the problem and relevant underlying mechanisms or principles. Consequently, it will allow the student to revise his/her representation of diseases as well as to recognize ambiguities and gaps in knowledge to guide subsequent learning (Chamberland et al. 2015, 2020; see Appendix 1 for an example).

SE를 준비하고 도입하는 방법은?
How to prepare and introduce SE?

SE는 독립적인 기법이 아니라 학습을 지원하기 위해 다양한 방식으로 통합될 수 있는 일반적인 지식 구축 전략입니다. 지금까지 학생들의 임상 추론 발달을 촉진하기 위한 SE 연구는 주로 학생들이 해결해야 하는 임상 사례를 학습 자료로 사용했습니다.
SE is not a stand-alone technique but rather a general knowledge building strategy that could probably be incorporated in many ways to support learning. So far, studies on SE to promote development of clinical reasoning among students have mainly used clinical cases that students were required to solve as learning materials.

학습 자료
Learning material

임상 사례
Clinical cases

  • 학부생의 경우, 모든 임상 정보(전체 증례)를 제공하는 임상 증례를 통해 인지 부하를 관리하면서 SE에 참여할 수 있습니다.
  • 자료를 설계할 때 학습자의 수준과 주어진 임상 문제에 대한 사전 지식을 고려합니다. 학생들은 문제와 관련된 질병에 대한 충분한 사전 지식이 있어야 하며, 일관된 질병 스크립트를 작성하고 이러한 질병에 대한 생의학 지식을 통합하는 초기 단계에 있을 것으로 예상됩니다.
  • 임상 사례는 학생에게 적절한 수준의 난이도를 가져야 하며, 이를 통해 학생의 이해를 심화시키고 지식을 구축/수정할 수 있는 충분한 여지가 있어야 합니다(Chamberland 외. 2011, 2013).
  • 케이스를 준비하려면 현재 활동을 담당하는 교사와 커리큘럼의 이전 관련 섹션을 담당하는 교사 간의 협력이 필요하며, 가능하면 비슷한 수준의 교육을 받은 학생을 대상으로 난이도를 테스트하거나 처음 사용한 후 체계적으로 모니터링하여 난이도를 검증할 수 있습니다.
  • 사례는 종이 기반 형식 또는 전자 플랫폼에서 사용할 수 있습니다.
  • For undergraduate students, clinical cases providing all the clinical information (whole case) allow them to engage in SE while managing cognitive load.
  • Consider the level of the learners and their prior knowledge for a given clinical problem in designing the material: students should have sufficient prior knowledge on diseases relevant to the problem and expected to be at the early stage of building coherent illness scripts and integrating biomedical knowledge for these diseases.
  • Clinical cases should be of appropriate level of difficulty for students so that there is enough room for deepening their understanding and build/revise their knowledge (Chamberland et al. 2011, 2013).
  • Cases preparation then requires collaboration between teachers responsible of the current activity and of previous relevant sections of the curriculum; validation of the level of difficulty might be tested with students of similar level of training if possible or systematically monitored once first used.
  • Cases can be used with a paper-based format or on an electronic platform.

SE에 대한 일반적 연구와 다른 영역의 연구를 고려할 때, 실습 사례(Dyer 외. 2015), 개념도, 컴퓨터 멀티미디어(텍스트 및 도표) 임상 사례, 라이브 또는 녹화된 강의 섹션 등 다양한 자료와 함께 SE를 사용하면 학생들에게 도움이 될 것으로 기대할 수 있습니다. 
Considering the research on SE in general and in other domains, we could expect that students would benefit from using SE with a variety of materials such as worked examples (Dyer et al. 2015), concept maps, computer multi-media (texts and diagrams) serial-cues clinical cases, and sections of a live or recorded lecture.

학생에게 SE 소개하기
Introducing SE to students

SE는 학생들에게 어려운 과제이며 자발적으로 사용하지 않습니다. 학생들에게 SE에 대해 교육하는 것은 유익한 것으로 보입니다. 교육은 짧을 수 있지만 다음 등을 제공해야 합니다.

  • SE의 정의와 사용 근거(학생들이 임상 추론과 관련된 지식을 쌓고 심화시키는 데 어떻게 도움이 되는지),
  • 제안된 학습 자료로 학생이 직접 설명하는 예시, 학생들이 연습할 수 있는 기회 

경험상 SE가 학습에 미치는 이점을 최적화하려면 학생은 SE가 평가 도구가 아닌 학습 전략이라는 점을 이해해야 합니다. SE는 정답을 제공하는 것이 아니며 구두 시험도 아닙니다. 학생은 '안전한 공간'에서 자신의 지식의 한계를 탐구하고 부족한 부분을 파악할 수 있도록 스스로 설명하면서 '학습하는 자세'를 취해야 합니다. 교사는 학생들의 참여를 극대화하기 위해 요구 사항을 명확히 해야 합니다. 선택 사항이 아닌 필수 사항으로 지정하고, 자기 설명에 소요할 최소한의 시간을 요구해야 합니다. 
SE is a challenging task for students, and they do not use it spontaneously. Training students on SE appears beneficial. Training may be short but should provide:

  • a definition of SE and rationale for using it (how it helps students build and deepen knowledge relevant to clinical reasoning);
  • an example of a student self-explaining with the proposed learning material and opportunity for students to practice.

In our experience, in order to optimize the benefit of SE on learning, students must understand that SE is a learning strategy and not an assessment tool. SE is not about providing the right answer, nor it is an oral examination. Students must adopt a ‘learning position’ while self-explaining allowing them to explore the limits of their own knowledge and identify gaps in a ‘safe space’. Teachers should make the requirements clear to maximize students’ engagement: do not make it optional but mandatory and ask for a minimum time spent self-explaining.

과제를 어떻게 수행하나요?
How to perform the task?

SE는 선험적으로 개별 학습 활동입니다. 모든 학생이 새로운 학습 자료를 접할 때 자연스럽게 SE를 하는 것은 아닙니다. 활동 중에 프롬프트를 통합하면 더 많은 SE, 특히 원리 기반 SE를 생성하도록 장려할 수 있습니다. 예를 들어,

  • 선택한 학습 자료가 해결해야 할 임상 사례인 경우, 학생에게 먼저 조용히 사례를 읽도록 하여 적절한 사전 지식을 다시 활성화할 수 있도록 도울 수 있습니다.
  • 그런 다음 자료에 포함된 프롬프트에 따라 사례를 다시 살펴보면서 사례에 제시된 임상 결과를 체계적으로 스스로 설명하도록 초대합니다.

SE is a priori an individual learning activity. All students do not naturally self-explain when engaging with new learning materials. Incorporating prompts during the activity encourage them to generate more SE and in particular principle-based SE. For instance,

  • if the learning material chosen is a to-be-solved clinical case, the student may be first invited to read the case in silence to help him begin reactivating appropriate prior knowledge.
  • Then, going again through the case, guided by prompts included in the material, he is invited to self-explain systematically the clinical findings presented in the case.

다양한 유형의 프롬프트는 구조 또는 지시성의 정도가 다릅니다(Wylie and Chi 2014; Renkl and Eitel 2019): 개방형 프롬프트는 학생이 생성된 SE의 유형을 제한하지 않고 사전 지식과 새로 제시된 정보를 연결하도록 장려합니다. 임상 사례에 사용할 수 있는 개방형 프롬프트의 예는 표 1에 나와 있습니다. 활동 중 또는 활동 후에 학생에게 다른 학생의 SE 사례 또는 문제 해결 방법과 같은 추가 리소스가 제공되는 경우, 학생이 이 새로운 정보에 참여하도록 유도하는 프롬프트가 도움이 될 수 있습니다(Nokes 외. 2011). 이러한 프롬프트의 예는 표 1에 나와 있습니다.
Different types of prompts provide different degrees of structure or directedness (Wylie and Chi 2014; Renkl and Eitel 2019): open-ended prompts encourage students to make connections between prior knowledge and the new presented information without constraining the type of SE generated. Examples of open-ended prompts that could be used with clinical cases are provided in Table 1. If the student is provided with additional resource during or after the activity, such as an example of SE from another student or solution of the problem, prompts that invite students to engage with this new information may be helpful (Nokes et al. 2011). Examples of such prompts are provided in Table 1.


학생들은 SE를 어떻게 표현할까요?

  • 임상 추론에 대한 SE는 학생들이 자신의 설명을 말로 표현하는 방식으로 가장 많이 연구되었습니다. 이는 구현에 추가적인 어려움이 될 수 있지만, 언어화는 학생에게 자연스러운 것으로 인식되며(Chebbihi 외., 2019), 학생의 추가적인 인지적 참여를 요구함으로써 침묵 속에서 스스로 설명하는 것과 비교할 때 학습을 향상시키는 것으로 보입니다(De Bruin 외., 2007).
  • 또는 학생에게 SE를 작성하도록 요청할 수도 있습니다. SE 및 임상 추론에 대한 많은 연구에서 SE 과정에 대한 피드백이 제공되지 않았습니다. 이 문제는 실질적인 도전이 될 수 있습니다. 2년에 걸쳐 종단적 활동으로 SE를 구현한 경험에서 학생들은 SE 활동을 반복함으로써 SE를 연습하고 이 전략에 익숙해질 수 있었다고 보고했습니다.
  • (교수자는) 학생들이 SE한 콘텐츠 지식에 대한 피드백을 제공할 수 있습니다. 연습 후 정확한 진단만 제공한 연구에서는 매우 유사한 후속 사례를 해결하는 데는 유용했지만 다른 사례에는 유용하지 않았습니다(Chamberland 외. 2019). SE에서 피드백의 역할에 대한 이 문제는 추가 연구가 필요합니다.

How will students express their SE?

  • SE for clinical reasoning has been most studied with students verbalizing their explanations. Even though this might represent an additional challenge for implementation, verbalization is perceived as natural for students ( Chebbihi et al., 2019) and appears to improve learning when compared to self-explaining in silence (De Bruin et al. 2007) by requiring further cognitive engagement from the student.
  • Alternatively, students may be asked to write their SE. No feedback on the process of SE has been provided in many studies on SE and clinical reasoning. This issue would represent a practical challenge. In our experience implementing SE with a longitudinal activity over 2 years, students reported that the recurrence of the SE activity allowed them to practice SE and get familiar with this strategy.
  • Feedback on the content knowledge on which students self-explain may be provided. A study providing only the correct diagnosis after the exercise was useful to solve subsequent very similar cases but not for different cases (Chamberland et al. 2019). This issue of the role of feedback in SE needs further research.

SE를 커리큘럼에 통합하는 방법은 무엇인가요?
How to integrate SE into the curriculum?

SE와 임상 추론에 대한 연구는 주로 4년제 커리큘럼을 갖춘 의과대학에서 이루어졌으며, 3학년 의대생이 개별적으로 종이 증례 책자를 가지고 실습을 하는 방식으로 진행되었습니다. 그러나 학습자의 수준에 맞게 학습 자료가 조정된다면 현지 커리큘럼 설계에 따라 SE를 더 일찍 도입할 수도 있습니다. 5년 또는 6년 커리큘럼의 학교에서는 이미 강의 수업을 통해 질병에 대한 지식을 접했지만 임상 경험이 많지 않은 학생들을 참여시키는 것이 적절할 것입니다. 실제로 학부 수준에서 임상 추론을 가르치는 것에 대한 서술적 검토를 마무리하는 슈미트와 마메데의 제안은 SE가 초보 학생들에게 적합할 수 있다고 제안했습니다(슈미트 및 마메데 2015). 지금까지 실제 교육 상황에서 SE를 구현한 데이터는 아직 제한적입니다(Chamberland 외. 2020; Kelekar와 Afonso 2020). 
Research on SE and clinical reasoning have mainly occurred in medical schools with a 4-year curriculum and involved third-year medical students in clerkship working individually with booklets of paper cases. However, SE may be introduced earlier depending on the local curriculum design as long as the learning material is adapted to the level of the learners. In schools with 5-or 6-year curricula, it would be appropriate to engage students who have already been exposed to knowledge of diseases through didactic activities but do not have much clinical experience with them. Indeed, Schmidt and Mamede’s proposal concluding their narrative review on teaching clinical reasoning at undergraduate level, suggested that SE could suit well novice students (Schmidt and Mamede 2015). So far, data on implementation of SE in authentical educational context are still limited (Chamberland et al. 2020; Kelekar and Afonso 2020).

SE는 선험적으로 개인의 건설적인 학습 활동이지만, 학생이 먼저 자신의 사전 지식을 가지고 작업하고 스스로 설명을 생성 할 수있는 충분한 공간이 제공된다면 다른 사람 (예 : 가까운 동료)과의 상호 작용을 추가하는 것이 유익 할 수 있습니다 (Chamberland et al. 2015, 2020). 실험 조건에서 동일한 사례에 대해 또래에 가까운 SE의 설명을 들었을 때 학생들의 진단 성능이 더욱 향상되었습니다(Chamberland 외. 2015). 후속 질적 연구에서 3학년 학생들은 후배 레지던트의 SE를 추가적인 외부 자원으로 사용했다고 보고했습니다. 짝지은 상호작용도 학습에 도움이 될 수 있습니다(Rotgans and Cleland 2021). 
While SE is a priori an individual constructive learning activity, the addition of interactions with others (e.g. near-peers) (Chamberland et al. 2015, 2020) might be beneficial (Chi 2018) if the student is provided with enough space to work first with his/her own prior knowledge and generate for himself explanations. Under experimental conditions, diagnostic performance of students was further increased by listening to a near-peer SE on the same case (Chamberland et al. 2015). In a subsequent qualitative study, third-year students reported that they used the junior resident’s SE as an additional external resource. Interactions in dyads could also be beneficial for learning (Rotgans and Cleland 2021).

임상 추론 매핑 연습
Clinical reasoning mapping exercise

개념 지도란 무엇인가요?
What is it?

[개념 지도]의미를 만드는 단어 또는 명제로 연결된 상호 연관된 개념 집합을 그래픽으로 표현한 것으로, 개념 집합의 의미에 대한 학습자의 이해를 나타냅니다(Novak and Cañas 2006). 개념 맵을 사용한 연습은 지식 조직화와 비판적 사고를 촉진합니다(West 외. 2000; Torre 외. 2007; Daley와 Torre 2010). 교수자가 제공하는 지시성의 정도에 따라 두 가지 주요 매핑 전략이 개념 맵을 사용한 교수 및 학습에 사용될 수 있습니다(Ruiz-Primo 및 Shavelson 1996). 개념 지도의 지시성지도를 구성하기 위해 학습자에게 제공되는 정보의 양을 의미합니다.

  • 저-지시성 맵(학습자 주도형)은 개념, 연결어, 맵의 구조가 학습자에 의해 구성되는 학습자에 의해 전적으로 생성되는 개념 맵이 특징입니다(Novak and Gowin 1984).
  • 고-지시성 맵(교사 주도형)은 교사가 지도의 구성 요소(노드 또는 링크)를 개발한 다음 학생에게 노드의 내용을 채우고, 노드를 연결 단어로 연결하거나 두 가지를 조합하는 과제를 제공하는 기법입니다. (Schau와 Mattern 1997).

A concept map is a graphic representation of a set of interrelated concepts linked by meaning-making words or propositions that depicts the learner’s understanding of the meaning of a set of concepts (Novak and Cañas 2006). Exercises with concept maps foster knowledge organization and critical thinking (West et al. 2000; Torre et al. 2007; Daley and Torre 2010). Two main different mapping strategies, based on the degree of directedness provided by the instructor, can be used in teaching and learning with concepts maps (Ruiz‐Primo and Shavelson 1996). Directedness of a concept map refers to the amount of information that is provided to the learners for the construction of the map.

  • A low degree of directedness (learner driven) map is characterized by a concept map that is entirely created by the learner in which concepts, linking words and structure of the map are constructed by the learner (Novak and Gowin 1984).
  • A high degree of directedness map (teacher driven) is a technique in which components of the map (either nodes or links) are developed by the teacher and then provided to the student who has the task of filling in content of the nodes, connecting the nodes with linking words or a combination of both. (Schau and Mattern 1997).

CReSME는 높은 수준의 지시성을 가진 개념 지도입니다(Torre et al., 2019). CResME는 임상 및/또는 기초 과학 정보를 포함하는 노드를 사용하므로 학습자는 이러한 정보 노드를 정확하고 의미 있는 방식으로 연결하여 여러 영역에서 동일한 증상으로 나타나는 여러 질병의 주요 특징(예는 부록 2 참조)을 비교 및 대조할 수 있습니다. 
The CReSME is a concept map with high degree of directedness (Torre et al., 2019). The CResME uses nodes that contain clinical and/or basic sciences information, requiring learners to connect these nodes of information in an accurate and meaningful way, allowing to compare and contrast, across multiple domains, key features of different diseases (see Appendix 2 for an example) presenting with the same complaint.

CReSME를 준비하고 도입하는 방법은 무엇인가요?
How to prepare and introduce the CReSME?

그 근거는 학생들에게 유사한 증상을 보이는 여러 질병의 전형적인 임상 특징을 비교하고 대조할 수 있도록 미리 구성된 스캐폴딩 구조를 제공하여 궁극적으로 동일한 증상을 보이는 질병에 대한 질병 스크립트 개발을 촉진하기 위한 것입니다.
The rationale is to provide students with a pre-constructed scaffolding structure to facilitate the comparing and contrasting of typical clinical features of different disease with a similar presentation, to ultimately foster the development of illness scripts for disease entities presenting with the same complaint.

학습 자료
Learning materials

  • 사례 발표는 의도적으로 환자의 주요 불만 사항만 포함합니다. 예를 들어 55세 남성 환자가 급성 흉통을 호소한다고 가정해 보겠습니다.
  • 맵 콘텐츠는 동일한 주호소(급성 흉통)를 가진 질병에 대한 주요 정보가 포함된 미리 구성된 노드 집합으로 시각적으로 표시됩니다.
  • 학습자는 연습의 맨 아래에 있는 빈 노드를 완성하여, 스크립트의 일부를 포함하는 노드 간의 일련의 정확한 연결과 일치하는 진단을 제공해야 합니다.
  • 해결해야 할 완전한 임상 사례는 존재하지 않으므로, 환자의 주요 증상에 대한 감별 진단을 구성할 수 있는 3~5개의 질병 실체의 원형 구성 요소를 정확하게 식별하고 연결하는 것 외에는 하나의 정답이 존재하지 않습니다. 강사 CREsME 기법 설계의 단계는 표 2에 나와 있습니다. 
  • The case presentation purposefully entails only the chief complaint of a patient. For example, a 55-year-old male patient presenting with acute chest pain.
  • The map content is displayed visually as a preconstructed set of nodes with key information about the diseases that all present with the same chief complaint (acute chest pain).
  • The learner needs to provide a diagnosis consistent with a series of accurate connections among the nodes containing parts of the script, by completing the empty nodes at the bottom of the exercise.
  • Since there is no complete clinical case-to-be-solved, there is not a single best answer but the accurate identification and connections of prototypical components of three to five disease entities that may constitute a differential diagnosis for the patient’s chief complaint. Instructor Steps in the design of the CREsME technique are provided in Table 2.


CReSME와 같이 지시성이 높은 개념 지도교사의 세심한 준비가 필요합니다.

  • 실제로 개발하는 데 몇 시간이 걸릴 수 있으며, 콘텐츠의 정확성과 관련성 및 노드 간의 연결성을 보장하기 위해 교수진 그룹이 검토해야 합니다.
  • 교수진은 가능한 모든 연결 고리를 파악하고, 적절한 난이도를 측정하고, 토론을 통해 합의에 도달해야 합니다.
  • CReSME 기법을 학생들에게 소개해야 하며, 강사는 연습을 개발하거나 완료하는 목적, 코스 또는 학습할 자료에 어떻게 부합하는지 설명하고 화이트보드 또는 컴퓨터 매핑 시스템을 사용하여 해결하는 방법을 시연해야 합니다.
  • 이전에 개발한 CReSME의 예시를 학생들에게 제시하여 학생들이 검토하고 질문하며 과제를 완료하는 방법을 이해할 수 있도록 하는 것이 도움이 됩니다. 그런 다음 학생에게 종이 또는 전자 방식으로 샘플 연습을 할 수 있는 기회를 제공해야 합니다. 이러한 입문 세션은 1~2시간 정도 소요될 수 있으며 필요한 경우 반복할 수 있습니다.

A high directedness concept map like the CReSME requires careful preparation by the teacher.

  • Indeed, it may take a few hours to develop and should be reviewed by a group of faculty to ensure accuracy and relevance of the content and the connections among nodes.
  • The faculty should identify all possible connections, gage the appropriate level of difficulty, and come to a consensus through discussion.
  • the CReSME technique needs to be introduced to students and the instructor should explain the purpose of developing or completing the exercise, how it fits into the course or material to be learned, and demonstrate how to solve it on a whiteboard or using a computer mapping system (http://cmap.ihmc.us/).
  • It is helpful to present the students with an example of a CReSME previously developed, so that they can review, ask questions, and understand how to complete the task. Subsequently, students should be given the opportunity to practice on a sample exercise, on paper or electronically. Such an introductory session may last 1–2 h and can be repeated if needed.

CReSME는 어떻게 수행하나요?
How to perform a CReSME?

학생들은 다양한 콘텐츠에 대한 CReSME를 이수하도록 배정될 수 있습니다. 콘텐츠는 기초 과학에서 임상 과학에 이르기까지 다양합니다. 대부분의 경우 기초 과학과 임상 과학 콘텐츠가 동일한 연습에 통합되어 있습니다(예: 미생물학, 약리학, 병태생리학, 임상적 특징 및 발열을 보이는 질병 개체의 진단 워크업을 통합한 연습). 경험상 20~30분은 학생이 하나의 CReSME를 완료하는 데 적당한 시간입니다. 그러나 이는 복잡성 수준, 연결해야 하는 노드 및 연결의 수, 학생이 비교하고 검토해야 하는 질병 엔티티의 수에 따라 달라질 수 있습니다. CReSME를 완성하는 것은 개별적으로 또는 소규모 학습자 그룹(그룹당 5~6명의 학생)이 공동으로 작업하여 수행할 수 있습니다. 마찬가지로, 그룹 개념 매핑(Torre 외. 2017; Peñuela-Epalza 및 De la Hoz 2019)과 마찬가지로, 각 그룹은 연습을 완료하고 다른 그룹과 그 근거를 공유할 수 있습니다. 그룹 환경에서 학생들은 서로 질문하고, 구체적이거나 더 어려운 연결고리에 대한 설명을 제공하고, 의미와 상호 이해를 공동으로 구성하는 과정에 참여할 수 있습니다. 
The students can be assigned to complete a CReSME on a variety of contents Content may range from basic sciences to clinical sciences. Most often, basic and clinical sciences content are integrated within the same exercise (e.g. an exercise integrating microbiology, pharmacology, pathophysiology, clinical features, and diagnostic workup of disease entities presenting with fever). In our experience, 20–30 min is a reasonable amount of time for a student to complete one CReSME. But this will depend on its level of complexity, the number of nodes and connections that need to be made and the number of disease entities that will have to be compared and reviewed by students. The completion of a CReSME may be accomplished individually or by a small group of learners working collaboratively (five to six students per group). Similarly, to group concept mapping (Torre et al. 2017; Peñuela-Epalza and De la Hoz 2019), each group can complete the exercise and share their rationale with other groups. In a group setting, the students can ask questions to each other, provide explanations for specific or more challenging links and engage in a process of co-construction of meaning and mutual understanding.

이 교육 기법은 피드백의 기회를 제공합니다. 다음은 몇 가지 제안 사항입니다:
This instructional technique offers opportunities for feedback. Here are some suggestions:

  1. 교사는 학생들이 CReSME 결과를 공유하고 비교할 수 있는 세션을 계획하고, 제안된 근거와 정당성의 차이에 대해 토론하고 반성하며, 교사가 큰 소리로 생각하고 자신의 사고 과정을 모델링하여 정보 노드 간의 각 연결 집합에 대한 근거와 정당성을 설명할 수 있습니다. 이 과정을 녹화한 다음 학습자와 전자적으로 공유하면 학습자는 자신의 속도와 시간에 맞춰 액세스하여 들을 수 있습니다.
    The teacher may plan a session where students can share and compare their CReSME results; discuss and reflect on differences in rationale and justifications proposed; the teacher can think aloud and model his or her thinking process, explaining the rationale and the justification for each set of connections among nodes of information. This process can be recorded and then shared electronically with the learners who can access it and listen to it at their own pace and time.
  2. 교사는 학습자의 연습 문제를 검토한 후 일반적인 오해나 지식 격차를 파악하고 전체 학급을 대상으로 한 후속 교육 세션에서 해당 개념을 명확히 설명할 수 있습니다.
    The teacher, after reviewing exercises from learners, may identify common misconceptions or knowledge gaps and clarify those concepts in a subsequent teaching session for the whole class.
  3. 교사는 어려움을 겪고 있는 학생을 개별적으로 만나 특정 연결 또는 잘못된 링크의 근거에 대해 문의하고 구체적인 피드백을 제공할 수 있습니다.
    The teachers can meet individually with struggling students, inquire about the rationale for specific connections or invalid links and provide specific feedback.
  4. 교사는 '참조' CReSME를 개발하여 학생들과 공유하고 동기식 또는 비동기식 방식으로 완료한 연습과 비교하여 검토하도록 권장할 수 있습니다.
    The teacher can develop and share with students a ‘reference’ CReSME and encourage them to review and compare it with their completed exercise in a synchronous or asynchronous manner.

커리큘럼에 CReSME를 통합하는 방법은 무엇인가요?
How to integrate the CReSME into the curriculum?

CReSME는 코스, 모듈 및 임상 실습 로테이션 전반에 걸쳐 기초 및 임상 과학을 통합하는 데 사용할 수 있습니다. 콘텐츠를 통합할 뿐만 아니라 시간이 지남에 따라 학생의 지식 구조 발달을 모니터링하는 데에도 종단적으로 사용할 수 있습니다. 다양한 콘텐츠로 임상 추론 매핑 연습을 구성하고 난이도를 높이면 시간이 지남에 따라 학습자의 성장과 궤적을 추적할 수 있습니다. 
The CReSME could be used to integrate basic and clinical sciences, across courses, modules and clerkship rotations. It can be used longitudinally not only to integrate content but also to monitor the student development of knowledge structures over time. The construction of clinical reasoning mapping exercises with different content, and increasing level of difficulty may allow to follow the growth and trajectory of the learner over time.

의도적인 성찰
Deliberate reflection

DR이란 무엇인가요?
What is it?

원래 의사의 진단 능력을 향상시키기 위한 도구로 개발 및 테스트된 DR은 임상 추론을 가르치기 위한 교육적 접근 방식으로도 활용되고 있습니다. 이 접근 방식은 임상 사례를 진단하는 동안 반성을 장려하고 안내하며, 학생들이 사례에 대한 대체 진단을 체계적으로 비교하고 대조하도록 요구합니다. DR의 목적은 임상 사례에 제시된(또는 관련된) 질병에 대한 정신적 표현의 발달을 촉진하여 향후 새로운 사례에서 질병을 접할 때 이를 더 쉽게 인식할 수 있도록 하는 것입니다. 
DR, originally developed and tested as a tool to improve physicians’ diagnostic performance, has also been employed as an instructional approach for the teaching of clinical reasoning. The approach encourages and guides reflection during the diagnosis of clinical cases, requiring students to compare and contrast alternative diagnoses for the case in a systematic way. The purpose of DR is to foster the development of the mental representations of the diseases presented in (or related to) the clinical cases, making it easier to recognize them when they are encountered in new cases in the future.

DR을 교육 기법으로 사용할 경우, DR은 학생들에게 임상 사례를 하나씩 제시하고 표 3에 설명된 일련의 단계에 따라 사례를 진단하도록 요구합니다. 일반적으로 학생들은 단계를 제시하는 표를 작성하여 사례를 되돌아봅니다. 이는 고려 중인 각 진단에 대한 찬성과 반대의 전체 증거를 동시에 시각화하는 데 중요한 역할을 합니다(예는 부록 3 참조). 
When employed as instructional technique, DR presents students with clinical cases, one by one, and requires them to diagnose the case by following the series of steps outlined in Table 3. Usually, students reflect upon the case by filling in a table which presents the steps. This seems important to help visualize the whole evidence in favor and against each diagnosis under consideration simultaneously (see Appendix 3 for an example).

DR은 다음을 포함하는 의학에서의 5차원 반성적 진료 모델을 기반으로 합니다(Mamede and Schmidt 2004).

  • (i) 의도적 귀납,
  • (ii) 의도적 연역,
  • (iii) 테스트 및 종합,
  • (iv) 성찰을 위한 개방성,
  • (v) 메타추론(메타추론)

DR 절차는 임상의가 사례에 대해 고려한 초기 진단의 근거를 비판적으로 조사하고, 가능한 대안을 검토하도록 안내함으로써 이러한 차원을 진단 프로세스에 '적용'합니다. 의사를 대상으로 한 연구에서 DR은 진단 오류를 줄이고, 추론의 편견에 대응하며, 성과를 개선하는 것으로 반복적으로 나타났습니다(Mamede 외. 2008, 2010). 여러 연구에서도 임상 추론 교육에 DR을 사용하는 것을 뒷받침하는 증거를 제시했습니다(Mamede 외. 2012, 2019, 2020; Myung 외. 2013; Ibiapina 외. 2014) 이러한 실험 연구에서 임상 사례로 실습하는 동안 DR을 사용한 학생들은 향후 진단 과제에서 감별 진단을 내리는 등 보다 전통적인 접근 방식을 사용하여 실습한 학생들보다 더 나은 성과를 냈습니다. DR의 이러한 긍정적인 효과는 질병 스크립트 개발에서 임상 문제에 대한 노출이 핵심적인 역할을 한다는 의료 전문성의 단계 이론(Schmidt 외. 1990)과 스키마 구성에 있어 사례 비교 및 대조가 이점을 제공한다는 심리학 연구(Gentner 외. 2009)와도 일치합니다. 그러나 기존의 거의 모든 경험적 증거는 실험실 조건에서 수행된 연구에서 나온 것이며, 실제 커리큘럼에서의 구현과 관련하여 검토해야 할 사항이 많이 남아 있습니다. 
DR is based on a five-dimension model of reflective practice in medicine that involves:

  • (i) deliberate induction,
  • (ii) deliberate deduction,
  • (iii) testing and synthesizing,
  • (iv) openness for reflection, and
  • (v) meta-reasoning (Mamede and Schmidt 2004).

The DR procedure ‘applies’ these dimensions to the diagnostic process by guiding clinicians through critical scrutiny of the grounds of the initial diagnosis considered for a case and the examination of possible alternatives. In studies with physicians, DR has repeatedly shown to reduce diagnostic errors, counteract bias in reasoning and improve performance (Mamede et al. 2008, 2010). Several studies have also provided evidence supporting the use of DR for the teaching of clinical reasoning (Mamede et al. 2012, 2019, 2020; Myung et al. 2013; Ibiapina et al. 2014) In these experimental studies, students who employed DR while practicing with clinical cases outperformed, in future diagnostic tasks, students who practiced by using more conventional approaches such as producing a differential diagnosis. This positive effect of DR is consistent with the stage theory of medical expertise (Schmidt et al. 1990), which attributes a key role to exposure to clinical problems in the development of illness scripts, and with psychological research showing the benefits of comparing and contrasting examples for the construction of schemas (Gentner et al. 2009). However, almost all existing empirical evidence comes from research conducted under laboratory conditions, and much remains to be examined regarding implementation in actual curricula.

DR을 준비하고 도입하는 방법은?
How to prepare and introduce DR?

DR은 학생들에게 다양한 임상 문제를 접하고 이러한 문제에 대한 대체 진단을 체계적으로 비교하고 대조할 수 있는 기회를 제공하기 위한 실습에 사용해야 합니다.
DR is to be used in exercises aimed at offering students the opportunity to encounter a variety of clinical problems and to systematically compare and contrast alternative diagnoses for these problems.

학습 자료
Learning materials

  • 임상 양상은 비슷하지만 진단명이 다른 질병을 나타내는 3~5개의 임상 사례 세트(예: 흉통을 주요 증상으로 하는 서로 다른 질병). 유사한 질병을 나란히 배치하여 학생들이 유사점과 차이점을 식별하고 대체 진단을 구별하는 데 도움이 되는 소견에 대한 지식을 습득할 수 있습니다.
    Sets of three to five clinical cases presenting diseases with similar clinical presentation but different diagnoses (e.g. different diseases with chest pain as chief complaint). Juxtaposing lookalike diseases allows students to identify similarities and differences between them and acquire knowledge of findings that help distinguish between alternative diagnoses.
  • 학생들은 이미 교육 활동을 통해 사례에 제시된 질병에 대한 지식에 노출되었지만 임상 경험이 많지 않아야 합니다. DR은 학생들이 이미 기억에 저장해 둔 지식을 동원하고 재구성하도록 촉진하는 방식으로 작동하기 때문입니다. 학생들이 반성 과제에 가져올 사전 지식이 충분하지 않으면 이 과제의 이점을 얻지 못합니다(Mamede et al). 반면에 학습자에게 사례가 너무 쉽거나 임상에서 이미 유사한 임상 증상을 보이는 환자를 많이 접한 경우, 질병 스크립트를 다듬을 여지가 없어 과제가 그다지 도전적이고 동기 부여가 되지 않을 수 있습니다. 
    Students should already have been exposed to knowledge of the diseases presented in the cases through didactic activities but do not have much clinical experience with them. This is so because DR works by mobilizing and fostering reorganization of knowledge that students already have stored in memory. When students do not have sufficient prior knowledge to bring to the reflection task, they do not benefit from it (Mamede et al). On the other hand, if cases are too easy for the learners and/or they have already encountered many patients with similar clinical presentation in clinical years, there is possibly no room for refining their illness scripts, and the task may be not so challenging and motivating.
  • DR에 대한 기존 연구는 학생들에게 진단에 도달하는 데 필요한 모든 정보를 제공하는 임상 사례를 사용했습니다. DR에는 상당한 정신적 노력이 필요하므로(Ibiapina 2014; Mamede 외. 2020), 합리적인 수준으로 유지되어야 합니다. DR 연습의 목표는 실제 사례의 복잡성을 재현하는 것이 아니라, 학생이 학습해야 하는 핵심 정보에 집중하는 것임을 명심하는 것이 중요합니다. 학생들이 커리큘럼을 진행함에 따라 사례 형식의 복잡성은 점차 증가할 수 있습니다. 그러나 예를 들어 학생이 진단에 도달하기 위해 필요한 정보를 독립적으로 수집해야 하는 사례에서 DR이 어떻게 작동할지는 아직 결정되지 않았습니다. 
    Existing research with DR has used clinical cases that provide students with all the information required to reach a diagnosis. DR involves considerable mental effort (Ibiapina 2014; Mamede et al. 2020), which should be kept at reasonable level. It is important to keep in mind that the goal of the DR exercise is not to replicate the complexity of real cases but rather focus on key information that the student is expected to learn. As students progress through the curriculum, complexity of the cases’ format may gradually increase. However, how DR would work, for example, with cases that require the student to independently gather the necessary information to reach the diagnosis, is still to be determined.
  • DR의 형식(아래 참조)에 따라 임상 사례는 반성 시 고려해야 할 대체 진단에 대한 단서와 함께 제시되어야 합니다.
    Depending on the format of DR (see below), the clinical cases should be presented together with cues on the alternative diagnoses to be considered during reflection or not.

종이 기반 또는 가상 임상 사례의 사용 가능성, 임상 사례 준비 과정 및 교사의 역할과 관련하여 SE에 적용되는 사항은 DR 학습 자료에도 적합합니다. 
What applies to SE regarding the possibility to use paper-based or virtual clinical cases, the process for the preparation of the clinical cases and the role of the teacher, is also pertinent for the learning materials for DR.

학생들에게 DR 소개
Introducing DR to students

DR은 많은 노력이 필요하며(Ibiapina 외. 2014; Mamede 외. 2019), 학생들이 과제에 완전히 참여할 수 있는 기회를 극대화하려면 DR이 임상 추론에 미치는 잠재적 이점에 대해 알려주고 DR 테이블을 완성한 예를 보여줘야 합니다.
DR is effortful (Ibiapina et al. 2014; Mamede et al. 2019) and to maximize the chance that students engage fully in the task, they should be informed about the potential benefits from DR to clinical reasoning and shown examples of the completion of DR tables.

DR은 어떻게 수행하나요?
How to perform DR?

DR은 지금까지 학생들이 개별적으로 절차를 사용하여 연구해 왔지만 그룹으로 진행하지 못할 이유가 없으며 공동 학습의 이점도 얻을 수 있습니다. 
DR has so far been studied with students using the procedure individually but there is no reason why it should not work in groups and even gain from the benefits of collaborate learning.

학생에게 제공되는 지침의 양이 다른 세 가지 형식의 DR 절차가 테스트되었습니다.

  • 자유 성찰에서는 학생이 사례에 대해 고려해야 할 대체 진단을 스스로 생성해야 합니다(Mamede 외. 2012).
  • 단서 성찰에서는 성찰 표에 그럴듯한 대안 진단이 제공되며, 학생은 그 결과를 기입하고 가장 가능성이 높은 진단을 최종 결정해야 합니다(Ibiapina 2014; Mamede 외. 2019, 2020).
  • 마지막으로, 모델 성찰에서는 교사가 모든 요소를 채운 전체 반성표를 제시하고 학생이 이를 학습해야 합니다(Ibiapina 외. 2014; Mamede 외. 2019).

Three different formats of the DR procedure which vary in the amount of guidance provided to students have been tested.

  • In free-reflection, students are required to generate by themselves the alternative diagnoses to be considered for the case (Mamede et al. 2012).
  • In cued-reflection, the reflection table provides the plausible alternative diagnoses and the students are required to fill in the findings and make the final decision on the most likely diagnosis (Ibiapina 2014; Mamede et al. 20192020).
  • Finally, in modeled-reflection, the whole reflection table is presented, with all its elements filled in by teachers, and students are required to study it (Ibiapina et al. 2014; Mamede et al. 2019).

모델 반사에 필요한 정신적 노력은 단서 반사에 비해 낮지만, 전자는 교사의 준비 작업이 훨씬 덜 필요한 후자보다 학습에 더 유리하지 않습니다. 그러나 단서 반사가 자유 반사보다 더 유리한 것으로 보이지만, 이러한 연구에서 관찰 된 이점은 이전에 연구 된 질병 만 테스트에 포함되었다는 사실에서 비롯된 것일 수 있습니다. 아직 조사해야 할 부분이 많이 남아 있습니다. 
Although the mental effort required by modelled-reflection is lower than that of cued-reflection, the former is not more advantageous for learning than the latter, which requires much less preparatory work from teachers. Cued-reflection seems, however, to be more beneficious than free-reflection, but the advantage observed in these studies may derive from the fact that only previous studied diseases were included in the tests. There is much to be investigated here yet.

DR에 대한 많은 연구에서 학생들에게 피드백이 제공되지 않았으며, 이는 새로운 지식이 제공되지 않더라도 지식 재구성을 통해 작용할 수 있음을 시사합니다. 그러나 레지던트들이 자신의 반성표와 전문가가 작성한 반성표를 비교하도록 한 최근 연구에서는 추론의 편향을 유도하는 것으로 알려진 조건에서 수행 능력을 향상시키는 절차를 보여주었습니다(Mamede 외. 2020). 이는 피드백을 통합하고 피드백에 대한 적극적인 반영을 통해 DR의 효과를 높일 수 있는 잠재력을 보여주는 신호일 수 있습니다. 다시 말하지만, 조사의 여지는 열려 있습니다. 
No feedback has been provided to students in many studies on DR, suggesting that it may act through knowledge restructuring, even when new knowledge is not made available. However, a recent study in which residents were required to compare their own reflection tables with those filled in by experts showed the procedure to improve performance under conditions that are known to induce bias in reasoning (Mamede et al. 2020). This may be a sign of a potential to enhance the effect of DR by incorporating feedback and active reflection on the feedback. Again, open avenue for investigation.

DR을 커리큘럼에 통합하는 방법은 무엇인가요?
How to integrate DR into the curriculum?

원래의 형식에서 DR은 다른 활동과 독립적으로 수행되는 연습에 사용되었습니다. 그러나 임상 사례 실습을 기반으로 한 다른 교육적 접근 방식과 결합하여 지식 재구성 및 질병 스크립트 개선을 촉진할 수도 있습니다.

  • 예를 들어, 셔브룩 대학교의 경험에서 SE와 DR이 함께 사용되었습니다.
  • 또한 DR 연습에서 진단된 임상 문제와 관련된 지식 습득에 초점을 맞춘 학습 과제(예: 개인 또는 자율 학습, 소그룹 학습, 강의)와 함께 DR을 사용할 수 있습니다(예: 흉통의 감별 진단에 대한 강의를 시작할 때 흉통과 관련된 질환 사례 1~2개를 진단하는 데 DR을 활용).
  • 최근 연구에 따르면 다른 학습 활동과 함께 DR을 사용하는 것을 지지하며, 문제의 감별 진단에 관한 텍스트를 학습하기 전에 임상 문제를 진단하기 위해 DR에 참여하는 것이 학습 참여를 촉진하고 학습 결과를 개선하는 것으로 나타났습니다(Ribeiro 외. 2019, 2021).

In its original format, DR has been used in exercises performed independently of other activities. However, it can also be combined with other instructional approaches based on practice with clinical cases to fostering knowledge restructuring and refinement of illness scripts.

  • For example, SE and DR have been used in combination in the experience of the Sherbrooke University.
  • Additionally, DR can be used in combination with a learning task (e.g. individual or self-study, small-group learning, lectures) focused on acquisition of knowledge relevant to the clinical problems diagnosed in the DR exercise (e.g. employing DR to diagnose one to two cases of diseases associated with chest pain in the beginning of a lecture on the differential diagnosis of chest pain).
  • Recent research has supported the use of DR in combination with other learning activities, showing that engaging in DR to diagnose a clinical problem before studying a text on the differential diagnosis of the problem fosters engagement in learning and improves learning outcomes (Ribeiro et al. 20192021).

 

세 가지 전략을 결합하고 순서를 정할 수 있는 기회 탐색하기
Exploring opportunities of combining and sequencing the three strategies

SE, CReSME, DR은 모두 의학의 전문성 습득 이론과 일치하므로(Schmidt 외. 1990), 학부 커리큘럼에서 이들의 조합 또는 시퀀싱을 통해 잠재적인 이점을 기대할 수 있습니다. 유사한 이론적 신념에 기반을 두고 지식 구축을 지향하지만 각 전략의 초점은 다르게 보일 수 있습니다.

  • SE는 생물 의학 지식과 임상 지식 간의 연결을 촉진하고, 지식 캡슐화를 촉진하여, 질병 스크립트의 일관성을 향상시킬 수 있을 것으로 예상됩니다.
  • CReSME새로운 질병 스크립트의 시각적 표현/비계를 제공하여 지식 캡슐화를 지원할 수 있으며, 학생들이 주어진 주요 불만 사항과 관련된 스크립트를 직접 작업할 수 있도록 조직화할 수 있습니다.
  • DR여러 스크립트의 주요 특징을 비교하고 대조하는 절차를 활용하여 문제 해결에 적용하면서 질병 스크립트를 더욱 개발, 개선 및 강화할 수 있는 기회를 제공합니다.

Since SE, CReSME, and DR all aligned with the theory of expertise acquisition in medicine (Schmidt et al. 1990), we may expect potential benefits of their combination or sequencing in an undergraduate curriculum. It might be realized that although grounded in similar theoretical tenets and oriented toward knowledge building, the focus of each strategy appears different.

  • SE fosters links between biomedical knowledge and clinical knowledge, presumably facilitates knowledge encapsulation and thus enhances coherence of illness scripts.
  • The CReSME provides visual representation/scaffolding of emerging illness scripts, which might support knowledge encapsulation and organization allows students to work directly on their scripts relevant to a given chief complaint.
  • DR provides opportunities to further develop, refine, and enrich illness scripts while applying them to solve problems by utilizing a procedure for comparing and contrasting key features of different scripts.

이러한 다양한 초점을 고려하여 SE, CReSME 및 DR은 커리큘럼에 따라 여러 가지 방식으로 결합되거나 순서대로 사용될 수 있습니다. 적절한 실행을 위해서는 현지 커리큘럼 설계를 고려하여 학생들이 이러한 전략을 활용할 수 있을 만큼 충분한 사전 지식을 갖추게 되는 시기를 파악해야 합니다.

  • 예를 들어, 커리큘럼이 초기에 생물의학을 배우고 임상 과학을 배운 다음 임상 로테이션을 하는 전통적인 접근 방식을 채택하는 경우, 이러한 교육 전략은 시간이 지남에 따라 순차적으로 적용될 수 있습니다.
    • 초기 학습자에게는 SE를 사용한 일련의 연습을,
    • 중급 학습자에게는 CReSME를,
    • 고급 학습자에게는 DR을 사용한 연습을 제공할 수 있습니다(Schmidt and Mamede 2015).
  • 또는 학생들이 모든 유형의 지식과 기술(예: 생물 의학, 임상, 임상 기술, 치료법)을 통합적으로 습득해야 하는 문제 또는 임상 상황을 중심으로 구성된 커리큘럼에서는 세 가지 전략이 모두 조기에 구현될 수 있습니다.
    • 예를 들어, 통합 커리큘럼을 채택하고 있는 셔브룩 대학교에서는 이미 1학기부터 SE와 DR을 결합한 활동을 시행하고 있습니다. 이 웹 기반 개별 활동은 프로그램의 첫 2년 동안 반복됩니다. 학생들은 세 가지 임상 사례를 해결하면서 다음 단계를 수행해야 합니다:
      • 사례 읽기, 각 임상 소견에 대한 자기 설명 생성,
      • 고의적 성찰 연습 완료,
      • 교사가 작성한 DR 검토. (Chamberland 외. 2020, 2021).

Taking these different foci into consideration, SE, CReSME, and DR could be combined or sequenced in several ways along the curriculum. Proper implementation requires considering the local curriculum design to identify when students will have sufficient prior knowledge to be able to work with these strategies.

  • For instance, if the curriculum adopts a more traditional approach, with early years of biomedical sciences followed by clinical sciences and then clinical rotations, these instructional strategies might be potentially sequenced overtime.
    • A series of exercises with SE could be used with early learners,
    • CReSME could be offered for intermediate learners,
    • and more advanced learners would engage in exercises with DR (Schmidt and Mamede 2015).
  • Otherwise, in a curriculum organized around problems or clinical situations in which students are expected to acquire all types of knowledge and skills (e.g. biomedical, clinical, clinical skills, therapeutics) in an integrated way, all the three strategies might be implemented early.
    • For example, Sherbrooke University, with its integrated curriculum, has implemented an activity combining SE and DR as early as in the first semester. This web-based individual activity is recurrent over the first 2 years of the program. It requires students to work through the following steps while solving three clinical cases:
      • read the case, generate self-explanations for each clinical finding;
      • complete a deliberate-reflection exercise; and
      • review the DR completed by the teacher. (Chamberland et al. 20202021).

교사가 염두에 두고 있는 목표에 따라 두 가지 전략의 다른 조합을 만들 수도 있습니다. 그러나 SE, CReSME 및 DR은 학생에게 많은 노력이 필요하므로 동일한 연습에서 세 가지 전략을 모두 결합하는 것은 너무 어렵고 학습을 방해할 수 있는 수준으로 인지 부하를 가져올 수 있습니다. 종단적이고 반복적인 활동을 보장하면 학생들이 전략에 익숙해지고, 그 가치를 인식하고, 학습 잠재력을 최대한 활용하는 데 도움이 될 수 있습니다. 이러한 맥락에서 교사는 학습 자료(사례)를 커리큘럼에 따라 바람직한 난이도로 조정해야 함은 말할 필요도 없습니다. 

Other combinations of two of the strategies may be made, depending on the goals that the teacher has in mind. However, since SE, CReSME, and DR are effortful for students, combining all three strategies within the same exercise might be too challenging and bring cognitive load to a level that could hinder learning. Ensuring longitudinal and recurrent activities might help students get familiar with the strategies, perceive their value and harness their full potential for learning. Perhaps needless to say, in this context, teachers must adapt the learning material (cases) to the desirable level of difficulty along the curriculum.

이러한 교육 전략을 다양한 방식으로 결합하여 구현하려면 커리큘럼에서 사용 가능한 시간, 학생 수, 교수진 리소스와 같은 상황적 제약도 고려해야 합니다. 이러한 요인으로 인해 활동의 구체적인 설계에 조정이 필요할 수 있습니다. 그러나 그렇게 하면서도 설계 과정 전반에 걸쳐 SE, CReSME, DR의 기본 철학과 핵심 원칙을 유지하는 것이 중요합니다(Cianciolo and Regehr 2019; Chamberland 외. 2020). 현지 상황에 맞게 조정하는 것은 항상 필요하지만, 기본 원칙에서 벗어나면 전략의 잠재적 이점을 손상시킬 수 있습니다.
The implementation of these instructional strategies, combined in different ways, will also need to consider contextual constraints, such as available time in the curriculum, number of students, faculty resources. These factors may require adaptations in the specific design of the activities. However, while doing that, it is crucial to uphold the underlying philosophy and core principles of SE, CReSME, and DR throughout the design process (Cianciolo and Regehr 2019; Chamberland et al. 2020). While adjusting to local circumstances is always necessary, deviating from the underlying principles compromises the potential benefits of the strategies.

이러한 전략의 사용과 실행에는 고려해야 할 몇 가지 문제가 있습니다. 

  • 첫째, 이러한 전략은 임상적 추론의 한 차원, 즉 지식에 초점을 맞춥니다. 그러나 임상적 추론은 다차원적인 구조이며 맥락적 요인에 의해 크게 영향을 받기도 합니다(Durning 외. 2012). 말할 필요도 없이, 지식 자체가 성공적인 임상 추론의 중요한 결정 요인이기는 하지만(Norman 외. 2017), 교사가 관심을 가져야 하는 유일한 차원은 아닙니다.
  • 둘째, 난이도가 점점 높아지는 여러 임상 비네팅과 여러 임상 추론 매핑 연습을 개발하는 데는 시간이 많이 소요될 수 있으며 어느 정도의 교수자 개발이 필요할 수 있습니다. 그럼에도 불구하고 이러한 노력은 임상 추론 교육에서 점점 더 중요하게 인식되고 있는 시뮬레이션 사례 실습을 기반으로 한 학습 활동을 설정하는 것보다 더 까다롭지는 않을 것입니다(Schmidt and Mamede 2015). 또한, 여러 연습 문제를 생성한 후에는 학습자 및 커리큘럼 요구 사항을 충족하도록 쉽게 수정할 수 있습니다.
  • 셋째, 이러한 전략을 사용하여 학습 효과를 극대화하려면 학생이 이러한 전략이 평가 도구가 아닌 학습 전략이라는 점을 이해하는 것이 중요합니다. 학생들은 이러한 전략을 사용하여 자신의 지식의 한계를 탐구하고, 사고 과정을 촉진하고, 의미 있는 학습을 구성하고, '안전한 공간'에서 격차를 식별해야 합니다.

The use and implementation of these strategies is bounded by several issues that deserve consideration.

  • First, these strategies focus on one dimension of clinical reasoning, that is knowledge. However, clinical reasoning is a multidimensional construct and is also heavily affected by contextual factors (Durning et al. 2012). Perhaps needless to say, knowledge per se, though a critical determinant of successful clinical reasoning (Norman et al. 2017), is not the only dimension teachers should be concerned with.
  • Second, the development of several clinical vignettes and multiple clinical reasoning mapping exercises with increasing levels of difficulty may be time intensive, and will likely require some degree of faculty development. Nevertheless, these efforts would not be more demanding than those involved in setting any learning activities based on practice with simulated cases, which has been more and more recognized as critical in the teaching of clinical reasoning (Schmidt and Mamede 2015). Furthermore, once a number of exercises have been created, they can be easily modified to meet learners’ and curricular needs.
  • Third, to optimize the benefit on learning using these strategies, it is crucial that students understand that these are learning strategies and not assessment tools. Students should use these strategies to explore the limits of their own knowledge, promote their thinking processes, construct meaningful learning and identify gaps in a ‘safe space’.

결론
Conclusion

이 세 가지 임상 추론 교육 전략은 인과 관계 네트워크, 지식 조직화, 캡슐화 및 질병 스크립트 형성을 지원함으로써 공통된 이론적 원칙을 공유하므로 의료 전문성 개발의 여러 단계에서 임상 추론을 가르치는 데 효과적으로 사용될 수 있습니다. 임상 추론 학습 활동으로 이 방법만이 유일한 것은 아닙니다. 그러나 올바르게 구현한다면 임상 교사가 학습자의 임상 추론 발달을 촉진하는 데 중요한 도구가 될 수 있습니다.

These three clinical reasoning instructional strategies share common theoretical tenets by supporting development of causal networks, knowledge organization, encapsulation, and formation of illness scripts and therefore could be effectively used to teach clinical reasoning at different stages of medical expertise development. They are not the only clinical reasoning learning activities available. Yet, if correctly implemented, they can be a critical tool in the hands of clinical teachers to promote learners’ development of clinical reasoning.

 


Med Teach. 2022 Aug 7;1-9. doi: 10.1080/0142159X.2022.2105200. Online ahead of print.

Implementation of three knowledge-oriented instructional strategies to teach clinical reasoning: Self-explanation, a concept mapping exercise, and deliberate reflection: AMEE Guide No. 150

Affiliations collapse

1Department of Medical Education, University of Central Florida College of Medicine, Orlando, FL, USA.

2Department of Medicine, Faculty of Medicine and Health Sciences, University of Sherbrooke, Quebec, Canada.

3Institute of Medical Education Research Rotterdam, Erasmus Medical Center, Erasmus University Rotterdam, Rotterdam, The Netherlands.

PMID: 35938204

DOI: 10.1080/0142159X.2022.2105200

Abstract

The teaching of clinical reasoning is essential in medical education. This guide has been written to provide educators with practical advice on the design, development, and implementation of three knowledge-oriented instructional strategies for the teaching of clinical reasoning to medical students: Self-explanation (SE), a Clinical Reasoning Mapping Exercise (CREsME), and Deliberate Reflection (DR). We first synthesize the theoretical tenets that support the use of these strategies, including knowledge organization, and development of illness scripts. We then provide a detailed description of the key components of each strategy, emphasizing the practical applications of each one by sharing specific examples. We also explore the potential for a combined application of these strategies in a longitudinal and developmental approach to teaching clinical reasoning at the undergraduate level. Finally, we discuss enablers and barriers in the implementation and integration of these teaching strategies while taking into consideration curricular needs, context, and resources. We are aware that many strategies exist and are not arguing that SE, CReSME, and DR are the most effective ones or the only ones to be adopted. Nevertheless, we selected these strategies because of overarching theoretical principles, empirical evidence supporting their use, and our own experience with them. We are hoping to provide practical advice on the implementation of these strategies to practicing educators who aim at developing an integrated approach to the teaching of clinical reasoning to medical students at different stages of their development.

Keywords: clinical reasoning; reflective learning; teaching methods.

임상적 의사소통의 생각, 우려, 기대에 대한 비판적 고찰(Med Educ, 2022)
A critical look at ideas, concerns and expectations in clinical communication
Ged M. Murtagh

1 서론
1 INTRODUCTION

의대생이 받는 커뮤니케이션 기술 교육의 핵심에는 두 가지 기본 요구사항이 포함됩니다.

  • [관련 의료 정보를 이끌어내는 것]
  • [환자의 상황에 대한 관점을 파악하는 것]

이 두 가지 데이터 소스는 통합되어야 문제의 각 '버전'(의사와 환자)이 양 당사자에게 포괄적이고 의미 있는 정보가 될 수 있습니다1, 2 두 데이터 소스는 상호 배타적이지 않습니다.

  • [의학적 징후와 증상에 대한 정보를 수집하는 것]은 분명히 중요합니다.
  • 그럼에도 불구하고 [환자의 관점과 환자에게 가장 중요한 것]이 무엇인지 알지 못하면 상담은 기껏해야 차선책일 뿐이며 최악의 경우 낭비입니다.1 

A central part of the communication skills teaching medical students receive involves two fundamental requirements:

  • to elicit relevant medical information and
  • to capture the patient's perspective about their situation.

These two sources of data need to be integrated so that each ‘version’ of the problem (the doctor's and the patient's) is comprehensive and meaningful for both parties1, 2 Both sources of data are not mutually exclusive.

  • Gathering information on the medical signs and symptoms is clearly important.
  • Nevertheless, without knowledge of the patient's perspective and what matters to them most, the consultation is, at best, suboptimal, at worst, wasteful.1

환자가 생각하는 바를 파악하고 이를 반영하여 이러한 관점을 효과적으로 파악하는 것은 환자 중심 치료를 제공하는 데 필수적이며,3,4 종종 의학적으로 관련된 주제에 대한 논의에 관련 맥락을 제공합니다.1 이러한 주제에는 환자의 증상 경험, 사물을 보는 방식, 가족력 및 사회력과 같은 특정 주제에 대한 기타 보다 실질적인 정보가 포함될 수 있습니다. 일반적으로 의료 정보를 이끌어내는 작업은 비교적 간단합니다. 그러나 환자의 관점을 알아내려고 할 때 어려움이 발생할 수 있습니다.1 이 문제를 해결하는 데 도움이 되는 실용적인 해결책이자 의과대학에서 의사소통 기술 교육의 일환으로 널리 가르치는 것은 환자의 생각, 우려 및 기대 또는 더 일반적으로 언급되는 ICE에 대해 문의하는 것입니다. 
Effectively capturing that perspective by finding out and incorporating what the patient thinks is also integral to the delivery of patient-centred care,3, 4 often providing the relevant context for discussions of medically relevant topics.1 Such topics might include the patient's experience of their symptoms, how they see things and other more substantive information on specific topics such as Family History and Social History. Typically, the task of eliciting medical information is relatively straightforward. Difficulties can arise, however, when trying to find out about the patient's perspective.1 A practical solution to help with this problem, and something that is taught widely in medical schools as part of communication skills training, is to inquire into the patient's ideas, concerns and expectations or ICE as it is more commonly referred to.

상담의 핵심 요소로 ICE를 도입한 것은 1980년대에 데이비드 펜들턴, 피터 테이트 등5이 수행한 일반의 상담에 대한 광범위한 조사 결과에서 비롯되었습니다. 펜들턴 등은 이러한 상담을 조사하는 과정에서 환자와의 상호작용에 대해 다른 접근 방식을 취하는 소수의 GP를 발견했습니다. 이들은 이러한 일반의가 단순히 진단적 조사에 집중하기보다는 환자의 질병 경험에 대해 알아내는 데 훨씬 더 집중하고 있다는 점에 주목했습니다. 환자의 경험에 대한 이러한 초점은 환자의 아이디어, 우려 및 기대를 이끌어내는 것이 특징이며이 하위 그룹과 나머지 그룹 간의 차이는 상당히 뚜렷했습니다 .5

  • '이것은 그들이보다 미묘하고 전체적인 진단 공식을 만들 수있게 해줄뿐만 아니라 그들 앞에있는 사람에게 설명과 조언을 맞춤화 할 수있었습니다'. (휘태커 2021: 1).

The introduction of ICE as a key element of the consultation emerged out of extensive examination of GP consultations conducted by David Pendleton, Peter Tate et al.5 back in the 1980s. In the examination of these consultations, Pendleton et al. identified a small number of GPs who were taking a different approach to their interactions with patients. They noted that these GPs were much more focused on finding out about the patient's experience of their illness rather than simply pursuing a diagnostic investigation. This focus on the patient's experience was characterised around eliciting the patient's ideas, their concerns and expectations and the difference between this subgroup and the rest of the group was quite stark.5 

  • ‘Not only did this equip them to make more nuanced and holistic diagnostic formulations, they were also able to tailor their explanations and advice to the person in front of them’. (Whitaker 2021: 1).

환자 중심 접근 방식의 일환으로 ICE에 대한 문의의 실질적인 수입은 곧 대서양 양쪽에서 경험적 추진력을 얻기 시작했습니다. 미국에서는 환자의 더 넓은 사회적 맥락에 대한 질문의 중요성과 이것이 건강 결과와의 관계를 강조하는 연구가 시작되었습니다.6 영국에서는 이 주제에 대한 연구를 통해 환자의 우려를 이끌어내는 것의 중요성과 이것이 환자의 이해 수준 및 환자 순응도와의 관계가 밝혀졌습니다.7, 8 의사 소통 기술로서의 ICE 사용은 의사 소통 기술 교육 프로그램의 공식화의 일환으로 GP 상담실에서 의과 대학의 강의실로 천천히 퍼져 나갔습니다.
The practical import of inquiries into ICE as part of a patient-centred approach soon began to gain empirical momentum on both sides of the Atlantic. In the United States, research started to highlight the importance of inquiring into the patient's wider social context and the relation of this to health outcomes.6 In the United Kingdom, studies on this topic revealed the importance of eliciting the patient's concerns and the relation of this to levels of patient understanding and patient adherence.7, 8 The use of ICE, as a communication technique, slowly spread from the GP consulting room to the lecture theatres of medical schools as part of the formalisation of programmes of communication skills teaching.

이제 [환자의 ICE를 다루는 것]은 환자 중심 접근 방식의 일환으로 환자와 상호 작용할 때 새 의대생에게 기대되는 표준의 필수적인 부분입니다.9 매우 중요한 의미에서 ICE 유형의 질문과 그것이 나타내는 것은 단순히 직업 에티켓과 관련된 것이 아니라 의료 거래에 필수적인 환자 관점의 중요성을 실질적으로 인정하는 의료 행위의 패러다임 전환을 형성하는 데 도움을 주었습니다.
Addressing a patient's ICE is now an integral part of the standards expected of new medical graduates when interacting with patients as part of a patient-centred approach.9 In a very important sense, ICE type inquiries and what they represent has helped shape a paradigmatic shift in medical practice not simply one connected to professional etiquette but one that tangibly acknowledges the importance of the patient's perspective as integral to the transaction of medical care.

그러나 상담 시 ICE에 대한 문의의 중요성을 뒷받침하는 증거가 반드시 이 기법을 효과적으로 구현하는 방법에 대한 증거를 뒷받침하는 것은 아닙니다. 그럼에도 불구하고 이 기법을 효과적으로 구현하는 데 어려움이 종종 발생합니다. 이러한 어려움의 주요 원인은 의도하지 않았음에도 불구하고 [ICE에 대한 탐색]을 [의사소통 문제를 해결하기 위한 기술적 장치], 즉 환자의 관점을 파악하는 것으로 취급하기 때문입니다. '기술적 해결'로 활용될 경우, 의사소통 과정10에서 주의를 돌리게 되고, 결과적으로 ICE에 대한 문의가 실제로 환자 중심적인 방식으로 어떻게 사용될 수 있는지에 대한 관심이 멀어집니다.3 
However, evidence to support the importance of inquiries into ICE within the consultation is not necessarily supporting evidence for how to implement this technique effectively. Nevertheless, it is with effectively implementing this technique, where difficulties often arise. The primary driver of these difficulties is the treatment (albeit unintended) of inquiries into ICE as a technical device to fix a communication problem, namely, capturing the patient's perspective. When utilised as a ‘technical fix’ attention is diverted away from the communication process10 and, consequently, how inquiries into ICE can be used in practice in a more patient centred way.3

이 논문은 학생이나 실무자가 환자의 생각, 우려 및 기대에 대해 문의할 때 겪을 수 있는 상호 작용상의 어려움을 명확히 하고 해결하고자 합니다. 이 문제를 해결하기 위해 실용적인 지식과 이론적 지식 간의 시너지 효과를 제안합니다. 일반 대화 및 의사-환자 상호작용에 대한 대화 분석 연구 결과는 덜 공식적인 방식으로 환자의 관점을 이끌어내는 접근법을 알려주는 데 사용됩니다. 마지막으로, 의대생을 위한 의사소통 기술 교육 및 평가와 관련하여 제시된 주장의 함의를 고려합니다. 
This paper attempts to clarify and address the interactional difficulties students or practitioners may find themselves in when inquiring into a patient's ideas, concerns and expectations. A synergy between practical and theoretical knowledge is proposed to address this matter. Findings from Conversation Analytical studies of ordinary and doctor–patient interaction are used to inform approaches to eliciting the patient's perspective in less formulaic ways. Finally, the implications of the argument presented are considered in relation to the teaching and assessment of communication skills for medical students.

2 아이디어, 우려 및 기대에 대한 어려움
2 DIFFICULTIES WITH IDEAS, CONCERNS AND EXPECTATIONS

상담에 환자의 ICE를 통합하는 데는 분명한 잠재력이 있습니다.

  • 환자의 ICE에 참여하는 것은 처방,11,12 공동 의사 결정,13 병력 청취 및 환자 이해 수준을 긍정적으로 형성하는 것으로 나타났습니다.7
  • 또한 각 구성 요소는 상담 내에서 특정한 의미를 가질 수 있습니다. 예를 들어, 환자의 생각과 기대에 대한 질문은 [질병 경험에 대한 탐색과 이해]보다 [파트너십 구축]과 더 밀접한 관련이 있습니다.8

There are clear potentialities to incorporating the patient's ICE within the consultation.

  • Engaging with the patient's ICE has been shown to positively shape levels of prescribing,1112 shared decision making,13 history taking and patient understanding.7 
  • Moreover, each component part can hold specific implications within the consultation. For example, inquiries into a patient's ideas and expectations have been more closely associated with partnership building than with exploration and understanding of the illness experience.8 

상담 내에서 이 기법의 가치를 고려할 때, 이 기법을 효과적으로 구현하는 방법에 대한 지식은 분명히 중요하지만, 이 부분에서 어려움이 시작됩니다. 엘윈 등13은 이 기법을 효과적으로 구현하는 방법에 대한 몇 가지 지침을 제공합니다. 그들은 '완화 된 문구를 사용하고, 잠시 멈추고, 언어적 및 비언어적 신호에 민감 해짐으로써 ... 환자의 기여에 개방적이되면 질문이 수사적이라는 인상을 주지 않고 이러한 문제를 탐색 할 수 있습니다'(Elwyn 외., 2000: 894)라고 제안합니다. 이 지침은 ICE 유형의 문의에 대한 면밀한 조사를 제공하지만, 다소 불투명합니다. 예를 들어, 이러한 '완화된 문구'가 어떻게 생겼는지 또는 실제로 수사적이라는 인상을 피하는 방법이 무엇인지 불분명합니다.

Given its value within the consultation, knowledge of how to implement this technique effectively is clearly critical, but this is where some of the difficulties begin. Elwyn et al.13 provide some guidance on how to effectively implement this technique. They suggest that by ‘being open to the patient's contributions … by using mitigated phrases, deploying pauses, and becoming sensitive to both verbal and non-verbal signals, it is possible to explore these issues without causing the impression that the enquiries are rhetorical’ (Elwyn et al., 2000: 894). Although offering some closer scrutiny of ICE type inquiries, this guidance is a little opaque. It is unclear, for example, what these ‘mitigated phrases’ look like or indeed how one avoids the impression of being rhetorical.

몇몇 임상 커뮤니케이션 기술 텍스트도 [구체적인 지침이 부족]합니다. 일부 텍스트는 불만 사항을 제시한 병력에 따라 상담 초기에 환자의 ICE에 대한 문의를 해야 한다고 암시합니다.14 일부 텍스트는 환자와의 관계 형성을 다루면서 예시 질문과 문구를 제공합니다.15 다른 텍스트는 해당 주제를 상당히 광범위하게 다루고 있지만 실제로 상담 내에서 이러한 주제를 언제 다루어야 하는지에 대한 명시적인 지침을 제공하지 않습니다.16
Several clinical communication skills texts are also short on specific guidance. Some texts imply that inquiries into the patient's ICE should be made early on in the consultation following the history of the presenting complaint.14 Some texts provide example questions and phrases as they address building a connection with the patient.15 Others, although they cover the topic quite extensively, do not really provide any explicit guidance on when these topics should be addressed within the consultation.16

상담에서 환자의 관점을 파악하는 것이 중요하다는 점을 고려할 때, 정확하고 상세한 지침은 의대생이 배우는 것뿐만 아니라 의사소통 능력에 대한 역량도 평가받는다는 점에서 매우 중요합니다. ICE는 일반적으로 약어로 학습됩니다. 의학의 다른 약어들은 모두 체크리스트의 성격을 띠는 경우가 많은데, 예를 들어 SBAR 또는 SOCRATES는 약어의 순차적인 순서대로 정보를 전달하거나 수집하는 것을 안내하는 데 목적이 있습니다. 이로 인해 의도하지 않은 결과 중 하나는 ICE가 학생의 머릿속에 '기술적 해결책' 상태를 강화하는 체크리스트로 고착화되는 경향이 있다는 것입니다. 

  • 여기서 문제는 체크리스트가 일반적으로 친밀감을 형성하도록 설계되지 않았으며, 상호작용에 체크리스트 형식으로 ICE에 대한 질문이 도입되면 환자에게 부정적인 반향을 일으킬 가능성이 높다는 것입니다.10, 17
  • 이러한 '기술적 해결책' 상태가 평가 환경으로 넘어가면 역량을 입증하고 임상진료시험의 병력 청취 스테이션을 통과하는 데 너무 쉽게 사용됩니다.3

Given the import of capturing the patient's perspective within the consultation, accurate and detailed guidance is key if only for the fact that medical students learn but are also assessed on their competence with communication skills. ICE is, and is typically learned as, an acronym. All other acronyms in medicine tend to be checklist in nature, e.g. SBAR or SOCRATES, both of which serve the purpose of guiding either the delivery or collection of information in the sequential order of the acronym. One unintended consequence of this is that ICE tends to get fixed in the mind of the student as a checklist reinforcing its ‘technical fix’ status.

  • The problem here is that checklists are not typically designed to build rapport, and when inquiries into ICE are introduced in checklist form into the interaction, it is likely to resonate negatively with the patient.1017 
  • When this ‘technical fix’ status passes over into the assessment environment, it is all too readily used to demonstrate competence and pass the history taking stations of clinical examinations.3 

결과적으로, 의사소통 행동에 대한 상세하고 정확한 지침이 없으면 학생들은 ICE에 대한 탐구를 '모든 상담에서 통과하기 위해 짜 맞춰야 하는 공식적인 행동'으로 간주하기 시작합니다(Neighbour, 2022: 66). 이로 인해 학습된 '부주의성 청각 장애'18가 발생할 수 있는데, 이는 환자의 관점에 대한 질문이 대화 순서에 항상 맞는 것이 아님에도 '짜 맞추기' 위한 것입니다. 때때로 이러한 '끼워 넣기'는 환자에게 의미가 없을 수도 있습니다.10,17 특히 이러한 질문이 환자의 느슨한 '즉흥적' 발언이나 환자가 '시작 발언에서 언급하지 않은 내용'과 연결되지 않는 경우,5 그 결과 ICE 문의의 성공을 이끌 수 있는 중요한 의사소통 행동이 일반적으로 환자의 관점에 대한 전체적인 그림과 함께 시야에서 사라지게 됩니다.
Consequently, without detailed and accurate guidance on communication behaviours, students start to view inquiries into ICE as a ‘formulaic piece of behaviour they have to squeeze into every consultation in order to pass’ (Neighbour, 2022: 66). This can result in a learned ‘inattentional deafness18 where questions about the patient's perspective do not always fit the sequence of talk, for want of ‘squeezing’ them in. On occasion this ‘squeezing in’ may not even make sense to the patient.10, 17 particularly when these questions are disconnected from a loose ‘off the cuff’ remark by the patient or something the patient mentions ‘unprompted in their opening remarks,’5 The result is that critical communication behaviours, which can drive the success of inquiries into ICE, typically get lost from view along with a fuller picture of the patient's perspective.

3 잠재적 해결책: 질문 유형
3 POTENTIAL SOLUTIONS: TYPES OF QUESTION

'기술적 해결'로만 접근하다 보면 ICE로의 탐색을 유도하는 메커니즘(질문의 유형과 질문의 위치)을 제대로 고려하지 못하는 경우가 너무 많습니다. 이 문제를 해결하려면 학생/연수생에게 질문의 문구, 위치 및 실행에 대한 사고의 방향을 제시하여 환자의 관점을 보다 의미 있게 바라볼 수 있는 방식으로 잘 활용되도록 하는 것이 필요합니다. 이러한 문제와 관련하여 대화 분석(CA)을 사용한 연구에서 중요한 방향을 제시합니다. 여기에서는 이 방법에 대해 간략하게 설명하지만, 보다 자세한 내용은 다른 곳에서 찾아볼 수 있습니다.19 CA는 [순차적으로 조직화된 현상으로서 사회적 상호 작용의 역학]에 대한 [상세하고 미묘한 통찰력]을 제공하는 데 사용되는 방법입니다. 의사와 환자의 만남을 포함한 다양한 맥락에서 사회적 상호작용의 구조적, 순차적 측면을 파악하기 위해 의사가 사회적 상호작용의 사례를 자세히 기록하고 분석한 결과,20,21,22 이 글에서 제시하는 주장과 관련성이 있습니다. 
When treated as a ‘technical fix’, all too often the mechanisms driving inquiries into ICE (types of question and the positioning of those questions) are not really attended to. To address this issue, thought needs to be given to providing students/trainees with some direction in thinking about the phraseology, positioning and execution of those questions to ensure they are put to good work in a way that will encourage a more meaningful view of the patient's perspective. In relation to these matters, important direction is provided by research studies using Conversation Analysis (CA). A brief account of this method is presented here, but a fuller and more detailed account can be found elsewhere.19 CA is a method used to provide detailed and nuanced insights into the dynamics of social interaction as a sequentially organised phenomenon. Detailed transcription and analysis of instances of social interaction by its practitioners has identified structural and sequential aspects of social interaction in different contexts,20 including the doctor-patient encounter,21, 22 which hold relevance for the argument presented here.

질문-응답 시퀀스[대화 분석]에서의 핵심 분석 단위이며, 연구에 따르면

  • 질문은 특정한 상호작용 제약을 구현합니다.23, 24
  • 질문은 의제, 즉 답변이 다루어야 할 주제를 설정합니다.25 또한
  • 질문은 수신자의 응답에 영향을 미치고 형성할 수 있는 전제를 구현합니다.26

환자의 생각에 관한 가장 기본적인 질문인 '이 문제의 원인에 대해 어떤 생각이 있으신가요'를 생각해 봅시다. 이 질문은 수신자 응답의 매개변수를 좁히는 양극형 질문입니다.25 양극형 질문은 '예' 또는 '아니오' 중 하나가 응답의 첫 부분으로 나와야 하는 '예'/'아니오' 응답의 틀을 설정하기 때문입니다.23, 27
Question–answer sequences are a core unit of analysis for Conversation Analysts whose studies reveal that

  • questions embody specific interactional constraints.2324 
  • Questions set agendas, i.e. the topic to which the answer should be addressed.25 
  • They also embody presuppositions that can influence and shape the recipient's response.26 

Consider the most basic question concerning the patient's ideas, ‘Do you have any ideas as to what might be causing this’? This question is a polar type of question, which narrows the parameters of the recipient's response.25 This is because the polar type of question sets up the frame for a ‘yes’/‘no’ response in which either ‘yes’ or ‘no’ should occur as the first part of the response.23, 27

따라서 이미 이 질문의 설계는 환자가 자신의 관점을 제시할 기회에 잠재적으로 제한적인 영향을 미칩니다. 여기서 위험은 환자가 막연한 생각을 가지고 있더라도 질문 설계가 '아니오'라고 대답할 가능성을 열어두어 학생이 이끌어내려는 정보의 질을 제한할 수 있다는 것입니다. '아니오'의 가능성은 환자가 일반적으로 학생/의사를 지식이 풍부한 전문가로 간주하고 질문에 응답할 때 지식 차이28,29를 예민하게 인식한다는 사실에 의해 강화됩니다. 우려 사항과 기대 사항을 같은 방식으로 문의할 때도 비슷한 문제가 발생합니다. 이러한 질문은 모두 올바른 방향으로 나아가는 유효한 질문이지만, 환자의 관점을 포착하는 데 있어 잠재적으로 제한적인 효과를 낳을 수 있습니다. 
So already the design of this question has a potentially limiting impact on the opportunity for the patient to present their perspective. The danger here is that even if the patient has a vague idea, the question design leaves open the possibility for them to answer ‘no’, thus limiting the quality of information the student is attempting to elicit. The possibility of a ‘no’ is reinforced by the fact that patients typically see the student/doctor as the knowledgeable expert and are acutely aware of the knowledge differential28, 29 when responding to questions. Similar problems remain when concerns and expectations are inquired into in the same way. Although these are all valid questions in the right direction of travel, their design creates a potentially limiting effect capturing the patient's perspective.

'이 증상의 원인에 대한 생각이 있나요?"라는 질문 대신 '이에 대해 어떤 생각을 해보셨나요/이것에 대해 어떻게 생각하십니까?"라는 질문으로 대체하는 것이 더 효과적일 수 있습니다. 그 이유 중 하나는 이 질문이 '말하는 질문'으로 확인된 질문 범주에 속하기 때문입니다.30 '말하는 질문'(대부분 'wh'로 시작)의 설계는 일반적으로 일련의 상호 작용(예: 환자가 증상을 설명하는 것)이 끝난 후 이어지며, 특정 대화 주제에 집중하도록 유도하는 역할을 합니다.31 '어떤 생각을 했습니까'라는 질문은 '있습니까'라는 질문과 마찬가지로 주제 의제(환자의 생각)를 설정하지만 매개변수가 더 넓어졌습니다.26 이는 환자가 어떤 일에 대해 생각을 했다는 질문의 전제 내용이 '예'/'아니오' 대답의 가능성을 없애고 환자의 생각이 가치가 있음을 강력하게 나타내므로 환자의 관점을 파악하고 파트너십을 구축할 수 있는 상호작용 범위를 더 많이 제공하기 때문입니다.8
Replacing the question ‘Do you have any ideas what might be causing this?’ with, for example, the question ‘What thoughts have you had about this/What are your thoughts on this?’ is likely to be more effective. One of the reasons for this is that this question belongs to a category of questions that have been identified as ‘telling questions’.30 The design of telling questions (many of which are ‘wh’-prefaced) usually follow the closure of a sequence of interaction (e.g. the patient describing their symptoms) and work to encourage a particular focus on a topic of talk.31 The telling question ‘what thoughts have you had’ as with the ‘do you have’ question sets the topical agenda (the patient's thoughts) but the parameters are now wider.26 This is because the presuppositional content of the question, that the patient has had thoughts about what has been happening, eliminates the possibility of a ‘yes’/‘no’ answer and strongly indicates that the patient's thoughts are of value, thus providing more interactional scope for capturing the patient's perspective and building partnership.8

엄밀히 말하면 'wh' 유형의 질문에는 환자의 답변을 유도(leading)하는 것이 포함될 수 있는데, 이는 일반적으로 의사소통 기술 교육에서 꺼려하는 질문입니다. 그러나 이러한 유도(leading)은 악의적인 의미보다는 긍정적인 의미가 더 큽니다. 그 이면의 원칙은 포메란츠32가 '후보 답변 제공'으로 규정한 것과 유사합니다. 이는 질문에 내재된 가능한 대답을 제공하는 연습을 말합니다. 이는 정보를 이끌어내는 동시에 수신자에게 필요한 정보에 대한 지침을 제공하는 데 사용할 수 있는 전략입니다. 위의 예에서 '어떤 생각을 했나요'는 환자가 상황에 대해 어떻게 생각하는지에 대한 정보를 제공하도록 안내합니다. 이와 관련하여 후보 답변을 제공하는 것은 '보다 협력적인 방식으로 상황의 본질에 반응하고 형성하는 데 도움이 된다'(Pomerantz 1988: 366)고 할 수 있습니다. 이러한 기본 조사 결과는 '이 증상에 대해 걱정되는 것은 무엇입니까' '상담을 통해 무엇을 얻고자 하나요'와 같은 우려와 기대에 대한 질문을 재설계하는 데에도 활용될 수 있습니다.
Technically the ‘wh’ type of question may involve leading the patient, something which is generally frowned upon within communication skills training. However, this leading has benign rather than malign implications. The principles behind this parallel what Pomerantz32 has identified as ‘offering a candidate answer’. This refers to the practice of providing a possible answer, which is built into the question. It is a strategy that can be used to elicit information whilst at the same time provide the recipient with some guidance as to the information that is required. In the example above ‘What thoughts have you had’ guides the patient to providing information on what they think about the situation. In this regard offering a candidate answer is ‘both responsive to, and helps shape, the nature of the situation’ (Pomerantz 1988: 366) in a way that is more collaborative. These basic findings could also be utilised to re-design questions about concerns and expectations as well, for example, ‘What worries you about these symptoms’ ‘What do you hope to get from the consultation?’

4 포지셔닝 및 순서
4 POSITIONING AND SEQUENCING

학생들이 '기술적 해결' 모드에 빠지지 않도록 하려면 질문의 문구에 대한 인식을 키우는 것이 중요합니다. 그러나 목표는 항상 '반응형 모드' 또는 '적응형 전문 지식'을 반영하는 방식으로 ICE 문의를 통합하는 것이어야 합니다.33, 34 ICE 문의는 보다 [명시적인 직접 문의]가 아닌 보다 [미묘한 간접적인 방식]으로 거의 레이더망 아래에서 진행되어야 합니다. 이러한 문의는 의미 있는 방식으로 상호 작용에 순차적으로 연결되어야 합니다. 이를 위해서는 이러한 [질문의 위치]에 대한 성찰과 함께 자연스러운 호기심을 키우는 것의 중요성이 필요합니다. CA는 언어적 커뮤니케이션과 비언어적 커뮤니케이션 간의 관계를 분석하여 중요한 통찰력을 제시하는 중요한 지침을 제공하지만35,36 덜 기술적이고 효과적인 다른 접근법도 있습니다.

  • 예를 들어, 로저 네이보어3는 '받은대로 돌려주기'라는 기법을 말하는데, 이는 환자가 이미 말한 내용에 질문을 연결시키는 것입니다.
  • 이 기법은 ICE 유형 또는 '관점 찾기' 질문이 눈에 띄지 않게 하는 동시에 환자가 자신의 생각을 말하도록 유도하는 효과적인 방법입니다.
  • 예를 들어, '어머니의 심장 문제를 언급하셨는데(받은대로), 이에 대해 어떤 생각을 해보셨나요?'(돌려주기).

In the effort to avoid students falling into a ‘technical fix’ mode, cultivating an awareness of the wording of questions is important. However, the goal should always be to integrate ICE inquiries in such a way that reflects a ‘responsive mode’ or ‘adaptive expertise’.33, 34 ICE inquiries should almost fly under the radar in a more subtle indirect way as opposed to more explicit direct inquiries. They should be sequentially connected to the interaction in a meaningful way. This requires reflection on the positioning of these questions as well as the importance of cultivating a natural curiosity in finding things out. CA offers important guidance here also where analyses of the relation between verbal and non-verbal communication reveal important insights35, 36 but there are other less technical and just as effective approaches.

  • Roger Neighbour,3 for example, refers to the technique of ‘turning a receipt’, which is simply linking your question to something the patient has already told you.
  • This is an effective way of ensuring the ICE type or ‘perspective seeking’ question, flies under the radar whilst at the same time encouraging the patient to tell you what they think.
  • For example, ‘you mentioned your mother's heart problems (Receipt), what thoughts have you had about that?’ (Turn).

질문 설계, 순서 및 위치, 수신자의 응답 방식에 대한 의미에 대한 주의에도 불구하고 질문을 할 때는 항상 협상적인 요소가 있습니다.37 예를 들어, 다음에 주의하지 않고 'WH' 유형의 질문을 사용하는 경우 '부주의한 청각 장애'의 위험이 여전히 남아있습니다. 1

  • 환자가 질문에 저항할 가능성(예: '무슨 뜻이세요?')을 고려하지 않거나
  • 언어적 또는 비언어적 단서 또는 환자가 이미 공개한 내용에 주의하지 않거나

그러나 'WH' 유형의 질문을 설계하면 학생과 환자 간의 대화 가능성이 높아져 학생의 높은 수준의 응답을 유도할 수 있기 때문에 이러한 가능성이 줄어든다는 점이 중요합니다. 그러나 궁극적으로 질문 유형과 질문의 위치 및 순서에 주의를 기울이는 것만으로도 학생은 환자와 상호작용 전반에 훨씬 더 많은 주의를 기울이게 되며, 이는 그 자체로 환자의 관점을 파악하는 데 매우 중요합니다. 
Notwithstanding attention to question design, sequencing and positioning and the implications for how the recipient responds, there is always an element of negotiability when questions are asked.37 If, for example, the use of ‘wh’ type questions are used

  • without attending to the possibility of the patient resisting the question (e.g. ‘What do you mean?’) or
  • without attending to verbal or non-verbal cues or what the patient has already disclosed,

then the risk of ‘inattentional deafness’ still remains. 1 The point is, however, that the design of the ‘wh’ type of question makes this less likely since it creates more possibility for dialogue between student and patient encouraging a higher level of responsiveness from the student. Ultimately, however, attending to question type and the positioning and sequencing of questions is already getting the student to pay much more attention to the patient and the interaction overall, which in itself is critical to capturing the patient's perspective.

5 호기심
5 CURIOSITY

위에서 설명한 방식으로 ICE에 대한 질문에 접근하면 이러한 유형의 질문의 효과를 개선할 뿐만 아니라 학생/임상의가 기본적인 역량을 입증하기 위해서가 아니라 단순히 답을 알고 싶어서34 질문을 하는 자연스러운 호기심에 대한 인식을 키우는 데 도움이 됩니다. 환자의 생각을 알아내기 위해 학생의 호기심34을 활용하도록 장려하면 상호 작용에 도움이 될 뿐만 아니라 현대 의료 행위에서 요구되는 두 가지 핵심 특성인 자기 성찰상황 인식을 심화하는 데도 도움이 될 것입니다. 이러한 호기심을 장려하는 것은 거창한 목표로 볼 필요는 없지만, 환자의 말을 경청하는 데 학생의 주의를 환기시킴으로써 아주 초기에 개발할 수 있습니다38 여기서 경청에는 환자가 방출하는 행동, 언어 및 비언어적 신호를 적극적으로 모니터링하여 인정하고 반응하고 참여하는 것이 포함됩니다. 이는 환자의 관점을 파악하는 데 핵심적인 공감적 반응의 토대가 될 것입니다.
Approaching inquiries into ICE in the way described above should not only improve the effectiveness of these types of inquiries but also help students/clinicians cultivate an awareness of their natural curiosity34 where questions are asked simply because the student really wants to know the answer3 not because they want to demonstrate a basic competence. Encouraging the use of the student's curiosity34 to find out what the patient thinks, will not only assist the interaction but will also encourage a deepened sense of self-reflection and situational awareness, both key attributes for the demands of modern medical practice. Encouraging this curiosity needn't be viewed as an aspirational objective but can be developed very early on by drawing the student's attention to listening to the patient38 where listening involves actively monitoring acknowledging, responding and engaging, with behavioural, verbal and non-verbal cues emitted by the patient. This in turn will provide the basis for a greater degree of empathic responsiveness, also key to capturing the patient's perspective.

6 평등, 다양성 및 포용
6 EQUALITY, DIVERSITY AND INCLUSION

질문-답변 순서, 특히 양극형 질문의 기본 구조는 문화에 관계없이 비교적 안정적이며,39 여기에 설명된 질문의 전제 내용에 대한 조정은 다른 문화권의 의사와 환자 간 만남에서도 발견되었습니다.40 그러나 문화적 차이는 잠재적으로 이러한 접근 방식을 이해하는 학생의 능력을 형성하는 실제 요인이 될 수 있습니다. 궁극적으로 이 백서에 제시된 아이디어는 [환자 중심주의]라는 개념에 기반하고 있는데, 이는 그 자체로 [인종 중심적인 개념]이며 다른 문화적 배경을 가진 학생들에게는 배타적인 개념이 될 수 있습니다. 따라서 환자의 관점을 이해하고 탐구해야 한다는 요구사항은 일부 학생 그룹에게는 다른 학생 그룹보다 더 큰 도전이 될 수 있으며, 이는 의과대학 커리큘럼 내에서 추가적인 지원이 필요할 수 있습니다.41
The basic structure of question–answer sequences particularly polar type questions is relatively stable across cultures,39 and adjustments to the presuppositional content of questions (of the kind described here) has also been found in doctor patient encounters in other cultures.40 However, cultural differences can potentially be a real factor shaping students' abilities to grasp these approaches. Ultimately, the ideas presented in this paper are driven by the notion of patient centredness, which itself is an ethnocentric concept and, potentially, an exclusionary one at that for those students from different cultural backgrounds. Consequently, the requirement to grasp and explore the patient's perspective may prove to be a bigger challenge to some groups of students than others, a challenge that may require extra support within medical school curricula.41

7 결론
7 CONCLUSION

교육과 평가의 관점에서 볼 때, ICE에 대한 질문은 [면담의 개별적인 부분]이 아니라 [환자의 말을 효과적으로 경청함으로써 학생/임상의와 환자의 상호작용을 통해 엮어지는 것]으로 보아야 하며,10,17 환자의 생각을 알고자 하는 [진정한 관심]에 의해 형성된 경청입니다.3 앞서 언급했듯이 ICE는 단순히 직업 에티켓과 관련된 것이 아니라 의료 행위의 거래에 필수적인 환자의 관점의 중요성을 실질적으로 인정하는 의료 행위의 패러다임적 변화를 나타냅니다. 좋은 의사소통의 여러 측면과 마찬가지로, 학생들에게 환자의 관점을 파악하는 방법을 가르칠 때 개념적 및 행동적 이해가 뒷받침될 때 학습 효과가 더 커집니다.34
From the point of view of both teaching and assessment, inquiries into ICE should not be seen as a discrete part of the interview, but rather as something that is woven through the patient's interaction with the student/clinician by effectively listening to the patient,10, 17 a listening shaped by a genuine interest in wanting to find out what the patient thinks.3 As mentioned earlier, ICE represented a paradigmatic shift in medical practice not simply one connected to professional etiquette but, one that tangibly acknowledged the importance of the patient's perspective as integral to the transaction of medical care. Like many aspects of good communication, teaching students how to capture the patient's perspective takes greater effect if the learning is underpinned by conceptual and behavioural understandings.34

이러한 심층적인 접근 방식을 취하면 첫째, 상담의 흐름 내에서 환자의 관점을 파악하는 것이 순차적으로 얼마나 중요한지에 대한 인식을 키울 수 있습니다. 둘째, 학생들이 적응적 전문성을 발휘할 수 있는 더 많은 범위를 제공할 것이며, 이는 기본적이고 복잡한 의사소통 문제 모두에 매우 중요한 기술입니다.33 이는 가능하며, 의학교육자는 맥락에 대한 민감성, 상호작용 내 순서와 위치, 질문 유형, 자연스러운 호기심을 특징으로 하는 보다 '반응적인' 의사소통 방식을 개발하는 데 집중할 수 있고, 실제로 그렇게 할 가능성이 높습니다. 그러나 '전문성'이라는 일반적인 기치 아래 의사소통을 평가하는 실제 시험에서 환자의 관점을 파악하는 이러한 사고의 전환이 반영되고 강화되지 않는다면, 작지만 중요한 문화 변화의 시도는 달성하기 어려울 것입니다.

Taking this more in-depth approach will firstly cultivate an appreciation of the sequential relevance of capturing the patient's perspective within the flow of the consultation. Secondly, it will provide students with more scope to exercise adaptive expertise, a skill which is invaluable for both basic and more complex communication challenges.33 This is possible and medical educators can (and most likely do) focus on developing a more ‘responsive mode’ of communication characterised by sensitivity to context, sequencing and positioning within the interaction, types of question and a natural curiosity. However, if this re-thinking of capturing the patient's perspective is not reflected and reinforced in practical examinations where all too often communication is assessed under a general banner of ‘professionalism’, this small but significant attempt at culture change will be difficult to attain.

 


Med Educ. 2023 Apr;57(4):331-336. doi: 10.1111/medu.14975. Epub 2022 Dec 7.

A critical look at ideas, concerns and expectations in clinical communication

Affiliations collapse

Affiliation

1Department of Surgery and Cancer, Faculty of Medicine, Imperial College London, London, UK.

PMID: 36408805

DOI: 10.1111/medu.14975

Abstract

Background: For medical students and doctors, capturing the patient's perspective is critical if the consultation is to be meaningful for both parties. Medical students are taught the import of this in their communication skills training aided by inquiring into the patient's ideas, concerns and expectations (ICE) during the consultation. Ensuring the effectiveness of those inquiries can be a challenge for different reasons. Yet apart from a handful of papers on the subject, there is little guidance on the efficacy of ICE as a communication technique and specifically how to successfully blend questions about ICE within the interaction between doctor and patient.

Proposal: This paper takes a closer look at this communication technique and explores some of the interactional features of inquiries into ICE. First, the background to ICE and its emergence within the field of medical education is considered. Next the argument considers some of the contextual and pedagogical issues that inquiries into ICE gives rise to. The discussion then goes on to explore some conceptual underpinnings drawing on findings from Conversation Analysis, which provide some direction in approaching questions about what the patient thinks. Finally, the implications of the argument presented are considered in relation to the teaching and assessment of medical students with a short proposal for next steps.

Conclusion: Capturing the patient's perspective through an exploration of their ideas, concerns and expectations remains a valuable approach in communication skills training in medical education. It is important, however, that ICE type inquiries are used carefully and responsively if they are to be used to improve communication with patients.

매듭 묶기: 임상교육에서 학생의 학습목적에 관한 활동이론분석(Med Educ, 2017)
Tying knots: an activity theory analysis of student learning goals in clinical education
Douglas P Larsen,1 Austin Wesevich,2 Jana Lichtenfeld,3 Antony R Artino Jr,4 Ryan Brydges5 & Lara Varpio4

 

 

소개
Introduction

학습 목표는 종종 자기조절 학습(SRL) 프로그램의 맥락에서 개발됩니다. 예를 들어, 한 순환적 SRL 모델에서 학습자는

  • (i) 목표를 개발하고,
  • (ii) 성과를 모니터링하고,
  • (iii) 결과가 목표와 어떻게 일치하는지 성찰하고,
  • (iv) 주기가 다시 시작될 때 오래된 목표를 수정하고 새로운 목표를 만들어야 하는지를 결정합니다.1

학습자들은 비공식적인 학습 목표를 자발적으로 생성하지만,2,3 전문성 개발에서 SRL의 중요성이 강조되면서 다양한 교육 환경에서 공식적인 서면 학습 목표 프로그램이 많이 개발되었습니다.4-9 이러한 프로그램은 성공과 실패가 엇갈렸으며,4-9 서면 학습 목표가 임상 교육 실무에 어떻게 통합되고 그 유용성에 영향을 미치는 요인에 대한 의문이 제기되고 있습니다. 
Learning goals are often developed in the context of programmes of self-regulated learning (SRL). In one cyclical model of SRL, for example, learners:

  • (i) develop goals;
  • (ii) monitor their performance;
  • (iii) reflect on how outcomes align with their goals, and
  • (iv) determine how old goals should be modified and new ones created as the cycle begins again.1 

Although learners spontaneously generate informal learning goals,2, 3 emphasis on the importance of SRL in professional development has led to many formal written learning goal programmes in various education settings.4-9 These programmes have had mixed success,4-9 raising questions about how written learning goals are incorporated into clinical education practice and what factors influence their usefulness.

대부분의 학습 목표 프로그램의 이론적 토대는 사회적 지원의 중요성을 인정하고 있으며,10 이러한 프로그램의 분석은 대부분 개인의 내적, 인지적 작업에 대한 지원에 초점을 맞추고 있습니다.4-9 이러한 사회인지적 관점은 본 논문에서 연구하는 고빈도 학습 목표 프로그램의 개발의 토대가 되었지만, 프로그램이 실제로 어떻게 기능하는지 조사하기 위해서는 프로그램에 대한 인적, 물적, 문화적 영향을 설명하는 이론적 프레임워크가 필요했습니다. 문화역사활동이론(CHAT)은 개인과 집단의 활동을 형성하는 데 중요한 역할을 하는 자료로서 학습 목표에 대한 분석을 지원했습니다.11-13 
The theoretical underpinning of most learning goals programmes acknowledges the importance of social supports,10 and the analysis of these programmes mostly focuses on support of the internal, cognitive work of the individual.4-9 Although this social cognitive perspective served as the foundation for the development of the high-frequency learning goals programme we study in this paper, we needed a theoretical framework that accounted for the human, material and cultural influences on the programme to investigate how the programme functioned in practice. Cultural historical activity theory (CHAT) supported our analysis of the learning goals as materials that play a role in shaping the activities of individuals and groups.11-13

이론적 틀: CHAT과 매듭짓기
Theoretical framework: CHAT and knotworking

문화역사적 활동 이론은 사람들이 

  • 다면적인 사회적 맥락에서
  • 도구(물리적[예: 임상 노트] 및 상징적[예: 언어])를 사용하여
  • 예상되는 결과(예: 최적의 환자 치료 제공)로 이어지는
  • 특정 목적(예: 역사 기록 기술 개발)을 달성하는 방법에 중점을 둡니다.12-15

목적은 행동의 즉각적인 목적인 반면, 결과는 시스템에서 나오는 결과물입니다. 분업, 규칙 또는 규범, 실무자 커뮤니티도 결과로 이어지는 행동에 영향을 미칩니다. 이러한 시스템을 이해하기 위해 CHAT 정보 기반 분석은 업무 기반 사회적 맥락을 분석 단위로 사용합니다(즉, 활동 시스템 [그림 1]).14 
Cultural historical activity theory focuses on

  • how people use tools (physical [e.g. clinical notes] and symbolic [e.g. language])
    in multifaceted social contexts
    to achieve specific objects (e.g. develop history-taking skills)
    that lead to anticipated outcomes (e.g. the delivery of optimal patient care).12-15 

Objects are the immediate purposes of actions, whereas outcomes are the products that emerge from the system. Divisions of labour, rules or norms, and the community of practitioners also influence the actions that lead to outcomes. To understand these systems, CHAT-informed analysis uses the work-based social context as the unit of analysis (i.e. an activity system [Fig. 1]).14

업무 환경에서는 결과outcome가 겹칠 수 있고 일치해야 합니다. 문제는 완전한 일치가 이루어지지 않는 경우가 많다는 것입니다. 이러한 상황은 시스템 내 개인이 객체를 하나 이상의 결과와 어떻게 일치시킬 수 있는지 협상할 때 [서로 경쟁하는 목표]로 이어질 수 있습니다.16-18 [잘못 정렬된 결과]는 종종 활동 시스템 내에서 긴장과 모순을 유발합니다. 예를 들어,

  • 의대생은 의사로서의 진단 능력(결과)을 개발하기 위해 특정 신체 검사 기술(목표)을 개발하고 싶지만, 환자(최적의 환자 치료라는 다른 바람직한 결과와 일치하는 경쟁 목표)에게 실습을 함으로써 불편을 주고 싶지 않을 수 있습니다. 동시에, 학생은 주치의에게 자신의 신체 검사 능력을 입증하여 높은 성적(또 다른 바람직한 결과)을 확보할 수 있는 방법을 찾아야 한다는 강박관념을 느낄 수 있습니다.

이러한 모순을 극복하는 과정에는 종종 새로운 행동 방식이나 새로운 대상의 개발이 필요합니다. 예를 이어가자면,

  • 주치의는 학생의 술기(대상)를 판단하는 것에서 벗어나 학생의 술기를 연습할 수 있도록 도와줄 수 있는 환자를 찾아내어 그 환자에게 실습을 허락하도록 요청하는 새로운 대상으로 전환할 수 있습니다. 주치의의 새로운 행동(학생의 환자 식별을 돕는 것)은 학생에게 새로운 행동(신체 검사 술기를 연습할 기회 증가)으로 이어집니다.

In work settings, outcomes can and should overlap and be congruent. Problematically, full alignment is often not achieved. This situation can lead to competing objects as individuals in the system negotiate how objects can be aligned with one or more of the outcomes.16-18 Misaligned outcomes often cause tensions and contradictions within the activity system. For instance,

  • a medical student may want to develop a specific physical examination skill (object) in order to develop her diagnostic abilities as a physician (outcome), but she does not want to inconvenience patients by practising on them (a competing object aligned with the alternative desired outcome of optimal patient care). At the same time, the student may feel compelled to find ways to demonstrate her physical examination competence to the attending physician so that she can secure a high grade (another desired outcome).

Often the process of overcoming these contradictions requires new ways of acting or the development of new objects. To continue our example,

  • the attending physician may shift from judging the student's skills (object) to the new object of helping the student to practise her skills by identifying willing patients and asking their permission for the student to practise with them. The attending physician's new action (helping the student to identify patients) leads to new actions for the student (increased opportunities to practise physical examination skills).

이러한 과정을 확장 학습이라고 하며 새로운 행동 방식을 통해 활동 체계의 긴장을 해소할 수 있습니다.14, 17 우리는 이 학습의 정의를 사용하여 [공식적이고 문서화된 학습 목표]가 학습자와 감독자의 업무에 어떤 영향을 미치는지 이해했습니다.
This process is referred to as expansive learning and allows tensions in the activity system to be resolved through new ways of acting.14, 17 We used this definition of learning to understand how formal, written learning goals affect the work of learners and their supervisors.

복잡한 환경에서 역동적이고 변화하는 긴장을 포착하기 위해 CHAT 연구자들은 사람과 도구가 함께 새로운 방식으로 행동하는 방법을 설명하기 위해 [매듭짓기 은유]를 개발했습니다.17, 18

  • 매듭에서 시스템의 각 요소는 [특정 목표]를 달성하기 위해 일시적으로 수렴하여 궁극적으로 [원하는 결과]를 이끌어내는 [실]입니다.
  • 매듭의 형성은 종종 도구에 의해 매개됩니다. 경쟁하는 물체의 힘매듭을 잡아당기고 긴장시키기 때문에 매듭의 형성은 종종 미약하며 실을 빼거나 추가할 때 풀릴 수 있습니다.

우리는 경쟁하는 물체와 잘못된 결과로 인해 긴장된 약한 매듭이라는 개념을 통해 서면 학습 목표가 실제로 어떻게 사용되는지 살펴볼 수 있다고 제안합니다. 이 조사에서는 CHAT과 매듭짓기를 사용하여

  • (i) 학생과 감독자가 서면 학습 목표를 임상 업무에 통합하는 방법과
  • (ii) 작업 기반 학습에서 학생의 서면 학습 목표 사용에 영향을 미치는 요인을 탐색합니다.

To capture dynamic and shifting tensions in complex settings, CHAT researchers have developed the knotworking metaphor to describe how people and tools come together to act in new ways.17, 18 

  • In the knot, each element of the system is a thread that temporarily converges to accomplish specific objects which ultimately lead to desired outcomes.
  • The formation of the knot is often mediated by tools. Because the forces of competing objects pull and strain at the knot, its formation is often tenuous and it may unravel as threads are taken away or added. 

We suggest that the concept of a tenuous knot under strain from competing objects and misaligned outcomes allows us to examine how written learning goals are used in practice. In this investigation, we use CHAT and knotworking to explore:

  • (i) how students and their supervisors incorporate written learning goals into their clinical work, and
  • (ii) the factors that influence the use of students’ written learning goals in work-based learning.

방법
Methods

학습 맥락: 학습 목표 프로그램
Study context: learning goals programme

임상 커리큘럼에 SRL의 원칙을 통합하기 위해 2014년 6월 워싱턴 대학교 세인트루이스 의과대학의 3학년 임상 커리큘럼에서 주간 서면 학습 목표 프로그램이 개발되어 시행되었습니다. 이 프로그램은 신경과 임상실습19에서 수행된 파일럿 작업을 기반으로 했으며, 5개의 핵심 임상 실습(신경과, 내과, 외과, 소아과, 산부인과)이 참여했습니다. 3학년 커리큘럼의 대부분에 걸쳐 이 프로그램을 시행함으로써 서면 학습 목표가 교육 실습에 어떻게 통합되는지 조사할 수 있는 기회를 제공했습니다.
To incorporate principles of SRL into the clinical curriculum, a weekly written learning goals programme was developed and implemented in the Washington University in St Louis School of Medicine's Year 3 clinical curriculum in June 2014. The programme was based on pilot work that had been carried out in the neurology clerkship19 and involved five core clinical clerkships (neurology, internal medicine, surgery, paediatrics, and obstetrics and gynaecology). The implementation of the programme across much of the Year 3 curriculum offered the opportunity to investigate how written learning goals are incorporated into educational practice.

이 프로그램에서는 학습 목표가 학생들의 총괄 평가의 일부로 사용되지 않았습니다. 학생들은 임상 실습 전에 공식적인 학습 목표를 사용해 본 경험이 없었습니다. 3학년이 시작되기 직전에 모든 3학년 의대생들은 저자 중 한 명(DPL)이 진행하는 한 시간 동안의 워크숍을 통해 이 프로그램에 대한 교육을 받았습니다. 교직원과 레지던트들에게 이 프로그램에 대한 공지가 클레어십 디렉터에 의해 전달되었고, 여러 부서에서 교직원과 레지던트를 위한 교육 워크샵(DPL 강의)을 개최했습니다.
In this programme, learning goals were not used as part of students’ summative assessments. Students did not have experience in using formal learning goals prior to their clinical clerkships. Just prior to the start of the third year, all Year 3 medical students were trained in the programme during an hour-long workshop taught by one of the authors (DPL). Faculty staff and residents were notified of the programme by clerkship directors, and several departments held training workshops (taught by DPL) for faculty members and residents.

각 클럭십은 환경의 메커니즘을 수용하기 위해 약간의 수정을 가했지만, 프로그램의 형식과 절차는 5개의 클럭십에서 거의 동일하게 진행되었습니다. 학생들은 매주 초에 [환자를 위해 더 많은 의사 역할을 수행할 수 있는 방법]에 관한 [두 가지 학습 목표]를 작성했습니다. 주간 타임라인은 일상 업무에서 학습 목표의 사용을 촉진하고 구체적이고 실행 가능한 목표를 장려하는 데 사용되었습니다. 이러한 목표는 의사소통 기술, 검사 및 절차 기술, 응용 임상 지식 및 행정 기술(예: 퇴원 관리)을 포함한 다양한 실무 능력을 다룰 수 있습니다. 예를 들어, 하루 일과가 끝날 때마다 환자에게 검사 결과를 설명하거나 특정 유형의 환자에게 사용할 약물의 종류에 대한 개요를 작성하는 것이 목표가 될 수 있습니다. 학생들은 [목표를 실행]하고 [진행 상황을 추적하기 위한 계획]을 작성하도록 요청받았습니다. 첫 주가 끝난 후에는 지난 주 목표에 대한 진행 상황을 분석하는 후속 조치 섹션을 작성하도록 했습니다. 그런 다음 이러한 목표를 학생들의 지도교수(주치의 및 레지던트)에게 이메일을 통해 제출하여 피드백을 받고 한 주간의 업무에 반영하도록 했습니다.
Although each clerkship made minor modifications to accommodate the mechanics of its environment, the format and procedures of the programme were largely identical across the five clerkships. At the beginning of each week, students wrote two learning goals directed at how they could take on more of a doctor role for their patients. The weekly timeline was used to promote use of the learning goals in daily work and to encourage specific, actionable goals. These goals could cover a range of practice abilities including communication skills, examination and procedural skills, applied clinical knowledge and administrative skills (e.g. managing discharges). For example, goals might include explaining test results to patients at the end of each day or creating an outline of a class of drugs for use in certain types of patient. Students were asked to write a plan to implement their goals and track their progress. After the first week, they included a written follow-up section analysing their progress on the previous week's goals. These goals were then submitted to the students’ supervisors (i.e. attending physicians and residents) via e-mail for feedback and incorporation into the week's work.

데이터 수집 및 분석
Data collection and analysis

인터뷰 절차
Interview procedures

학생과 감독자를 대상으로 반구조화된 인터뷰를 실시했습니다. 인터뷰 가이드는 참가자가 학습 목표를 사용한 경험을 설명할 수 있도록 설계되었습니다. 가능한 참가자를 식별하기 위해 최근 학습 목표 프로그램을 사용한 각 핵심 클레임에 참여한 적이 있는 학생 및 감독자 목록을 생성했습니다. 인터뷰 전에는 프로그램에 대한 참가자의 만족도를 알 수 없었기 때문에 각 목록에서 성별에 따른 계층화를 통해 참가자를 무작위로 선정하여 인터뷰에 참여하도록 초대했습니다. 학생 인터뷰는 저자 중 한 명(AW)이 2014년 12월부터 2015년 2월까지 실시했습니다. 감독자 인터뷰는 2015년 4월부터 8월까지 다른 저자(JL)에 의해 수행되었습니다. 모든 참가자로부터 동의를 얻었습니다. 모든 인터뷰는 오디오 녹음 및 필사되었습니다. 모든 데이터는 익명으로 처리되어 인터뷰 담당자만 참가자의 신원을 알 수 있도록 했습니다. 
We conducted semi-structured interviews with students and supervisors. The interview guide was designed to allow participants to describe their experiences of using the learning goals. To identify possible participants, a list of students and supervisors who had recently participated in each of the core clerkships that used the learning goals programme was generated. Because levels of participant satisfaction with the programme were unknown before the interviews, participants were randomly selected from each list, with stratification for gender, and invited to participate. Student interviews were conducted from December 2014 to February 2015 by one of the authors (AW). Supervisor interviews were conducted from April to August 2015 by another author (JL). Consent was obtained from all participants. All interviews were audio-recorded and transcribed. All data were anonymised so that only the interviewer would know the participant's identity.

참가자
Participants

2014-2015 학년도에는 129명의 학생이 학습 목표 프로그램에 참여했습니다. 최소 250명의 교수진과 300명의 레지던트가 감독관으로 참여했습니다. 프로그램을 연구하기 위해 14명의 학생과 14명의 수퍼바이저를 인터뷰했습니다. 참여한 각 핵심 클리닉에서 2~3명의 학생과 2~3명의 주치의가 인터뷰에 참여했습니다. 외과 레지던트 2명도 인터뷰에 응했는데, 이는 레지던트들이 해당 클락십에서 학생들의 목표를 감독하는 데 특히 중요한 역할을 했기 때문입니다. 인터뷰에 참여한 14명의 학생 중 8명이 여성이었습니다. 14명의 수퍼바이저 중 5명이 여성이었습니다. 양성 평등을 유지하려는 노력에도 불구하고 수퍼바이저의 성별 대표성에 편차가 있는 것은 학생들의 학습 목표와 수퍼바이저의 가용성을 최근에 접한 수퍼바이저의 표본을 반영한 결과입니다. 학생 인터뷰는 평균 42분, 슈퍼바이저 인터뷰는 평균 26분 동안 진행되었습니다. 
During the 2014–2015 academic year, 129 students participated in the learning goals programme. At least 250 faculty members and 300 residents participated as supervisors. To study the programme, 14 students and 14 supervisors were interviewed. Two or three students and two or three attending physicians from each of the participating core clerkships were interviewed. Two residents from surgery were also interviewed because residents played a particularly important part in supervising students’ goals on that clerkship. Eight of the 14 students who were interviewed were female. Five of the 14 supervisors were female. Despite our attempts to maintain gender equality, the skew in gender representation among supervisors reflected the sample of supervisors with recent exposure to students’ learning goals and supervisors’ availability. Student interviews lasted an average of 42 minutes and supervisor interviews lasted an average of 26 minutes.

코딩 및 분석
Coding and analysis

두 명의 연구자(DPL과 AW)가 학생 인터뷰를 코딩했고, 두 명의 연구자(DPL과 JL)가 감독자 인터뷰를 코딩했습니다. 선임 저자(LV)는 학생 인터뷰의 초기 코딩에 참여하여 코딩 과정을 감독했습니다. 학생 인터뷰와 수퍼바이저 인터뷰는 데이터 수집 및 분석의 반복 주기에 따라 별도로 코딩되었습니다. 두 집단에 대한 코딩 분석이 진행됨에 따라 중요한 유사점을 발견하여 모든 연구 데이터를 분석하여 도출한 통합 모델을 개발했습니다. 
Two investigators (DPL and AW) coded student interviews, and two investigators (DPL and JL) coded supervisor interviews. The senior author (LV) participated in the early coding of student interviews and oversaw the coding process. Student interviews and supervisor interviews were coded separately in iterative cycles of data collection and analysis. As analysis across the coding of the two populations progressed, we identified important similarities and so developed a unified model that was derived from analysing all the study data.

[구성주의적 근거 이론 접근법]을 차용하여 오픈 코딩을 사용하여 초기 인터뷰 하위 집합(각 그룹에서 2~3개의 인터뷰)을 분석하여 초기 아이디어를 탐색하고 구성했습니다.20, 21 이러한 주제는 상호 연관성을 탐색하기 위해 개념적 수준에서 조사되었습니다. 그룹 토론을 통해 주제를 취합하고 조정하여 코딩 구조를 구성했습니다. 코딩 구조는 두 명의 조사자가 두세 차례의 인터뷰를 추가로 코딩하는 과정을 통해 구체화되고 확고해졌습니다. 이견은 그룹 토론을 통해 조정되었습니다. [최종 코딩 구조]한 명의 연구자가 모든 인터뷰에 적용했습니다. 데이터 분석을 지원하기 위해 클라우드 기반 질적 데이터 관리 프로그램인 Dedoose(Dedoose.com, 미국 캘리포니아주 로스앤젤레스)를 사용했습니다. 데이터를 분석하면서 우리가 발견한 관계를 설명하는 데 도움이 될 다양한 이론을 논의했습니다. 이러한 다양한 이론을 통해 데이터를 살펴본 결과, CHAT과 매듭짓기가 우리가 확인한 패턴에 대해 주목할 만한 설명력을 제공한다는 사실을 알게 되었습니다.
We borrowed from the constructivist grounded theory approach and used open coding to analyse an initial subset of interviews (two or three interviews from each group) to explore and construct initial ideas.20, 21 These themes were examined at a conceptual level to explore interconnections. Through group discussion, we collated and reconciled themes to form a coding structure. The coding structure was refined and solidified through two additional rounds of coding of two or three interviews by two investigators. Differences were reconciled through group discussion. The final coding structure was then applied to all interviews by a single investigator. We used Dedoose (Dedoose.com, Los Angeles, CA, USA), a cloud-based qualitative data management program, to support data analysis. As we analysed our data, we discussed various theories that would help to explain the relationships we identified. As we looked at our data with these various theories, it became apparent that CHAT and knotworking offered notable explanatory power for the patterns we identified.

반사성
Reflexivity

우리는 학습 목표 프로그램과 교육 이론에 대한 경험이 조사에 영향을 미쳤다는 것을 알고 있습니다. DPL은 학습 목표 프로그램을 만들고 실행을 주도한 의사이자 교육 연구원으로, 병원에서 근무하는 동안 학습 목표를 작성한 학생의 감독관으로 활동했습니다. AW는 의대생으로 신경과 임상강사 시절 이 프로그램의 파일럿 버전에 참여했으며 이듬해 이 프로젝트의 연구 조교로 활동했습니다. JL은 소아과 레지던트로서 임상 근무 기간 동안 학생들의 학습 목표를 감독했습니다. ARA와 RB는 SRL에 대한 전문성을 갖춘 교육 연구자입니다. LV는 질적 연구와 CHAT 및 매듭짓기에 대한 전문성을 갖춘 교육 연구자입니다. ARA, RB 및 LV는 학습 목표 프로그램의 개발, 실행 또는 감독에 직접 관여하지 않았습니다. 
We recognise that our experiences with the learning goals programme and with educational theories shaped our investigation. DPL is a medical doctor and education researcher who created and led the implementation of the learning goals programme; he also served as a supervisor of students with written learning goals while on the hospital service. AW is a medical student who participated in the pilot version of the programme while in the neurology clerkship and served as a research assistant for this project in the following year. JL was a paediatrics resident who supervised students with their learning goals during her time on clinical service. ARA and RB are education researchers with expertise in SRL. LV is an education researcher with expertise in qualitative research, as well as in CHAT and knotworking. ARA, RB and LV had no direct involvement in creating, implementing or supervising the learning goals programme.

결과
Results

먼저 CHAT을 사용하여 학생과 감독자가 서면 학습 목표를 사용하는 데 영향을 미친 임상 교육 시스템의 다양한 결과 사이의 긴장에 대한 분석을 설명합니다. 그런 다음 이 프레임워크를 기반으로 매듭짓기 개념을 사용하여 경쟁하는 결과 사이의 긴장을 극복할 수 있는 잠재적 도구로서 서면 학습 목표를 사용하여 매개된 학생, 감독자 및 환자의 미약한 상호작용을 설명합니다. 학생과 감독자 인터뷰 모두에서 유사한 주제가 나타났기 때문에 이러한 데이터는 함께 제시되었습니다. 
Using CHAT, we first describe our analysis of the tensions between the various outcomes of the clinical education system that influenced students’ and supervisors’ use of written learning goals. Building on this framework, we then use the concept of knotworking to describe the tenuous interactions of students, supervisors and patients that were mediated by use of the written learning goals as a potential tool to overcome the tensions between competing outcomes. Because similar themes emerged from both the student and supervisor interviews, these data are presented together.

정렬되지 않은 결과와 경쟁 대상: 전문성 개발, 채점 및 환자 치료
Misaligned outcomes and competing objects: professional development, grading and patient care

임상팀은 임상 활동의 세 가지 주요 결과에 대한 책임이 있습니다.

  • 학생의 의사로서의 능력 개발 지원,
  • 학생의 성과에 대한 채점,
  • 환자 치료 제공

학생들은 자신의 전문적 능력을 개발하기 위해 학습 목표를 세우고, 임상 성과를 분석하고 개선할 계획(예: 목표)을 결정합니다:
Clinical teams are responsible for at least three major outcomes of clinical activity:

  • helping students to develop their abilities as physicians;
  • grading them on their performances, and
  • providing patient care.

When students engaged in creating learning goals to develop their own personal professional abilities, they analysed their clinical performance and determined plans (i.e. objects) to improve:

... 목표를 세우기 일주일 전에 약점과 다음 주에 어떻게 개선할 수 있을지 생각해 보는 것은 [...] 지식과 성과를 평가하는 능력에 확실히 도움이 되었습니다. 구체적인 계획을 세우고 한정된 기간에 목표에 대한 피드백을 받는다는 것이 정말 좋은 것 같아요. (PaedsStudent2)
…going a week before trying to formulate the goals and thinking about weaknesses and how I can improve them next week […] definitely helped in that capacity to assess knowledge and performance. I think that having a concrete plan and getting feedback on the goals in a finite period of time, I think it's great. (PaedsStudent2)

그러나 추가적으로 원하는 결과를 얻기 위해서는 학생과 감독자의 관심과 노력이 필요했고, 학생들은 학습 목표를 개발할 때 다양한 대상을 고려해야 했습니다. 예를 들어, 학생들은 개인적인 발전 외에도 호의적인 평가의 필요성을 인식했습니다. 이러한 고려 사항으로 인해 일부 학생들은 [상사에게 깊은 인상을 남기는 것]과 [특정 기술을 개발하는 것] 사이의 경쟁적인 목표를 지향하는 학습 목표를 명확히 했습니다:
However, additional desired outcomes also demanded students’ and supervisors’ attention and efforts, requiring students to consider different objects as they developed their learning goals. For instance, in addition to personal development, students acknowledged the need for favourable evaluations. These considerations caused some students to articulate learning goals oriented towards navigating the competing objects of impressing their supervisors and developing specific skills:

... 저는 제가 잘하지 못하고 취약한 분야를 공부하고 싶습니다. 또한, 성적과 목표 달성 여부로 저를 평가할 주치의 앞에서 아무것도 모르는 사람처럼 보이게 될 정도로 제가 잘 못하는 것에서 목표를 정하고 싶지 않습니다. 저는 중간 정도 수준인 과제를 더 잘하고 잘하고 있는 것처럼 보이기 위해 노력합니다. (신경과 학생1)
…I want to work on things that I'm bad at, that I'm weak in. I also don't want to pick goals in things that I'm so bad at that I'm just going to look like I don't know anything in front of the attending who's ultimately going to be evaluating me in terms of both the grades as well as my accomplishing the goals. I try to play things that I'm middle of the pack on so that I can get better at them and look like I'm doing well. (NeuroStudent1)

양질의 환자 치료를 제공하는 것도 학생들이 학습 목표를 설정할 때 긴장감을 유발하는 또 다른 바람직한 결과였습니다. 일부 학생은 환자 치료를 개선하고 기술을 개발하는 것을 목표로 하는 학습 목표를 세웠습니다(예: 환자에게 약물에 대해 설명하거나 하루 동안의 계획과 결과를 환자에게 업데이트하기). 그러나 환자 치료의 요구로 인해 팀의 목표가 학생의 목표와 관련된 작업에서 멀어지는 경우가 많았습니다. 한 수퍼바이저는 다음과 같이 지적했습니다: 
Providing quality patient care was another desired outcome that caused tension as students identified their learning goals. Some students created learning goals that aimed to both improve patient care and develop their skills (e.g. to explain medications to patients or to update patients about plans and results throughout the day). The demands of patient care, however, often shifted the objects of the team away from actions involving the students’ goals. As one supervisor noted:

학생들의 학습 목표를 달성하는 데 있어 가장 큰 장벽은 진료실에서 한 시간씩 늦어지고, 그래서 계속 움직이고, 움직이고, 움직여야 하기 때문에 [학습 목표에서] 해당 주제에 도달하지 못할 수도 있다는 점입니다. (산부인과 어텐딩2)
The biggest barrier [to addressing students’ learning goals is] that we may not ever get to that topic [from the learning goal] because we were running an hour behind in the clinic and we just had to move, move, move. (ObGynAttending2)

한 학생이 이 문제를 제기했습니다:
A student echoed this challenge:

매우 빠른 속도의 서비스이고 양이 많으면 학습자 목표는 확실히 버려집니다. 학습자들은 주의를 기울이지 않죠. 하지만 다운타임이 생기면 목표가 눈에 띄게 되죠. (IntMedStudent3)
If it's a very high-pace service and high volume, yeah, the learner goals definitely get thrown out. They don't pay attention. If there's downtime, though, they'll surface up. (IntMedStudent3)

이상적으로는 임상 교육 내에서 전문성 개발, 채점 및 환자 치료라는 세 가지 예상 결과가 일치하는 것이 좋습니다. 그러나 학생과 감독자는 이러한 결과가 종종 서로 모순되거나 부분적으로만 겹친다는 사실을 인정했습니다(그림 2). 이 세 가지 결과의 상호 작용과 이를 달성하기 위해 사용되는 [경쟁적인 목표를 협상하는 과정]은 학생들의 학습 목표를 실현하기 위해 매듭을 짓는 감독자, 학생 및 환자의 활동 사이에 긴장감을 조성했습니다.
Ideally, the three anticipated outcomes – professional development, grading and patient care – would align within clinical education. However, students and supervisors acknowledged that these outcomes often contradicted one another or only partially overlapped (Fig. 2). The interplay of these three outcomes and the process of negotiating the competing objects used to achieve them created a tension between the threads of activity from supervisors, students and patients who formed the knot to enact the students’ learning goals.

학생과 감독자는 겹치지만 완전히 일치하지 않는 결과를 조정하려고 노력합니다. 학습 목표는 어떤 결과의 우선순위를 정할지 또는 어떻게 결합할지를 결정하는 데 도움이 되는 객체를 생성하는 하나의 도구가 될 수 있습니다14, 18
Students and supervisors try to reconcile overlapping but not fully aligned outcomes. Learning goals can be one tool for creating objects that can help to determine which outcomes will be prioritised or how they will be combined14, 18

매듭: 도구를 중심으로 서로 묶인 실
The knot: threads bound together around a tool

매듭짓기는 학생의 학습 목표와 관련하여 임상 교육 환경 내의 모순을 해결하기 위해 활동 시스템의 요소들이 어떻게 수렴되었는지(또는 그렇게 하지 못했는지) 설명합니다. 감독자, 학생 및 환자는 각각 새로운 행동을 생성하고, 새로운 대상을 정의하고, 원하는 결과를 향해 노력하면서 매듭의 실타래에 한 가닥씩 기여했습니다(그림 3). 다음 예에서 볼 수 있듯이 학습 목표는 이러한 스레드의 융합을 가능하게 하는 도구 역할을 할 수 있습니다:

Knotworking describes how the elements of the activity system converged to address the contradictions within the clinical education environment (or failed to do so) with regard to the students’ learning goals. Supervisors, students and patients each contributed a thread to the knot as they produced new actions, defined new objects, and worked towards the desired outcomes (Fig. 3). As the following example illustrates, learning goals could serve as tools that enabled the convergence of these threads:

매듭짓기는 활동 시스템의 요소들이 새로운 작업을 수행하기 위해 수렴하는 방식을 설명하는 은유입니다. 그러나 매듭은 [경쟁하는 힘의 존재]로 인해 약해집니다. 매듭은 느슨한 것으로 묘사되는데, 이는 조이는 것만큼이나 풀릴 가능성이 높기 때문입니다. 우리의 데이터는 학생, 감독자 및 환자가 학생의 학습 목표를 중심으로 형성되는 매듭의 실타래임을 보여줍니다.
Knotworking is a metaphor that describes the ways in which the elements of an activity system converge to accomplish new actions. However, the knot is made tenuous by the presence of competing forces. The knot is depicted as loose because it is just as likely to unravel as to tighten. Our data demonstrate how students, supervisors and patients are the threads of the knot that forms around students’ learning goals

제 목표 중 하나는 서로 다른 환자들의 발달도 검토하는 것이었습니다 [...] 그녀[주치의]는 같은 층에 있는 같은 나이의 환자 두 명을 선택했고, 저와 다른 의대생 동료와 함께 두 환자를 모두 방문했습니다. 그녀는 우리와 함께 와서 우리에게 설명하고, 질문하고, 지연에 대한 그녀의 생각과 두 환자 간의 비교를 알려주었습니다. 정말 좋은 배움의 경험이었다고 생각합니다. [...] 그 목표가 없었다면 그녀가 구체적으로 시간을 내서 그렇게 하지는 않았을 것 같아요. (PaedsStudent2)
One of my goals was to review development as well in different patients […] She [the attending] chose two patients on the floor that were the same age and she took me around as well as my other med student counterpart and then we visited both patients. She came with us and explained things to us, asked us questions and told us her thoughts about the delays and how they compare between the two patients. I think that was a really great learning experience. […] I think without that goal, I'm not sure that she would have taken the time to do that specifically. (PaedsStudent2)

이와 대조적으로 다른 학생과 감독자들은 이러한 실타래가 모이지 않고 새로운 행동이 일어나지 않는 상황을 설명했습니다. 한 예로, 한 학생은 감독자가 자신의 학습 목표를 언급하지 않았을 때 어떻게 대응했는지 물었습니다:
By contrast, other students and supervisors described situations in which these threads did not come together and new actions did not occur. In one example, a student was asked how he responded when supervisors did not bring up his learning goals:

아마 처음에 "이봐요, 제 목표는 알아요?"라고 말했을 것입니다. [...] 일반적으로 한두 번의 프롬프트 후에도 반응이 없으면 계속 언급하는 것을 원하지 않는다는 느낌을 받습니다. 아니면 그다지 중요하지 않다는 느낌이 들기도 합니다. (SurgStudent3)
Maybe at the beginning I've said, “Hey, did you get my goals?” […] Generally, if people after like one or two prompts aren't responsive, it's kind of, you kind of get the feeling that they don't want you to keep bringing it up. Or it's not something that's important to them. (SurgStudent3)

학생들은 두 가지 시나리오를 모두 설명하면서 학습 목표를 중심으로 스레드가 때때로 수렴하고 때때로 갈라지는 상황을 언급했습니다.
Students described both scenarios, referring to contexts in which threads sometimes converged and sometimes diverged around their learning goals.

스레드: 감독자
The threads: supervisors

수퍼바이저는 임상 공간에서 추구하는 세 가지 결과, 즉 전문성 개발, 채점 및 환자 치료의 실현에 핵심적인 역할을 했습니다. 인터뷰에 참여한 모든 학생은 학습 목표가 임상 경험에 중요한 역할을 했는지 여부를 결정하는 데 있어 슈퍼바이저의 참여를 가장 중요한 요소로 꼽았습니다. 이러한 영향의 일부는 슈퍼바이저가 목표에 부여하는 가치에 대한 학생들의 인식에서 비롯되었습니다. 한 학생은 이렇게 말했습니다:
Supervisors were central to the realisation of all three outcomes pursued in the clinical space – professional development, grading and patient care. Every student who was interviewed identified supervisor engagement as the most important factor in determining whether the learning goals played a significant role in their clinical experience. Part of this influence came from students’ perceptions of the value that supervisors gave the goals. As one student said:

팀 전체가 학습 목표에 집중하고 노력한다면 좋은 경험이라고 생각했습니다. 팀 전체가 "멍청하거나 바쁜 일"이라고 생각했다면, 그것은 다른 누구도 원하지 않는 학생으로서 해야만 하는 일이 되었을 뿐입니다. (SurgStudent1)
I thought that if the whole team was into your learning goals and focused on them and tried, then it was a great experience. If the whole team thought they were “stupid or busy work” then it just became something that you had to do as a student that nobody else wanted to do. (SurgStudent1)

감독자들도 자신의 역할의 중요성을 인식하고 있었습니다:
Supervisors also recognised the importance of their role:

학생들은 꽤 많은 노력을 기울이고 있으며 이 [학습 목표] 문서를 작성해야 합니다. 주치의가 그에 상응하는 주의를 기울이고 있다고 느끼지 못한다면 학생들은 실망할 것입니다. (PaedsAttending2)
The students are putting in quite a bit of work and they are required to create this [learning goal] document. I think it's frustrating for them if they don't feel that the attending is paying the commensurate amount of attention to that. (PaedsAttending2)

학생들은 목표를 달성하기 위해 수퍼바이저의 참여가 필요하다고 설명했습니다:
Students described supervisor participation as necessary for learning from their goals:

심전도 [목표]의 경우, 주치의가 어떻게 해야 하는지 알고 있었기 때문에 잘 풀렸습니다. 매일 "좋아, 학생 X는 모든 환자의 회진에서 심전도를 판독할 거야."라고 말씀하셨죠. 그 덕분에 정말 잘할 수 있었던 반면, 다른 목표의 경우 주치의가 어떻게 해야 할지 잘 몰랐다면 [...] 토론도 없었고 [...] 그래서 그 목표가 잘 달성되지 못했습니다. (NeuroStudent2)
With the ECGs [goal], that worked out because my attending knew what to do with that. Every day, he's like “Okay, Student X is going to read the ECG on rounds for every patient.” I got really good at it because of that, whereas other goals, if they didn't really know how to help me figure it out […] then there wasn't really a discussion […] so those goals didn't work out as well. (NeuroStudent2)

학생들이 목표를 달성하기 위해 상당한 노력을 기울였다고 해도 학습이 이루어지기 위해서는 감독자와의 상호작용이 필수적이었습니다:
Even if students put a significant amount of their own effort into their goals, the interaction with the supervisor was essential for learning to happen:

...학습 목표를 세우면 능동적으로 행동하게 됩니다. 제가 집중적으로 배우고 싶은 것이 이것이라는 것을 보여주고 계십니다. 나는 그것을 하기 위해 스스로 노력할 것입니다. 어떻게 할 것인지 단락에 적었지만 상대방이 참여하지 않는다면 원하는 만큼 열심히 노력할 수 있지만 피드백이나 지시를 받지 못한다면 실제로 아무것도 배우지 못한 것입니다. (SurgStudent1)
…with learning goals, you're being proactive. You're showing that this is the focused thing that I want to learn. I'm going to try on my own to do it. You write in your paragraph how you're going to do it, but if the other person isn't willing to engage, then you can try as hard as you want, but if you're not getting any feedback or direction, then you haven't really learned anything. (SurgStudent1)

감독자의 참여는 종종 학생의 목표에 대한 피드백 제공으로 이루어졌습니다. 한 주치의는 다음과 같이 관찰했습니다:
Supervisor engagement often consisted of providing feedback on students’ goals. As one attending physician observed:

저는 학생들에게 다음과 같은 피드백을 제공합니다: "그 목표를 다시 생각해 보는 것이 좋을 것 같습니다. 그 목표를 표현하는 방식이 정확히 달성 가능하지 않을 수도 있지만 이렇게 조금 더 생각해 보세요. 이 부분은 달성 가능할 수도 있습니다." (산부인과 어텐딩1)
I'll give them feedback about: “Well, you may want to rethink that goal. The way you phrase it may not be exactly accomplishable but maybe think a little bit more about it like this. This piece of it might be accomplishable.” (ObGynAttending1)

또한 슈퍼바이저가 학생의 목표에 참여하면 종종 이를 팀 업무에 통합할 수 있는 방법을 찾기도 했습니다:
Further, when supervisors engaged with students’ goals, they would often find ways to incorporate them into the team's work:

그[학생]는 영상에 대해 더 많이 배우고 싶어 했습니다. 저는 매일 그가 우리가 보고 있는 이미지를 하나 이상 검토하도록 했습니다. 그런 다음 "이것 찾아봐, 저것 찾아봐"와 같이 해부학에 대해 알고 있는지 확인했습니다. (신경과 어텐딩2)
He [the student] wanted to learn more about imaging. Every day I would make sure that he had to review at least one image that we were looking at. Then I would make sure that he knows about the anatomy, like, “Find this, find that.” (NeuroAttending2)

스레드: 학생
The threads: students

학생들의 참여 수준도 학습 목표를 도구로 사용하는 데 영향을 미쳤습니다. 한 레지던트는 다음과 같이 언급했습니다:
Students’ level of engagement also influenced the usage of learning goals as tools. As one resident noted:

항상 그렇듯이, 시스템에 관심을 갖고 "이건 저에게 유용하고 학습에 도움이 될 거예요."라고 말하는 사람을 가르치는 것이 훨씬 더 쉽습니다. 그렇지 않은 사람은 더 어렵습니다. (SurgResident2)
It's much easier, which is always the case, to teach someone who's bought into the system and is interested in it and says, “This is something that is going to be useful and help me to learn.” Other people that don't, that's more difficult. (SurgResident2)

수퍼바이저들은 종종 학생의 관심 수준과 목표에 대한 헌신을 측정하는 것에 대해 설명했습니다. 한 주치의는 다음과 같이 관찰했습니다:
Supervisors often described gauging the student's level of interest and commitment to goals. As one attending physician observed:

한 시간 전에 방금 한 학생의 목표를 받았습니다(그런데 완전히 늦었습니다). 그 학생은 목표에 전혀 관심이 없다는 것을 알 수 있었습니다. 책에 나와 있는 규칙을 제대로 따르는 사람을 구별할 수 있습니다. 이 사람은 매우 짧고 직설적입니다. 좋은 목표가 아니라는 것은 아니지만 다른 것은 없습니다. (산부인과 어텐딩2)
An hour ago, I just got [a] student's goals (which is totally late, by the way). I can tell she's totally not into the goals. You can tell people who are really following the rules by the books. This person is very brief, blunt. Not that it's not a good goal to have but [it] doesn't have anything else to it. (ObGynAttending2)

학생들은 학습 목표 프로그램에 참여하려는 동기를 형성한 내부 및 외부의 복잡한 상호작용을 설명했습니다. 인터뷰에 참여한 모든 학생들은 목표에 대한 긍정적인 경험과 부정적인 경험을 모두 표현했습니다. 학생 동기의 대부분은 학생이 학습 목표 과제를 자신의 개인적인 전문성 개발 목표를 파악하여 상사에게 전달하기 위한 도구로 보았는지, 아니면 반대로 학생의 내부 동기와는 무관한 외부에서 부과한 요구 사항으로 보았는지에 따라 결정되었습니다. 한 학생은 다음과 같이 관찰했습니다:
Students described a complex interplay of internal and external forces that shaped their motivation to participate in the learning goals programme. All students who were interviewed expressed both positive and negative experiences with the goals. Much of student motivation was driven by whether a student saw the learning goals assignment as a tool to identify and communicate his or her personal professional development objects to supervisors or, conversely, as an externally imposed requirement that was unrelated to the student's internal drives. As one student observed:

월요일 밤 9시에 앉으면 제 약점이나 교육적으로 전문적으로 무엇이 되고 싶은지에 대해 생각하지 않습니다. 저는 내일은 어떤 어떤 의사에게 보내야 하는 제 목표가 무엇일지 생각하고 있습니다. [면접관: '글을 쓸 때 어떤 동기가 있나요?'] 저의 동기는 그것이 요구되었다는 것입니다. (IntMedStudent3)
When I sit down Monday night at 9.00, I'm not thinking about my weaknesses and what I want to become professionally, educationally. I'm thinking about what are going to be my goals that I have to send off to Dr Who and Who tomorrow. [Interviewer: ‘What are your motivators when you're writing it?’] My motivator is that it's been required. (IntMedStudent3)

다른 학생들은 자신의 업무를 기록하고 상사에게 깊은 인상을 심어줄 수 있는 능력을 입증하는 도구로 목표를 어떻게 활용할 수 있는지에 대해 언급했습니다:
Other students commented on how they could use the goals as an evidentiary tool to record their work and demonstrate their skills to impress their supervisors:

... 학습 목표를 사용하여 학습을 통합하고 차트나 실제 피드백을 받을 수 있는 유용한 무언가를 만드는 것이 제가 생각하는 방법입니다. 그런 다음 주치의에게 제가 학습에 적극적으로 참여하고 있고 이 특정 로테이션에 도움이 되려고 노력하고 있다는 것을 보여주세요. (ObGynStudent2)
…that's how I'm thinking of using the learning goals – to integrate learning and making something like a chart or something that's useful for me that I can get actual feedback from. Then show the attending I am taking an active role in my learning and trying to be useful on this particular rotation. (ObGynStudent2)

감독자를 만족시키기 위한 이러한 목표는 학생들이 개인적으로 중요하다고 생각하는 목표를 공유하지 못하게 할 수 있습니다. 한 학생은 사회복지사와 함께 일한다는 목표가 자신의 팀 중 한 팀에서는 유익했지만 다른 팀에서는 같은 목표가 받아들여지지 않는다고 설명했습니다:
This object to please supervisors could prevent students from sharing goals that they personally found important. A student described how she had found the goal of working with a social worker to be beneficial on one of her teams, but indicated that the same goal would be unacceptable on another team:

... 일부 어텐딩과 레지던트들은 우리에게 특정한 종류의 목표를 원하는 것 같았습니다. 한 번은 소아과에서 저희를 앉혀놓고 "이런 목표가 정말 잘 맞는 목표입니다. 여러분이 얻고자 하는 특정 지식 기반에 집중하는 목표요."라고 말했죠. 저는 "와, 정말 제약을 받는 것 같네요."라고 생각했습니다. [...] 소아과에 특화된 일이어야 한다고 해서 사회사업 일을 하는 것이 꼭 편하지는 않았을 거예요 [...] 틀에서 벗어나 제가 원하는 일을 하면 전공의나 주치의가 좋아하지 않을까 봐 걱정이 되기도 했어요. (PaedsStudent3)
…some of the attendings and residents, have seem[ed] to want a certain kind of goal out of us. One time in paediatrics, they sat us down and were like, “This is the kind of goal that really works well – the kind where you focus on a specific knowledge base that you want to gain.” I was like, “Whoa, I feel really restricted by that.” […] I wouldn't have necessarily felt comfortable then doing a social work thing because they told me it needs to be something paediatric-specific […] I would be worried that going outside of the box and doing something I wanted wouldn't please them. (PaedsStudent3)


외부 동기가 일부 학생에게 강력한 영향을 미친 반면, 다른 학생은 목표를 사용하여 직면한 요구를 협상했습니다:
Whereas external motivators had a powerful effect on some students, others used the goals to negotiate the demands that they faced:

... 내가 개선해야 할 것이 무엇인지 생각해보고 우선순위를 정해서 상위 두 가지를 학습 목표로 삼는 것 [...] 우선순위가 경쟁하는 상황에서 도움이 됩니다. 가장 중요한 것이 무엇인지, 예를 들어 시간을 가장 잘 활용하는 것이 무엇인지에 대해 더 많이 성찰하는 것이 도움이 됩니다. (SurgStudent3)
…these are the things like reflecting on what do I need to improve on and then prioritising them and going with the top two as learning goals […] it's helpful in the context of competing priorities. It's helpful to reflect more on what's the most important – like what is the best use of your time. (SurgStudent3)

일부 학생은 환자 치료에 참여할 기회를 만들고 의사로서의 기술을 개발하기 위해 적극적으로 커뮤니티에 참여했습니다:
Some students proactively engaged their community in order to create opportunities for participation in patient care and to develop their skills as physicians:

처음에는 어텐딩이 언급하지 않으면 그 얘기를 꺼내지 않았던 것과 비교하면 정말 달라졌어요. 주치의가 말하지 않으면 저도 말하지 않았죠. 이제는 주치의에게 "이게 제 목표인데, 제가 봐야 할 환자가 있나요?", "어떻게 하면 좋을지 제안해 주실 수 있나요?" 등의 질문을 합니다. 처음 시작할 때보다 확실히 늘어났어요. (PaedsStudent2)
Compared to the beginning where if the attending really didn't mention it, I wouldn't really bring it up. Unless they said something, I wouldn't. Now, I ask them, “This is my goal, do you have any patients that I should see and do you have any suggestions for how I should go about doing this?” and those kinds of things. That's definitely increased since the beginning. (PaedsStudent2)

일부 학생은 학습 목표를 다른 방법으로는 활용하지 못했을 환자 치료에 참여할 수 있는 도구라고 설명했습니다:
Some students described their learning goals as tools enabling them to participate in patient care in ways that they otherwise would not have harnessed:

수술에서 제 목표는 제대로 닫는 방법을 배우는 것이었습니다: "제가 클로징할 수 있는 시간이 있으면 알려주세요." 그러자 그는 "네가 정말 관심이 있다는 걸 알았으니 케이스에 대해 X분 동안 해보게 해주고, 그래도 안 되면 그냥 끝내겠다"고 말했죠. 제가 먼저 나서서 이것이 저의 학습 목표라고 말하고 기회를 구하는 것이었습니다. (SurgStudent1)
I said that my goal in surgery was to learn how to close properly: “If there are any times that I can close, let me know.” He was like, “Now that I know you're actually interested, I'll let you try it for X number of minutes on a case, and if you're not finished, I'll just finish it up.” It was me coming forward and saying this is my learning goal and seeking opportunities. (SurgStudent1)

스레드: 환자
The threads: patients

목표가 폭넓은 학습으로 이어졌는지 여부는 임상 상황에 있는 환자에 따라 달라지는 경우가 많습니다:
Whether goals led to expansive learning often depended on the patients who were present in the clinical context:

많은 부분이 운에 달려 있습니다. 운이 좋게도 그 주에 제가 돌보는 환자들과 일치하는 학습 목표를 선택하면 그 목표가 매우 잘 맞아떨어집니다. 그렇지 않은 경우, 저는 제가 추적 관찰하는 환자가 앓고 있는 질환에 대해 뭐든 배우는 것을 우선하고, 학습 목표를 두 번째 우선순위로 삼게 됩니다. (신경과 학생1)
A lot of it just comes down to luck. If I happen to pick a learning goal that aligns with the patients that I'm following that week, they align it very well. If I don't, then I'm going to make the learning goals my second priority compared to just learning about whatever the patient that I am following has. (NeuroStudent1)

환자 치료의 변덕스러움은 감독자들도 지적했습니다. 한 주치의는 이렇게 말했습니다:
The vicissitudes of patient care were also noted by supervisors. One attending physician observed:

이 [목표]를 달성해야 할 다음 7일 동안 적절한 환자가 들어오지 않으면 실제로 가르치거나 배울 기회가 없을 수도 있습니다. (IntMedAttending2)
If the right patients don't come in over the next 7 days when you're supposed to achieve this [goal], then you may not have the opportunity to really teach or learn from it. (IntMedAttending2)

이러한 어려움에도 불구하고 [환자의 주요 불만 사항이나 요구 사항]이 [학생의 학습 목표]와 일치할 때 풍부한 학습 경험이 발생했습니다:
Despite these challenges, rich learning experiences occurred when patients’ chief complaints or needs aligned with students’ learning goals:

이러한 이상적인 상황은 일종의 우연입니다 [...] 학생 중 한 명이 가지고 있던 목표 중 하나는 피부 소견에 대한 설명을 더 잘하고 싶다는 것이었습니다. 실제로 그 주에 발진이 매우 광범위하고 여러 기관에 침범한 환자가 내원했습니다. 발진은 매일매일 변했습니다. 같은 환자였지만 그 학생은 그 환자에 대해 많은 주인의식을 가지고 매일 환자를 따라다니며 회진에서 발표하고, 환자에 대해 읽고, 하루에 여러 번 돌아가서 발진에 대해 설명하고 토론하면서 결과를 더 잘 설명할 수 있었기 때문에 이상적인 상황이었다고 생각합니다. (PaedsAttending2)
These ideal situation[s] are kind of fortuitous […] One of the goals that one of the students had was he wants to get better at description of skin findings. We actually had a patient on the floor that week with a very diffuse rash and multi-system involvement. The rash changed from day to day. I think that was an ideal situation because even though it was the same patient, that student took a lot of ownership in that patient and really followed him from day to day, presented him on rounds, read up on the patient and went back multiple times a day to describe the rash and discuss it and got better at describing the findings. (PaedsAttending2)

학생들이 다양한 환자를 돌보는 데 필요한 기술에 초점을 맞춘 목표를 세웠을 때, 이러한 목표는 더 많은 학습 기회를 활용하는 도구로 작용했습니다. 한 소아과 주치의는 다음과 같이 관찰했습니다:
When students constructed goals focused on skills they needed to care for broad sets of patients, those goals acted as tools leveraging greater learning opportunities. As one attending paediatrician observed:

아동 발달에 대해 배우겠다고 선택한 학생은 좋은 목표라고 생각했습니다. 이는 적절하고 매우 광범위합니다. 그녀가 보는 모든 환자에게 적용될 수 있습니다 [...] 그녀의 목표는 덴버 [발달 척도]에 따라 아이의 나이를 추측하는 것이었습니다. 환자 한 명 한 명을 대할 때마다 하는 일이었고, 다른 일과도 잘 맞아떨어졌기 때문에 꽤 효과적이었다고 생각합니다. (PaedsAttending3)
I thought the girl that chose to learn about development of kids – that was a good goal. That's pertinent, it's pretty broad. It can be applied to any patient she sees […] her goal was to try to guess based on the Denver [Developmental Scale] how old the kid was. I think that actually worked pretty well because it was something that she just did with each patient, and it kind of fit in with what else she had to do. (PaedsAttending3)

도구: 서면 학습 목표
Tools: written learning goals

학습 목표는 학생과 감독자가 환자와 함께 학습 기회를 활용할 수 있는 도구 역할을 했습니다:
Learning goals acted as tools through which students and their supervisors could harness learning opportunities with patients:

... 매일 내가... 오늘 이 목표를 달성할 수 있는 기회가 있는가? [...] 환자를 찾아보거나 상황을 찾아보자는 식의 계획을 세울 수 있고, 환자를 찾아보거나 상황을 설정하지 않을 수도 있습니다. (SurgStudent3)
…each day you think about am I… is there an opportunity to do this goal today? […] it gives you like this plan, like let me find a patient or find a situation versus if you're just kind of there, you might not be trying to identify a patient, setting up a situation. (SurgStudent3)

수퍼바이저들은 또한 학습 목표가 학습 기회를 창출한다고 언급했습니다:
Supervisors also noted that the learning goals created learning opportunities:

회진할 때마다 학습 목표와 관련된 이야기를 들으려고 노력했고 [...] 회진 후에도 그런 기회가 있을 때마다 공식적인 '3시에 만나자'는 식의 방식이 아니라 이야기를 나누곤 했습니다. 그냥 그런 일이 생길 때마다요. (PaedsAttending1)
It was pretty much every time on rounds I was trying to listen for things related to learning goals […] any time after rounds, when there was an opportunity for those things, we would talk about it but not in any formal “let's meet at 3 o'clock” type of way. Just like, whenever they kind of came up. (PaedsAttending1)

학생들이 업무 환경에서 학습에 대한 당황스러운 요구 사항과 과제에 직면했을 때 학습 목표는 학습 노력을 조직화하는 수단을 제공했습니다:
As students confronted the bewildering array of requirements and tasks of learning in a work environment, the learning goals provided a means of organising their learning efforts:

어떻게 그것을 실현할 것인지 생각하지 않으면 일이 일어나지 않을 것입니다. (ObGynStudent2)
Things aren't going to happen unless you've thought about how you're going to make that happen. (ObGynStudent2)

또한 목표는 감독자가 학생의 학습 목표를 지원하기 위해 활동을 수정하는 도구가 되었습니다:
Goals also became tools through which supervisors would modify their activities to support students’ learning objects:

다시 말하지만, 저에게 학생의 현재 위치를 알 수 있게 해줍니다. 임상 경험에 학생의 목표를 삽입하기 위해 일정을 조정합니다. (산부인과 어텐딩2)
Again, it allows for just me to know where she's at. Tailor my schedule to insert her goal into a clinical experience. (ObGynAttending2)

학생들은 또한 학습 목표를 통해 상사가 놓칠 수 있는 학습 기회를 인식할 수 있다고 언급했습니다:
Students also noted that learning goals could cause their supervisors to recognise learning opportunities that they might otherwise have missed:

...때때로 우리는 레지던트들에게 수술 노트를 건네주면 그들은 우리에게 피드백을 주지 않고 스스로 수정한 다음 서명만 하곤 했습니다. 하지만 주중에 몇 번은 레지던트들이 "아, 이게 이번 주 목표 중 하나였죠?"라고 물었고 저는 "네"라고 대답했죠. 그래서 그는 "이리 와서 이 [태아 심장 모니터] 스트립을 함께 살펴볼래요?"라고 말했죠. (산부인과 학생3)
…sometimes we would just pass the labour notes to the residents and they would just like make their own edits and then just sign it, you know, without ever [giving] feedback to us. But at several points like during the week they would be like, “Oh, you know, this was one of your goals for the week, right?”, and I was like, “Yeah.” So he was like, “Do you want to come over and then we can go over this [fetal heart monitor] strip together?” or something like that. (ObGynStudent3)

감독자들은 때때로 학생의 목표를 사용하여 더 많은 실습 기회를 제공하기도 합니다:
Supervisors would at times use students’ goals to provide more opportunities for practice:

학생이 조금 뒤처지면 [...] 봉합 재료와 소모품을 들고 오라고 격려하고, 시뮬레이션 실습실에 데려가서 [...] 과제를 검토하는 등 30분에서 1시간 정도 함께 시간을 보냅니다. (SurgResident1)
If the student is a bit behind […] I would encourage him to carry the suture material and the supplies and I would take the student to the simulation lab […] So we would go there and spend about half an hour to 1 hour with him, like go over the tasks. (SurgResident1)

학생과 감독자가 학습 목표를 도구로 사용했을 때, 그들은 그 목표를 중심으로 새로운 형태의 활동에 참여할 수 있었습니다:
When students and supervisors used learning goals as tools, they were able to engage in new forms of activity knotting around those goals:

저는 어떤 유형의 목표가 팀의 도움을 받는 데 가장 효과적일지 확실히 생각합니다 [...] 팀이 이 목표를 읽으면 저를 어떤 일에 참여시켜 다른 방법으로는 얻을 수 없는 무언가를 얻을 수 있을지도 모릅니다. 저는 다른 방법으로는 할 수 없거나 팀에서 기회를 주지 않는 일을 하려고 노력하고 있습니다. 그래서 어떤 면에서는 그 힘을 이용하는 거죠. (PaedsStudent3)
I definitely think about what types of goals I think will work the best in terms of getting the team to help me out […] If they read this goal, they might involve me in something so that I can get something out of it that I wouldn't otherwise. I'm trying to do things that aren't things I would otherwise do or otherwise have an opportunity from the team to do anyway. So, kind of using the power of it in a way. (PaedsStudent3)

토론
Discussion

우리는 서면 학습 목표가 학생과 감독자의 임상 업무에 어떻게 통합되었는지 조사했습니다. 다른 많은 학습 목표 프로그램과 마찬가지로,4-9 우리가 조사한 프로그램은 SRL의 사회인지적 원리를 작동시키기 위해 개발되었습니다. 그러나 프로그램에 대한 참가자들의 설명과 임상 업무에서 학습 목표를 어떻게 사용했는지 분석하면서 서면 학습 목표의 물질적 역할과 대인관계 및 맥락적 역학을 보다 완벽하게 설명하는 프레임워크가 필요하다는 것을 알게 되었습니다. 문화역사활동이론(CHAT)과 매듭짓기는 우리의 연구 결과를 설명할 수 있는 수단을 제공했습니다. SRL에 대한 사회인지적 접근법을 통해 프로그램을 만들었지만, CHAT과 매듭짓기를 통해 프로그램이 어떻게 작동하는지 이해할 수 있었습니다.  
We investigated how written learning goals were incorporated into students’ and supervisors’ clinical work. Like many other learning goal programmes,4-9 the programme we investigated was developed to operationalise the social cognitive principles of SRL. However, as we analysed participants’ descriptions of the programme and how they used learning goals in their clinical work, we found that we needed a framework that more fully accounted for the material role of the written learning goals, as well as interpersonal and contextual dynamics. Cultural historical activity theory (CHAT) and knotworking provided a means to explain our findings. A social cognitive approach to SRL led to the creation of the programme, but CHAT and knotworking allowed us to understand how it worked.

임상팀과 공유한 고빈도 서면 학습 목표 프로그램에서 우리는 학생들이 단순히 학습 목표를 SRL의 내적 인지 과정의 기질로 사용하지 않는다는 것을 발견했습니다. 그 대신, 학습은 학생의 인지 과정을 넘어 학습 목표에 의해 매개되는 [학생, 감독자, 환자 간의 복잡한 상호작용]에서 비롯되는 것으로 나타났습니다. 최적의 상황에서 학습 목표는 학생과 감독자가 업무 환경의 경쟁 대상을 협상하고 기술 개발, 채점 및 환자 치료의 중첩된 결과를 조정하려고 노력할 때 학생과 감독자가 행동을 바꾸는 과정을 촉진했습니다. 학습 목표가 이러한 상호작용을 중재하는 데 성공하자 새로운 교육 지향적 행동이 일어났습니다. 이러한 방식으로 활동 시스템은 학습 시스템이 되었습니다. 학생, 감독자 또는 환자가 목표를 중심으로 수렴하지 않으면 광범위한 학습이 이루어지지 않거나 제한적이었습니다. 
In our programme of high-frequency written learning goals shared with the clinical team, we found that students did not simply use their learning goals as a substrate for the internal cognitive processes of SRL. Instead, beyond students’ cognitive processes, learning appeared to result from complex interactions among students, supervisors and patients mediated by the learning goals. In optimal circumstances, the learning goals facilitated a process by which students and their supervisors changed their actions as they negotiated the competing objects of the work environment and as they sought to align the overlapping outcomes of skill development, grading and patient care. When the learning goals were successful in mediating these interactions, new education-oriented actions took place. In this way, the activity system became a learning system. When students, supervisors or patients did not converge around the goals, expansive learning did not take place or was limited.

일반적으로 학습 목표 프로그램 또는 개별화된 학습 계획은 훈련생이 보다 자기 통제적인 평생 학습자로 발전하는 데 어떻게 도움이 되는지와 관련하여 검토되며,4-9 '마스터 학습자'라고도 합니다.22, 23 SRL에 대한 이전의 분석에 따르면 사회적 환경은 학습자에게 중요한 피드백과 지원을 제공합니다.1, 2, 10, 24-26 그러나 이러한 연구는 학습자와 감독자가 업무의 도전과 학습 목표를 조화시키기 위해 협력적으로 노력할 때 어떻게 행동이 변화할 수 있는지를 보여주지 못했습니다. 우리의 연구는 목표 지향 활동object-oriented activity에 초점을 맞춤으로써, [개별 학습자를 최적화하는 방법]을 분석하는 것에서 [학습 시스템의 구성 요소가 매개 도구를 중심으로 상호 작용하고 잠재적으로 함께 변화하는 방법]을 평가하는 것으로의 중요한 전환을 나타냅니다.17, 18 
Typically, learning goal programmes or individualised learning plans are examined in relation to how they help trainees develop into more self-regulated lifelong learners,4-9 sometimes termed ‘master learners’.22, 23 Previous analyses of SRL have shown that the social environment provides important feedback and support for learners.1, 2, 10, 24-26 However, these studies have not demonstrated how both learners’ and supervisors’ actions can change as they collaboratively seek to reconcile the challenges of work with learning goals. By focusing on object-oriented activity, our work represents a significant shift from analysing how to optimise individual learners to evaluating how the components of a learning system interact around mediating tools and potentially change together.17, 18

매듭짓기 및 확장 학습으로서의 학습 목표
Learning goals as knotworking and expansive learning

[학습 목표의 집행]은 때때로 학생이 수행하기도 하고(예: 복잡한 환자 간호에 대한 주인의식을 갖거나 사회복지사와 협력할 기회를 모색하는 등), 때로는 감독자가 수행하기도 합니다(예: 학생을 데리고 환자를 진찰하거나 심전도 또는 자기공명영상 스캔에 대해 질문하는 등). [주도권과 행동이 오가고, 통제 중심이 정해져 있지 않은 것]은 매듭작업의 특징이며 복잡한 작업 환경에서 협업을 촉진하는 열쇠입니다.17, 18 이러한 변화는 전통적인 교육 분업이 모호해지고 교육 과제를 결정하는 사람과 관련된 규범이 약화되었음을 나타냅니다(그림 2 참조).

  • 학생들이 서면 학습 목표를 작성했기 때문에 수퍼바이저는 때때로 다른 방법으로는 발생하지 않았을 환자 치료에 학생들을 참여시키기도 했습니다.
  • 또한 학생들은 자신의 목표를 사용하여 다른 방법으로는 할 기회가 없었을 활동을 옹호할 수도 있었습니다.
  • 이러한 방식으로 학생들은 실무자 커뮤니티의 일원이 될 수 있었습니다.

우리의 데이터에 따르면 학습 목표를 사용하면 학생과 감독자가 새로운 대상을 만들고 새로운 행동을 수행하도록 유도할 수 있으며, 이를 확장 학습으로 해석합니다.14, 17, 18  
The enactment of learning goals was sometimes performed by the student (e.g. by taking ownership of a complex patient's care or by seeking opportunities to collaborate with a social worker) and at other times by the supervisor (e.g. by taking students to examine patients or by asking them questions about electrocardiograms or magnetic resonance imaging scans). The shifting back and forth of initiative and action and the absence of a set centre of control is characteristic of knotworking and is key to facilitating collaboration in complex work environments.17, 18 This shifting represents a blurring of traditional educational divisions of labour and a softening of norms related to who determines educational tasks (see Fig. 2).

  • Because students produced written learning goals, supervisors sometimes invited students to participate in patient care in ways that may not otherwise have occurred.
  • Students could also use their goals to advocate for activities that they might not otherwise have had the chance to do.
  • In this way, students could more fully become part of the community of practitioners.

Our data suggest that the use of learning goals could prompt students and supervisors to create new objects and perform new actions, which we interpret as expansive learning.14, 17, 18

그러나 때로는 활동 시스템 내에서 [모순되는 힘을 극복할 수 없는 경우]도 있습니다. 환자 치료의 타이밍과 긴급성, 환자의 유형과 수, 행정 업무에 할애되는 시간, 학생 채점 요건 등의 문제는 학습 목표를 매개로 한 협업으로 조정하기에는 너무 큰 장벽으로 작용할 수 있습니다. 이러한 상황에서 감독자와 학생이 임상 서비스의 바쁜 요구 사항이나 채점 시스템에 의해 부과된 위계질서를 충족하는 데 집중하면서 팀의 분업과 규범이 굳어지는 것처럼 보였습니다. 이러한 상황으로 인해 팀이 학생의 목표를 위해 함께 일할 수 없게 되면 커뮤니티의 외부인으로서 학생의 역할이 강조되었습니다. 상황이 활동의 확장을 가져올 수 있는 것처럼, 상황이 활동의 위축을 가져올 수도 있습니다.17 
Sometimes, however, the contradictory forces within an activity system could not be overcome. Challenges such as the timing and urgency of patient care, the types and numbers of patients, time dedicated to administrative work, and the requirements of grading students could act as barriers too great to be reconciled by learning goal-mediated collaboration. In these situations, the divisions of labour and the norms of the team seemed to harden as supervisors and students focused on meeting the busy demands of the clinical service or the hierarchy imposed by grading systems. When such a situation precluded the team from working together on a student's goals, this emphasised the student's role as an outsider to the community. Just as circumstances can lead to expansion of activity, they can also lead to its constriction.17

우리는 환자들이 활동 시스템에서 다면적인 역할을 한다는 것을 발견했습니다. 학생과 감독자 모두 [환자가 학생의 학습 목표 달성에 매우 중요하다]고 설명했습니다. 환자의 요구와 속성이 학생의 목표와 일치하는지 여부는 종종 우연에 기인했으며, 끊임없이 변화하는 환자의 조합은 상호 작용을 일시적으로 만들었습니다. 이런 식으로 환자들은 매듭의 실과 같은 속성을 충족시킵니다. 환자가 매듭에 참여하는 것과 관련하여 선택권을 행사하지는 않았지만, 학생들의 목표 달성 여부는 함께한 환자와의 일치 여부에 달려 있었습니다.
We found patients played a multifaceted role in the activity system. Both students and supervisors described patients as critical to the fulfilling of students’ learning goals. Whether patients’ needs and attributes aligned with students’ goals was often attributable to serendipity, and the constantly changing mix of patients made the interactions transient. In this way patients meet the attributes of a thread in the knot. Although patients did not exercise choice with regard to their participation in the knot, the success of students’ goals depended on their alignment with the patients who were present.

또 다른 문제는 서면 학습 목표가 어떻게 인식되는지에서 발생했습니다. 일부 학생들은 서면으로 작성된 학습 목표를 작업 중에 스스로 만든 비공식적이고 자발적인 목표와 별개의 것으로 생각했습니다. 학생 또는 감독자가 학습 목표를 [외부에서 부과된 요구 사항]으로 인식하면 학습 목표의 생성은 [기대 성과와 무관한 대상]이 되어 교육적 목적이 사라지게 됩니다. 이러한 경우 학습 목표 설정 요건은 학생들이 원하는 활동에 참여하도록 돕는 대신 원하는 활동에서 시간을 보내도록 강요함으로써 새로운 모순을 초래했을 수 있습니다.18
Another challenge arose from how the written learning goals were perceived. Some students saw their written learning goals as distinct from the informal, spontaneous goals they would create for themselves during their work. When students or supervisors perceived learning goals as an externally imposed requirement, the creation of learning goals became an object unrelated to any of the desired outcomes and rendered the goals an educational deadend. In these cases, the requirement to create learning goals may have led to new contradictions by forcing students to spend time away from desired activities instead of helping them to participate in those activities.18

관계적 기관의 산물로서의 학습 목표
Learning goals as a product of relational agency

학생의 학습 목표가 팀 활동의 광범위한 변화로 이어졌는지 여부는 학생과 감독자 모두의 협업에 달려 있었습니다. 새로운 행동을 만들어내는 이러한 유형의 협업 능력을 '관계적 주체성'이라고 할 수 있습니다. 관계적 에이전시란 '다른 사람의 감각적 판단을 끌어들여 자신이 작업하는 대상을 확장하고, 그 감각적 판단에 대응할 때 다른 사람이 제공하는 자원을 활용할 수 있는 능력'입니다.27 
Whether students’ learning goals led to expansive transformation of the team's activity was dependent on both students’ and supervisors’ collaboration. This type of collaborative power to create new actions can be referred to as ‘relational agency’. Relational agency is the ‘capacity to work with others to expand the object that one is working on by bringing to bear the sense-making of others and to draw on the resources they offer when responding to that sense-making’.27

[관계적 에이전시]에서는 학생과 감독자 모두 팀의 행동에 기여해야 하지만, 이들의 권한이 본질적으로 동등한 것은 아닙니다. 슈퍼바이저는 환자 치료에 대한 최종적인 책임이 있으며, 임상 업무에 기여하는 데 필요한 기술 유형을 정의하고 학생의 성적을 결정하는 경우가 많습니다. 이러한 힘의 불균형을 고려할 때, 학습 목표를 제정하는 관계적 행위자성에 대한 [슈퍼바이저의 기여도]는 학생의 기여도보다 잠재적으로 더 중요해집니다. 실제로 모든 학생이 학습 목표 사용에 영향을 미친 가장 중요한 요인으로 감독자의 참여를 꼽았습니다. 또한 몇몇 슈퍼바이저는 학생들이 목표를 달성하는 데 있어 슈퍼바이저의 역할이 매우 중요하다고 언급했습니다. 팀의 학습을 위해서는 [높은 권력을 가진 사람]이 자신의 권력을 사용하여 낮은 권력을 가진 사람의 의견과 참여를 기대하고 촉진해야 한다는 다른 연구자들의 제안을 확인했습니다.28 일반적으로 슈퍼바이저가 학생의 학습 목표를 소중히 여기고 학생과 소통할 때 학생도 관심과 노력으로 보답했습니다.
Whereas relational agency requires that both students and supervisors contribute to the actions of the team, their power is not inherently equal. Supervisors have ultimate responsibility for patient care, they often define the types of skills that are necessary to contribute to the clinical work, and they determine students’ grades. Given the power imbalance, supervisors’ contributions to the relational agency of enacting learning goals become potentially more important than students’ contributions. Indeed, all students identified supervisor engagement as the single most important factor that influenced the use of their learning goals. Several supervisors also commented on the critical role that they played in students’ fulfilling of their goals. Our study confirms what others have suggested: for teams to learn, those in positions of high power must use their power to create expectations of and promote the input and participation of those with low power.28 Generally, when supervisors valued students’ learning goals and engaged with them, students reciprocated with interest and effort.

제한 사항
Limitations

많은 CHAT 기반 연구는 광범위한 직장 내 상호작용을 조사하기 위해 직접 현장 관찰 방법론을 사용합니다. 저희는 데이터를 수집한 후 CHAT을 가장 잘 설명할 수 있는 이론으로 판단했기 때문에, 학생의 학습 목표와 관련된 경험과 행동에 대한 설명을 참가자 인터뷰에만 의존했습니다. 저희는 저희의 방법이 시스템 내 비인간적 요소의 역할보다 인간의 선택권을 우선시한다는 점을 잘 알고 있습니다. 학생과 지도교수가 임상 교육 환경에서 자신의 행동을 중재하기 위해 사용했을 수 있는 모든 도구를 조사하지는 않았습니다. 학생과 감독자가 서면 학습 목표에 참여하지 않은 경우, 다른 도구를 사용하여 새로운 학습 지향적 행동과 협업을 생성했을 수 있습니다. 그러나 이는 본 연구의 범위를 벗어난 것입니다. 향후 연구에서는 학생의 학습 목표에 대한 팀의 상호작용을 직접 관찰하는 것이 도움이 될 것입니다. 학습 목표 프로그램을 이해하는 렌즈로 CHAT을 사용함으로써, 다른 이론적 렌즈를 통해 더 강조되었을 수 있는 작업 기반 학습의 측면을 간과했을 수 있습니다. 
Many CHAT-based studies use direct field observation methodologies to investigate broad sets of workplace interactions. Because we identified CHAT as our best explanatory theory after our data had been collected, our study relied solely on participant interviews for descriptions of experiences and actions regarding students’ learning goals. We recognise that our methods privilege human agency over the role of non-human elements within the system. We did not examine all the tools students and their supervisors may have used to mediate their actions in the clinical education environment. When students and supervisors did not engage with the written learning goals, they may have used other tools to generate new learning-oriented actions and collaboration. However, this was outside the scope of our study. Future studies would benefit from direct observation of teams’ interactions around student learning goals. By using CHAT as a lens through which to understand our learning goals programme, we may have neglected aspects of work-based learning that may have received greater emphasis through a different theoretical lens.

결론
Conclusions


우리의 연구는 학생들의 서면 학습 목표가 학생의 내부 인지 과정 이외의 요인, 특히 슈퍼바이저 및 환자와의 상호작용에 의해 영향을 받는다는 것을 시사합니다. 학생과 감독자는 업무 기반 학습에 내재된 모순을 극복하기 위해 [서로 경쟁하는 목표]를 [기대 성과]와 일치시키기 위해 협력해야 합니다. 서면 학습 목표는 학생과 감독자가 이러한 조율을 달성하기 위해 새로운 행동 및 상호 작용 방식을 협상할 수 있는 도구로 사용될 수 있습니다. 그러나 이러한 상호 작용은 미약하고 유동적이며 지속적으로 압박을 받습니다. 
Our study suggests that students’ written learning goals are influenced by factors beyond students’ internal cognitive processes, notably by their interactions with supervisors and patients. Students and supervisors must collaborate to align competing objects with desired outcomes to overcome the contradictions inherent in work-based learning. Written learning goals may serve as tools that allow students and supervisors to negotiate new ways of acting and interacting to achieve that alignment. These interactions, however, are tenuous, fluid, and constantly under pressure.

교육자가 광범위한 학습을 지원하는 협업 환경을 조성하는 방법을 고려할 때, 학생 학습 목표를 문서화하는 것은 잠재적으로 강력한 도구입니다. 그러나 학생과 감독자는 목표를 그 자체로 목적이 아니라 원하는 결과를 달성하기 위한 수단으로 간주해야 합니다. 그들은 서로 연동되고 점진적으로 개선되는 시스템을 만들기 위해 협력할 때 각자의 기여가 중요하다는 것을 인식해야 합니다. 학습 목표 프로그램의 목적과 비전은 학생을 마스터 학습자로 개발하는 것을 넘어 마스터 학습 시스템을 개발하는 방향으로 나아가야 합니다.
As educators consider how to create collaborative environments that support expansive learning, written student learning goals are a potentially powerful tool. However, students and supervisors must see the goals as means to achieve outcomes they desire, rather than being an end in and of themselves. They must recognise that each of their contributions is critical in collaboration as they then create an interlocking and progressively improving system. The purpose and vision of learning goal programmes should move beyond the development of students as master learners towards the development of master learning systems.


Med Educ. 2017 Jul;51(7):687-698. doi: 10.1111/medu.13295. Epub 2017 Apr 12.

Tying knots: an activity theory analysis of student learning goals in clinical education

Affiliations collapse

Affiliations

1Department of Neurology, School of Medicine, Washington University in St Louis, St Louis, Missouri, USA.

2School of Medicine, Washington University in St Louis, St Louis, Missouri, USA.

3Department of Pediatrics, School of Medicine, Washington University in St. Louis, St. Louis, Missouri, USA.

4Division of Health Professions Education, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland, USA.

5Department of Medicine & The Wilson Centre, Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada.

PMID: 28401571

DOI: 10.1111/medu.13295

Abstract

Context: Learning goal programmes are often created to help students develop self-regulated learning skills; however, these programmes do not necessarily consider the social contexts surrounding learning goals or how they fit into daily educational practice.

Objectives: We investigated a high-frequency learning goal programme in which students generated and shared weekly learning goals with their clinical teams in core Year 3 clerkships. Our study explores: (i) how learning goals were incorporated into the clinical work, and (ii) the factors that influenced the use of students' learning goals in work-based learning.

Methods: We conducted semi-structured interviews with 14 students and 14 supervisors (attending physicians and residents) sampled from all participating core clerkships. Interviews were coded for emerging themes. Using cultural historical activity theory and knotworking as theoretical lenses, we developed a model of the factors that influenced students' learning goal usage in a work-based learning context.

Results: Students and supervisors often faced the challenge of reconciling contradictions that arose when the desired outcomes of student skill development, grading and patient care were not aligned. Learning goals could function as tools for developing new ways of acting that overcame those contradictions by facilitating collaborative effort between students and their supervisors. However, for new collaborations to take place, both students and supervisors had to engage with the goals, and the necessary patients needed to be present. When any one part of the system did not converge around the learning goals, the impact of the learning goals programme was limited.

Conclusions: Learning goals are potentially powerful tools to mediate interactions between students, supervisors and patients, and to reconcile contradictions in work-based learning environments. Learning goals provide a means to develop not only learners, but also learning systems.

건강 및 사회적 돌봄 교육에서 환자 참여에 대한 이론적 체계적 문헌고찰 (Adv Health Sci Educ Theory Pract. 2023)
A theoretical systematic review of patient involvement in health and social care education
Amber Bennett‑Weston1 · Simon Gay1 · Elizabeth S. Anderson1

 

소개
Introduction

의학교육자들은 프로그램 전달 체계 내에서 환자의 참여를 어떻게 구성할 것인지에 대한 이해와 발전을 위한 여정을 계속하고 있습니다(Regan de Bere & Nunn, 2016). 이 검토에서는 "환자"라는 용어를 사용하여 건강 및 사회적 돌봄에 대한 자신의 생생한 경험을 대표하는 사람들과 간병인을 설명할 것입니다. 우리는 이 용어가 [전문가와 환자 사이의 가부장적 권력 관계]와 연관되어 있다는 것을 알고 있습니다. 그러나 서비스 사용자 또는 클라이언트와 같은 대안도 논란의 여지가 있습니다. 의학 교육에 환자가 포함된다는 것은 여전히 상식이지만, 초기 사고는 의료 지식 통제에 대한 가부장적 패러다임을 반영하여 대중을 학습 자원으로 사용했습니다(Malterud 외., 2004; Spencer 외., 2011). 오늘날 환자가 커리큘럼 공동 개발, 교육, 학생 선발 및 평가에 참여하는 평등 및 형평성 의제를 위해 함께 노력하면서 이러한 입장은 크게 약화되었습니다(Spencer 외., 2011; Towle 외., 2010). 이는 [현대의 환자 중심 팀워크]와 [통합적 돌봄]에 대한 열망을 반영하며, 환자가 자신의 건강 및 사회복지 치료 여정과 시스템 설계에 더 많이 참여하게 됩니다(보건부, 2000, 2001, 2005, 2007, 2009; 보건사회부, 2021; 캐나다 보건위원회, 2006; 의학연구소, 2000). 이러한 변화는 장애에 대한 사회적 움직임과 품질 및 안전 실패에 대한 보고에 깊숙이 자리 잡고 있습니다(Beresford & Croft, 2016; Francis, 2013; Oliver, 2013). 
Medical educators continue on a journey to advance and understand how to frame the involvement of patients within programme delivery systems (Regan de Bere & Nunn, 2016). In this review, the term “patient(s)” will be used to describe those who represent their own lived experience of health and social care, and carers. We recognise that this term has been associated with paternalistic power relations between professionals and patients. However, alternatives such as service user or client, are also contested. While it remains common sense that medical education involves patients, early thinking mirrored the paternalistic paradigm of medical knowledge control and resulted in using the public as a learning resource (Malterud et al., 2004; Spencer et al., 2011). Today this position has largely been eroded as we work together towards an equality and equity agenda where patients are involved in curriculum co-creation, teaching, student selection and assessment (Spencer et al., 2011; Towle et al., 2010). This reflects modern patient-centred team working and aspirations for integrated care where patients are more involved in their health and social care journey and the system design (Department of Health, 2000, 2001, 2005, 2007, 2009; Department of Health & Social Care, 2021; Health Council of Canada, 2006; Institute of Medicine, 2000). These changes are steeped in the social movement of disability and reports of quality and safety failings (Beresford & Croft, 2016; Francis, 2013; Oliver, 2013).

그 결과, 의학교육은 이러한 파트너십 의제가 학생 학습의 기초가 될 수 있도록 빠르게 발전해 왔으며(Towle et al., 2010), 이는 GMC(General Medical Council)와 같은 전문 기관과 현대 정책(Department of Health & Social Care, 2021; GMC, 2009; 2018)에 의해 추진되고 있습니다. 이제 참여는 [학습 자료 개발 및 스토리텔링 역할에 대한 최소한의 참여]부터 [환자와 교육자 간의 동등한 파트너십]에 이르기까지 [다양한 스펙트럼]으로 개념화되고 있습니다(Towle 외., 2010). 초기 시민 참여 운동에서 구상된 바와 같이(Arnstein, 1969), 파트너십은 참여 이니셔티브의 궁극적인 목표가 되어야 하며, 이는 전체 커뮤니티에 혜택을 주고 환자의 진정성에 신뢰를 더하는 것입니다(Gordon et al., 2020). 
Consequently, medical education has advanced rapidly to ensure this partnership agenda informs the foundations of student learning (Towle et al., 2010), propelled by professional bodies such as the General Medical Council (GMC) and modern policy (Department of Health & Social Care, 2021; GMC, 2009; 2018). Involvement is now conceptualised as a spectrum, ranging from minimal involvement in learning material development and storytelling roles to equal partnerships between patients and educators (Towle et al., 2010). As envisaged in the early citizen participation movement (Arnstein, 1969), partnership should be the ultimate goal of involvement initiatives, to benefit the entire community and add credence to patients’ authenticity (Gordon et al., 2020).

이 시점에서 여러 검토를 통해 [의학 교육에서 환자의 다양한 역할]과 [환자의 참여를 뒷받침하는 의심할 여지 없는 변혁적 효과]가 구체화되었습니다(Dijk 외., 2020; Gordon 외., 2020; Spencer 외., 2011; Towle 외., 2010). 최근 검토에 따르면 의학교육 내에서 환자의 지위에 대한 비판적 논의가 활발히 이루어지고 있음에도 불구하고(Sebok-Syer 등, 2021), 대부분의 이니셔티브에서 환자가 스토리텔러로 참여하며 파트너십 관계에 대한 증거는 없습니다(Dijk 등, 2020; Gordon 등, 2020). 다른 전문 교육 분야, 특히 사회 복지, 간호 및 정신 건강 분야에서는 [파트너십 관계가 없는 스토리텔링]이 계속되고 있지만(Morgan & Jones, 2009; Robinson & Webber, 2013; Terry, 2012), 주요 교육 역할, 교육과정 설계, 학생 선발 및 평가에 환자의 참여를 탐구하는 등 스토리텔링 역할을 넘어 새로운 가능성에 대한 이해를 확장하는 사례가 있습니다(Anderson et al, 2019; Downe 외., 2007; Happell & Roper, 2009; Rhodes & Nyawata, 2011; Simons 외., 2007; Unwin & Rooney, 2020). 
At this juncture, several reviews have crystallised the many roles for patients in medical education and the undoubtedly transformational effects which support their involvement (Dijk et al., 2020; Gordon et al., 2020; Spencer et al., 2011; Towle et al., 2010). Recent reviews show that despite an increase in activity, and amidst critical discussions on the positioning of patients within medical education (Sebok-Syer et al., 2021), most initiatives involve patients as storytellers and there is no evidence of partnership relationships (Dijk et al., 2020; Gordon et al., 2020). While in other areas of professional education – notably social care, nursing and mental health – storytelling without partnership relationships continues (Morgan & Jones, 2009; Robinson & Webber, 2013; Terry, 2012), there are examples which extend our understanding of new possibilities beyond storytelling roles, including exploring patient involvement in leading teaching roles, curriculum design, student selection, and assessment (Anderson et al., 2019; Downe et al., 2007; Happell & Roper, 2009; Rhodes & Nyawata, 2011; Simons et al., 2007; Unwin & Rooney, 2020).

교수 개발을 강화하기 위해 교육자들은 [적절한 인프라, 자원 및 교수진 지원을 위한 실용적이고 체계적인 많은 과제]를 인식하는 것을 넘어 이러한 발전된 작업이 전문 교육에 환자와 보호자의 참여를 개념화하는 데 어떻게 도움이 될 수 있는지 이해해야 합니다(Basset et al., 2006). Regan de Bere와 Nunn(2016)은 의학교육에서 환자의 참여를 탐구하기 위한 분석적 휴리스틱으로 활동 이론(Engeström, 2001)을 제안했습니다. [활동 이론]은 심리적, 문화적 역사적 전통에 뿌리를 두고 있으며, 인간 활동을 특정 결과를 달성하기 위해 상호 작용하는 다양한 요인으로 구성된 시스템으로 개념화합니다(Engeström, 2001). 활동 이론은 프로그램 전달 체계 내에서 환자를 통합하는 복잡성을 포착할 수 있지만, 그럼에도 불구하고 전문 교육에서 환자 참여의 '다양한 역할과 현실'에 대한 이론적 근거와 경험적 이해가 여전히 필요합니다(Regan de Bere & Nunn, 2016). 
To enhance faculty development, educators must understand how such advancing pieces of work can help us to conceptualise the involvement of patients and carers in professional education, going beyond acknowledgement of the many challenges, both practical and systemic, for appropriate infrastructure, resources, and faculty support (Basset et al., 2006). Regan de Bere and Nunn (2016) proposed Activity Theory (Engeström, 2001) as an analytical heuristic to explore the involvement of patients in medical education. Activity Theory has roots in psychological and cultural-historical traditions and conceptualises human activity as a system comprising various factors that interact to achieve specific outcomes (Engeström, 2001). Activity Theory can capture the complexity of integrating patients within programme delivery systems; nevertheless, there remains a need for theoretically grounded, empirical understandings of the ‘multiple roles and realities’ of patient involvement in professional education (Regan de Bere & Nunn, 2016).

문헌 검토는 우리의 이해를 증진시킬 수 있으며, 최근의 검토에서는 의학교육에서의 환자 참여에 대한 출판된 설명과 평가에 이론적 토대가 부족하다는 점을 강조했습니다(De Groot 외., 2020; Dijk 외., 2020; Gordon 외., 2020). [이론]은 여러 환경에 걸쳐 일반화할 수 있는 [지식을 생성]하며, 복잡한 활동이 어떻게 그리고 왜 [작동하는지에 대한 설명][조명하고 확대]하는 [개념적 프레임워크]의 기초가 됩니다(Bordage, 2009; Reeves & Hean, 2013; Sutton & Staw, 1995). 의학교육에 환자가 참여하는 맥락에서 이론은 두 가지 방식으로 우리의 이해를 향상시킬 수 있습니다.

  • 첫째, 이론으로 뒷받침되는 교수학습은 교과과정의 가정을 밝히고 교과과정 실습을 정당화하며 향후 반복 및 테스트를 위한 기반을 제공하며(Bordage, 2009; Kamel-El Sayed & Loftus, 2018),
  • 둘째, 이론은 교육 커뮤니티 내에서 환자와 협력하여 일한다는 것이 무엇을 의미하는지를 밝혀줍니다(Gordon et al., 2020; Regan de Bere & Nunn, 2016). 이론적 뿌리가 없다면 우리는 발전할 수 없을 것입니다(Gordon et al., 2020).

Literature reviews can propel our understanding and recent reviews have highlighted that published descriptions and evaluations of patient involvement in medical education lack theoretical underpinning (De Groot et al., 2020; Dijk et al., 2020; Gordon et al., 2020). Theories generate knowledge that can be generalised across settings and are the foundation of conceptual frameworks which illuminate and magnify explanations for how and why complex activities work (Bordage, 2009; Reeves & Hean, 2013; Sutton & Staw, 1995). In the context of patient involvement in medical education, theory can enhance our understandings in two ways;

  • first, theoretically underpinned teaching and learning illuminates curricular assumptions, justifies curricular practices and provides a basis for future iterations and testing (Bordage, 2009; Kamel-El Sayed & Loftus, 2018) and
  • second, theory can illuminate what it means to work in partnership with patients within the education community (Gordon et al., 2020; Regan de Bere & Nunn, 2016). Without theoretical roots we are unlikely to advance (Gordon et al., 2020).

최근의 리뷰(De Groot 외, 2020; Dijk 외, 2020; Gordon 외, 2020)는 의학교육을 넘어서지 않았으며, 다른 전문직과 전문직 간 교육(IPE)에서의 학습을 놓쳤을 가능성이 있습니다. 더 중요한 것은 이러한 문헌고찰이 이론을 검색하고 종합하는 체계적인 접근 방식을 취하지 않았으며, 각 연구에서 이론이 적용된 질을 평가하기 위한 전용 이론적 질 평가 도구를 사용하지 않았다는 점입니다. 이론의 효과적인 사용을 모색하는 이론적 리뷰는 이러한 문제를 해결하고 보건 및 사회복지 교육자를 지원하는 중요한 자원입니다(Hean 외., 2018). 이론적 품질을 평가하는 도구(Hean et al., 2016)를 사용하면 연구 전반에 걸쳐 이론이 적용되고 조정되어 더 깊은 이해를 드러낼 수 있습니다. 이론적 관점에 대한 요구가 증가하고 있음에도 불구하고 전문 보건 및 사회복지 교육 영역에서 환자 참여에 관한 문헌에 대한 [이론적 검토]는 아직 이루어지지 않았습니다(Regan de Bere & Nunn, 2016).  
Recent reviews (De Groot et al., 2020; Dijk et al., 2020; Gordon et al., 2020) have not looked beyond medical education, possibly missing learning from other professions and interprofessional education (IPE). More importantly, these reviews have not taken a systematic approach to searching for and synthesising theory, nor have they used a dedicated theoretical quality appraisal tool to assess the quality with which theory has been applied in each study. Theoretical reviews, which seek to explore the effective use of theory, address these issues and are an important resource to support health and social care educators (Hean et al., 2018). The use of a tool to assess theoretical quality (Hean et al., 2016) ensures theory has been applied and aligned throughout a study to reveal deeper understandings. There has not yet been a theoretical review of the literature on patient involvement in any area of professional health and social care education, despite increasing calls for theoretical perspectives (Regan de Bere & Nunn, 2016).

[이론적 검토]의 목적은 전문 교육에서 환자 참여에 대한 수준 높은 이론 논문이 기여한 바를 종합하여 모범 사례를 조명하는 것입니다. 환자 참여는 사회복지, 간호, 정신건강과 같은 분야에서 잘 확립되어 있으므로(Spencer et al., 2011), 보건 및 사회복지 교육의 모든 영역의 연구를 포함합니다. 이 분야에서 수행된 이론 검토는 이번이 처음입니다.
The purpose of this theoretical review is to synthesise the contribution that high-quality theoretical papers have made to patient involvement in professional education, to illuminate best practice. As patient involvement is well-established in disciplines like social care, nursing, and mental health (Spencer et al., 2011), we include studies from all areas of health and social care education. This is the first review of theory to be conducted in this field.

우리는 다음과 같은 질문을 던졌습니다:
We asked the following questions:

  • 전문 보건 및 사회복지 교육에서 이론은 어떻게 구성되고 환자의 교육 및 학습 참여에 적용됩니까?
  • 환자를 교육 커뮤니티에 통합하고 교수진에 참여시키는 데 이론이 어떻게 구성되고 적용됩니까?
  • How is theory framed and applied to patient involvement in teaching and learning in professional health and social care education?
  • How is theory framed and applied to the integration of patients into an educational community and their involvement in the faculty?

 

방법
Method

디자인
Design

본 연구의 주제는 이 분야에서 잘 정립된 문헌이 있다는 사실에 따라 일반적으로 새로운 증거를 탐색하는 데 사용되는 범위 검토를 넘어 체계적 검토가 필요했습니다(Munn et al., 2018). 우리는 유럽 의학교육협회(AMEE; Sharma et al., 2015)의 가이드라인에 따라 체계적 문헌고찰을 수행했습니다. 문헌고찰의 보고는 STORIES(STructured apprOach to the Reporting In healthcare education of Evidence Synthesis) 성명서(Gordon & Gibbs, 2014)에 따라 진행되었습니다. 이 문헌고찰은 PROSPERO(CRD42021230682)에 등록되었습니다. 
Following the fact that there is a well-established body of literature in this field, the subject of this study goes beyond a scoping review, which is typically used to explore emerging evidence (Munn et al., 2018), and requires a systematic review. We conducted a systematic review in accordance with the guidelines of the Associations for Medical Education in Europe (AMEE; Sharma et al., 2015). The reporting of the review is guided by the STORIES (STructured apprOach to the Reporting In healthcare education of Evidence Synthesis) statement (Gordon & Gibbs, 2014). The review was registered in PROSPERO (CRD42021230682).

검색 전략
Search strategy

2000년 1월부터 2020년 12월 사이에 영어로 발표된 논문을 전자 데이터베이스 MEDLINE, CINAHL 및 PsychINFO에서 검색했습니다. 이 기간은 보건 및 사회 복지 분야에서 파트너십 의제가 도입된 '새로운 NHS'(영국 보건부, 2000)와 관련이 있습니다. 검색어는 이론을 체계적으로 검색하기 위한 권고사항에 따라 Booth와 Carroll(2015)의 BeHEMoTh 프레임워크(행동, 건강 상태 또는 맥락, 모델 또는 이론, 온라인 부록 1)와 이전의 체계적 문헌고찰(Dijk 외., 2020; Gordon 외., 2020)을 적용하여 선정했습니다. 검색할 수 없는 논문의 저자는 연락을 취했으며, 응답하지 않은 논문은 제외했습니다. 추가 논문을 찾기 위해 관련 논문의 참고문헌 목록을 검색하는 수작업 검색과 조상 검색(Haig & Dozier, 2003)을 수행했습니다. 
We searched the electronic databases MEDLINE, CINAHL and PsychINFO for papers in English between January 2000 and December 2020. This timeframe correlates with the introduction of a partnership agenda in health and social care with the ‘New NHS’ (Department of Health, 2000). Search terms were guided by recommendations for systematic searching for theory, adapting Booth and Carroll’s (2015) BeHEMoTh framework (Behaviour; Health condition or context; Models or Theories; Online Appendix 1) and previous systematic reviews (Dijk et al., 2020; Gordon et al., 2020). Authors of unavailable papers were contacted; those that did not respond were excluded. Hand searching and ancestry searching, which involves searching the reference lists of relevant papers (Haig & Dozier, 2003), were conducted to identify further papers.

적격성 기준
Eligibility criteria

우리의 기준은 이론이 명시적으로 참조되고 적용된 전문 교육에 환자가 적극적으로 참여하는 것을 보여주는 논문을 찾았습니다(표 1). Gordon 등(2020)의 기준에 따라 환자 참여에 대해 피상적인 수준 이상으로 논의하고, 환자 참여에 대한 단일 진술 이상의 세부 사항을 제공하는 연구만 포함했습니다. 이는 환자 참여에 대한 모범 사례를 파악하려는 우리의 목표를 고려할 때 매우 중요했습니다. 참여는 환자-학생의 우연한 만남을 넘어 계획된 교육 참여까지를 적극적인 참여로 간주하는 Towle 외(2010)의 참여 스펙트럼을 따랐습니다. 환자가 자신이 아닌 타인으로 행동한 논문은 제외했습니다. '이론'에 대한 우리의 정의는 Hean 등(2016)과 일치하며, 방법과 이유보다는 무엇을 수행했는지를 기술하는 비개념적 프레임워크와 모델을 제외했습니다. 논의 끝에 참여 행동 연구(PAR)를 사용한 논문을 포함시킨 이유는 PAR이 행동 이론을 생성하고 검증한다는 증거가 있기 때문입니다(Greenwood, 1994). PAR을 적용한 논문은 그 이론적 토대를 명시적으로 설명해야만 등재 자격을 얻을 수 있었습니다. 
Our criteria sought papers showing an active patient involvement in professional education where theory was explicitly referenced and applied (Table 1). In alignment with Gordon et al. (2020), we only included studies that discussed patient involvement in more than a cursory fashion, providing detail beyond a single statement about patient involvement. This was important given our aim to identify best practices for patient involvement. Involvement followed Towle et al. (2010) Spectrum of Involvement which considers active involvement as beyond incidental patient-student encounters to planned participation in teaching. We excluded papers where patients were acting as others and not themselves. Our definition of ‘theory’ aligns with Hean et al. (2016): excluding non-conceptual frameworks and models which state what was done rather than how and why. After discussion we included papers using participatory-action-research (PAR), because of evidence that PAR generates and tests action theories (Greenwood, 1994). To be eligible for inclusion, papers applying PAR had to explicitly articulate its theoretical foundations.

초기 선택
Initial selection

여러 데이터베이스에서 검색 결과를 검색한 후, 웹 기반 참고 문헌 및 데이터베이스 관리자인 RefWorks를 사용하여 중복을 제거했습니다. 중복이 제거된 후, 세 명의 리뷰어(ABW, SG, EA)가 인용된 논문의 제목과 초록을 모두 심사했습니다. 이 단계에서는 잠재적으로 적격할 수 있는 모든 연구를 포착하기 위해 전문 교육에 대한 환자 참여에 이론을 적용하는 것을 명시적으로 언급한 논문과 교육 참여만을 언급한 논문을 모두 유지했습니다. 두 번째 심사 단계에서는 수작업 및 조상 검색을 통해 검색된 논문과 함께 적격성 기준에 따라 보존된 모든 연구의 전체 텍스트를 확인했습니다. 신뢰성을 확보하기 위해 팀원들과 함께 샘플 논문(n=10)에 대해 논의했습니다. 적격성 기준을 충족하는 논문은 최종 선정 단계로 넘어가 이론적 품질에 대한 추가 평가를 거쳤습니다. 
After retrieving the search results from the different databases, duplicates were removed using RefWorks, a web-based bibliography and database manager. Once duplicates were removed, the titles and abstracts of the resulting citations were screened by all three reviewers (ABW, SG, EA). At this stage, we retained all articles that explicitly referenced the application of theory to patient involvement in professional education and those that referenced involvement in education alone, to ensure capture of all potentially eligible studies. The second stage of screening involved checking the full texts of all retained studies against the eligibility criteria, along with papers retrieved through hand and ancestry searching. To ensure reliability we discussed a sample of papers (n = 10) as a team. Those papers that met the eligibility criteria were taken forward for the final stage of selection and for further assessment of theoretical quality.

이론적 품질 평가
Assessment of theoretical quality

기존의 근거 기반 검토에서 방법론적 질 평가는 좋은 근거를 구성하기에 충분히 엄격한 연구를 선별하는 핵심 과정입니다(Hean et al., 2016, 2018). 검토의 초점이 이론인 경우, 이론이 적용된 품질을 평가하도록 재구성해야 하며, 가장 우수한 품질의 이론을 적용한 논문만 이론적 검토에 포함시켜야 합니다(Hean et al., 2016). 우리는 이론이 IPE에 기여하는 바에 대한 의학교육의 최고 근거(BEME) 검토에 적용하기 위해 Hean 등(2016)이 처음에 개발한 이론적 질 도구(온라인 부록 2)를 채택했습니다(Hean 등, 2018). 이 도구는 이론과 연구 간의 연계성에 대한 Fawcett과 Downs(1992)의 연구를 기반으로 이론적 품질의 5가지 차원을 평가합니다:

  • 실용적 적절성, 이론이 실무에 대한 명확한 유용성을 가지고 있는가,
  • 추론검증 가능성, 이론이 명확하게 기술되고 그 이론에서 도출된 명제가 명확하게 제시되어 있는가,
  • 운영경험적 적절성, 이론과 사용된 연구 방법 및 수집된 경험적 데이터 간에 명확한 연계성이 있는지를 고려합니다(Hean et al., 2016).

In a conventional review of the evidence-base, the assessment of methodological quality is a core process in selecting sufficiently rigorous studies to constitute good evidence (Hean et al., 2016, 2018). Where the review focus is theory, this should be reframed to assess the quality with which theory has been applied; only papers that have applied theory with the greatest quality, should be included in a theoretical review (Hean et al., 2016). We adapted a Theoretical Quality Tool (Online Appendix 2), initially developed by Hean et al. (2016) for application within a Best Evidence in Medical Education (BEME) review of the contributions of theory to IPE (Hean et al., 2018). The tool assesses five dimensions of theoretical quality based upon Fawcett and Downs’ (1992) work on the link between theory and research:

  • pragmatic adequacy, does the theory have clear utility for practice;
  • parsimony and testability, is the theory clearly described and propositions derived from that theory clearly presented; and
  • operational and empirical adequacy, considering whether there are clear links between the theory, the research methods used, and the empirical data collected (Hean et al., 2016).

이 도구의 최대 점수는 9점이며, 실용적 적절성을 평가하는 3개 항목, 추론 및 검증 가능성을 평가하는 3개 항목, 경험적 논문의 경우에만 운영 및 경험적 적절성을 평가하는 3개 항목으로 구성됩니다. 최종 표본에 포함되려면 논문이 실용적 적절성과 적용하고자 하는 이론의 명확한 표현(추론 및 실험 가능성)을 입증해야 했으며, 세 명의 저자(ABW, SG, EA) 각각으로부터 이론적 품질 도구(Hean et al., 2018)에서 최소 6/9점을 받아야 했습니다. 정교한 이론적 논의를 포함하지만 실제 교과 과정이나 환자 참여에 대한 적용이 부족한 논문은 '열망적'인 것으로 간주하여 제외했습니다. 모든 저자(ABW, SG, EA)는 처음에는 수준 높은 이론에 대한 공유된 이해에 도달할 때까지 5편의 논문에 대해 함께 작업한 후, 나머지 나머지 논문에 독립적으로 도구를 적용했습니다. 팀원들은 정기적으로 만나 진행 상황을 공유하고 교환했습니다. 대부분의 논문에서 포함/제외에 대한 모든 저자(ABW, SG, EA) 간의 완전한 합의가 이루어졌습니다. 일부 논문의 경우, 논의를 통해 포함/제외에 관한 명확성을 추구했습니다.
The tool has a maximum score of 9, with three items assessing pragmatic adequacy, three items assessing parsimony and testability, and for empirical papers only, three items assessing operational and empirical adequacy. To be eligible for inclusion in the final sample, papers had to demonstrate pragmatic adequacy and clear articulation of the theory they claimed to deploy (parsimony and testability), receiving a minimum score of 6/9 points on the theoretical quality tool (Hean et al., 2018) from each of the three authors (ABW, SG, EA). Papers that included sophisticated theoretical discussions but lacked application to actual curricular practices or patient involvement, were considered ‘aspirational’ and were excluded. All authors (ABW, SG, EA) initially worked together on five papers until a shared understanding of high-quality theory had been reached, before independently applying the tool to each of the remaining retained papers. We met regularly as a team to share and exchange our progress. Complete agreement between all authors (ABW, SG, EA) on inclusion/exclusion was achieved for the majority of papers. For a small subset of papers, we sought clarification regarding inclusion/exclusion through discussion.

데이터 추출
Data extraction

보고된 환자 참여 및/또는 교육 개입의 성격과 이론의 적용을 상호 참조하기 위해 Microsoft Word®(2018)로 데이터 추출 템플릿을 만들었습니다. 이 템플릿은 각 검토자가 하나의 논문에 시범적으로 사용했으며, 완전성을 보장하기 위해 팀으로 논의했습니다. 
A data extraction template was constructed in Microsoft Word® (2018) to cross-reference the nature of the patient involvement and/or educational intervention reported, with the application of theory. This was piloted on one paper by each reviewer and discussed as a team to ensure completeness.

처음에는 잘 정립된 '참여의 스펙트럼'(Towle et al., 2010)을 사용하여 포함된 각 논문에서 보고된 참여의 '수준'을 파악하려고 했습니다. 그러나 Gordon 등(2020)과 마찬가지로, 보고된 참여 이니셔티브 중 어느 것도 하나의 특정 수준에 깔끔하게 또는 대략적으로 들어맞는 것이 없다는 어려움에 직면했습니다. 똑같이 잘 정립된 '참여의 사다리'(Tew et al., 2004)로 눈을 돌렸을 때도 동일한 문제가 나타났습니다. 따라서 우리는 각 논문을 하나의 규범적 수준에 명확하게 맞출 수 없었습니다. 이러한 문제는 '실제' 교육 현장에서 이러한 도구의 유용성과 적용 가능성에 문제가 있음을 나타낼 수 있지만, 교육자들이 참여 이니셔티브를 계획하거나 보고할 때 이러한 도구를 고려하지 않았을 가능성도 있습니다. 
Initially, we had intended to capture the ‘level’ of involvement reported in each included paper, using the well-established ‘Spectrum of Involvement’ (Towle et al., 2010). However, similar to Gordon et al. (2020) we encountered difficulties; none of the involvement initiatives reported fitted neatly, or even roughly, into one specific level. The same problem presented itself upon turning to the equally well-established ‘Ladder of Involvement’ (Tew et al., 2004). As such, we were unable to definitively align each paper to one prescriptive level. These challenges may indicate issues with the utility and applicability of such tools in ‘real-life’ educational practice, though it is also possible that educators are simply not taking these tools into account when planning or reporting their involvement initiatives.

데이터 종합
Data synthesis

포함된 연구의 최종 샘플에 대해 내러티브 종합을 수행했습니다(Popay 외., 2006). 활동 이론(Engeström, 2001)을 분석 프레임워크로 적용하여 보건 전문직 학생에게 교육을 제공하기 위해 함께 고려해야 하는 교육 학교 내의 [다면적인 구성 요소]를 고려했습니다,

  • 학습을 위한 주체,
  • 개업의 등록을 위한 커리큘럼 요건을 충족하는 보다 광범위한 결과를 달성하기 위한 객체.

전문직 교육에 환자 참여를 위한 활동 시스템(그림 1)에서, 환자의 참여로 인해 주체와 객체가 강화됩니다(Regan de Bere & Nunn, 2016). 최종 샘플을 분석하여 다음에 대해 이러한 수준 높은 이론 논문이 활동 이론의 구성 요소에 이론적으로 기여한 바를 고려했습니다.

  • 매개물과 도구(모든 지원 프로세스),
  • 규칙(규제 기관의 정책, 표준윤리 강령),
  • 교육 공동체(고용된 구성원 및 주변 구성원, 그들의 공유 비전 감각),
  • 분업(교육이 관리되고 조율되는 방식)

We conducted a narrative synthesis on the final sample of included studies (Popay et al., 2006). Activity Theory (Engeström, 2001) was applied as an analytical framework to consider the multifaceted components within training schools that must come together to deliver teaching to health professions students,

  • the Subject, for learning,
  • the Object, to achieve the broader Outcome of meeting curriculum requirements for registration as a practitioner. 

In the Activity System for patient involvement in professional education (Fig. 1), the Subject and Object are enhanced because of the involvement of patients (Regan de Bere & Nunn, 2016). The final sample was analysed to consider the theoretical contributions made by these high-quality, theoretical papers to the components of Activity Theory, namely:

  • the mediating Artefacts and Tools (all the support processes),
  • the Rules (regulator policies, standards, and ethical codes),
  • the education Community (employed and peripheral members, and their sense of shared vision) and 
  • Division of Labour (how teaching is managed and orchestrated).

활동 이론은 고등교육기관(HEI)의 복잡한 시스템의 풍부하고 다면적인 특성을 반영하며, 전문교육에 대한 환자 참여에 대한 이론적 이해의 격차를 파악할 수 있는 적절한 프레임워크입니다(Regan de Bere & Nunn, 2016). 
Activity Theory reflects the richness and multifaceted nature of the complex system of any Higher Education Institution (HEI) and is a suitable framework against which we can begin to see the gaps in our theoretical understanding of patient involvement in professional education (Regan de Bere & Nunn, 2016).

결과
Results

최종 검색 결과 총 4848건의 인용이 이루어졌습니다. 중복을 제거한 결과 3655개의 논문이 제목 및 초록 심사에 사용 가능했습니다. 229편의 논문을 보유하여 적격성 기준에 따라 전체 내용을 확인한 후, 수작업 및 조상 검색을 통해 추가로 2편의 논문을 검색했습니다. 55개의 논문이 적격성 기준을 충족하여 3명의 저자 모두의 이론적 품질 평가를 위해 앞으로 나아갔습니다. 이론적 정교함이 입증된 논문만 포함되었습니다. 이 단계에서 모든 저자(ABW, SG, EA)의 포함/제외에 대한 동의도는 약 91%였습니다. 이론적 수준을 평가한 나머지 9%의 논문에 대한 검토자 간 판단의 상충은 토론을 통해 해결되었습니다. 그 결과 이론적 근거를 갖춘 고품질의 최종 샘플 논문 7편이 남았으며, 이 논문들은 모두 이론적 품질 도구에서 최고 점수인 9/9점을 받았습니다(Hean et al., 2016). 그림 2는 최종 샘플에 도달한 방법에 대한 개요를 제공합니다. 

The final searches produced a total of 4848 citations. After removing duplicates, the resulting 3655 citations were available for title and abstract screening. 229 papers were retained and checked, in full, against the eligibility criteria, followed by an additional 2 papers retrieved through hand and ancestry searching. 55 papers met the eligibility criteria and were taken forward for the assessment of theoretical quality by all three authors. Only papers demonstrating theoretical sophistication were included. The degree of agreement on inclusion/exclusion between all authors (ABW, SG, EA) at this stage was approximately 91%. Conflicts between reviewers’ judgments on the remaining 9% of the papers assessed for theoretical quality were resolved through discussion. This left a final sample of 7 high-quality theoretically underpinned papers, all of which scored the maximum 9/9 points on the Theoretical Quality Tool (Hean et al., 2016). Figure 2 provides an overview of how the final sample was reached.

 

포함된 연구 개요
Overview of included studies

최종 7편의 수준 높은 이론 논문은 2006년부터 2020년 사이에 발표되었으며, 대부분(n=5) 최근 2년 이내에 발표되었고 유럽과 캐나다에서 발표되었습니다(표 2). 4편의 논문은 단일 전문직 학생 그룹에 초점을 맞췄는데, 2편은 의학(Kline 외, 2020) 및 약학(Hache 외, 2020) 학부생이었고 2편은 의학(Jha 외, 2015) 및 정신의학(Agrawal 외, 2020) 대학원생이었습니다. 2편의 연구는 의학, 언어치료, 조산, 간호, 물리치료, 작업치료, 사회사업 등 다학제간 연구였습니다(Anderson et al., 2019; Cooper & Spencer-Dawe, 2006). 한 논문은 의학 및 보건 과학 학부 전반에 걸쳐 관련된 환자에 초점을 맞췄습니다(Read et al., 2020). 한 편의 논문(Hache 외, 2020)을 제외한 모든 논문은 교육이 필수인지(Agrawal 외, 2020; Anderson 외, 2019; Jha 외, 2015), 선택인지(Cooper & Spencer-Dawe, 2006; Kline 외, 2020)를 명시했습니다. 환자 참여는 강의실에서 이루어졌고(Anderson et al., 2019; Cooper & Spencer-Dawe, 2006; Hache et al., 2020; Jha et al., 2015), 2편은 지역사회 환경에서 이루어졌습니다(Agrawal et al., 2020; Kline et al., 2020). 4편의 논문은 질적 방법론을 채택했고(Agrawal 외., 2020; Anderson 외., 2019; Cooper & Spencer-Dawe, 2006; Kline 외., 2020), 2편의 논문은 혼합 방법 접근법을, 1편의 논문은 무작위 대조 시험(RCT; Jha 외., 2015)을 보고했습니다. 참여 수준을 명확히 규정할 수는 없었지만, 대부분의 연구에서 환자의 비용 부담, 교육, 지원, 커리큘럼 제공을 넘어선 참여를 고려하여 이를 위한 공동의 노력을 기울인 것으로 나타났습니다.  
The final 7 high-quality theoretical papers were published between 2006 and 2020, most (n = 5) within the last two years and were from Europe and Canada (Table 2). Four papers focused on uni-professional student groups: two were undergraduate in medicine (Kline et al., 2020) and pharmacy (Hache et al., 2020), and two were postgraduate in medicine (Jha et al., 2015) and psychiatry (Agrawal et al., 2020). Two studies were interprofessional including medicine, speech and language therapy, midwifery, nursing, physiotherapy, occupational therapy, and social work (Anderson et al., 2019; Cooper & Spencer-Dawe, 2006). One paper focused on patients involved across a faculty of medicine and health sciences (Read et al., 2020). All but one paper (Hache et al., 2020) stated whether the teaching was mandatory (Agrawal et al., 2020; Anderson et al., 2019; Jha et al., 2015) or elective (Cooper & Spencer-Dawe, 2006; Kline et al., 2020). Patient involvement occurred in the classroom (Anderson et al., 2019; Cooper & Spencer-Dawe, 2006; Hache et al., 2020; Jha et al., 2015); with two in community settings (Agrawal et al., 2020; Kline et al., 2020). Four papers adopted a qualitative methodology (Agrawal et al., 2020; Anderson et al., 2019; Cooper & Spencer-Dawe, 2006; Kline et al., 2020), two papers a mixed-methods approach (Hache et al., 2020; Read et al., 2020), and one reported a randomised controlled trial (RCT; Jha et al., 2015). Although we were unable to definitively assign a level of involvement, most studies demonstrated concerted efforts to work towards this through consideration of patient payment, training, support, and involvement beyond curriculum delivery.

 

연구 질문에 따라 7편의 논문은 이론 적용에 따라 크게 두 가지 범주로 분류되었습니다.

  • 4개의 논문은 환자 참여가 학생의 학습을 향상시키는 메커니즘을 설명하기 위해 이론을 사용했고(Agrawal 외, 2020; Hache 외, 2020; Jha 외, 2015; Kline 외, 2020),
  • 3개의 논문은 교육 커뮤니티 내 환자 조율을 설명하기 위해 이론을 적용했습니다(Anderson 외, 2019; Cooper & Spencer-Dawe, 2006; Read 외, 2020).

아래에 제시된 종합은 이러한 논문에서 사용된 이론이 전문교육에 환자 참여를 위한 활동 체계의 다양한 측면에 어떻게 기여하는지 설명합니다. 
In alignment with our research questions, the 7 papers fell into two broad categories based on their application of theory. Four papers used theory to explain the mechanism through which patient involvement enhances students’ learning (Agrawal et al., 2020; Hache et al., 2020; Jha et al., 2015; Kline et al., 2020), while three papers applied theory to explain patient alignment within an educational community (Anderson et al., 2019; Cooper & Spencer-Dawe, 2006; Read et al., 2020). The synthesis presented below explains how the theories used in these papers contribute to the different aspects of the Activity System for patient involvement in professional education.

이론이 기여하는 활동 체계의 구성 요소
Components of the activity system where theory contributes

7편의 수준 높은 이론적 논문은 전문 교육에 대한 환자 참여를 위한 활동 체계의 구성 요소에 맞춰 정리되었습니다. 이를 통해 수준 높은 이론이 적용된 활동 체계의 측면과 더 많은 이론적 고려가 필요한 측면을 확인할 수 있습니다(표 3).

  • [교수학습 과정]에 초점을 맞춘 4편의 논문은 [주체-객체 경로]를 조명하고(Agrawal 외, 2020; Hache 외, 2020; Jha 외, 2015; Kline 외, 2020),
  • [환자를 교육 커뮤니티에 통합]하는 것을 탐구한 3편의 논문은 [규칙, 인공물 및 도구, 커뮤니티 및 분업의 삼각형] 내에서 복잡성 문제를 강조합니다(Anderson 외, 2019; Cooper & Spencer-Dawe, 2006; Read 외, 2020).

The seven high-quality, theoretical papers were aligned to the components involved in the Activity System for patient involvement in professional education. We can begin to see the aspects of the system to which high-quality theory has been applied, and those which require greater theoretical consideration (Table 3).

  • The four papers that focus on the teaching and learning process illuminate the Subject-Object pathway (Agrawal et al., 2020; Hache et al., 2020; Jha et al., 2015; Kline et al., 2020), and
  • the three papers that explore the integration of patients into the educational community highlight the complexity issues within the triangle of Rules, Artefacts and Tools, Community and Division of Labour (Anderson et al., 2019; Cooper & Spencer-Dawe, 2006; Read et al., 2020).

 

 

주체-객체 경로
Subject-object pathway

Agrawal 등(2020)은 4년차 정신과 레지던트를 위한 공동 제작 교육학에 대한 분석을 한계성의 이론적 렌즈를 통해 해석했습니다(Turner, 1980). 저자들은 환자의 참여가 정신질환 회복에 대한 학습자의 이해와 임상적 접근 방식을 어떻게 변화시켰는지 설명하기 위해 서로 교차하고 상호 강화하는 다섯 가지 제한성 개념(공간과 공간 사이, 신참과 장년, 천골의 소통, 제한성 반사성, 삶의 규범적 질서, 변형)을 제시했습니다. 이러한 개념은 [전통적인 임상 학습 환경 밖에서 환자를 정신과 레지던트의 '조언자'로 참여]시키면 정신과 의사와 환자 사이에 내재된 지배적 권력 관계가 어떻게 파괴될 수 있는지를 보여줍니다. 이를 통해 지식 공유와 성찰의 과정이 시작되고 궁극적으로 혁신적인 학습이 이루어집니다. [한계성 이론]은 레지던트의 학습을 위한 '조언자'로 환자를 위치시킴으로써 정신과 수련에 내재된 암묵적 위계질서에 도전하는 것의 가치를 강조하고 설명합니다.
Agrawal et al. (2020) interpreted their analysis of a co-produced pedagogy for fourth year psychiatric residents through the theoretical lens of liminality (Turner, 1980). The authors offered the five intersecting and mutually reinforcing concepts of liminality (the betwixt and between space, neophyte and elder, communication of sacraliminal reflexivitynormative order of life, and transformation) to explain how patient involvement transformed learners’ understandings of, and clinical approaches to, mental illness recovery. These concepts show how engaging patients as ‘advisors’ to psychiatric residents outside of traditional clinical learning settings can disrupt the embedded, dominant power relations between psychiatrist-to-be and patients. This sets in motion a process of knowledge sharing and reflection and ultimately brings about transformative learning. The theory of liminality emphasises and explains the value of challenging the implicit hierarchies embedded in psychiatric training by positioning patients as ‘advisors’ for residents’ learning.

Hache 등(2020)은 환자 파트너가 학부 약대생의 학습을 향상시킬 수 있는 방법을 설명하기 위해 [사회적 표상 이론](Moscovici, 1981)을 적용했습니다. [환자 촉진 토론]은 필수 학습 포인트를 제공하여 [교육 후와 교육 전]에 [지식에 대한 다른 표상]을 제공했습니다. 저자들은 환자의 가르침을 받은 후 학생들의 사회적 표현이 변화했음을 보여줌으로써 환자가 학생들의 학습 성과에 얼마나 큰 영향을 미칠 수 있는지 보여줍니다. 
Hache et al. (2020) applied social representations theory (Moscovici, 1981) to illustrate how patient partners can enhance undergraduate pharmacy students’ learning. Patient facilitated discussions provided essential learning points resulting in different representations of knowing post-course to pre-course. By showing that students’ social representations changed after being taught by patients, the authors demonstrate the profound impact that patients can have on students’ learning outcomes.

쿠마가이의 [공감과 도덕성 발달에 대한 개념적 프레임워크](쿠마가이, 2008)를 사용하여 Jha 등(2015)은 의료사고에 대한 환자들의 이야기가 파운데이션 1학년 의료 수련의들의 환자안전에 대한 학습을 향상시키는 데 어떻게 작용했는지 설명합니다. 영국에서 파운데이션 1학년은 학부 의학 학위를 마친 후 GMC에 등록하고 의사로 일하기 위해 의무적으로 이수해야 하는 과정으로, 병원 또는 지역사회 내 여러 전문과목에서 일련의 순환 근무를 통해 수련을 받게 됩니다. 저자는 쿠마가이의 프레임워크를 채택하여 환자의 내러티브를 의도적으로 배치했습니다. 이러한 내러티브는 교육생들 사이에서 [긍정적이거나 부정적인 정서적 반응]을 불러일으켜 '의미 전달'이 이루어졌으며, 저자들은 학습자들이 환자 안전 개선에 있어 의사소통의 중요성에 대한 이해를 높이고 의료 오류 감소를 위한 환자 참여에 대해 긍정적인 태도를 갖게 된 것으로 보고 있습니다. 전문 교사와 환자 교사 모두 동일한 결과를 얻었지만, 저자들은 쿠마가이의 개념적 프레임워크를 사용하여 환자 내러티브의 중요성을 보여주고 학습자가 의학의 의미와 의료 오류에 대한 정서적 반응에 대한 이해의 깊이를 높이고 궁극적으로 환자의 관점을 더 잘 파악할 수 있도록 하는 방법을 설명합니다.
Using Kumagai’s conceptual framework of empathy and moral development (Kumagai, 2008) Jha et al. (2015) explain how patients’ stories of medical error worked to enhance Foundation Year 1 medical trainees’ learning on patient safety. In the UK, Foundation Year 1 is mandatory upon completion of an undergraduate medical degree to register with the GMC and practise as a doctor; this involves training in a series of rotations in different specialities within hospitals or the community. Adopting Kumagai’s framework, the authors deliberately deployed patients’ narratives. These narratives ‘communicated meaning’ by evoking both positive and negative emotional responses among the trainees, which the authors attribute to learners’ advanced understandings of the importance of communication in improving patient safety and increased positive attitudes towards patient involvement in reducing medical error. Both professional and patient teachers achieved the same outcomes but, the authors’ use of Kumagai’s conceptual framework demonstrates the importance of patients’ narratives and explains how they act to enhance learners’ depth of understanding of the meaning of medicine and the emotional response to medical error; ultimately allowing better identification with the patient’s perspective.

환자 참여가 학습자에게 미치는 [지속적인 영향]을 조사한 연구는 단 한 건뿐입니다. Kline 등(2020)은 전문가 간 '건강 멘토 프로그램'에 대한 후배 의사들의 경험을 분석하기 위한 개념적 프레임워크로 Marcia(1966)의 [정체성 지위 패러다임]을 사용했습니다. 저자들은 환자 '멘토'의 사전 교육이 학습자의 직업적 정체성에 미치는 장기적인 영향에 관심을 가졌습니다. 연구 결과, 레지던트들은 환자 파트너십, 전문가 간 협업 및 전체론적 치료에 대한 헌신을 드러냈습니다. 이는 멘토의 스토리텔링을 통해 촉발된 직업적 가치와 행동에 대한 탐구와 프로그램 기간 동안의 환자-학생 간 종단적 관계 발전에 뿌리를 두고 있습니다. 정체성 상태 패러다임을 통해 클라인 외(2020)는 진정성 있고 자율적인 환자의 목소리에 조기에 노출되는 것의 가치를 강조하고 이것이 어떻게 환자 중심의 장기적인 전문직 정체성 개발을 촉진할 수 있는지를 조명합니다.
Only one study investigated the enduring impacts of patient involvement on learners. Kline et al. (2020) used Marcia’s (1966) identity status paradigm as a conceptual framework for the analysis of junior doctors’ experiences of an interprofessional ‘Health Mentor Programme’. The authors were interested in the long-term implications for learners’ professional identity of prior teaching from patient ‘mentors’. Findings revealed residents’ commitments to patient partnership, interprofessional collaboration and holistic care. These were rooted in the exploration of professional values and behaviours prompted by mentors’ storytelling and the development of longitudinal patient-student relationships during the programme. Through the identity status paradigm, Kline et al. (2020) reinforce the value of early exposure to the authentic and autonomous patient voice and illuminate how this can foster the development of long-standing patient-centred professional identities.

규칙, 인공물 및 도구, 커뮤니티, 분업의 삼각관계
The triangle of rules, artefacts and tools, community, and division of labour

Anderson 등(2019)은 환자가 기존 전문가 간 워크숍에서 주도적인 교육 역할로 발전할 때 환자, 간병인, 교육자에게 어떤 의미가 있는지 Engeström(2001)의 [활동 이론]의 렌즈를 통해 탐구했습니다. 모든 이해관계자들은 환자의 '공동 튜터'라는 새로운 역할을 지지했지만 환자가 교육을 주도할 때 [신뢰를 구축하는 데 필요한 요소]를 확인했습니다. 여기에는 다음이 포함되었습니다.

  • 교육 활동에 대한 역량과 자신감을 키우기 위한 환자 교육,
  • 권위 있는 위치로 환자를 받아들일 수 있는 학생 준비,
  • 환자 보상 시스템 구현,
  • 코튜터 교육에 대한 교수진의 지원 구현

'멘토'의 역할은 신규 환자 및 코튜터로 진급하고자 하는 환자를 지원하는 데 중요하다고 강조했습니다. 앤더슨 외(2019)는 활동 이론을 통해 모든 이해관계자의 요구를 존중하는 방식으로 스토리텔링 역할을 넘어 환자를 움직이는 것의 복잡성, 즉 IPE의 어려움으로 인해 더욱 복잡해진 복잡성을 조명했습니다.
Anderson et al. (2019) explored what it means for patients, carers and educators when patients progress into leading teaching roles in an established interprofessional workshop, through the lens of Engeström’s (2001) Activity Theory. All stakeholders supported a new role of patient ‘Co-tutor’ but identified factors necessary to build trust when patients lead teaching. These included

  • patient training to develop competence and confidence in educational activities,
  • student preparation to accept patients in authoritative positions,
  • implementation of a patient remuneration system and
  • faculty support for Co-tutors in teaching.

A ‘Mentor’ role was highlighted as important to support new patients and those wishing to progress to Co-tutor. Through Activity Theory, Anderson et al. (2019) illuminated the complexity of moving patients beyond storytelling roles in ways that respects the needs of all stakeholders—a complexity compounded by the challenges of IPE.

이와 유사하게 Cooper와 Spencer-Dawe(2006)는 훈련된 환자를 공동 촉진자로 참여시킨 전문가 간 워크숍에 따른 이해관계자 데이터 분석에 복잡성 이론(Tosey, 2002)을 사용했는데, 이 역시 이론적 근거를 바탕으로 했습니다. 이들은 [연결성, 자기 조직화, 출현]의 과정을 통해 [결과가 어떻게 발전했는지 설명]하며, 환자 참여는 환자 중심 치료에 대한 학생들의 이해를 높이고 이론과 실무의 격차를 해소했습니다. 환자와 교육자 역시 IPE의 비-선형성을 성찰함으로써 혜택을 받았습니다. 전문가 간 팀으로 일하면서 모두의 우려를 불러일으켰고, IPE의 예측 불가능성을 강조했습니다. 교육자들은 교육 및 환자 모집 사양에서 환자와의 파트너십에 대한 교육을 요청했습니다. 환자들은 역할이 명확하지 않다고 느꼈으며 IPE 목표에 대한 교육이 필요하다고 했습니다. 학생들은 환자의 대표성 및 교육의 질에 대해 우려하여 교육자와 환자의 우려를 강화했습니다. Anderson 등(2019)의 연구 결과를 반영하여 Cooper와 Spencer-Dawe(2006)는 복잡성 이론을 사용하여 환자를 교사로 참여시키는 것은 유익하지만, 특히 IPE에서 환자를 교사로 참여시키는 것은 어렵다는 점을 조명합니다.
Similarly, Cooper and Spencer-Dawe (2006) used Complexity Theory (Tosey, 2002) in their analysis of stakeholder data following an interprofessional workshop—also theoretically underpinned—involving trained patients as co-facilitators. They explain how outcomes developed through a process of connectivity, self-organisation, and emergence; patient involvement advanced students’ understandings of patient-centred care, bridging the theory–practice gap. Patients and educators also benefitted, reflecting the a-linearity of IPE. Working as an interprofessional team raised concerns for all, highlighting IPE’s unpredictability. Educators requested training on partnering with patients in education and patient recruitment specifications. Patients felt a lack of role clarity and required training on IPE objectives. Students worried about patients’ representativeness and teaching quality, reinforcing educators’ and patients’ concerns. Mirroring Anderson et al. (2019) findings, Cooper and Spencer-Dawe’s (2006) use of Complexity Theory illuminates that while beneficial, involving patients as teachers, particularly in IPE, is challenging.

Read 등(2020)은 의학 및 보건과학 학부 전반의 교육 활동에 참여하는 환자를 위한 교육 프로그램의 개발, 제공 및 평가를 안내하기 위해 PAR을 사용했습니다. PAR 프로세스는 학교별 프로그램에서 충족되지 않은 수많은 환자 교육 요구 사항을 강조했으며, 이는 이후 교수진 전체 교육 프로그램에서 다루어져 더 넓은 대학 내 역할에 대한 환자들의 이해를 높이고 채용 및 참여 확대에 영향을 미쳤습니다. 환자들은 교육을 가치의 표현으로 여겼습니다. 교육 준비와 전달은 교육자들에게 노동 집약적이고 시간이 많이 소요되는 일이었습니다. 궁극적으로 Read 등(2020)은 PAR을 통해 환자 참여의 가치를 지지하고 확인하며 지속성을 보장하기 위해 교수진 간 교육에서 환자와 협력하는 것이 중요하다는 점을 강조합니다. 이는 대학 자원과 교육자의 시간과 지원을 투자하는 데 달려 있습니다.
Read et al. (2020) employed PAR to guide the development, delivery, and evaluation of a training programme for patients involved in educational activities across a faculty of medicine and health sciences. The PAR process highlighted numerous patient training needs unmet by school-specific programmes; these were addressed in the ensuing faculty-wide training programme which enhanced patients’ understandings of roles within the wider University, having implications for expanding recruitment and involvement. Patients viewed the training as an expression of value. Preparing and delivering training was labour intensive and time-consuming for educators. Ultimately, through PAR, Read et al. (2020) highlight the significance of working with patients on cross-faculty training to support and affirm the value of their involvement and ensure continuity. This is contingent on the investment of university resources and educators’ time and support.

토론
Discussion

의학교육에서의 환자 참여에 대한 최근의 검토는 근거 기반이 유망하게 성장하고 있음을 보여 주지만, 이 분야가 대부분 이론적임을 강조합니다(De Groot 외., 2020; Dijk 외., 2020; Gordon 외., 2020). 이 검토는 보건 및 사회복지 교육의 모든 영역에서 환자 참여에 적용되는 이론을 체계적으로 검색하고 이론적으로 종합하여 이론이 모범 사례를 안내하는 데 어떻게 도움이 되는지 파악하기 위해 시작되었습니다. 이론적 근거를 갖춘 수준 높은 논문 7편이 확인되었습니다. 포함된 논문은 학부부터 대학원 교육, 단일 전문가부터 전문가 간 교육에 이르기까지 다양합니다. 대부분의 연구는 학부 교육에 관한 것이었는데, 이는 아마도 수련 초기에 가치관과 태도를 형성하는 것이 중요하다는 인식을 반영하는 것일 수 있습니다(GMC, 2015; Gordon et al., 2020). 흥미롭게도 환자 참여가 더 오래 지속되어 온 사회복지와 간호 분야는 수준 높은 이론적 기여를 제공하지 못했습니다. 포함된 논문의 대부분은 지난 2년 이내에 출판되었으며, 이는 환자가 학생의 학습을 긍정적으로 향상시키는 방법과 이유에 대한 이론화된 질문을 향한 보여주기식 논문에서 벗어나려는 긍정적인 움직임을 반영합니다(Reeves & Hean, 2013). 참여의 종단적 효과를 탐구한 논문은 단 한 편(Kline 외, 2020)에 불과하여, 이러한 연구 격차를 강조하는 이전 리뷰(Dijk 외, 2020; Gordon 외, 2020; Spencer 외, 2011)를 뒷받침합니다. 
Recent reviews on patient involvement in medical education show promising growth in the evidence-base but emphasise that the field is largely atheoretical (De Groot et al., 2020; Dijk et al., 2020; Gordon et al., 2020). This review set out to systematically search for and theoretically synthesise the theories applied to patient involvement in all areas of health and social care education, to identify how theory is helping to guide best practice. Seven high-quality, theoretically underpinned papers were identified. The included papers span undergraduate-to-postgraduate education and uni-professional to interprofessional teaching. Most studies were of undergraduate education, perhaps symptomatic of the recognition of the importance of shaping values and attitudes early in training (GMC, 2015; Gordon et al., 2020). Interestingly, the professions where patient involvement has been longer standing, social work and nursing, did not offer high-quality theoretical contributions. The majority of included papers were published within the last two years, reflecting a positive movement away from show and tell papers towards theorised questioning about how and why patients positively enhance student learning (Reeves & Hean, 2013). Only one paper (Kline et al., 2020) explored the longitudinal effects of involvement, supporting previous reviews highlighting this research gap (Dijk et al., 2020; Gordon et al., 2020; Spencer et al., 2011).

포함된 모든 논문은 이론적 품질 도구에서 가능한 최고 점수를 받았습니다(Hean et al., 2016). 이는 이론적 품질의 차원이 강하게 상호 의존적임을 나타내는 것으로, 가장 실용적인 타당성을 가진 논문은 다음과 같은 경향이 있는 것으로 나타났습니다.

  • 이론을 명확하게 표현하고(명료성),
  • 적절한 방법을 사용하여 테스트된 명확한 명제를 제시하며(실험 가능성),
  • 적용된 이론과 개념적으로 일관된 데이터를 보고하는(경험적 타당성; Hean et al., 2016) 

All of the included papers were awarded the maximum possible score on the Theoretical Quality Tool (Hean et al., 2016). This may be an indication that dimensions of theoretical quality are strongly interdependent; the papers with the most pragmatic adequacy tend to be those that 

  • clearly articulate the theory (parsimony),
  • lay out clear propositions (testability) which are tested using appropriate methods (operational adequacy), and
  • report data that is conceptually coherent with the theory that has been applied (empirical adequacy; Hean et al., 2016).

우리는 포함 된 논문을 종합하는 분석 렌즈로 [활동 이론]을 적용하여 수준 높은 이론이 적용된 HEI 시스템의 구성 요소와 더 큰 이론적 초점이 필요한 구성 요소를 모두 조명했습니다. Engeström(2001)이 예상한 대로, 이 개념적 프레임워크는 현대 보건/사회복지 프로그램 내에서 교육 파트너로서 환자 참여의 현재 상태에 관한 광범위한 학습을 제공합니다. 이 이론은 주로 환자 참여가 학습을 향상시키는 방법을 설명하는 데 적용되며, 이는 주체-객체 경로에 대해 알려줍니다(Agrawal 외., 2020; Hache 외., 2020; Jha 외., 2015; Kline 외., 2020).

  • 아그라왈 외(2020)의 한계성 이론(Turner, 1980), 자 외(2015)의 변혁적 학습(Kumagai, 2008), 하체 외(2020)의 사회적 표상(Moscovici, 1981), 클라인 외(2020)의 정체성(Marcia, 1966)은 [환자를 권위 있는 전문가로 위치시키는 것]이 어떻게 학습자의 환자 관점에 대한 이해를 향상시키는지 설명합니다.

환자의 참여가 학습을 향상시킨다는 사실은 이미 오래전부터 알고 있었지만(Dijk 외, 2020; Spencer 외, 2011), 이러한 논문은 개입이 어떻게 그리고 왜 배치되고 효과를 달성하기 위해 작동했는지에 대한 설명을 제공함으로써 우리의 이해에 더욱 기여하고 있습니다. 
We applied Activity Theory as an analytical lens through which to synthesise the included papers, illuminating both the components of the HEI system where high-quality theory has been applied and those which need greater theoretical focus. As Engeström (2001) expected, this conceptual framework offers expansive learning concerning the current state of patient involvement as educational partners within modern health/social care programmes. Theory is predominantly applied to explain how patient involvement enhances learning; this tells us about the Subject-Object pathway (Agrawal et al., 2020; Hache et al., 2020; Jha et al., 2015; Kline et al., 2020).

  • The use of theories of liminality (Turner, 1980) by Agrawal et al. (2020), transformative learning (Kumagai, 2008) by Jha et al. (2015), social representations (Moscovici, 1981) by Hache et al. (2020) and identity (Marcia, 1966) by Kline et al. (2020) explain how positioning patients as authoritative experts enhances learners’ understanding of the patient perspective.

Although we have known for some time that patient involvement advances learning (Dijk et al., 2020; Spencer et al., 2011), these papers further contribute to our understanding by providing explanations for how and why an intervention was deployed and worked to achieve its effects.

광범위한 학습 이론을 대표하는 수많은 논문을 확인했습니다(온라인 부록 3). 그러나 이러한 연구들은 연구 설계 및 평가에 대한 연구 목표와 이론을 일치시키지 못했으며, 몇몇 논문은 이론이 무엇을 수반하는지 또는 어떻게 적용되었는지에 대한 설명 없이 단순히 이론의 이름만 언급하고 있었습니다. 이러한 논문은 이론의 명확한 표현(명료성 및 검증 가능성) 및 운영적/경험적 적절성에서 낮은 점수를 받거나 점수를 받지 못하여 이론적 품질 도구(Hean et al., 2016)의 테스트를 통과하지 못하여 제외되었습니다. 이러한 논문은 참여를 통해 달성할 수 있는 학습의 깊이를 확인하고 의제를 촉진하지만, 환자 참여 교육 개발, 제공 및 평가에 대한 모범 사례에 대한 증거에 기반한 합의를 형성하기 시작하려면 이론적으로 뒷받침되는 고품질의 연구가 더 필요합니다.  
We did identify numerous papers representing a vast range of learning theories (Online Appendix 3). However, these studies failed to align theory from the research aims to study design and evaluation; several simply referred to a theory by name, with no explanation of what the theory entails or how it was applied. These papers did not stand the test of our theoretical quality tool (Hean et al., 2016), scoring low/no points for clear articulation of theory (parsimony and testability) and operational/empirical adequacy, and were excluded. Although these papers confirm the depth of learning that can be achieved through involvement and thus fuel the agenda, further high-quality theoretically underpinned research is required if we are to begin to form an evidential agreement on best practices for developing, delivering, and evaluating education involving patients.

활동 이론을 사용한 분석 결과, HEI 시스템 전체(규칙, 도구 및 인공물, 노동 분업, 커뮤니티의 삼각형)에 대해 우리가 아는 것이 적다는 사실이 밝혀졌습니다. HEI 시스템 내 환자 참여에 이론을 적용한 세 편의 논문을 확인했습니다. Read 등(2020)은 PAR을 사용하여 파트너십 작업을 교육 활동을 넘어 참여를 지원하는 데 필요한 프로세스 개발로 확장할 때의 이점과 과제를 보여주었습니다. Anderson 등(2019)은 활동 이론(Engeström, 2001)을, Cooper와 Spencer-Dawe(2006)는 복잡성 이론(Tosey, 2002)을 사용하여 IPE에서 교육을 주도하는 환자들의 복잡성을 강조했습니다. 이러한 이론적 근거를 바탕으로 한 연구는 교수진과 학생 모두에게 환자를 HEI 시스템으로 데려오는 것이 무엇을 의미하는지에 대한 이해를 풍부하게 해줍니다. 
Our analysis using Activity Theory revealed that we know less about the HEI system as a whole (triangle of Rules, Tools and ArtefactsDivision of Labour, and Community). We identified three papers which applied theory to patient involvement within the HEI system. Read et al. (2020) used PAR to demonstrate the benefits and challenges of extending partnership working beyond educational activities to the development of the processes needed to support involvement. Anderson et al. (2019) used Activity Theory (Engeström, 2001), and Cooper and Spencer-Dawe (2006) used Complexity Theory (Tosey, 2002) to highlight the complexity of patients leading teaching in IPE. These theoretically underpinned studies add a richness to our understanding of what it means to bring patients into a HEI system, both for faculty and for acceptance by students.

활동 이론 삼각형의 이러한 다면적인 구성 요소에 이론적으로 초점을 맞춘 연구는 단 세 편에 불과하지만(Anderson et al., 2019; Cooper & Spencer-Dawe, 2006; Read et al., 2020), 포함된 모든 논문이 시스템의 일부 측면을 고려했습니다.

  • 대부분의 연구는 [환자를 위한 준비 및 지원]을 보고했지만 [학생 지원 및 교수 개발]에 대해서는 거의 관심을 받지 못했습니다.
  • 포함된 연구들은 주로 [환자-학생 관계]에 초점을 맞추었지만 [환자-교육자 파트너십]은 소홀히 다루었습니다. 실제로 Happell 등(2014)은 교육자가 참여의 게이트키퍼이기 때문에 환자-교육자 역학 관계를 조사할 필요가 있다고 강조했습니다.
  • [환자 지불]에 대해 보고한 연구는 거의 없었으며, 설명이 간략하고 모호한 경우가 많았습니다. 따라서 참여를 지원하고 의미 있는 분업을 보장하는 데 [필요한 정책과 프로세스]에 대한 우리의 이해는 여전히 제한적입니다.
  • 또한 [환자가 동등한 교수진 파트너로서 가치를 느끼고 존중]받는 [교육자와 환자 커뮤니티]를 형성하는 것이 무엇을 의미하는지 아직 잘 알지 못합니다. 

Although only three studies have begun to focus theoretically on these multifaceted components of the Activity Theory triangle (Anderson et al., 2019; Cooper & Spencer-Dawe, 2006; Read et al., 2020), all of the included papers had considered some aspects of the system.

  • Most studies reported preparation and/or support for patients, yet student support and faculty development received little attention.
  • Included studies primarily focused on the patient-student relationship, but neglected patient-educator partnerships. Indeed, Happell et al. (2014) highlighted a need to investigate the patient-educator dynamic, as educators are the gatekeepers to involvement.
  • Few studies reported patient payment; descriptions were often brief and ambiguous. As such, our understanding of the policies and processes needed to support involvement and ensure a meaningful division of labour remains limited.
  • Furthermore, we still do not know what it means to form a community of educators and patients, where patients feel and become valued as equal faculty partners.

활동 이론의 삼각형을 고려할 때 이론이 모든 해답을 담고 있지는 않을 수 있다는 것을 알고 있습니다. 실제로 환자의 지불, 지원 및 준비를 고려하여 참여의 이러한 측면을 탐구하는 실용적인 오리엔테이션 논문이 있습니다(Bassett et al., 2006; Felton & Stickley, 2004; Soklaridis et al., 2020). 그러나 HEI 내에서 환자를 참여시키고, 지원하고, 소속감을 촉진하는 것은 본질적으로 권력 관계와 계층 구조의 탐색을 수반하며, 이러한 실용적인 논문에서도 이를 인정하고 있습니다(Bassett 외, 2006; Felton & Stickley, 2004; Soklaridis 외, 2020). 따라서 권력(예: 푸코, 1980), 집단 구성원 및 소속감(예: 타지펠 & 터너, 2004; 웽거, 1998)을 탐구하는 광범위한 사회과학 문헌에서 파생된 이론은 의심할 여지없이 HEI에 환자 참여를 위한 활동 시스템 내의 규칙, 도구 및 인공물, 분업 및 커뮤니티에 대한 우리의 이해에 기여할 수 있습니다. 환자를 '교육적 실천 공동체'(Wenger, 1998) 내에서 '합법적인 주변 참여자'로 간주하기 위해 상황 학습(Lave & Wenger, 1991)을 적용한 연구(Rees et al., 2007)를 한 건 확인했습니다. 이 논문은 이론적 품질 도구의 테스트를 통과하지 못하여 제외되었지만, 교육 공동체 내 환자 참여에 대한 흥미롭고 관련성 있는 이론적 관점이며 추가 조사가 필요하다는 데 동의합니다.  
We do recognise that theory might not hold all of the answers when considering the triangle of Activity Theory. Indeed, there are papers which are pragmatic in orientation that explore these aspects of involvement, considering patient payment, support, and preparation (Bassett et al., 2006; Felton & Stickley, 2004; Soklaridis et al., 2020). However, involving, supporting, and facilitating a sense of belonging for patients within HEIs inherently entails the navigation of power relations and hierarchies—something that these more pragmatic papers do acknowledge (Bassett et al., 2006; Felton & Stickley, 2004; Soklaridis et al., 2020). Theories derived from the wider social sciences literature that explore power (e.g., Foucault, 1980), group membership, and belonging (e.g., Tajfel & Turner, 2004; Wenger, 1998), could therefore undoubtedly contribute to our understanding of the Rules, Tools and Artefacts, Division of Labour, and Community within an Activity System for patient involvement in HEIs. We did identify one study (Rees et al., 2007) which applied Situated Learning (Lave & Wenger, 1991) to consider patients as ‘legitimate peripheral participants’ within ‘educational communities of practice’ (Wenger, 1998). While this paper was excluded as it did not stand the test of our theoretical quality tool, we agree that this is both an interesting and relevant theoretical perspective on patient involvement within education communities, which warrants further investigation.

엄격하게 수행되었지만 저희의 검토에는 한계가 있습니다. 20년 이내에 영어로 발표된 논문으로 검토 범위를 제한한 결과, 초기의 관련 연구를 놓쳤을 수 있습니다. 이 분야의 성장으로 인해 검색되는 논문의 양을 관리하기 위해 실용적인 판단을 내릴 수밖에 없었습니다. '환자'라는 용어의 편재성과 그 대체 용어, 그리고 '환자 참여'를 설명하는 합의된 명명법의 부재에 대한 우려에 직면했습니다(Gordon et al., 2020). 그러나 우리는 전문 교육의 모든 수준과 영역을 포함하는 광범위한 검색 매개변수를 사용했습니다. 범위 설정은 주요 논문이 유지되었다는 점에서 최종 검색의 유효성을 확인했습니다. 제외된 논문을 정당화하는 것은 저자의 상세한 설명이 부족하기 때문에 어려웠습니다. 이론적 근거가 있는 것처럼 보이지만 이를 명시적으로 설명하지 않은 논문도 여러 편 발견했습니다. 이는 연구자와 교육자를 위한 증거 기반의 가치를 제한합니다(Gordon et al., 2020). 마지막으로, 연구팀으로서 이론과 같은 무형의 구성 요소의 의미에 대한 합의에 도달하는 것은 어려운 일이었습니다. 우리는 선행 연구를 통해 정보를 얻은 전략인 모범적인 파일럿 논문에 대한 반복적인 토론을 통해 이 문제에 접근했습니다(Hean et al., 2016, 2018).

Although conducted rigorously, our review has limitations. In restricting our review to papers published in English, within a 20-year timeframe, we may have missed earlier relevant research. We were forced to make pragmatic judgements to manage the sheer volume of papers retrieved, owing to the growth of this field. Throughout we faced concerns about the ubiquitous nature of the term ‘patient’ and its alternatives, and the absence of a consensus nomenclature to describe ‘patient involvement’ (Gordon et al., 2020). However, we used broad search parameters inclusive of all levels and areas of professional education. Scoping confirmed the validity of the final searches in that key papers were retained. Justifying excluded papers was challenging owing to the lack of detailed description by authors. We encountered several papers which appeared to have theoretical underpinnings but failed to explicitly articulate them. This limits the value of the evidence-base for researchers and educators (Gordon et al., 2020). Finally, reaching a consensus on the meaning of an intangible construct, like theory, as a research team was challenging. We approached this through iterative discussions about exemplar pilot papers: a strategy informed by previous research (Hean et al., 2016, 2018).

향후 연구에 대한 시사점
Implications for future research

이 리뷰는 이론적으로 뒷받침되는 수준 높은 논문을 식별하고 활동 이론의 구성 요소에 맞게 조정함으로써 이 분야의 향후 연구와 이론 개발을 안내하는 지도를 제공합니다. 우리는 교육자와 학자들이 전문 보건 및 사회복지 교육에서 환자 참여를 위한 활동 체계의 모든 측면에서 환자 참여를 설명하도록 도전합니다. 
By identifying and aligning high-quality, theoretically underpinned papers to the components of Activity Theory, this review provides a map to guide future research and theoretical development in this field. We challenge educators and scholars to account for patient involvement in every aspect of the Activity System for patient involvement in professional health and social care education.

최근 BEME 검토에서는 [현실주의적 리뷰]을 사용하여 환자 중심주의에 대한 교육 및 학습에서 환자 참여에 대한 이론적 접근을 검토하기 시작했습니다(De Groot 외., 2020). 이는 환자, 학생, 교사 등 모든 이해관계자를 위한 이론적 입장이 있다는 점에서 도움이 됩니다. 그러나 환자의 참여가 교육 커뮤니티에 어떤 의미를 갖는지 더 깊이 이해할 필요가 있습니다. 이는 다양한 다른 이론적 렌즈를 사용하여 HEI 내 활동 시스템에서의 상호 작용에 대한 이해의 격차를 메우고 정책을 안내할 수 있는 다양한 이론적 렌즈를 사용하여 식별할 수 있습니다(Department of Health & Social Care, 2021; GMC 2009; 2018). 또한 이러한 문제에 대한 이해관계자의 관점, 특히 환자의 강력한 목소리가 부족합니다. 최선의 의도에도 불구하고 우리는 여전히 교육에서 환자와 협력하는 데 있어 대부분 '하향식' 접근 방식을 취하고 있으며, 초기 시민 참여 운동에서 구상한 것처럼 HEI에서 진정한 권력 재분배를 달성하기 위해서는 갈 길이 멀다(Arnstein, 1969). 향후 연구에서는 보건의료 전문직 교육에 적극적으로 참여함으로써 보건의료 교육자 커뮤니티 내에서 소속감을 느끼고 소속감을 갖는다는 것이 무엇을 의미하는지에 대한 관련 경험과 통찰력을 얻은 환자들의 관점을 모색해야 합니다. 마지막으로, 우리는 이 분야의 저자들이 학습을 향상하고 포용성을 키우는 방식으로 환자와 함께 일한다는 것이 무엇을 의미하는지에 대한 우리의 이해에 이론이 기여하는 바를 보다 명확하게 서술할 것을 촉구합니다. 
A recent BEME review has begun to look at a theoretical approach to patient involvement in teaching and learning about patient-centredness using a realist synthesis (De Groot et al., 2020). This is helpful and implies there are theoretical stances for all stakeholders—patients, students, and teachers. We do, however, need to further understand what patient involvement means for our educational communities. This might be identified using a range of other theoretical lenses to fill the gaps in our understandings of the interactions in an Activity System within HEIs, which in turn might guide policy (Department of Health & Social Care, 2021; GMC 2009; 2018). Furthermore, we lack a strong stakeholder perspective on these issues, in particular, a strong patient voice. Despite best intentions, we are still taking a largely ‘top down’ approach to working with patients in education and have a long way to go to achieve a true redistribution of power in HEI, as envisaged in the early citizen participation movement (Arnstein, 1969). Future research should seek the perspectives of patients who, through their active involvement in health professions education, have gained relevant experience and insight into what it means to become and belong within a community of healthcare educators. Finally, we urge authors in this field to write with more clarity about the contribution of theory to our understanding of what it means to work with patients in ways that enhance learning and foster inclusivity.

결론
Conclusion

전문 교육의 모든 측면에서 환자 참여에 대한 연구가 가속화되고 있는 것은 고무적이지만, 수준 높은 이론적 토대가 부족합니다. 이 검토를 통해 처음으로 전문직 교육에서 환자 참여에 대한 수준 높은 이론적 고려가 이루어진 분야와 더 많은 이론적 이해가 필요한 분야를 확인했습니다. 향후 연구에서는 환자와 관련된 교육 및 학습의 이론적 토대를 명확하게 표현하고, 운영하며, 테스트해야 합니다. 이론이 환자 참여의 복잡성을 조명하기 시작했지만, 문헌은 다양한 HEI에 적용될 수 있는 파트너십 작업을 안내하는 개념적 틀을 제공하지 못하고 있습니다. 이러한 프레임워크가 없으면 가부장적 권력 관계가 고착화되고 지속될 위험이 있습니다(Regan de Bere & Nunn, 2016). 향후 연구에서는 교육 공동체 내에서 환자와 협력하여 일한다는 것이 무엇을 의미하는지 이해하는 데 도움이 되는 이론을 탐구해야 합니다. 이는 정책에서 우리에게 요구하는 것이 파트너십 작업이기 때문이기도 하지만(보건부, 2021; GMC, 2009; 2018), 환자의 진정성을 진정으로 얻을 수 있는 유일한 방법이기 때문에 우리의 가장 큰 과제일 것입니다. 
The acceleration of work on patient involvement in all aspects of professional education is encouraging but is lacking in high-quality theoretical foundations. This review has, for the first time, identified the areas of patient involvement in professional education that have received high-quality theoretical consideration and those that require greater theoretical understanding. Future research must clearly articulate, operationalise and test the theoretical underpinnings of teaching and learning involving patients. Although theory has begun to illuminate the complexity of patient involvement, the literature fails to provide a conceptual framework to guide partnership working which can be adapted across different HEIs. Without such a framework, we risk remaining static and perpetuating paternalistic power relations (Regan de Bere & Nunn, 2016). Future research should explore theories that can help us to understand what it means to work in partnership with patients within education communities. This is arguably our greatest challenge, not least because partnership working is what policy asks of us (Department of Health, 2021; GMC, 2009; 2018), but because this is the only way to truly gain from patients’ authenticity.

 


Adv Health Sci Educ Theory Pract. 2023 Mar;28(1):279-304. doi: 10.1007/s10459-022-10137-3. Epub 2022 Jul 16.

A theoretical systematic review of patient involvement in health and social care education

Affiliations collapse

1The George Davies Centre, Leicester Medical School, College of Life Sciences, University of Leicester, University Road, Leicester, LE1 7RH, UK. abw11@leicester.ac.uk.

2The George Davies Centre, Leicester Medical School, College of Life Sciences, University of Leicester, University Road, Leicester, LE1 7RH, UK.

PMID: 35841446

PMCID: PMC9992014

DOI: 10.1007/s10459-022-10137-3

Free PMC article

Abstract

Patient involvement in health and social care education lacks theoretical underpinning, despite increasing calls for rigour. Theories help explain how learning is advanced and offer guidance for how faculty work with patients who become involved in curriculum delivery. We conducted a systematic review to synthesise how theory shapes our understanding of patient involvement in health and social care education. Three databases were systematically searched. Studies demonstrating explicit and high-quality application of theory to patient involvement in teaching and learning or involvement within a community of health and social care educators, were included. A narrative synthesis was undertaken using Activity Theory as an analytical lens to highlight the multifaceted components of patient involvement in professional education. Seven high-quality, theoretically underpinned studies were included. Four studies applied theory to pedagogy, showing how deep learning from patient involvement occurred. Despite a growing body of studies which attempt to use theory to explain learning, many were descriptive, lacked theoretical quality and were therefore excluded. Three studies applied theory to illuminate the complexity of involving patients in the educational system, showing how patients can be supported and valued in teaching roles. This review highlights that more work is required to identify the mechanisms through which patient involvement enhances learning and, to explore what involvement within the education community means for faculty and patients. Our understandings of patient-educator partnerships for learning could be progressed by further high-quality theory driven studies, which include the patient voice.

Keywords: Patient involvement; Professional education; Systematic review; Theoretical quality.

보건의료전문직교육의 환자참여: 메타 내러티브 리뷰 (Adv Health Sci Educ Theory Pract. 2019)
Patient involvement in health professionals’ education: a meta‑narrative review
Paula Rowland1,2,3,4,5 · Melanie Anderson3 · Arno K. Kumagai6,7 · Sarah McMillan3 · Vijay K. Sandhu8 · Sylvia Langlois5 

 

소개
Introduction

환자 활동은 커리큘럼을 설계하고 실행하는 사람들의 직접적인 권한에 속할 수도 있고 그렇지 않을 수도 있지만, 환자 및 교육에서 환자의 역할은 항상 교육자들의 관심사였습니다. 최근에는 "환자 참여"로 식별되는 프로그램에서 환자가 보건 전문직 교육에 참여하는 방식이 더욱 공식화되고 있습니다. 전문직 교육에서의 환자 참여 관행에 대한 실용적, 이론적, 윤리적 문제를 다루고자 하는 문헌이 점점 더 많아지고 있습니다. 그러나 환자 참여 의제(예: 건강 연구, 정책 또는 의료 서비스 설계에 대한 환자 참여)를 추구하는 다른 의료 분야와 마찬가지로, 교육에서의 환자 참여에 관한 문헌은 이론이 부족하고 경험적 증거보다는 이념적 진술에 불균형적으로 치우친다는 비판을 받아왔습니다(Regan de Bere와 Nunn 2016). 그 결과 다양한 문헌이 존재하고, 환자 참여의 목적에 대한 상충되는 조언이 있으며, 해당 분야에서 지식을 구축하는 방법에 대한 합의가 거의 이루어지지 않았습니다. 
Patients—and their role in education—have always been of interest to educators, even as those patient activities may or may not have been in the direct purview of those designing and implementing curricula. Recently, the ways that patients are involved in health professions education has become more formalized in programs identified as “patient engagement”. There is a growing body of literature that seeks to address pragmatic, theoretical, and ethical questions about practices of patient engagement in professional education. However, in common with other health care fields that are also pursuing patient engagement agendas, (e.g. patient engagement in health research, policy, or health service design), the body of literature of patient engagement in education has been critiqued as under-theorized and disproportionately weighted towards ideological statements rather than empirical evidence (Regan de Bere and Nunn 2016). The result is a disparate body of literature, conflicting advice as to the purpose of patient engagement, and little consensus about how to build knowledge in the field.

이러한 개념적 문제를 해결하기 위해 많은 문헌 검토가 시도되었습니다(Jha 외. 2009a, Livingston과 Cooper 2004, Repper와 Breeze 2007, Spencer 외. 2000, Towle 외. 2010, Wykurz와 Kelly 2002). 이러한 각 리뷰는 이 분야가 일관되지 않은 정의와 용어의 배열로 특징지어지기 때문에 문헌 검색 프로세스의 어려움을 지적했습니다(Towle 외. 2010). 이전의 문헌 검토에서는 환자 참여를 공식 교육 과정의 적어도 한 단계로 정확하게 정의함으로써 이러한 어려움을 현명하게 해결했습니다(Jha 외. 2009a, Towle 외. 2010).

  • 교육과정 의사 결정,
  • 교육 프로그램 설계,
  • 교육과정 전달,
  • 학습자 평가 및/또는 프로그램 평가에 환자(또는 가족 및/또는 간병인)가 참여하는 것으

이러한 방법론적 결정으로 인해 [교육에 대한 환자 참여의 효과]에 대한 중요한 종합 보고와 함께 [교사로서의 환자]에 초점을 맞춘 문헌 검토가 이루어졌습니다(Jha 외. 2009a, 2010; Towle 외. 2010; Wykurz와 Kelly 2002). 

A number of literature reviews have attempted to redress these conceptual problems (Jha et al. 2009a; Livingston and Cooper 2004; Repper and Breeze 2007; Spencer et al. 2000; Towle et al. 2010; Wykurz and Kelly 2002). Each of these reviews have noted the difficulty of the literature search process, as the field is characterized by an inconsistent array of definitions and terms (Towle et al. 2010). Previous literature reviews have sensibly addressed this difficulty by offering precise definitions of patient engagement as the involvement of patients (or their family members and/or caregivers) in at least one phase of the formal education process:

  • curricular decision making,
  • education program design,
  • delivery of curriculum,
  • assessment of learners and/or evaluation of programs (Jha et al. 2009a; Towle et al. 2010).

These methodological decisions have resulted in literature reviews focused on patients as teachers, with important syntheses reporting on the effectiveness of patient involvement in education (Jha et al. 2009a, 2010; Towle et al. 2010; Wykurz and Kelly 2002).

이러한 이전 검토에서 적용된 포함 및 제외 기준은 중요하고 방어할 수 있지만, [교사로서의 환자]에 초점을 맞추면 보건 전문직 교육에 대한 환자의 참여에 대한 대안적인 개념화가 필연적으로 모호해집니다. 그 결과, 보건 전문직 교육에 대한 환자 참여는 개념적으로 교사로서의 환자 참여라는 한 가지 가능한 환자 참여의 반복으로 축소되고, [환자가 지속적인 전문직 학습 과정에 참여하는 다른 방식]에 대한 맥락에서 제외됩니다. Bleakley(2014)가 말했듯이, 환자와 함께, 환자로부터, 환자에 대해 학습하는 과정을 전체 보건의료 전문직 교육 기업의 기초로 이해할 필요가 있습니다. 지금처럼 [교사로서 환자]라는 반복되는 역할에 초점을 맞추는 것은, 이러한 역할이 실제로 어떻게 제정될 수 있는지에 대한 정보를 제공할 수 있는 [풍부한 문헌을 고려하지 않은 채로 "새롭고 흥미로운 역할"(Stockhausen 2009)로 간주되는 반역사적 접근 방식]의 위험이 있습니다. 환자 참여 관행을 보건 전문직 학습에 대한 환자 참여에 대한 더 큰 논쟁과 딜레마의 맥락에 다시 넣음으로써 교육에서 환자 참여의 역할에 대한 새로운 통찰력을 얻을 수 있습니다. 이러한 인사이트는 현재 운영되고 있는 환자 참여 관행에 생산적으로 적용될 수 있을 뿐만 아니라 향후 교육 개혁, 특히 역량 기반 교육과 관련된 개혁에서 환자 참여에 대한 임박한 질문에도 적용될 수 있습니다.  

While the inclusion and exclusion criteria being applied in these previous reviews are both important and defensible, the focus on patients as teachers necessarily obfuscates alternative conceptualizations of patients’ involvement in health professions education. The result is that patient engagement in health professions education is conceptually reduced to just one possible iteration of patient involvement—patients as teachers—and is taken out of context of the other ways in which patients participate in processes of ongoing professional learning. As Bleakley (2014) puts it, there is a need to understand processes of learning with, from, and about patients as foundational to the entire health professions education enterprise. To focus on current iterations of patients as teachers risks an ahistorical approach, where recent iterations of patient engagement are taken to be “new and exciting roles” (Stockhausen 2009) that do not take into account the rich bodies of literature that could inform how these roles might actually be enacted. By putting patient engagement practices back into context of larger debates and dilemmas about patient involvement in health professions learning more broadly, new insight might be garnered about the role of patient engagement in education. This insight might be productively applied to practices of patient engagement as they currently operate, but also impending questions about patient involvement in future educational reforms, specifically reforms related to competency based education.

이 검토의 목적은 다양한 연구 전통에서 [시간이 지남에 따라 보건의료 전문직 교육에 대한 환자 참여 문제가 어떻게 고려되어 왔는지 종합하는 것]이었습니다. 우리는 환자 참여에 대한 관심을 [환자 참여engagement]에 국한하지 않고 교육에 대한 [환자 참여involvement]라는 더 넓은 개념에 초점을 맞추기로 했습니다. 특히, 우리는 보건 전문직 교육에 대한 환자 참여에 관한 광범위한 지식 기반에 기여하는 다양한 연구 전통 내의 논쟁과 딜레마에 중점을 두었습니다. 따라서 보건 전문직 문헌의 모든 환자 참여 관련 출판물을 포괄적으로 요약하는 것을 목표로 하지 않았습니다. 우리는 환자 참여 연구에 대한 다양한 접근 방식과 이러한 접근 방식에 영향을 주는 다양한 철학적 가정 및 세계관을 포함하여 의미 있는 종합을 생성했습니다. 
The objective of this review was to synthesize how questions of patient involvement in health professions education have been considered over time across various research traditions. We have chosen to focus on the broader concept of patient involvement in education, rather than restricting our interest to patient engagement. In particular, our focus was on the debates and dilemmas within the various research traditions that contribute a broader base of knowledge regarding patient involvement in health professions education. In this way, we did not aim to generate a comprehensive summation of all the patient involvement publications in the health professions literature. We generated a meaningful synthesis of various approaches taken to the study of patient involvement, including the various philosophical assumptions and world views that inform these approaches.

이 종합은 메타 내러티브 검토 프로세스를 사용하여 수행되었습니다(Greenhalgh 외. 2004, 2005, 2009; Wong 외. 2013). 메타 내러티브 검토의 근거는 아래에 자세히 설명되어 있습니다. 이 논문에서는 보건 전문직 교육에 대한 환자 참여와 관련된 세 가지 연구 활동의 동시적 흐름을 강조하는 연구 결과를 보고하고, 이러한 활동 흐름 사이의 다양한 긴장에 대해 논의합니다. 이 특별한 검토의 고유한 기여는 보건 전문직 교육에서 환자 참여와 관련된 연구 활동에 대한 비판적이고 해석적인 관점을 추가한 것입니다. 메타 내러티브 리뷰는 비교적 새로운 형태의 지식 종합이므로 분석을 제시하기 전에 그 방법론을 자세히 설명하고 설명하겠습니다.

The synthesis was conducted using a meta-narrative review process (Greenhalgh et al. 2004, 2005, 2009; Wong et al. 2013). The rationale for the meta-narrative review is described in more detail below. In this paper, we report on our findings—highlighting three concurrent streams of research activity related to patient involvement in health professions education—and we discuss the various tensions between these streams of activity. The unique contribution of this particular review is the addition of a critical and interpretive perspective of the research activity related to patient involvement in health profession education. As meta-narrative reviews are relatively new forms of knowledge synthesis, we will describe and explain its methodology in detail prior to presenting our analysis.

방법론: 지식 종합으로서의 메타 내러티브 리뷰
Methodology: meta-narrative review as knowledge synthesis

메타 내러티브 리뷰는 [서로 다른 연구자 그룹에 의해 서로 다르게 개념화되고 검토된 주제]를 위해 특별히 고안되었습니다(Wong et al. 2013). 2004년에 Greenhalgh 등이 개발한 메타 내러티브 리뷰는 연구 결과가 어떻게 생산되는지에 초점을 맞추고 있습니다(Greenhalgh 등 2005). 2004년부터 메타 내러티브 접근법은 아래 등을 조사하는 데 생산적으로 사용되어 왔습니다. 

  • 커뮤니티의 구성(Jamal 외. 2013),
  • 전자 환자 기록 연구의 역설과 긴장(Greenhalgh 외. 2009),
  • 서비스 조직에서 혁신의 확산(Greenhalgh 외. 2004) 

The meta-narrative review is designed specifically for topics that have been differently conceptualized and examined by different groups of researchers (Wong et al. 2013). Developed by Greenhalgh et al. in 2004 (Greenhalgh et al. 2005), the focus of meta-narrative reviews is on how research findings are produced (Gough 2013). Since 2004, meta-narrative approaches have been productively used to examine (among other things)

  • the constructs of community (Jamal et al. 2013),
  • the paradoxes and tensions in electronic patient records research (Greenhalgh et al. 2009), and
  • the diffusion of innovations in service organizations (Greenhalgh et al. 2004).

메타 내러티브 검토는 개인이 [상충하는 문헌을 이해하는 데 도움을 주기 위한 실용적인 목표]를 가지고 있습니다(Wong 외. 2013). 메타 내러티브 리뷰는 [특정 주제에 대한 지식]이 [연구 전통 내]에서 그리고 [여러 연구 전통에 걸쳐] 어떻게 발전해 왔는지에 관한 것입니다(Greenhalgh et al. 2005). 이는 보건 전문직 교육에 대한 환자 참여에 관한 기존의 모든 증거를 목록화하는 것과는 다릅니다. 대신, 이러한 형태의 지식 종합은 해당 학문 분야를 구성하는 다양한 전통에 존재하는 역사, 기본 가정, 주요 연구 결과와 관련이 있습니다. 여기서 [연구 전통]은 [공유된 가정]과 [선호되는 방법론]을 통해 연결된 일련의 연결된 연구로 간주됩니다(Wong et al. 2013). 메타 내러티브 검토는 다음을 역사적으로 살펴봅니다(Wong et al. 2013).

  • [특정 연구 전통이 시간이 지남에 따라 어떻게 전개되어 왔는지],
  • 이러한 [전통이 제기되는 질문의 종류]를 어떻게 형성했는지
  • 이러한 [질문에 답하는 데 사용되는 방법]은 무엇인지

따라서 메타 내러티브 리뷰의 결과물은

  • 아이디어의 다단계 구성의 지도이며
  • 이러한 아이디어가 주제에 대해 알 수 있는 것에 어떤 영향을 미쳤는지에 대한 지도이다.

A meta-narrative review has a pragmatic goal, intended to help individuals make sense of a conflicting body of literature (Wong et al. 2013). A meta-narrative review is concerned with how knowledge of a particular topic has been developed within and across research traditions (Greenhalgh et al. 2005). This is distinct from cataloging all the existing evidence about patient involvement in health professions education. Instead, this form of knowledge synthesis is concerned with the history, guiding assumptions, and key findings that exist within the different traditions that comprise the scholarly field. Here, a research tradition is considered to be a series of linked studies that are connected through shared assumptions and preferred methodologies (Wong et al. 2013). A meta-narrative review looks historically at

  • how particular research traditions have unfolded over time,
  • how these traditions have shaped the kinds of questions being asked, and
  • the methods that are used to answer those questions (Wong et al. 2013).

Thus, the outputs of meta-narrative reviews are

  • maps of multi-level configurations of ideas and
  • how these ideas have influenced what can be known about a topic.

메타 내러티브 검토는 두 가지 이유로 선택한 방법론이었습니다. 

  • 첫째, 이 연구의 초기 단계부터 여러 연구팀이 서로 다른 방식으로 이 주제를 개념화하고 연구하고 분석했음을 알 수 있었습니다. 
  • 둘째, 우리의 주요 목표는 여러 분야에 걸친 상충되는 문헌을 이해하고 이러한 분야가 서로에게 어떤 영향을 미쳤는지 살펴보는 것이었습니다. 

환자 참여를 역사적, 정치적, 사회적 담론에 내재된 사회적 혁신으로 이해할 필요가 있고 메타 내러티브 검토에 관한 국제 RAMESES 가이드라인(Wong 외. 2013)에 따라 메타 내러티브 검토를 방법론으로 선택했습니다. 메타 내러티브 검토에 참여하면서 우리는 잠재적인 개념적 긴장을 강조하고 이러한 긴장이 보건 전문직 교육 분야에서 환자 참여가 어떻게 계속 실행되고 연구될 수 있는지에 대한 함의를 해석하여 비판적인 종합을 제공하고자 했습니다.
Meta-narrative review was our methodology of choice for two reasons.

  • First, from an early stage in this study it was evident that different research teams had conceptualized, studied and analyzed the topic in different ways.
  • Second, our primary aim was to make sense of a conflicting literature that spanned many fields, and also look at how these fields have influenced one another.

Given the need to understand patient involvement as a social innovation embedded in historical, political, and societal discourses, and following the international RAMESES guidelines on meta-narrative reviews (Wong et al. 2013), the meta-narrative review was selected as the methodology of choice. In engaging in a meta-narrative review, we sought to offer a critical synthesis, highlighting potential conceptual tensions and interpreting the implications of these tensions for how patient engagement might continue to be practiced and researched in the health professions education field.

메타 내러티브 검토의 방법론을 채택할 때, 우리는 Greenhalgh 외(2005)가 처음 소개하고 나중에 메타 내러티브 검토를 위한 RAMES 출판 표준에 요약된 6가지 지침 원칙을 따랐습니다(Wong 외. 2013). 이러한 원칙에는 실용주의, 다원주의, 역사성, 논쟁, 반성성, 동료 검토가 포함됩니다.
In taking up the methodology of meta-narrative review, we also ascribed to the six guiding principles first introduced by Greenhalgh et al. (2005) and later summarized in the RAMESES publication standards for meta-narrative reviews (Wong et al. 2013). These principles include: pragmatism, pluralism, historicity, contestation, reflexivity, and peer review.

수집 절차 및 분석 전략
Collection procedures and analytical strategy

이 지식 종합의 절차는 RAMES에서 발표한 가이드라인을 따르며, (1) 아카이브 수집, (2) 분석, (3) 고차 개념 간의 교차점 해석이라는 세 가지 주요 단계를 통해 발전했습니다. 이러한 단계는 선형적인 순서로 제시되어 있지만, 분석 단계를 통해 아카이브의 추가 개발이 필요함을 알 수 있고, 고차 개념 간의 해석을 통해 추가 분석의 필요성을 알 수 있는 등 단계 간에 많은 중복과 상호 연결이 있었습니다. 그림 1은 포함된 텍스트의 1차 아카이브에 대한 수집, 선별 및 분석 과정을 보여줍니다. 검색 과정과 결과 분석 절차는 동료 검토의 기본 원칙에 따라 검토에 참여하도록 초청된 전문가 자문위원회와의 지속적인 협의를 통해 결정되었습니다. 자문위원회에는 환자, 보건 전문직 교육자, 사회과학 연구자가 포함되었습니다. 
The procedures for this knowledge synthesis follow the guidelines published by RAMESES and evolved through three main phases: (1) collecting the archive, (2) analysis, and (3) interpreting intersections between higher order concepts. While these phases are presented in linear order, there was much overlap and interconnection between the phases such that stages of analysis informed the need for further development of the archive, interpretation between higher order concepts pointed towards the needs for further analysis and so on. Figure 1 displays the process of collection, screening, and analysis of the primary archive of texts included. The search process and resulting analytical procedures were informed through ongoing consultations with an expert advisory council that had been invited to participate in the review, adhering to the guiding principle of peer review. Members of the advisory council included patients, health professions educators, and social science researchers.

 

제외 기준은 실용주의 원칙, 즉 의도된 청중에게 가장 유용하고 이해도를 높일 가능성이 가장 높은 내용을 중심으로 검토해야 한다는 원칙에 따라 결정되었습니다(Wong et al. 2013). 이 검토에서는 임상 치료의 순간에 환자의 참여에만 관심이 있고 학습 또는 교육과 관련하여 명시적으로 연결 및/또는 이론화되지 않은 출처는 제외했습니다. 이 검토를 포함하기 위해 환자 교육 개발 시 환자 참여와 관련된 문헌도 포함하지 않았습니다. 그러나 방법론적 엄격성에 대한 분석에 따라 출처를 제외하지는 않았습니다. 저희는 여러 전통에 걸친 증거를 목록화하기보다는 어떤 종류의 주장이 가능한지에 더 중점을 두었습니다. 따라서 특정 분야에서 영향력이 있는 것으로 간주되는 출처는 특정 사고 방식을 보여주는 것으로 데이터 세트에 포함시켰습니다. 그 결과, 데이터 세트에 포함된 출처 중 일부는 해당 분야 내에서 논쟁의 여지가 있을 수 있습니다. 이러한 논쟁도 흥미롭습니다. 
Our exclusion criteria were informed by the principle of pragmatism, namely that the review should be guided by what will be most useful to the intended audience(s), and what is most likely to promote sense-making (Wong et al. 2013). For this review, we excluded sources that were solely concerned with patient engagement in moments of clinical care and were not explicitly linked and/or theorized in relation to learning or education. For the purposes of containing this review, we also did not engage with the literature that is concerned with patient involvement in developing patient education. However, we did not choose to exclude sources based on an analysis of their methodological rigor. Our concern was less with cataloguing evidence across traditions, and more focused on what kinds of claims were possible to say at all. As such, if a source was considered to be influential within a particular field, it was included in our dataset as display of a particular way of thinking. The result may be that some of the sources included in our dataset may be contested within their own field. Those contestations are also of interest.

연구 초기에는 이 검토를 의학과 간호 등 한두 가지 의료 전문직으로 제한할지 여부도 고려했습니다. 하지만 전문직 간 교육 분야에서 환자 참여가 보편화되고 있다는 점을 고려하여 검색 전략을 전문직별로 제한하지 않기로 결정했습니다. 이 결정은 보건 전문직 교육 분야 전반에 걸쳐 어느 정도 의미 있는 결정을 내릴 수 있게 해주었지만, 원고의 한계 섹션에서 다룬 다른 개념적 딜레마를 야기했습니다. 
Early in the study, we also considered whether we should limit this review to one or two health professions, namely medicine and nursing. Given the prevalence of patient involvement that is emerging in the field of interprofessional education, we chose to not limit our search strategy by profession. While this decision allowed a certain kind of sense-making across the field of health professions education, it introduced other conceptual dilemmas that we address in the Limitations section of the manuscript.

초기 데이터 수집에는 비공식적 및 공식적 검색 전략이 혼합되어 사용되었습니다. 2016년 9월부터 핵심 연구팀과 자문 위원회가 식별한 용어를 사용하여 Medline, PsycINFO, CINAHL, ERIC, 젠더 연구 데이터베이스, 사회학 초록, 미국 역사와 생활에 대한 초기 검색을 수행했으며, 각 데이터베이스의 주제 제목과 도구를 활용하여 관련성이 가장 높은 인용에 집중했습니다. 표 1은 초기 공식 검색에 사용된 검색어에 대한 개략적인 요약이며, 각 데이터베이스에 따라 다양하게 조정되었습니다. 제목과 초록의 관련성에 대한 초기 선별은 연구팀원 두 명(PR 및 SM)이 수행했습니다. 이 초기 선별 작업 이후, 두 명의 연구원이 주제별 클러스터를 만들어 나머지 아카이브를 정리했습니다(표 2 참조). 이 클러스터는 나머지 연구팀원들과의 지속적인 토론과 협업, 자문위원회의 자문을 통해 만들어졌습니다. 주제별 클러스터에 대한 합의에 따라 연구팀의 각 구성원(PR, SM, AKK, VS, SL)이 하나의 클러스터를 주도적으로 이끌었습니다. 정보 전문가(MA)와 협력하여 각 구성원은 특정 주제 클러스터를 정교화하거나 정보를 제공하거나 복잡하게 만드는 소스를 계속 검색, 요약 및 분석했습니다. 포함된 각 출처의 데이터 추상화에는 저자, 연도, 출판 장소, 주요 주장, 인용된 이론가/주요 출처 등이 포함되었습니다. 이 단계의 일환으로 각 수석 팀원은 주요 연구자, 중요하고 많이 인용되는 출처, 자주 함께 출판하는 저자를 파악했습니다. 이 작업은 검색어와 주요 출처에 대한 조언을 제공한 전문가 자문 패널의 자문과 함께 이루어졌습니다. 연결은 역사성 원칙에 따라 시간 경과에 따라 매핑되었습니다. 이러한 방식으로 다양한 연구 흐름을 만들어내는 주요 학술 커뮤니티를 밝혀내기 시작했습니다. 새로운 용어와 저자가 확인되면 추가 검색을 수행했습니다. 표 1에는 이러한 추가 검색어가 요약되어 있습니다. 

Initial data collection included a mix of informal and formal search strategies. Starting in September of 2016, initial rounds of searches of Medline, PsycINFO, CINAHL, ERIC, Gender Studies Database, social studies abstracts and America history and life were performed using terms identified by the core research team and the advisory council, making use of the subject headings and tools available in each database to focus on the citations most likely to be relevant. Table 1 provides a high-level summary of the search terms used in the initial formal search, with various adaptions made for each database. Initial screening of titles and abstracts for relevance was conducted by two members of the research team (PR and SM). Following this initial screening, two of the investigators created thematic clusters to organize the remaining archive (see Table 2). These clusters were created through ongoing discussion and collaboration with the rest of the research team, and through consultation with the advisory council. Following consensus on the thematic clusters, each member of the research team (PR, SM, AKK, VS, SL) took leadership of a single cluster. In collaboration with the information specialist (MA), each member continued to search, summarize, and analyze sources that elaborated, informed, or complicated their particular thematic cluster. Data abstraction from each included source included: author(s), year, place of publication, main claims being made, and theorists/key sources cited. As part of this phase, each lead team member identified key researchers, seminal/highly cited sources, and authors that frequently published together. This was done in consultation with members of an Expert Advisory Panel who also provided advice on search terms and key sources. The connections were mapped out over time, following the principle of historicity. In this way, we started to elucidate key scholarly communities producing a range of research streams. Additional searches were performed as new terms and authors were identified. Table 1 summarizes these additional search terms.

 

검토를 진행하면서 '나 없이는 아무것도 없다'라는 문구가 역사적으로나 현재적으로 매우 중요한 의미를 지니고 있다는 사실을 알게 되었습니다. 따라서 우리는 이 문구를 역사적 맥락에 배치하기 위해 검색을 확장했습니다. Google Ngram과 Google 북스를 사용하여 '나 없이는 아무것도 없다'라는 문구를 시간 경과에 따라 추적했습니다. "나 없이는 나에 대해 아무것도 없다"에 대한 공식 데이터베이스 검색과 변형된 검색도 Embase, PsycINFO, Medline 및 ERIC에서 수행했습니다. 마지막으로 핵심 저자가 작성했거나 핵심 연구팀이 확인한 주요 논문을 인용한 논문을 찾기 위해 Web of Science를 사용했습니다. Greenhalgh와 Peacock(2005)의 의견에 동의하여, 우리는 공식 데이터베이스가 아닌 스노우볼링, 참고 문헌 목록 확인, 인용 검색을 통해 가장 유익한 검색 결과를 얻을 수 있었습니다. 
As the review unfolded, it became clear that the phrase “nothing about me without me” had a great deal of historical and current salience. We therefore extended our search to help place the phrase in historical context. We used Google Ngram and Google Books to help track the phrase “nothing about me without me” over time. Formal database searches for “nothing about me without me” and variations were also performed in Embase, PsycINFO, Medline and ERIC. Finally, Web of Science was used to locate articles which were either written by key authors or which had cited key papers identified by the core research team. In agreement with Greenhalgh and Peacock (2005), we found our most fruitful searches were not in the formal databases, but were through snowballing, checking references lists, and citation searching.

한 해 동안 연구팀은 여러 차례 분석 세션을 가졌습니다. 데이터 세트 전반에 걸쳐 다양한 개념, 연구 설계, 주장이 제기되었기 때문에 [통계적 분석 전략]보다는 [내러티브 분석 전략]을 사용했습니다. 다양한 연구 전통을 포함하기로 한 이러한 결정은 [다원주의 원칙]에 부합하는 것입니다. 분석 세션을 통해 다양한 연구 커뮤니티의 경계를 파악했습니다. [논쟁이라는 기본 원칙]에 따라 분석 세션을 통해 다양한 커뮤니티 간의 연결과 경합, 합의의 주요 대상, 각 커뮤니티에서 지속되고 있는 다양한 논쟁을 강조하는 데 사용했습니다. 이러한 방식으로 네 가지 주제별 흐름은 해석의 시작점을 제공했습니다. 
Over the course of the year, our research team met for several analysis sessions. Given the diversity of concepts, research designs, and claims being made across the dataset, we engaged in narrative, rather than statistical analytical strategies. This decision to include multiple research traditions is consistent with the principle of pluralism. Through our analytical sessions, we identified the boundaries of various research communities. Informed by the guiding principle of contestation, we used our analytical sessions to highlight connections and contentions between these various communities, key objects of consensus and various enduring debates occupying each of these communities. In this way, the four thematic streams provided an entry point into our interpretation.

이러한 매핑과 해석의 층위에서 우리는 보건 전문직 교육에 대한 환자 참여 분야를 구성하는 다양한 메타 내러티브를 설명하기 위해 상위 개념과 이러한 개념을 뒷받침하는 연구 전통을 명확히 표현하기 시작했습니다. 따라서 여기에는 문헌의 주제(예: 내러티브 의학, 병상 학습, "나 없이는 나에 대해 아무것도 없다", 표준화된 환자로서의 실제 환자)에서 중요한 패러다임 수준에서 작동하는 [메타 내러티브로 이동하는 추가적인 해석적 조작]이 필요했습니다. 
From this layer of mapping and interpretation, we began to articulate the higher order concepts—and the research traditions enlivening these concepts—as an explication of various meta-narratives comprising the field of patient involvement in health professions education. Thus, this involved a further interpretive maneuver, moving from themes in the literature (i.e. narrative medicine, bedside learning, “nothing about me without me”, and real patients as standardized patients) to meta-narratives that operate at the level of overarching paradigms.

각 주제에 담긴 개념과 결론은 이러한 메타 내러티브의 맥락에 배치되었습니다. 따라서 우리의 종합 전략은 높은 수준의 추상화에서 작동했으며  다음을 검토해야 했습니다(Wong et al. 2013). 

  • (a) 기본 개념 및 이론적 가정의 공통점, 
  • (b) 기본 개념 및 이론적 가정의 차이점, 
  • (c) 다양한 패러다임 간의 상호 작용과 긴장, 
  • (d) 다양한 패러다임에 걸친 패턴 탐색

이러한 높은 수준의 추상화는 필연적으로 각 주제를 구성하는 뉘앙스의 일부를 잃게 하지만, 다른 방법으로는 불가능했던 방식으로 문헌을 개념적으로 연결할 수 있게 해주었습니다.

Concepts and conclusions held within each of the themes were put into context of these meta-narratives. Thus, our synthesis strategy operated at a high level of abstraction and required us to examine:

  • (a) commonalities in underlying conceptual and theoretical assumptions,
  • (b) differences across underlying conceptual and theoretical assumptions,
  • (c) interplay and tensions between various paradigms, and
  • (d) exploring patterns that span across various paradigms (Wong et al. 2013).

This high level of abstraction necessarily loses some of the nuance that occupies each theme, but allowed us to put bodies of literature into conceptual contact in a way that would not have been otherwise possible.

이 과정에서 우리는 연구자로서 우리 자신의 입장에 대해 반성했습니다. 주 저자는 다른 분야에서 환자 참여의 구조를 탐구해 온 조직학 학자입니다. 두 명의 구성원은 특히 내러티브 개념과 건강 멘토의 환자 역할을 활용하여 수년 동안 보건 전문직 교육 프로그램에서 환자 참여를 개발하고 실행해 왔습니다. 두 명은 보건 전문직 학생이었습니다. 한 명은 만성 질환, 장애를 앓고 있으며 다양한 자문 및/또는 옹호 단체에서 환자로 자원봉사를 한 경험이 있습니다. 마지막으로 정보 전문가가 연구팀의 핵심 멤버였습니다. 협업을 통해 우리는 환자 참여에 대한 우리만의 가정(환자 참여의 의미, 관심의 이유, 환자 참여가 '어떻게' 이루어져야 하는지, 어떻게 연구되어야 하는지)을 명시적으로 제시해야 했습니다. 예를 들어, 가장 유익한 분석적 결정 중 하나는 데이터 수집의 일부로 '적극적 대 소극적 환자 참여'에 대한 가정을 포함/제외 기준으로 삼지 않고, 대신 이 이분법을 해석적으로 접근하는 것이었습니다: 고려 중인 학계에서는 적극적 대 소극적 환자 참여라는 이분법을 어떻게 다루고 있을까요? 해석의 마지막 단계는 이 원고를 작성하는 것이었습니다. 즉, 우리가 집중할 메타 내러티브를 선택하고, 어떤 긴장을 조명하고, 단어의 제한을 고려할 때 어느 정도 깊이까지 다룰지 선택해야 했습니다.

Throughout the process, we were reflexive about our own position as researchers. The lead author is an organizational studies scholar who has explored constructs of patient engagement in other fields. Two members have spent many years developing and implementing patient engagement in health professions education programs, particularly making use of concepts of narrative and the patient role of Health Mentor. Two members were health professions students. One member also has experience of chronic illness, disability, and has volunteered as patient in various advisory and/or advocacy groups. Finally, our information specialist was a core member of the research team. Through our collaboration, we were required to make explicit our own assumptions about patient involvement (what it meant, why it was of interest, how it “should” be done, how it should be researched). For instance, one of our most fruitful analytical decisions was to release our assumptions about “active versus passive patient involvement” as an inclusion/exclusion criteria as part of the data collection, and instead engage with this dichotomy interpretively: how do the scholarly communities under consideration deal with this dichotomy of active versus passive patient involvement? Our final step of interpretation was to produce this manuscript. By this we mean that we were required to choose meta-narratives to focus on, which tensions to illuminate, and to what depth given the word limits available to us.

주요 결과: 의료 전문직 교육에 대한 환자 참여의 동시적 구축
Main findings: concurrent constructions of patient involvement in health professions education

캐나다의 저명한 의학교육자인 윌리엄 오슬러는 의료 전문직 교육에 대한 환자 참여와 관련된 모든 학계에서 두드러진 활약을 펼쳤습니다. 특히 뉴욕의 의학 아카데미에서 행한 그의 유명한 연설은 자주 인용되었는데, 그는 다음과 같이 선언했습니다: "의학 및 외과 분야의 후배 학생에게는 환자 없이 텍스트를 가르치지 않는 것이 안전한 규칙이며, 가장 좋은 가르침은 환자가 직접 가르치는 것입니다."(Towle and Godolphin 2011, 496쪽에서 인용). 그러나 이후 연구자와 교육자가 이 선언을 받아들이는 방식과 이와 관련하여 개발된 프로그램 및 기관은 모두 [학계 간의 차이]를 반영합니다. 다음 섹션에서는 보건의료 전문직 교육에 대한 환자 참여가 학문 분야와 연구 전통에 따라 이해되는 방식 중 세 가지에 대해서만 설명하겠습니다. 이 과정을 통해 다음을 살펴볼 것입니다.

  • (a) '환자' 개념의 구성,
  • (b) 보건 전문직 교육에 환자가 참여해야 하는 이유,
  • (c) 해당 분야의 지식 창출과 관련된 연구 전통

William Osler, the well-known Canadian medical educator, featured prominently in all scholarly communities concerned with patient involvement in health professions education. In particular, his famous address to the Academy of Medicine in New York was frequently cited, where he declared: “for the junior student in medicine and surgery, it is a safe rule to have no teaching without a patient for a text, and the best teaching is that taught by the patient himself” (cited in Towle and Godolphin 2011, p. 496). However, the ways in which researchers and educators subsequently took up that declaration—and the programs and institutions developed in association with those constructions—all reflect distinctions between scholarly communities. In the following section, we will demarcate just three of the ways in which patient involvement in health professions education is understood across academic disciplines and research traditions. Through the process, we will explore:

  • (a) constructions of the notion of “patient”,
  • (b) rationales for patient involvement in health professions education, and
  • (c) research traditions associated with generating knowledge in the field.

이를 통해 각 학계에서 벌어지고 있는 다양한 논쟁과 딜레마를 조명할 것입니다. 
Throughout, we will highlight various debates and dilemmas occupying each of the scholarly communities.

'참여된 환자'의 출현으로서의 환자 참여: 민주적이고 해방적인 근거
Patient involvement as emergence of the “engaged patient”: democratic and emancipatory rationales

2011년에 Towle과 Godolphin은 [환자 참여]의 정의를 [교육 과정의 설계, 제공 및/또는 평가에 적극적으로 참여하는 것]으로 사용하여 보건 전문직 문헌에서 환자 참여를 유용하게 종합했습니다. 이 종합을 통해 앞서 [참여의 타임라인]을 제시했습니다.

  • 언급한 오슬러의 유명한 선언에서 시작하여
  • 1970년대에 '임상 교육 보조원(CTA)'으로 발전하고,
  • 1990년대에 환자 참여에 대한 보다 정치적으로 적극적인 역할로 이어졌으며,
  • 최근에는 환자 전문성이 생의학 모델을 넘어 보건 전문직 교육을 발전시키는 데 도움이 되는 정당한 지식의 원천으로 인정받으면서 절정에 이르렀다.

우리의 종합은 비슷한 시기를 중심으로 이루어졌으며, 우리는 이를 "참여된 환자의 출현"이라고 명명했습니다.
In 2011, Towle and Godolphin usefully synthesized patient engagement in health professions literature, using the definition of patient engagement as active engagement in the design, delivery, and/or evaluation of curriculum. Through their synthesis, they presented a timeline of engagement,

  • originating in Osler’s aforementioned famous declaration,
  • evolving into “clinical teaching associates” (CTAs) in the 1970s,
  • followed by a more politically active role for patient involvement in the 1990s, and
  • culminating in a recent recognition of patient expertise as a legitimate source of knowledge that serves to move health professions education beyond the biomedical model.

Our synthesis distilled around a similar timeline, which we have labelled as “the emergence of the engaged patient”.

이 작업에서 참여된 환자는 특별한 의미를 가졌습니다.

  • 첫째, 누구를 ['진짜' 환자]로 정의할 것인지에 대해 많은 논의가 있었습니다. [실제 환자]는 표현하고자 하는 질병 및/또는 상태를 직접 경험한 사람]으로 간주했습니다. 실제로 겪지 않은 증상이나 상태를 표현하기 위해 환자 역할극을 하는 사람은 "실제" 환자로 간주되지 않았으므로 이 범주에서 제외되었습니다(Towle 외. 2010). 따라서 [환자]와 [일반 대중] 사이에는 차이가 있었습니다. 또한, 이 연구 커뮤니티에서는 실제 환자가 "전문적인 가치 체계의 제약을 받지 않고 영향을 받지 않는"(O'Neill 외. 2006, 27쪽) [의료 전문가가 배제되는 경우]가 많았습니다.
  • 둘째, 특정 질병 경험을 배제하기 위한 명백한 정의는 없었지만, 이 작업의 대부분은 만성 질환 문헌에서 자리 잡은 "전문가 환자"라는 개념(Muir and Laxton 2012; O'Neill 외 2006; Skog 외 2000; Towle and Godolphin 2011)과 [비판적 장애 연구][정신 건강 운동]의 "나 없이는 아무것도 없다"는 외침(Beecham 2005; Bollard 외 2012; Charlton 1998)에 기반하고 있었습니다. 만성 질환과 환자 전문성이 강조되면서 [급성 질환]을 경험하고 이후 완치된 환자를 '교사로서의 환자'로 간주할 수 있는지 여부가 명확하지 않았습니다. 이 구분은 이 원고의 뒷부분에서 논의하는 환자 참여에 대한 다른 이해와 대비되는 지점이 되기 때문에 주목합니다.

In this body of work, the engaged patient took on particular meaning.

  • First, there was much discussion about who to define as a “real” patient. Real patients were considered to be those that have direct lived experience with the illness and/or condition they sought to display. People who role-play patients to express symptoms or conditions they do not actually have were not considered “real” patients and thus excluded from this category (Towle et al. 2010). Thus, there was a distinction between patients and general members of the public. Further, in this research community, health professionals were often excluded, where real patients “are not constrained and influenced by professional value systems” (O’Neill et al. 2006, p. 27).
  • Second, while there were no overt definitions that served to exclude particular illness experiences, much of this body of work was anchored in notions of “expert patients” that have taken hold within the chronic illness literature (Muir and Laxton 2012; O’Neill et al. 2006; Skog et al. 2000; Towle and Godolphin 2011) and the “nothing about me without me” rallying cry of critical disability studies and mental health movements (Beecham 2005; Bollard et al. 2012; Charlton 1998). With the strong emphasis on chronic illness and patient expertise, it was not clear whether patients who had experienced acute illnesses that had subsequently resolved would be considered as “patients as teachers”. We draw attention to this demarcation, as it serves as a point of contrast to an alternate understanding of patient involvement discussed later in this manuscript.

이러한 작업은 보건 전문직 교육에 대한 [환자 참여에 대한 민주적 근거]의 영향을 강하게 받습니다. 여기서 [환자 참여][환자가 자신의 신체와 경험에 대해 가르칠 수 있는 권리]로 정의되었습니다(Beadle 외. 2012; Jha 외. 2010; Robertson 외. 2003; Silverman 외. 2012). 이는 미래의 의료 직업을 형성할 교육 우선순위에 의미 있는 영향을 미칠 수 있는 권리로 발전했습니다(Towle and Godolphin 2011). 때때로 이러한 근거는 [교육 과정의 의사 결정권을 환자에게 이전]하거나 [교육자에서 환자로 권력을 이양하는 역할 모델]을 통해 의료 전문가 간의 기존 권력 관계를 파괴하려는 [해방적인 어조]를 띠기도 했습니다(Beecham 2005). 자주 인용되는 이론가로는 브라질의 교육자이자 철학자로 [비판적 교육학] 및 사회에서의 해방적 잠재력에 관심을 가진 것으로 유명한 파울로 프리에르(Paulo Friere)가 있습니다(Gutman 외. 2012; O'Neill 외. 2006). 또한, 이 연구에서 아른슈타인의 지역사회 참여 사다리에 대한 언급이 있었습니다(Beadle 외. 2012; McKeown 외. 2012). 원래 1960년대와 1970년대에 기존의 지역사회 참여 형태를 비판하기 위해 개발된 이 사다리는(Arnstein 1969), [의사결정 권한을 지역사회 구성원 스스로에게 부여하는 것을 특징]으로 하는 [더 높은 수준의 참여]를 권장합니다. 보건 전문직 교육의 맥락에 대입하면, [참여의 사다리를 올라간다는 것]은 [커리큘럼에 대한 의사 결정 권한]이 [교수진의 영역에만 머무르지 않고 환자에게로 확대된다는 것]을 의미합니다.
This body of work is strongly influenced by democratic rationales for patient engagement in health professions education. Here, patient engagement was framed as the right of patients to teach about their own bodies and experiences (Beadle et al. 2012; Jha et al. 2010; Robertson et al. 2003; Silverman et al. 2012). This was further translated into the right to meaningfully influence educational priorities that will shape health professions of the future (Towle and Godolphin 2011). At times, this rationale took on an emancipatory tone, explicitly attempting to disrupt existing power relationships between health professionals through shifting curricular decision-making power to patients and/or role-modelling the abdication of power from educators to patients (Beecham 2005). Frequently cited theorists included Paulo Friere (Gutman et al. 2012; O’Neill et al. 2006), a Brazilian educator and philosopher famously concerned with critical pedagogies and their emancipatory potentials in society. Further, it was only in this body of work that there was reference to Arnstein’s ladder of community engagement (Beadle et al. 2012; McKeown et al. 2012). Originally developed to critique existing forms of community engagement in the 1960s and 1970s (Arnstein 1969), this ladder recommends higher levels of engagement characterized by increased power for decision-making being placed in the domain of community members themselves. Translated into the context of health professions education, moving up the ladder of engagement implies increased powers of curricular decision making allocated to patients, rather than remaining exclusively in the domain of faculty members.

이 분야에서 벌어지는 논쟁과 딜레마는 이러한 [민주적이고 해방적인 이상]을 반영합니다. 따라서 연구자와 교육자들은 환자 대표성, 진정한(토큰주의가 아닌) 참여, 환자에게 제공되는 의사 결정의 양 결정, 이러한 참여 기회에 대한 환자의 경험에 관한 문제에 관심을 갖고 있습니다(McKeown 외. 2012; Rowland와 Kumagai 2018; Towle 외. 2010; Towle과 Godolphin 2011, 2015; Vail 외. 1996).

  • 연구자들은 [환자 참여에 대한 학습자 경험]에도 관심을 가졌지만, 이러한 학습자 경험은 학습자의 경험에 대한 즐거움, 의료 전문가의 공감 수준에 미치는 영향 및/또는 학습자의 임상 기술 습득에 미치는 영향 측면에서 고려되는 경향이 있었습니다(Arenson 외 2012; Duggan 외 2010; Graham 외 2014; Hope 외 2007; Iezzoni and Long-Bellil 2012; Kumagai 2008).
  • 다른 관심사로는 환자가 경험하는 치료 효과(McCreaddie 2002), 환자에 대한 보상의 윤리(Bollard 외. 2012), 다양한 장애를 겪고 있는 환자를 포함할 때의 현실적인 딜레마(Hope 외. 2007) 등이 있습니다. 이러한 작업은 [비판적 및 해석적 접근에 중점을 둔 질적 방법론]을 통해 제정되는 경향이 있었습니다.
  • 환자가 교육자와 함께 출판물을 공동 저술한 증거가 있는 것은 이 작업의 결과물뿐이었습니다(Agrawal 및 Edwards 2013 참조). 

The debates and dilemmas occupying this body of work reflect these democratic and emancipatory ideals. Thus, researchers and educators are concerned with questions of patient representation, authentic (as opposed to tokenistic) engagement, determining the amount of decision making afforded to patients, and patients’ experiences of these engagement opportunities (McKeown et al. 2012; Rowland and Kumagai 2018; Towle et al. 2010; Towle and Godolphin 2011, 2015; Vail et al. 1996).

  • While researchers were also concerned with the learner experience of patient engagement, this learner experience tended be considered in terms of either the learner’s enjoyment of the experience, the effects on health professionals’ level of empathy and/or impact on learners’ acquisition of clinical skills (Arenson et al. 2012; Duggan et al. 2010; Graham et al. 2014; Hope et al. 2007; Iezzoni and Long-Bellil 2012; Kumagai 2008).
  • Other matters of concern included the therapeutic benefits experienced by patients (McCreaddie 2002), the ethics of compensation for patients (Bollard et al. 2012), and the practical dilemmas of including patients who are experiencing various impairments (Hope et al. 2007). This body of work tended to be enacted through qualitative methodologies, with an emphasis on critical and/or interpretive approaches.
  • It was only in this body of work where there was evidence of patients co-authoring publications with educators (see Agrawal and Edwards 2013).

환자 참여, "실제 환자", 표준화된 환자: 기술주의적 근거
Patient involvement, “real patients”, and standardized patients: technocratic rationales

'참여된 환자'와 관련된 업무와 '표준화된 환자로서의 실제 환자'와 관련된 업무 사이에는 많은 부분이 겹칩니다. "표준화된 환자로서의 실제 환자"라는 문구를 풀이하기는 다소 어렵습니다. 문헌에서는

  • (a) 실제로 앓고 있지 않은 질병이나 상태를 묘사하기 위해 훈련을 받은 일반인
  • (b) 질병이나 상태를 표준화된 방식으로 묘사하기 위해 훈련을 받은 환자를 구분했습니다.

이 논문에서는 [후자]를 '표준화된 환자로서의 실제 환자'라고 부르며, 이러한 명칭에 내포된 다양한 역설과 딜레마를 인정합니다. 이 리뷰에서는 서로 다른 연구 전통을 조명하기 위해 연구 커뮤니티를 구분하여 다양한 문제 제기와 그에 따른 결론에 주의를 기울입니다. 따라서 의사 결정, 커리큘럼 설계 및 권력 공유와 관련하여 민주적이고 해방적인 우려를 공유하는 표준화 환자와 관련된 주장은 앞선 논의에서 고려됩니다. 실제로 [실제 환자]가 [표준화 환자로서의 경험]을 바탕으로 커리큘럼을 어떻게 형성할 수 있는지(그리고 형성해야 하는지) 관련 연구가 진행 중입니다(Nestel 외. 2008; Plaksin 외. 2016). 또한 정서적 및 신체적 안전을 포함하여 이러한 역할을 수행하는 환자의 경험에 대한 우려도 많습니다(Debyser 외. 2011; Krahn 외. 2002; Plaksin 외. 2016; Taylor 2011; Walters 외. 2003; Webster 외. 2012). 그러나 이러한 공유된 우선순위를 제쳐두고, '표준화된 환자로서의 실제 환자' 서술에는 논의할 가치가 있는 고유한 특징이 있습니다. 지금부터 이 연구, 즉 [표준화 환자로서의 실제 환자]에 대해 살펴보겠습니다. 
There is much overlap between the body of work that is concerned with “engaged patients” and that involved with “real patients as standardized patients”. The phrase “real patients as standardized patients” is somewhat challenging to unpack. In the literature, a distinction was made between

  • (a) members of the public who have received training in order to portray an illness or condition that they do not actually have and
  • (b) patients who received training in order to portray their illness or condition in a standardized way.

It is the latter that is referred to as “real patients as standardized patients” in this paper, even as we acknowledge the various paradoxes and dilemmas implied by such a label. In this review, we draw distinctions between research communities in order to illuminate disparate research traditions, attending to their various problem statements and their resultant conclusions. Therefore, those arguments related to standardized patients that share democratic and emancipatory concerns with decision-making, curricular design, and power sharing are considered in the preceding discussion. Indeed, there is a body of research concerned with how real patients could (and should) shape curricula as a result of their experience as standardized patients (Nestel et al. 2008; Plaksin et al. 2016). Further, there is much concern for the experience of patients acting in these roles, including their emotional and physical safety (Debyser et al. 2011; Krahn et al. 2002; Plaksin et al. 2016; Taylor 2011; Walters et al. 2003; Webster et al. 2012). However, taking those shared priorities aside, there are unique features of the “real patients as standardized patients” narrative that warrant discussion. It is to this body of work—real patients as standardized patients—that we turn to now.


여기서 우리는 [표준화]라는 개념을 구별되는 개념으로 강조합니다. 이 문헌을 역사적 맥락에서 살펴보면, 의대생의 임상 능력을 평가하기 위한 방법으로 모의 환자를 처음 사용한 의사인 하워드 배로우스 박사의 1960년대 연구를 알 수 있습니다(배로우스 1993; 크란 외. 2002). 시뮬레이션 환자의 도입은 의학 교육의 특정 딜레마를 해결하기 위한 것이었습니다.

  • 표준 임상 교육의 일부로서 적절한 범위의 교육 사례에 대한 접근을 보장할 수 없다는 점,
  • 임상 사례 전반에서 학습 기회의 일관성이 부족하다는 점,
  • 예측 불가능성을 고려할 때 학생 평가의 형평성이 결여될 수 있다는 점(Bates and Towle 2012),
  • 학생들이 의미 있는 환자 피드백을 받을 수 있는 기회가 부족하다는 점(Bokken et al. 2008) 등

따라서 시뮬레이션은 일련의 문제에 대한 해결책으로 개발되었습니다.
Here we highlight the notion of standardization as a distinguishing concept. Putting this body of literature into historical context points to the 1960s works of Dr. Howard Barrows, a physician who first made use of simulated patients as a way to examine the clinical skills of medical students (Barrows 1993; Krahn et al. 2002). The introduction of simulated patients was to address some particular dilemmas of medical education, namely:

  • the inability to ensure access to a suitable range of teaching cases as part of standard clinical education,
  • the lack of consistency of learning opportunities across clinical cases,
  • the potential lack of equity in the assessment of students given that unpredictability (Bates and Towle 2012), and
  • the opportunity for students to receive meaningful patient feedback (Bokken et al. 2008).

Thus, simulation was developed as a solution to a set of problems.

표준화된 환자 문헌은 시뮬레이션 환자 분야에서 역사적인 뿌리를 가지고 있지만, 우리는 결과적으로 [표준화] 개념을 강조하고자 합니다. 표준화 개념에는 각 학생이 정확히 유사한 모의 환자 시나리오를 접하게 될 것이라는 암묵적인 보증이 포함되어 있습니다. 시뮬레이션뿐만 아니라 표준화라는 추가적인 개념적 계층은 다음 두 가지 문제에 적용된 또 하나의 혁신이었습니다(Barrows 1993).

  • (1) 학습 기회의 공정한 분배와
  • (2) 학습자를 위한 평가 과정의 투명성

목할 점은 이러한 문제 진술이 주로 학습자와 교육자의 관점에서 정의되었다는 것입니다.
While the standardized patient literature holds historical roots within the field of simulated patients, we wish to highlight the concept of standardization as consequential. Within the concept of standardization, there is implied assurance that each student will encounter an exactly similar simulated patient scenario. This additional conceptual layer—of standardization not just simulation—was a further innovation applied to the paired problems of

  • (1) fair distribution of learning opportunities and
  • (2) transparency of the assessment process for learners (Barrows 1993).

Of note, those problem statements were primarily defined from the standpoint of learners and educators.

[표준화 환자로서의 실제 환자]를 탐구하는 연구는 이러한 원래 문제 진술의 경계와 가장자리를 계속 탐색하면서 표준화 환자의 적절한 특성(Gall 외. 1984; Jha 외. 2010; Kroll 외. 2008; Long-Bellil 외. 2011; Stillman 외. 1980), 환자의 역할을 준비하는 적절한 방법(Jha 외. 2009b), 표준화 환자가 학생 학습에 미치는 영향을 평가하는 새로운 방법(Jha 외. 2009a)을 모색하고 있습니다. "표준화 환자로서의 실제 환자"에 대한 "능동적" 환자 참여에 대한 언급이 있지만, 이는 다른 교수자가 없을 때 가급적 교육에서 능동적인 역할을 수행하는 것을 의미하는 경향이 있습니다(Bokken 외. 2008). Jha 등(2009b)은 교육자와 학생이 이러한 [능동적인 교수 역할]을 중요하게 생각하지만, 커리큘럼 설계에서 환자의 역할이 반드시 필요하다고 생각하지는 않는다는 사실을 발견했습니다. 또한 근거 기반 의학 접근 방식에 익숙한 연구 설계를 사용하여 [표준화 환자의 유용성에 대한 근거 기반을 개발하려는 노력]이 분명히 있습니다. 이러한 작업에서 증거는 (학생에게) 부정적인 영향이 없는지, (학생에게) 긍정적인 영향이 있는지, (교육 기관에) 비용 편익이 있는지를 기준으로 고려됩니다(Allen 외. 2011, Asprey 외. 2007, Bokken 외. 2008, Davidson 외. 2001). 
The body of research that explores real patients as standardized patients continues to explore the boundaries and edges of these original problem statements, exploring suitable characteristics of standardized patients (Gall et al. 1984; Jha et al. 2010; Kroll et al. 2008; Long-Bellil et al. 2011; Stillman et al. 1980), appropriate ways to prepare patients for their role (Jha et al. 2009b), and novel ways to evaluate the impact of these standardized patients on student learning (Jha et al. 2009a). There is reference to “active” patient involvement in the “real patient as standardized patient” body of work, but this tends to refer to active roles in teaching, preferably in the absence of other teachers (Bokken et al. 2008). Jha et al. (2009b) found that educators and students value this active teaching role, but do not necessarily see a role for patients in curriculum design. Further, there are clear efforts to develop an evidence base for the utility of standardized patients, using research designs that are familiar within evidence-based medicine approaches. In this body of work, evidence is considered along the lines of lack of negative impact (for students), the presence of positive impacts (for students), and cost benefits (for the educational institution) (Allen et al. 2011; Asprey et al. 2007; Bokken et al. 2008; Davidson et al. 2001).

그렇다고 해서 이러한 연구들이 [표준화 환자와 그들의 경험]에 둔감하다는 것은 아닙니다. 또한, 지식의 정치와 관련하여 누가 어떤 내용을 다루고, 환자를 어떻게 구성하며, 환자 경험에 대해 무엇을 표시하는지에 대해 [누가 결정하고 그러한 결정이 어떻게 이루어지는지에 대해 의문을 제기]하는 연구가 증가하고 있습니다(Taylor 2011). 이처럼 권력과 의사 결정에 대한 의문이 커지고 있음에도 불구하고 [증거의 개념은 주로 학습자, 교육자 및 교육 기관이 경험하는 영향의 종류에 한정]되어 있는 것으로 보입니다. 예를 들어, Allen 등(2011)은 표준화된 류마티스 관절염 환자로부터 교육을 받은 학생과 류마티스 전문의로부터 교육을 받은 학생의 학습 결과를 비교했습니다. Davidson 등(2001)은 신체 평가를 가르치는 두 가지 방법, 즉 [전통적인 교수진 교육 과정]과 [특별히 훈련된 표준화 환자가 가르치는 과정]을 비교하기 위해 동시 대조 시험을 설계했습니다. 두 저자 모두 학습 결과는 비슷하지만 표준화 환자 모델이 훨씬 더 비용 효율적이라는 결론을 내렸습니다. 비용 비교 및 대조군 임상시험 연구 설계의 사용은 "환자 파트너가 성공적으로 지속적으로 참여할 수 있도록 관리"하는 [자원 관리]의 개념화와 마찬가지로 환자 참여에 관한 이 연구의 고유한 특징입니다(Barr 외. 2009, 599페이지).

This is not to say that the studies are insensitive to standardized patients and their experiences. Further, there is a growing body of work that is concerned the politics of knowledge, questioning who decides—and how such decisions are made—about what content is addressed, how patients are constructed, what is being displayed about the patient experience (Taylor 2011). Despite these growing questions about power and decision-making, the concept of evidence seems largely to be reserved for the kinds of impacts experienced by learners, educators, and educational institutions. For example, Allen et al. (2011) compared learning outcomes for students receiving instruction from a standardized patient with rheumatoid arthritis and students receiving instruction from a rheumatologist. Davidson et al. (2001) also designed a concurrent controlled trial to compare two methods of teaching physical assessment: a traditional faculty-taught course and a course taught by specially trained standardized patients. Both sets of authors concluded that the learning outcomes were comparable, but the standardized patient model was far more cost effective. The use of cost comparisons and control trial research designs are unique to this body of research on patient involvement, as is the conceptualization of resource management, where “patient partners are managed for successful enduring engagement” (Barr et al. 2009, p. 599).

"참여형 환자의 출현"에 대한 앞 섹션에서 우리는 [해석적이고 때로는 비판적인 패러다임에 기반한 학술 커뮤니티]에 주목했습니다. 이와 대조적으로, 표준화 환자 분야에서는 [환자 참여에 대한 도구주의적 개념]을 활용하여 실증주의적 근거와 실험주의적 설계를 사용하여 [다양한 개입의 영향을 탐구하는 연구 커뮤니티]가 있습니다. 이미 언급했듯이 이 두 연구 커뮤니티와 다양한 가정 사이에는 중복되는 부분이 있습니다. 그러나 그 차이점을 강조할 가치가 있습니다. 특히, [학습 기회의 접근성 및 표준화 문제에 대한 기술주의적technocratic 대응]으로서 '표준화된 환자로서의 실제 환자'에 대한 역사적 근거는 여전히 중요한 의미를 지니고 있습니다. 이러한 [도구적 가정]은 항상 명시적으로 언급되지는 않았지만 [학습 경험의 품질, 재현성 및 표준화에 대한 많은 관심]을 통해 알 수 있습니다. [현재 및 미래의 환자에 대한 책무]는 [학습자에게 진정성 있고 의미 있으며 균등하게 분산된 학습 경험을 제공해야 한다는 책임감]을 통해 유추할 수 있습니다.

In the previous section on “the emergence of the engaged patient”, we drew attention to scholarly communities drawing on interpretive and sometimes critical paradigms. In contrast, there is a community of research in the field of standardized patients making use of instrumentalist notions of patient engagement, exploring the impacts of various interventions using positivist rationales and experimentalist designs. As already noted, there is overlap between these two research communities and their various assumptions. However, the distinctions are worth highlighting. In particular, the historical rationale for “real patients as standardized patients” as a technocratic response to a problem of access and standardization of learning opportunities remains consequential.

  • These instrumental assumptions—not always explicitly stated—are visible in the great volume of concern displayed for the quality, reproducibility, and standardization of the learning experience.
  • Accountability to present and future patients is inferred through a sense of responsibility for creating learning experiences that are authentic, meaningful, and equally dispersed for the learners.

치료와 학습의 얽힘으로서의 환자 참여: 사회문화적 학습
Patient involvement as entanglements of care and learning: sociocultural learning

의료 전문직 교육에서의 환자 참여에 대한 이전의 검토에서는 ["병상 학습" 또는 "임상 학습"]에 대한 고려가 제외되었는데, 여기서는 (학생 또는 환자가) [치료의 순간moments of care에 경험하는 학습]으로 정의됩니다(Monrouxe 외. 2009). "적극적인" 환자 참여가 일종의 교육적 역할을 적극적으로 추구하는 것을 의미한다는 점을 고려할 때(Towle 외. 2010), 이전 검토에서 침상 학습을 제외하는 것은 합리적입니다. 그러나 이 검토의 목적상, 우리는 보건의료 전문직 교육에 대한 환자 참여에 대한 고려를 역사적으로 영향력이 크고 오랫동안 지속되어 온 침상 학습에 대한 대규모 연구와 개념적으로 접촉하는 것이 중요하다고 생각했습니다. 이러한 작업은 너무 방대하여 이 특정 리뷰에서 심도 있게 다루기에는 무리가 있습니다. 대신 리뷰 논문, 많이 인용된 연구, 해당 분야에서 지속되고 있는 논쟁을 중심으로 살펴보았습니다. 병상 학습에 대한 설명은 1900년대 초부터 현재까지 지속되어 왔지만, 학습자-환자 접촉의 대부분은 더 이상 병상 옆에서 이루어지는 것이 아니라 지역사회 및 외래 환경에서도 발생한다는 인식이 확산되고 있습니다(Coleman and Murray 2002).  
Previous reviews of patient engagement in health professions education have excluded considerations of “bedside learning”—or “clinical learning”—defined here as the learning experienced (by students or patients) during moments of care (Monrouxe et al. 2009). Given that “active” patient involvement has been taken to mean active pursuit of some kind of teaching role (Towle et al. 2010), the exclusion of bedside learning from previous reviews is sensible. However, for the purpose of our review, we deemed it important to put our consideration of patient involvement in health professions education in conceptual contact with the large, long-standing, and historically influential body of work on bedside learning. This body of work is too expansive to be considered in depth in this particular review. Instead, we engaged with review papers, highly cited pieces of work, and enduring debates in the field. While the descriptor of bedside learning has persisted from the early 1900s to current times, there is recognition that much of learner-patient contact is no longer at the side of a bed, but also occurs in community and ambulatory settings (Coleman and Murray 2002).

이 검토에서 우리가 관심을 갖는 것은 [서비스 제공의 순간]과 관련하여 [학습이 고려되는 순간]입니다. 우리가 구분하는 지점은 학습에 대한 환자의 "능동적" 또는 "수동적" 참여가 아니라 다음을 구분하는 것입니다.

  • 환자가 [학습에 참여하기로 선택]했고, [자신의 교육 역할을 인식]하고 있는 시나리오(예: 임상 교육 동료, 커리큘럼 위원, 표준화 환자 등)
  • 환자가 [치료를 받고 있으며] 이러한 [치료 관계에 학생이 참여함]으로써 학습에 참여할 수 있는 시나리오

이러한 입장은 또한 학습자와 환자가 서로를 통해, 서로로부터, 서로에 대해 동시에 학습할 수 있는 가능성을 열어주는데, 이는 Bleakley와 Bligh(2008)가 탐구한 개념입니다. 또한 [상호 학습의 순간]을 고려하면 환자가 학생과의 학습 관계에 참여하기 위해 특정 종류의 전문 지식을 보유할 필요가 없어집니다. 이러한 사고방식에 따르면 질병을 처음 경험하는 사람들도 학습 관계에 있다고 볼 수 있습니다. 학습 관계는 경험 및 만성 질환을 통해 전문성을 갖춘 환자들에게만 해당되는 것이 아닙니다. 마지막으로, [학습에 대한 환자의 적극적인 참여]가 일정 수준의 커리큘럼 의사 결정 및 직접적인 교육과 동일해야 한다는 가정을 제거함으로써, 우리는 (때로는 은유적인) 병상에서의 다양한 치료 및 학습에 대한 환자의 적극적인 참여를 개념화하는 연구자 그룹을 발견했습니다.

What is of interest to us in this review are those moments when learning is considered in relation to moments of service provision. The point of distinction we made is not between “active” or “passive” patient involvement in learning, but between

  • scenarios where patients have chosen to participate in learning and are aware of their teaching roles (e.g. as clinical teaching associates, curriculum committee members, standardized patients etc.) and
  • scenarios where patients are seeking care and may also be participating in learning by virtue of student participation in those care relationships.

This position also opens the possibility of learners and patients learning with, from, and about one another simultaneously, a concept explored by Bleakley and Bligh (2008). Further, considering moments of mutual learning also removes the necessity of patients having a particular kind of expertise in order to participate in a learning relationship with students. By this line of thinking, people experiencing illness for the first time are also in learning relationships. Learning relationships are not reserved for those patients with expertise by experience and/or chronic illness. Finally, by removing the assumption that active patient engagement in learning must equate to some level of curricular decision-making and/or direct teaching, we found a group of researchers conceptualizing active involvement of patients in various entanglements of care and learning at the (sometimes metaphorical) bedside.

병상 학습에 대한 환자의 참여는 현대 교육 병원 개념의 제도화에 원동력이 된 것으로 알려진 오슬러의 저서 '에콰니미타스(Aequanimitas)'에 그 근간을 두고 있습니다. 교육 병원은 원래 환자가 학생 학습에 참여하는 대가로 의료 서비스를 받는 '자선 병원'으로 시작되었습니다(Ludmerer 1983). 치료와 학습이 얽혀 있는 이 초기 모습에서 환자가 의료 전문가의 학습에 참여할 의무가 있는지에 대한 논쟁이 계속되고 있습니다(Waterbury 2001). 침상 학습의 본질에 대한 다른 지속적인 논쟁에는 아래 등이 포함됩니다(Bashour 외 2012; Celenza 외 2011; Chiong 2007; Draper 외 2008; Hubbeling 2008; Leinster 2004; Monrouxe 외 2009; Paull 2006). 

  • 환자 동의와 관련된 윤리적 문제,
  • 학습 기회로서 환자에 대한 학생의 접근성 감소,
  • 잠재 커리큘럼의 교묘한 효과를 포함한 선배 임상의의 환자 치료에 대한 역할 모델링 문제,
  • 학습 요구와 환자 치료 요구의 균형을 맞추려는 학생들이 겪는 다양한 윤리적 딜레마 

Patient involvement in bedside learning is anchored in Osler’s famous Aequanimitas, taken to be the impetus for the institutionalization of the modern concept of a teaching hospital. The teaching hospital originally emerged as a ‘charity hospital’, where patients received medical care in exchange for participating in student learning (Ludmerer 1983). From this early manifestation of entanglements of care and learning, there are continued debates about whether patients have a duty to participate in the learning of health professionals (Waterbury 2001). Other enduring debates about the nature of bedside learning include:

  • ethical concerns related to patient consent,
  • declining student access to patients as learning opportunities,
  • problematic role modeling of patient care from senior clinicians including the insidious effects of hidden curricula, and
  • the various ethical dilemmas experienced by students attempting to balance their learning needs against patients’ care needs (Bashour et al. 2012; Celenza et al. 2011; Chiong 2007; Draper et al. 2008; Hubbeling 2008; Leinster 2004; Monrouxe et al. 2009; Paull 2006).

이 리뷰에서 우리가 특히 관심을 갖는 것은 침대 옆 학습이 개념화되는 새로운 방식입니다. 이 문헌에서 우리는 [학습에 대한 구성주의 이론]을 볼 수 있습니다. 이는 환자를 교육 자료로 객관화하는 데 도움이 되는 이전의, 그리고 더 지배적이었던 침상 학습 접근 방식과는 대조적입니다. 임상 학습에 대한 이러한 대안적 개념화에서는 [학습자, 환자, 교수자 간의 삼자적 만남]에서 [상호 작용적 뉘앙스]에 초점을 맞추고, 이러한 관계적 공간에서 학습을 이해하는 방법으로 [학습에 대한 사회적 이론]을 사용합니다(Bleakley 2014; Bleakley와 Bligh 2008; Kumagai와 Naidu 2015). 우리가 강조하고자 하는 것은 바로 이러한 연구입니다. 여기에서는 합법적 주변적 참여(Lave and Wenger 1991), 실천 공동체(Wenger 1998), 활동 시스템에서의 확장적 학습에 대한 Engestrom의 개념(Engeström 1999), 행위자-네트워크 이론의 다양한 반복(Latour 2007; Law 1999; Mol 2010)에 대한 개념을 소개합니다. 이러한 이론적 방향의 공통점은 학습의 사회적, 물질적, 시간적, 맥락적 측면에 초점을 맞춘다는 점입니다(Fenwick and Edwards 2010). 
What is of particular interest to us in this review are the emerging ways in which bedside learning is being conceptualized. It is in this body of literature that we see constructionist theories of learning. This in contrast to earlier—and more dominant—approaches to bedside learning that would serve to objectify patients into teaching materials. In this alternate conceptualization of clinical learning, there is a focus on the interactional nuances during triadic encounters between learners, patient and instructors, using social theories of learning as a way to make sense of learning in these relational spaces (Bleakley 2014; Bleakley and Bligh 2008; Kumagai and Naidu 2015). It is this body of research that we wish to emphasize. Here we see the introduction of concepts of legitimate peripheral participation (Lave and Wenger 1991), communities of practice (Wenger 1998), Engestrom’s notions of expansive learning in activity systems (Engeström 1999) and various iterations of actor-network theory (Latour 2007; Law 1999; Mol 2010). What these theoretical orientations share are a focus on the social, material, temporal, and contextual aspects of learning (Fenwick and Edwards 2010).

이는 역사적으로 개인의 인지적 성취로서의 학습에 초점을 맞춰온 [성인 학습 이론]과는 대조적입니다(Bleakley 2014). 사회 학습 이론은 개인에 초점을 맞추는 대신 [공유 지식, 사회적 정체성 개발, 집단적 감각 형성] 등의 개념을 활용하여 학습을 [단순히 지식의 습득]이 아니라 [특정 정체성을 채택]하여 [실천 공동체에 합법적으로 진입]하는 [사회화의 한 측면]으로 탐구합니다(Bleakley 2012). 이 이론적 틀에서 [환자는 의료 전문가와 함께 공통의 관심사로 묶인 활동 네트워크를 형성]하는 역할을 합니다. 물론 이러한 네트워크 내에서 행동하는 방법에 대한 긴장, 논쟁, 딜레마가 없다는 것은 아니지만, 이러한 긴장을 설명하는 것은 학습 현상을 이해하는 데 있어 중요한 부분이 됩니다(Fenwick and Edwards 2010). 이러한 이론적 장치를 활용하는 연구 설계는 심층 관찰과 비디오 민족지학적 연구가 주를 이루는 질적 연구 경향이 있습니다(Hamilton 2011). 

This in contrast to theories of adult learning that have historically focused on learning as a cognitive accomplishment of an individual (Bleakley 2014). Instead of focusing on individuals, social learning theories draw on concepts such as shared knowledge, social identity development, and collective sense making as a means to explore learning not simply as acquisition of knowledge, but as an aspect of socialization, involving legitimate entry into a community of practice through the adoption of a particular identity (Bleakley 2012). In this theoretical framing, patients act along with health care professionals in forming a network of activity, held together by a common object of interest. That is not to say that there are not tensions, debates and dilemmas about how to act within these networks, but explicating these tensions becomes part of understanding the phenomenon of learning (Fenwick and Edwards 2010). Research designs making use of these theoretical apparatuses tend to be qualitative, with in-depth observations and video-ethnographic studies predominating (Hamilton 2011).

이 요약에서는 [구성주의 학습 이론에 초점을 맞춘 연구]라는 침대 옆 학습 문헌의 한 가지 흐름만을 강조합니다. 우리는 이 특정 학계가 침상 학습의 전체를 대표하지 않으며, 치료의 순간에 환자와 수련의 사이에 위험과 보상이 불균등하게 분배되는 환자들의 경험도 대표하지 않는다는 것을 알고 있습니다. 우리는 [유사한 가치관을 공유하지만 다른 이론적 입장에서 다양한 연구 질문에 접근하는 다른 학계 커뮤니티]의 이론적 기여와 병상 학습에 대한 이 메타 내러티브를 강조합니다.
In this summary, we emphasize just one stream of bedside learning literature: the body of work that focuses on constructivist theories of learning. We recognize that this particular scholarly community does not represent the whole of bedside learning—nor the experience of patients that find risk and rewards unevenly distributed between patients and trainees during moments of care. We highlight this one meta-narrative about bedside learning for the theoretical contributions being made and the juxtaposition from other scholarly communities sharing similar value statements, but approaching various research questions from a different theoretical stance.

메타 내러티브: 공통점과 긴장감
Meta-narratives: commonalities and tensions

광범위하고 반복적인 프로세스를 사용하여 의료 전문직 교육에서 환자 참여와 관련된 광범위한 문헌을 수집했습니다. 참여 환자, 표준화 환자로서의 실제 환자, 병상 학습이라는 세 가지 학술 커뮤니티를 중심으로 분석 결과를 정리했지만, 종합에서 가장 중요한 것은 [이러한 각 커뮤니티를 움직이는 중요한 스토리라인]이며, 특히 [이러한 스토리라인(또는 메타 내러티브)이 서로 상호 작용하는 방식]에 주목했습니다. 이를 위해 각 학문적 전통을 뒷받침하는 주요 연구 질문과 딜레마, 그리고 적극적인 참여라는 다소 어울리지 않을 수 있는 개념에 대해 논의합니다. 문헌에서 [내러티브 주제를 다루는 것]에서 [메타 내러티브를 명확히 하는 것]으로의 전환은 개념적으로 중요합니다. 앞서 언급한 주제를 설명할 때 다양한 개념과 그 개념들이 서로 어떻게 연관되어 있는지에 주의를 기울였습니다. 메타 내러티브를 명확하게 표현하려면 [공통의 개념, 이론, 방법 및 도구를 공유하는 일관된 작업체]에 주의를 기울여야 합니다(Kuhn 1996). 여기에는 시간이 지남에 따라 다양한 공간과 장소에 걸쳐 실제 연구 커뮤니티 간의 경계와 상호 연결에 주의를 기울이는 것이 포함됩니다. [내러티브 주제]는 역사적으로 제시될 수 있지만, [메타 내러티브]에 주목하려면 역사, 맥락, 연결에 주목해야 합니다. 이미 살펴본 [개념적 주제]는 서로 상호 작용하지만, 다음에 설명하는 메타 내러티브는 이러한 주제에 단순히 매핑되지 않습니다. 설명하는 메타 내러티브는 이러한 [개념적 주제]를 고려할 뿐만 아니라 [다양한 연구 커뮤니티 간의 경계, 공유되는 개념, 커뮤니티 내부 및 커뮤니티 간에 존재하는 논쟁]도 함께 고려합니다. Greenhalgh 등(2004, 2005)의 연구를 바탕으로, 우리는 같은 학회에 참석하고, 저널에 실린 서로의 논문을 심사하고, 같은 연구비 지원 기관에 지원하는 연구자는 누구인가와 같은 질문을 던졌습니다. 이 과정에서 우리는 보건 전문직 교육에 대한 환자 참여의 더 큰 분야를 알려주는 다양한 메타 내러티브를 찾아내기 위해 내러티브 주제와 연구 커뮤니티를 연결하기 시작했습니다. 표 3은 메타내러티브에 대한 개괄적인 요약을 제공합니다.
Using an expansive and iterative process, we collected a wide range of literature concerned with patient involvement in health professions education. While we organized the presentation of our analysis along the lines of three scholarly communities—concerned with the engaged patient, real patients as standardized patients, and bedside learning—what is of primary interest in our synthesis are the over-arching storylines that animate each of these communities, particularly as those storylines (or meta-narratives) interact with one another. To that end, we discuss the primary research questions and dilemmas fuelling each scholarly tradition and the possibly incommensurate notions of active engagement. The shift from addressing narratives themes in the literature to articulating meta-narratives is conceptually significant. In outlining the aforementioned themes, we attended to various concepts and how they related to one another. To articulate meta-narratives requires attention to coherent bodies of work that share common sets of concepts, theories, methods and instruments (Kuhn 1996). This involves attending to boundaries and interconnections between the actual research communities over time and across various spaces and places. Whereas the narrative themes can be presented as ahistorical, to attend to meta-narratives necessitates attending to history, context, and connections. While the conceptual themes already explored do interact with one another, the meta-narratives we describe next are not simply mapped onto those themes. The meta-narratives described take into account those conceptual themes, but also layer in the boundaries between various research communities, what concepts are shared, what debates exist within communities and across them. Building from Greenhalgh et al’s (2004, 2005) work, we asked questions such as: which of these researchers attend the same conferences, referee for each other’s papers on journals, apply to the same grant-giving bodies? In doing so, we started to interlay narrative themes and research communities in order to tease out various meta-narratives that are informing the larger field of patient involvement in health professions education. Table 3 provides a high-level summary of the meta-narratives.

오슬러의 역사적 유산에 기반을 둔 각 활동의 흐름은 [치료와 학습이 얽혀 있는 문제]와 씨름했습니다. 이는 원래 학생들, 더 나아가 교수진에게 가장 유익한 학습 경험이 어디에 위치해야 하는지에 대한 의문을 제기하는 학습의 문제였습니다. 환자들의 우려가 무시되었다는 것이 아니라, 더 나은 환자 치료를 위한 길은 더 나은 교육을 통해 매개될 수 있도록 구성되었다는 의미입니다. 침상 학습 전통은 학습을 치료 환경 내에 확고하게 위치시킴으로써 학습 딜레마를 해결했습니다. 병상 학습에 대한 강조는 수많은 새로운 기관을 탄생시켰으며, 오늘날에도 교육 병원 내 의료 인력 조직에서 여전히 볼 수 있습니다. 그러나 이 결정은 [환자 동의와 관련된 윤리적 딜레마][학습 기회에 대한 학생의 접근성에 대한 현실적 우려] 등 다른 문제를 야기했습니다. 병상에서 치료와 학습을 분리하는 것이 불가능해지자 이러한 공간에 내재된 사회적 복잡성을 탐구할 수 있는 연구 전통이 발전했습니다. 일부의 경우 이러한 상황은 의료 환경 밖에서 시작된 학습에 대한 사회적 이론을 수용하는 것으로 발전했습니다. 
Anchored in the historical legacy of Osler, each stream of activity wrestled with the entanglements of care and learning. This was originally framed as a problem of learning for the students—and by extension, the faculty members—bringing into question where the most fruitful learning experiences were to be located. This is not to say that patient concerns were ignored, but that the avenue to better patient care was constructed to be mediated through better education. The bedside learning tradition addressed the learning dilemma by firmly locating learning within the care settings. The emphasis on bedside learning germinated a host of new institutions, still visible in modern day organization of the medical workforce within teaching hospitals. However, this decision caused other problems to arise, including ethical dilemmas related to patient consent and pragmatic concerns about student access to learning opportunities. Given the impossibility of disentangling care and learning at the bedside, research traditions developed that could explore the inherent social complexity in these spaces. For some, this situation has evolved into embracing social theories of learning that have originated outside of health care settings.

[병상 학습]의 흐름을 이어온 교육자와 연구자들이 진료 환경 내에서 학습의 가치에 대한 기본 가정을 흔들지 않으면서 이러한 딜레마와 씨름하는 동안, 특정 교육자 그룹은 [시뮬레이션 환자]라는 새로운 교육 리소스를 도입하여 이러한 문제를 해결하려고 시도했습니다. 일부의 경우, 시뮬레이션 환자는 나중에 [표준화 환자]로 발전했습니다. 여기서 해결해야 할 문제는 주로 학생과 교육자의 문제였지만, 이 전략은 환자의 자발적 참여라는 메커니즘을 통해 환자 동의라는 까다로운 딜레마를 관리할 수 있는 길을 제공하기도 했습니다. 이러한 특정 윤리적 딜레마와 환자 안전 문제를 해결한 후에는 역량 및 역량 개발과 관련된 교육 활동을 더욱 강화할 수 있는 [표준화된 리소스]를 만드는 것과 관련된 [관행과 도구를 지속적으로 개선]하는 데 초점을 맞출 수 있습니다. 따라서 [교육적 자원으로서 표준화 환자]의 성공과 관련된 질문에 답할 수 있는 관련 연구 전통이 발전했습니다.
While educators and researchers that continued along the stream of bedside learning grappled with these dilemmas without destabilizing the foundational assumption of the value of learning within practice settings, a specific group of educators attempted to solve these problems by introducing a new educational resource: the simulated patient. For some, the simulated patient later evolved to become the standardized patient. Here, the problems to be solved were primarily the problems of students and educators, but this strategy also provided an avenue to manage the thorny dilemmas of patient consent through mechanisms of patient volunteerism. Having contained those particular ethical dilemmas and patient safety concerns, the focus could be placed on continuing to refine the practices and tools associated with creating a standardized resource that would bolster ever more educational activity related to competencies and competency development. Hence, an associated research tradition developed capable of answering questions related to the success of standardized patients as an educational resource.

그러나 표준화 환자 개발은 정치적 공백 상태에서 이루어진 것이 아니었습니다. 학회 외부에서도 병상 학습에 대한 대안을 제시하고자 하는 움직임이 동시에 일어났지만, 해결해야 할 문제는 반드시 학생이나 교수진에 국한된 것이 아니었습니다. 이러한 문제는 [더 큰 사회적 담론의 틀] 안에 놓여 있었습니다.

  • 전문직에 대한 신뢰 약화
  • 의료 시스템을 형성할 수 있는 환자의 권리
  • 전문 지식의 한 형태로서 생생한 환자 경험에 대한 인식의 증가 

However, the development of standardized patients was not occurring in a political vacuum. Coinciding movements outside of the academy also sought to provide alternatives to bedside learning, yet the problems to be solved were not necessarily those identified by students or faculty members. These problems were framed within a larger societal discourse of

  • eroding trust in the professions,
  • the rights of patients to shape health care systems, and
  • a growing appreciation of lived patient experience as a form of expertise.

그림 2에서는 메타 내러티브가 시간이 지남에 따라 서로 상호 작용하는 것으로 표시되어 있습니다. 이러한 타임라인을 병렬로 제시하여 두 가지가 공존하고 있음을 명확하게 보여줍니다. 이는 메타내러티브를 선형적이고 명확하게 구분하는 표 3에 표시된 구분과는 대조적입니다. [수동적 참여]에서 [능동적 참여]로 이동하는 [하나의 목적론적 타임라인]이 아니라, 서로 다른 궤적을 가진 [여러 타임라인]이 존재합니다. 각 활동의 흐름은 [향상된 학습 경험을 통해 환자 치료를 개선한다는] [공통된 목표]를 공유합니다. 그러나 주요 연구 질문과 딜레마, 그리고 이를 해결하는 방식은 타임라인에 따라 다릅니다. 또한 한 가지 문제에 대한 해결책은 항상 새로운 문제를 야기하며, 교육자와 연구자들은 이를 적극적으로 추구합니다. 그 결과, 연구자들 사이에 공통 언어를 공유하는 것처럼 보이지만 잠재적으로 비교할 수 없는 개념으로 구체화될 수 있는 일련의 경계가 생겨납니다(Kuhn 1996). 

In Fig. 2, we display the meta-narratives as interacting with one another over time. We have presented these timelines in parallel to demonstrate their co-existence in high relief. This is in contrast to the distinctions displayed in Table 3, which suggests linear and clear separation between meta-narratives. Rather than a single teleological timeline that moves from passive to active engagement, there are multiple timelines with different trajectories. Each stream of activity shares the declared aim of improving patient care through enhanced learning experiences. However, the primary research questions and dilemmas—and the ways they are addressed—are different across the timelines. Further, the solutions to one set of problems invariably create a new set of problems, vigorously pursued by educators and researchers. The result is a set of boundaries between researchers that potentially crystallize into incommensurable concepts that may go unnoticed, particularly as they appear to share common language (Kuhn 1996).

공약불가능의 관계 탐색: '능동적' 환자 참여 구축하기
Exploring incommensurabilities: constructing “active” patient engagement

한 가지 가능한 공약불가능의 관계는 "능동적" 환자 참여라는 개념입니다. 병상 학습에 대한 최근의 이론화(Bleakley 2014, Bleakley와 Bligh 2008)는 [환자를 사회 시스템의 일부로 위치시킬position] 수 있습니다. 이러한 이론에서는 "능동적" 또는 "수동적"인지에 대한 질문은 전적으로 관련이 없을 수 있습니다. 이러한 질문이 중요하지 않다는 것이 아니라 개념 자체가 같은 종류의 중요성을 지니지 않을 수 있다는 뜻입니다. 이러한 이론에서는 시스템 내의 모든 행위자가 학습에 관여합니다. 그러한 학습이 바람직한지 해로운지는 미리 정해져 있지 않지만, [수동성이라는 개념]은 이러한 질문을 추구하는 데 가장 유익한 방법이 아닐 수 있습니다. 예를 들어, 일부 사회 학습 이론에서는 [모든 유생물과 무생물]은 어떤 식으로든 능동적이라고 가정합니다(Latour 1999; Law 1999). 이러한 프레임워크에서는 [환자, 학습자, 교사, 책상, 창문, 정책 성명서, 평가 프로토콜, 환자 가운, 짧고 긴 흰 가운]이 [모든 것이 어떤 방식으로든 능동적]입니다. 따라서 사물이 행동하고 상호 작용하는 방식과 이러한 행동이 어떤 영향을 미치는지는 경험적 질문입니다. 이런 의미에서 [어떤 프로그램에는 활동적인 환자가 있고 어떤 프로그램에는 그렇지 않다]고 말하는 것은 같은 종류의 두드러짐을 갖지 않습니다. 이러한 이론을 기존 관행에 대한 비판으로 사용할 수 없다는 것은 아니지만(Latour 2004), 비판의 성격은 조사 전에 전제되지 않습니다. 차이점은 [참여의 본질에 대한 초기 가정]에 있으며, [참여가 어떻게 수행되어야 하는지]에 대한 가정을 괄호로 묶고, 대신 [관행이 실제로 어떻게 전개되고 있는지]에 경험적으로 초점을 맞출 필요가 있습니다(Broer et al. 2014).
One possible incommensurability is the notion of “active” patient engagement. Recent theorizations (Bleakley 2014; Bleakley and Bligh 2008) of bedside learning would position patients as part of social systems. The question of being “active” or “passive” may not be entirely relevant in these theorizations. This is not to say that these questions are not important, but that the concepts themselves may not hold the same kind of salience. In these theorizations, all actors within the system are implicated in learning. Whether the learning is desirable or detrimental is not predetermined, but the notion of passivity may not be the most fruitful way to pursue those questions. For example, in some social theories of learning, all animate and inanimate objects are active in some way (Latour 1999; Law 1999). In this kind of framing, patients, learners, teachers, desks, windows, policy statements, assessment protocols, patient gowns, short and long white coats are all active in some way. Thus, the ways in which objects act and interact, and to what effect these actions have, are empirical questions. In this sense, to say that some programs have active patients and some do not does not have the same kind of salience. This is not to say that these theorizations cannot be put to use as critique of existing practices (Latour 2004), but the nature of critique is not presumed prior to the investigation. The difference lies in the initial assumptions about the nature of engagement, requiring a bracketing of any assumptions about how it should be performed and instead focusing empirically on how practices are actually unfolding (Broer et al. 2014).

이와는 대조적으로, 최근 '교사로서의 환자'에 대한 일부 반복에서 [능동적 환자] 개념은 [능동적 환자]를 [의사 결정권 보유와 동일시]합니다. 권력에 대한 선형적 가정에 따르면, 아른슈타인의 사다리(Tritter and McCallum 2006)와 이 특정 참여 모델에서 개념적 계보를 찾을 수 있는 모든 [사다리형 모델]은 [환자에게 의미 있는 의사결정권을 적극적으로 이전하지 않는 모든 형태의 참여]는 [토큰주의]로 경험될 위험이 있습니다. 여기서 '능동적' 환자는 [의료의 정치]에 등록되어 있으며, 영향력 문제를 이해하기 위해서는 다른 이론이 필요합니다. 사회 과학자들은 환자 참여의 다른 분야에서 이러한 선형적 권력 개념화와 씨름하면서 진정한 참여를 거의 독점적으로 가시적인 형태의 의사 결정과 동일시하는 의도하지 않은 결과에 대해 의문을 제기해 왔습니다(Eakin 1984; Ocloo and Fulop 2012; Tritter 2009).
In contrast, the notion of active patient in some recent iterations of “patient as teacher” equates the active patient with holding decision-making power. Following the linear assumptions about power that animate Arnstein’s ladder (Tritter and McCallum 2006)—and all ladder-like models that might trace their conceptual lineage back to this particular model of engagement—any form of engagement that does not actively transfer meaningful decision-making power to patients risks being experienced as tokenistic. Here, the “active” patient is enrolled in the politics of healthcare, requiring a different set of theorizations to make sense of questions of impact. Social scientists have grappled with this linear conceptualization of power in other fields of patient engagement, raising questions about the unintended consequences of equating authentic engagement almost exclusively with visible forms of decision-making (Eakin 1984; Ocloo and Fulop 2012; Tritter 2009).

마지막으로, [표준화 환자 문헌]은 일부 의사 결정 영역에서 [참여 환자 문헌]과 겹칠 수 있지만, [표준화 환자 문헌]의 상당한 하위 집합은 ['적극적인 참여'가 적극적인 교육과 동일하다]고 가정합니다. 이는 [의사 결정 참여와 관련된 어떠한 가정도 요구하지 않으며], 환자와 교육자 간의 [권력 균형을 상대적으로 방해하지 않습니다]. '능동적' 환자가 교사로서 미치는 영향에 대한 문제를 해결하려면 실험주의적 사고에 적합한 [기술주의적 근거]가 필요합니다. 이를 위해 연구자 커뮤니티는 '능동적' 환자 참여의 개념을 '능동적' 참여에 수반되는 완전히 다른 정신 모델을 사용하여 배포할 가능성이 있습니다.
Finally, the standardized patient literature may overlap with the engaged patient literature in some decision-making spaces, but a substantive subset of the standardized patient literature assumes that “active engagement” equates to active teaching. This does not require any associated assumption about participating in decision-making and leaves the power balances between patients and educators relatively undisturbed. To address questions of impact of the “active” patient as teacher requires technocratic rationales that are amenable to experimentalist type thinking. To this end, there is a potential that communities of researchers are deploying the concept of “active” patient engagement with entirely different mental models of what “active” engagement entails.

따라서 보건 전문직 교육에서 환자 참여에 관한 문헌을 의미 있게 종합하는 데 따르는 어려움은 단순히 명명법의 문제가 아닐 수 있습니다. 유용한 종합을 만드는 것이 어렵다는 것은 [환자와 함께, 환자로부터, 환자에 관한 학습의 본질]에 대한 서로 다른 개념화를 반영하는 것일 수도 있습니다. 연구자와 교육자는 환자 참여가 여러 가지 방식으로 동시에 수행되는 여러 개념적 대상을 설명할 수 있습니다(Mol 1999). 이러한 다양한 수행 간의 결과는 의도하지 않은 결과에 대한 잠재력과 마찬가지로 항상 다를 수 있습니다. 예를 들어,

  • 환자 참여가 [민주적인 방식]으로 수행되는 경우
    • 환자의 목소리, 대표성, 대표성에 대한 질문이 중요해지지만(Rowland and Kumagai 2018),
    • 학습자에 대한 책임(명시적인 학습 기회 원칙, 투명한 평가 관행, 공평한 학습 기회)은 덜 가시화될 수 있습니다.
  • 환자 참여가 [기술적 노력]으로 수행되는 경우
    • 학습자에 대한 책임이 보다 명시적으로 다뤄질 수 있지만,
    • 환자에 대한 의도하지 않은 [가부장주의]가 지속될 수 있습니다.
  • 환자 참여가 [해방적 노력]으로 수행될 때,
    • [교육자의 완전한 기술적 전문성 실현]을 댓가로 [급진적 자율성의 가치]가 살아남을 수 있지만(Bleakley 2014),
    • 다른 환자 참여 분야에서 탐구된 [상호 무력감]의 조건을 만들 수 있습니다(Broer et al. 2014).

Thus, the challenges of creating a meaningful synthesis of the literature on patient involvement in health professions education may not just be a problem of nomenclature. Instead, the difficulty of creating a useful synthesis may also reflect different conceptualizations about the nature of learning with, from, and about patients. Researchers and educators may be describing multiple conceptual objects (Mol 1999), where patient involvement is performed in multiple ways simultaneously. The outcomes between these various performances will invariably differ, as will their potential for unintended consequences. For example,

  • where patient involvement performs as a democratic exercise,
    • questions of patient voice, representation, and representativeness become relevant (Rowland and Kumagai 2018) but
    • accountabilities to learners along the principles of explicit learning opportunities, transparent assessment practices, and equitable learning opportunities may be less visible.
  • When patient involvement performs as a technical endeavour,
    • accountabilities to learners may be more explicitly addressed, but
    • unintended and unexplored paternalism towards patients may persist.
  • When patient involvement performs as an emancipatory endeavour,
    • the value of radical autonomy might be lived at the expense of realizing the full technical expertise of educators (Bleakley 2014),
    • creating conditions of mutual powerlessness that have been explored in other fields of patient engagement (Broer et al. 2014).

따라서 보건전문직 교육에서 환자 참여 분야의 지식을 지속적으로 구축하기 위해서는 이 분야가 동질적이지 않으며, [통일된 명명법을 만들려는 노력]만으로는 그 차이를 원활하게 해소할 수 없다는 점을 인식해야 합니다. 또한 교육자와 연구자는 한 패러다임에서 공명하는 영향력 매개변수를 사용하여 다른 패러다임에서 설계된 개입의 영향을 평가하는 등 [상응하지 않는 개념을 혼용하는 것에 주의]해야 합니다

  • 예를 들어, 대화적 개입의 영향을 결정하기 위해 [실험주의적 디자인]을 사용하는 것이 [두 인식론적 커뮤니티]를 진정으로 만족시킬 수 있는지는 의문입니다.
    • "이 환자 참여 개입이 효과가 있는가?"라는 질문으로 조사를 시작하는 대신
    • "환자 참여가 어떤 효과가 있는가?", "누구를 위한 것인가?", "어떻게 알 수 있는가?"라는 질문으로 시작하는 것이 현명할 수 있습니다.

따라서 우리는 보건 전문직 교육 분야의 환자 및 대중 참여 학술 및 연구에서 존재론적, 인식론적 문제를 더 많이 고려할 것을 촉구하는 Regan de Bere와 Nunn의 의견에 동의합니다(Regan de Bere와 Nunn 2016).
Therefore, to continue to build knowledge in the field of patient involvement in health professions education requires recognition that the field is not homogeneous, and the differences will not be rendered smooth through efforts to create uniform nomenclature. Further, educators and researchers should be cautious about mixing incommensurate concepts, using parameters of impact that resonate in one paradigm to evaluate the impact of interventions designed in another.

  • For example, it is questionable whether using an experimentalist design to determine the impact of dialogical intervention can truly satisfy either epistemic community.
    • Instead of starting an inquiry with the question “does this patient engagement intervention work?”,
    • perhaps it is wise to start by asking “what work does patient engagement do?”, “for whom?” and “how will we know?”.

Thus, we are in agreement with Regan de Bere and Nunn as they call for more consideration of ontological and epistemological matters in patient and public involvement scholarship and research in the field of health professions education (Regan de Bere and Nunn 2016).

제한 사항
Limitations

이 검토의 목적을 위해, 우리는 교육자들이 보건 전문직 교육에서 환자 참여에 대한 다양한 개념화를 파악하고 씨름하는 데 도움이 되는 높은 수준의 추상화를 찾았습니다. 특정 의료 전문직으로 검색 범위를 제한하지 않았습니다. 한 예리한 검토자가 지적했듯이, 의료 전문직 간에는 차이가 있으며, 이러한 차이가 교육에 대한 환자 참여의 역사적 궤적에 미치는 영향도 중요합니다. 이러한 차이점, 이러한 차이점이 서로 어떻게 상호 작용하는지, 그리고 이러한 분석이 환자 참여에 대한 우리의 가장 중요한 관심사에 어떻게 영향을 미칠 수 있는지를 탐구하는 것은 이 특정 백서의 범위를 벗어났습니다. 향후 검토에서는 이러한 전문적 차이에 초점을 맞출 수 있습니다.

For the purpose of this review, we sought high level abstractions to help educators to grasp—and wrestle with—various conceptualizations of patient involvement in health professions education. We opted to not limit our search to any particular health profession. As an astute reviewer pointed out, the differences between health professions are consequential, as are the impacts of these differences on the historical trajectories of patient involvement in education. It was beyond the scope of this particular paper to explore those differences, how they interact with one another, and how such an analysis might inform our over-arching interest in patient involvement. Future reviews could focus on these professional differences.

또한 이 논문에서는 다양한 메타 내러티브 간의 높은 수준의 추상화와 상호 작용에 초점을 맞추기로 했습니다. 다양한 메타내러티브 내의 다양한 뉘앙스, 즉 각 메타내러티브에 유동성을 부여하는 모순, 논쟁, 딜레마 등을 다루는 것은 단일 원고의 범위를 넘어서는 것이었습니다. 따라서 이 백서에서 제시한 내용이 다소 직설적일 수 있다는 점을 인지하고 있습니다. 

  • 예를 들어, 표준화된 환자 문헌의 모든 연구가 효율성 및 재현성과 관련된 것으로 특징지을 수 없다는 점을 잘 알고 있습니다. 
  • 또 다른 예로, 우리는 다양한 사회적 학습 이론이 환자의 학습 및 다양한 진료 커뮤니티의 구성원을 적절히 설명하지 못하는 것 같은 딜레마에 대해 잘 알고 있습니다. 

이 리뷰에 소개된 각 분야에는 분명 미묘한 차이와 논쟁이 존재합니다. 이 원고에서는 교육에 대한 환자 참여라는 더 큰 기업 전반에 걸쳐 대조를 탐구하기 위해 서로 경쟁하는 큰 아이디어를 전시하기로 결정했습니다. 향후 논문에서는 여기서 다룬 것보다 더 깊이 있는 패러다임 내 미묘한 차이를 탐구할 수 있습니다.
Further, in this particular paper, we have chosen to focus on high level abstractions and interactions among various meta-narratives. It was beyond the scope of a single manuscript to also address the various nuances within various meta-narratives: the contradictions, debates, and dilemmas that give each meta-narrative a sense of fluidity. As a result, we are aware that what we have presented in this paper is necessarily blunt.

  • For example, we are aware that not all research in the standardized patient literature can be characterized as being concerned with efficiencies and reproducibility.
  • As a further example, we appreciate the dilemmas of various social theories of learning that do not seem to adequately account for patients learning and/or membership in various communities of practice.

There are certainly nuances and debates within each field introduced in this review. In this manuscript, we chose to put large and competing ideas on display in order to explore contrasts across the larger enterprise of patient involvement in education. Future papers might explore the nuances within paradigms with more depth than what can be accomplished here.

결론: 현재의 교육적 과제와 연결하기
Concluding thoughts: connecting to current educational imperatives

이 검토는 다양한 연구 전통과 시간에 걸쳐 [의료 전문직 교육에서 환자 참여에 대한 질문]이 어떻게 고려되어 왔는지 종합하기 위해 수행되었습니다. 이를 통해 환자 참여가 문헌에서 어떻게 더 광범위하게 고려되고 있는지, 그리고 이 분야에 어떤 잠재적 시사점이 있는지에 대한 비판적 관점을 제공하고자 했습니다. 이 연구에서는 환자가 특정한 방식으로 구성되고, 보건 전문직 교육에 환자가 참여하는 근거가 배치되며, 지식 생성과 관련된 연구 전통이 현장에서 활용되는 다양한 메타 내러티브를 도출하는 방법으로

  • '교사로서의 환자'로 참여,
  • 표준화된 환자로서의 실제 환자,
  • 병상 학습

등 세 가지 학술 커뮤니티에 초점을 맞췄습니다. 다양한 메타 내러티브 간의 교차점에 주목하면서, 우리는 이 분야에서 ['능동적' 환자 참여가 고려되는 잠재적으로 공약불가능한 방식]과 이러한 [공약불가능성이 갖는 잠재적 의미]에 초점을 맞추었습니다.
We conducted this review in order to synthesize how questions of patient involvement in health professions education have been considered across various research traditions and over time. In doing so, we sought to bring a critical perspective to how patient involvement is being considered in the literature more broadly and what are potential implications for the field. In this study, we focused on three scholarly communities—

  • engaged “patients as teachers”,
  • real patients as standardized patients, and
  • bedside learning

—as a way to draw out various meta-narratives in which patients are constructed in particular ways, rationales for patient involvement in health professions education are deployed, and research traditions associated with generating knowledge are put to use in the field. Attending to the intersections among the various meta-narratives, we focused on the potentially incommensurate ways in which “active” patient engagement is considered within the field and the potential implications of those incommensurabilities.

이러한 결론에 도달하면서 우리는 메타 내러티브 리뷰의 실용적 열망으로 돌아갔습니다(Wong 외. 2013). 다른 많은 국가와 마찬가지로 캐나다 의학교육은 역량 기반 의학교육(CBME)의 원칙에 따라 대대적인 개혁을 앞두고 있습니다. 여기서는 CBME를 구체적인 예로 들었지만, 이 사례는 역량 기반 교육을 중심으로 움직이고 있는 다른 의료 전문직에도 시사하는 바가 있습니다. CBME는 의학교육을 [성과 지향 모델로 재구성]하고자 하며, 이러한 목표를 달성하기 위한 방법으로 [평가 관행에 크게 의존]합니다(Holmboe 외. 2010). 이러한 개혁에 환자가 어떤 방식으로 참여하게 될지는 아직 밝혀지지 않았습니다. 그러나 현지 대화에 따르면 환자는 다음 세 가지 영역 중 하나에서 환자가 참여할 수 있다고 합니다.

  • 다중 이해관계자 평가 프로세스의 또 하나의 이해관계자로서,
  • 객관적 구조화 임상시험(OSCE)의 평가자로서,
  • 또는 학습자의 발전에 관한 결정을 내리기 위해 소집된 역량 위원회의 참가자 및 의사 결정권자로서 

In coming to this conclusion, we return to the pragmatic aspirations of meta-narrative reviews (Wong et al. 2013). Along with many other countries, Canadian medical education is on the cusp of major reform, to be enacted through the principles of Competency Based Medical Education (CBME). We focus here on CBME as a particular example, but this example has salience for other health professions that are also mobilizing around competency-based education. CBME seeks to reconfigure medical education towards an outcomes oriented model, relying heavily on practices of assessment as a way to enact those goals (Holmboe et al. 2010). The ways in which patients will be involved in this reform are largely yet to be seen. However, local conversations suggest that patient involvement might occur in any one of three arenas:

patients

  • as another stakeholder in the multiple stakeholder assessment process,
  • as raters in Objective Structured Clinical Examinations (OSCEs), and/or
  • as participants and decision makers in Competency Committees convened to make decisions about the advancement of learners.

이들 각각은 실행 가능한 옵션일 수 있습니다. 하지만 이 중 어느 것도 완전히 새로운 것은 아닙니다. 각 옵션은 [병상 학습, 표준화 환자로서의 실제 환자, 참여 환자(특히 의사 결정권자로서의 참여 환자)] 등 이 종합에서 설명한 타임라인에 매핑됩니다. 따라서 각 옵션을 역사적 맥락에 배치하여 현재에도 변함없이 이어지는 다양한 가정, 논쟁, 딜레마에 주목할 수 있습니다.

  • 학습자에 대한 [WBA에 환자를 참여]시키려면 [권력, 취약성, 동의의 윤리, 환자가 참여해야 하는 잠재적 부담, 환자가 여러 역할을 맡게 되면서 겪을 수 있는 긴장]에 대한 문제에 주의를 기울여야 합니다.
  • [역량 위원회]에 환자를 참여시키려면 [권력, 신뢰성, 정당성, 전문성, 대표성 문제]에 대해 매우 민감하게 반응해야 합니다.
  • 마지막으로, [모든 형태의 환자 참여]는 CBME를 구성하는 다양한 가정, 이상, 열망과 어떻게 상호작용하는지에 비추어 이해되어야 합니다.

Each of these may be viable options. And yet, none of them are entirely new. Each option maps onto the timelines explicated in this synthesis: bedside learning, real patients as standardized patients, and engaged patients (particularly engaged patients as decision makers). As such, each option can be put into historical context, drawing attention to various assumptions, debates, and dilemmas that invariably carry forward into the present.

  • Involving patients in workplace-based assessments of learners will require attending to questions of power, vulnerability, the ethics of consent, the potential burdens placed upon patients to participate, and the tensions that might be experienced as patients find themselves occupying multiple roles.
  • Involving patients in Competency Committees will require much sensitivity to questions of power, credibility, legitimacy, expertise, and representation.
  • Finally, all forms of patient involvement need to understood in light of how they interact with the various assumptions, ideals, and aspirations that occupy CBME.

환자 없이는 의료 전문직 교육이 존재할 수 없다는 것은 변함없는 사실입니다. 실제로 환자가 없으면 의료 전문직 자체가 존재하지 않습니다. 이러한 주장은 여전히 유효하지만, 오슬러가 한 세대의 교육자에게 영감을 준 이후 100년이 지난 지금 많은 변화가 있었습니다. 의료계가 또 다른 변화를 맞이할 준비가 되어 있는 지금, 환자가 참여하고, 관여하고, 등록하고, 참여하고, 추적 관찰하는 방식에 대해 신중하고 협력적인 사고가 필요합니다. 

It continues to be true that health professions education does not exist without patients. Indeed, health professions themselves do not exist in the absence of patients. While that original claim remains salient, much has changed in the 100 years that have passed since Osler first inspired a generation of educators. As the field is poised for another transformation, the ways in which patients will be engaged, implicated, enrolled, involved, and followed warrant careful and collaborative thought.

 


 

 

Adv Health Sci Educ Theory Pract. 2019 Aug;24(3):595-617. doi: 10.1007/s10459-018-9857-7. Epub 2018 Oct 10.

 

 

Patient involvement in health professionals' education: a meta-narrative review

Affiliations collapse

1Wilson Centre, Toronto, Canada. paula.rowland@uhn.ca.

2University of Toronto, Toronto, Canada. paula.rowland@uhn.ca.

3University Health Network, 200 Elizabeth Ave, Eaton North, 1-812, Toronto, ON, M5G 2C4, Canada. paula.rowland@uhn.ca.

4Centre for Interprofessional Education, Toronto, Canada. paula.rowland@uhn.ca.

5Department of Occupational Science and Occupational Therapy, University of Toronto, Toronto, Canada. paula.rowland@uhn.ca.

6University Health Network, 200 Elizabeth Ave, Eaton North, 1-812, Toronto, ON, M5G 2C4, Canada.

7Department of Medicine, University of Toronto, Toronto, Canada.

8Women's College Hospital, Toronto, Canada.

9Faculty of Medicine, University of Toronto, Toronto, Canada.

10Department of Occupational Science and Occupational Therapy, University of Toronto, Toronto, Canada.

PMID: 30306292

DOI: 10.1007/s10459-018-9857-7

Abstract

More than 100 years ago, Osler inspired educators to consider health professions education (HPE) as intricately reliant on patients. Since that time, patient involvement in HPE has taken on many different meanings. The result is a disparate body of literature that is challenging to search, making it difficult to determine how to continue to build knowledge in the field. To address this problem, we conducted a review of the literature on patient involvement in HPE using a meta-narrative approach. The aim of the review was to synthesize how questions of patient involvement in HPE have been considered across various research traditions and over time. In this paper, we focus on three scholarly communities concerned with various interpretations of patient involvement in HPE-patient as teachers, real patients as standardized patients, and bedside learning. Focus on these three research communities served as a way to draw out various meta-narratives in which patients are thought of in particular ways, specific rationales for involvement are offered, and different research traditions are put to use in the field. Attending to the intersections between these meta-narratives, we focus on the potentially incommensurate ways in which "active" patient engagement is considered within the broader field and the possible implications. We end by reflecting on these tensions and what they might mean for the future of patient involvement, specifically patient involvement as part of future iterations of competency based education.

Keywords: Competency based medical education; Medical education; Meta-narrative; Patient and public involvement; Patient engagement.

가이드라인: 의학교육에서 임상술기 직접관찰의 할 것, 하지 말 것, 모르는 것 (Perspect Med Educ, 2017)
Guidelines: The do’s, don’ts and don’t knows of direct observation of clinical skills in medical education
Jennifer R. Kogan1 · Rose Hatala2 · Karen E.Hauer3 · Eric Holmboe4

 

 

소개
Introduction

임상 술기를 직접 관찰하는 것은 역량 기반 의학교육의 핵심 평가 전략이지만, 모든 졸업생이 필수 영역에서 역량을 갖출 수 있도록 하는 것은 항상 의료 전문직 교육에 필수적이었습니다[1, 2]. 이 가이드라인에서는 다음과 같은 역량에 대한 정의를 사용합니다: '의학교육 또는 실습의 정의된 단계에서 특정 맥락에서 모든 영역에서 요구되는 능력을 보유하는 것[1]'. 이제 교육 프로그램과 전문과목은 관찰 및 평가할 수 있는 필수 역량, 역량 구성 요소, 발달 이정표, 성과 수준 및 위탁 가능한 전문 활동(EPA)을 정의했습니다. 그 결과, 학습자(의대생, 대학원 또는 대학원 수련의)가 의미 있고 진정성 있고 현실적인 환자 치료 및 임상 활동에 참여하는 동안 감독자가 관찰하는 직접 관찰이 점점 더 강조되는 평가 방법[3, 4]이 되고 있습니다[4, 5]. [직접 참관]은 의학교육 연락 위원회, 의학전문대학원 교육 인증위원회, 영국 파운데이션 프로그램과 같은 의학교육 인증 기관에서 요구합니다[6,7,8]. 그러나 그 중요성에도 불구하고 임상 술기에 대한 직접 관찰은 드물고 관찰의 질이 떨어질 수 있습니다[9,10,11]. 양질의 직접 관찰이 부족하면 학습에 중대한 영향을 미칩니다. 형성적 관점에서 학습자는 임상 술기 개발을 지원하기 위한 피드백을 받지 못합니다. 또한 학습자의 역량과 궁극적으로 환자에게 제공되는 치료의 질에 대한 종합적인 평가도 위태롭습니다.  
While direct observation of clinical skills is a key assessment strategy in competency-based medical education, it has always been essential to health professions education to ensure that all graduates are competent in essential domains [1, 2]. For the purposes of these guidelines, we use the following definition of competent: ‘Possessing the required abilities in all domains in a certain context at a defined stage of medical education or practice [1].’ Training programs and specialties have now defined required competencies, competency components, developmental milestones, performance levels and entrustable professional activities (EPAs) that can be observed and assessed. As a result, direct observation is an increasingly emphasized assessment method [3, 4] in which learners (medical students, graduate or postgraduate trainees) are observed by a supervisor while engaging in meaningful, authentic, realistic patient care and clinical activities [4, 5]. Direct observation is required by medical education accrediting bodies such as the Liaison Committee on Medical Education, the Accreditation Council of Graduate Medical Education and the UK Foundation Program [6,7,8]. However, despite its importance, direct observation of clinical skills is infrequent and the quality of observation may be poor [9,10,11]. Lack of high quality direct observation has significant implications for learning. From a formative perspective, learners do not receive feedback to support the development of their clinical skills. Also at stake is the summative assessment of learners’ competence and ultimately the quality of care provided to patients.

이 백서에서 제안하는 가이드라인은 임상 술기 직접 관찰에 관한 문헌의 종합을 기반으로 하며, 학습자 감독자와 의학교육 임상 교육 프로그램을 담당하는 교육 리더 모두에게 실질적인 권장 사항을 제공합니다. 이 백서의 목적은

  • 1) 일선 교사, 학습자 및 교육 리더가 직접 관찰의 질과 빈도를 개선하도록 돕고,
  • 2) 직접 관찰에 대한 현재의 관점을 공유하며,
  • 3) 이 분야를 발전시키기 위한 향후 연구 의제에 정보를 제공할 수 있는 이해의 격차를 파악하는 것입니다.

The guidelines proposed in this paper are based on a synthesis of the literature on direct observation of clinical skills and provide practical recommendations for both supervisors of learners and the educational leaders responsible for medical education clinical training programs. The objectives of this paper are to

  • 1) help frontline teachers, learners and educational leaders improve the quality and frequency of direct observation;
  • 2) share current perspectives about direct observation; and
  • 3) identify gaps in understanding that could inform future research agendas to move the field forward.

방법
Methods

이 지침은 직접 관찰에 대한 연구 경험이 있고 임상 환경에서 학부(의대생) 및 대학원/대학원(레지던트/펠로우) 학습자를 가르치고, 관찰하고, 피드백을 제공한 실무 경험이 있는 2개국 4명의 의학교육자의 전문가 의견과 함께 기존 증거에 대한 서술적 검토[12]로 이루어졌습니다. 반복적인 프로세스를 통해 가이드라인을 개발했습니다. 특히 병력 청취, 신체 검사, 상담 및 시술 기술 관찰과 같이 학습자가 환자 및 그 가족과 상호작용하는 모습을 직접 관찰하는 것으로 범위를 제한했습니다. 고품질의 직접 관찰을 촉진하고 보장하는 권장 사항을 만들기 위해 일선 교사/감독자, 학습자, 교육 리더 및 상황을 구성하는 기관에 초점을 맞추었습니다.

This is a narrative review [12] of the existing evidence coupled with the expert opinion of four medical educators from two countries who have research experience in direct observation and who have practical experience teaching, observing, and providing feedback to undergraduate (medical student) and graduate/postgraduate (resident/fellow) learners in the clinical setting. We developed the guidelines using an iterative process. We limited the paper’s scope to direct observation of learners interacting with patients and their families, particularly observation of history taking, physical exam, counselling and procedural skills. To create recommendations that promote and assure high quality direct observation, we focused on the frontline teachers/supervisors, learners, educational leaders, and the institutions that constitute the context. 

형성 평가와 총괄 평가 모두에 사용되는 직접 관찰을 다루었습니다. 평가의 단계는 연속적이지만,

  • [형성 평가]는 학습자 성취도에 대한 증거를 도출하고 해석하여 교사와 학습자가 수업의 다음 단계에 대한 결정을 내리는 데 사용하는 저부담의 평가로 정의하고,
  • [총괄 평가]는 행정적 결정의 주요 목적(예: 진도 진행 여부, 졸업 여부 등)을 위해 학습자를 평가하도록 고안된 고부담의 평가로 정의합니다[13].

다음은 제외했습니다

  • 1) 모의 진료, 비디오 녹화 진료 및 기타 기술(예: 프레젠테이션 기술, 전문가 간 팀 기술 등)에 대한 관찰,
  • 2) 실무 의사에 초점을 맞춘 직접 관찰,
  • 3) 다른 형태의 작업장 기반 평가(예: 차트 감사)

직접 관찰의 중요한 측면은 관찰 후 학습자에게 피드백을 제공하는 것이지만, 피드백 가이드라인이 이미 발표되었기 때문에 피드백에 초점을 맞춘 가이드라인의 수를 제한하기로 합의했습니다[14].
We addressed direct observation used for both formative and summative assessment. Although the stakes of assessment are a continuum, we define

  • formative assessment as lower-stakes assessment where evidence about learner achievement is elicited, interpreted and used by teachers and learners to make decisions about next steps in instruction, while
  • summative assessment is a higher-stakes assessment designed to evaluate the learner for the primary purpose of an administrative decision (i. e. progress or not, graduate or not, etc.) [13].

We excluded

  • 1) observation of simulated encounters, video recorded encounters, and other skills (e. g. presentation skills, inter-professional team skills, etc.);
  • 2) direct observation focused on practising physicians; and
  • 3) other forms of workplace-based assessment (e. g. chart audit).

Although an important aspect of direct observation is feedback to learners after observation, we agreed to limit the number of guidelines focused on feedback because a feedback guideline has already been published [14].

이러한 매개변수를 정의한 후 각 저자는 아래에 정의된 대로 해야 할 일, 하지 말아야 할 일 및 모르는 일 목록을 독립적으로 생성했습니다. 특히 '모르겠다'는 답변이 있을 경우 교육 관행을 바꿀 수 있는 항목에 초점을 맞추었습니다. 일련의 반복적인 토론을 통해 [해야 할 일, 하지 말아야 할 일, 모르는 일] 목록에 합의할 때까지 목록을 검토하고 토론하고 다듬었습니다. 그런 다음 항목은 4명의 저자가 나누어 담당했으며, 각 저자는 할당된 항목에 대한 찬성과 반대의 증거를 식별할 책임이 있었습니다. 주로 임상 술기의 직접 관찰에 초점을 맞춘 근거를 찾았지만, 근거가 부족한 경우 다른 평가 양식과 관련된 근거도 고려했습니다. 그런 다음 모든 저자가 증거 요약을 공유했습니다. 필요한 경우 근거에 따라 항목을 재분류하고 상충되는 근거가 있는 항목은 '잘 모름' 범주로 이동했습니다. 그룹 합의를 통해 이전 지침의 강도 지표를 사용하여 각 지침을 뒷받침하는 근거의 강도를 결정했습니다([14], 표 1). 직접 관찰이 아닌 평가 방식을 추정하여 얻은 증거는 보통 이상의 지지를 받지 못했습니다. 
With these parameters defined, each author then independently generated a list of Do’s, Don’ts and Don’t Knows as defined below. We focused on Don’t Knows which, if answered, might change educational practice. Through a series of iterative discussions, the lists were reviewed, discussed and refined until we had agreed upon the list of Do’s, Don’ts and Don’t Knows. The items were then divided amongst the four authors; each author was responsible for identifying the evidence for and against assigned items. We primarily sought evidence explicitly focused on direct observation of clinical skills; however, where evidence was lacking, we also considered evidence associated with other assessment modalities. Summaries of evidence were then shared amongst all authors. We re-categorized items when needed based on evidence and moved any item for which there was conflicting evidence to the Don’t Know category. We used group consensus to determine the strength of evidence supporting each guideline using the indicators of strength from prior guidelines ([14]; Table 1). We did not give a guideline higher than moderate support when evidence came from extrapolation of assessment modalities other than direct observation.

결과
Results

원래 목록에는 개별 감독자, 학습자, 교육 프로그램을 담당하는 교육 리더의 세 그룹에 초점을 맞춘 지침이 있었습니다. 이 초기 목록에는 67개(해야 할 일 35개, 하지 말아야 할 일 16개, 잘 모르겠다 16개)의 항목이 있었습니다. 그룹 토론을 통해 유사하거나 중복되는 항목을 합쳐 33개로 줄였고, 중요하지 않다고 판단된 항목은 2개만 삭제했습니다. 교육 프로그램을 담당하는 교육 리더를 위한 지침에 학습자 중심의 항목을 포함시켜 중복 항목을 줄이고, 교육 리더가 학습자가 직접 관찰하고 피드백을 학습 전략의 일부로 통합하도록 활성화하는 학습 문화를 조성하는 것이 얼마나 중요한지 강조하기로 했습니다.
Our original lists had guidelines focused on three groups: individual supervisors, learners, and educational leaders responsible for training programs. This initial list of Do’s, Don’ts and Don’t Knows numbered 67 (35 Do’s, 16 Don’ts, 16 Don’t Knows). We reduced this to the 33 presented by combining similar and redundant items, with only two being dropped as unimportant based on group discussion. We decided to embed items focused on learners within the guidelines for educational leaders responsible for training programs to reduce redundancy and to emphasize how important it is for educational leaders to create a learning culture that activates learners to seek direct observation and incorporate feedback as part of their learning strategies.

증거를 검토한 결과, 원래 '해야 할 일'로 정의된 4개 항목이 '모름'으로 이동되었습니다. 해야 할 일, 하지 말아야 할 일 및 잘 모름의 최종 목록은 개별 감독자에 초점을 맞춘 지침(표 2)과 교육 프로그램을 담당하는 교육 리더에 초점을 맞춘 지침(표 3)의 두 섹션으로 나뉩니다. 이 원고의 나머지 부분에서는 각 지침을 뒷받침하는 주요 근거와 이용 가능한 문헌에 근거한 지침의 강점을 제공합니다.
After review of the evidence, four items originally defined as a Do were moved to a Don’t Know. The final list of Do’s, Don’ts and Don’t Knows is divided into two sections: guidelines that focus on individual supervisors (Table 2) and guidelines that focus on educational leaders responsible for training programs (Table 3). The remainder of this manuscript provides the key evidence to support each guideline and the strength of the guideline based on available literature.

 

 

직접 관찰을 수행하는 개별 임상 감독자를 위한 근거가 포함된 가이드라인
Guidelines with supporting evidence for individual clinical supervisors doing direct observation

개별 슈퍼바이저가 해야 할 일
Do’s for individual supervisors

지침 1. 실제 임상 현장에서 실제 임상 업무를 관찰합니다.
Guideline 1. Do observe authentic clinical work in actual clinical encounters.

직접 관찰은 임상 현장에서 이루어지는 평가로서 임상 역량 평가를 위한 밀러 피라미드의 최상단에 있는 '해야 한다'의 평가를 지원합니다[15, 16]. 교육과 평가의 목표는 임상 환경에서 감독 없이 실습할 수 있는 의사를 배출하는 것이므로, 학습자는 임상 역량을 입증해야 하는 환경에서 관찰되어야 합니다. 실제 임상 상황은 시뮬레이션이나 역할극보다 더 복잡하고 미묘하며 다양한 맥락을 수반하는 경우가 많으므로 실제 임상 진료를 직접 관찰하면 이러한 복잡성을 탐색하는 데 필요한 임상 기술을 관찰할 수 있습니다[17].
Direct observation, as an assessment that occurs in the workplace, supports the assessment of ‘does’ at the top of Miller’s pyramid for assessing clinical competence [15, 16]. Because the goal of training and assessment is to produce physicians who can practise in the clinical setting unsupervised, learners should be observed in the setting in which they need to demonstrate clinical competence. Actual clinical encounters are often more complex and nuanced than simulations or role plays and involve variable context; direct observation of actual clinical care enables observation of the clinical skills required to navigate this complexity [17].

학습자와 교사는 임상 활동 참여를 통한 실습이 학습의 핵심임을 인식하고 있습니다[18,19,20]. [진정성]은 상황별 학습의 핵심 요소이며, 학습이 실제와 가까울수록 기술을 더 빠르고 효과적으로 학습할 수 있습니다[21, 22]. 또한 학습자는 실제 환자와의 만남과 그 환경이 시뮬레이션된 만남보다 더 자연스럽고 유익하며 흥미진진하다고 느끼며, 시뮬레이션된 만남보다 실제 만남에 대해 더 많은 준비를 하고 자율 학습에 대한 더 강한 동기를 표현할 수 있습니다[23]. 학습자는 시간이 지남에 따라 의미 있는 임상 진료에 참여하는 것을 관찰한 후 발생하는 평가와 피드백을 중요하게 생각합니다[24,25,26]. [진정한 만남의 예]로는 임상팀이 이미 병력을 확보한 환자에 대해 학습자가 병력을 작성하는 것을 지켜보는 것보다, 학습자가 초기 병력을 작성하는 것을 지켜보는 것을 들 수 있습니다. 
Learners and teachers recognize that hands-on-learning via participation in clinical activities is central to learning [18,19,20]. Authenticity is a key aspect in contextual learning; the closer the learning is to real life, the more quickly and effectively skills can be learned [21, 22]. Learners also find real patient encounters and the setting in which they occur more natural, instructive and exciting than simulated encounters; they may prepare themselves more for real versus simulated encounters and express a stronger motivation for self-study [23]. Learners value the assessment and feedback that occurs after being observed participating in meaningful clinical care over time [24,25,26]. An example of an authentic encounter would be watching a learner take an initial history rather than watching the learner take a history on a patient from whom the clinical team had already obtained a history.

감독자는 학습자를 실제 상황에서 관찰하려고 노력할 수 있지만, 저자의 경험에 따르면 학습자는 관찰을 받을 때 비실제적인 실습(예: 환자 병력을 기록할 때 전자 건강 기록에 입력하지 않거나 더 집중적인 검사가 적절한데도 종합적인 신체 검사를 하는 등)을 기본값으로 설정할 수 있습니다. 관찰자 효과가 성과에 미치는 영향에 대해서는 논란의 여지가 있지만(호손 효과라고도 함)[11, 27], 관찰자는 학습자가 실제 업무 행동에 대한 피드백을 받을 수 있도록 학습자가 '평소에 하던 대로' 하도록 격려해야 합니다. 관찰자는 [호손 효과]에 대한 두려움을 임상 환경에서 학습자를 관찰하지 않는 이유로 사용해서는 안 됩니다[지침 18 참조].
Although supervisors may try to observe learners in authentic situations, it is the authors’ experience that learners may default to inauthentic practice when being observed (for example, not typing in the electronic health record when taking a patient history or doing a comprehensive physical exam when a more focused exam is appropriate). While the impact of observer effects on performance is controversial (known as the Hawthorne effect) [11, 27], observers should encourage learners to ‘do what they would normally do’ so that learners can receive feedback on their actual work behaviours. Observers should not use fear of the Hawthorne effect as a reason not to observe learners in the clinical setting [see Guideline 18].

지침 2. 관찰하기 전평가의 후과 및 성과를 포함하여 목표를 논의하고 기대치를 설정하여 학습자를 준비시킵니다.
Guideline 2.
Do prepare the learner prior to observation by discussing goals and setting expectations, including the consequences and outcomes of the assessment.

목표 설정에는 학습자와 감독자 간의 협상이 포함되어야 하며, 가능한 경우 직접 관찰에서는 학습자가 가장 필요하다고 느끼는 것에 초점을 맞추어야 합니다. 학습자의 목표는 어떤 활동에 참여할지, 그리고 그러한 활동에 대한 접근 방식에 대해 학습자가 선택할 수 있도록 동기를 부여합니다. 잘 수행하고 '잘 보이는 것'보다는 [학습과 개선을 지향하는 목표]는 학습자가 직접 관찰에 수반될 수 있는 피드백과 교육을 더 잘 수용할 수 있도록 합니다[28, 29]. 학습자가 직접 관찰을 언제, 무엇을 위해 수행할지 자율적으로 결정하면 관찰에 대한 동기가 강화되고 수행 목표에서 학습 목표로 초점을 전환할 수 있습니다[30, 31]. 교사는 학습자의 목표를 묻고 이를 해결하기 위해 교육 및 관찰의 초점을 조정함으로써 이러한 자율성을 촉진할 수 있습니다. 예를 들어, 동일한 임상 상황 내에서 감독자는 학습자가 관찰 및 피드백의 초점(병력 기록, 의사소통 또는 환자 관리)을 선택할 수 있도록 함으로써 학습자를 위한 직접 관찰의 관련성을 높일 수 있습니다. 학습자의 목표는 프로그램 목표, 역량(예: 마일스톤) 및 특정 개인의 필요와 일치해야 합니다[지침 17 참조]. 모든 수준의 학습자에게 목표를 설정하도록 요청하면 어려움을 겪는 학습자에게 초점을 맞추기보다는 모든 학습자에게 개선의 중요성을 정상화하는 데 도움이 됩니다. 관찰자와 학습자 간의 협력적 접근 방식은 아래에 설명된 자기조절 학습 주기의 첫 번째 단계인 학습 계획을 촉진합니다[32]. 학습자는 특정 개인화된 목표를 식별하고 이를 위해 노력하라는 요청을 받아들이고, 그렇게 함으로써 학습에 대한 책임감을 심어줍니다[31]. 
Setting goals should involve a negotiation between the learner and supervisor and, where possible, direct observation should include a focus on what learners feel they most need. Learners’ goals motivate their choices about what activities to engage in and their approach to those activities. Goals oriented toward learning and improvement rather than performing well and ‘looking good’ better enable learners to embrace the feedback and teaching that can accompany direct observation [28, 29]. Learners’ autonomy to determine when and for what direct observation will be performed can enhance their motivation to be observed and shifts their focus from performance goals to learning goals [30, 31]. Teachers can foster this autonomy by soliciting learners’ goals and adapting the focus of their teaching and observation to address them. For example, within the same clinical encounter, a supervisor can increase the relevance of direct observation for the learner by allowing the learner to select the focus of observation and feedback-history taking, communication, or patient management. A learner’s goals should align with program objectives, competencies (e. g. milestones) and specific individual needs [see Guideline 17]. Asking learners at all levels to set goals helps normalize the importance of improvement for all learners rather than focusing on struggling learners. A collaborative approach between the observer and learner fosters the planning of learning, the first step in the self-regulated learning cycle described below [32]. Learners are receptive to being asked to identify and work towards specific personalized goals, and doing so instills accountability for their learning [31].

관찰하기 전에 관찰자는 평가의 후과에 대해서도 학습자와 논의해야 합니다. 관찰이 높은 수준의 평가가 아닌 피드백을 위해 사용되는 경우 이를 명확히 하는 것이 중요합니다. 학습자는 직접 관찰을 통해 얻을 수 있는 형성적 학습 기회의 이점을 인식하지 못하는 경우가 많으므로 이점을 설명하는 것이 도움이 될 수 있습니다[33]. 
Prior to observation, observers should also discuss with the learner the consequences of the assessment. It is important to clarify when the observation is being used for feedback as opposed to high-stakes assessment. Learners often do not recognize the benefits of the formative learning opportunities afforded by direct observation, and hence explaining the benefits may be helpful [33].

가이드라인 3. 학습자의 자기조절 학습 능력배양합니다.
Guideline 3. 
Do cultivate learners’ skills in self-regulated learning.

학습을 향상시키기 위한 직접 관찰을 위해 학습자는 개별 목표를 달성하기 위해 받은 피드백의 유용성을 극대화하는 전략을 사용할 준비가 되어 있어야 합니다. 자신의 학습 요구와 지식 및 성과 향상에 필요한 행동에 대한 인식은 직접 관찰의 가치를 최적화합니다. 자기조절 학습은 다음의 지속적인 주기를 설명합니다[32].  

  • 1) 학습을 위한 계획 수립,
  • 2) 활동 중 자기 모니터링 및 학습과 성과를 최적화하기 위해 필요한 조정,
  • 3) 활동 후 목표 달성 여부 또는 어려움의 위치와 이유에 대한 성찰

직접 관찰의 맥락에서의 예는 그림 1에 나와 있습니다. 직접 관찰의 맥락에서 발생하는 것처럼 활동 중에 소량의 특정 피드백을 제공하면 자기조절 학습이 극대화됩니다[34]. 훈련생은 피드백을 구함으로써 스스로 평가한 성과를 보강하는 정도가 다양합니다[35]. [직접 관찰과 피드백을 결합]하면 학습자가 받는 피드백의 양을 늘림으로써 이러한 문제를 극복하는 데 도움이 될 수 있습니다[프로그램 지침 18 참조]. 

For direct observation to enhance learning, the learner should be prepared to use strategies that maximize the usefulness of feedback received to achieve individual goals. Awareness of one’s learning needs and actions needed to improve one’s knowledge and performance optimize the value of being directly observed. Self-regulated learning describes an ongoing cycle of

  • 1) planning for one’s learning;
  • 2) self-monitoring during an activity and making needed adjustments to optimize learning and performance; and
  • 3) reflecting after an activity about whether a goal was achieved or where and why difficulties were encountered [32].

An example in the context of direct observation is shown in Fig. 1. Self-regulated learning is maximized with provision of small, specific amounts of feedback during an activity [34] as occurs in the context of direct observation. Trainees vary in the degree to which they augment their self-assessed performance by seeking feedback [35]. Direct observation combined with feedback can help overcome this challenge by increasing the amount of feedback learners receive [see Program Guideline 18].

가이드라인 4. 중요한 임상 술기는 대리 정보를 사용하지 말고 직접 관찰을 통해 평가합니다.
Guideline 4. 
Do assess important clinical skills via direct observation rather than using proxy information.

감독자는 평가할 술기를 직접 관찰해야 합니다. 실제로 감독자는 학습자의 임상 술기를 평가할 때 대리 정보를 기반으로 하는 경우가 많습니다. 예를 들어, 감독자는 학습자가 환자를 진찰하는 것을 듣고 병력 및 신체 검사 기술을 추론하거나 학습자와 팀과의 상호 작용을 기반으로 환자와의 대인관계 기술을 추론하는 경우가 많습니다[36]. 직접 관찰은 임상 수행 평가의 질, 의미, 신뢰성 및 타당성을 향상시킵니다[37]. 감독자와 학습자는 직접 관찰에 기반한 평가를 효과적인 평가자의 가장 중요한 특성 중 하나로 간주합니다[38]. 또한 학습자는 직접 관찰에 기반한 교육생에 대한 직접적인 정보에 근거할 때 교육 중 평가가 가치 있고 정확하며 신뢰할 수 있다고 생각할 가능성이 더 높습니다[39]. 예를 들어, 로테이션이 끝날 때 평가할 술기인 경우, 감독자는 로테이션이 진행되는 동안 학습자가 병력을 작성하는 것을 여러 번 직접 관찰해야 합니다. 
Supervisors should directly observe skills they will be asked to assess. In reality, supervisors often base their assessment of a learner’s clinical skills on proxy information. For example, supervisors often infer history and physical exam skills after listening to a learner present a patient or infer interpersonal skills with patients based on learner interactions with the team [36]. Direct observation improves the quality, meaningfulness, reliability and validity of clinical performance ratings [37]. Supervisors and learners consider assessment based on direct observation to be one of the most important characteristics of effective assessors [38]. Learners are also more likely to find in-training assessments valuable, accurate and credible when they are grounded in first-hand information of the trainee based on direct observation [39]. For example, if history taking is a skill that will be assessed at the end of a rotation, supervisors should directly observe a learner taking a history multiple times over the rotation.

가이드라인 5. 실습을 방해하지 않고 관찰합니다.
Guideline 5. 
Do observe without interrupting the encounter.


관찰자는 가능한 한 학습자가 방해받지 않고 면담을 진행할 수 있도록 해야 합니다. 학습자는 자율성과 점진적인 독립성을 중요하게 생각합니다[40, 41]. 많은 학습자는 이미 직접 관찰이 학습, 자율성 및 환자와의 관계에 방해가 된다고 느끼고 있으며, 방해는 이러한 우려를 더욱 악화시킵니다[42, 43]. 학습자가 환자 치료에 참여하는 동안 방해하면 학습자의 구두 사례 발표(임상 추론에 대한 직접 관찰의 예)를 중단한 감독자에 대한 연구에서 볼 수 있듯이 중요한 정보가 누락될 수 있습니다[44]. 또한 평가자는 종종 자신의 존재가 학습자와 환자의 관계를 손상시킬 수 있다고 걱정합니다. 관찰자는 환자가 학습자를 우선적으로 바라볼 수 있도록 환자의 주변 시야에 위치하여 직접 관찰하는 동안 방해 요소를 최소화할 수 있습니다. 이러한 위치에서도 관찰자는 [학습자와 환자의 얼굴을 모두 볼 수 있어야 비언어적 단서를 식별]할 수 있습니다. 또한 관찰자는 학습자가 심각한 오류를 범하지 않는 한 학습자와 환자의 상호 작용을 방해하지 않음으로써 관찰자의 존재감을 최소화할 수 있습니다. 관찰자는 과도한 움직임이나 소음(예: 펜 두드리기)과 같이 주의를 산만하게 하는 방해 요소를 피해야 합니다. 
Observers should enable learners to conduct encounters uninterrupted whenever possible. Learners value autonomy and progressive independence [40, 41]. Many learners already feel that direct observation interferes with learning, their autonomy and their relationships with patients, and interruptions exacerbate these concerns [42, 43]. Interrupting learners as they are involved in patient care can lead to the omission of important information as shown in a study of supervisors who interrupted learners’ oral case presentations (an example of direct observation of clinical reasoning) [44]. Additionally, assessors often worry that their presence in the room might undermine the learner-patient relationship. Observers can minimize intrusion during direct observation by situating themselves in the patient’s peripheral vision so that the patient preferentially looks at the learner. This positioning should still allow the observer to see both the learner’s and patient’s faces to identify non-verbal cues. Observers can also minimize their presence by not interrupting the learner-patient interaction unless the learner makes egregious errors. Observers should avoid distracting interruptions such as excessive movement or noises (e. g. pen tapping).

가이드라인 6. 인지적 편견인상 형성 및 암묵적 편견이 관찰 중에 도출된 추론에 영향을 미칠 수 있음을 인식합니다.
Guideline 6. 
Do recognize that cognitive bias, impression formation and implicit bias can influence inferences drawn during observation.

직접 관찰을 통해 도출된 평가의 타당성에는 여러 가지 위협이 있습니다. 평가자는 학습자를 관찰하기 시작하는 순간부터 즉각적인 인상을 형성하며(종종 적은 정보에 근거하여), 종종 빠르게(몇 분 내에) 수행 능력을 판단할 수 있다고 생각합니다[45, 46]. 이러한 빠른 판단, 즉 인상은 개인이 사람의 성격이나 행동에 대한 정보를 인지하고, 조직화하고, 통합하는 데 도움이 됩니다[47]. 인상 형성 문헌에 따르면 이러한 초기 판단이나 추론은 무의식적으로 빠르게 이루어지며 향후 상호 작용, 사람에 대해 기억하는 것, 미래 행동에 대해 예측하는 것에 영향을 미칠 수 있습니다[48]. 또한 학습자의 역량에 대한 판단은 다른 학습자와의 상대적 비교(대조 효과)에 의해 영향을 받을 수 있습니다[49]. 예를 들어, 실력이 부족한 학습자를 관찰한 후 한계 실력의 학습자를 관찰한 감독자는 이전에 실력이 뛰어난 학습자를 관찰했을 때보다 한계 실력의 학습자에 대해 더 호의적인 인상을 가질 수 있습니다. 관찰자는 이러한 편견을 인식하고 관찰된 행동에 근거하여 판단할 수 있도록 충분히 오래 관찰해야 합니다. 감독자는 [추론이 높은 인상]보다는 [추론이 낮고 관찰 가능한 행동]에 초점을 맞춰야 합니다. 예를 들어 학습자가 팔짱을 끼고 서서 나쁜 소식을 전하는 경우, 관찰 가능한 행동은 학습자가 팔짱을 끼고 서 있다는 것입니다. 이러한 행동은 상황에 대한 공감 부족 또는 불편함을 나타낸다는 추론 인상이 높습니다. 관찰자는 자신의 높은 수준의 추론이 정확하다고 가정해서는 안 됩니다. 오히려 비언어적 의사소통의 일부로서 팔짱을 끼는 것이 무엇을 의미하는지 학습자와 함께 탐구해야 합니다[가이드라인 16 참조]. 
There are multiple threats to the validity of assessments derived from direct observation. Assessors develop immediate impressions from the moment they begin observing learners (often based on little information) and often feel they can make a performance judgment quickly (within a few minutes) [45, 46]. These quick judgments, or impressions, help individuals perceive, organize and integrate information about a person’s personality or behaviour [47]. Impression formation literature suggests that these initial judgments or inferences occur rapidly and unconsciously and can influence future interactions, what is remembered about a person and what is predicted about their future behaviours [48]. Furthermore, judgments about a learner’s competence may be influenced by relative comparisons to other learners (contrast effects) [49]. For example, a supervisor who observes a learner with poor skills and then observes a learner with marginal skills may have a more favourable impression of the learner with marginal skills than if they had previously observed a learner with excellent skills. Observers should be aware of these biases and observe long enough so that judgments are based on observed behaviours. Supervisors should focus on low inference, observable behaviours rather than high inference impressions. For example, if a learner is delivering bad news while standing up with crossed arms, the observable behaviour is that the learner is standing with crossed arms. The high inference impression is that this behaviour represents a lack of empathy or discomfort with the situation. Observers should not assume their high-level inference is accurate. Rather they should explore with the learner what crossed arms can mean as part of non-verbal communication [see Guideline 16].

가이드라인 7. 관찰 후 피드백은 관찰 가능한 행동에 초점을 맞춰 제공하세요.
Guideline 7. 
Do provide feedback after observation focusing on observable behaviours.

직접 관찰 후 피드백은 이전에 발표된 모범 사례를 따라야 합니다[14]. 직접 관찰은 행동 계획과 관련된 시기적절한 행동 기반 피드백을 동반할 때 학습자가 더 잘 받아들일 수 있습니다[50]. 직접 관찰 후 피드백은 학습자의 즉각적인 우려 사항을 해결하고, 구체적이고 가시적이며, 학습자가 개선을 위해 앞으로 다르게 수행해야 할 사항을 이해하는 데 도움이 되는 정보를 제공할 때 가장 의미가 있습니다[31, 51]. 긍정적인 피드백은 학습자의 자신감을 향상시켜 학습자가 더 많은 관찰과 피드백을 구하도록 유도하기 때문에 학습자가 잘한 것을 설명하는 것은 중요합니다[31]. 피드백은 직접 대면하여 제공할 때 가장 효과적이므로 감독자는 대면 토론 없이 단순히 평가 양식에 피드백을 문서화하는 것을 피해야 합니다. 
Feedback after direct observation should follow previously published best practices [14]. Direct observation is more acceptable to learners when it is accompanied by timely, behaviourally based feedback associated with an action plan [50]. Feedback after direct observation is most meaningful when it addresses a learner’s immediate concerns, is specific and tangible, and offers information that helps the learner understand what needs to be done differently going forward to improve [31, 51]. Describing what the learner did well is important because positive feedback seems to improve learner confidence which, in turn, prompts the learner to seek more observation and feedback [31]. Feedback is most effective when it is given in person; supervisors should avoid simply documenting feedback on an assessment form without an in-person discussion.

지침 8. 학습자가 피드백을 통합할 수 있도록 종단적으로 관찰합니다.
Guideline 8. 
Do observe longitudinally to facilitate learners’ integration of feedback.

교수자가 학습자를 시간이 지남에 따라 반복적으로 관찰하면 학습이 촉진되며, 이를 통해 전문성 개발에 대한 더 나은 그림을 그릴 수 있습니다. 학습자는 자신의 성과를 되돌아보고 [종적 관계]에서 학습 목표 및 목표 달성에 대해 감독자와 논의할 수 있을 때 매우 만족합니다[25, 31]. 종적 관계는 학습자가 자신의 학습 진행 상황을 목격하고 학습자로서의 더 넓은 관점에서 피드백을 제공할 수 있는 기회를 제공합니다[25]. 지속적인 관찰은 감독자가 학습자의 역량과 한계를 평가하는 데 도움이 될 수 있으며, 이를 통해 학습자에게 앞으로 얼마나 많은 감독이 필요한지 알 수 있습니다[52]. 유능하게 임상 활동을 수행하는 것이 관찰된 학습자에게 다음 임상 활동에서 더 큰 독립성을 가지고 이러한 활동을 수행할 수 있는 권리가 부여되면 자율성이 강화됩니다[53]. 숙련된 임상 교사는 개별 학습자의 목표와 필요에 맞게 교육을 조정하는 기술을 습득하며, 직접 관찰은 학습자 중심의 교육 및 감독 접근 방식에서 중요한 구성 요소입니다[54]. 동일한 감독자가 학습자를 종적으로 관찰할 수 없는 경우, 여러 교수진이 프로그램 수준에서 이러한 관찰 순서를 수행하는 것이 중요합니다.
Learning is facilitated by faculty observing a learner repeatedly over time, which also enables a better picture of professional development to emerge. Learners appreciate when they can reflect on their performance and, working in a longitudinal relationship, discuss learning goals and the achievement of those goals with a supervisor [25, 31]. Longitudinal relationships afford learners the opportunity to have someone witness their learning progression and provide feedback in the context of a broader view of them as a learner [25]. Ongoing observation can help supervisors assess a learner’s capabilities and limitations, thereby informing how much supervision the learner needs going forward [52]. Autonomy is reinforced when learners who are observed performing clinical activities with competence are granted the right to perform these activities with greater independence in subsequent encounters [53]. Experienced clinical teachers gain skill in tailoring their teaching to an individual learner’s goals and needs; direct observation is a critical component of this learner-centred approach to teaching and supervision [54]. If the same supervisor cannot observe a learner longitudinally, it is important that this sequence of observations occurs at the programmatic level by multiple faculty.

가이드라인 9. 많은 학습자가 직접 관찰을 거부한다는 점을 인식하고 이러한 주저함을 극복할 수 있는 전략을 준비합니다.
Guideline 9. 
Do recognize that many learners resist direct observation and be prepared with strategies to try to overcome their hesitation.

일부 학습자는 직접 관찰이 유용하다고 생각하지만[24, 55], 많은 학습자는 직접 관찰을 (주로 사용되는 평가 도구와 무관하게) '체크 박스 연습' 또는 커리큘럼상의 의무로 간주합니다[33, 56]. 학습자는 여러 가지 이유로 직접 관찰을 거부할 수 있습니다. 학습자는 직접 관찰이 [불안을 유발하고 불편하며 스트레스가 많고 인위적이라고 생각]할 수 있습니다[31, 43, 50, 57, 58]. 학습자의 저항은 교수자가 자신을 관찰하기에는 너무 바쁘고[43], 관찰할 시간이 있는 교수자를 찾는 데 어려움을 겪을 것이라는 믿음에서 비롯될 수도 있습니다[59]. 많은 학습자는 [직접 관찰이 피드백이 아닌 높은 수준의 평가에만 사용될 때] 교육적 가치가 거의 없다고 생각하며[60], 교육 및 개선 계획이 포함된 피드백 없이는 직접 관찰이 유용하지 않다고 생각합니다[59]. 한 연구에서는 미니 CEX의 일환으로 100회 이상의 피드백 세션을 오디오 녹음한 결과 교수진이 학습자와 함께 실행 계획을 세우는 데 거의 도움이 되지 않는 것으로 나타났습니다[61]. 학습자는 [교육 도구로서의 직접 관찰]과 [평가 방법으로서의 직접 관찰] 사이에 충돌이 있다고 인식합니다[57, 60]. 많은 학습자는 직접 관찰이 학습, 자율성, 효율성 및 환자와의 관계에 방해가 된다고 생각합니다[42, 43]. 또한 학습자는 자신의 학습을 촉진하기 위해 어려운 상황을 독립적으로 처리하는 것을 중요하게 생각합니다[62, 63]. 

Although some learners find direct observation useful [24, 55], many view it (largely independent of the assessment tool used) as a ‘tick-box exercise’ or a curricular obligation [33, 56]. Learners may resist direct observation for multiple reasons. They can find direct observation anxiety-provoking, uncomfortable, stressful and artificial [31, 43, 50, 57, 58]. Learners’ resistance may also stem from their belief that faculty are too busy to observe them [43] and that they will struggle to find faculty who have time to observe [59]. Many learners (correctly) believe direct observation has little educational value when it is only used for high-stakes assessments rather than feedback [60]; they do not find direct observation useful without feedback that includes teaching and planning for improvement [59]. One study audiotaped over a hundred feedback sessions as part of the mini-CEX and found faculty rarely helped to create an action plan with learners [61]. Learners perceive a conflict between direct observation as an educational tool and as an assessment method [57, 60]. Many learners feel that direct observation interferes with learning, autonomy, efficiency, and relationships with their patients [42, 43]. Furthermore, learners value handling difficult situations independently to promote their own learning [62, 63].

감독자는 직접 관찰에 대한 학습자의 [저항을 줄이기 위한 전략]을 사용할 수 있습니다. 학습자는 관찰을 수행하는 개인과 종적인 관계를 맺을 때 직접 관찰 과정에 참여할 가능성이 더 높습니다. 학습자는 감독자가 자신에게 투자하고, 자신을 존중하며, 자신의 성장과 발달에 관심을 갖고 있다고 느낄 때 더 잘 받아들입니다[31, 64]. 학습자는 일반적으로 관찰이 정기적으로 이루어질 때 직접 관찰에 더 익숙해지기 때문에 관찰은 자주 이루어져야 합니다[58]. [로테이션을 시작할 때 학습 및 기술 개발을 위한 직접 관찰의 역할에 대해 논의]하면 직접 관찰의 양이 늘어납니다[43]. 감독자는 학습자에게 직접 관찰할 수 있음을 알려야 합니다. 감독자는 직접 관찰이 피드백 및 개발을 위해 사용되는 경우와 더 높은 수준의 평가를 위해 사용되는 경우를 명시하여 학습자에게 관찰의 위험도를 명확히 알려야 합니다. 감독자는 학습자가 총괄 평가를 위한 직접 관찰보다 [형성 목적의 직접 관찰]을 더 긍정적으로 여긴다는 점을 기억해야 합니다[65]. 또한 학습자는 개인화된 학습 목표에 초점을 맞추고[31] 효과적이고 질 높은 피드백이 뒤따를 때 직접 관찰을 더 중요하게 여기고 참여할 가능성이 높습니다.
Supervisors can employ strategies to decrease learners’ resistance to direct observation. Learners are more likely to engage in the process of direct observation when they have a longitudinal relationship with the individual doing the observations. Learners are more receptive when they feel a supervisor is invested in them, respects them, and cares about their growth and development [31, 64]. Observation should occur frequently because learners generally become more comfortable with direct observation when it occurs regularly [58]. Discussing the role of direct observation for learning and skill development at the beginning of a rotation increases the amount of direct observation [43]. Supervisors should let learners know they are available for direct observation. Supervisors should make the stakes of the observation clear to learners, indicating when direct observation is being used for feedback and development versus for higher-stakes assessments. Supervisors should remember learners regard direct observation for formative purposes more positively than direct observation for summative assessment [65]. Additionally, learners are more likely to value and engage in direct observation when it focuses on their personalized learning goals [31] and when effective, high quality feedback follows.

개별 감독자가 하지 말아야 할 사항
Don’ts for individual supervisors

가이드라인 10. 피드백을 정량적 평가로 제한하지 마세요.
Guideline 10. Don’t limit feedback to quantitative ratings.

직접 관찰한 내러티브 코멘트는 학습자에게 풍부한 피드백을 제공합니다. 수치 평가가 포함된 평가 양식을 사용하는 경우 학습자에게 서술형 피드백도 제공하는 것이 중요합니다. 많은 직접 관찰 평가 도구는 평가자가 학습자의 수행을 설명하기 위해 숫자 등급을 선택하도록 유도합니다[66]. 그러나 수행 점수를 의미 있게 해석하려면 평가자의 추론에 대한 통찰력을 제공하는 서술적 코멘트가 필요합니다. 내러티브 코멘트는 역량 성취도에 대한 신뢰할 수 있고 방어 가능한 의사 결정을 지원할 수 있습니다[67]. 또한 내러티브 피드백은 건설적인 방식으로 제공될 경우 교육생이 수행 능력의 강점과 약점을 정확하게 파악하고 역량 개발을 안내하는 데 도움이 될 수 있습니다[46]. 직접 관찰 자체에 대한 증거가 부족하고 정량적 평가가 성적과 동일하지 않지만, 다른 평가 문헌에 따르면 학습자가 성적이나 코멘트와 함께 성적만 받았을 때 학습 이득을 보이지 않는다고 합니다. 학습자는 성적에 집중하고 코멘트를 무시하기 때문에 코멘트가 포함된 성적을 받을 때 학습 이득이 발생하지 않는다는 가설이 있습니다[68,69,70]. 반면, 성적 없이 코멘트만 받은 학습자는 큰 학습 이득을 보입니다[68,69,70]. [서술적 피드백이 없는 성적]은 학습자에게 개선을 자극할 수 있는 충분한 정보와 동기를 제공하지 못합니다[26]. 합격/불합격 등급이 특정 수치 등급보다 학생에게 더 잘 받아들여질 수 있지만[51], 전체 등급을 사용하면 피드백에 대한 수용도가 떨어질 수도 있습니다[71]. 직접 관찰 후 학습자와 평점을 공유하는 것의 장단점은 알려져 있지 않지만, 형성적 평가에 직접 관찰을 사용하는 경우 학습자가 강점 영역(잘 수행한 기술)과 개선이 필요한 기술을 설명하는 서술형 피드백을 받는 것이 중요합니다.
Narrative comments from direct observations provide rich feedback to learners. When using an assessment form with numerical ratings, it is important to also provide learners with narrative feedback. Many direct observation assessment tools prompt evaluators to select numerical ratings to describe a learner’s performance [66]. However, meaningful interpretation of performance scores requires narrative comments that provide insight into raters’ reasoning. Narrative comments can support credible and defensible decision making about competence achievement [67]. Moreover, narrative feedback, if given in a constructive way, can help trainees accurately identify strengths and weaknesses in their performance and guide their competence development [46]. Though evidence is lacking in direct observation per se and quantitative ratings are not the same as grades, other assessment literature suggests that learners do not show learning gains when they receive just grades or grades with comments. It is hypothesized that learning gains do not occur when students receive grades with comments because learners focus on the grade and ignore the comments [68,69,70]. In contrast, learners who receive only comments (without grades) show large learning gains [68,69,70]. Grades without narrative feedback fail to provide learners with sufficient information and motivation to stimulate improvement [26]. The use of an overall rating may also reduce acceptance of feedback [51] although a Pass/Fail rating may be better received by students than a specific numerical rating [71]. Although the pros and cons of sharing a rating with a learner after direct observation are not known, it is important that learners receive narrative feedback that describes areas of strength (skills performed well) and skills requiring improvement when direct observation is being used for formative assessment.

가이드라인 11. 학습자와 환자 모두의 허락을 구하고 준비하지 않은 상태에서 환자 앞에서 피드백을 제공하지 마십시오.
Guideline 11.
Don’t give feedback in front of the patient without seeking permission from and preparing both the learner and the patient.

감독자가 환자 앞에서 직접 관찰한 후 학습자에게 피드백을 제공하려는 경우, 사전에 학습자와 환자의 허락을 구하는 것이 중요합니다. 피드백은 일반적으로 조용하고 사적인 장소에서 제공되며, 환자 앞에서 피드백을 제공하면 학습자와 환자의 관계가 손상될 수 있으므로 이러한 허락은 특히 중요합니다. 허가를 구하지 않았거나 허가를 받지 않은 경우 학습자는 환자 앞에서 피드백을 받아서는 안 됩니다. 그러나 예외적으로 환자가 안전하고 효과적이며 환자 중심의 치료를 받지 못하는 경우에는 즉시 중단해야 하며, 이러한 상황에서는 이러한 중단이 피드백의 한 형태임을 인식하고 학습자를 지지하고 비하하지 않는 방식으로 즉각 중단해야 합니다.  
If a supervisor plans to provide feedback to a learner after direct observation in front of a patient, it is important to seek the learner’s and patient’s permission in advance. This permission is particularly important since feedback is typically given in a quiet, private place, and feedback given in front of the patient may undermine the learner-patient relationship. If permission has not been sought or granted, the learner should not receive feedback in front of the patient. The exception, however, is when a patient is not getting safe, effective, patient-centred care; in this situation, immediate interruption is warranted (in a manner that supports and does not belittle the learner), recognizing that this interruption is a form of feedback.

병상 교육은 학습자에게 효과적이고 흥미를 유발할 수 있지만[72, 73] 일부 학습자는 환자 앞에서 교육하는 것이 환자와의 치료 동맹을 약화시키고 긴장된 분위기를 조성하며 질문할 수 있는 능력을 제한한다고 느낍니다[73, 74]. 그러나 환자 중심주의 시대에는 피드백에서 환자 목소리의 역할과 중요성이 증가할 수 있습니다. 실제로 이전 연구에 따르면 많은 환자가 자신의 치료에 대해 논의할 때 의료진이 병상에 있기를 원한다고 합니다[75]. 직접 관찰의 맥락에서 환자와 치료 및 교육적 제휴를 가장 잘 구축하는 방법은 추가적인 주의가 필요합니다. 
Although bedside teaching can be effective and engaging for learners, [72, 73] some learners feel that teaching in front of the patient undermines the patient’s therapeutic alliance with them, creates a tense atmosphere, and limits the ability to ask questions [73, 74]. However, in the era of patient-centredness, the role and importance of the patient voice in feedback may increase. In fact, older studies suggest many patients want the team at the bedside when discussing their care [75]. How to best create a therapeutic and educational alliance with patients in the context of direct observation requires additional attention.

개별 감독자의 경우 모름
Don’t Knows for individual supervisors

지침 12. 직접 관찰하는 동안 인지 부하가 미치는 영향은 무엇이며 이를 완화하기 위한 접근 방식은 무엇입니까?
Guideline 12. 
What is the impact of cognitive load during direct observation and what are approaches to mitigate it?

평가자는 학습자를 관찰하고 평가하는 동시에 환자를 진단하고 돌보려고 노력하면서 상당한 인지 부하를 경험할 수 있습니다[76]. [지각 부하]가 관찰자의 주의력을 압도하거나 초과할 수 있습니다. 이러한 과부하는 한 자극에 집중하면 다른 자극에 대한 지각이 손상되는 '부주의성 실명'을 유발할 수 있습니다[76]. 예를 들어, 학습자의 임상적 추론에 집중하는 동시에 환자를 진단하려고 하면 감독자가 학습자의 의사소통 기술에 주의를 기울이는 데 방해가 될 수 있습니다. 평가자가 평가해야 하는 차원 수가 증가하면 평가의 질이 떨어집니다[77]. 경험이 많은 관찰자는 학습자와 환자에 대한 휴리스틱, 스키마 또는 수행 스크립트를 개발하여 정보를 처리함으로써 관찰 능력을 향상시킵니다[45, 76]. 또한 고도로 숙련된 교수진은 더 강력한 스키마 및 스크립트와 관련된 노력이 감소하기 때문에 인지 부하를 줄이면서 강점과 약점을 감지할 수 있습니다[78]. [평가 도구 설계]도 인지 부하에 영향을 미칠 수 있습니다. 예를 들어, Byrne과 동료들은 인지 부하를 측정하기 위해 검증된 도구를 사용하여 마취를 유도하는 수련의에 대한 객관적인 구조화된 임상 시험을 위해 주관적인 평가 척도보다 20개 이상의 항목 체크리스트를 작성하도록 요청받았을 때 교수진이 더 큰 인지 부하를 경험하는 것으로 나타났습니다[79]. 시뮬레이션이 아닌 상황에서 직접 관찰하는 동안 인지적 부하가 미치는 영향과 관찰자가 중요한 요소만 평가하도록 평가 양식을 구성하여 평가할 항목 수를 제한하는 방법을 결정하기 위해서는 더 많은 연구가 필요합니다. 
An assessor can experience substantial cognitive load observing and assessing a learner while simultaneously trying to diagnose and care for the patient [76]. Perceptual load may overwhelm or exceed the observer’s attentional capacities. This overload can cause ‘inattentional blindness,’ where focusing on one stimulus impairs perception of other stimuli [76]. For example, focusing on a learner’s clinical reasoning while simultaneously trying to diagnose the patient may interfere with the supervisor’s ability to attend to the learner’s communication skills. As the number of dimensions raters are asked to assess increases, the quality of ratings decreases [77]. More experienced observers develop heuristics, schemas or performance scripts about learners and patients to process information and thereby increase observational capacity [45, 76]. More highly skilled faculty may also be able to detect strengths and weaknesses with reduced cognitive load because of the reduced effort associated with more robust schemes and scripts [78]. Assessment instrument design may also influence cognitive load. For example, Byrne and colleagues, using a validated instrument to measure cognitive load, showed that faculty experienced greater cognitive load when they were asked to complete a 20 plus item checklist versus a subjective rating scale for an objective structured clinical examination of a trainee inducing anaesthesia [79]. More research is needed to determine the impact of cognitive load during direct observation in non-simulated encounters and how to structure assessment forms so that observers are only asked to assess critical elements, thereby limiting the number of items to be rated.

지침 13. 다양한 기술을 직접 관찰하기 위한 최적의 시간길이는 얼마입니까?
Guideline 13. 
What is the optimal duration for direct observation of different skills?

최근 직접 관찰 및 피드백 관련 문헌의 대부분은 바쁜 업무 환경에서 효율성을 높이기 위해 직접 관찰 시간을 짧고 집중적으로 유지하는 데 초점을 맞추고 있습니다[80]. 짧은 관찰은 환자를 만나는 시간이 짧은 임상 전문과목에 적합하지만, 다른 전문과목의 경우 긴 관찰을 통해서만 알 수 있는 진료의 관련 측면을 짧은 관찰로 놓칠 수 있습니다. 직접 관찰 및 피드백을 위한 시급한 질문 중 하나는 다양한 전문과목, 학습자 및 술기에 대한 최적의 면담 시간을 결정하는 것입니다. 최적의 면담 시간은 환자의 요구, 관찰 대상 과제, 학습자의 역량, 교수자의 과제에 대한 친숙도 등 여러 변수를 반영해야 할 것입니다[78, 81].
Much of the recent direct observation and feedback literature has focused on keeping direct observation short and focused to promote efficiency in a busy workplace [80]. While short observations make sense for clinical specialties that have short patient encounters, for other specialties relevant aspects of practice that are only apparent with a longer observation may be missed with brief observations. One of the pressing questions for direct observation and feedback is to determine the optimal duration of encounters for various specialties, learners and skills. The optimal duration of an encounter will likely need to reflect multiple variables including the patient’s needs, the task being observed, the learner’s competence and the faculty’s familiarity with the task [78, 81].

교육자/교육 지도자를 위한 근거가 있는 가이드라인
Guidelines with supporting evidence for educators/educational leaders

교육 지도자를 위한 지침
Do’s for educational leaders

지침 14. 관련 임상 기술과 전문성을 기준으로 참관자를 선정합니다.
Guideline 14. 
Do select observers based on their relevant clinical skills and expertise.

프로그램 디렉터와 같은 교육 리더는 관련 임상 기술과 교육 전문성을 기준으로 참관자를 선정해야 합니다. 공정하고 신뢰할 수 있는 평가를 위해서는 콘텐츠 전문성(모범 술기가 어떤 것인지에 대한 지식과 이를 평가할 수 있는 능력)이 전제 조건입니다[82]. 그러나 평가자는 종종 내용 전문성이 부족하다고 느끼는 술기를 직접 관찰하도록 요청받으며, 평가자는 체크리스트를 사용하여 자신의 임상 기술 부족을 보완할 수 있다고 생각하지 않습니다[83]. 또한 감독자 자신의 임상 기술이 학습자를 평가하는 방식에 영향을 미칠 수 있습니다[78]. 평가자의 특성이 평가자 자신의 역량 결핍의 결과인 경우[84], 평가자가 관찰 및 피드백 시 자신을 표준으로 삼는 경우 학습자도 동일한 결핍 또는 역량 장애를 습득할 수 있습니다[78,85,86,87,88,89,90]. 교수진은 종종 자신을 학습자 수행을 평가하는 기준(즉, 참조 프레임)으로 사용하기 때문에[82], 임상 술기 전문성을 기반으로 평가자를 선정하거나 평가자가 자신을 참조 프레임으로 사용하지 않고 유능하고 전문적인 수행을 인정할 수 있도록 평가자 교육을 제공하는 것이 중요합니다.  
Educational leaders, such as program directors, should select observers based on their relevant clinical skills and educational expertise. Content expertise (knowledge of what exemplar skill looks like and having the ability to assess it) is a prerequisite for fair, credible assessment [82]. However, assessors are often asked to directly observe skills for which they feel they lack content expertise, and assessors do not believe using a checklist can make up for a lack of their own clinical skill [83]. Additionally, a supervisor’s own clinical skills may influence how they assess a learner [78]. When assessors’ idiosyncrasy is the result of deficiencies in their own competencies [84] and when assessors use themselves as the gold standard during observation and feedback, learners may acquire the same deficiencies or dyscompetencies [78, 85,86,87,88,89,90]. Because faculty often use themselves as the standard by which they assess learner performance (i. e. frame of reference), [82] it is important to select assessors based on their clinical skills expertise or provide assessor training so assessors can recognize competent and expert performance without using themselves as a frame of reference.

프로그램 수준에서는 특정 술기를 평가할 수 있는 [전문성을 갖춘 개인]에게 필요한 관찰 유형을 조정하는 것이 현명합니다. 예를 들어, 프로그램 디렉터는 심장 전문의에게 학습자의 심장 검사를 관찰하도록 요청하고 완화 치료 의사에게 학습자의 치료 목표에 대한 논의를 관찰하도록 요청할 수 있습니다. 학습자가 평가할 특정 술기에 대한 콘텐츠 전문 지식과 임상적 통찰력을 갖춘 평가자를 사용하는 것도 중요한데, 학습자는 이러한 개인의 피드백을 신뢰할 수 있고 신뢰할 수 있다고 생각할 가능성이 높기 때문입니다[20, 64]. 전문성이 부족한 경우 교수진의 역량 부족을 교정하도록 돕는 것이 중요합니다[91]. 평가와 관련된 교수진 개발은 이론적으로 교수진 자신의 임상 기술을 향상시키는 동시에 관찰 기술을 향상시키는 '일거양득'이 될 수 있습니다[91]. 
At a programmatic level, it is prudent to align the types of observations needed to individuals who have the expertise to assess that particular skill. For example, a program director might ask cardiologists to observe learners’ cardiac exams and ask palliative care physicians to observe learners’ goals of care discussions. Using assessors with content expertise and clinical acumen in the specific skill(s) being assessed is also important because learners are more likely to find feedback from these individuals credible and trustworthy [20, 64]. When expertise is lacking, it is important to help faculty correct their dyscompetency [91]. Faculty development around assessment can theoretically become a ‘two-for-one’—improving the faculty’s own clinical skills while concomitantly improving their observation skills [91].

평가자는 임상 술기 전문성 외에도 [다양한 교육 수준에서 학습자에게 기대할 수 있는 사항에 대한 지식]이 있어야 합니다[83]. 평가자는 교수 및 교육에 전념하고, 학습자의 성장을 촉진하는 데 투자하며, 학습자의 폭넓은 정체성과 경험에 관심을 갖고, 학습자를 신뢰하고 존중하며 돌볼 의향이 있어야 합니다[64][지침 28 참조].
In addition to clinical skills expertise, assessors also must have knowledge of what to expect of learners at different training levels [83]. Assessors must be committed to teaching and education, invested in promoting learner growth, interested in learners’ broader identity and experience, and willing to trust, respect and care for learners [64] [see Guideline 28].

가이드라인 15. 가능하면 직접 관찰을 위해 새로운 도구를 만들기보다는 기존의 타당성 근거가 있는 평가 도구를 사용합니다.
Guideline 15. 
Do use an assessment tool with existing validity evidence, when possible, rather than creating a new tool for direct observation.

직접 관찰을 기반으로 학습자의 수행을 평가하는 데 도움이 되는 많은 도구가 존재합니다[66, 92]. 교육자는 새로운 도구를 만들기보다는 가능하면 타당성 근거가 있는 기존 도구를 사용해야 합니다[93]. 교육자의 목적에 맞는 도구가 존재하지 않는 경우, 기존 도구를 수정하거나 새로운 도구를 만드는 방법이 있습니다. 직접 관찰을 위해 새로운 도구를 만들거나 기존 도구를 수정하려면 타당도 근거 축적을 포함하여 도구 설계 및 평가 지침을 따라야 합니다[94]. 필요한 타당도 증거의 양은 낮은 수준의 형성 평가보다 높은 수준의 총합 평가에 사용되는 도구의 경우 더 많을 것입니다. 
Many tools exist to guide the assessment of learners’ performance based on direct observation [66, 92]. Rather than creating new tools, educators should, when possible, use existing tools for which validity evidence exists [93]. When a tool does not exist for an educator’s purpose, options are to adapt an existing tool or create a new one. Creating a new tool or modifying an existing tool for direct observation should entail following guidelines for instrument design and evaluation, including accumulating validity evidence [94]. The amount of validity evidence needed will be greater for tools used for high-stakes summative assessments than for lower-stakes formative assessments.

도구 설계는 평가자 응답의 신뢰도를 최적화하는 데 도움이 될 수 있습니다. 도구의 앵커 또는 응답 옵션은 수행을 평가하는 방법에 대한 지침을 제공할 수 있습니다. 예를 들어, 행동 앵커 또는 발달 수행의 스펙트럼을 따라 행동을 설명하는 이정표로 정의된 앵커는 평가자의 일관성을 향상시킬 수 있습니다[95]. 학습자에게 필요한 감독 정도 또는 감독자가 느끼는 신뢰도에 대한 감독자의 인상을 묻는 척도는 감독자가 생각하는 방식과 더 잘 일치할 수 있습니다[96]. 전체적인 인상은 긴 체크리스트보다 평가자 간에 성과를 더 안정적으로 포착할 수 있습니다[97]. 특정 [체크리스트]와 [글로벌 인상] 중 어떤 것을 선택할지, 그리고 그 사이의 모든 것을 선택할지는 주로 평가의 목적에 따라 달라집니다. 예를 들어, [피드백]이 주요 목표인 경우 (학습자가 세분화되고 구체적인 피드백을 받지 못한다면) [총체적 평가]는 거의 유용하지 않습니다. 어떤 도구를 선택하든, 도구가 서술적 코멘트를 위한 충분한 공간을 제공하는 것이 중요합니다[71][가이드라인 16 및 30 참조]. 
Tool design can help optimize the reliability of raters’ responses. The anchors or response options on a tool can provide some guidance about how to rate a performance; for example, behavioural anchors or anchors defined as milestones that describe the behaviour along a spectrum of developmental performance can improve rater consistency [95]. Scales that query the supervisor’s impressions about the degree of supervision the learner needs or the degree of trust the supervisor feels may align better with how supervisors think [96]. A global impression may better capture performance reliably across raters than a longer checklist [97]. The choice between the spectrum of specific checklists to global impressions, and everything in between, depends primarily on the purpose of the assessment. For example, if feedback is a primary goal, holistic ratings possess little utility if learners do not receive granular, specific feedback. Regardless of the tool selected, it is important for tools to provide ample space for narrative comments [71] [see Guideline 16 and 30].

중요한 것은 도구의 타당도는 궁극적으로 도구의 사용자와 도구가 사용되는 맥락에 달려 있다는 것입니다. 평가자(예: 교수진)가 직접 관찰하는 것이 바로 도구라고 주장할 수 있습니다. 따라서 프로그램 책임자는 도구를 사용할 관찰자를 교육하는 것보다 도구를 설계하는 데 너무 많은 시간을 할애하는 경우가 많다는 점을 인식해야 합니다[지침 20 참조].
Importantly, validity ultimately resides in the user of the instrument and the context in which the instrument is used. One could argue that the assessors (e. g. faculty), in direct observation, are the instrument. Therefore, program directors should recognize that too much time is often spent designing tools rather than training the observers who will use them [see Guideline 20].

지침 16. 관찰자에게 직접 관찰하는 방법공유된 정신 모델과 공통 평가 기준을 채택하고 피드백을 제공하는 방법을 교육합니다.
Guideline 16. 
Do train observers how to conduct direct observation, adopt a shared mental model and common standards for assessment, and provide feedback.

감독자가 학습자를 관찰한 후 내리는 평가는 매우 다양하며, 같은 상황을 관찰하는 감독자라도 사용하는 도구에 따라 평가와 평가가 달라질 수 있습니다. 관찰자가 수행의 다양한 측면에 초점을 맞추고 우선순위를 정하고 수행을 판단하는 데 다른 기준을 적용하기 때문에 변동성이 발생합니다[46, 82, 98, 99]. 평가자는 또한 역량에 대한 서로 다른 정의를 사용합니다[82, 98]. 관찰자가 성과를 판단하는 데 사용하는 기준은 종종 경험적이고 특이한 방식으로 도출되며, 일반적으로 최근 경험의 영향을 받고[49, 82, 100], 첫인상에 크게 의존할 수 있습니다[48]. 평가자는 자신의 훈련과 수년간의 임상 및 교육 관행의 결과로 특이성을 개발합니다. 이러한 특성이 강력한 임상적 증거와 모범 사례에 근거한 경우 반드시 도움이 되지 않는 것은 아닙니다. 예를 들어, 평가자는 환자 중심 면담의 전문가로서 면담의 다른 측면을 배제하고 관찰하는 동안 그러한 행동과 기술을 크게 강조할 수 있습니다[47]. 뛰어난 성과 또는 매우 취약한 성과를 식별하는 것은 간단한 것으로 간주되지만, '회색 영역'의 성과에 대한 결정은 더 어렵습니다 [83].  

The assessments supervisors make after observing learners with patients are highly variable, and supervisors observing the same encounter assess and rate the encounter differently regardless of the tool used. Variability results from observers focusing on and prioritizing different aspects of performance and applying different criteria to judge performance [46, 82, 98, 99]. Assessors also use different definitions of competence [82, 98]. The criteria observers use to judge performance are often experientially and idiosyncratically derived, are commonly influenced by recent experiences, [49, 82, 100] and can be heavily based on first impressions [48]. Assessors develop idiosyncrasies as a result of their own training and years of their own clinical and teaching practices. Such idiosyncrasies are not necessarily unhelpful if based on strong clinical evidence and best practices. For example, an assessor may be an expert in patient-centred interviewing and heavily emphasize such behaviours and skills during observation to the exclusion of other aspects of the encounter [47]. While identifying outstanding or very weak performance is considered straightforward, decisions about performance in ‘the grey area’ are more challenging [83].

[평가자 교육]은 이러한 직접 관찰의 한계를 극복하는 데 도움이 될 수 있지만 완전히 없애지는 못합니다.
Rater training can help overcome but not eliminate these limitations of direct observation.

[수행 차원 교육]은 참가자들이 관찰되는 [수행의 측면]과 [수행 평가 준거]에 대한 이해를 공유하는 평가자 교육 접근 방식입니다[9]. 예를 들어, 슈퍼바이저는 환자에게 약물 복용 시작에 대해 상담할 때 중요한 기술이 무엇인지 논의할 수 있습니다. 대부분의 평가자는 판단의 [스캐폴드 또는 중추 역할을 하는 프레임워크]를 환영합니다[83]. [성과 차원 교육]을 받은 수퍼바이저는 이 과정을 통해 평가 기준에 대한 [공유된 정신 모델]을 제공받음으로써 보다 표준화되고 체계적이며 포괄적이고 구체적인 관찰을 할 수 있고, 이전에는 주의를 기울이지 않았던 기술에 주의를 기울이며, 구체적인 피드백을 제공하는 자기 효능감을 향상시킬 수 있었다고 설명합니다[91]. 
Performance dimension training is a rater training approach in which participants come to a shared understanding of the aspects of performance being observed and criteria for rating performance [9]. For example, supervisors might discuss what are the important skills when counselling a patient about starting a medication. Most assessors welcome a framework to serve as a scaffold or backbone for their judgments [83]. Supervisors who have done performance dimension training describe how the process provides them with a shared mental model about assessment criteria that enables them to make more standardized, systematic, comprehensive, specific observations, pay attention to skills they previously did not attend to, and improve their self-efficacy giving specific feedback [91].

[기준 프레임 교육]평가자에게 [평가 차원과 관련된 적절한 기준을 제공]함으로써 관찰 및 평가 중에 성과에 대한 공통 개념화(즉, 기준 프레임)를 사용하도록 평가자를 교육함으로써 [성과 차원 교육]을 기반으로 합니다[101]. 비의료 성과 평가 문헌의 체계적 검토 및 메타 분석에 따르면 [기준 프레임 교육]은 중간 정도의 효과 크기로 평가 정확도를 크게 향상시키는 것으로 나타났습니다[101, 102]. 의학 분야에서 Holmboe 등은 표준화된 레지던트 및 환자와 함께 실제 실습을 포함한 8시간의 [기준 프레임 훈련 세션]이 개입 8개월 후 직접 관찰에서 관용을 약간 줄이고 정확도를 향상시킨다는 것을 보여주었습니다[9]. 그러나 짧은 평가자 교육(예: 반나절 워크숍)은 평가자 간 신뢰도를 개선하는 것으로 나타나지 않았습니다[103].
Frame of reference training builds upon performance dimension training by teaching raters to use a common conceptualization (i. e., frame of reference) of performance during observation and assessment by providing raters with appropriate standards pertaining to the rated dimensions [101]. A systematic review and meta-analysis from the non-medical performance appraisal literature demonstrated that frame of reference training significantly improved rating accuracy with a moderate effect size [101, 102]. In medicine, Holmboe et al. showed that an 8‑hour frame of reference training session that included live practice with standardized residents and patients modestly reduced leniency and improved accuracy in direct observation 8 months after the intervention [9]. However, brief rater training (e. g. half day workshop) has not been shown to improve inter-rater reliability [103].

교수진 개발 프로그램 책임자는 참가자가 교육 및 임상 업무에 평가자 교육을 적용할 수 있도록 하는 방법을 계획해야 합니다. 전략에는 참가자가 인지한 필요와 관련된 자료와 업무 맥락에서 적용 가능한 형식을 만드는 것이 포함됩니다[82, 104]. 교육 효과를 위한 [효과적인 교수진 개발]의 주요 특징에는 체험 학습, 피드백 제공, 효과적인 동료 및 동료 관계, 의도적인 커뮤니티 구축, 종단적 프로그램 설계 등이 포함됩니다[105, 106]. 동료 평가와 협업을 위해 서로 의지하는 교육자 간부 집단인 실무 커뮤니티를 개발하는 데 초점을 맞춘 교수진 개발은 평가자 교육에서 특히 중요하며 참가자들로부터 긍정적인 반응을 얻고 있습니다[91]. 그룹 교육은 교수진 개발의 중점을 개인에서 직접적인 관찰과 피드백에 투자하는 교육자 커뮤니티로 옮기는 것이 중요하다는 점을 강조합니다. 평가자는 직접 관찰 후 피드백을 제공할 때, 특히 건설적인 피드백을 제공할 때 긴장을 경험하기 때문에[107], 평가자 교육에는 [직접 관찰 후 효과적인 피드백 제공에 대한 교육]도 포함되어야 합니다[지침 32 참조]. 평가자 교육이 중요하지만, 평가자 교육에 대한 해답이 없는 질문이 여전히 많이 남아 있습니다[가이드라인 31 참조].

Directors of faculty development programs should plan how to ensure that participants apply the rater training in their educational and clinical work. Strategies include making the material relevant to participants’ perceived needs and the format applicable within their work context [82, 104]. Key features of effective faculty development for teaching effectiveness also include the use of experiential learning, provision of feedback, effective peer and colleague relationships, intentional community building and longitudinal program design [105, 106]. Faculty development that focuses on developing communities of practice, a cadre of educators who look to each other for peer review and collaboration, is particularly important in rater training and is received positively by participants [91]. Group training highlights the importance of moving the emphasis of faculty development away from the individual to a community of educators invested in direct observation and feedback. Because assessors experience tension giving feedback after direct observation, particularly when it comes to giving constructive feedback [107], assessor training should also incorporate teaching on giving effective feedback after direct observation [see Guideline 32]. While rater training is important, a number of unanswered questions about rater training still remain [see Guideline 31].

지침 17. 직접 관찰이 프로그램 목표 및 역량(예: 마일스톤)과 일치하는지 확인합니다.
Guideline 17. 
Do ensure direct observation aligns with program objectives and competencies (e. g. milestones).

명확하게 표현된 프로그램 목표와 목적은 [직접 관찰의 목적을 정의하기 위한 단계]를 설정합니다[93]. 정의된 평가 프레임워크는 학습자와 감독자의 교육 목표에 대한 이해를 조정하고 평가에 사용할 도구의 선택을 안내합니다.

  • 프로그램 디렉터는 관찰할 실습의 구성 요소를 정의하는 분석적 접근법('분해하기')을 사용하여 목표와 목적을 정의할 수 있으며, 이를 통해 세부 체크리스트를 작성할 수 있습니다[108].
  • 또한 [종합적 접근법]을 사용하여 유능하고 신뢰할 수 있는 실습에 필요한 업무 활동을 정의할 수 있으며, 이를 통해 위탁 등급과 같은 보다 총체적인 척도를 적용할 수 있습니다[109].

프로그램 디렉터는 감독자와 학습자가 직접 관찰을 위해 학습자 목표를 논의할 때 프로그램에서 사용되는 프로그램 목표, 역량, 마일스톤 및 EPA를 참조하도록 권장할 수 있습니다.
Clearly articulated program goals and objectives set the stage for defining the purposes of direct observation [93]. A defined framework for assessment aligns learners’ and supervisors’ understandings of educational goals and guides selection of tools to use for assessment.

  • Program directors may define goals and objectives using an analytic approach (‘to break apart’) defining the components of practice to be observed, from which detailed checklists can be created [108].
  • synthetic approach can also be used to define the work activities required for competent, trustworthy practice, from which more holistic scales such as ratings of entrustment can be applied [109].

Program directors can encourage supervisors and learners to refer to program objectives, competencies, milestones and EPAs used in the program when discussing learner goals for direct observation.

지침 18. 학습자가 진정성 있게 연습하도록 유도하고 피드백을 환영하는 문화를 조성합니다.
Guideline 18. 
Do establish a culture that invites learners to practice authentically and welcome feedback.

대부분의 학습자는 성적과 고난도 시험에 중점을 두는 예비 대학 또는 학부 문화에서 의과대학에 입학합니다. 의과대학에서는 여전히 성적과 시험이 학습자의 행동을 크게 좌우할 수 있으며, 학습자는 여전히 낮은 비중의 평가를 학습 기회라기보다는 극복해야 할 총체적인 장애물로 인식할 수 있습니다. 학습자는 종종 학습 또는 성과에 대한 기대치에 대해 여러 가지 상충되는 메시지를 감지합니다[60, 110]. 그렇다면 현재 상황을 어떻게 [학습자 중심]으로 바꿀 수 있을까요? 
Most learners enter medical school from either pre-university or undergraduate cultures heavily steeped in grades and high-stakes tests. In medical school, grades and tests can still drive substantial learner behaviour, and learners may still perceive low-stakes assessments as summative obstacles to be surmounted rather than as learning opportunities. Learners often detect multiple conflicting messages about expectations for learning or performance [60, 110]. How then can the current situation be changed to be more learner centred?

프로그램은 학습자에게 언제, 어디서 학습 문화가 낮은 위험도의 실습 기회를 제공하는지 명시적으로 파악하고, 학습자가 직접 관찰을 학습 활동으로 받아들일 수 있는 문화를 조성해야 합니다. 임상 교육 환경에서 학습자는 유능해 보이고 높은 점수를 받아야 한다는 압박감을 최소화하는 감독자가 학습 목표에서 다루는 술기를 수행하는 것을 관찰할 기회가 필요합니다[111]. 학습 방향(학습자 또는 숙달 목표 대 수행 목표)은 학습 결과에 영향을 미칩니다[112].

  • [숙달 지향적 학습자]는 학습을 위해 노력하고, 피드백을 요청하며, 도전을 수용하고, 개선을 축하합니다. 반대로
  • [성과 지향적 학습자]는 유능해 보이고 실패를 피할 수 있는 기회를 찾습니다.
  • 같은 기술이나 과제를 연습하고 재시도할 수 있고 노력과 개선에 대해 보상하는 문화는 숙달 지향성을 촉진합니다.

Programs should explicitly identify for learners when and where the learning culture offers low-stakes opportunities for practice, and programs should foster a culture that enables learners to embrace direct observation as a learning activity. In the clinical training environment, learners need opportunities to be observed performing the skills addressed in their learning goals by supervisors who minimize perceived pressures to appear competent and earn high marks [111]. Orientations to learning (learner or mastery goals versus performance goals) influence learning outcomes [112].

  • A mastery-oriented learner strives to learn, invites feedback, embraces challenges, and celebrates improvement.
  • Conversely, a performance-oriented learner seeks opportunities to appear competent and avoid failure.
  • A culture that enables practice and re-attempting the same skill or task, and rewards effort and improvement, promotes a mastery orientation. 

[학습을 희생하면서 성적, 완벽함 또는 정답을 강조하는 문화]는 학습자가 직접 관찰을 피하는 것처럼 실패를 피하기 위해 적극적으로 노력하는 부적응적인 '성과 회피' 목표를 조장할 수 있습니다[28]. 프로그램은 직접 관찰자가 정확성보다는 연습과 노력에 가치를 두는 커뮤니케이션 관행을 사용하도록 장려해야 합니다. 낮은 수준의 환경에서 직접 관찰 및 피드백을 수행하는 교사의 역할과 평가자의 역할을 분리하면 학습자가 이러한 구분을 명확히 알 수 있습니다. 또한 프로그램은 학습자에게 학습에 대한 개인적 선택권을 부여하고 학습자와 감독자 간의 종적 관계를 보장함으로써 학습자가 피드백을 잘 받아들이는 문화가 조성되도록 해야 합니다[14, 26]. 
A culture that emphasizes grades, perfection or being correct at the expense of learning can promote maladaptive ‘performance-avoid’ goals in which learners actively work to avoid failure, as in avoiding being directly observed [28]. Programs should encourage direct observers to use communication practices that signal the value placed on practice and effort rather than just on correctness. Separating the role of teacher who conducts direct observation and feedback in low-stakes settings from the role of assessor makes these distinctions explicit for learners. Programs should also ensure their culture promotes learner receptivity to feedback by giving learners personal agency over their learning and ensuring longitudinal relationships between learners and their supervisors [14, 26].

가이드라인 19. 직접 관찰을 가능하게 하거나 방해하는 시스템 요인에 주의를 기울이십시오.
Guideline 19. 
Do pay attention to systems factors that enable or inhibit direct observation.

[의료 실습 환경의 구조와 문화]는 직접 관찰에 대한 가치를 뒷받침할 수 있습니다. 수련생은 지도의가 언제, 어떤 활동을 관찰하는지에 주의를 기울이고 이를 바탕으로 어떤 교육 및 임상 활동을 중요하게 여기는지 유추합니다[42]. 
The structure and culture of the medical training environment can support the value placed on direct observation. Trainees pay attention to when and for what activities their supervisors observe them and infer, based on this, which educational and clinical activities are valued [42].

교육 환경 내에서 환자 중심 치료에 초점을 맞추면 [마이크로 시스템] 내에서 학습자와 감독자가 공유하는 임상 실습 과제를 통해 일상적인 임상 치료에 교육을 포함할 수 있습니다 [113]. 직접 관찰 과정에 대한 교수진의 동의는 학습을 위한 직접 관찰의 중요성에 대한 교육과 교수진이 병상에서 학습자와 함께 시간을 보낼 수 있는 일정 구조를 통해 얻을 수 있습니다[93]. 환자 간호를 수행할 때 직접 관찰을 수행하도록 교수진을 교육하면 이 작업이 효율적이고 질 높은 간호 및 교육에 필수적인 것으로 간주됩니다[114]. 이 교육 전략에 대한 환자와 가족의 선호도는 이 전략이 치료에 도움이 된다고 인식하고 있으며, 그 결과 임상의의 환자 만족도가 더 높아질 수 있음을 시사합니다[115, 116]. 
A focus on patient-centred care within a training environment embeds teaching in routine clinical care through clinical practice tasks shared between learners and supervisors within microsystems [113]. Faculty buy-in to the process of direct observation can be earned through education about the importance of direct observation for learning and through schedule structures that enable faculty time with learners at the bedside [93]. Training faculty to conduct direct observation as they conduct patient care frames this task as integral to efficient, high quality care and education [114]. Patient and family preferences for this educational strategy suggest that they perceive it as beneficial to their care, and clinicians can enjoy greater patient satisfaction as a result [115, 116].

교육 리더는 직접 관찰을 제한하는 [시스템 장벽]을 해결해야 합니다.

  • 직접 관찰과 피드백을 위한 시간 부족은 직접 관찰을 가로막는 가장 흔한 장벽 중 하나입니다. 프로그램은 교육 및 환자 치료 시스템(예: 감독자:학습자 비율, 환자 센서스)이 직접 관찰 및 피드백을 위한 시간을 허용하도록 보장해야 합니다.
  • 교육 병원의 더 큰 임상 진료 환경에 주의를 기울이면 직접 관찰을 촉진하기 위해 해결해야 할 추가적인 장벽을 발견할 수 있습니다.
  • 현재의 수련 환경은 전자 건강 기록을 사용하여 컴퓨터로 빠르게 작업을 완료하는 데 집중하는 경우가 너무 많으며, 환자와 상호 작용하거나 교육 활동에 소요되는 수련의의 시간은 소수에 불과합니다[117, 118].
  • 드물지 않게, 감독자-학습자 쌍이 자주 바뀌면 학습자가 피드백을 통합하고 개선 사항을 입증하기 위해 동일한 감독자가 오랜 시간 동안 관찰하기 어렵습니다[119].
  • 프로그램 디렉터는 학습 환경에 대한 감독자와 학습자의 인식, 건설적인 피드백을 주고받는 능력, 학습자에 대한 판단의 공정성을 신뢰하는 능력을 향상시키는 종적 관계를 제공하는 커리큘럼 구조를 고려해야 합니다[26, 120, 121].
  • 대학원 의학 교육에서 외래 연속성 경험을 재설계하면 이러한 직접 관찰 및 피드백을 위한 종단적 기회를 촉진할 수 있습니다[122]. 

Educational leaders must address the systems barriers that limit direct observation.

  • Lack of time for direct observation and feedback is one of the most common barriers to direct observation. Programs need to ensure that educational and patient care systems (e. g. supervisor:learner ratios, patient census) allow time for direct observation and feedback.
  • Attention to the larger environment of clinical care at teaching hospitals can uncover additional barriers that should be addressed to facilitate direct observation.
  • The current training environment is too often characterized by a fast-paced focus on completing work at computers using the electronic health record, with a minority of trainee time spent interacting with patients or in educational activities [117118].
  • Not uncommonly, frequent shifts in supervisor-learner pairings make it difficult for learners to be observed by the same supervisor over time in order to incorporate feedback and demonstrate improvement [119].
  • Program directors should consider curricular structures that afford longitudinal relationships that enhance supervisors’ and learners’ perceptions of the learning environment, the ability to give and receive constructive feedback and trust the fairness of judgments about learners [26120121].
  • Redesign of the ambulatory continuity experience in graduate medical education shows promise to foster these longitudinal opportunities for direct observation and feedback [122].

프로그램에 집중하지 않기
Don’ts focused on program

지침 20. 직접 관찰에 적합한 도구를 선택한다고 해서 평가자 교육이 필요 없다고 가정하지 마십시오.
Guideline 20. 
Don’t assume that selecting the right tool for direct observation obviates the need for rater training.

직접 관찰용 도구 사용자는 잘 설계된 도구는 평가자가 사용법을 모두 이해할 수 있을 정도로 명확할 것이라고 잘못 생각할 수 있습니다. 그러나 앞서 설명한 바와 같이, 어떤 도구를 선택하든 평가자는 도구를 사용하여 직접 관찰하고 관찰 내용을 기록하도록 교육받아야 합니다. 실제 측정 도구는 도구가 아니라 교수 감독자입니다. 
Users of tools for direct observation may erroneously assume that a well-designed tool will be clear enough to raters that they will all understand how to use it. However, as described previously, regardless of the tool selected, observers should be trained to conduct direct observations and record their observations using the tool. The actual measurement instrument is the faculty supervisor, not the tool.

지침 21. 학습자에게 직접 관찰을 요청하는 책임을 전적으로 학습자에게만 지우지 마세요.
Guideline 21. 
Don’t put the responsibility solely on the learner to ask for direct observation.

학습자와 감독자는 직접 관찰 및 피드백이 이루어질 수 있도록 함께 책임을 져야 합니다. 학습자는 실제 임상 수행에 초점을 맞춘 의미 있는 피드백을 원하지만, [31, 39] 일반적으로 직접 관찰을 학습에 유용한 것으로 평가하는 것과 자율적이고 효율적으로 수행하기를 원하는 것 사이에서 긴장을 경험합니다[42]. 직접 관찰, [자율성, 효율성]이라는 두 가지 목표를 동시에 인정하면서 직접 관찰이 일상적인 활동의 일부가 되는 교육 문화로 바꾸면 학습자의 부담을 완화할 수 있습니다. 직접 관찰을 요청하는 학습자의 책임을 제거하거나 줄이고, 부분적으로 교수진과 프로그램의 책임으로 만드는 것은 이 학습 활동에 대한 [공동 책임]을 촉진할 것입니다. 
Learners and their supervisors should together take responsibility for ensuring that direct observation and feedback occur. While learners desire meaningful feedback focused on authentic clinical performance, [31, 39] they commonly experience tension between valuing direct observation as useful to learning and wanting to be autonomous and efficient [42]. Changing the educational culture to one where direct observation is a customary part of daily activities, with acknowledgement of the simultaneous goals of direct observation, autonomy and efficiency, may ease the burden on learners. Removing or reducing responsibility from the learner to ask for direct observation and making it, in part, the responsibility of faculty and the program will promote shared accountability for this learning activity.

지침 22. 교수자가 교사와 평가자 사이에서 느끼는 긴장을 과소평가하지 마십시오.
Guideline 22. 
Don’t underestimate faculty tension between being both a teacher and assessor.

20년 전 마이클 J. 고든은 교수자가 교사(학습자에게 지도 제공)와 평가자(학습자가 성과 기준을 충족하는지 교육 프로그램에 보고)로서 겪는 갈등에 대해 설명했습니다[123]. 현재 역량 기반 의학교육의 시대에는 교수진이 [직접 관찰한 상황을 보고해야 하는 요구 사항이 증가함]에 따라 이러한 긴장이 지속되고 있습니다. Gordon의 해결책은 역량 기반 의학교육의 많은 발전 사항을 반영합니다. 학습자 중심의 두 가지 시스템을 개발하여 일선 교수진이 학습자에게 피드백과 지도를 제공하는 시스템과 교수자 중심의 시스템으로 최소한의 역량을 유지하지 못하는 학습자를 모니터링하거나 선별하여 추가 의사 결정 및 평가를 전문 표준위원회에 넘기는 것입니다[124, 125]. 프로그램은 역량 기반 의학교육에서 직접 관찰을 사용할 때 교수진의 이중적 입장에 민감해야 하며, 이러한 역할 갈등을 최소화하는 패러다임을 고려해야 합니다[126, 127].

Two decades ago Michael J. Gordon described the conflict faculty experience being both teacher (providing guidance to the learner) and high-stakes assessor (reporting to the training program if the learner is meeting performance standards) [123]. In the current era of competency-based medical education, with increased requirements on faculty to report direct observation encounters, this tension persists. Gordon’s solution mirrors many of the developments of competency-based medical education: develop two systems, one that is learner-oriented to provide learners with feedback and guidance by the frontline faculty, and one that is faculty-oriented, to monitor or screen for learners not maintaining minimal competence, and for whom further decision making and assessment would be passed to a professional standards committee [124, 125]. Programs will need to be sensitive to the duality of faculty’s position when using direct observation in competency-based medical education and consider paradigms that minimize this role conflict [126, 127].

가이드라인 23. 직접 관찰에 대한 학습 문화를 방해할 수 있으므로 모든 직접 관찰을 높은 위험도로 만들지 마십시오.
Guideline 23. 
Don’t make all direct observations high stakes; this will interfere with the learning culture around direct observation.

대부분의 직접 관찰은 높은 위험도가 아니라 교수자가 학습자의 일상 업무에 대한 지침을 제공할 수 있도록 진정한 환자 중심 진료에 대한 낮은 위험도의 평가로 수행해야 합니다. 직접 관찰의 장점 중 하나는 학습자가 실제 임상 업무에 어떻게 접근하는지 볼 수 있는 기회이지만, 관찰 행위로 인해 성과가 변경되면 이점이 상쇄될 수 있습니다[128]. 학습자는 자신의 성과가 변경될 정도로 관찰과 관련된 '이해관계'에 매우 민감합니다[11, 31]. 직접 관찰에 대한 레지던트의 인식에 대한 질적 연구에서 레지던트들은 관찰자를 기쁘게 하기 위해, 그리고 성과가 채점된다고 생각하기 때문에 임상 스타일을 바꾼다고 보고했습니다. 직접 관찰은 학습자의 목표를 환자 중심 진료에서 성과 중심 진료로 전환했습니다[11]. 또 다른 연구에서 레지던트들은 직접 관찰에 대한 '이해관계'가 없기 때문에(관찰과 관련된 대화는 관찰자와 학습자 사이에만 이루어짐) 임상 수행의 진정성을 높이는 데 도움이 된다고 인식했습니다[31].
Most direct observations should not be high stakes, but rather serve as low-stakes assessments of authentic patient-centred care that enable faculty to provide guidance on the learner’s daily work. One of the benefits of direct observation is the opportunity to see how learners approach their authentic clinical work, but the benefits may be offset if the act of observation alters performance [128]. Learners are acutely sensitive to the ‘stakes’ involved in observation to the point that their performance is altered [11, 31]. In a qualitative study of residents’ perceptions of direct observation, residents reported changing their clinical style to please the observer and because they assumed the performance was being graded. The direct observation shifted the learner’s goals from patient-centred care to performance-centred care [11]. In another study, residents perceived that the absence of any ‘stakes’ of the direct observation (the conversations around the observations remained solely between observer and learner) facilitated the authenticity of their clinical performance [31].

지침 24. 직접 관찰을 사용하여 중요한 종합 결정을 내릴 때는 너무 짧은 시간 동안 너무 적은 수의 평가자에 의한 너무 적은 수의 직접 관찰에 근거하여 결정하지 말고 직접 관찰 데이터에만 의존하지 마십시오.
Guideline 24. 
When using direct observation for high-stakes summative decisions, don’t base decisions on too few direct observations by too few raters over too short a time and don’t rely on direct observation data alone.

단일 임상 성과에 대한 단일 평가에는 잘 설명된 한계가 있습니다:

  • 1) 평가는 단 한 명의 평가자의 인상을 포착하고
  • 2) 임상 수행은 단일 콘텐츠 영역으로 제한되는 반면 학습자는 평가의 내용, 환자 및 맥락에 따라 다르게 수행합니다[129, 130].

평가의 일반화 가능성을 높이려면 다양한 콘텐츠(예: 진단 및 술기) 및 맥락에서 학습자의 수행을 관찰하는 평가자의 수를 늘리는 것이 중요합니다[131, 132]. 또한 특정 시점의 학습자의 임상 수행은 감정 상태, 동기 부여 또는 피로와 같은 외부 요인에 의해 영향을 받을 수 있습니다. 따라서 일정 기간 동안 관찰한 내용을 캡처하면 보다 안정적으로 성과를 측정할 수 있습니다.
A single assessment of a single clinical performance has well-described limitations: 1) the assessment captures the impression of only a single rater and 2) clinical performance is limited to a single content area whereas learners will perform differentially depending on the content, patient, and context of the assessment [129, 130]. To improve the generalizability of assessments, it is important to increase the number of raters observing the learner’s performance across a spectrum of content (i. e. diagnoses and skills) and contexts [131, 132]. Furthermore, a learner’s clinical performance at any given moment may be influenced by external factors such as their emotional state, motivation, or fatigue. Thus, capturing observations over a period of time allows a more stable measure of performance.

평가 프로그램에서 여러 평가 도구(예: 의학 지식 테스트, 모의 상황, 직접 관찰)에서 수집한 정보를 결합하면 단일 평가 도구보다 학습자의 역량을 더 균형 있게 평가할 수 있습니다[133, 134]. 역량은 다차원적이며, 단일 평가 도구로는 모든 차원을 하나의 형식으로 평가할 수 없습니다[130, 135]. 이는 평가 도구를 뒷받침하는 타당성 논거를 검토할 때 분명하게 드러나는데, 단일 평가 도구의 경우 항상 논거의 강점과 약점이 존재합니다[136, 137]. 역량에 관한 의사결정에 도움이 되는 최상의 증거를 제공하는 도구를 신중하게 선택하는 것이 중요합니다[136, 137]. 예를 들어, 기술 숙련도를 평가하는 것이 목표인 경우, 프로그램은 시술의 적응증, 금기 사항 및 합병증에 대한 지식 테스트와 시뮬레이션 실험실의 파트별 트레이너를 사용한 직접 관찰 및 실제 임상 환경에서의 직접 관찰(환자와의 의사소통과 더불어 학습자의 기술 숙련도를 평가할 수 있는 곳)을 결합할 수 있습니다.
Combining information gathered from multiple assessment tools (e. g. tests of medical knowledge, simulated encounters, direct observations) in a program of assessment will provide a more well-rounded evaluation of the learner’s competence than any single assessment tool [133, 134]. Competence is multidimensional, and no single assessment tool can assess all dimensions in one format [130, 135]. This is apparent when examining the validity arguments supporting assessment tools; for any single assessment tool, there are always strengths and weaknesses in the argument [136, 137]. It is important to carefully choose the tools that provide the best evidence to aid decisions regarding competence [136, 137]. For example, if the goal is to assess a technical skill, a program may combine a knowledge test of the indications, contraindications and complications of the procedure with direct observation using part-task trainers in the simulation laboratory with direct observation in the real clinical setting (where the learner’s technical skills can be assessed in addition to their communication with the patient).

모름
Don’t Knows

가이드라인 25. 학습자의 독립성과 효율성이라는 가치를 훼손하지 않으면서 학습자가 관찰을 요청하도록 동기를 부여하는 프로그램은 무엇입니까?
Guideline 25. 
How do programs motivate learners to ask to be observed without undermining learners’ values of independence and efficiency?

직접적인 관찰/피드백과 자율성/효율성을 동시에 중시하는 학습 문화를 조성하는 데 따르는 어려움에 대해 논의되었지만, 이 문제에 대한 해결책은 명확하지 않습니다. 잠재적인 접근 방식으로는 교수진을 대상으로 짧은 만남에 대한 직접 관찰을 장려하고(따라서 효율성에 미치는 영향을 최소화), 교수진의 일상 업무에 직접 관찰의 근거를 두는 것이 있습니다[66, 129]. 그러나 이러한 전략은 직접 관찰에 더 많은 시간이 필요한 역량(예: 전문적 행동, 협업 기술 등)과는 반대로 짧은 관찰이 가능한 특정 업무에 직접 관찰을 집중하는 의도하지 않은 효과를 가져올 수 있습니다[60]. 또 다른 해결책은 환자 회진, 인수인계, 병원 또는 외래 환자 퇴원, 클리닉 프리셉팅 등과 같은 일상 업무에 직접 관찰을 포함시키는 것입니다. 기존 활동을 활용하면 일부 전문 분야 및 프로그램에서 발생하는 것처럼 학습자가 직접 관찰을 요청해야 하는 부담을 줄일 수 있습니다. 예를 들어, 맥마스터의 응급의학과 레지던트 프로그램에서는 관찰 영역을 공식화하여 각 응급실 교대 근무 시 감독자가 직접 관찰하는 시스템을 활용하고 있습니다[138]. 학습자가 관찰을 요청하도록 동기를 부여하는 추가 접근 방식을 식별하는 것이 중요합니다. 

While the difficulties in having a learning culture that simultaneously values direct observation/feedback and autonomy/efficiency have been discussed, solutions to this problem are less clear. Potential approaches might be to target faculty to encourage direct observation of short encounters (thus minimizing the impact on efficiency) and to ground the direct observation in the faculty’s daily work [66, 129]. However, these strategies can have the unintended effect of focusing direct observation on specific tasks which are amenable to short observations as opposed to competencies that require more time for direct observation (e. g. professional behaviour, collaboration skills etc.) [60]. Another solution may be to make direct observation part of daily work, such as patient rounds, hand-offs, discharge from a hospital or outpatient facility, clinic precepting and so forth. Leveraging existing activities reduces the burden of learners having to ask for direct observation, as occurs in some specialties and programs. For example, McMaster’s emergency medicine residency program has a system that capitalizes on supervisors’ direct observation during each emergency department shift by formalizing the domains for observation [138]. It will be important to identify additional approaches that motivate learners to ask for observation.

가이드라인 26. 전문과목은 어떻게 직접 관찰의 초점을 환자가 중요하게 여기는 임상 진료의 중요한 측면으로 확대할 수 있습니까?
Guideline 26. 
How can specialties expand the focus of direct observation to important aspects of clinical practice valued by patients?

환자와 의사는 임상 진료의 측면의 상대적 중요도에 대해 의견이 다릅니다. 예를 들어, 환자는 건강 관련 정보의 효과적인 전달의 중요성을 더 높게 평가합니다[139]. 평가자가 가장 중요하게 생각하거나 가장 편한 것만 관찰하는 경우, 직접 관찰의 초점을 임상 진료의 모든 중요한 측면으로 어떻게 확장할 수 있을까요[42]? 역량 기반 의료 교육에서 프로그램은 특정 술기를 강조하는 로테이션을 활용하여 관찰 빈도가 낮은 영역으로 직접 관찰의 초점을 확대할 수 있습니다(예: 일반 내과 입원 환자에서 관절 검사를 관찰하는 대신 류마티스내과 로테이션을 사용하여 학습자의 근골격 검사 술기를 직접 관찰하는 것). 분명한 것은 모든 사람이 모든 것을 관찰하기를 기대하는 것은 실패한 접근 방식이라는 것입니다. 각 전문과목별로 직접 관찰의 초점을 확대하여 환자가 중요하게 여기는 임상 치료의 측면을 포괄하는 방법을 배우기 위한 연구가 필요합니다. 많은 교수진 개발 프로그램은 교수진 개인만을 대상으로 하며, 조직 내 프로세스나 문화적 변화를 목표로 하는 프로그램은 상대적으로 적습니다[106]. 따라서 이러한 유형의 프로세스 변화를 목표로 하는 교육 리더를 위한 교수진 개발이 필요할 것으로 보입니다.
Patients and physicians disagree about the relative importance of aspects of clinical care; for example, patients more strongly rate the importance of effective communication of health-related information [139]. If assessors only observe what they most value or are most comfortable with, how can the focus of direct observation be expanded to all important aspects of clinical practice [42]? In competency-based medical education, programs may take advantage of rotations that emphasize specific skills to expand the focus of direct observation to less frequently observed domains (e. g. using a rheumatology rotation to directly observe learners’ musculoskeletal exam skills as opposed to trying to observe joint exams on a general medicine inpatient service). What seems apparent is that expecting everyone to observe everything is an approach that has failed. Research is needed to learn how to expand the focus of direct observation for each specialty to encompass aspects of clinical care valued by patients. Many faculty development programs target only the individual faculty member, and relatively few target processes within organizations or cultural change [106]. As such, faculty development for educational leaders that target these types of process change is likely needed.

지침 27. 프로그램은 어떻게 위험 부담이 크고 빈번하지 않은 직접 관찰 평가 문화를 위험 부담이 적고 형성적이며 학습자 중심적인 문화로 바꿀 수 있는가?
Guideline 27. 
How can programs change a high-stakes, infrequent direct observation assessment culture to a low-stakes, formative, learner-centred culture?

형성적 평가에 직접 관찰을 집중하는 것의 중요성은 이미 설명했습니다. 그러나 높은 수준의 빈번한 직접 관찰 평가 문화를 낮은 부담의, 형성적이고, 학습자 중심의 직접 관찰 문화로 바꾸는 데 도움이 되는 추가적인 접근 방식이 여전히 필요합니다[140]. 평가 빈도를 높이고, 학습자가 평가를 요청할 수 있도록 권한을 부여하고[141, 142], 학습자에게 피드백 및 코칭을 위한 평가가 중요하다는 점을 강조하는 전략과 그 영향을 탐구하는 연구가 필요합니다[143,144,145]. 평가 프로그램의 설계, 모니터링 및 지속적인 개선에 학습자를 효과적으로 참여시키는 방법도 추가 연구가 필요합니다[146].
The importance of focusing direct observation on formative assessment has been described. However, additional approaches are still needed that help change a high-stakes, infrequent direct observation assessment culture to a low-stakes, formative, learner-centred direct observation culture [140]. Studies should explore strategies for and impacts of increasing assessment frequency, empowering learners to seek assessment, [141, 142] and emphasizing to learners that assessment for feedback and coaching are important [143,144,145]. How a program effectively involves its learners in designing, monitoring and providing ongoing improvement of the assessment program also merits additional study [146].

직접 관찰은 형성 평가에 중점을 두어야 하지만, 궁극적으로 모든 교육 프로그램은 승진 및 전환과 관련하여 중대한 결정을 내려야 합니다. 연구에 따르면 프로그램에 더 정확한 평가 정보가 있을수록 더 정확하고 더 나은 정보를 바탕으로 고위험 결정을 내릴 수 있는 것으로 나타났습니다[134, 135]. 고위험 결정을 내리기 위해 여러 관찰을 사용하는 것 외에[140], 프로그램이 고위험 결정을 내리기 위해 여러 개의 낮은 위험도 직접 관찰 평가를 가장 잘 사용할 수 있는 방법은 정확히 밝혀지지 않았습니다. 또한, 평가가 궁극적으로 고위험 의사결정을 위해 집계될 때 프로그램이 평가가 낮은 위험도로 인식되도록(즉, 하나의 낮은 위험도 관찰이 고위험 의사결정을 유도하지 않도록) 어떻게 보장할 수 있을까요? 
Although direct observation should be focused on formative assessment, ultimately all training programs must make a high-stakes decision regarding promotion and transition. Research has shown that the more accurate assessment information a program has, the more accurate and better informed the high-stakes decisions are [134, 135]. Other than using multiple observations to make a high-stakes decision [140], it is not clear exactly how programs can best use multiple low-stakes direct observation assessments to make high-stakes decisions. Additionally, how do programs ensure that assessments are perceived as low stakes (i. e. that no one low-stakes observation will drive a high-stakes decision) when assessments ultimately will be aggregated for higher-stakes decisions?

그룹 프로세스는 프로그램 평가의 새로운 필수 구성 요소로 떠오르고 있습니다. 일부 국가에서는 임상 역량 위원회라고 불리는 이러한 그룹이 이제 의학 대학원 교육의 필수 구성 요소로 자리 잡았습니다[147]. 질적 및 양적 직접 관찰을 통해 얻은 강력한 데이터는 그룹 판단 프로세스에 매우 유용하여 진도에 대한 의사 결정을 개선할 수 있습니다[148, 149]. 직접 관찰은 역량 및 위탁에 관한 의사 결정을 개선하기 위해 그룹 프로세스를 사용할 수 있는 평가 프로그램에 중요한 입력으로 작용해야 하지만, 데이터를 가장 잘 집계하는 방법은 아직 명확하지 않습니다.
Group process is an emerging essential component of programmatic assessment. In some countries these groups, called clinical competency committees, are now a required component of graduate medical education [147]. Robust data from direct observations, both qualitative and quantitative, can be highly useful for the group judgmental process to improve decisions about progression [148, 149]. While direct observation should serve as a critical input into a program of assessment that may use group process to enhance decision making regarding competence and entrustment, how to best aggregate data is still unclear.

지침 28. 소수의 핵심 교수진을 직접 관찰을 수행하는 '마스터 교육자'로 육성하면 어떤 이점이 있나요?
Guideline 28. 
What, if any, benefits are there to developing a small number of core faculty as ‘master educators’ who conduct direct observations?

많은 프로그램에서 직접 관찰이 부족한 문제에 대한 한 가지 잠재적 해결책은 환자 치료에 대한 책임을 동시에 맡지 않고 [직접 관찰을 수행하는 것이 주된 역할인 핵심 평가자 그룹]과 병행하는 시스템을 개발하는 것입니다. 교수진이 직접 관찰에 대한 교육과 보수를 지원받은 새로운 피드백 프로그램에서 레지던트들은 임상 기술, 학습자로서의 발전, 정서적 웰빙 측면에서 혜택을 받았습니다[31]. 이러한 접근 방식은 교수진 개발 노력을 직접 관찰하고 피드백하는 기술을 개발할 소수의 교육자에게 집중할 수 있게 해줍니다. 이러한 교육자 간부는 보다 구체적이고 맞춤화된 피드백을 제공할 가능성이 높으며, 이들의 관찰은 일일 임상 감독자의 통찰력을 보완하여 학습자의 교육 경험을 잠재적으로 향상시킬 수 있습니다[150]. 이러한 접근 방식은 또한 일일 임상 감독자의 시간 제약과 바쁜 업무에 대한 해결책을 제공할 수도 있습니다. 이 접근 방식의 구조, 이점 및 비용에 대해서는 연구가 필요합니다.

One potential solution to the lack of direct observation in many programs may be to develop a parallel system with a core group of assessors whose primary role is to conduct direct observations without simultaneous responsibility for patient care. In a novel feedback program where faculty were supported with training and remuneration for their direct observations, residents benefited in terms of their clinical skills, development as learners and emotional well-being [31]. Such an approach would allow faculty development efforts to focus on a smaller cadre of educators who would develop skills in direct observation and feedback. A cadre of such educators would likely provide more specific and tailored feedback and their observations would complement the insights of the daily clinical supervisors, thus potentially enhancing learners’ educational experience [150]. Such an approach might also provide a work-around to the time constraints and busyness of the daily clinical supervisors. The structure, benefits and costs of this approach requires study.

지침 29. 위임 기반 척도가 특히 절차에 기반하지 않은 전문 분야의 경우 구성적 척도를 달성하는 데 가장 적합한 접근 방식입니까?
Guideline 29. 
Are entrustment-based scales the best available approach to achieve construct aligned scales, particularly for non-procedurally-based specialties?

아직 결론은 나지 않았지만, 위임 척도가 불만족에서 우수 또는 미흡에서 우수와 같은 형용사적 앵커를 사용하는 오래된 척도보다 더 우수할 수 있다는 연구가 증가하고 있습니다[151, 152]. 이러한 구형 척도는 교수자에게 척도에 따른 의미 있는 정의와 학습자의 성과를 다른 학습자 또는 다른 표준과 비교해야 하는지 여부를 제공하지 않는 '잘못 정렬된 척도 구성'의 예입니다. 정렬된 척도 구성은 교수진의 교육적 정신 구성에 '정렬'되는 서술적 설명어가 있거나없는 앵커를 사용합니다. (종종 감독 수준을 기반으로 하는) 위임은 교수자가 학습자에 대해 내려야 하는 결정 유형(예: 반응적 감독에 대한 신뢰 또는 신뢰하지 않음)과 더 잘 일치합니다.

  • Crossley와 동료들은 영국 수련생을 대상으로 파운데이션 기간에 실시한 미니 임상 평가 연습에서 발달 기술 척도를 사용하여 기존의 미니-CEX보다 조정된 척도를 사용하여 더 나은 신뢰도와 수용 가능성을 발견했습니다[96].
  • Regehr와 동료들은 교수진에게 일반적인 척도 대신 표준화된 설명적 내러티브를 사용하도록 요청하면 레지던트 그룹 간의 성과를 더 잘 변별할 수 있다는 사실을 발견했습니다[153].
  • 다른 연구자들도 수퍼비전 수준을 척도 앵커로 사용하는 관찰 도구의 신뢰도와 수용성이 더 우수하다는 사실을 발견했습니다[152, 154].

While the verdict is still out, there is growing research that entrustment scales may be better than older scales that use adjectival anchors such as unsatisfactory to superior or poor to excellent [151, 152]. These older scales are examples of ‘construct misaligned scales’ that do not provide faculty with meaningful definitions along the scale and whether learner performance is to be compared with other learners or another standard. Construct aligned scales use anchors with or without narrative descriptors that ‘align’ with the educational mental construct of the faculty. Entrustment, often based on level of supervision, is better aligned with the type of decisions a faculty member has to make about a learner (e. g. to trust or not trust for reactive supervision).

  • Crossley and colleagues, using a developmental descriptive scale on the mini-clinical evaluation exercise grounded in the Foundation years for UK trainees, found better reliability and acceptability using the aligned scale than the traditional mini-CEX [96].
  • Regehr and colleagues found asking faculty to use standardized, descriptive narratives versus typical scales led to better discrimination of performance among a group of residents [153].
  • Other investigators have also found better reliability and acceptability for observation instruments that use supervision levels as scale anchors [152154].

따라서 위탁 척도는 여전히 주의가 필요하지만 유망한 발전으로 보입니다. 신뢰도는 타당도의 한 측면일 뿐이며, 다른 도구에 적용되는 것과 동일한 문제가 위탁 척도에서도 여전히 문제가 될 수 있습니다. 예를 들어, 평가자는 수퍼비전에 대해 매우 다른 견해를 가지고 있을 수 있습니다(즉, 공유된 정신 모델이 부족할 수 있습니다). Teman과 동료들은 교수진이 수술실에서 레지던트를 감독하는 방식이 다양하다는 사실을 발견했으며, 레지던트에게 필요한 감독 유형을 가장 잘 결정하기 위해서는 교수진 개발이 필요하다고 주장했습니다[155, 156]. 절차적 즈위쉬 척도는 다양한 수준의 수퍼비전과 상관관계가 있는 수퍼바이저 행동에 대한 강력한 설명자를 제공합니다[108, 154, 158]. 위임 척도를 사용한 연구는 주로 절차적 전문 분야에 초점을 맞추었으며, 절차적 기반이 아닌 전문 분야에서의 유용성을 이해하려면 더 많은 연구가 필요합니다. 또한, 위탁 척도와 행동 고정 척도(학습자의 행동에 초점을 맞춘 척도)의 상대적 장점을 파악하기 위한 연구가 필요합니다. 
Thus entrustment scales appear to be a promising development though caution is still needed. Reliability is only one aspect of validity, and the same problems that apply to other tools can still be a problem with entrustment scales. For example, assessors can possess very different views of supervision (i. e. lack a shared mental model). Teman and colleagues found that faculty vary in how they supervise residents in the operating room; they argued that faculty development is needed to best determine what type of supervision a resident needs [155, 156]. The procedural Zwisch scale provides robust descriptors of supervisor behaviours that correlate with different levels of supervision [108, 154, 158]. Studies using entrustment scales have largely focused on procedural specialties; more research is needed to understand their utility in more non-procedural based specialties. Research is also needed to determine the relative merits of behaviourally anchored scales (focused on what a learner does) versus entrustment scales.

가이드라인 30. 관찰 데이터를 '즉시' 기록할 수 있도록 테크놀로지을 사용하는 가장 좋은 접근 방식은 무엇인가요?
Guideline 30. 
What are the best approaches to use technology to enable ‘on the fly’ recording of observational data?


기술은 평가 또는 정성적 의견과 같은 관찰 데이터를 즉시 기록하는 데 도움이 될 수 있습니다. 직접 관찰에 대한 경험적 의학 교육 연구의 대부분은 평가 도구가 제공되는 형식보다 평가 도구에 더 중점을 두었습니다[66]. 그러나 임상 진료가 종이 기반에서 전자 플랫폼으로 진화하고 있다는 점을 고려할 때, 직접 관찰의 기록, 작성 및 제출이 휴대용 장치 또는 기타 전자 플랫폼을 사용하여 촉진될 수 있다는 것은 직관적으로 이해가 됩니다. 이 영역에서 수행된 몇 가지 연구에서 전자적 접근 방식의 타당성과 사용자 만족도를 문서화했지만, 공유 목표 개발을 촉진하고 관찰 품질을 지원하며 관찰을 수집 및 종합하기 위해 전자 플랫폼을 최적화하는 방법을 이해하려면 더 많은 연구가 필요합니다[159,160,161,162]. 
Technology can facilitate the immediate recording of observational data such as ratings or qualitative comments. Much of the empirical medical education research on direct observation has focused on the assessment tool more than the format in which the tool is delivered [66]. However, given the evolution of clinical care from paper-based to electronic platforms, it makes intuitive sense that the recording, completion and submission of direct observations may be facilitated by using handheld devices or other electronic platforms. The few studies done in this realm have documented the feasibility of and user satisfaction with an electronic approach, but more research is necessary to understand how to optimize electronic platforms both to promote the development of shared goals, support observation quality and collect and synthesize observations [159,160,161,162].

가이드라인 31. 관찰의 질과 학습자 피드백을 개선하기 위한 최상의 교수자 개발 접근법 및 실행 전략은 무엇인가요?
Guideline 31. 
What are the best faculty development approaches and implementation strategies to improve observation quality and learner feedback?

이미 설명한 바와 같이, 평가자 인지에 대한 최근 연구는 평가자 특이성, 다양한 기준 프레임, 인지적 편향, 암묵적 편향 및 인상 형성 등 직접 관찰에 영향을 미치는 주요 요인에 대한 몇 가지 통찰력을 제공합니다[46, 47, 82, 98, 99]. 그러나 이것이 교수진 개발에 대한 접근 방식에 어떤 정보를 제공할 수 있는지는 잘 알려져 있지 않습니다. 예를 들어, 교육 리더가 평가자가 자신의 특이한 성향을 인식하도록 돕고 학습자가 다양한 평가자로부터 충분한 종단 샘플링을 받아 핵심 역량의 모든 측면을 관찰할 수 있도록 보장하는 것의 가치 또는 영향은 무엇일까요? 평가자가 강력한 공유 기준 기반 멘탈 모델을 개발하거나 위탁 기반 척도[96, 151, 152, 157]를 사용하도록 하면 평가자의 특이성 및 인지적 편향(예: 대조 효과)이 감소할 수 있습니까? [지침 16 참조].  
As already described, recent research in rater cognition provides some insights on key factors that affect direct observation: assessor idiosyncrasy, variable frames of reference, cognitive bias, implicit bias and impression formation [46, 47, 82, 98, 99]. However, how this can inform approaches to faculty development is not well understood. For example, what would be the value or impact of educational leaders helping assessors recognize their idiosyncratic tendency and ensuring learners receive sufficient longitudinal sampling from a variety of assessors to ensure all aspects of key competencies are observed? Would assessor idiosyncrasy and cognitive bias (e. g. contrast effect) be reduced by having assessors develop robust shared criterion-based mental models or use entrustment-based scales [96, 151, 152, 157]? [See Guideline 16].

성과 차원 훈련 및 기준 프레임 훈련의 원칙에 기반한 보다 집중적인 평가자 훈련은 평가자의 관용을 줄이고, 평가 정확도를 개선하며, 직접 관찰 및 피드백을 통해 자기 평가의 편안함을 개선하지만[9, 91], 평가자 훈련이 학습자에 대한 관찰, 평가 또는 피드백의 질을 향상시키는지에 대한 연구는 구체적으로 조사되지 않았습니다.
While more intensive rater training based on the principles of performance dimension training and frame of reference training decreases rater leniency, improves rating accuracy, and improves self-assessed comfort with direct observation and feedback [9, 91], studies have not specifically explored whether rater training improves the quality of observation, assessment or feedback to learners.

평가자 훈련의 최적 구조와 기간도 불분명합니다[9, 103, 157]. 직접 관찰은 복잡한 기술이며 일회성이 아닌 지속적인 교육과 연습이 필요할 가능성이 높습니다. 그러나 직접 관찰, 평가 및 피드백의 질을 향상시키는 데 가장 효과적인 평가자 교육 구조를 결정하기 위해서는 연구가 필요합니다. 초기 교육은 어느 정도의 시간이 필요할까요? 어떤 유형의 종단적 교육 또는 스킬 리프레시가 필요한가요? 얼마나 자주 실시해야 하나요? 평가자에게 평가의 질이나 서술에 대한 피드백을 제공하면 어떤 이점이 있나요? 기존 연구에 따르면 종일 교육은 효과가 미미하다는 점을 고려할 때, 집중 교육의 타당성을 판단하는 것이 중요합니다.
The optimal structure and duration of assessor training is also unclear [9, 103, 157]. Direct observation is a complex skill and likely requires ongoing, not just one-time, training and practice. However, studies are needed to determine what rater training structures are most effective to improve the quality of direct observation, assessment and feedback. Just how long does initial training need to be? What type of longitudinal training or skill refreshing is needed? How often should it occur? What is the benefit of providing assessors feedback on the quality of their ratings or their narratives? Given that existing studies show full day training has only modest effects, it will be important to determine the feasibility of intensive training.

가이드라인 32. 환자 또는 다른 의료진 구성원의 직접 관찰과 피드백을 직접 관찰 접근법에 어떻게 통합해야 합니까?
Guideline 32. 
How should direct observation and feedback by patients or other members of the health care team be incorporated into direct observation approaches?

환자 및 기타 의료 전문가는 학습자 수행의 다양한 측면을 일상적으로 관찰하며 감독자의 피드백을 보완하는 피드백을 제공할 수 있습니다. 환자의 관점과 경험을 포함하지 않고 환자 중심 치료를 가르치고 평가하는 것은 매우 어렵습니다. 전문가 간 팀워크의 중요성을 고려할 때, 다른 팀원의 평가에 대해서도 마찬가지입니다. 환자 경험 설문조사와 다중 출처 피드백 도구(환자 설문조사 포함)는 이제 환자와 의료 전문가의 관찰과 경험을 포착하는 데 일반적으로 사용됩니다[163, 164]. 다중 소스 피드백은 적절하게 구현될 경우 유용한 정보를 제공하고 행동을 변화시키는 데 효과적일 수 있습니다[165, 166]. 환자로부터 적시에 피드백을 받는 것이 도움이 될지는 아직 알려지지 않았습니다. Concato와 Feinstein은 방문이 끝날 때 환자에게 세 가지 질문을 하면 병원과 개별 의사에게 풍부한 피드백이 제공된다는 것을 보여주었습니다[167]. 방문이 끝날 때 환자에게 '오늘 필요한 모든 것을 얻었습니까?"라고 간단히 묻는 환자 중심 기법은 의미 있는 피드백으로 이어질 수 있으며, 직접 관찰 시 '환자가 안전하고 효과적이며 환자 중심적인 치료를 받았습니까'를 주요 참조 프레임으로 사용하는 개념과 잘 부합할 수 있습니다[52]. 이 두 가지 기법이 유용할 수 있지만, 환자와 전문가 간 팀을 더 높은 수준의 평가에 활용하기 위해서는 더 많은 연구가 필요합니다. 연구에 따르면 다중 출처 피드백(전문가 간 그룹의 관찰을 나타내는)을 고위험 평가에 일상적으로 사용해서는 안 된다고 강력히 제안합니다[163]. 
Patients and other health professionals routinely observe various aspects of learner performance and can provide feedback that complements supervisors’ feedback. It is very hard to teach and assess patient-centred care without involving the perspective and experiences of the patient. Given the importance of inter-professional teamwork, the same can be said regarding assessments from other team members. Patient experience surveys and multi-source feedback instruments (which may include a patient survey) are now commonly used to capture the observations and experiences of patients and health professionals [163, 164]. Multisource feedback, when implemented properly, can be effective in providing useful information and changing behaviour [165, 166]. What is not known is whether just-in-time feedback from patients would be helpful. Concato and Feinstein showed that asking the patient three questions at the end of the visit yielded rich feedback for the clinic and the individual physicians [167]. A patient-centred technique that simply asks the patient at the end of the visit ‘did you get everything you needed today?’ may lead to meaningful feedback and aligns well with the concept of using ‘did the patient get safe, effective, patient-centred’ as the primary frame of reference during direct observation [52]. While these two techniques might be of benefit, more research is needed before using patients and the inter-professional team for higher-stakes assessment. Research strongly suggests that multi-source feedback (representing the observations of an inter-professional group) should not be routinely used for higher-stakes assessment [163].

가이드라인 33. 직접 관찰이 학습자 및 환자 결과에 영향을 줍니까?
Guideline 33. 
Does direct observation influence learner and patient outcomes?

의학교육에서 직접 관찰의 핵심적인 역할에도 불구하고, 직접 관찰이 학습자 및 환자 결과를 개선한다는 것을 입증하는 결과 데이터는 거의 존재하지 않습니다. 임상 및 절차 역량은 안전하고 효과적인 환자 중심 진료의 기본입니다. 직접 관찰 평가가 학습자 결과를 개선하고 따라서 환자 결과를 개선한다는 증거는 부족하지만, 논리와 간접적인 증거는 존재합니다. 의도적인 실습과 코칭은 기술 향상과 전문성 개발을 지원합니다[168]. 의료 전문가들 사이에서 더 나은 의사소통 기술이 더 나은 환자 결과와 관련이 있다는 증거는 높은 수준의 역량을 보장하기 위해 그러한 기술을 관찰하고 피드백을 제공하는 것의 중요성을 강력하게 뒷받침합니다[169]. 반대로 앞서 지적한 바와 같이, 전 과정에서 직접 관찰은 드물고 의사의 역량에는 격차가 존재합니다[170,171,172]. 따라서 직접 관찰이 중요하지 않다고 결론을 내리는 것은 비논리적이지만, 학습자와 환자 결과에 미치는 영향을 극대화하는 최선의 방법을 결정하기 위해서는 훨씬 더 많은 연구가 필요합니다. 
Despite the central role of direct observation in medical education, few outcome data exist to demonstrate that direct observation improves learner and patient outcomes. Clinical and procedural competencies are foundational to safe, effective, patient-centred care. While evidence is lacking to show that direct observation assessments improve learner outcomes, and therefore patient outcomes, logic and indirect evidence do exist. Deliberate practice and coaching support skill improvement and the development of expertise [168]. The evidence that better communication skills among health professionals is associated with better patient outcomes strongly supports the importance of observing and providing feedback about such skills to ensure high levels of competence [169]. Conversely, as pointed out earlier, direct observation is infrequent across the continuum and there are gaps in practising physicians’ competencies [170,171,172]. Thus, it would be illogical to conclude direct observation is not important, but much more work is needed to determine the best methods that maximize the impact on learner and patient outcomes.

요약
Summary

역량 기반 의학교육의 시대에 그 중요성이 더욱 강조되고 있는 오랜 평가 전략인 임상 술기 직접 관찰에 초점을 맞춘 가이드라인 목록을 작성했습니다. 이 작업은 다양한 관점을 대표하는 광범위한 문헌을 종합하고, 반복적인 작업을 거쳤으며, 현재 문헌에 대한 우리의 합의를 나타냅니다. 체계적인 검토가 아니었기 때문에 가이드라인에 정보를 제공할 수 있는 연구를 놓쳤을 수 있습니다. 저자들이 북미 출신이어서 관점과 권장사항의 일반화 가능성이 제한될 수 있습니다. 각 가이드라인의 강점을 결정하기 위해 그룹 합의를 사용했지만, 근거 강도에 대한 해석은 주관적이었습니다.
We have compiled a list of guidelines focused on direct observation of clinical skills, a longstanding assessment strategy whose importance has heightened in the era of competency-based medical education. This work synthesizes a wide body of literature representing multiple viewpoints, was iterative, and represents our consensus of the current literature. Because this was not a systematic review, we may have missed studies that could inform the guidelines. Authors were from North America, potentially limiting generalizability of viewpoints and recommendations. Although we used group consensus to determine the strengths of each guideline, our interpretation of evidence strength was subjective.

결론
Conclusions

이 가이드라인은 보건의료 전문직 교육에서 직접 관찰의 양과 질을 높이는 데 도움이 되도록 고안되었습니다. 직접 관찰을 개선하려면 감독자 개인과 학습자뿐만 아니라 그들이 일하고 훈련하는 조직과 문화에도 초점을 맞춰야 합니다. 수퍼바이저와 학습자 모두에게 직접 관찰에 참여하도록 동기를 부여하고 직접 관찰(및 그에 따른 피드백)이 실현 가능하고 가치 있으며 효과적인 지원 교육 시스템과 문화를 조성하는 전략과 개입을 식별하기 위해 해야 할 일이 많이 남아 있습니다. 이러한 접근 방식의 설계는 자기조절 학습과 평가자의 인지에 대한 이해의 증가와 같은 개념에 기반해야 합니다. 이러한 전략을 설계, 보급 및 평가하려면 문화 변화라는 매우 어려운 작업에 참여할 준비가 된 교육 리더에 대한 투자가 필요합니다. 우리가 아는 한, 맥락, 문화 및 시스템을 고려하면서 동시에 교육 리더, 감독자 및 학습자에게 초점을 맞추어 임상 술기에 대한 직접 관찰을 개선하기 위한 이러한 다각적이고 포괄적인 접근 방식은 설명된 바가 없습니다. 학습자와 감독자가 직접 관찰을 사용하여 진행 상황을 평가하고 더 높은 수준의 평가에 정보를 제공할 수 있도록 권한을 부여하면 교육 시스템 전체가 학습자의 역량을 향상하고 환자 치료를 개선할 수 있습니다.

These guidelines are designed to help increase the amount and quality of direct observation in health professions education. Improving direct observation will require focus not just on the individual supervisors and their learners but also on the organizations and cultures in which they work and train. Much work remains to be done to identify strategies and interventions that motivate both supervisors and learners to engage in direct observation and that create a supportive educational system and culture in which direct observation (and the feedback that follows) is feasible, valued and effective. The design of these approaches should be informed by concepts such as self-regulated learning and the growing understanding of rater cognition. Designing, disseminating and evaluating such strategies will require an investment in educational leaders prepared to engage in the very difficult work of culture change. To our knowledge, such a multifaceted, comprehensive approach to improving direct observation of clinical skills by simultaneously focusing on educational leaders, supervisors, and learners, while considering the context, culture and system has not been described. Empowering learners and their supervisors to use direct observation to assess progress and inform higher-stakes assessments enables the educational system as a whole to improve learners’ capabilities and enhance the care of patients.

 


Perspect Med Educ. 2017 Oct;6(5):286-305. doi: 10.1007/s40037-017-0376-7.

Guidelines: The do's, don'ts and don't knows of direct observation of clinical skills in medical education

Affiliations

1Perelman School of Medicine at the University of Pennsylvania, Philadelphia, PA, USA. Jennifer.kogan@uphs.upenn.edu.

2University of British Columbia, Vancouver, British Columbia, Canada.

3University of California San Francisco, San Francisco, CA, USA.

4Accreditation Council of Graduate Medical Education, Chicago, IL, USA.

PMID: 28956293

PMCID: PMC5630537

DOI: 10.1007/s40037-017-0376-7

Free PMC article

Abstract

Introduction: Direct observation of clinical skills is a key assessment strategy in competency-based medical education. The guidelines presented in this paper synthesize the literature on direct observation of clinical skills. The goal is to provide a practical list of Do's, Don'ts and Don't Knows about direct observation for supervisors who teach learners in the clinical setting and for educational leaders who are responsible for clinical training programs.

Methods: We built consensus through an iterative approach in which each author, based on their medical education and research knowledge and expertise, independently developed a list of Do's, Don'ts, and Don't Knows about direct observation of clinical skills. Lists were compiled, discussed and revised. We then sought and compiled evidence to support each guideline and determine the strength of each guideline.

Results: A final set of 33 Do's, Don'ts and Don't Knows is presented along with a summary of evidence for each guideline. Guidelines focus on two groups: individual supervisors and the educational leaders responsible for clinical training programs. Guidelines address recommendations for how to focus direct observation, select an assessment tool, promote high quality assessments, conduct rater training, and create a learning culture conducive to direct observation.

Conclusions: High frequency, high quality direct observation of clinical skills can be challenging. These guidelines offer important evidence-based Do's and Don'ts that can help improve the frequency and quality of direct observation. Improving direct observation requires focus not just on individual supervisors and their learners, but also on the organizations and cultures in which they work and train. Additional research to address the Don't Knows can help educators realize the full potential of direct observation in competency-based education.

Keywords: Assessment; Clinical Skills; Competence; Direct Observation; Workplace Based Assessment.

관리추론과 환자-의사 상호작용: 공동 의사결정과 모의 외래환자로부터의 통찰(Med Teach, 2023)
Management reasoning and patient-clinician interactions: Insights from shared decision-making and simulated outpatient encounters (Med Teach. 2023)
David A. Cooka , Ian G. Hargravesb , Christopher R. Stephensonc and Steven J. Durningd

소개
Introduction

의학은 환자의 상태를 진단하는 것보다 환자의 필요를 관리하는 것이 더 중요하지만, 방대한 임상 추론 문헌은 대부분 관리를 무시하여 환자 치료에 해를 끼칩니다(Cook 외. 2018). 최근 연구에서는 환자-임상의 상호작용의 중요한 역할을 포함하여 관리 추론의 중요한 특징이 강조되었습니다(Cook 외. 2018, 2019, 2022b). 실제로 관리 추론은 '전적으로 특정 임상의 내부가 아닌 개인 간의 공간에서' 이루어집니다. (Cook 외. 2022b) 그러나 관리 추론의 이러한 상호 작용 및 의사소통 측면에 대한 우리의 이해는 아직 불완전하게 개발되어 있습니다. 이 연구의 목적은 [관리 추론에서 환자-임상의 상호 작용]에 대한 이해를 넓히는 것입니다. 
Medicine is more about managing patient needs than diagnosing their conditions, but the vast clinical reasoning literature largely ignores management, to the detriment of patient care (Cook et al. 2018). Recent work has highlighted important characteristics of management reasoning (Cook et al. 2018, 2019, 2022b), including the crucial role of patient-clinician interactions. Indeed, management reasoning takes place substantially ‘in the space between individuals rather than entirely within a given clinician.’ (Cook et al. 2022b) However, our understanding of this interactional and communicative aspect of management reasoning remains incompletely developed. The purpose of this study is to expand our understanding of patient-clinician interactions in management reasoning.

관리 추론이 진단 추론보다 더 중요하다는 것은 틀림없는 사실이지만, 현재까지 거의 모든 임상 추론 연구와 이론은 후자에 초점을 맞추고 있습니다(Elstein 외. 1978; Eva and Norman, 2005; Norman, 2005; Norman 외. 2007, 2017). 최근에야 관리 추론이 명시적으로 구분되고 논의되기 시작했습니다(Cook et al. 2018, 2019). [관리 추론]은 '임상의가 임상 정보(병력, 검사 결과, 검사 결과), 선호도, 의학 지식, 맥락(상황) 요소를 통합하여 치료, 추가 검사, 후속 진료, 제한된 자원의 할당 등 개별 환자의 관리에 대한 결정을 내리는 인지적 과정'으로 정의되었습니다(Cook 외. 2019).
Management reasoning is arguably more important than diagnostic reasoning, yet nearly all clinical reasoning research and theory to-date have focused on the latter (Elstein et al. 1978; Eva and Norman, 2005; Norman, 2005; Norman et al. 2007, 2017). Only recently has management reasoning been explicitly distinguished and discussed (Cook et al. 2018, 2019). Management reasoning has been defined as ‘the cognitive processes by which clinicians integrate clinical information (history, exam findings, and test results), preferences, medical knowledge, and contextual (situational) factors to make decisions about the management of an individual patient, including decisions about treatment, further testing, follow-up encounters, and allocation of limited resources’ (Cook et al. 2019).

[임상적 추론]은 일반적으로 개별 임상의의 인지적 활동으로 해석됩니다. 이는 진단 추론의 경우 대부분 사실일 수 있지만, 관리 추론은 [공유된 숙고 과정]을 수반합니다(Cook 외. 2019). 최근의 경험적 연구에서 우리는 관리 추론의 주요 특징을 파악하기 위해 의사-환자 간 만남을 시뮬레이션한 동영상을 검토했으며(Cook 외. 2022b), 관리 추론이 한 사람 내에서만 발생하는 것이 아니라 [사람들이 상호 작용할 때 발생]한다는 사실을 확인했습니다. 그러나 우리는 관리 추론에서 환자-임상의 상호 작용에 대한 이해가 불완전하다는 것을 인식하고 있으며, 이 현상에 대한 이해를 심화시키고 교육, 평가, 임상 실습 및 향후 연구에 대한 시사점을 식별해야한다고 느낍니다. 저희는 공유 의사결정(SDM)이 이 문제를 밝히는 데 도움이 될 수 있다고 가정합니다. 공유 의사결정은 환자와 임상의가 함께 협력적으로 의사결정 또는 추론하는 방법에 대한 이론적, 실제적 프레임워크를 제공하기 때문입니다.
Clinical reasoning is commonly construed as a cognitive activity within individual clinicians. While this may be largely true of diagnostic reasoning, management reasoning entails a shared deliberative process (Cook et al. 2019). In a recent empirical study we reviewed videos of simulated physician-patient encounters to identify key features of management reasoning (Cook et al. 2022b), and confirmed that management reasoning occurs as people interact rather than solely within one person. We recognize, however, our incomplete comprehension of patient-clinician interactions in management reasoning, and feel prompted to deepen our understanding of this phenomenon and identify implications for teaching, assessment, clinical practice, and future research. We postulate that shared decision-making (SDM) could help illuminate this issue, as SDM offers theoretical and practical frameworks about how patients and clinicians collaboratively make decisions, or reason, together.

SDM은 [환자의 자율성]과 [환자 중심 치료]를 강화하기 위해 널리 장려되고 있습니다. SDM의 다양한 모델은 환자-임상의 상호 작용의 다양한 측면을 강조합니다. 대부분의 모델은 치료 옵션 중에서 선택할 때와 같이 의사 결정에 환자를 참여시키는 데 중점을 둡니다(Makoul and Clayman, 2006; Bomhof-Roordink 외. 2019). 

  • 미국 의료 연구 및 품질 관리국 'SHARE' 모델은 임상의가 
    • 명시적으로 환자의 참여를 구하고
    • 옵션을 탐색하도록 돕고
    • 환자의 가치와 선호도를 평가하고, 
    • 결정에 도달하고, 
    • 결정을 평가할 것을 권장합니다(미국 의료 연구 및 품질 관리국, 2020). 
  • 이와 유사하게, 엘윈의 '세 가지 대화' 모델은 다음을 강조합니다(엘윈 외. 2012, 2017). 
    • 환자를 의사 결정에 참여시키고(팀 대화), 
    • 각 옵션에 대해 논의하며(옵션 대화), 
    • 선호도를 통합하는 것(결정 대화)
  • 최근에는 많은 임상 상황에서 욕구를 명확히 하거나, 문제를 해결하거나, 인간성과 정체성의 실존적 문제를 해결하는 것만큼 옵션 중에서 선택하는 것이 중요하지 않다는 점을 인식한 '목적 지향적 SDM'(Purposeful SDM)이라는 새로운 SDM 모델이 제안되었습니다(표 1)(Hargraves et al. 2019). 

SDM is widely promoted to enhance patient autonomy and patient-centered care. Different models of SDM emphasize different aspects of patient-clinician interactions. Most models focus on involving patients in decision-making (Makoul and Clayman, 2006; Bomhof-Roordink et al. 2019), as when choosing among treatment options.

  • The Agency for Healthcare Research and Quality ‘SHARE’ model encourages clinicians to
    • explicitly Seek the patient’s participation; 
    • Help them explore options; 
    • Assess their values and preferences; 
    • Reach a decision; and 
    • Evaluate the decision (Agency for Healthcare Research and Quality, 2020).
  • Similarly, Elwyn’s ‘Three Talk’ model emphasizes engaging patients in decision-making (team talk), discussing each option (option talk), and integrating preferences (decision talk) (Elwyn et al. 2012, 2017).
  • Recently, a new model of SDM has been proposed—‘Purposeful SDM’ (Hargraves et al. 2019)—that recognizes that many clinical situations do not entail choosing among options so much as clarifying desires, solving problems, or addressing existential issues of humanity and identity (Table 1) (Hargraves et al. 2019). 

이러한 관점에서 볼 때, [SDM의 주요 목적]은 환자를 의사 결정에 '참여'시키는 것이 아니라, [환자의 특정 문제에 적합한 협력 방법을 수립하는 것]입니다. [목적 지향적 SDM]은 [참여 중심]이 아닌 [문제 중심]입니다.
Viewed through this lens, the primary purpose of SDM is not to “involve” patients in decision-making, but to establish methods for working together that are appropriate for this patient’s particular problems. Purposeful SDM is problem-focused rather than involvement-focused.

이 연구에서는 이러한 SDM 모델('참여 중심', '문제 중심')과 함께 환자와 임상의가 함께 관리 결정을 내리는 시뮬레이션 동영상을 활용하여 성공적인 또는 실패한 관리 추론에 기여하는 환자-임상의 상호 작용 요소를 조명했습니다.
In this study we drew on videos of simulated patients and clinicians as they made management decisions together, along with these SDM models (‘involvement-focused,’ ‘problem-focused’), to illuminate elements of patient-clinician interactions that contribute to successful or unsuccessful management reasoning.

방법
Method

저희는 환자와 임상의의 모의 만남을 담은 10개의 비디오를 검토하고 [두 가지 개념적 렌즈]를 통해 관찰한 내용을 체계적으로 해석했습니다. 이 동영상은 이전 연구(Cook 외. 2022b)에서 사용한 것과 동일한 동영상이지만, 새롭게 수집한 데이터와 새로운 프레임워크를 사용하여 고유한 스토리를 전달했습니다.
We reviewed 10 videos of simulated patient-clinician encounters and systematically interpreted our observations through two distinct conceptual lenses. These were the same videos used in our previous study (Cook et al. 2022b), but we used newly-collected data and novel frameworks to tell a unique story.

비디오 선택 및 코딩
Video selection and coding

각 비디오(45초~7분 길이)는 [레지던트 의사와 환자 간의 모의 외래 환자 추적 관찰]을 묘사했습니다. 평가자 교육 연구에 사용된 비디오 라이브러리에서 5가지 의학적 문제(고혈압, 고지혈증, 섬유근육통, 당뇨병, 유두상 갑상선암)에 대해 각각 2개의 비디오를 선택했습니다(Cook et al. 2009, Cook and Beckman, 2009). 이러한 경험을 통해 학습을 극대화하기 위해 52명의 내과 의사('극단적인 그룹'의 의도적 표본 추출)의 미니 CEX '상담' 평점을 기준으로 각 문제별로 가장 낮은 점수와 가장 높은 점수를 받은 동영상을 선정했습니다.

  • 3개 문제(6개 동영상)의 경우 레지던트-배우가 열악한 연기와 우수한 연기를 번갈아 연기하도록 코칭을 받았고, 환자-배우에게는 대본 없이 진정성 있는 답변을 하도록 지시했습니다.
  • 나머지 4개의 비디오는 대본이 작성되었습니다.

Each video (45 s to 7 min long) portrayed a simulated outpatient follow-up encounter between a resident physician and a patient. From a library of videos used in a study of rater training (Cook et al. 2009; Cook and Beckman, 2009) we selected 2 videos for each of 5 medical problems (hypertension, hyperlipidemia, fibromyalgia, diabetes mellitus, and papillary thyroid cancer). To maximize our learning from these encounters, we selected the lowest-scoring and highest-scoring videos for each problem, based on mini-CEX ‘counseling’ ratings from 52 internal medicine physicians (‘extreme groups’ purposive sampling).

  • For 3 problems (6 videos) the resident-actor was coached to alternately portray poor or superior performance, and the patient-actor was instructed to respond authentically; there was no written script.
  • The other 4 videos were scripted.

비디오는 2단계에 걸쳐 검토되었습니다. 1단계(2020년 11월)에서는 4명의 연구자(DAC, CRS, SJD, LDG)가 개방형 프롬프트가 포함된 코딩 양식(부록 1, 보충 자료)을 사용하여 각 비디오를 최소 2회 독립적으로 검토했습니다: 

  • '이 만남에서 관리 추론의 어떤 특징이 분명하게 드러나는가? [환자, 제공자, 시스템 선호도, 제약, 가치의 우선순위, 의사소통 및 공유된 의사결정(환자 선호도 확인, 통합) 등 5가지 특징 목록]'을 포함한 5가지 특징 목록으로 구성했습니다. 

논의는 2021년 10월부터 2022년 1월까지 계속되었습니다.
We reviewed videos in 2 phases. In phase 1 (November 2020), 4 investigators (DAC, CRS, SJD, LDG) independently reviewed each video at least twice using a coding form with open-ended prompts (Appendix 1, Supplementary material), including:

  • ‘What features of management reasoning are evident in this encounter? [list of 5 features including Prioritization of patient, provider, and system preferences, constraints, and values; and Communication and shared decision-making (ascertainment of, integration with patient preferences)].’

Discussions continued October 2021 to January 2022.

데이터 분석 중에 커뮤니케이션과 SDM은 추가 조사가 필요한 것으로 나타났으며, 2단계(2022년 2월)에서 이를 추진했습니다. 먼저 Purposeful SDM 모델의 주요 개발자를 포함하여 SDM에 대한 폭넓은 경험을 가진 조사자(IGH)를 팀에 추가했습니다(Hargraves 외. 2019). 그는 처음에는 1단계 조사 결과에 대한 지식 없이 독립적으로 동일한 동영상을 검토한 다음, 조사자 DAC 및 SJD와 함께 동일한 동영상을 검토했습니다. 이 조사자들은 처음에는 독립적으로, 그다음에는 그룹으로 각 비디오를 검토하면서 참여 중심 모델과 문제 중심 모델을 차례로 명시적으로 고려했습니다. 각 영상에 대해 각 모델의 주요 특징이 반영되었는지 여부를 코딩했습니다(부록 2, 보충 자료). 참여 중심 모델의 주요 특징은 쓰리 토크 모델(OPTION-5(Barr 외. 2015))에 기반한 도구와 최근 검토(Bomhof-Roordink 외. 2019)를 통해 확인했습니다. 문제 중심 모델의 경우, 목적 중심 SDM(Hargraves et al. 2019)의 개념을 사용했습니다(표 1). 개방형 프롬프트를 사용하여 추가 관찰 사항을 문서화했습니다.
During data analysis, communication and SDM stood out as warranting further investigation, which we pursued in phase 2 (February 2022). We first added to our team an investigator (IGH) with extensive experience in SDM including being a principal developer of the Purposeful SDM model (Hargraves et al. 2019). He reviewed the same videos, first independently and without knowledge of the phase 1 findings, and then in conjunction with investigators DAC and SJD. These investigators reviewed each video, first independently and then as a group, explicitly considering in turn the involvement-focused and problem-focused models of SDM. For each video we coded whether key features of each model were reflected in the encounter (Appendix 2, Supplementary material). We identified key features of the involvement-focused model from an instrument grounded in the Three Talk model (the OPTION-5 (Barr et al. 2015)) and from a recent review (Bomhof-Roordink et al. 2019). For the problem-focused model we used concepts from Purposeful SDM (Hargraves et al. 2019) (Table 1). We documented additional observations using open-ended prompts.

데이터 분석 및 모델 구축
Data analysis and model building

우리는 4단계로 진행되는 지속적인 비교 질적 분석 접근법(Glaser, 1965)을 사용했습니다.

  • 1단계에서는 모든 원시 관찰을 요약하고 검토하여 1단계의 초기 관찰을 분석했습니다(특정 SDM 모델 없음). 그런 다음 여러 차례의 음성 및 전자 매개 대화를 통해 중복을 해결하고 이러한 관찰을 반복적으로 재구성, 재개념화, 정교화 및 구체화했습니다. 
    We used a constant comparative qualitative analysis approach (Glaser, 1965), proceeding in 4 stages. In stage 1, we analyzed the initial observations from phase 1 (no specific SDM model) by summarizing and reviewing all raw observations. We then engaged in multiple voice and electronic-mediated conversations to resolve redundancies and iteratively reorganize, reconceptualize, elaborate, and refine these observations.
  • 환자-임상의 상호작용에 대한 추가 인사이트를 얻을 수 있는 기회를 인식하고 풍부한 새로운 데이터를 수집했습니다(위의 2단계, IGH의 독립 검토 및 그룹의 공동 검토 포함). 이러한 데이터를 분석하는 동안(2단계) 우리는 각 비디오에 대해 차례로 논의하면서 개별 코딩을 공유하고 각 모델의 렌즈를 통해 이러한 결과를 해석하면서 추가 인사이트를 공동으로 정교화했습니다.
    Recognizing the opportunity to glean further insights regarding patient-clinician interactions, we collected abundant new data (phase 2 above, including IGH's independent review and the group’s conjoint review). During analysis of these data (stage 2) we discussed each video in turn, sharing our individual codings and jointly elaborating further insights as we interpreted these findings through the lens of each respective model.
  • 다음 단계(3단계)에서는 관리 추론과 환자-임상의 상호작용 간의 연관성을 명시적으로 탐색했습니다. 1단계와 2단계에서 얻은 결과를 사용하여 이전에 보고된 12가지 관리 추론 기능(Cook 외. 2022b) 각각과 참여 중심 및 문제 중심 SDM 모델 간의 상호 영향을 체계적으로 고려했습니다.
    Next (stage 3) we explicitly explored the connections between management reasoning and patient-clinician interactions. Using our findings from stages 1 and 2, we systematically considered the reciprocal implications between each of 12 previously-reported management reasoning features (Cook et al. 2022b) and the involvement-focused and problem-focused SDM models.
  • 마지막으로 4단계에서는 축 분석을 통해 다양한 기능과 모델을 비교하여 몇 가지 잠정적인 모범 사례를 식별했습니다.
    Finally, in stage 4 we used axial analysis to cut across the various features and models, to identify several tentative best practices.

모든 검토자가 주요 결과에 대해 완전한 합의를 도출했습니다. 부록 1~3에는 모든 관찰 및 분석에 대한 자세한 문서 추적이 포함되어 있습니다(보충 자료).
All reviewers came to full consensus on key findings. Appendices 1–3 contain a detailed paper trail of all observations and analyses (Supplementary material).

반사성
Reflexivity

우리의 배경은 관찰과 분석에 분명 영향을 미쳤습니다. 세 명의 조사자(DAC, SJD, CRS)는 현직 의사(일반 내과 전문의)이며, 두 명의 조사자는 교육/인지(SJD) 및 디자인, 커뮤니케이션, SDM(IGH) 분야의 박사 학위를 보유하고 있습니다. 세 명의 연구자(DAC, SJD, CRS)가 12가지 기능의 경영 추론 모델을 설명하는 데 협력했으며, 한 명(IGH)은 목적 지향적 SDM 모델을 개발했습니다(Hargraves et al. 2019).
Our background surely influenced our observations and analyses. Three investigators (DAC, SJD, CRS) are practicing physicians (general internists) and 2 have PhDs with backgrounds in education/cognition (SJD) and design, communication, and SDM (IGH). Three investigators (DAC, SJD, CRS) collaborated in describing the 12-feature model of management reasoning and one (IGH) developed the purposeful SDM model (Hargraves et al. 2019).

결과
Results

개념적 모델 없이 관찰(1단계)
Observations without conceptual model (stage 1)

먼저 특정 개념적 모델 없이 관찰한 내용을 보고하고, 환자-임상의 상호작용의 질이 특히 낮거나 추론 과정 또는 치료 계획에 해로운 것으로 보이는 사례(및 그에 따른 시사점, 결과 또는 문제)를 강조했습니다. 또한, 아무리 우수한 동영상이라도 평범한 수준에 불과하다고 판단되는 경우라도 우수한 성과를 보인 사례도 찾았습니다. 표 2에는 각 비디오와 눈에 띄는 인상이 설명되어 있으며, 부록 1에는 관찰 및 분석에 대한 자세한 내용이 나와 있습니다(보충 자료).
We first report observations made without a specific conceptual model, highlighting instances (and corresponding implications, consequences, or problems) in which the patient-clinician interaction was of particularly poor quality or seemed detrimental to the reasoning process or care plan. We also sought instances of superior performance, although in our judgment even the best videos were only mediocre. Table 2 describes each video and salient impressions; Appendix 1 details our observations and analyses (Supplementary Material).

의사는 환자의 자율성이나 선택을 허용하거나 장려하지 않는 경우가 많았습니다. 이는 대놓고 드러나는 경우는 거의 없었습니다(예: 단 하나의 옵션만 제시된 동영상은 단 한 편뿐이었음). 그러나 [미묘한 표현]으로 자율성을 침해하는 경우가 종종 있었습니다. 한 조사자는 의사들이 '환자의 의사를 뭉겠다'고 썼습니다. 예를 들어, 새로 갑상선 유두암 진단을 받은 환자에게 의사는 환자에게 수술 상담을 최우선 순위로 삼으라고 주장했습니다('이 암은 가장 중요한 암입니다. 이 암은 당신에게 가장 중요한 것이어야 합니다'), 환자가 업무 마감일과 충돌할 수 있다는 우려를 표명했음에도 불구하고. 고혈압, 고지혈증, 당뇨병에 대한 약물 치료 시작을 보여주는 동영상에서는 일반적으로 한 가지 치료 옵션이 권장되는 것으로 제시되고 환자는 이에 동의할 것으로 예상(설득)되었습니다. 이러한 문제는 치료 옵션을 식별할 때뿐만 아니라 치료 목표를 정의할 때도 나타났습니다. 예를 들어, 당뇨병 환자의 경우 의사는 국가 가이드라인에 정의된 치료 목표를 선언했지만 환자에게 이러한 목표에 동의하는지 묻지 않았습니다. 
Physicians often failed to allow or encourage patient autonomy or choice. This was rarely overt (i.e. there was only one video in which only a single option was presented). However, subtle statements frequently subverted autonomy. As one investigator wrote, physicians ‘steamrolled over the patient’s wishes.’ For example, with a patient with newly-diagnosed papillary thyroid cancer, the physician insisted that the patient make surgical consultation a top priority (‘This cancer is the most important thing. It has to be the most important thing for you’), even after the patient expressed concerns that this would conflict with work deadlines. In videos showing initiation of drugs for hypertension, hyperlipidemia, or diabetes, a single treatment option was typically presented as recommended, and the patient was expected (convinced) to acquiesce. This problem appeared not only in identifying treatment options; it also showed up in defining goals of care. For example, in a patient with diabetes, the physician declared treatment targets as defined by national guidelines, but never asked the patient if she agreed with these targets.

의사는 일반적으로 환자에게 관리 옵션 목록을 제공했지만, 환자에게 이러한 옵션 중 하나를 선택하도록 명시적으로 권유하는 경우는 드물었습니다. 상담의 여러 단계에서 어려움이 드러났습니다.

  • 상담의 목표(해결해야 할 문제)를 정의할 때 새로 섬유근육통을 진단받은 환자는 진단의 정확성을 다시 확인하고자 했지만, 의사는 곧바로 치료 옵션으로 대화를 이끌었습니다.
  • 고혈압에 대한 초기 약물 치료를 논의할 때 환자에게 세 가지 옵션이 주어졌지만 의사는 환자의 의견을 묻지 않고 환자의 의학적 문제에 맞춰 가장 적합한 옵션을 선택했습니다.
  • 치료 목표를 고려할 때 의사는 가이드라인에 따른 당화혈색소(A1c) 목표치를 제시하고 그보다 조금 더 높은 목표를 제시하는 환자의 제안을 무시했습니다.

이와 대조적으로 한 동영상에서는 의사가 고지혈증 환자에게 "어떤 약이 가장 좋을지 결정할 수 있도록 도와달라"고 요청했습니다. 
Although physicians usually offered patients a list of management options, only infrequently did they explicitly invite patients to participate in choosing among these options. Difficulties surfaced at various stages in the encounter.

  • When defining the goal of the encounter (problem to be addressed), a patient with newly-diagnosed fibromyalgia wanted to revisit the accuracy of the diagnosis, yet the physician steered the conversation immediately to treatment options.
  • When discussing initial drug treatment for hypertension, a patient was given three options but the physician selected her top choice (tailored to the patient’s medical problems) without soliciting the patient’s input.
  • When considering goals of therapy, a physician invoked a guideline-aligned A1c target and subsequently brushed aside the patient’s suggestion of a slightly higher target.

By contrast, in one video the physician invited a patient with hyperlipidemia, ‘I’d like you to help me decide what would be the best medication for you.’

의사는 종종 그 만남에서 [해결해야 할 핵심 문제를 정의하는 데 실패]했습니다. 위의 갑상선암과 섬유근육통의 예는 이 점을 잘 보여줍니다. 환자를 참여시키지 않음으로써 환자에게 가장 중요한 문제(상충되는 개인적 우선순위 또는 진단의 정확성에 대한 우려)를 고려하지 않고 궁극적으로 의사에게 가장 중요한 문제(치료)에 집중하게 됩니다. 이 문제는 치료 옵션을 논의할 때 다른 만남에서도 나타났습니다. 예를 들어, 의사는 일반적으로 치료 효과에 초점을 맞추는 반면 환자는 부작용과 비용에 대해 인내심을 발휘했습니다.
Physicians often fell short in defining the core problem to be addressed in the encounter. The examples above of thyroid cancer and fibromyalgia illustrate this point: By failing to involve the patient, they ultimately focused on the problem most salient to the physician (treatment) without considering the problem most salient to the patient (juggling conflicting personal priorities or concerns about the accuracy of diagnosis). This issue surfaced in other encounters when discussing treatment options. For example, physicians commonly focused on treatment efficacy while patients perseverated on side effects and cost.

의사들은 때때로 [근본적인 우려, 두려움, 질문]을 탐색하고 해결하지 못했습니다.

  • 한 고혈압 환자는 '약을 먹어본 적이 없어요. 아스피린도 거의 먹지 않아요. 그런데 이제 두 가지 약을 먹으라고 하네요'라고 말했습니다. 의사는 약이 저렴하고 매우 안전하다고 짧게 대답한 후 '그러니 걱정하지 않으셔도 됩니다'라고 말하며 대화를 끝냈습니다.
  • 고지혈증 환자에게 의사는 다른 옵션은 제시하지 않고 스타틴 계열의 약을 추천하면서 '부작용이 거의 없다'고 언급했습니다. 환자가 '괜찮지만 얼마나 심각한가요?"라고 묻자 의사는 "콜레스테롤을 효과적으로 낮추는 한 심각하지 않습니다."라고 대답했습니다. 장기적으로는 정말 큰 차이를 만들 수 있습니다."라고 대답했습니다. 그 후 의사는 이 문제에 대해 더 자세히 알아보지 않고 처방전을 작성했습니다.

Physicians occasionally failed to explore and address underlying concerns, fears, and questions.

  • A patient with hypertension expressed, ‘I’ve never had to take anything. I barely ever take an aspirin. Now you’re talking about putting me on two drugs.’ The physician responded with a brief assurance that the medication was inexpensive and quite safe, and then terminated the conversation with, ‘So that shouldn’t concern you.’
  • For a patient with hyperlipidemia the physician recommended a statin drug (without offering other options) and noted ‘few side effects.’ When the patient asked, ‘I guess that’s okay, but how serious is this?’ the physician responded, ‘Well, it’s not serious as long as we effectively lower your cholesterol. It can really make a big difference in the long run.’ The physician then moved forward with writing a prescription without further exploring this concern.

의사 결정의 [맥락을 적절히 탐색하지 않는 것]은 어디에나 있었습니다. 의사들은 환자에게 선호도, 가치관, 자원, 제약 조건에 대해 직접 질문하는 경우가 거의 없었으며, 설령 질문을 하더라도 짧고 피상적인 수준에 그쳤습니다. 의사들은 상황을 완전히 파악하기 위해 추가 질문을 하는 경우는 거의 없었습니다. 의료팀이나 시스템의 자원과 제약을 탐색하는 의사의 사례는 훨씬 더 적었습니다.
Failure to adequately explore the context of decision-making was ubiquitous. Physicians rarely asked the patients directly about their preferences, values, resources, and constraints, and when they did the inquiry was brief and superficial. Physicians never followed with additional probing questions to fully explore the situation. We saw even fewer examples of physicians exploring the resources and constraints of the health care team or system.

좀 더 넓게 보면, 이러한 실패와 다른 실패는 환자가 있는 곳에서 환자를 만나지 못하는 것, 즉 의사의 의제와 환자의 의제 사이의 단절로 통합됩니다. 위의 예 외에도 당뇨병 환자의 다른 동영상에서 의사는 약물 치료를 강화하라는 권고를 완화할 수 있는 생활 습관 조치에 관한 과거의 논의를 기억하지 못했습니다.
Viewed more broadly, these and other failures coalesce into a failure to meet the patient where they are—a disconnect between the physician’s agenda and the patient’s. In addition to the examples above, in a different video of a patient with diabetes, the physician failed to remember past discussions regarding lifestyle measures that might have mitigated recommendations to intensify drug treatment.

거의 모든 동영상에서 의사는 [환자와 함께 환자의 욕구, 우선순위, 동반 질환, 자원 등을 통합하는 데 실패]했습니다. 많은 동영상에서 의사는 매우 제한된 범위의 옵션을 제시했습니다. 다른 영상에서는 의사가 여러 가지 옵션을 제시했지만 환자의 고유한 요구 사항을 고려하여 명시적으로 우선순위를 정하지 않았습니다. 이러한 행동은 비개인적인(맞춤화되지 않은 일반적인) 계획으로 이어졌습니다.
In nearly every video, the physician failed to work jointly with the patient to integrate their desires, priorities, comorbidities, resources, etc. In many videos the physician presented a very limited range of options. In others, the physician offered several options but did not explicitly prioritize these considering the patient’s unique needs. Such actions resulted in an impersonal (untailored, generic) plan.

마지막으로, 임상의와 환자 간의 [관계를 구축하는 데 전반적으로 실패]한 것으로 나타났습니다. 어떤 경우에는 '증기 압연' 욕구와 잊혀진 대화의 경우처럼 의도하지는 않았지만 적극적으로 (비록 의도하지는 않았지만) 이러한 관계가 훼손되었습니다. 다른 영상에서는 서두르는 대화, 고민을 털어놓지 않거나 무시하는 말투 등 좀 더 미묘했습니다. 이는 관계에 상처를 입혔다기보다는 소홀히 한 것을 반영합니다.
Finally, we noted a general failure to build the clinician-patient relationship. In some instances, this relationship was actively (albeit unintentionally) undermined—as in the cases of ‘steamrolled’ desires and forgotten conversations. In other videos it was more subtle—a hurried conversation, failure to explore concerns, or dismissive tone of voice. These reflect a neglect of rather than injury to the relationship.

SDM의 렌즈를 통한 조사(2단계)
Examination through lens of SDM (stage 2)

위의 결과를 바탕으로 상호 보완적인 인사이트를 발견하기 위해 두 가지 SDM 렌즈(모델)를 사용하여 이러한 동영상을 체계적으로 재검토했습니다(표 2). 부록 2에는 방법, 관찰 및 분석에 대한 자세한 내용이 나와 있습니다(보충 자료).
Building on the above results, we systematically re-examined these videos (Table 2) using 2 lenses (models) of SDM in hope of discovering complementary insights; Appendix 2 details our methods, observations, and analyses (Supplementary Material).

참여 중심 모델
Involvement-focused model

[참여 중심 모델]은 [SDM의 전통적인 개념]으로, 환자가 의사 결정에 적절히 참여하여 자율성을 존중하고 가치에 기반한 의사 결정을 내릴 수 있도록 돕는 것이 SDM의 주된 이유입니다. 이러한 접근 방식의 대표적 모델인 [Three Talk 모델](Elwyn 외. 2017)은 SDM 회의에서 환자가 [팀 토크, 옵션 토크, 결정 토크]의 3단계 대화에 참여하도록 합니다. 우리는 이 모델을 사용하여 참여 중심 렌즈를 통해 해석된 관찰을 구조화했습니다.
The involvement-focused model represents a traditional concept of SDM wherein the predominant reason for SDM is to ensure that patients are adequately involved in decision-making, to respect their autonomy and help them make value-informed decisions. Representative of this approach, the Three Talk model (Elwyn et al. 2017) involves patients at 3 stages of conversation in SDM encounters: team talk, option talk, and decision talk. We used this model to structure observations interpreted through the involvement-focused lens.

팀 대화와 관련된 문제
Issues related to team talk

[팀 대화]는 환자를 의사 결정에 참여하도록 유도하고 협력 관계를 구축합니다. 위에서 언급한 바와 같이, 의사들이 환자를 의사 결정에 참여시키고 동등하게 협력하도록 초대하는 경우는 거의 없었습니다. 또한, 많은 경우 대화가 오히려 [환자의 자율성을 떨어]뜨리고 [의사와 환자 간의 권력 차이를 확대]하는 것으로 나타났습니다. 갑상선암 환자(환자에게 즉시 외과 의사를 만나라고 주장), 섬유근육통 환자(진단 재검토 요청 무시), 당뇨병 환자(치료 강화를 연기하자는 환자의 제안 묵살) 등이 그 예입니다.
Team talk invites the patient to participate in decision-making and establishes a collaborative relationship. As noted above, only rarely did physicians invite patients to engage in decision-making and collaborate as equals. Moreover, we noted that in many instances the conversation actually diminished patient autonomy and escalated the power differential between physician and patient. Examples include the patients with thyroid cancer (insisting the patient see a surgeon immediately), fibromyalgia (ignoring requests to revisit the diagnosis), and diabetes (dismissing the patient’s proposal to defer treatment intensification).

옵션 대화와 관련된 문제
Issues related to option talk

옵션 대화에서는 의사가 제시한 옵션의 장단점에 대해 논의합니다. 거의 모든 만남에서 의사는 거의 옵션을 제공하지 않았으며 각 옵션에 대한 정보도 제한적으로만 제공했습니다(위 및 표 2 참조).
Option talk discusses the pros and cons of the options identified by the physician. In nearly every encounter, physicians offered very few options and provided only limited information about each option (see above and Table 2).

또한 의사들은 [아무것도 하지 않는 옵션]을 제공한 적이 없었습니다. 그들은 항상 환자에게 조치가 필요하고 환자가 원한다고 가정했습니다.
Moreover, physicians never offered the option of doing nothing. They always assumed action was needed and desired by patient.

이러한 [제한된 옵션 목록]은 대안, 부작용, 비용, 일반적으로 차선책이 선호되는 상황(예: 비용 또는 편의성 기준) 또는 즉각적인 조치가 없을 때의 실제 위험에 대한 불완전한 지식 등 [임상의의 지식 격차]를 반영하는 것일 수 있다는 것을 감지했습니다. 지식 격차는 또한 환자의 질문에 대한 불완전한 답변(부분적인 답변 또는 질문과 관련이 있지만 직접적으로 다루지 않는 답변)의 기저에 있는 것으로 보였습니다. 지식 격차가 흔해 보였지만, 실제 지식 오류는 이 동영상에서 드물게 나타났습니다.
We sensed that such constrained option lists could reflect clinician knowledge gaps—incomplete knowledge of alternatives, side effects, costs, situations in which a typically-suboptimal option might emerge as preferred (e.g. based on cost or convenience), or the true risk of no immediate action. Knowledge gaps also seemed to underlie incomplete responses to patient questions (partial answers or answers related to but not directly addressing the question). Although knowledge gaps seemed common, actual knowledge errors were infrequent in these videos.

디시전 토크와 관련된 문제
Issues related to decision talk

[의사 결정 대화]는 환자의 선호도를 파악하고 통합하여 결정을 내리는 과정입니다. 의사는 일반적으로 환자의 선호도를 구하거나 환자를 진지하게 대하지 않았습니다. 예를 들어 당화혈색소(A1c)가 목표치보다 약간 높은 당뇨병 환자에게 메트포르민 용량을 늘려야 하며 생활습관 개선만으로는 충분하지 않다는 말을 들었다면, 이는 목표 설정과 치료 결정 모두에 환자가 관여하는 것에 위배됩니다. 마찬가지로, 유두상 갑상선암 환자는 우려를 표명했지만 대놓고 무시당했습니다.
Decision talk identifies and integrates the patient’s preferences culminating in a decision. Physicians typically did not seek the patient’s preferences or earnestly entertain them. For example, a patient with diabetes and an A1c slightly above goal was told she needed to increase the dose of metformin and that lifestyle measures would be inadequate; this violates involvement in both establishing targets and deciding on treatment. Likewise, the patient with papillary thyroid cancer expressed concerns that were overtly brushed aside.

문제 중심 모델
Problem-focused model

[문제 중심 모델](목적 중심 SDM, 표 1)에서 SDM의 목적은 [환자가 겪고 있는 문제(좁게 또는 넓게 정의)를 해결]하기 위한 것입니다.

  • 참여 중심 모델이 대화 유형과 자율성에 중점을 두는 반면,
  • 문제 중심 접근 방식은 환자와 의사가 이 문제에 대한 적절한 대응책을 함께 발견할 수 있는 방법에 중점을 둡니다. 이러한 단계에는 다음이 포함됩니다.
    • 문제 특성 파악,
    • 가능한 해결책 제안,
    • 여러 가능성 중 판단 방법 결정,
    • 치료 계획 개발

이러한 요소(문제, 가능성, 판단 접근 방식, 치료 계획) 중 어느 것도 대화 전에 완전히 정의된 것은 없습니다. 대화의 목적은 각 요소를 발견하고, 활용하고, 조정하여 잘 형성된 대응 가능한 문제 해결책을 만들기 위해 '함께 노력'하는 것입니다. 이와 대조적으로, 많은 [참여 중심 모델]은 문제와 가능성(옵션)을 미리 알고 있다고 가정합니다. 우리는 문제 중심 렌즈를 통해 관찰한 내용을 해석하면서 추가적인 인사이트를 발견했습니다.
In the problem-focused model (Purposeful SDM, Table 1), the reason for SDM is to address a problem (narrowly or broadly defined) that the patient is experiencing.

  • Whereas the involvement-focused model concentrates on types of talk and autonomy,
  • a problem-focused approach concentrates on how the patient and physician can discover together an appropriate response to this problem. These steps include:
    • characterize the problem,
    • propose possible solutions,
    • determine how to judge among the possibilities, and
    • develop a care plan.

None of these elements (the problem, possibilities, judgement approach, or care plan) are fully defined prior to the conversation. The purpose of conversation is to ‘endeavor together’ to discover, use, and adapt each element to craft a well-formed, responsive problem resolution. By contrast, many involvement-focused models assume that the problem and possibilities (options) are known up-front. We identified additional insights as we interpreted our observations through the problem-focused lens.

문제 특성화와 관련된 문제
Issues related to characterizing problems

환자와 임상의 사이의 숙의 과정에는 [문제 상황의 인간적 의미를 이해]하는 것이 포함됩니다. 이 동영상에서 의사들은 일반적으로 문제에 대한 매우 좁은 개념을 전달했으며, 종종 '높은 LDL = 스타틴' 또는 '갑상선암 = 수술 상담'과 같은 특정 해결책과 연결시켰습니다. 환자나 상황보다는 검사 결과, 조직 검사 또는 질병을 관리하는 경향이 있었습니다.
Part of deliberation between patient and clinician involves developing an understanding of the human significance of the problematic situation. In these videos, physicians typically conveyed a very narrow conception of the problem, often linking it with a specific solution: ‘high LDL = statin’ or ‘thyroid cancer = surgical consultation.’ They tended to manage the test result, biopsy, or disease, rather than the patient or situation.

이 과정에서 [상황의 진정한 의미], 즉 문제와 잠재적 해결책이 [환자의 건강과 삶 전반에 미치는 영향]을 전달하지 못했습니다. 이러한 실패에는 건강에 미치는 영향보다는 다음이 포함될 수 있습니다.

  • 중간 목표(예: 심혈관 질환 위험보다는 당화혈색소 또는 혈압 목표)에 초점을 맞추거나,
  • 질병의 영향을 최소화하거나 과장하거나,
  • 문제와 해결책이 불일치하는 경우(예: 심각한 문제와 사소한 해결책 또는 그 반대의 경우)

예를 들어, 유두상 갑상선암은 비교적 무해하여 몇 주만 지연해도 문제가 거의 발생하지 않는데도 의사는 긴급한 수술 의뢰를 고집했습니다. 이러한 실패는 의사(및 상황에 대한 잘못된 이해)나 대화 중 잘못된 단계로 인해 발생할 수 있습니다. 결론적으로, 대부분의 '공유' 의사 결정은 공식적이고 의사의 치료 목표에 초점을 맞춘 것이었습니다.
In doing so, they failed to convey the true meaning of the situation—the impact (of both the problem and potential solutions) on the patient’s health and life in general. This failure could involve

  • focusing on interim objectives rather than health impact (e.g. A1c or blood pressure targets rather than risk of cardiovascular events),
  • minimizing or overstating the impact of illness, or
  • mismatching the problem and solution (e.g. a serious problem and a trifling solution, or vice versa).

For example, papillary thyroid cancer is relatively innocuous, such that a few-week delay would rarely cause problems, yet the physician insisted on urgent surgical referral. Such failures can arise within the physician (and their [mis]understanding of the situation), or from mis-steps in the conversation. As a corollary, most ‘shared’ decision-making was formulaic and focused on physician goals of care.

예외적으로, 의사와 환자가 합의된 관심사(예: 문제)를 해결하기 위해 함께 노력한 몇 가지 사례를 확인했습니다. 예를 들어, 다른 갑상선암 동영상에서 의사는 환자가 외과 의사를 만나야 한다는 일방적인 결정을 내렸지만, 환자가 스케줄에 대한 상충을 명확히 밝히자 대화는 외과 의사와의 상담을 촉진하는 방법을 모색하는 공동 문제 해결 심의 과정으로 전환되었습니다. 환자는 초기 결정이 내려졌음에도 불구하고 궁극적으로 만족하는 모습을 보였습니다. 이는 공동 심의를 거치지 않은 '동일한' 시나리오에서 의제와 우선순위가 충돌한 것과는 극명한 대조를 이룹니다.
As an exception, we identified a few instances in which the physician and patient worked together to address an area of agreed-upon concern (i.e. a problem). For example, in the other thyroid cancer video the physician made a unilateral decision that the patient needed to see a surgeon, but when the patient articulated scheduling conflicts the conversation transformed into a joint problem-solving deliberation exploring how to facilitate the surgeon consultation. The patient ultimately appeared satisfied even though the initial decision was thrust upon him. This contrasts sharply with the ‘same’ scenario without joint deliberation that led to a clash of agendas and priorities.

가능성 제안과 관련된 문제
Issues related to proposing possibilities

심의의 또 다른 측면은 문제에 대한 [가능한 대응을 식별]하는 것입니다. 환자와 의사는 함께 협력하여 [가능한 해결책을 제안하거나, 만들거나, 발견]할 수 있습니다. 위에서 언급한 바와 같이, 이 동영상에서 의사들은 거의 항상 하나의 실행 가능한 옵션을 제시하고 다른 대안(있는 경우)은 열등한 것으로 묘사했습니다. 까다로운 수술 상담을 해결한 대화(위)는 공동으로 협력하여 대안을 찾아낸 좋은 예입니다.
Another aspect of deliberation involves identifying possible responses to a problem. Working together, patients and physicians may propose, create, or discover possible solutions. As noted above, in these videos physicians nearly always offered a single viable option, portraying alternatives (if any) as inferior. The conversation that resolved the challenging surgical consultation (above) is a good example of working jointly to identify alternative possibilities.

가능성 판단과 관련된 문제
Issues related to judging possibilities

가능성이 발생하면 그 중에서 [판단하는 방법(예: 옵션 비교, 협상, 문제 해결, 통찰력 개발)을 수립]해야 합니다. 이상적으로는 환자와 의사가 함께 이 작업을 수행합니다. 이 비디오에서 의사가 환자와 적극적으로 협력하여 서로의 관심사를 해결하는 경우는 드물었습니다. 오히려 거의 항상 의사가 진료실에 들어가기 전에 결정을 내린 다음 환자가 이 계획에 동의하도록 설득하는 데 시간을 소비하는 것처럼 보였습니다. 이러한 계획은 대개 합리적이며 가이드라인에 부합하는 것이었지만 환자의 의견은 반영되지 않았습니다. 한 조사자는 '추론은 임상의의 머릿속이 아닌 교과서에서 일어났다'고 기록했습니다.

As possibilities arise, methods of judging among them (e.g. weighing options, negotiating, problem solving, developing insight) should be established. Ideally, patients and physicians do this together. In these videos, physicians infrequently worked actively with patients to solve a problem of mutual concern. Rather, it nearly always appeared that the physician had made the decision before walking into the room, and then spent time convincing the patient to agree with this plan. Such plans were usually well-reasoned and in alignment with guidelines, but devoid of patient input. As one investigator documented, ‘Reasoning happened in the textbook (not in the clinician’s head).’

우리는 치료 목표(예: 의사가 당뇨병, 고지혈증 또는 고혈압에 대한 가이드라인 기반 치료 목표에 대해 논의하지 않고 선택)와 치료 접근 방식(예: 약물, 약물 용량, 수술 상담)에 대한 대화에서 이러한 단점을 인식했습니다. 또한 의사가 섬유근육통 진단에 대한 환자의 불확실성을 무시하고 치료 계획의 윤곽을 미리 제시하는 경우와 같이 진료 흐름에서도 이러한 문제를 확인할 수 있었습니다. 이러한 행동은 거의 항상 의사와 환자 사이에 마찰을 일으켰고, 의사는 자신의 해결책이 좋다고 환자를 설득하려고 노력했습니다.
We recognized this shortcoming in conversations about both goals of treatment (e.g. the physician selecting [rather than discussing] guideline-based treatment targets for diabetes, hyperlipidemia, or hypertension) and treatment approach (e.g. drug, drug dose, surgical consultation). We also saw this in the encounter flow, as when the physician ignored the patient’s uncertainty with her diagnosis of fibromyalgia and forged ahead to outline a care plan. Such actions nearly always resulted in friction between physician and patient, with the physician trying to convince the patient that their solution was good.

케어 플랜 개발과 관련된 문제
Issues related to developing care plans

공유된 심의 프로세스는 문제에 대응하고 지적, 실제적, 정서적으로 [합당한 치료 계획을 수립]하기 위해 노력합니다. 지적, 실용적, 정서적 일관성을 갖춘 대응 계획의 예는 거의 없었습니다. 대신 일반적으로 치료 계획 내에서 [단절] 또는 [잔류 갈등]이 관찰되었습니다.

  • 갑상선암 동영상은 문제의 심각성(상담의 시급성이 낮음)과 제안된 해결책의 영향(환자의 삶에 큰 지장을 초래함) 사이의 갈등을 보여줍니다.
  • 두 섬유근육통 동영상의 치료 계획은 체계적이지 않고 불완전하며 환자의 경험과 단절되어 있어 환자가 실질적인 다음 단계에 대해 당황하고 좌절하며 방향을 잃게 만들었습니다.
  • 다른 영상에서는 환자의 질문에 대한 답변이 없거나 치료 목표가 강요될 때 지적 단절이 빈번하게 발생하고, 환자의 우려를 무시하거나 자율성을 무시할 때 감정적 갈등이 발생하는 것을 볼 수 있었습니다.

The shared deliberative process works towards a care plan that responds to the problem and makes sense intellectually, practically, and emotionally. We saw few examples of responsive plans with intellectual, practical, and emotional coherence. Instead, we typically observed a disconnect or residual conflict within the care plan.

  • The thyroid cancer video illustrates a conflict between the severity of the problem (low urgency for consultation) and the impact of the proposed solution (large disruption of the patient’s life).
  • The care plans in both fibromyalgia videos were poorly organized, incomplete, and disconnected from the patient’s experience, leaving the patient perplexed, frustrated, and disoriented regarding practical next steps.
  • In other videos we saw frequent intellectual disconnects when patient questions remained unanswered or treatment targets were imposed, and emotional conflicts when patient concerns were brushed aside or autonomy had been disregarded.

또한 [명시적인 결정이 없는 경우]도 많이 보았습니다. 의사는 일반적으로 여러 가지 제안을 하고 선호하는 옵션을 언급하기도 했지만, 환자에게 이 계획에 대한 동의를 요청하거나 받지 않았습니다. 이러한 실패는 단순히 의사 소통 능력이 부족해서일 수도 있지만, 일부 영상에서는 의사가 환자의 동의를 얻지 못했다는 인식 때문에 의도적으로 동의를 구하지 않는 것처럼 보이기도 했습니다. 그 외에는 최선의 접근 방식에 대한 불확실성 때문인 경우가 더 많았습니다.
Additionally, we saw many instances in which there was no explicit decision. The physician had typically made a number of suggestions, and might have even stated a preferred option, but never asked for or received agreement for this plan from the patient. Although such failures could reflect merely poor communication skills, in some videos the physician seemed to deliberately avoid asking for agreement, due perhaps to awareness that the conversation had failed to garner the patient’s buy-in. Less often, vacillation seemed due to uncertainty in the best approach.

 

환자-임상의 상호 작용 및 관리 추론 통합(3단계)
Integrating patient-clinician interactions and management reasoning (stage 3)

마지막으로, 관리 추론에서 커뮤니케이션과 환자-임상의 상호작용의 역할을 이해하고자 하는 본 연구의 목표를 달성하기 위해, 이전에 확인된 관리 추론의 12가지 특징(Cook 외. 2022b)과 두 SDM 모델 간의 상호 영향을 체계적으로 고려함으로써 2단계 결과와 관리 추론의 틀을 통합했습니다(부록 3에서는 관찰 및 분석에 대한 자세한 내용(보충 자료)을 확인할 수 있습니다). 이 분석에서 얻은 수많은 인사이트(표 3) 중 주목할 만한 결과는 다음과 같습니다:
Finally, to achieve our study’s goal of understanding the role of communication and patient-clinician interaction in management reasoning, we integrated stage 2 findings and the framework of management reasoning by systematically contemplating the reciprocal implications between 12 previously-identified features of management reasoning (Cook et al. 2022b) and the two SDM models; Appendix 3 details our observations and analyses (Supplementary Material). Among the numerous insights from this analysis (Table 3), notable findings include:

 

  • [문제 중심 모델]에서 선호도는 환자가 아닌 [상황의 특징]입니다. 문제가 있는 상황은 바람직하지 않으며, 가능한 해결책은 다양한 제약 조건 내에서 인간의 범위 내에서 상황에 대응하는 성공 여부에 따라 바람직(선호) 또는 그렇지 않은 것으로 결정됩니다. [관리 추론]은 문제 상황에 대한 바람직한 해결책을 모색합니다.
  • In the problem-focused model, preferences are a feature of the situation not the patient. Problematic situations are undesirable, and possible solutions are desirable (preferred) or otherwise according to their success in responding to the human scope of the situation within various constraints. Management reasoning seeks a preferred solution to a problematic situation.
  • [환자, 의사, 상황적 제약 사이의 역동적인 상호 작용]은 거의 모든 대면 진료에서 보통 또는 높은 수준입니다. 문제가 쉽게 파악되거나 쉽게 해결될 수 있었다면 환자는 집에 머물렀을 것입니다. 임상의는 [일이 예상대로 진행되지 않을 때 개입]합니다.
  • The dynamic interplay among patient, physician, and situational constraints is moderate or high for virtually all face-to-face encounters. If the problem were readily characterized or easily resolved, the patient would have stayed home. Clinicians get involved when things do not go as expected.
  • 의사들은 [충분한 정보를 바탕으로 상호 합의]하여 선택하기보다는 [잠정적이거나 임시적인 용어('일단 약을 시작하고 마음에 들지 않으면 바꾸면 된다')로 '결정']을 내리는 경우가 많습니다. 물론 '관리 계획의 지속적인 모니터링과 조정'은 관리 추론의 핵심 기능이지만(Cook et al., 2019), 의사들은 종종 [질문을 미루고, 우려를 제쳐두고, 대립을 피하기] 위해 이러한 [전제에 지나치게 의존]하는 것처럼 보였습니다('캔을 걷어차 버리자').
  • Physicians often couched “decisions” in tentative or temporary terms (‘Let’s start the medication and if you don’t like it then we can change’) rather than mutually agreeing upon a well-informed choice. Of course, ‘ongoing monitoring and adjustment of the management plan’ is a key feature of management reasoning (Cook et al., 2019); but physicians often seemed to rely excessively on this premise to defer questions, brush aside concerns, and avoid confrontation (‘kick the can down the road’).
  • [언어]는 [미묘하지만 중요한 방식으로 문제를 형성하고 변화]시킬 수 있습니다. 예를 들어, 고지혈증을 'LDL을 낮춰야 한다' 또는 '심장마비 위험을 줄여야 한다'는 식으로 표현하면 문제의 성격과 해결책을 협상하는 방식이 크게 달라질 수 있습니다.
  • Language can shape and change the problem in subtle but important ways. For example, framing hyperlipidemia as needing to ‘lower your LDL’ or ‘reduce your risk of a heart attack’ could lead to dramatically different problem characterizations and solution negotiations.
  • 우리는 이전에 정의한 관리 스크립트('합리적인 관리 계획의 개발을 용이하게 하기 위해 관리 옵션과 임상의 업무를 시간적 또는 논리적 순서로 표현하고 연결하는 사전 편집된 개념적 지식 구조'(Cook et al., 2022b))와 관련된 [두 가지 새로운 인사이트]에 주목하고 나중에 자세히 설명했습니다(Cook et al., 2022a).
  • We noted 2 novel insights related to management scripts, which we previously defined (‘precompiled conceptual knowledge structures that represent and connect management options and clinician tasks in a temporal or logical sequence to facilitate development of a rational management plan’ (Cook et al., 2022b)) and later elaborated in detail (Cook et al., 2022a).
    • 첫째, 의사의 [관리 스크립트]는 [의사의 요구](예: 효율적인 만남 또는 신속한 결정 촉진)와 [환자의 요구](문제 이해, 질문에 대한 답변, 개별화된 결정 지원)의 [우선순위]에 따라 연속체를 따라 달라집니다.
    • First, physicians’ management scripts vary along a continuum in prioritizing physician needs (e.g. promoting an efficient encounter or expedited decision) vs patient needs (understanding problems, answering questions, supporting individualized decisions).
    • 둘째, [환자]는 의사와의 상호작용을 안내하는 [자신만의 인지적 스크립트]를 가지고 있습니다. 환자와 의사의 스크립트는 모두 유사한 범주(문제, 옵션, 선호도, 교육 요구, 대인관계, 진료 흐름(Cook et al., 2022a))로 구성될 가능성이 높지만, 각 범주에 대해 인스턴스화된 세부 사항은 상당히 다를 수 있습니다.
    • Second, patients have their own cognitive script that guides their interactions with the physician. Both patient and physician scripts likely comprise similar categories (problems, options, preferences, education needs, interpersonal interactions, and encounter flow (Cook et al., 2022a)); but the details instantiated for each category could differ substantially.
  • 문제를 해결할 때 의사는 [일반적으로 이미 알고 있는 지식에 의존]하게 되는데, 이 지식이 당면한 문제를 해결하는 데 항상 적절하거나 충분하지 않을 수 있습니다. 부주의적이든(모르는 것을 알기 어렵기 때문) 의도적이든(지식 격차를 인정하거나 추가 정보를 찾는 것을 피하기 위해서) 이러한 지식 격차는 문제 중심 SDM을 방해합니다.
  • When grappling with a problem, physicians will typically rely on what they already know—which may not always be relevant or sufficient to resolve the problem at hand. Whether inadvertent (it is difficult to know what one does not know) or conscious (to avoid admitting a knowledge gap or seeking additional information), such knowledge gaps will interfere with problem-focused SDM.
  • 환자-의사 관계의 특성은 모델에 따라 다릅니다.
    • [참여 중심 모델]에서는 공감과 신뢰의 효과적인 관계가 효과적인 SDM의 매개체(전구체)입니다. 이와 대조적으로
    • [문제 중심 모델]에서는 효과적인 관계가 SDM의 산물입니다(즉, 의사와 환자가 문제를 해결하기 위해 함께 노력하면서 관계가 발전합니다).
  • The nature of patient-physician relationships differs by model.
    • In the involvement-focused model an effective relationship of empathy and trust is a mediator of (precursor to) effective SDM. By contrast,
    • in the problem-focused model an effective relationship is the product of SDM (i.e. the relationship develops as the physician and patient work together to solve problems).
  • [설득]도 모델에 따라 다르게 볼 수 있습니다
    • [참여 중심 모델]에서는 설득은 [나쁜 것으로 간주]된다. 권위, 권력 차이, 바람직하지 않은 행동을 하도록 영향력을 행사하는 것이고, 이러한 위험 때문에 환자를 의사 결정에 참여시켜 자율성을 보존해야 한다고 생각합니다. 
    • [문제 중심 모델]에서 설득은 좋은 것이고, 사실상 목표이다. 모든 이해관계자가 이 상황에서 최선의 행동 방침을 상호 설득할 때까지 함께 노력하는 것이지만, 과도한 권력 기반 설득은 이 방법을 왜곡하는 것입니다.
  • Persuasion can also be viewed differently, depending on the model.
    • In the involvement-focused model, persuasion is bad, connoting authority, power differential, and influence to do (undesirable) actions; this risk drives the need to preserve autonomy by involving patients in decision-making.
    • In the problem-focused model, persuasion is good—indeed, the goal: stakeholders work together until all are mutually persuaded that a course of action is best in this circumstance; undue power-based persuasion is a corruption of this method.

 

제안된 모범 사례(4단계)
Proposed best practices (stage 4)

이러한 결과를 바탕으로 우리는 관리 추론에서 환자-임상의 상호작용에 대한 몇 가지 잠정적인 모범 사례를 확인했으며, 이는 상자 1에 나열되어 있습니다.
Drawing on these findings we identified several tentative best practices for patient-clinician interactions in management reasoning, listed in Box 1.

토론
Discussion

이 연구는 관리 추론이 전적으로 [임상의의 머릿속]이 아닌 [개인 사이의 공간]에서 발생한다는 이전 연구(Cook 외. 2022b)의 관찰을 더욱 입증합니다. 두 가지 다른 SDM 렌즈를 통해 시뮬레이션된 환자-임상의 만남을 분석하여 관리 추론에서 의사소통과 환자-임상의 상호 작용의 상호 보완적인 측면을 조명했습니다. SDM의 [참여 중심 모델]은 환자의 자율성을 보호하고, 정보를 명확하게 교환하며, 최종 결정이 환자의 선호도에 부합하도록 관리 추론에 환자를 참여시키는 것이 중요하다는 점을 강조했습니다. [문제 중심 모델]은 공동의 노력에서 소통과 상호 작용이 어떻게 올바른 의사 결정을 촉진하는 데 도움이 되는지 밝혀냈습니다. 
This study further probes the observation from an earlier study (Cook et al. 2022b) that management reasoning occurs in the space between individuals and not entirely in the clinician’s head. Analysis of simulated patient-clinician encounters through 2 distinct SDM lenses illuminated complementary aspects of communication and patient-clinician interaction in management reasoning. The involvement-focused model of SDM highlighted the importance of involving patients in management reasoning so that patient autonomy is preserved, information is clearly exchanged, and final decisions align with the patient’s preferences. The problem-focused model revealed how communication and interaction in a shared endeavor serve to facilitate well-formed decisions.

이러한 모델을 함께 사용하면 [커뮤니케이션 실패에 대한 순진한(분석 1단계) 관찰을 이해]하는 데 도움이 됩니다. 예를 들어, 의사가 환자를 만나지 못했거나 선택권을 제공하지 않은 경우, 모델에 따라 다른 이유로 인해 특히 중요하다는 것을 이제 알 수 있습니다.

  • [참여 중심 관점]에서 볼 때, 이는
    • 환자와 임상의 사이의 거리를 악화시키고,
    • 종종 의사소통을 차단하고,
    • 불신을 키우고,
    • 자율성을 무시하고,
    • 만남을 의지의 대결로 바꾸고,
    • 환자를 복종적인 역할로 강요하고,
    • 지속적인 관리에 필요한 파트너십을 해치고,
    • 환자가 임상의의 조언을 따라야 한다는 확신을 갖지 못하게 만들었습니다.
  • [문제 중심의 관점]에서 볼 때, 이와 같은 관찰된 실패는 임상의가 다음과 같은 것을 의미합니다. 
    • 문제가 있는 곳에서 환자를 직접 만나지 않았기 때문에 문제의 중요성/의미에 대해 자세히 설명하거나 해결하지 못했습니다, 
    • 문제를 해결하기 위해 환자-임상의 팀의 잠재력을 충분히 개발하지 못했습니다, 
    • 임상의가 선험적으로 결정한 것보다 상황에 더 잘 대응할 수 있는 심의 옵션을 제시하지 않았습니다, 
    • 종종 만남에서 모든 심의를 제거했습니다 (옵션이 논의되지 않을 때 얼마나 많은 '추론'또는 '의사 결정'이 발생하는지에 대한 의문을 제기합니다). 
    • 불확실한 가치의 치료 계획을 초래했습니다.

 

Together, these models help make sense of the naïve (analysis stage 1) observations of communicative failures. For instance, we now recognize that when physicians failed to meet the patient where they were or offered no choices, this was especially significant—for reasons that differed depending on the model.

  • From the involvement-focused perspective this
    • exacerbated the distance between patient and clinicians, and
    • often shut down communication,
    • bred mistrust,
    • disrespected autonomy,
    • turned the encounter into a contest of wills,
    • forced the patient into a subservient role,
    • harmed the partnership needed for ongoing management, and
    • left the patient unconvinced that they should follow the clinician’s advice.
  • From the problem-focused perspective these same observed failures meant that the clinician
    • didn’t meet the patient where their problem lay (and hence the full significance/meaning of the problem was never elaborated or addressed),
    • didn’t develop the full potential of the patient-clinician team to address the problem,
    • didn’t bring forward options for deliberation that might better respond to the situation than those determined by the clinician a priori,
    • often removed all deliberation from the encounter (raising the question of how much ‘reasoning’ or ‘decision-making’ occurs when no options are discussed), and
    • resulted in a care plan of uncertain value.

제한 사항
Limitations

이 연구에는 한계가 있습니다.

  • 첫째, 우리가 관찰한 동영상은 실제와 같이 보이도록 의도되었지만 실제 임상의와 환자 간의 상호작용은 하나도 없었고 4편은 대본으로 제작되었습니다. 이는 동영상의 맥락(성인 외래 환자 일차 진료만), 수행 수준(절반은 의도적으로 열악한 것으로 선택되었고 모범적인 것은 없음), 원래 목적(평가자 교육 연구(Cook 외. 2009; Cook 및 Beckman, 2009)) 및 총 수와 함께 임상적 다양성을 종합적으로 제한했습니다. 현재의 결론이 적절히 뒷받침된다고 생각하지만, 다른 관점(예: 대본에 없는, 다른 임상 상황, 다른 수준의 임상의 수행 또는 교육)을 제공하는 다른 사례에 대한 분석을 통해 추가적인 인사이트가 나올 수 있을 것으로 예상합니다. 일부 독자는 다른 목적으로 제작된 동영상의 용도 변경을 무시할 수도 있지만, 이미 언급한 맥락적 제약에 비추어 볼 때 이는 사소한 문제라고 생각합니다.
  • 둘째, 많은 추론은 실패한 사례나 바람직한 행동을 취하지 않은 채 방치된 사례에 대한 관찰을 바탕으로 이루어졌으며, 이러한 추론은 당연히 관찰자의 관점에 따라 달라질 수 있습니다.
  • 셋째, 본 연구의 저자들은 기본 개념 프레임워크의 개발자(Cook 외. 2018; Hargraves 외. 2019)이자 관찰자 및 분석가로서 본 연구의 관찰자 및 분석가로서 참여했으며, 이는 강점이지만 확증 편향의 위험도 있습니다. 또 다른 강점으로는 이러한 동영상을 사용하여 이전에 발표한 연구를 확장하면서
    • (a) SDM 및 정성적 데이터 분석에 상당한 전문성을 갖춘 새로운 연구자(IGH)를 팀에 추가하고,
    • (b) 모든 동영상을 개별적으로 또는 그룹으로 재검토하여 풍부하고 새로운 데이터를 수집하고,
    • (c) 상호 보완적인 개념적 렌즈를 사용하여 이러한 데이터를 분석하고,
    • (d) 이러한 분석을 지속하여 SDM과 경영 추론을 통찰력 있게 통합하고 여러 모범 사례를 식별했다는 점을 들 수 있습니다.
  • 요컨대, 이러한 강점은 제안된 결론을 충분히 뒷받침하지만, 이러한 한계는 추가적인 인사이트를 발견해야 함을 시사합니다.

This study has limitations.

  • First, the videos we observed were intended to be realistic, but none were actual clinician-patient interactions and 4 were scripted. This, together with the videos’ context (only adult outpatient primary care), performance levels (half were intentionally selected as poor, and none were exemplary), original purpose (a study of rater training (Cook et al. 2009; Cook and Beckman, 2009)), and total number, collectively constrained the clinical variation. While we believe the present conclusions are appropriately supported, we surmise that additional insights could emerge from analysis of other encounters offering alternative perspectives (e.g. unscripted, different clinical contexts, or different levels of clinician performance or training). Some readers might also discount the repurposing of videos created for another purpose, however we believe this constitutes a minor concern relative to the contextual constraints already noted.
  • Second, many inferences were based on observations of failures or presumably desirable actions left undone; such inferences naturally depend on the perspectives of those observing.
  • Third, we authors were both the developers of the guiding conceptual frameworks (Cook et al. 2018; Hargraves et al. 2019) and the observers and analyzers in this study; while this is a strength, there is some risk of confirmation bias. Additional strengths include that as we extended our previously-published work using these videos, we
    • (a) added to our team a new investigator (IGH) with substantial expertise in SDM and qualitative data analysis;
    • (b) collected abundant, rich new data by re-reviewing all videos both independently and as a group;
    • (c) analyzed these data using complementary conceptual lenses; and
    • (d) continued this analysis to a achieve an insightful integration of SDM with management reasoning and identify several best practices.
  • In short, these strengths provide ample support for the conclusions proposed, but these limitations suggest that additional insights remain to be discovered.

시사점
Implications

이번 연구 결과는 교육, 임상 실무 및 향후 연구에 중요한 [시사점]을 제공합니다. 가장 중요한 것은 관리 추론이 임상의의 머릿속이 아닌 [개인 간의 공간에서 일어나는 의도적인 상호 작용]을 포함한다는 점입니다. [환자와 임상의]는 [서로 다른 관점, 지식 기반, 경험, 우선순위에서 '추론'을 하지만, 한 팀으로서 '추론']을 해야 합니다. 이는 관리 추론을 가르치고 평가하는 방식에 중요한 시사점을 줍니다. 관리 추론의

  • [일부 요소]는 [임상의 내부]에서 발생하는 것처럼 가르치고 평가할 수 있지만,
  • [환자와 임상의의 상호 작용]도 가르치고 평가해야 하며,
  • [어느 시점에는 전체 전체를 종합]해야 합니다.

Our findings have important implications for education, clinical practice, and future research. Most importantly, we affirm that management reasoning involves a deliberative interaction occurring in the space between individuals and not within a clinician’s mind. Both the patient and clinician are ‘reasoning’—from different perspectives, knowledge bases, experiences, and priorities, but hopefully as a team. This has notable implications for how we teach and assess management reasoning.

  • While some elements of management reasoning can be taught and assessed as though occurring within the clinician,
  • the patient-clinician interaction must also be taught and assessed;
  • and at some point the entire whole must be assembled.

관리 추론과 SDM은 모두 [상호 합의된 공유 문제], 예를 들어 진단 라벨이나 목표치를 벗어난 검사실 수치보다는 [생명이나 건강에 대한 상호 위협에 초점]을 맞출 때 가장 효과적입니다. [공유된 문제]

  • 공동의 문제 해결('함께 노력하기')을 유도하고,
  • 사회적 조정과 협력(의사소통적 행동)을 촉진하며,
  • 갈등과 과도한 설득의 필요성을 피할 수 있습니다.

이러한 관점에서 볼 때 관리 추론은 문제 해결을 위해 고심하는 것입니다.
Management reasoning and SDM both work best when focused on a shared, mutually-agreed problem—a mutual threat to life or health rather than, for example, a diagnostic label or off-target lab value. A shared problem

  • engenders joint problem-solving (‘endeavoring together’),
  • promotes social coordination and cooperation (communicative action (Bohman and Rehg 2017)), and
  • avoids conflict and the need for undue persuasion.

Viewed this way, management reasoning is deliberating to resolve the problem.

우리는 임상의와 환자라는 [두 가지 관리 스크립트]가 작용한다는 새로운 통찰력을 강조합니다. 우리는 이전에 [임상의의 관리 스크립트]에 대해 자세히 설명했습니다. (Cook 외. 2022a) [관리 추론의 환자 측면]은 지금까지 무시되어 왔습니다. 또한 일부 스크립트는 주로 임상의에게 도움이 되는 반면(즉, 진료 효율 개선), 다른 스크립트는 환자의 대응 결정을 돕는 데 더 중점을 둡니다(연속선상에 있음). 대부분의 스크립트는 의식적인 생각 없이 자발적으로 개발되며(Custers 2015), [환자 중심 스크립트를 촉진하는 방법]은 아직 불분명합니다. SDM과 관련된 관리 스크립트에 대한 추가 연구가 필요합니다.
We underscore the novel insight that there are two management scripts in play—the clinician’s and the patient’s. We previously elaborated on the clinician’s management script; (Cook et al. 2022a) the patient’s side of management reasoning has thus-far been neglected. We also note that some scripts primarily help the clinician (i.e. to improve encounter efficiency), while others (along a continuum) are more directed at helping the patient make a responsive decision. Most scripts develop spontaneously (Custers 2015)—without conscious thought—and it remains unclear how to promote patient-centered scripts. Further research on management scripts as they relate to SDM is needed.

특히 SDM과 관련된 관리 추론에 대한 연구가 초기 단계에 있다는 점을 강조합니다. 위에서 언급한 것 외에도 이 연구에서 제기된 중요한 질문은 다음과 같습니다: 공유된 숙고 과정으로서 관리 추론을 어떻게 평가할 수 있는가? (임상 진단 추론을 평가하기 위한 수많은 도구가 존재하지만, 관리 추론에 초점을 맞춘 도구는 없습니다(Daniel 외. 2019). 마찬가지로, [참여 중심의 SDM]을 평가하기 위한 수많은 도구가 존재하지만, [대응적 문제 해결]에 초점을 맞춘 도구는 없습니다(Hartasanchez 외. 2021)). '좋은' 의학적 결정이란 무엇인가요? (보편적인 정의는 없으며, 환자 대 임상의, 임상 지침 대 실제 경험, 전문의 대 일차 진료, 참여 중심 SDM 대 문제 중심 SDM 등 다양한 관점에 따라 답이 달라지며, 이는 교육 및 평가에 중요한 영향을 미칩니다).
We emphasize the nascent state of research in management reasoning, especially in relation to SDM. Important questions emerging from this study, beyond those noted above, include: How can we assess management reasoning as a shared deliberative process? (Numerous tools exist to assess clinical diagnostic reasoning; none focus on management reasoning (Daniel et al. 2019). Similarly, numerous tools exist to assess involvement-focused SDM; none focus on responsive problem-solving (Hartasanchez et al. 2021)). What is a ‘good’ medical decision? (There is no universal definition; the answer varies for different perspectives—patient vs clinician, clinical guideline vs practical experience, specialist vs primary care, involvement-focused SDM vs problem-focused SDM, etc.—with important implications for training and assessment).

마지막으로, 연구 결과에 따르면 [좋은 의사소통]은 [단순히 좋은 매너]가 아니며, [명목상 환자를 '참여'시키는 암기식 행동]이 최선의 결정에 도달하는 데 적합하지도 않습니다. 의사소통에는 목적이 있으며, 대화가 의사소통의 목적과 동떨어져 있거나 관련된 사람들이 서로 다른 목표를 추구한다면 추론과 의사 결정에 상당한 장애가 발생할 것입니다(Hargraves 외. 2019; Bohman and Rehg 2017). 임상의는 [환자와 임상의가 함께 할 수 있는 의사소통]이 무엇인지 인식하고, 진료 목적에 따른 잠재력을 깨닫고, 환자별 및 상황별 요구에 민첩하게 부응할 수 있도록 의사소통의 내용과 방법을 조정해야 합니다.
Finally, our findings suggest that good communication is not simply good manners, nor that rote behaviors to nominally ‘involve’ patients are adequate for reaching the best decision. Communication serves a purpose, and if talking is detached from the purpose of communication, or if those involved seek disparate goals, then reasoning and decision-making will be significantly impaired (Hargraves et al. 2019; Bohman and Rehg 2017). Clinicians must (learn to) recognize what communication enables patients and clinicians to do together, realize that potential in achieving an encounter-specific purpose, and adjust what and how they communicate to nimbly meet patient-specific and situation-specific demands.

 


Med Teach. 2023 Feb 10;1-13. doi: 10.1080/0142159X.2023.2170776. Online ahead of print.

Management reasoning and patient-clinician interactions: Insights from shared decision-making and simulated outpatient encounters

Affiliations collapse

1Office of Applied Scholarship and Education Science, Mayo Clinic College of Medicine and Science; and Division of General Internal Medicine, Mayo Clinic, Rochester, MN, USA.

2Mayo Clinic National Shared Decision Making Resource Center, Mayo Clinic, Rochester, MN, USA.

3Division of General Internal Medicine, Mayo Clinic, Rochester, MN, USA.

4Center for Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.

PMID: 36763491

DOI: 10.1080/0142159X.2023.2170776

Abstract

Purpose: To expand understanding of patient-clinician interactions in management reasoning.

Methods: We reviewed 10 videos of simulated patient-clinician encounters to identify instances of problematic and successful communication, then reviewed the videos again through the lens of two models of shared decision-making (SDM): an 'involvement-focused' model and a 'problem-focused' model. Using constant comparative qualitative analysis we explored the connections between these patient-clinician interactions and management reasoning.

Results: Problems in patient-clinician interactions included failures to: encourage patient autonomy; invite the patient's involvement in decision-making; convey the health impact of the problem; explore and address concerns and questions; explore the context of decision-making (including patient preferences); meet the patient where they are; integrate situational preferences and priorities; offer >1 viable option; work with the patient to solve a problem of mutual concern; explicitly agree to a final care plan; and build the patient-clinician relationship. Clinicians' 'management scripts' varied along a continuum of prioritizing clinician vs patient needs. Patients also have their own cognitive scripts that guide their interactions with clinicians. The involvement-focused and problem-focused SDM models illuminated distinct, complementary issues.

Conclusions: Management reasoning is a deliberative interaction occurring in the space between individuals. Juxtaposing management reasoning alongside SDM generated numerous insights.

Keywords: Decision Making; clinical decision-making; communication; diagnostic reasoning; shared; therapeutic reasoning.

관리추론: 핵심 특징과 개념 모델의 실증적 결정(Acad Med, 2023)
Management Reasoning: Empirical Determination of Key Features and a Conceptual Model 
David A. Cook, MD, MHPE, Christopher R. Stephenson, MD, Larry D. Gruppen, PhD, and Steven J. Durning, MD, PhD 

 

 

[관리 추론]은 임상 진료와 의학교육에서 매우 중요하지만 잘 연구되지 않은 현상입니다. 1,2 [진단 추론]과 관련된 임상 추론 프로세스는 상당한 연구를 통해 밝혀졌습니다. 3-6 반면, [환자 관리 결정]에 대한 추론과 관련된 프로세스에 대해서는 알려진 바가 훨씬 적습니다. 6,7 우리는 최근 관리 추론에 대한 개념적 프레임워크를 발표했습니다. 1,2 이 보고서에서 우리는 관리 추론을 "임상의가 임상 정보(병력, 검사 소견, 검사 결과), 선호도, 의학 지식, 맥락(상황) 요소를 통합하여 치료, 추가 검사, 후속 방문, 제한된 자원의 할당 등 개별 환자의 관리에 관한 결정을 내리는 인지적 과정"1으로 정의하고 5가지 주요 특징을 제안했습니다:

  • 합리적이고 방어 가능한 여러 솔루션 간의 비교 및 선택,
  • 환자, 임상의, 시스템 선호도, 제약, 가치의 우선순위 지정,
  • 의사소통 및 공유된 의사 결정,
  • 관리 계획의 지속적인 모니터링 및 조정,
  • 사람, 시스템, 환경, 경쟁 우선순위 간의 역동적인 상호 작용(표 1).

우리 모델을 기반으로 최근 관리 스크립트의 개념을 설명하는 연구도 있습니다. 8

Management reasoning 1 is a critical yet understudied phenomenon in clinical practice and medical education. 1,2 Substantial research has illuminated the clinical reasoning processes involved in diagnostic reasoning. 3–6 By contrast, far less is known about the processes involved in reasoning about patient management decisions. 6,7 We recently published a conceptual framework for management reasoning. 1,2 In those reports, we defined management reasoning as “the cognitive processes by which clinicians integrate clinical information (history, exam findings, and test results), preferences, medical knowledge, and contextual (situational) factors to make decisions about the management of an individual patient, including decisions about treatment, further testing, follow-up visits, and allocation of limited resources,” 1 and proposed 5 key features:

  • contrasting and selection among multiple reasonable and defensible solutions;
  • prioritization of patient, clinician, and system preferences, constraints, and values;
  • communication and shared decision making;
  • ongoing monitoring and adjustment of the management plan; and
  • dynamic interplay among people, systems, settings, and competing priorities (Table 1).

Others, building on our model, have recently described the concept of management scripts. 8

그러나 [관리 추론]에 대한 경험적 연구는 제한적입니다. 연구들은 종종 치료 결정을 결과로 사용하지만, 그러한 결정의 근간이 되는 관리 추론 프로세스에 초점을 맞춘 경우는 거의 없습니다. 9-11 한 그룹에서는 12개의 임상 추론 과제를 확인한 후 13개 24개의 임상 추론 과제를 확인했으며, 이 중 11개는 관리를 용이하게 합니다. [관리 추론의 현상]과 [진단 추론과의 차이점]을 더 명확하게 이해하면 이 분야의 미래 연구를 위한 발판을 마련하고 교육에 대한 잠재적 시사점을 파악할 수 있습니다. 이 연구에서는 귀납적(경험적)으로 시뮬레이션된 외래 환자-임상의사 면담에서 나타난 관리 추론의 주요 특징을 파악하고 관리 추론 과정을 설명하는 모델을 구축하고자 했습니다.
However, empirical research on management reasoning is limited. Studies often use treatment decisions as an outcome but only rarely have focused on the management reasoning processes that underlie such decisions. 9–11 One group identified 12 and subsequently confirmed 13 24 clinical reasoning tasks, of which 11 facilitate management. Greater clarity in understanding the phenomenon of management reasoning, and how it differs from diagnostic reasoning, will set the stage for future research in this field and identify potential implications for education. In this study, we sought to inductively (empirically) identify key features of management reasoning as manifested in simulated outpatient clinician–patient encounters and construct a model that describes the management reasoning process.

방법
Method

우리는 관리 추론의 특징을 파악하기 위해 모의 외래 환자 임상의와 환자 간의 만남을 담은 10개의 비디오 클립을 검토했습니다.
We reviewed 10 video clips of simulated outpatient clinician–patient encounters, to identify features of management reasoning.

비디오 클립
Video clips

비디오 클립은 이전에 발표된 [평가자 교육 연구]에서 사용되었습니다. 14,15

  • 각 비디오는 레지던트 의사가 환자에게 의학적 상태(예: 고지혈증, 섬유근육통, 갑상선암)에 대해 상담하는 장면을 보여줍니다. 이 동영상은 레지던트의 실력이 미흡한 경우부터 우수한 경우까지 다양한 모습을 보여주기 위해 기획되었습니다.
  • [6개의 비디오]는 저자 D.A.C.가 개발했으며, 마지막 해 또는 내과 전공의와 커뮤니티 풀의 표준화된 환자 간의 즉흥적인 대화로 구성되었습니다.
    • 의사는 자신의 수행 능력(우수 또는 열악)을 변화시키도록 지시받았고, 표준화 환자는 일관적이되 적절하게 반응하도록 지시받았습니다.
  • [4개의 비디오]는 미국 내과학회에서 개발했으며(미국 내과학회의 허가를 받아 사용), 서면 스크립트를 사용했습니다.
  • [모든 비디오]는 52명의 메이요 클리닉 내과 의사가 미니 임상 평가 연습(Mini-CEX)을 사용하여 평가했습니다(이전 연구의 일부로 14,15). 15 사용 가능한 36개의 비디오 중에서 먼저 관리 상황을 가장 잘 나타내는 비디오(즉, 상담 중심)를 식별한 다음, Mini-CEX 상담 점수를 사용하여 가장 낮은 점수를 받은 5개가장 높은 점수를 받은 5개 비디오를 선정했습니다(다양한 성과를 풍부하게 표현하기 위해 극단적인 그룹을 의도적으로 선택).
  • 최종적으로 선정된 5개의 동영상은 각각 2단계의 성과로 구성된 5개의 사례(새로운 고혈압 관리, 새로운 고지혈증, 새로운 섬유근육통, 최적 조절이 되지 않는 당뇨병, 암을 나타내는 갑상선 결절 생검)를 표현했습니다.
  • 각 비디오는 트랜스크립션되었으며, 트랜스크립션은 비디오 검토 중 및 검토 후에 검토자가 참조할 수 있도록 제공되었습니다. 동영상 개발에 사용된 연구14,15는 메이요 클리닉 기관윤리심의위원회에서 면제 판정을 받았습니다. 이 연구에는 새로운 인간 피험자가 등록되지 않았습니다.

The video clips were used in a previously published study of rater training. 14,15 

  • Each video portrays a resident physician counseling a patient about a medical condition (e.g., hyperlipidemia, fibromyalgia, thyroid cancer). The videos were planned to show a range of resident performance varying from poor to superior.
  • Six videos were developed by author D.A.C. and consisted of extemporaneous dialogues between a final-year or chief internal medicine resident physician and a standardized patient from our community pool.
    • The physicians were instructed to vary their performance (superior or poor); the standardized patients were instructed to respond consistently but appropriately.
  • Four videos were developed by the American Board of Internal Medicine (used with their permission) and used written scripts.
  • All videos were rated (as part of the previous study 14,15) by 52 Mayo Clinic internal medicine physicians using the mini-clinical evaluation exercise (Mini-CEX). 15 From the 36 videos available, we first identified those that best represented management encounters (i.e., counseling focused) and then used the Mini-CEX counseling score to select the 5 lowest-scoring and 5 highest-scoring videos (extreme groups purposive selection to provide a rich representation of varying performances).
  • The ultimately selected videos represented 5 encounters (management of new hypertension, new hyperlipidemia, new fibromyalgia, suboptimally controlled diabetes mellitus, and a thyroid nodule biopsy that indicated cancer), each at 2 levels of performance.
  • Each video was transcribed, and transcripts were available to reviewers for reference during and after video review. The study used to develop videos 14,15 was judged exempt by the Mayo Clinic Institutional Review Board. No new human subjects were enrolled in this study.

관찰과 코딩의 만남
Encounter observation and coding

2020년 11월, 보드 인증 내과 의사 3명(D.A.C., C.R.S., S.J.D.)과 인지 심리학자 1명(L.D.G.)이 각 비디오를 최소 2회 이상 독립적으로 검토하고 추가로 여러 비디오를 짝을 지어 시청했습니다. 검토자들은 개방형 프롬프트가 있는 코딩 양식을 사용하여 치료(약물 및 비약물) 및 추가 진단 검사에 대한 결정, 공유된 의사 결정, 종단적 계획(예: 추적 관찰)에 대한 결정뿐만 아니라 이러한 작업을 자극, 중재, 형성 또는 영향을 미치는 추가 프로세스를 포함하되 이에 국한되지 않는 특정 관리 작업 및 프로세스를 식별하고 문서화했습니다. 우리는 이전에 구상한 모델 2를 출발점으로 삼아(즉, 여러 합리적인 옵션 중에서 선택, 환자 가치의 우선순위 결정, 공유된 의사 결정, 계획의 지속적인 조정, 사람과 시스템 간의 역동적인 상호 작용) [관리 추론의 추가 특징]을 모색했습니다. 개선할 수 있는 성과 측면(예: 레지던트에 대한 가상의 피드백)을 명시적으로 문서화했습니다. 또한 각 리뷰어는 동영상에 묘사된 경영 추론 활동을 넘어서는 새로운 인사이트, 주제, 연결점(깨달음)을 문서화했습니다.
In November 2020, 3 board-certified internal medicine physicians (D.A.C., C.R.S., and S.J.D.) and 1 cognitive psychologist (L.D.G.) independently reviewed each video at least twice and additionally viewed several videos in pairs. Using a coding form with open-ended prompts (see Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/B305), reviewers identified and documented specific management tasks and processes, including but not limited to decisions about therapy (drug and nondrug) and further diagnostic testing, shared decision making, and longitudinal planning (e.g., follow-up), as well as additional processes that stimulated, mediated, shaped, or were influenced by the tasks. We used our previously conceived model 2 as a starting point (i.e., selection among multiple reasonable options, prioritization of patient values, shared decision making, ongoing adjustment of the plan, and dynamic interplay among people and systems) and further sought additional features of management reasoning. We explicitly documented aspects of performance that could be improved (i.e., hypothetical feedback to the resident). In addition, each reviewer documented novel insights, themes, and connections (epiphanies) that extended beyond management reasoning activities portrayed in the video.

데이터 분석 및 모델 구축
Data analysis and model building

우리는 지속적인 비교 분석 접근법을 사용하여 진단적 추론에 대한 연구에서 주마와 골드스미트(Juma and Goldszmidt)13가 사용한 것과 유사한 방법을 채택했습니다. 16 우리 중 한 명(D.A.C.)은 모든 비디오에 대한 모든 조사자의 원시 관찰과 깨달음을 검토하고 이를 코딩 양식 프롬프트로 구성된 관리 작업, 프로세스 및 인사이트의 길고 포괄적인 목록으로 정리했습니다. 전체 검토팀은 음성 및 전자 매개 대화를 통해 이러한 아이디어를 반복적으로 재구성, 재개념화, 정교화, 구체화하여 [핵심 기능의 간결한 목록]으로 정리한 다음, [관리 추론 모델을 구축]하기 위해 일련의 토론을 진행했습니다. 이 분석에서는 공통 주제와 소주제(핵심 기능 및 과제)를 찾고, 높은 성과와 낮은 성과를 대조하고, 각 깨달음을 신중하게 탐색했습니다. 모든 검토자가 주요 특징과 최종 모델에 대해 완전히 합의했습니다. 

We adopted a method similar to that used by Juma and Goldszmidt 13 in a study of diagnostic reasoning by using a constant comparative analysis approach. 16 One of us (D.A.C.) reviewed all investigators’ raw observations and epiphanies for all videos and organized these into a lengthy, comprehensive list of management tasks, processes, and insights organized by coding form prompts. The entire review team had a series of discussions (through voice and electronic-mediated conversations) to iteratively reorganize, reconceptualize, elaborate, and refine these ideas into a parsimonious list of key features and then construct a model of management reasoning. This analysis looked for common themes and subthemes (key features and tasks), contrasted high and low performances, and thoughtfully explored each epiphany. All reviewers came to full consensus on the key features and final model.

결과
Results

비디오를 관찰하는 동안 약 120페이지 분량의 한 칸 띄어쓰기 주석이 생성되었습니다. 이로부터 18페이지 분량의 관리 업무, 프로세스 및 인사이트 목록을 추출한 후 이를 핵심 기능 목록과 관리 추론 모델로 압축했습니다. 비디오 검토 과정에서 진화하고 단순한 관찰과 높은 수준의 인사이트가 혼합된 원시 내러티브를 직접 생성했기 때문에, 우리는 자신의 내러티브를 인용하거나 어떤 단계에서 인사이트가 도출되었는지 구분하기보다는 관찰과 인사이트를 전체적으로 요약하는 정제된 내러티브를 제시합니다. 
We collectively generated approximately 120 pages of single-spaced typed comments during video observations. From this, we distilled an 18-page list of management tasks, processes, and insights, and subsequently condensed this into a list of key features and a model of management reasoning. Inasmuch as we generated the raw narratives ourselves, which evolved during video review and contained a mixture of simple observations and high-level insights, we present a refined narrative that summarizes our observations and insights as a whole, rather than quote our own narratives or attempt to discriminate at what stage an insight emerged.

관리 추론의 특징
Features of management reasoning

우리는 [관리 추론의 12가지 특징]을 확인했습니다(표 1). 이 중 5개는 이전에 비경험적 에세이에서 제안되고 기술된 바 있으며,1 관찰을 통해 확인되었습니다. 7가지 특징은 경험적 분석에서 새롭게 나타났으며 아래에서 설명합니다. 이 중 질병 관련 지식과 임상 경험의 조직화를 제외한 나머지는 진단적 추론과 달리 관리 추론에 고유한 특징입니다.
We identified 12 distinct features of management reasoning (Table 1). Five of these had been previously proposed and described in a nonempirical essay, 1 and they were confirmed in our observations. Seven emerged anew in our empirical analysis and are discussed below. Of these, all but illness-specific knowledge and organization of the clinical encounter are largely unique to management reasoning (in contrast to diagnostic reasoning).

질환-특이적 지식.
Illness-specific knowledge.

가장 눈에 띄는 인사이트 중 하나는 [관리 추론이 콘텐츠에 따라 다르다]는 점입니다. 거의 모든 다른 기능은 질병 자체에 대한 깊고 정확한 지식(질병별 지식) 또는 지역 의료 시스템 내에서 질병을 관리하는 방법(프로세스 지식, 아래 설명 참조)에 의존합니다.
One of the most salient insights was that management reasoning is content-specific. Nearly every other feature relies on deep, accurate knowledge of the illness itself (illness-specific knowledge) or how to manage the illness within the local health care system (process knowledge, described below).

[질환 특이적 지식]에는 [질병의 메커니즘, 병리, 자연사 또는 예후, 진단 및 치료 옵션(효과, 위험 및 비용 포함)]이 포함됩니다. 유능한 임상의는 [구체적인 근거 또는 가이드라인]을 간략하게 언급하여 이러한 요점을 뒷받침했습니다(예: "연구에 따르면 고혈압을 치료하면 심장병, 뇌졸중 및 신장 질환에 걸릴 확률이 줄어듭니다."). 관련 치료 옵션을 생략하거나, 치료 효과를 잘못 설명하거나, 중요한 부작용을 무시하거나, 추가 평가의 시급성을 부정확하게 전달하는 등의 [콘텐츠 지식 결함]이 저성과자(마이너 및 메이저 모두)에게서 빈번하게 관찰되었습니다.
Illness-specific knowledge includes the mechanism, pathology, natural history, or prognosis of disease, and diagnostic and treatment options (including effectiveness, risks, and costs). Effective clinicians supported many of these points with brief reference to specific evidence or guidelines (e.g., “Research shows that treating hypertension reduces your chance of heart disease, stroke, and kidney disease.”). We observed frequent content knowledge flaws in low performers (both minor and major), such as omitting relevant treatment options, misstating treatment effectiveness, neglecting important side effects, or inaccurately conveying the urgency of further evaluation.

프로세스 지식.
Process knowledge.

[프로세스 지식][지역 의료 시스템에서 관리의 물류에 관한 운영적이고 실용적인 통찰력]("여기서 일이 어떻게 돌아가는지")을 포함합니다.

  • [프로세스 지식의 격차]는 비약물 관리 옵션(예: 물리 치료, 전문가 상담, 후속 조치에 대한 모호한 계획)에 대한 불확실성 또는 사용 가능한 모든 자원을 활용하지 못하는 것으로 나타났습니다.
  • [질병 특이적 지식 격차]에 비해 부정적 영향이 실질적이고 직접적이지 않을 수 있지만, 그럼에도 불구하고 [프로세스 지식 격차]는 환자에게 불확실성, 신뢰도 저하, 불만족을 남겼습니다.
  • 요컨대, 의사가 [환자가 [임상의사 자신의 이해를 넘어서는 결정]을 내릴 수 있도록 가이드하는 것]은 불가능합니다.

Process knowledge encompasses operational, practical insights regarding the logistics of management in the local health care system (“how things work around here”).

  • Process knowledge gaps manifested as uncertainty regarding nondrug management options (e.g., vague plans for physical therapy, specialist consultation, follow-up) or failure to draw on all available resources.
  • Although their adverse effects were perhaps less substantial and direct than illness-specific knowledge gaps, process knowledge gaps nonetheless left the patient appearing uncertain, less trusting, and dissatisfied.
  • In short, it is impossible for clinicians to guide patients in navigating a decision that exceeds their own understanding.

관리 스크립트.
Management scripts.

또 다른 중요한 인사이트는 관리 대면에서 [관리 스크립트]의 중요하고도 두드러진 역할이었습니다. [스크립트]는 일반적으로 다음과 같이 정의됩니다.
Another important insight was the prominent and critical role of management scripts in the management encounter. Scripts are defined generally as

[고수준]의 [사전 편집]된 [개념적 지식 구조] ... [이는] 개별 이벤트가 [시간적], 종종 [인과적] 또는 [계층적] 관계로 상호 연결되는 [일반적인 (고정관념화된) 이벤트 시퀀스]를 나타내며, 적절한 맥락에서 [통합된 전체]로 활성화될 수 있고, 실제 상황에 존재하는 정보로 [채워filled]지거나, 기억에서 검색되거나 맥락에서 [추론]할 수 있는 [변수와 슬롯]을 포함한다. 17(p457)
high-level, precompiled, conceptual knowledge structures … [that] represent general (stereotyped) event sequences, in which the individual events are interconnected by temporal and often also causal or hierarchical relationships; that can be activated as integral wholes in appropriate contexts [and] contain variables and slots that can be filled with information present in the actual situation, retrieved from memory, or inferred from the context. 17(p457)

[관리 스크립트]의 경우 [개별 이벤트]는 [진단 검사, 치료, 상담, 환자 교육, 공유 의사 결정, 모니터링 등]의 [관리 옵션]으로 구성됩니다. [스크립트]는 이러한 이벤트를 [합리적인 관리 계획]으로 연결합니다.
For management scripts, the individual events comprise management options, including diagnostic tests, treatments, consultations, patient education, shared decision making, and monitoring. Scripts link these events into a rational management plan.

우리는 [관리 스크립트]를 [합리적인 관리 계획의 개발]을 용이하게 하기 위해, [관리 옵션]과 [임상의 업무]를 [시간적 또는 논리적 순서]로 표현하고 연결하는 [미리 컴파일된 개념적 지식 구조]로 정의합니다(표 1).
We define management scripts as precompiled conceptual knowledge structures that represent and connect management options and clinician tasks in a temporal or logical sequence to facilitate development of a rational management plan (Table 1).

[관리 스크립트]는 [일관성 있고 유창하며 구조화된 내러티브]로서 이러한 만남에서 나타났습니다. 개별 요소는 특정 환자나 만남의 고유한 요구에 맞게 조정되었지만, 적어도 초기에는 예상치 못한 사건이나 정보(예: 환자의 저항이나 날카로운 질문)로 인해 중단되기 전까지는 스크립트 전체가 대체로 미리 결정된 것처럼 보였습니다.

  • 저품질의 스크립트는 일관성이 없고, 구불구불하며, 반응적이고, 비인격적이며, 실망스러운 면담으로 이어져 결국 환자와 의료진 모두 불만족스러운 결과를 초래했습니다.
  • 이와 대조적으로 고품질 스크립트는 환자의 질문을 미리 파악하고, 의사 결정을 공유하며, 신뢰와 확신을 불러일으키는 것으로 나타났습니다.

[스크립트의 품질]은 다음을 포함한 다각적인 요인으로 해석했습니다.

  • 스크립트 내용(질환 특이적 및 일반적인 프로세스 지식),
  • 시퀀스(자연스럽고 논리적인 시간적 전개),
  • 유연성(환자의 배경, 동반 질환, 선호도, 제약 조건, 질문 및 이해도에 대한 대응),
  • 유창성(전달의 용이성, 일관성 및 명확성)

Management scripts manifested in these encounters as coherent, fluent, structured narratives. Although individual elements were tailored to the unique needs of a given patient or encounter, the script as a whole seemed to be largely predetermined—at least initially and until disrupted by unexpected events or information (e.g., resistance or penetrating questions from the patient).

  • Low-quality scripts led to encounters that appeared disjointed, meandering, reactive, impersonal, and dispiriting, and ultimately resulted in dissatisfaction for both patients and clinicians.
  • By contrast, high-quality scripts seemed to preempt patient questions, facilitate shared decision-making, and engender trust and confidence.

We construed quality to be multifactorial, including

  • script content (illness-specific and general process knowledge),
  • sequence (natural, logical temporal evolution),
  • flexibility (responsiveness to patient background, comorbidities, preferences, constraints, questions, and comprehension), and
  • fluency (ease, coherence, and clarity of delivery).

스크립트의 일반성(즉, '나쁜 소식 전하기', '새로운 질환에 대한 치료 시작', '만성 질환에 대한 치료 강화' 등 콘텐츠 영역에서 반복될 수 있는 패턴을 준수하는 정도)도 다양했습니다. [가장 좋은 스크립트]는 [일반적인 틀에 기초]하며, [특정 질병과 환자 모두에게 맞춤화된 것]입니다.
Scripts also varied in the level of generality (i.e., adherence to a pattern that could be replicated across content areas, such as “breaking bad news,” “initiating treatment for a new condition,” and “intensifying treatment of a chronic condition”). The best scripts seem to be grounded in a general framework and then tailored to both the specific illness and the patient.

환자의 스승이자 영업사원으로서의 임상의 역할.
Clinician roles as patient teacher and salesperson.

우리는 공동 의사 결정의 개념과는 별개로 [환자에 대한 교사이자 영업사원으로서 임상의의 중요한 역할]을 확인했습니다. 효과적인 환자 교육은 공유 의사 결정

  • 활동 전(의사 결정의 필요성을 입증하기 위해),
  • 활동 중(옵션 간의 구별되는 특징을 강조하기 위해),
  • 활동 후(관리 계획에서 환자의 개인적 책임을 알리기 위해)에 필수적입니다.

임상의는 이러한 환자 교육 요건에 대한 일차적인 책임이 있습니다.
We identified critical roles for the clinician as a teacher and salesperson to the patient that seemed distinct from the concept of shared decision making. Effective patient education is essential

  • before (to substantiate the need to make a decision),
  • during (to highlight distinguishing features among options), and
  • after (to apprise patients of their personal responsibility in the management plan) the shared decision activity.

Clinicians have a primary responsibility in these patient teaching requirements.

마찬가지로 세일즈맨십, 즉 최종 결정에 대한 [환자의 완전한 동의를 얻는 역할도 중요]한 것으로 보입니다. 이 역할이 반드시 특정 치료 옵션을 '판매'하는 것을 의미하는 것은 아니며, 실제로 최고의 영업 담당자(임상의)는 먼저 구매자의 요구 사항을 확인한 다음, 이러한 요구 사항을 충족할 가능성이 가장 높은 옵션으로 구매자(환자)를 안내할 것입니다. 그럼에도 불구하고 결국에는 완전한 동의를 얻지 못하면 [차선의 결과(예: 낮은 순응도)]를 초래하게 됩니다. 또한 훌륭한 영업사원은 효과적으로 가르치고, 명확하고 공개적으로 소통하며, 신뢰 관계를 구축합니다(아래 설명 참조). 
Likewise, there seems to be a strong role for salesmanship—that is, obtaining the patient’s full buy-in on the final decision. This role does not necessarily imply “selling” a specific treatment option; indeed, the best salesperson (clinician) would first ascertain the buyer’s needs and then steer the buyer (patient) toward the option(s) most likely to meet those needs. Nonetheless, in the end, anything but full buy-in will result in suboptimal results (e.g., poor adherence). A good salesperson also teaches effectively, communicates clearly and openly, and builds a relationship of trust (described below).

임상의와 환자의 관계.
Clinician–patient relationship.

우리는 임상의의 [미묘한 행동(예: 환자의 우려 사항을 효과적으로 해결하거나 무시하거나, 치료 옵션을 유창하게 또는 일관성 없이 설명하는 등)]이 환자의 신뢰를 구축하거나 약화시키는 여러 사례를 관찰했습니다. 신뢰가 없으면 대개 환자가 납득하지 못하고 불만족스러워합니다. 신뢰는 양방향입니다. 의료진도 환자를 신뢰해야 합니다(예: 환자가 진실하고 관리 계획에서 자신의 역할을 다할 것이라는 믿음). 대부분의 만남은 적당한 수준의 상호 신뢰에서 시작하여 후속 조치를 통해 강화되거나 약화되는 것으로 보였습니다.
We observed multiple instances in which subtle clinician actions (e.g., effectively addressing or neglecting a patient concern, or fluently or disjointedly describing treatment options) built or undermined the patient’s trust. Without trust, the encounter typically ended with an unconvinced and dissatisfied patient. Trust is bidirectional: the clinician must also trust the patient (e.g., that they are truthful and that they will fulfill their part in the management plan). Most encounters seemed to start with a moderate level of mutual trust that was strengthened and weakened through subsequent actions.

예후.
Prognostication.

많은 환자 질문은 다음과 관련된 향후 기대치와 관련이 있습니다. 

  • [질병]뿐만 아니라
    • ("얼마나 빨리 나아질까요?")
  • 특히 [관리 계획 자체]
    • ("비용은 얼마나 드나요?", "이 약의 부작용은 무엇인가요?", "언제 외과의를 볼 수 있나요?", "언제 다시 볼 수 있나요?")

Many patient questions relate to future expectations regarding

  • not only the illness
    • (“How soon will I feel better?”)
  • but also—perhaps especially—the management plan itself
    • (“How much will this cost?”; “What are the side effects of this medication?”; “When will I see the surgeon?”; “When will I see you again?”).

임상의는 이러한 질문에 대한 답을 알고 있어야 미래의 상황을 정확하게 예측하거나 예상할 수 있습니다. 동영상에서 이러한 질문에 대한 

  • 모호한 답변은 신뢰를 약화시키고 환자가 걱정하고 좌절하는 것처럼 보이게 했습니다. 
  • 반면, 구체적인 답변을 제공할 수 있는 임상의는 환자의 신뢰, 확신, 헌신을 불러일으켰습니다. 

효과적인 예후 예측에는 질병 관련 지식, 치료 과정 지식, 개인적 경험, 커뮤니케이션 기술, 효과적인 교육 등이 복합적으로 작용하는 것으로 나타났습니다. 가장 숙련된 임상의(스크립트가 잘 발달된 임상의)는 [질문이 나오기 전에 미리 예상하고 답변함]으로써 질문을 방지할 수 있었습니다.
Clinicians are expected to know these answers—accurately predicting or anticipating future events. In the videos, vague answers to these questions undermined trust and left patients appearing worried and frustrated. By contrast, clinicians who could provide specific answers engendered the patient’s trust, confidence, and commitment. Effective prognostication seemed to entail a combination of illness-specific knowledge, process knowledge, personal experience, communication skill, and effective teaching. The most skilled clinicians (those with well-developed scripts) were able to forestall questions by anticipating and answering questions before they were articulated.

임상 만남의 조직화(순서 및 시간 관리).
Organization of the clinical encounter (sequencing and time management).

마지막으로, 전체 관리 추론 활동에서 가장 중요한 것은 주어진 기간 동안 [추론 프로세스 자체를 조직(시퀀싱)하는 것]입니다(이 경우 외래 임상의와 환자 간 만남). 관리 추론은 환자 교육, 질문과 답변, 옵션 조사, 다른 팀원과의 커뮤니케이션, 의사 결정, 계획 실행과 같은 활동에 대한 선택, 순서 및 시간을 관리합니다. 조직은 다양한 수준의 의식적(의도적) 및 무의식적 추론을 반영합니다. 이러한 작업 시퀀스는 종종 관리 스크립트의 일부로 컴파일됩니다. 이 비디오에서 우리는 매우 짧은 만남(의료진이 환자를 의사 결정에 참여시키지 않음)과 매우 긴 만남(의료진이 잠재적인 문제를 예상하기보다는 허둥대고 우왕좌왕하며 반응하는 것처럼 보임) 모두에서 문제를 관찰했습니다. 그러나 주어진 만남은 치료의 한 지점에 불과하며, 즉각적인 관리 결정은 과거 만남에서 얻은 정보, 토론 및 결정을 통합하고 향후 만남을 예측해야 한다는 점을 인식하고 있습니다.
Finally, overarching the entire management reasoning activity is the organization (sequencing) of the reasoning process itself in a given period (in this case, an outpatient clinician–patient encounter). Management reasoning governs the choice, sequencing, and time spent on actions such as teaching patients, asking and answering questions, researching options, communicating with other team members, making decisions, and implementing the plan. Organization reflects varying degrees of conscious (deliberate) and unconscious reasoning. These action sequences are often compiled as part of the management script. In these videos, we observed problems with encounters that were both very short (the clinician failed to involve the patient in decision making) and very long (the clinician seemed to flounder, meander, and react rather than anticipate potential challenges). We recognize, however, that a given encounter represents only 1 point in care; immediate management decisions should integrate information, discussions, and decisions from past encounters and anticipate future encounters.

관리 추론의 함정
Pitfalls in management reasoning

또한 아래에 설명된 바와 같이 관리 추론에서 [몇 가지 실수]를 발견했습니다.
We also observed several missteps in management reasoning, as described below.

  • 모호한 치료 계획: 임상의가 약물 투여 지침, 약물 부작용, 다음 관리 단계(예: 진단 검사, 전문의 상담, 물리 치료), 후속 조치 시기, 진행 중인 증상 관리 등 치료 계획에 대해 환자에게 세부 정보를 제공하거나 안심시키지 못했습니다. 환자는 당황하거나 좌절하거나 걱정하는 모습을 보였습니다. 
  • Vague care plans: Clinicians failed to provide details or reassurance to patients about the care plan, such as drug administration instructions, drug side effects, next steps in management (e.g., diagnostic testing, specialist consultation, physical therapy), timing of follow-up, and management of ongoing symptoms. The encounter ended with the patient appearing puzzled, frustrated, or worried.
  • 제한된 치료 계획: 임상의는 한 가지 치료 옵션 또는 짧은 일반(이 환자에게 맞춤화되지 않은) 옵션 목록만 제시했습니다. 이러한 계획은 진단에 대한 반사적 반응(진단적 추론에서 조기 종결과 유사)으로 보이지만, 임상의가 열등하거나 실행 불가능하다고 판단되는 옵션을 의도적으로 피하면서 알려진 또는 가정된 선호도 및 제약 조건에 따라 최적의 계획을 신중하게 미리 선택한 것일 수도 있습니다. 
  • Restricted care plans: Clinicians presented only 1 treatment option or a short generic (not tailored to this patient) list of options. This plan seemed to be a reflexive response to the diagnosis (akin to premature closure in diagnostic reasoning); however, it could alternatively represent thoughtful preselection of an optimal plan based on known or assumed preferences and constraints, with the clinician intentionally avoiding options judged as inferior or infeasible.
  • 환자 선호도를 확인하지 않은 경우: 임상의가 환자의 [선호도를 유도하거나 확인]하지 않고 계획을 제시했으며, 아마도 그러한 선호도에 대한 가정을 한 것으로 추정됩니다. 임상의가 환자와 오랜 기간 관계를 맺어온 경우에도 일반적으로 선호도를 확인하는 것이 필요합니다.
  • Failure to ascertain patient preferences: Clinicians presented a plan without eliciting or confirming patient preferences, presumably by making assumptions about such preferences. Even when a clinician has a longstanding relationship with the patient, confirmation of preferences would typically seem warranted.
  • 공유된 의사 결정의 부재: 임상의가 치료 계획을 수립하고 마무리할 때 [환자를 참여]시키지 않았습니다. 대안에 대한 사전 논의가 있든 없든 한 가지 옵션이 최선이라고 제시되었고, 환자는 이에 동의할 것으로 예상되었습니다. 일부 환자는 이러한 접근 방식을 받아들이는 것처럼 보였지만, 대부분은 불안해하거나 실망하거나 사기가 저하된 모습을 보였습니다.
  • Absence of shared decision making: Clinicians failed to involve patients in formulating and finalizing the care plan. One option was proffered as optimal (with or without antecedent discussion of alternatives), and the patient was expected to acquiesce. Although some patients seemed to accept this approach, most appeared unsettled, disappointed, or demoralized.
  • 단서를 따르지 않음: 임상의는 [우려, 질문, 의심을 암시하는 언어적 또는 비언어적 메시지를 해결]하지 못했습니다. 단서는 미묘한 것(표정이나 차분한 언어 표현)부터 명시적인 것(명확한 질문이나 우려 사항 진술)에 이르기까지 다양했습니다. 임상의의 반응에는 완전한 무시, 추가 논의 없이 피상적으로 인정, 짧은 논의 후 무시, 환자의 지속적인 우려에 대한 노골적인 무시(논의 없이 또는 논의 후)가 포함되었습니다. 환자는 항상 좌절하고 때때로 화를 내는 것처럼 보였습니다.
  • Failure to follow cues: Clinicians failed to address verbal or nonverbal messages that suggested concerns, questions, and doubts. Cues ranged from subtle (facial expression or subdued verbal expressions) to explicit (clear question or statement of concern). Clinician responses included complete ignorance, cursory acknowledgment without further discussion, brief discussion followed by dismissal, and outright overruling of persistent patient concerns (without or after discussion). Patients always appeared frustrated and occasionally upset.
  • 이해와 약속을 확인하지 않음: 임상의는 환자가 계획을 이해하고 동의했는지 확인하지 않았습니다.
  • Failure to confirm understanding and commitment: Clinicians did not confirm that patients comprehended and agreed with the plan.

관리 추론의 모델
A model of management reasoning

임상의와 환자의 만남에 대한 경험적 분석을 바탕으로 [관리 추론의 모델]을 잠정적으로 제안합니다(그림 1). 이 모델은 주로 의료진과의 만남의 시간적 진화를 반영한 것으로, 이러한 진화가 임상의의 뇌에서 일어나는 실제 인지 과정이나 일련의 과정을 어느 정도 반영하는지는 확실하지 않습니다. 우리는 주어진 만남에서 단계가 반복되거나 동시에 진행되는 경우가 많다는 것을 인정합니다.
On the basis of our empirical analysis of clinician–patient encounters, we tentatively propose a model of management reasoning (Figure 1). This model largely reflects the temporal evolution of a management encounter; we are uncertain to what extent this evolution reflects the actual cognitive processes or sequence of processes that occur in the clinician’s brain. We acknowledge that steps are often repeated or concurrent in a given encounter.

관리 추론의 첫 번째 단계는 관리 스크립트의 트리거(활성화), 선택 및 인스턴스화인 것으로 보입니다. 18 [스크립트 개념의 조작화]에는 다음의 조합이 반영됩니다. 

  • 질병별 지식,
  • 프로세스 지식,
  • 환자별 사실에 대한 지식(현재 및 과거 병력, 검사 결과, 검사 데이터 등)
  • 임상의의 개인적 경험

[인스턴스화]는 [환자 및 상황별 요소를 통합]하여 [즉각적인 문제에 맞게 스크립트를 개인화]합니다. 스크립트에는 후속 진료에서 다룰 주요 문제(교육, 치료 옵션, 예후 등)가 코드화되어 있으며 추론 프로세스에서 중요한 의사 결정 시점을 강조합니다. 
The first step in management reasoning seems to be the triggering (activation), selection, and instantiation of a management script. 18 Our operationalization of the script concept reflects a combination of

  • illness-specific knowledge,
  • process knowledge,
  • knowledge of patient-specific facts (current and past history, examination findings, test data, etc.), and
  • the clinician’s personal experience.

Instantiation integrates patient- and context-specific factors to personalize the script to the immediate problem. The script codifies the key issues (education, treatment options, prognosis, and so on) that will be addressed in the ensuing encounter and highlights critical decision points in the reasoning process.

관리 추론의 두 번째 단계에서는 [스크립트를 사용하여 이 환자와 상황에 적합한 잠재적 관리 솔루션을 식별한 다음 관련 문제(예: 의학적 상태, 관리 옵션)에 대해 환자에게 교육]합니다. 의식적이든 무의식적이든 이 단계에서 만남의 조직화(순서)가 시작됩니다.
The second step in management reasoning uses the script to identify potential management solutions appropriate to this patient and context, and then to educate the patient about relevant issues (e.g., the medical condition, management options). Organization (sequencing) of the encounter begins at this step, whether conscious or unconscious.

관리 추론의 세 번째 단계는 의사 결정을 공유하는 것입니다. 우리는 본질적으로 전혀 없음(즉, 환자의 동의를 전제로 한 치료 옵션 하나만 제시)에서 중간 정도(권장 접근법과 함께 여러 옵션을 제시하고 환자가 [동의]를 선택할 수 있도록 함)에 이르기까지 다양한 변형을 관찰했습니다. 이 동영상에서 모범적인 사례로 간주되는 사례는 없었지만, 누락된 부분과 단점(임상의가 개선해야 할 부분으로 문서화됨)은 [공동 의사 결정의 강력한 모델]을 충분히 강조했습니다. 이 모델에는 다음이 포함되었습니다. 

  • 환자의 선호도와 가치에 대한 명시적인 확인,
  • 환자의 선호도와 가치를 다른 정보와 통합(질병별 지식, 환자별 정보, 프로세스 지식 포함)
  • 향후 상황에 대한 예후 예측,
  • 환자와 임상의 모두에게 잠정 결정이 실제로 최적이라는 확신을 주는 역동적인 상호 작용

The third step of management reasoning is shared decision making. We observed wide variation, ranging from essentially none (i.e., only 1 treatment option presented, with the patient’s acquiescence presumed) to moderate (presenting several options with a recommended approach, and allowing the patient to choose [concur]). Although these videos did not offer any encounters that we considered exemplary, the omissions and shortcomings (documented as areas for improvement for the clinician) amply highlighted a robust model of shared decision making. This model included

  • explicit ascertainment or confirmation of patient preferences and values,
  • integration of patient preferences and values with other information (including illness-specific knowledge, patient-specific information, and process knowledge),
  • prognostication of future events, and
  • a dynamic interplay that assured both patient and clinician that the tentative decision was in fact optimal.

우리는 [환자의 가치관을 통합하는 것]뿐만 아니라, 환자에게 [이러한 결정이 이루어졌다는 것을 명시적으로 전달하는 것]이 중요하다는 것을 관찰했습니다.

  • 상황에 따라 의사 결정 과정에 참여하고, 생활 습관 개선 조치를 실행하고, 약을 복용하고, 다른 임상의와 상담하고, 후속 조치를 위해 재방문하는 등의 조치를 포함하여 환자가 치료 계획을 구매하도록 설득하는 데는 [교육과 세일즈맨십이 필수적]이었습니다.
  • 이 동영상에는 설명되어 있지 않지만, [의사 결정 보조 도구]가 많은 경우에 도움이 되었을 것이라는 점에 주목했습니다.
  • 또한 [다른 의료진과의 상호작용]을 보여주는 동영상은 없었지만, 이 단계에서 이러한 상호작용을 통해 의료진의 권장 사항, 우선순위, 가치, 물류 제약 사항을 확인하고 통합할 수 있을 것으로 예상됩니다.
  • 공유 의사 결정 단계는 환자가 계획을 [이해하고 동의했음을 명시적으로 확인]하는 것으로 끝나는 것이 이상적입니다(일관성이 없더라도).

We observed that it was important not only to integrate the patient’s values but also to expressly convey to the patient that this had been done.

  • Teaching and salesmanship were essential in persuading the patient to buy into the care plan, including (depending on the situation) actions such as engaging in the decision-making process, implementing lifestyle measures, taking a medication, consulting another clinician, and returning for follow-up.
  • Although not illustrated in these videos, we noted that a decision aid would have been helpful in many instances.
  • In addition, no video showed interaction with other members of the health care team, and we imagine such interactions at this step could ascertain and integrate their recommendations, priorities, values, and logistic constraints.
  • The shared decision-making step ideally (albeit inconsistently) ended with explicit confirmation that the patient understood and subscribed to the plan.

관리 추론의 마지막 단계는 지속적인 모니터링과 관리 조정입니다. 이 모든 동영상은 이전 방문에 대한 후속 조치로 이루어졌기 때문에 장기간(경우에 따라 몇 년)에 걸친 관리 활동의 한 지점만 반영했습니다. 이러한 관점에서 볼 때 관리 추론은 반드시 이전 만남을 기반으로 하며 향후 후속 조치를 계획해야 합니다. 관리 스크립트는 [과거 정보(병력 및 치료에 대한 반응[이전 반응과의 변화])에 의해 맥락화된 새로운 정보(새로운 검사 결과 및 현재 임상 결과)]에 크게 영향을 받았습니다. 이 스크립트는 다시 제시된 관리 옵션과 임상의의 영업 피치의 테너를 결정했습니다. 또한 임상의는 이 상담에서 관리 범위(예: 당뇨병만 관리할지, 당뇨병과 혈압 및 니코틴 의존도까지 관리할지)에 대해 초기에 결정을 내렸습니다. 진료가 끝날 무렵에는 대개 후속 방문에 대한 계획이 수립되어 있었습니다(그렇지 않은 경우 환자는 대개 불확실하고 불만족스러워 보였습니다). 이러한 후속 계획은 약물 치료에 대한 반응 및 부작용 가능성, 수술의 그럴듯한 결과, 상담 일정의 예상 지연, 질병의 자연력 등 예상되는 또는 [필요한 사건(예후)을 예측하는 임상의의 능력]에 영향을 받습니다. 계획에는 ['이상적인' 후속 조치 계획]과 함께 [환자 및 상황적 요인(실제적인 물류)을 고려하는 것]이 이상적입니다. 
The final step in management reasoning is ongoing monitoring and adjustment of management. All these videos were encounters in follow-up to an earlier visit and as such reflected only 1 point in a management activity spread over an extended period (in some cases, years). From this perspective, management reasoning necessarily builds on prior encounters and must plan for future follow-up. The management script was greatly influenced by new information (new test results and current clinical findings) contextualized by past information (medical history and response to treatment [change from prior response]). This script in turn dictated the management option(s) presented and the tenor of the clinician’s sales pitch. In addition, the clinician made decisions early on regarding the scope of management in this encounter (e.g., diabetes only vs diabetes and blood pressure and nicotine dependence). By the end of the encounter, plans were usually in place for a follow-up visit (and if not, the patient usually appeared uncertain and dissatisfied). These follow-up plans were influenced by the clinician’s ability to anticipate likely or necessary events (prognostication), such as likely response to and possible side effects of drug therapy, plausible outcomes of surgery, the expected delay in scheduling a consultation, or the natural history of the illness. Planning ideally included consideration of patient and contextual factors (practical logistics) married with “ideal” follow-up plans.

이러한 시간적 진화의 각 단계는 환자의 요구, 선호도 및 가치와 임상 상황에 따라 [개인화되거나 맞춤화]될 수 있으며, 맞춤화되어야 합니다. 예를 들어, '고혈압 신약'에 대한 관리 스크립트는

  • 환자의 동반 질환약물 알레르기, 보험 환급상황(응급실 대 외래 진료소)을 고려해야 하며,
  • [교육 및 세일즈맨십]은 환자의 사전 지식, 어휘 및 정보에 대한 욕구에 맞게 조정되어야 하고,
  • [공유 의사 결정]에는 임상의가 제안한 계획에 대한 단순한 동의 이상의 것이 포함되어야 하며,
  • [모니터링 및 조정]은 특정 치료, 질병의 심각도, 치료 반응, 환자 물류(예, 이동 비용 및 시간, 업무 공백 시간), 커뮤니케이션 옵션(예: 대면 방문이 아닌 전화 또는 화상 방문) 등을 고려해야 합니다.

임상의와 환자의 관계도 각 단계에서 강화되거나 약화될 것입니다. 
We note that each step in this temporal evolution can and should be personalized or tailored to the needs, preferences, and values of the patient and the clinical context. For example, a management script for “new drug for hypertension” should take into account the patient’s comorbid conditions and drug allergies, insurance reimbursement, and context (emergency department vs outpatient clinic); teaching and salesmanship should be tailored to the patient’s prior knowledge, vocabulary, and desire for information; shared decision making should involve more than simple acquiescence to the clinician’s proposed plan; and monitoring and adjustment should take into account the specific treatment, severity of illness, treatment response, patient logistics (e.g., expense and time to travel, time away from work), and communication options (e.g., telephone or video visit rather than face-to-face visit). The clinician–patient relationship will also be strengthened or undermined at each step.

마지막으로, 이 동영상에서 관찰된 [관리 추론의 가장 중요한 특징]은 일반적으로 [임상의 내부의 인지적 연습]이 아니라 [임상의와 환자의 상호 작용으로 발생]한다는 것입니다. 물론 이러한 결과는 환자가 참석하지 않거나(예: 임상의가 혼자 또는 의료진과 함께 환자 데이터를 검토하는 경우) 의사 결정에 참여할 수 없는(예: 인공호흡기를 착용한 환자) 관리 상황을 반영하지 못하는 비디오 선택(즉, 대면)의 아티팩트일 수 있습니다. 그러나 대부분의 관리 결정은 궁극적으로 한 명의 임상의가 아닌 [여러 사람이 논의해야 한다]고 생각합니다. 이 동영상에는 나타나지 않지만 이러한 상호작용에는 의료진의 다른 사람(예: 학생, 간호사, 약사, 자문 의사)과 종단적, 비동기적, 간접적 상호작용(예: 의뢰 상담, 환자 인계, 공식적인 인계 없이 동료의 환자 진료)은 물론 동시적이고 직접적인 상호작용도 포함될 수 있습니다. 요컨대, 관리 추론은 전적으로 특정 임상의사 내에서가 아니라, 일반적으로 [개인 간의 공간]에서 발생한다고 추측할 수 있습니다.
Finally, an overarching feature of management reasoning as observed in these videos is that it commonly occurs as a clinician–patient interaction rather than as a cognitive exercise within the clinician. Naturally, this finding could be an artifact of the video selections (i.e., face-to-face encounters), which fail to reflect management situations in which the patient is not present (e.g., clinicians reviewing patient data alone or with the health care team) or unable to participate in decisions (e.g., patient on a ventilator). However, we believe that most management decisions ultimately involve multiperson discussions rather than a single clinician. Although not present in these videos, these interactions could involve others on the health care team (e.g., students, nurses, pharmacists, consulting physicians) and longitudinal, asynchronous, and indirect interactions (e.g., referral consultations, patient handovers, seeing a colleague’s patient without a formal handover) as well as concurrent, direct interactions. In short, it might be conjectured that management reasoning commonly occurs in the space between individuals rather than entirely within a given clinician.

토론
Discussion

이 연구는 시뮬레이션된 임상의와 환자의 만남을 담은 비디오에 대한 경험적 분석을 통해 이전에 설명한 관리 추론의 개념적 틀을 확장했습니다1,2.

  • 이전에 생각했던 5가지 특징을 확인하는 것 외에도 관리 추론의 7가지 특징을 추가로 경험적으로 확인했습니다(표 1).
  • 질병별 및 프로세스 지식의 중요성을 강조하고 관리 스크립트의 5가지 특징을 확인했습니다.
    • (내용, 순서, 유연성, 유창성, 일반성)
  • 또한 4단계의 시간적 진화와 개인 간 개인화 및 발생이라는 중요한 특징으로 구성된 관리 추론의 경험적 모델을 개발했습니다.
    • (스크립트 인스턴스화, 옵션 식별 및 환자 교육, 공유된 의사 결정, 지속적인 모니터링 및 조정)

This study extended a previously described conceptual framework for management reasoning 1,2 through empirical analysis of videos of simulated clinician–patient encounters.

  • In addition to confirming 5 previously conceived features, we empirically identified 7 additional features of management reasoning (Table 1).
  • We highlighted the importance of illness-specific and process knowledge and identified 5 features of management scripts (content, sequence, flexibility, fluency, and generality).
  • We developed an empirical model of management reasoning composed of 4 steps of temporal evolution (script instantiation, identifying options and teaching patients, shared decision making, and ongoing monitoring and adjustment) and overarching features of personalization and occurrence between individuals.

제한 사항
Limitations

이 연구에는 한계가 있습니다.

  • 첫째, 관찰한 비디오는 사실적으로 제작되었지만 실제 임상의와 환자 간의 상호 작용이 아닙니다. 동영상은 원래 평가자 교육 연구를 위해 설계된 성인 외래 환자 1차 진료의 5개 질병으로 제한되었으며,14,15 최고 및 최악의 성과를 대표하도록 선택되었습니다. 10개의 비디오는 관리 추론 사례와 맥락의 제한된 샘플을 구성합니다. 따라서 본 연구 결과는 임상의가 모든 상황(예: 입원 환자, 전문의 또는 시술 환경)에서 관리에 대해 어떻게 추론하는지에 대한 표준적인 설명으로 해석될 수 없습니다.
  • 둘째, 이번 연구 결과는 관찰 가능한 행동을 기반으로 합니다. 관찰된 행동은 다양한 원인에 의해 나타날 수 있습니다(예: 모호한 치료 계획은 불충분한 지식, 잘못된 추론 또는 잘못된 의사소통을 반영할 수 있음).
  • 셋째, 저희는 이 연구에서 지침 개념 프레임워크 2의 개발자이면서 관찰자 및 분석자이기도 했으므로 확증 편향의 위험이 있습니다. 여섯 개의 비디오는 우리 중 한 명(박사)이 개발했으며, 이는 관찰의 객관성에 영향을 미칠 수 있습니다. 그러나 이러한 동영상 사례는 정해진 대본에 따르지 않고 즉흥적으로 제작되었으며 13년 전에 제작되었기 때문에 이러한 친숙도가 연구 결과에 큰 영향을 미치지는 않을 것으로 보입니다.

This study has limitations.

  • First, the videos we observed were developed to be realistic, but they were not actual clinician–patient interactions. The videos were limited to 5 illnesses in adult outpatient primary care, originally designed for a study of rater training, 14,15 and selected to represent the best and worst performances. Ten videos constitute a limited sample of management reasoning instances and contexts. Our findings thus cannot be construed as canonical descriptions of how clinicians reason about management in all situations (e.g., inpatient, specialist, or procedural settings).
  • Second, our findings are based on observable behaviors. We can speculate about but cannot confirm underlying cognitive processes; indeed, a given observed behavior could emerge from a variety of etiologies (e.g., a vague care plan could reflect inadequate knowledge, poor reasoning, or poor communication).
  • Third, we were both the developers of the guiding conceptual framework 2 and the observers and analyzers in this study; therefore, there is some risk of confirmatory bias. Six videos were developed by one of us (D.A.C.), which could further influence the objectivity of observations. However, these video cases were extemporaneous (rather than adhering to a defined script) and moreover were created 13 years previously; therefore, it seems unlikely that this level of familiarity would significantly affect our findings.

이전 작업과의 통합
Integration with prior work

우리의 연구는 진단을 용이하게 하는 질병(질환, 병리학적 결함, 증상 및 징후)에 대한 지식 표현인 질병 스크립트에 대한 광범위한 문헌을 보완합니다. 17,19 이에 비해 관리 스크립트는 진단 검사, 치료, 상담, 환자 교육, 공유 의사 결정 및 모니터링과 같은 옵션과 임상의 업무를 연결하는 관리 계획 개발 경로에 대한 지식 표현입니다. 최근에 제안된 관리 스크립트 모델 중 하나는 시간적 진화를 강조했지만8 경험적 데이터에 기반하지 않고 임상의 내부의 활동(추론 및 의사 결정)에 초점을 맞추었습니다. 경험적 관찰에 기반한 저희 모델은 임상의, 환자 및 기타 의료진 구성원을 포함하며, [대인 커뮤니케이션]과 [공유 의사 결정]을 관리 스크립트의 핵심 기능으로 강조합니다. 
Our work complements the extensive literature on illness scripts, which are knowledge representations of an illness (enabling conditions, pathological faults, and symptoms and signs) that facilitate diagnosis. 17,19 By contrast, management scripts are knowledge representations of the path to development of a management plan, linking options and clinician tasks, such as diagnostic tests, treatments, consultations, patient education, shared decision making, and monitoring. One recently proposed model of management scripts highlighted their temporal evolution 8 but was not based on empirical data and focused on activities (reasoning and decisions) within the clinician. Our model, grounded in empirical observations, includes clinicians, patients, and other members of the health care team, and highlights interpersonal communication and shared decision making as central features of the management script.

임상 추론의 한 모델에서는 11가지 관리 과제를 확인했습니다. 12,13 이 모든 것이 동적 상호 작용, 선호도 및 제약 조건의 우선순위 지정, 공유 의사 결정 및 모니터링이라는 특징 하에 우리 모델 안에 포함됩니다. 스크립트, 영업사원 역할, 임상의-환자 관계, 예후 및 조직과 같은 다른 기능도 고유합니다.
One model of clinical reasoning identified 11 management tasks. 12,13 All these are encompassed in our model under the features of dynamic interplay, prioritization of preferences and constraints, shared decision making, and monitoring. Other features in our model (such as scripts, salesperson role, clinician–patient relationship, prognostication, and organization) are unique.

또한 저희의 관리 추론 모델은 의료 의사 결정의 수학적 모델에 관한 방대한 문헌(예: 의사 결정 분석, 20-22 분석 계층 구조 프로세스, 23 관리 임계값, 24 및 선택의 경제 모델 25-27)을 보완합니다. 이러한 모델은 불확실성, 감정, 다양한 발생 확률 또는 시기, 경쟁하는 우선순위 등의 맥락에서 의사 결정에 관한 중요한 원칙을 설명해 왔습니다. 일반적인 수준에서 이러한 수학적 모델과 트위터의 경영 추론 모델에는 목표 정의, 옵션 식별, 혜택, 위험, 선호도에 따른 옵션 평가의 단계가 모두 포함되어 있다는 점에서 어느 정도 유사성이 있음을 인정할 수 있습니다. 그러나 수학적 모델은 이론을 발전시키거나 관리 지침 또는 의사결정 보조자료를 준비하는 등 연구 또는 배후에서 28 가장 유용해 보이는 반면, 트위터의 경영추론 모델은 병상에서의 상호작용을 강조합니다. 우리는 의사결정 모델과 관리 추론이 상호 근거를 마련하고, 입증하고, 서로를 조명할 수 있을 것으로 기대합니다. 
Our model of management reasoning also complements the vast literature on mathematical models of medical decision making (such as decision analysis, 20–22 the analytical hierarchy process, 23 management thresholds, 24 and economic models of choice 25–27). Such models have elucidated important principles regarding decisions in the context of uncertainty, emotion, varying probability or timing of occurrence, and competing priorities. At a general level, we acknowledge some similarity between these mathematical models and our model of management reasoning as both have stages of goal definition; identification of options; and evaluation of options based on benefits, risks, and preferences. However, mathematical models seem most useful in research or behind the scenes 28 (e.g., advancing theory or preparing management guidelines or decision aids), whereas our model of management reasoning emphasizes interactions at the bedside. We envision that decision-making models and management reasoning could mutually ground, substantiate, and illuminate one another.

시사점
Implications

이전의 개념적 모델을 바탕으로1,2 우리는 관리 추론의 7가지 새로운 특징을 확인했습니다(표 1). [관리 스크립트의 중심 역할]과 [질병 특이적 지식] 및 [프로세스 지식]의 중요성은 이 모델에 특히 두드러지게 추가된 사항입니다. 또한 관리 추론의 시간적 진화를 개괄하는 개념적 모델을 제안하고(그림 1) 진단 추론과 관리 추론의 구분을 더 명확하고 정교하게 만들었습니다(표 1). [임상의와 환자의 관계 구축] 및 [인카운터의 조직화]와 같은 일부 기능은 추론과 무관해 보일 수 있지만, 이러한 활동은 임상의가 말이나 행동에 대한 선택을 요구하며, 이는 결국 인지(추론) 과정을 의미합니다.
Building on our prior conceptual model, 1,2 we have identified 7 new features of management reasoning (Table 1). The central role of the management script and the importance of both illness-specific and process knowledge are particularly salient additions to this model. We have also proposed a conceptual model outlining the temporal evolution of management reasoning (Figure 1) and sharpened and elaborated the distinctions between diagnostic and management reasoning (Table 1). Some features, such as building the clinician–patient relationship and organization of the encounter, may appear unrelated to reasoning; however, such activities require clinicians to make choices about their words or actions, which in turn implies a cognitive (reasoning) process.

이러한 관찰 결과는 [관리 추론]을 [대인 상호작용(협상)]으로 개념화한 이전의 연구 결과를 입증합니다. 1,2 이 발견은 진단 추론에 대한 많은 연구에서 진단에 통합된 일련의 정보에서 개별 환자를 제외하는 경우가 많은 것과는 상당히 대조적입니다. 임상의는 정보(예: 진단, 환자 선호도, 시스템 제약)를 수집하고, 협상하고, 가르치고, 안내하고, 동기를 부여/판매하면서 최종 계획을 '추론'해야 합니다. 이러한 활동은 [한 명의 의료진 내부]에서만 이루어지는 것이 아니라 [의료진, 환자 및 다른 사람들 사이의 공간]에서 이루어집니다. 이러한 관찰은 앞서 자세히 설명한 바와 같이 의료 전문가의 교육 및 평가에 이론적, 실제적 의미를 지니고 있습니다29,30. 1
Our observations substantiate our previous conceptualization of management reasoning as an interpersonal interaction (negotiation). 1,2 This finding is in considerable contrast to many studies of diagnostic reasoning, which often remove the individual patient from the array of information incorporated into a diagnosis. Clinicians must gather information (e.g., diagnosis, patient preferences, system constraints), negotiate, teach, guide, and motivate/sell as they “reason” their way to a final plan. These activities occur in the space between clinician, patient, and others—not exclusively within the clinician. This observation has both theoretical and practical implications for the education and assessment of health professionals, 29,30 as we have previously elaborated. 1

이러한 특징과 모델은 교육에 대한 추가적인 시사점을 제공합니다.

  • 첫째, 관리 추론에서 관리 스크립트의 지배적인 역할은 이러한 [인지적 표상을 배양하는 데 집중해야 할 필요성]을 시사합니다. 또한 관리 스크립트 자체는 의료 전문가를 교육하는 데 유용한 도구가 될 수 있는데, 예를 들어 임상의가 환자 사례에 대한 접근 방식에 대해 "소리 내어 생각"할 때 유용할 수 있습니다. 17
  • 둘째, '일을 처리하는 방법'에 대한 실용적인 지식이 의료진에게 유용한 기술이라는 사실은 오랫동안 인정되어 왔지만, 이제는 [과정 지식도 관리 추론(즉, 임상의와 환자 간 협상의 일부)에서 중요한 역할]을 한다는 것을 인식하고 있습니다. 과정 지식은 환자 중심 교육, 세일즈맨십(수사학 분야와 설득에 대한 통찰력 31에서 차용한 것일 수 있음), 신뢰 형성, 예후 예측과 같은 기술과 함께 의료 전문가 교육 및 평가에서 보다 전략적으로 강조할 가치가 있습니다.
  • 셋째, 우리의 연구 결과는 관리(진단) 추론에 대해 고유하거나 다른 빈도로 요구되는 기술의 개발 및 평가와 관련하여 이전에 제안된 시사점을 경험적으로 확인합니다. 1

These features and model have additional implications for education.

  • First, the management script’s dominant role in management reasoning suggests the need to focus on cultivating these cognitive representations. The management script itself may also serve as a useful tool for teaching health professionals, such as when master clinicians “think aloud” about their approach to a patient case. 17 
  • Second, although it has long been accepted that practical knowledge of how to “get things done” is a useful skill for practitioners, we now recognize that process knowledge also plays a crucial role in management reasoning (i.e., as part of the clinician–patient negotiation). Process knowledge, along with skills such as patient-directed teaching, salesmanship (perhaps borrowing from the field of rhetoric and its insights on persuasion 31), engendering trust, and prognostication, may merit more strategic emphasis in the education and assessment of health professionals.
  • Third, our findings empirically confirm previously proposed implications regarding the development and assessment of skills that are likely unique or required with different frequencies for management (vs diagnostic) reasoning. 1

또한 임상 실무에 대한 시사점도 확인했습니다. 임상의의 일상 업무를 지원하기 위해 수많은 도구가 개발되었습니다. 관리 추론의 주요 특징과 해당 모델은 진료 수요를 충족하는 데 있어 이러한 도구의 관련성과 포괄성을 체계적으로 평가하는 데 도움이 됩니다.

  • 예를 들어,
    • [진료 지침]과 [컴퓨터 기반 지식 리소스]는 [질병 특이적 지식] 문제를 다루고,
    • [치료 경로와 프로토콜]은 치료의 [프로세스 지식]을 다루며,
    • [의사 결정 보조 도구]는 [공유 의사 결정]을 돕고,
    • [기타 컴퓨터 도구]는 [모니터링과 후속 조치]를 지원할 수 있습니다.
  • 반대로 역동적인 상호 작용, 세일즈맨십, 임상의와 환자의 관계, 진료 조직, 스크립트 개발을 지원하는 도구는 덜 보편화되어 있습니다.

We also recognize implications for clinical practice. Numerous tools have been developed to support clinicians in their daily routine. The key features and corresponding model of management reasoning facilitate an organized appraisal of the relevance and comprehensiveness of such tools in meeting practice demands.

  • For example,
    • practice guidelines and computer-based knowledge resources address issues of illness-specific knowledge;
    • care pathways and protocols address process knowledge;
    • decision aids help shared decision making; and
    • other computer tools can support monitoring and follow-up.
  • Conversely, tools to support dynamic interplay, salesmanship, clinician–patient relationships, encounter organization, and script development are less prevalent.

마지막으로, 경험적 데이터에 기반을 두고 있지만, 이번 연구 결과는 아직 잠정적이고 다소 개념적인 수준에 머물러 있으므로 추가 연구가 필요합니다. 

  • 먼저, 관리 스크립트의 역할과 개발을 이해하기 위한 이론적 및 실증적 연구를 제안합니다: 스크립트는 어떻게 활성화, 선택, 인스턴스화되나요? 18 한 스크립트가 다른 스크립트에 대한 헤게모니를 확보하는 방법은 무엇인가요? 어떤 스크립트 기능이 필수적이며, 추론 작업을 간소화하기 위해 (적어도 교육 초기에는) 어떤 기능을 할인할 수 있을까요? 이번 연구 결과는 일반적인 프레임워크("나쁜 소식 속보")를 반영하는 메타 스크립트, 특정 질병에 초점을 맞춘 기본 스크립트, 환자 또는 상황에 맞게 조정된 하위 스크립트로 구성된 가능한 스크립트 계층 구조를 제안하며, 이러한 제안은 확인과 정교화가 필요합니다.
  • 둘째, 입원 환자 진료, 종단적(반복적) 상호작용, 비대면 진료(전화 통화, 전자 통신, 환자의 개입 없이 의료 기록 검토), 다른 의료진과의 상호작용 등 다양한 환경에서 관리 추론이 어떻게 나타나는지 살펴보는 추가 연구를 제안합니다. 다양한 경력을 가진 임상의(예: 학생, 대학원 수련의, 일반의, 전문의)를 대조하는 연구도 통찰력을 얻을 수 있습니다.
  • 셋째, 이 연구에서는 인종, 민족, 성별이 임상의와 환자 간의 상호작용에 어떤 영향을 미치는지 조사하지 못했습니다. 이러한 특징과 기타 특징을 의도적으로 탐구한다면 관리 추론에 대한 이해를 높이고 잠재적인 관리 불균형을 완화하는 데 도움이 될 것입니다.
  • 넷째, 많은 관리 추론이 임상의 내부가 아닌 개인 간의 공간에서 발생한다는 주장을 검증하는 연구가 필요합니다.
  • 다섯째, 저희처럼 관찰 가능한 행동에 국한하지 않고 실제 인지 과정을 조명할 수 있는 새로운 연구 방법의 적용을 권장합니다.

Finally, although grounded in empirical data, our findings remain tentative and somewhat conceptual and thus demand further research.

  • First, we propose theoretical and empirical work to understand the role and development of management scripts: How are scripts activated, selected, and instantiated? 18 How does one script gain hegemony over another? What script features are essential, and what features could be discounted (at least early in training) to simplify the reasoning task? Our findings suggest a possible script hierarchy, with meta-scripts reflecting general frameworks (“breaking bad news”), primary scripts focusing on a given illness, and subscripts being tailored to the patient or context; this suggestion warrants confirmation and elaboration.
  • Second, we suggest further research exploring how management reasoning manifests in different settings, such as inpatient care, longitudinal (repeated) interactions, non–face-to-face care (telephone calls, electronic communication, and review of medical records without patient involvement), and interactions with other health care team members. Research contrasting clinicians of varying experience (e.g., students, postgraduate trainees, generalists, specialists) would also be insightful.
  • Third, this study could not examine how race, ethnicity, or gender influences clinician–patient interactions; intentionally exploring these and other features would enhance our understanding of management reasoning and help mitigate potential management disparities.
  • Fourth, we need research that examines our claim that much management reasoning occurs in the space between individuals vs within the clinician.
  • Fifth, we encourage application of novel research methods permitting illumination of actual cognitive processes rather than restricting to observable behaviors as we did.

 


Acad Med. 2023 Jan 1;98(1):80-87. doi: 10.1097/ACM.0000000000004810. Epub 2022 Dec 22.

Management Reasoning: Empirical Determination of Key Features and a Conceptual Model

Affiliations collapse

Affiliations

1D.A. Cook is professor of medicine and professor of medical education, director of education science, Office of Applied Scholarship and Education Science, and consultant, Division of General Internal Medicine, Mayo Clinic College of Medicine and Science, Rochester, Minnesota; ORCID: https://orcid.org/0000-0003-2383-4633 .

2C.R. Stephenson is assistant professor of medicine and consultant, Division of General Internal Medicine, Mayo Clinic College of Medicine and Science, Rochester, Minnesota; ORCID: https://orcid.org/0000-0001-8537-392X .

3L.D. Gruppen is professor, Department of Learning Health Sciences, and director, Master in Health Professions Education Program, University of Michigan, Ann Arbor, Michigan; ORCID: https://orcid.org/0000-0002-2107-0126 .

4S.J. Durning is professor and vice chair, Department of Medicine, and director, Center for Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, Maryland; ORCID: https://orcid.org/0000-0001-5223-1597 .

PMID: 35830267

DOI: 10.1097/ACM.0000000000004810

Abstract

Purpose: Management reasoning is a critical yet understudied phenomenon in clinical practice and medical education. The authors sought to empirically identify key features of management reasoning and construct a model describing the management reasoning process.

Method: In November 2020, 4 investigators each reviewed 10 video clips of simulated outpatient physician-patient encounters and used a coding form to document key features and insights related to management reasoning. The team used a constant comparative approach to distill 120 pages of raw observations into an 18-page list of management tasks, processes, and insights. The team then had a series of discussions to iteratively refine these findings into a parsimonious model of management reasoning.

Results: The investigators empirically identified 12 distinct features of management reasoning: contrasting and selection among multiple solutions; prioritization of patient, clinician, and system preferences and constraints; communication and shared decision making; ongoing monitoring and adjustment of the management plan; dynamic interplay among people, systems, and competing priorities; illness-specific knowledge; process knowledge; management scripts; clinician roles as patient teacher and salesperson; clinician-patient relationship; prognostication; and organization of the clinical encounter (sequencing and time management). Management scripts seemed to play a prominent and critical role. The model of management reasoning comprised 4 steps: instantiation of a management script, identifying (multiple) options and beginning to teach the patient, shared decision making, and ongoing monitoring and adjustment. This model also conceives 2 overarching features: that management reasoning is personalized to the patient and that it occurs between individuals rather than exclusively within the clinician's mind.

Conclusions: Management scripts constitute a key feature of management reasoning, along with teaching patients about viable options, shared decision making, ongoing monitoring and adjustment, and personalization. Management reasoning seems to be constructed and negotiated between individuals rather than exclusively within the clinician.

의학교육에 환자/서비스사용자 참여: BEME 체계적 문헌고찰 (BEME Guide No. 58) (Med Teach, 2020)
Patient/service user involvement in medical education: A best evidence medical education (BEME) systematic review: BEME Guide No. 58 
Morris Gordona,b, Simon Guptab, Debra Thorntonb, Michael Reidb, Ernie Mallena and Angela Mellinga

 

 

배경
Background

'책 없이 질병 현상을 연구하는 것은 미지의 바다를 항해하는 것이고, 환자 없이 책을 연구하는 것은 아예 바다에 나가지 않는 것이다.' 
‘To study the phenomenon of disease without books is to sail an uncharted sea, while to study books without patients is not to go to sea at all.’

윌리엄 오슬러 경
Sir William Osler

[환자와 서비스 사용자]는 항상 의학 교육에서 중요한 역할을 담당해 왔지만, 과거에는 상태, 병리 또는 검사 징후를 설명하는 학습 자료 또는 '임상 자료'(Flexner 1910)의 역할에 그쳤습니다. 1980년대 이후 '전문가 환자'(Tuckett 1985)라는 개념이 등장하면서 환자가 자신의 치료에 보다 적극적으로 참여해야 하며 의료 전문가와 환자 간의 파트너십이 장려되어야 한다는 인식이 확산되었습니다. 이 아이디어는 '환자와 대중의 참여가 국가보건서비스(NHS)의 일상적인 관행의 일부가 되어야 하며 개선을 위한 행동으로 이어져야 한다'는 요구사항과 함께 영국(영국) 정부 정책에서 점점 더 두드러지게 부각되었습니다(보건부 2007). 2012년의 보건 및 사회보장법은 의료 시스템 전반에 걸쳐 환자의 목소리가 반영될 수 있도록 2006년에 제정된 법을 기반으로 하며, 이제 [영국의 모든 보건 관련 법정 기관]은 [환자, 보호자 및 대중을 참여시킬 의무]를 갖게 되었습니다.
Patients and service users have always been vital to medical education, but in the past this role has been a learning resource or ‘clinical material’ (Flexner 1910), illustrating conditions, pathologies or signs for examination. Since the 1980s, the notion of the ‘expert patient’ (Tuckett 1985) has led to a recognition that patients should be more actively involved in their own care and a partnership between healthcare professionals and patients should be encouraged. This idea has gained increasing prominence in the United Kingdom (UK) government policy with a requirement that ‘patient and public involvement should be part of everyday practice in the National Health Service (NHS) and must lead to action for improvement’ (Department of Health 2007). The Health and Social care Act of 2012 built on the previous 2006 Act to ensure the voice of patients is heard throughout the healthcare system and all statutory bodies in the UK relating to health now have duties with regards to the involvement of patients, carers, and the public.

이는 대학원 및 학부 교육에 영향을 미치고 있으며, 2009년에는 환자가 '의대생의 교육, 피드백 및 평가에 독특하고 귀중한 전문 지식을 제공할 수 있기'때문에 [환자를 학부 의학교육(UME)에 참여시키기 위한 의학전문대학원협의회(GMC)의 지침에 권고사항]이 작성되었습니다(General Medical Council 2009). 또한 의과대학 커리큘럼 개발 시 의대생, 수련 중인 의사, 교육자, 고용주, 기타 보건 및 사회복지 전문가, 환자, 가족 및 보호자의 의견을 수렴해야 한다고 권고했습니다(General Medical Council 2016). 
Clearly, this has an impact on postgraduate and undergraduate education and in 2009 recommendations were written into Graduate Medical Council (GMC) guidance for the involvement of patients in undergraduate medical education (UME) as they ‘can contribute unique and invaluable expertise to teaching, feedback and assessment of medical students’ (General Medical Council 2009). They further recommended that the development of medical school curricula must be informed by medical students, doctors in training, educators, employers, other health and social care professionals and patients, families and carers (General Medical Council 2016).

다른 나라에서도 의료 및 의료 교육에 환자와 대중 등 [소비자의 참여를 확대해야 한다는 요구]가 있습니다. 1995년 세계보건기구(WHO) 보고서는 의과대학이 지역사회의 요구를 충족하는 데 있어 사회적 책임이라는 새로운 패러다임을 채택할 것을 요구했으며, 이러한 요구의 우선순위는 [정부, 의료기관, 의료 서비스 제공자 및 대중]이 공동으로 파악해야 한다고 주장했습니다(Boelen and Heck 1995).
In other countries, too, there is a call for increased involvement of consumers – patients and the public – in healthcare and healthcare education. A World Health Organization report in 1995 called for medical schools to adopt a new paradigm of social accountability in meeting the needs of their communities – the priorities for these needs being identified jointly by governments, healthcare organizations, healthcare providers and the public (Boelen and Heck 1995).

의료 전문가 교육에 대한 환자 참여의 정도와 방식은 매우 다양하며, 여러 개념적 프레임워크를 사용하여 이를 조사해 왔습니다. 스펜서 외(2000)가 개발한 [캠브리지 프레임워크][참여 환경의 분류]를 설명합니다:
There is wide variation in the extent and manner of patient involvement in health professional education and these have been examined by the use of a number of conceptual frameworks. The Cambridge framework developed by Spencer et al. (2000) describes the classification of the setting of involvement:

  • 누가: 각 환자, 가족 및 간병인의 개별적인 배경, 문화 및 경험.
  • 어떻게: 환자의 역할(수동적 또는 능동적), 만남의 성격, 접촉 시간 및 감독 정도를 포함합니다.
  • 무엇을: 문제의 유형(일반적 문제와 특정 문제), 학습해야 할 지식, 기술, 가치를 포함한 교육 내용.
  • 어디서: 상호작용이 이루어지는 장소(예: 지역사회, 병원 병동, 클리닉).
  • Who: the individual background, culture, and experience of each patient, their family, and carers.
  • How: including, patient role (passive or active), nature of the encounter, length of contact, and degree of supervision.
  • What: the content of the education including the type of problem (general versus specific) and the knowledge, skills, and values to be learned.
  • Where: location of interaction (for example, community, hospital ward, clinic).

이 프레임워크는 환자/서비스 사용자가 환자/학습자와의 만남에서 얼마나 적극적인 역할을 수행할 수 있는지에 대한 가능성을 개괄적으로 보여줍니다.
This framework provides an overview of the possibilities of how active a role patients/service users may play in the patient/learner encounter.

Tew와 포스터(2004)는 [참여의 정도를 분류하는 프레임워크]를 설명합니다. 그들의 '참여의 사다리'에는 [미미한 참여, 새로운 참여, 증가하는 참여, 협력, 파트너십]의 다섯 단계가 포함됩니다. 이 프레임워크는 사용자 참여에 관한 많은 연구와 담론에서 사용되었으며, Arnstein의 '시민 참여의 사다리'(Arnstein 1969)의 영향을 많이 받았습니다. 환자의 의료 참여를 측정하는 다른 프레임워크도 존재하지만, Towle 등(2010)이 고안한 프레임워크는 [캠브리지 프레임워크와 Tew의 참여 사다리를 통합]하여 이 두 모델의 요소를 모두 포함하는 분류법을 만들었으며, 특히 의료 전반이 아닌 교육에서의 참여의 깊이와 영향을 측정하도록 고안되었습니다(표 1). 토우 프레임워크는 의학교육 내에서 서비스 제공자-사용자 참여의 상당한 다양성을 강조할 수 있는 실용적이고 포괄적인 프레임워크로 선정되었습니다.
Tew and Foster (2004) describe a framework for classifying the extent of involvement. Their ‘Ladder of Involvement’ included five steps:

  • little involvement;
  • emerging involvement;
  • growing involvement;
  • collaboration;
  • partnership.

This has been used in many studies and discourses on user involvement and was heavily influenced by Arnstein’s ‘Ladder of Citizen Participation’ (Arnstein 1969). Other frameworks exist which measure patient engagement in healthcare, but the framework devised by Towle et al. (2010) integrated the Cambridge framework and Tew’s Ladder of Involvement to produce a taxonomy with elements of both these models (Table 1), specifically designed to measure the depth and impact of involvement in education rather than in healthcare in general. The Towle framework was selected as a pragmatic, comprehensive framework that enables us to highlight the significant diversity of servicer–user involvement within medical education

이전 리뷰(Morgan and Jones 2009, Spencer 외. 2011)에서는 주로 '어떤' 참여가 이루어지고 있는지, 그리고 그러한 작업이 학습 환경을 개선하는 데 효과적인지 여부를 규명하고자 했습니다. 그러나 이 두 리뷰는 체계적이지 않았고 학술적인 2차 연구 접근법을 사용하여 증거를 종합하지 않았습니다. 더 중요한 것은 이러한 검토가 발표된 이후 동시대 연구 보고서로 이어질 가능성이 있는 보다 최근의 전략적 지침이 등장했다는 점을 고려할 때, 문헌에 대한 최신의 체계적인 검토가 필요하다는 것입니다. 이 검토에서는 증거 기반의 종합을 통해 세 가지 측면을 다루어야 합니다. 이러한 측면은 Cook 등(2008)의 의학교육 연구 프레임워크에 설명되어 있는 것으로, 세 가지 연구 질문으로 이어집니다: 
Previous reviews (Morgan and Jones 2009; Spencer et al. 2011) primarily sought to characterize the concept of ‘what’ involvement is taking place and whether such works are effective at enhancing learning encounters. However, both these reviews were not systematic and attempted no synthesis of evidence using a scholarly secondary research approach. More importantly, given the advent of more recent strategic guidance after these reviews were published that has likely led to contemporaneous research reports, there is a need for an up to date systematic review of the literature. This review must address three different aspects through a synthesis of the evidence base. These are those aspects described within Cook et al’s (2008) framework of medical education research and led to three distinct research questions:

  • 의학교육에서 어떤 서비스 사용자 참여가 이루어지고 있는가(설명)?
  • 이러한 참여가 학생의 교육에 어느 정도 영향을 미치는가(정당화)?
  • 서비스 사용자 참여가 학습에 미치는 영향은 어떻게 그리고 왜 발생하는가(명확화)?
  • What service user involvement is taking place in medical education (description)?
  • To what extent this involvement impacts the student’s education (justification)?
  • How and why such learning may be impacted by service user involvement (Clarification)?

이 마지막 질문은 이전에 다루어지지 않았고 필요한 작업 영역으로 지적된 질문입니다(Spencer 외. 2011).
This final question is one that has not been previously addressed and indicated as an area of work needed (Spencer et al. 2011).

연구 방법
Methods

이 검토를 뒷받침하는 단일 연구 패러다임은 없습니다. 우리는 실증주의(증거 수집을 위한 체계적이고 투명하며 재현 가능한 모델에 부합하고 정당성과 설명적 결과에 대한 고려를 통해)와 구성주의(개입을 뒷받침하는 이론적 틀에 대한 고려와 설명 질문을 해결하기 위한 내용 및 결과의 종합을 통해)를 모두 수용하고자 했습니다. 
No single research paradigm underpins this review. We planned to embrace both positivism (through alignment to a systematic, transparent and reproducible model for evidence collection and consideration of our justification and descriptive outcomes) and constructivism (through consideration of underpinning theoretical frameworks that inform interventions and synthesis of content and outcomes to address our clarification questions).

연구 프로토콜은 2016년 1월 13일에 BEME에서 동료 검토를 거쳐 발표되었습니다(Gordon 외. 2016) 주 저자의 역할 변경과 프로젝트에 대한 합의된 자금 확보 지연으로 인해 몇 차례 지연이 있었고 검토가 보류되었다가 2017년 7월 1일에 공식적으로 다시 시작되었습니다. 연구를 포함한 다양한 프로젝트를 지원하는 블랙풀 티칭 병원의 '블루 스카이' 자선 단체에서 기금을 지원받았습니다. 이 자금은 10개월 동안 연구원 한 명의 급여(0.2 WTE)를 제공했습니다. 
The study protocol was peer-reviewed and published by BEME on the 13th January 2016 (Gordon et al. 2016) Due to changes in roles of the main authors and delays in securing agreed funding for the project, there were several delays and the review was placed on hold and officially started again on 1st July 2017. Funding was sought from Blackpool Teaching Hospitals’ ‘Blue Skies’ charity which supports numerous projects, including research. The funding provided one researcher’s salary (0.2 WTE) for 10 months.

본 연구 결과는 STORIES(보건의료 교육에서의 근거 종합 보고에 대한 구조화된 접근 방식) 성명서(Gordon and Gibbs 2014)와 BEME 검토 체크리스트(Hammick et al. 2010)에 따라 보고했습니다. 
We have reported our findings in alignment with the STORIES (Structured approach to the reporting in healthcare education of evidence synthesis) statement (Gordon and Gibbs 2014), as well as by using the BEME review checklist (Hammick et al. 2010).

검색 전략
Search strategy

2017년 9월 1일에 검색을 실시했습니다. 우리는 다음 데이터베이스에 대해 공인된 방법론(Jenkins 2004)에 따라 표준화된 검색 전략(보충 부록 1)을 사용했습니다: MEDLINE, EMBASE, CINAHL, PsychINFO). 또한 포함된 연구에 참고 문헌으로 등재된 논문을 검토하고, 주요 의견의 저자로 확인된 서비스 사용자 참여 분야의 전문가에게 연락하여 이 검토에서 인용한 저작물을 확인했습니다. 데이터베이스의 온라인 검색 외에도 지난 5년간의 유럽 의학교육협회(AMEE) 연례 회의 초록(2013~2017년 포함)을 수작업으로 검색했습니다. 발표된 연구를 찾을 수 없는 경우 초록의 저자에게 이메일로 연락을 취했습니다. 응답하지 않은 저자는 두 번째 연락을 취한 후 제외했습니다. 모든 국가에서 수행되고 영어로 출판된 연구를 포함했습니다. 검색 날짜에는 제한을 두지 않았습니다. 저자들은 이 분야가 수십 년 동안 크게 변화했다는 사실을 알고 있었지만, 오래된 연구를 추가하는 것이 연구 결과에 부정적인 영향을 미칠 것이라고 생각하지 않았습니다. 
We conducted our search on 1st September 2017. We used a standardized search strategy (Supplementary Appendix 1) following a recognized methodology (Jenkins 2004) to the following databases: MEDLINE, EMBASE, CINAHL, PsychINFO). Additionally, we reviewed articles listed as references in included studies, and we contacted experts in the field of service user involvement identified as authors of key opinion pieces and cited works from this review. In addition to online searching of the databases, abstracts from the last 5 years of the Association for Medical Education Europe (AMEE) annual meeting proceedings (2013–2017 inclusive) were hand searched. Where published studies were not available, authors of abstracts were contacted by email. Authors who did not respond were contacted a second time before being excluded. We included studies undertaken in any country and published in English. No limitation on the search dates was imposed. Whilst the authors were aware the field has changed substantially over the decades, we did not believe the addition of older studies would in any way negatively impact findings.

이 리뷰에서는 검색 전략이 특히 까다로웠다는 점에 유의해야 합니다. '환자/서비스 사용자'라는 용어가 너무 일반적이고 보편적으로 사용되어 관련 없는 논문 수천 편이 검색되었기 때문입니다. 또한 환자/서비스 사용자 참여에 대해 합의된 통일된 명명법이 없어 검색이 복잡해졌습니다. 문헌에서 사용된 용어 중에는 환자 강사/교육자, 멘토, 환자 파트너, 서비스 사용자, 교육 보조원, 환자 자원봉사자, 환자 중재자, 지역사회 교육자, 일반인 건강 멘토 등이 있었습니다. 흥미롭게도 이전에 발표된 이 주제에 대한 리뷰(Morgan and Jones 2009)의 검색 전략을 범위 설정의 출발점으로 사용했으며, 비슷한 날짜로 제한하고 전략을 그대로 따랐음에도 불구하고 매우 다른 결과가 도출되어 이 작업에 대한 추가적인 의문을 제기했습니다. 우리는 사서 저자와 긴밀히 협력하여 검색을 구체화했으며, 최종 용어는 부록 1에 명확하게 표시되어 있지만 출판된 프로토콜(Gordon et al. 2016)과는 다릅니다. 사용자를 설명할 때 일부 주요 용어의 제한은 실행 가능한 검색을 보장하기 위해 필요했지만, 범위를 설정함으로써 주요 논문이 손실되지 않았고 이것이 유효한 접근 방식임을 보장했습니다 .
It is important to note that the search strategy was particularly challenging for this review. This was because the terms ‘patient/service user’ is so generic and ubiquitous in their use that thousands of irrelevant articles were retrieved. Additionally, the lack of an agreed, uniform nomenclature used for patient/service user involvement complicated the search. We encountered patient instructor/educator, mentor, patient partner, service user, teaching associate, patient volunteer, patient moderator, community educator, lay health mentor amongst the terms used in the literature. Interestingly, the search strategy from a previously published review of the topic (Morgan and Jones 2009) was used as a starting point for scoping and despite limiting to similar dates and following the strategy verbatim, a very different set of results was achieved, raising the further question of this work. We worked closely with our librarian author to refine the search and the final terms are displayed clearly in Supplementary Appendix 1, but differ from the published protocol (Gordon et al. 2016). The limitation of some key terms in describing users was necessary to ensure a viable search, but scoping ensured that no key papers were lost and that this was a valid approach.

심사
Screening

처음 500건의 인용을 대상으로 한 파일럿 심사 단계에서는 평가자 간의 긴밀한 합의와 토론을 통해 명확성이 부족한 주요 영역을 다루었습니다. 그 결과 품질 평가 도구를 약간 수정하여 3번 항목에 '없음'(근거, 교육학, 내용 등에 대한 언급 또는 세부 사항) 대신 '없음 또는 매우 제한적'이라고 표시하도록 했습니다. 그런 다음 한 명의 저자(SG)가 6155개의 인용 목록 전체를 심사하고 두 명의 저자(MG와 DT)가 각각 절반씩 독립적으로 심사하는 방식으로 전체 심사가 진행되었습니다. Cohen의 카파를 사용한 평가자 간 일치도는 0.401로 공정한 일치도를 보였습니다. 평가자 간의 의견 충돌은 전체 텍스트 평가를 진행하기 전에 토론을 통해 해결했습니다. 
A pilot screening phase involving the first 500 hundred citations was conducted to ensure closer inter-rater agreement and discussions addressed key areas of lack of clarity. This led to the quality assessment tool being amended slightly so that section three, instead of reading ‘no’ (mention or details of underpinning, pedagogy, content, etc.) read ‘no or extremely limited.’ Full screening then took place, with one author (SG) screening the full list of 6155 citations and two authors (MG and DT) independently screening half each. Inter-rater agreement using Cohen’s kappa showed fair agreement at 0.401. Conflicts between raters were resolved by discussion before proceeding to full-text evaluation.

포함/제외 기준
Inclusion/exclusion criteria

포함 및 제외 기준은 표 2에 나와 있습니다. 범위 검색에서 서비스 사용자 포함에 대해 피상적으로만 언급하고 자세한 내용은 언급하지 않은 연구가 여러 편 발견되었기 때문에 서비스 사용자 참여에 대해 피상적인 수준 이상으로 논의해야 했습니다. 이는 검색을 수행한 두 명의 저자가 독립적으로 판단했습니다. 또한 학습자를 위한 실제 배포를 확인하기 위해 실제 개입에 대한 어떤 형태의 평가를 기술해야 했지만, 어떤 방법이든 사용할 수 있었습니다. 의료 학습자를 포함시킨 것은 자의적인 결정이었으며 향후 다른 환경에서 검토가 필요할 수 있습니다. 
The inclusion and exclusion criteria are shown in Table 2. Studies had to discuss the service user involvement in more than a cursory fashion as scoping searches found several studies that simply made a single statement about including service users and no further details. This was independently judged by two authors performing the searches. Studies also had to describe some form of assessment of the intervention in practice to confirm its actual deployment for learners, but any method could be used. The inclusion of medical learners was an arbitrary decision and may lead to the need for future reviews in other settings.

데이터 추출 및 합성
Data extraction and synthesis

연구 내용을 평가하기 위해 BEME 지침(Hammick 외. 2010)을 기반으로 한 데이터 추출 양식(부록 2)을 사용하여 중재, 연구 유형, 결과 및 결과에 대한 데이터와 사용자 참여 및 학습자 결과의 Kirkpatrick 수준과 관련된 Towle 기준을 수집했습니다(Kirkpatrick 및 Kirkpatrick 2006). 그런 다음 세 저자 모두 이 데이터를 평가하여 주제를 생성했습니다. 누락된 주요 데이터의 경우 연구 저자에게 연락하여 이 정보를 제공받았습니다. 
A data extraction form (Supplementary Appendix 2), based on BEME guidance (Hammick et al. 2010) was used to assess the content of the studies and collected data on the interventions, study types, outcomes and results, as well as Towle criteria relating to user involvement and Kirkpatrick levels of learner outcomes (Kirkpatrick and Kirkpatrick 2006). This data was then assessed by all three authors to generate themes. In the case of key missing data, authors of studies were contacted to supply this information.

[Towle 분류법]은 의학교육 내에서 서비스 사용자 참여의 상당한 다양성을 강조할 수 있는 실용적이고 포괄적인 프레임워크로 선정되었습니다. 
The Towle Taxonomy was selected as a pragmatic, comprehensive framework that enables us to highlight the significant diversity of servicer user involvement within medical education.

교육에 대한 환자 참여를 개념화하는 데 [Towle 분류법]을 사용하는 것을 고려할 때 저자들은 처음에 몇 가지 어려움에 직면했습니다. 저자들은 처음에 이 분류법의 함의가 주어진 연구를 [단일 수준]에서 평가할 수 있고 그 수준에 따라 [6개의 차원 A-F로 세분화]할 수 있다고 생각했습니다. 그러나 특정 개입은 6가지 영역 각각에 대해 서로 다른 수준으로 평가할 수 있는 등 더 복잡하다는 것이 분명해졌습니다. 기본 가정은 차원 간 대략적인 정렬이지만, 항상 그런 것은 아닙니다. 따라서 각 연구를 각 영역에 대해 개별적으로 평가하기로 결정하고 [6가지 분류 요소]를 적용했습니다. 더 복잡하긴 하지만, 저자들은 이 방법이 독자들에게 더 정확하게 증거를 종합해 준다고 생각합니다. 여러 항목이 동일한 차원(예: 도메인 F의 경우 처음 3개 수준이 '낮음' 등급)의 경우, 더 낮거나 높은 수준은 무시하고 설명자가 적절한 가장 극단적인 수준에서 등급을 설정했습니다. 따라서 도메인 F의 경우 가장 낮은 수준은 레벨 3, 도메인 C의 경우 가장 높은 수준은 레벨 5가 됩니다. Towle 분류법 사용에 대한 이 수정안은 부록 3에 나와 있습니다.
In considering the Towle taxonomy and its use in conceptualizing patient involvement in education, the authors encountered some initial difficulty. The authors initially believed that the implication within the taxonomy is that a given study could be assessed on a single level and that level would dissect the six dimensions A–F. However, it was very clearly apparent that specific interventions were more complex, with rating possible on different levels for each of the six domains. The underpinning assumption is rough alignment across dimensions, but clearly, this is not always the case. As such, it was decided to rate each study individually for each domain and as such receive 6 elements of categorization. Whilst more complex, the authors believe this more accurately synthesizes the evidence for readers. In the case of dimensions where several items were the same (for example, for domain F the first 3 levels are ratings of ‘Low’), the lower or higher levels were ignored and the rating set at the most extreme level where the descriptor was appropriate. So in the case of domain F, this would be level 3 at the low end or in the case of domain C, level 5 at the high end. This amendment to the use of the Towle taxonomy is shown in Supplementary Appendix 3.

의학교육 연구의 중재에 적합하고 체계적 문헌고찰 과정의 일부로 BEME 공동연구에서 채택한 Kirkpatrick의 4단계 학습 평가는 각 연구에서 사용한 결과 측정을 분류하는 데 사용되었습니다(Yardley and Dornan 2012). 네 가지 수준은 다음과 같습니다:
Kirkpatrick’s four levels of learning evaluation, adapted for interventions in medical education research and adopted by the BEME collaboration as part of the systematic review process (Yardley and Dornan 2012), were used to classify outcome measures used by each study. These four levels are:

  • 레벨 1: 반응 - 개입에 대한 학습자의 반응은 어땠나요?
  • 레벨 2: 학습 - 개입 후 참가자가 태도를 바꾸거나(레벨 2a) 지식 또는 기술을 향상시킨 정도(레벨 2b).
  • 레벨 3: 행동 - 개입으로 인한 행동 또는 실천의 변화.
  • 레벨 4: 결과 - 개입으로 인한 조직 관행의 변화(레벨 4a) 또는 환자/고객에 대한 혜택(레벨 4b).
  • Level 1: Reaction – what was the reaction of the learners to the intervention?
  • Level 2: Learning – the extent to which participants changed their attitude (Level 2a) or improved their knowledge or skill (Level 2b) following the intervention.
  • Level 3: Behavior – change in behavior or practice due to the intervention.
  • Level 4: Results – changes in organizational practice (Level 4a) or benefit to patients/clients (Level 4b) due to the intervention.

연구는 계층 구조에서 두 개 이상의 수준을 반영하는 결과를 설명할 수 있습니다.
Studies may describe outcomes that reflect more than one level on the hierarchy.

증거의 종합
Synthesis of evidence

연구 유형, 교육적 개입, 협력 세부 사항 및 1차 연구의 결과에 중점을 두고 연구 데이터를 요약하는 서술적 종합이 이루어졌습니다. 연구에서 추출할 주요 방법, 내용 및 결과 항목에 대해 저자들이 논의하고 합의했습니다. 또한 질 평가 지표와 관련된 내용을 추출했으며, 관련성이 있는 경우 추가 내용이나 부록도 포함했습니다. 포함된 연구에서 기술하고 평가하는 교육적 개입에 초점을 맞춘 주요 세부 사항을 포함시킨 것은 환자/서비스 사용자 문헌의 이전 검토에서 다루지 않은 독특한 추가 사항입니다. 아래 질 평가에서 설명한 바와 같이, 교육적 관심의 주요 영역에 대한 보고 수준이 높을수록 질이 높다는 것을 의미하며, 이는 1차 독자와 이 리뷰의 독자에게 암묵적 유용성이 있기 때문입니다. 이 정보는 독자가 해당 내용을 고려할 때 유용성을 얻을 수 있도록 표 형식으로 제공됩니다. 또한 이러한 중재적 보도에 대한 RAG(빨강, 주황, 초록) 등급을 제시함으로써 독자가 해당 정보의 사용에 대한 결정을 내리는 데 도움을 줄 수 있습니다. 또한 데이터는 결과의 맥락 내에서 요약됩니다. 
A descriptive synthesis took place which summarizes the data from the studies, focusing on study type, educational intervention, collaboration details and outcomes of the primary study. Key method, content and outcome items to be extracted from the studies were discussed and agreed by the authors. Additionally, content related to the quality assessment indices was extracted, including where relevant any additional content or appendices. The inclusion of key details that focus on the educational intervention being described and assessed by the included studies was a unique addition not addressed in previous reviews of the patient/service user literature. As stated below in quality assessment, this equated higher levels of reporting in key areas of educational interest as higher quality, as this was of implicit utility to primary readers and therefore readers of this review. This information is offered within a tabulated form to allow readers to gain utility from considering such content. Additionally, the presentation of the RAG (red, amber, green) ratings of such interventional reporting should support readers in making decisions on the use of such information. The data is also summarized within the context of the results.

적절하게 동질적인 결과 데이터가 존재하는 경우, 정당성을 설명하기 위한 메타분석은 공개된 프로토콜에 따라 계획되었습니다. 그러나 어떤 연구에서도 그러한 데이터를 사용할 수 없었기 때문에 자세한 내용은 보고하지 않았습니다. 
If suitably homogeneous outcome data were present, meta-analysis – to explain Justification – was planned as per our published protocol. However, as such data was not available in any of the studies, details are not reported.

메타 민족지학(메타 민족지학은 명확성을 설명하기 위한 것으로, 질적 연구 결과를 종합하는 질적 종합 기법입니다(딕슨-우즈 외. 2005). 앞서 언급한 바와 같이, 이 방법을 사용하여 세 번째 연구 질문을 해결할 계획이었으나 해당 데이터가 부족하여 이 방법은 전체적으로 보고되지 않았으며 해당 분석도 완료되지 않았습니다. 
Meta-ethnography – to describe Clarification – is a qualitative synthesis technique which involves the synthesis of the findings of qualitative studies (Dixon-Woods et al. 2005). As mentioned before, it was planned to address our third research question with this method, but as there was a paucity of such data, these methods are not reported in full and no such analysis was completed.

포함된 연구의 질 평가
Quality assessment of included studies

보건 교육 체계적 문헌고찰의 맥락에서 질 평가를 위해 다양한 방법이 사용되어 왔지만, 합의된 방법은 존재하지 않습니다. 고려해야 할 [두 가지 핵심 요소]가 있습니다: 첫째, 연구의 방법론적 질과 둘째, 제시된 교육적 개입의 질입니다. 조사 과정에 대한 수준 높은 보고로 [방법론적]으로 건전한 보고서일 수 있지만, [중재 자체인 교육]이 자세히 보고되지 않고 이론적으로 뒷받침되지 않으며 자원이나 비용 관점에서 설명되지 않고 자료가 제공되지 않는다면 이를 수준 높은 교육적 글이라고 보기 어렵기 때문에 이 구분이 중요합니다.
Whilst there have been many different methods employed to assess quality within the context of health education systematic review, no consensus method exists. There are two key elements to consider: Firstly, the methodological quality of any study and secondly, the quality of any educational interventions presented. This distinction is important as a report may be methodologically sound with high-quality reporting of investigative process, but if the education that was the intervention itself is not reported in detail, not underpinned theoretically, not described from a resource or cost perspective and materials not available, it is hard to suggest this as a high-quality piece of educational writing.

이전 체계적 문헌고찰(Gordon 외. 2011)에서 사용되었던 시각적 RAG 순위 시스템을 사용하여 [교육 개입과 관련된 6개 영역] 각각에 대한 정보 보고의 질 또는 정도를 판단했습니다:
A visual RAG ranking system, previously used in an earlier systematic review (Gordon et al. 2011), was employed to judge the quality or extent of the reporting of information in each of six areas relating to the educational intervention:

  • 이론적 토대
  • 커리큘럼 또는 강의 계획서 설계
  • 환경(교육적 맥락 및 학습자 특성)
  • 교수법
  • 콘텐츠
  • 결론의 강도
  • Theoretical underpinning
  • Curriculum or syllabus design
  • Setting (educational context and learner characteristics)
  • Pedagogy
  • Content
  • Strength of conclusion

항목은 보고된 내용의 장점보다는 위 각 보고 영역의 포괄성 측면에서 높은 수준(녹색), 불명확한 수준(호박색), 낮은 수준(빨간색)으로 판단되었습니다.
Items were judged to be of high quality (green), unclear quality (amber), low quality (red) in terms of comprehensiveness in each of the above reporting areas, rather than the merit of what was reported.

환자/서비스 사용자 참여
Patient/service user involvement

이 체계적 문헌고찰의 주제에 따라 처음부터 [서비스 사용자를 참여]시키는 것이 적절하다고 생각했습니다. 저희는 관심 있는 사용자를 위해 UCLan의 COMENSUS(커뮤니티 참여 및 서비스 사용자 지원) 그룹에 연락했고, 이 그룹의 두 명이 원고를 검토하고 토론에 사용자 관점을 추가하는 데 자원했습니다. 
Due to the topic of this systematic review, we felt it pertinent to involve service users from the start. We contacted the COMENSUS (Community Engagement and Service User Support) group at UCLan for interested users and two from this group volunteered to review the manuscript and add a user perspective to the discussion.

결과
Results

문헌 검색을 통해 초기 11,093건의 인용이 이루어졌으며, 참고 문헌 목록과 AMEE 컨퍼런스 초록에서 47건의 추가 인용이 확인되었습니다. 해당 분야의 전문가 4명에게 연락을 취했지만 더 이상의 고유한 연구는 없었습니다. 중복을 제거한 후 6155건의 인용을 선별할 수 있었습니다. 
The literature search produced an initial 11,093 citations, with a further 47 identified from reference lists and AMEE conference abstracts. No further unique studies were received from contacting four experts in the field. After removing duplicates, the resulting 6155 citations were available for screening.

그런 다음 세 명의 저자가 위에서 설명한 포함/제외 체크리스트를 사용하여 96개의 전체 텍스트 논문 초록을 선별하여 포함 여부를 결정했습니다. 이견은 토론을 통해 해결되었으며, 최종적으로 총 39개의 논문이 포함 기준을 충족하는 것으로 간주되었으며, 연구 흐름은 그림 1에 나와 있습니다. 
All three authors then screened the abstracts of 96 full-text articles to determine eligibility for inclusion, using the inclusion/exclusion checklist described above. Disagreements were resolved by discussion and a final total of 39 articles were deemed to meet the inclusion criteria, with study flow shown in Figure 1.

제외된 연구
Excluded studies

제외된 연구 목록은 부록 4에서 확인할 수 있지만, 제외된 57건의 연구 중 가장 흔한 이유는 개입에 대한 평가가 이루어지지 않았기 때문입니다(46건의 연구). 의료진이 아닌 다른 보건 전문가가 주 학습자 그룹으로 포함된 연구도 11건 있었습니다.
The list of excluded studies can be found in Supplementary Appendix 4, but of the 57 excluded studies, the most common reason was lack of any form of evaluation of the intervention (46 studies). A further 11 studies involved other health professionals as the primary learner group, i.e. not medics.

포함된 연구 개요
Overview of included studies


포함된 39개 연구에 대한 관련 세부 정보는 부록 3에 나와 있습니다. 보다 포괄적인 데이터는 부록 5에서 확인할 수 있습니다. 
Relevant details of the 39 included studies are shown in Supplementary Appendix 3. Further comprehensive data can be found in Supplementary Appendix 5.

환자/서비스 사용자의 참여 수준
Level of involvement of patients/service users

그림 2는 Towle의 프레임워크에 따라 [개별 연구를 분류하여 6가지 영역에 매핑]하고 이 분류체계의 6가지 수준에 따라 분류한 것으로, 현재 문헌이 의학교육에서 환자/서비스 사용자 참여의 깊이와 영향력의 범위를 어떻게 반영하고 있는지 보여줍니다. 제외 기준에 따라 레벨 1 연구는 모두 제외되었으므로 포함되지 않았습니다.  
Figure 2 shows the categorization of the individual studies according to Towle’s framework, mapping to the six domains and ranging across the six levels of this taxonomy, thus demonstrating how the current literature reflects the range of the depth and impact of patient/service user involvement in medical education. Our exclusion criteria specifically removed all level 1 studies and so none were included.

대부분의 연구는 환자를 [촉진자, 교사 또는 평가자로 참여시킬 수 있는 가능성]을 나타내는 Towle의 분류법(부록 4 및 그림 2 참조)의 [레벨 3 또는 레벨 4]에 해당하는 환자를 대상으로 했습니다.
The majority of studies involved patients at Level 3 or Level 4 of Towle’s Taxonomy (see Supplementary Appendix 4 and Figure 2), which indicates the feasibility of involving patients as facilitators, teachers or assessors.

면담 기반 연구
Encounter-based studies

Encounter는 교수에 의해 기획되며, 환자는 자신의 경험을 공유하도록 초대되며, 개인적인 편안함과 참여 수준은 환자가 결정합니다. 이 범주에 속하는 17개의 연구 중 16개는 질적 방법론의 서술적 기법을 사용했으며, 학습자에게는 환자가 경험한 질병에 대한 공감과 이해 증가, 환자와의 의사소통 개선, 총체적이고 환자 중심적인 치료에 대한 이해 증진 등의 이점을 제시했습니다. 보고된 환자에 대한 이점에는 '장벽 허물기'를 통한 의사소통 개선(Cooper and Spencer-Dawe 2006), 자신의 개인적인 이야기가 치료 효과 개선에 도움이 될 것이라는 믿음(Salerno-Kennedy 외. 2009; Graham 외. 2014), 세션의 즐거움(Jha 외. 2013; Lenton and Storr 2015; Makker 2017) 등이 있습니다. 
The encounter is planned by faculty; the patient is invited to share their experience; personal comfort and level of participation is determined by the patient. Of the 17 studies in this category, 16 used descriptive techniques in a qualitative methodology and suggested benefits to learners of increased empathy and understanding of illness as experienced by patients; improved communication with patients and a greater understanding of holistic and patient-centered care. The benefits to patients, where reported, included improved communication by ‘breaking down barriers’ (Cooper and Spencer-Dawe 2006), a belief that their personal stories will help to improve treatment effectiveness (Salerno-Kennedy et al. 2009; Graham et al. 2014), and enjoyment of the session (Jha et al. 2013; Lenton and Storr 2015; Makker 2017).

이 수준의 개입의 예로는 [의료 전문가 간의 학습]을 촉진하기 위해 "건강 멘토"를 활용한 Arenson과 동료들의 연구(Arenson 외. 2015)가 있습니다. [최소 한 가지 이상의 장애 또는 만성 질환을 가진 환자와의 4가지 모듈 만남] [의대생 팀과 관련 직종 학생들 간의 팀워크 기회]를 제공했습니다. 이 연구는 품질 기준에 따라 적당히 잘 보고된 연구였으며, 그 결과 학생 팀 내에서 협업을 발전시키는 데 도움이 되는 것으로 나타났습니다. 이 범주에 속하는 단 한 건의 연구(Jha 외, 2015)만이 표준 교육과의 비교를 통해 '정당화'를 제공했으며, 쿠마가이의 공감과 도덕성 발달의 혁신적 학습 프레임워크를 사용하여 환자 내러티브가 참가자들의 정서적 반응을 불러일으켜 '의미 전달'에 어떻게 도움이 되는지 설명함으로써 '명료화'를 시도했습니다. 의사들의 안전 교육을 강화하기 위해 환자들이 의료 사고 또는 피해 경험을 공유한 이 무작위 대조군 임상시험(RCT)은 환자 안전에 대한 태도 변화라는 주요 목표에서 중재군과 대조군 간에 차이가 없는 것으로 나타났습니다. 
Examples of interventions at this level include Arenson and colleagues’ study (Arenson et al. 2015) which utilized “Health Mentors” to facilitate learning between health professionals. The 4 module encounter with patients, who had at least one disability or chronic health condition, provided an opportunity for teamwork between teams of medical students and students from allied professions. This was a moderately well-reported study according to our quality criteria and the results showed a benefit in developing collaboration within student teams. Only one study in this category (Jha et al. 2015) provided ‘justification’ by means of comparison with standard teaching, as well as attempting ‘clarification’ by using Kumagai’s transformative learning framework of empathy and moral development, by which they explained how the patient narratives helped ‘communicate meaning’ by evoking an emotional response among the participants. This randomized control trial (RCT), in which patients shared their experiences of medical errors or harm to enhance safety training amongst doctors, showed no difference between the intervention and control groups in its primary aim – to change attitudes towards patient safety.

[이 범주에 속하는 다른 연구 중 단 한 건만이 연구의 이론적 토대를 보고]했습니다(Cooper and Spencer-Dawe 2006). 이 질적 연구에서는 훈련된 서비스 사용자가 전문가 간 워크숍을 공동 진행하여 서로 다른 전문가 그룹의 학생들이 '협력적 실무에 대한 인식을 높이고 치료 전달의 효율성 향상과의 연관성을 높이기 위해 서로 배우고 서로에게서 배울 수 있도록' 했습니다. 자기 조직화, 연결성, 출현, 혼돈의 가장자리라는 [복잡성 이론]을 바탕으로 [선형성, 예측 불가능성, 자기 조직화, 연결성, 출현]이라는 주제를 도출해냈습니다. 학생들의 개인적인 경험과 서비스에 대한 참여('스토리')에 대해 듣는 경험은 전인적 치료를 제공할 때 환자 중심의 관점을 높이고 팀워크의 기반이 되는 이론적 개념을 더 잘 이해함으로써 전문가 간 통합, 파트너십 작업 및 팀워크를 향상시켰습니다 .
Only one other study in this category reported a theoretical underpinning for their study (Cooper and Spencer-Dawe 2006). In this qualitative study, trained service users co-facilitated inter-professional workshops to enable students from different professional groups to ‘learn with and from each other with a view to raising awareness about collaborative practice and its link to improving the effectiveness of care delivery.’ The underpinning complexity theory of self-organization, connectivity, emergence, the edge of chaos drew out the themes of linearity, unpredictability, self-organization, connectivity, and emergence. Students’ experience of hearing about users’ personal experiences and their involvement with services (their ‘stories’) enhanced inter-professional integration, partnership working and teamwork through a heightened patient-centered perspective in providing holistic care and a better understanding of the theoretical concepts underpinning teamwork.

교사/평가자로서의 환자
Patients as teachers/assessors

환자는 [특정 교육 역할에 대한 준비]가 주어지며 [피드백을 제공]하거나 학생의 [성과를 평가]할 수 있습니다. Towle 레벨 4에서 평가한 16개 연구 중 한 개를 제외한 모든 연구는 [실제 임상 검사 또는 평가 기술을 가르치는 교육개입]이었으며, 따라서 대조군 또는 중재(정당화)와 결과를 비교할 수 있는 경우가 많았습니다. 이 범주의 비교 연구 결과에 따르면 환자/서비스 이용자에 의한 교육이 [교수진에 의한 교육만큼 효과적]이며(Anderson and Meyer 1978; Kleinman 외. 1996; Hendry 외. 1999; Schrieber 외. 2000; Smith 외. 2000; Duffy 외. 2016), 일부 연구에서는 더 효과적인 것으로 나타났습니다(Branch 외. 1999; Haq 외. 2006; Livingstone 외. 1980).

  • 사전/사후 시험 결과 측정을 사용한 연구 중에서는 기술/지식 성취도가 증가한 것으로 나타났습니다. 예를 들어, Bideau와 동료들(Bideau et al. 2006)은 무릎과 손 검사에 대한 세션을 계획하고 가르치는 광범위한 교육을 받은 '환자 강사'(PI)를 고용했습니다. 이 연구는 세션의 커리큘럼과 내용을 포괄적으로 보고하여 향후 연구를 위해 이 연구를 재현할 수 있도록 했습니다. 이 연구는 학생들이 질병의 심리적, 정서적, 사회적, 직업적, 가족적 측면을 파악하는 능력이 현저히 향상되었으며, 이는 실제 환자와의 직접적인 접촉 때문일 수 있다고 제안했습니다.
  • 헨릭슨과 링스테드의 연구(Henriksen and Ringsted 2014)에서는 이전 연구에서 직접 고안한 이론적 모델을 사용한 질적 방법론을 사용하여 류마티스 전문의가 제공하는 교육을 PI와 비교하여 평가했습니다. 그들은 권력 관계 측면에서 PI와 학생의 관계가 교수진과 학생, 학생과 클리닉 환자 사이의 관계와 다르다는 것을 발견했습니다. 이러한 균형 잡힌 권력 관계는 학생들이 학습자의 역할을 수행하고 임상 환경에서 부적절하다고 인식되는 질문을 과감하게 할 수 있도록 정당화합니다. 이 연구는 이전 이론에서 나온 내용, 교육 형식, 권력 관계에 대한 민감성 개념을 명확히 하고 확인했을 뿐만 아니라 지식에 대한 협상의 새로운 개념인 경험적 또는 과학적 생물의학 지식을 도입했습니다.

The patient is given preparation for a specific teaching role and may give feedback or evaluate student performance. All but one of the 16 studies we assessed at Towle Level 4 were interventions which taught practical clinical examination or assessment techniques and, as such, were often able to compare outcomes with a control group or intervention (justification). Outcomes of the comparison studies in this category demonstrated that teaching by patients/service users is at least as effective (Anderson and Meyer 1978; Kleinman et al. 1996; Hendry et al. 1999; Schrieber et al. 2000; Smith et al. 2000; Duffy et al. 2016) as teaching by faculty and, in some studies, was shown to be more effective (Branch et al. 1999; Haq et al. 2006; Livingstone et al. 1980).

  • Of the studies which used a pre- and post-test outcome measure, these also showed an increase in skill/knowledge attainment. For example, Bideau and colleagues (Bideau et al. 2006) employed extensively-trained ‘Patient Instructors’ (PIs) who planned and taught sessions on examination of the knee and hand. This study comprehensively reported the curriculum and content of the sessions, enabling reproduction of this study for future research. It noted a marked improvement in students’ ability to grasp the psychological, emotional, social, professional and family aspects of the disease and suggested this may be due to the direct contact with real patients.
  • Henriksen and Ringsted’s study (Henriksen and Ringsted 2014) used a qualitative methodology using a theoretical model devised by themselves in a previous study to assess teaching delivered by rheumatologists compared with PIs. They found that, in terms of power relations, the PI-student relationship differs from those between faculty teachers and students, and students and patients in the clinic. This balanced power relationship legitimizes the students’ taking on the role of learners and daring to ask questions they perceive to be inappropriate to the clinical setting. This study clarified and confirmed the sensitizing concepts of content matter, pedagogical format and power relationship which had emerged from their earlier theory but also introduced a new concept of negotiations about knowledge – experiential or scientific biomedical knowledge.


이 범주의 연구 결과에 따르면 [환자를 교사 및 평가자로 활용하는 것]은 [표준화된 평가 체크리스트와 채점 기준을 구성]할 수 있을 때 [가장 효과적]이라고 합니다. 이러한 결과는 모든 레벨 4 연구에서 어느 정도 일관되게 나타났으며, 객관적 구조화 임상 검사(OSCE) 또는 후속 조치에서도 개선이 지속되지 않았다는 추가 연구 결과도 있습니다(Livingstone 외. 1980; Gruppen 외. 1996; Smith 외. 2000; Duffy 외. 2016). 
Results of the studies in this category suggest that utilizing patients as teachers and assessors work best when it is possible to construct standardized assessment checklists and scoring criteria. This finding was more or less consistent across all of the Level 4 studies, with a further finding that, when tested, the improvements were not sustained at objective structured clinical examination (OSCE) or follow up (Livingstone et al. 1980; Gruppen et al. 1996; Smith et al. 2000; Duffy et al. 2016).

동등한 파트너로서의 환자
Patients as equal partners

환자 튜터는 교육 전달, 개발 및 평가의 여러 측면에 관여합니다. 소비자를 튜터로 묘사한 연구 2편(Owen and Reay 2004, Towle and Godolphin 2013)만이 환자 교사를 동등한 파트너로 묘사하여 Towle의 분류법에서 레벨 5로 분류되었습니다.

  • Owen과 Reay(2004)의 연구에서 소비자 튜터는 학생 커리큘럼을 작성하는 운영 위원회의 일원으로 계획, 개발, 실행 및 평가의 모든 측면에 참여했습니다. 이 연구는 4학년 의대생을 위한 커리큘럼을 제공하는 데 있어 환자-교사가 동등한 파트너로서 참여하여 효과적인 면담 접근 방식을 통해 의학교육에 의미 있고 가치 있는 기여를 하고 있음을 명확하게 설명했습니다.
  • Towle과 Godolphin(2013)의 연구에서는 만성 질환을 앓고 관리하기 위한 전문가 간 교육 워크숍을 설계, 제공 및 평가하는 데 있어 소비자 교육자와 그들의 고유한 역할에 대해 설명합니다. 이 워크숍은 소비자 교육자가 자문 그룹의 일원으로 교수진의 의견을 수렴하여 설계했지만 교수진이 교육을 중재하거나 통제하지는 않았습니다.
  • 이 범주에 속하는 Towle의 연구만이 결과의 근거가 되는 이론적 근거를 활용했습니다. 이들은 환자가 교사인 환자 중심주의 프레임워크를 사용하여 환자를 교육자로 활용하는 전문가 간 교육 프로그램을 연구했으며, 특히 환자의 경험과 전문성이 어떻게 힘의 불균형을 줄이고 학습을 향상시키는지 명확히 했습니다. 

Patient tutors are involved in many aspects of educational delivery, development, and evaluation. Only 2 studies (Owen and Reay 2004; Towle and Godolphin 2013), which described consumers as tutors, were categorized as Level 5 on Towle’s Taxonomy – patient teachers as equal partners.

  • In Owen and Reay’s (2004) study, consumer tutors were involved in all aspects of planning, development, implementation, and evaluation as part of a steering committee that authored the student curriculum. This study gave a clear description of patient-teachers being involved as equal partners in the delivery of a curriculum for 4th-year medical students in effective approaches to interviewing and making a meaningful and valued contribution to medical education.
  • Towle and Godolphin’s (2013) study describe Consumer Educators and their unique role in designing, delivering and evaluating inter-professional educational workshops on living with and managing chronic conditions. The workshops were designed by the Consumer Educators, with input from faculty as part of an Advisory Group, but faculty did not mediate or control the teaching. Only Towle’s study in this category utilized a theoretical basis on which to base the outcomes. They used a patient-centeredness framework, where the patient is the teacher, to study a program of interprofessional education using patients as educators, specifically to clarify how the experience and expertise of patients reduce the power imbalance and enhances learning.

39건의 연구 중 환자 파트너가 기관 정책의 지원을 받아 기관 차원에서 참여하는 레벨 6의 증거는 찾지 못했습니다.
We did not find evidence of Level 6 within the 39 studies, whereby patient partners are involved at the institutional level with the support of institutional policies.

 

학습자를 위한 혜택(Kirkpatrick의 교육 평가 수준 사용)
Benefits for learners (using Kirkpatrick’s levels of training evaluation)

9개의 연구는 [Kirkpatrick 레벨 1(교육 중재의 질 또는 수용 가능성에 대한 학습자의 반응)만 보고]하고 교육 중재의 결과에 대한 다른 측면을 평가하지 않은 것으로 평가되었습니다. 이러한 연구는 대체로 의학교육에 환자를 참여시킴으로써 얻을 수 있는 실용성과 이점을 평가하는 타당성 연구였으며, 대체로 환자 중심 진료에 대한 수련의의 인식을 개선하기 위해 환자를 참여시키는 것이 실현 가능하고 실용적이라는 결론을 내렸습니다. 총 29개의 연구에서 레벨 1의 결과를 보고했지만, 다음 텍스트에 설명된 대로 더 높은 수준의 결과를 보고한 연구도 많았습니다.
Nine of the studies were assessed as reporting Kirkpatrick level 1 only (learner reactions to the quality or acceptability of the intervention), and not attempting to assess any other aspect of the outcome of the educational intervention. These were generally feasibility studies which assessed the practicalities and benefits of involving patients in medical education and usually concluded that involving patients was both feasible and practical in attempting to enhance trainees’ perceptions of patient-centered care. In total, 29 studies reported outcomes at level 1, but many also reported further outcomes as described in the following text.

16개 연구는 [Kirkpatrick 레벨 2a(중재 후 태도 또는 인식의 변화)를 보고]했습니다. 이 연구들은 다양한 연구 방법론(RCT, 관찰, 정성적, 사전/사후 테스트)을 사용했습니다. 이 연구 중 5건은 Towle의 분류법 중 4단계 이상에 해당합니다(Gruppen 외. 1996, Farber 외. 2003, Owen and Reay 2004, Towle and Godolphin 2013, Henriksen and Ringsted 2014). 이는 환자가 교사로서, 종종 평가자로서 교육 개입에 깊이 관여했음을 나타냅니다.

  • Farber의 연구에서는 암 환자들이 자신의 사례 기록을 활용하여 내과 레지던트에게 '나쁜 소식 속보' 개념을 가르쳤습니다. 이 사전 및 사후 연구에서는 4점 리커트 척도 설문지를 사용하여 환자에게 나쁜 소식을 전하는 것에 대한 11개 항목에 대한 응답을 수집했습니다. 그 결과, 참가자들은 환자에게 희망을 전달하기, 환자의 상태에 대한 초기 이해 확인, 감정 표현 장려 등 세 가지 영역에서 환자에 대한 공감 능력이 향상된 것으로 나타났습니다.
  • Owen과 Reay(2004)의 연구에서 소비자는 커리큘럼의 계획, 제공 및 평가의 모든 측면에 참여했습니다. 이 연구의 주요 결과는 소비자 참여자들 사이에서 의학교육에서 인터뷰 기술을 가르치는 정당한 교사로서의 위상을 높였다는 것입니다.

16 studies reported Kirkpatrick Level 2a (modification of attitudes or perceptions following the intervention). These employ different research methodologies (RCT, observational, qualitative and pre/post-test). Five of these studies also reached Towle’s taxonomy of 4 or above (Gruppen et al. 1996; Farber et al. 2003; Owen and Reay 2004; Towle and Godolphin 2013; Henriksen and Ringsted 2014) indicating that the patient was deeply involved in the educational intervention as teacher and, often, as assessor.

  • Farber’s study involved cancer patients using their own case histories to teach ‘breaking bad news’ concepts to internal medicine residents. This pre- and post-test study used a four-point Likert scale questionnaire to gather responses to 11 items on giving bad news to patients. The results indicated that the participants gained enhanced empathy towards patients in three areas: ensuring they convey hope to the patient; ascertaining the patient’s initial understanding of their condition and encouraging the expression of feelings.
  • In Owen and Reay’s (2004) study consumers were involved in all aspects of the planning, delivery, and evaluation of the curriculum. The main outcome of the study was that it raised the profile amongst participants of consumers as legitimate teachers of interviewing skills in medical education.

[Kirkpatrick 수준 2b(지식 또는 기술 향상)의 결과를 보고]한 15개 연구 중 대다수(14개 연구)는 전통적인 정량적 데이터 수집 방법론인 RCT, 사전/사후 시험 설계 또는 비교 그룹을 사용하여 임상 또는 신체 검사 기술에 대한 참가자의 접근 방식을 측정했습니다.

  • Duffy 등(2016)의 RCT에서는 숙련된 산부인과 교육 보조원(GTA)이 의대생에게 부인과 검사 술기 세션을 제공하여 학생들의 지식, 편안함, 자신감이 향상되었음을 보여주었으며, 중재 그룹과 대조 그룹 간 OSCE 총점에는 큰 차이가 없었습니다.
  • 나머지 연구(Graham 외. 2014)에서는 투렛 증후군 환자를 대상으로 인터뷰 또는 병력 청취 기술을 연구하기 위해 질적 접근법을 사용했으며, 참가자의 [증후군에 대한 지식]이 향상되고 환자에 대한 [공감과 인본주의적 접근]이 증가했다고 보고했습니다.

Of the 15 studies that reported outcomes at Kirkpatrick level 2b (increased knowledge or skills) the majority (14 studies) measured participants’ approaches to the clinical or physical examination skills using traditional quantitative data capture methodologies – RCTs, pre-and post-test designs or comparison groups.

  • Duffy et al’s (2016) RCT involved trained Gynecology Teaching Associates (GTAs) delivering gynecological examination skills sessions to medical students which demonstrated improvements in students’ knowledge, comfort, and confidence, with no significant difference in summative OSCE scores between the intervention and control groups.
  • The remaining study (Graham et al. 2014) used a qualitative approach to study interviewing or history taking skills amongst patients with Tourette Syndrome and reported an improvement in participants’ knowledge of the syndrome, along with an increase in empathy and humanistic approach to these patients.

커크패트릭의 환자 또는 사용자 참여 계층 구조에서 3단계 또는 4단계에 해당하는 결과, 즉 기술을 실무에 적용하거나 조직 전반의 실무 변화를 이끌어낸 연구 결과는 보고되지 않았습니다. 일부 연구에서는 중재 후 참가자를 추적 관찰하려고 시도했지만(Anderson and Meyer 1978; Gruppen 외. 1996; Duffy 외. 2016), 참가자와 관련된 결과만 평가했을 뿐 의료 교육에 대한 환자 참여에 대한 조직의 태도나 연구로 인한 환자 혜택에 대한 중재의 이점을 평가하지는 않았습니다.
No studies reported outcomes at levels 3 or 4 of Kirkpatrick’s hierarchy of patient or user involvement – transferal of skills into practice or leading to a change in practice across an organization. Some studies attempted to follow up the participants after the intervention (Anderson and Meyer 1978; Gruppen et al. 1996; Duffy et al. 2016), but only assessed the outcomes relating to the participants – they did not assess the benefit of the intervention on organizational attitudes to patient involvement in medical education or the benefit to patients that resulted from the study.

연구 방법론
Study methodology

대부분의 연구는 포커스 그룹 또는 인터뷰와 같은 [질적 방법론을 사용]했습니다. 이러한 방법론은 개입의 영향에 대한 정량적 분석을 허용하지 않지만, 향후 연구에서 연구 결과를 바탕으로 의학교육에 대한 환자 참여에 대한 보다 명확한 관점을 만들 수 있는 매우 풍부한 경험적 데이터의 원천이 될 것입니다. 이 연구는 전문성, 의사소통, 건강과 질병에 대한 태도, 면담 기술 및 역량, 환자 중심주의, 전인적 치료 등의 문제를 환자 또는 서비스 사용자를 교육 개입에 활용하여 효과적으로 가르칠 수 있는 방법을 보여주었습니다.
The majority of studies used a qualitative methodology – focus groups or interviews. Whilst these do not allow for quantitative analysis of the impact of the interventions they are an extremely rich source of experiential data which will allow future studies to build on the findings and create a clearer perspective on patient involvement in medical education. These studies demonstrated how issues of professionalism, communication, attitude towards health and illness, interviewing skills and competencies, patient-centredness and holistic care could effectively be taught using patient or service users in the educational intervention.

사전 및 사후 연구에서는 몇 가지 기준 측정을 수집한 후 교육이 [학습의 어떤 측면에 영향을 미쳤는지]에 대한 결론을 도출할 수 있었습니다. 그러나 [개입의 어떤 측면이 변화를 가져왔는지]는 밝혀내지 못했습니다. 대조군 설계를 사용한 7개의 연구에서는 환자를 대상으로 한 교육과 일반적으로 사용되는 표준 교육 방법을 비교할 수 있었습니다. Jha 등(2013)을 제외한 모든 연구에서 환자 참여 교육이 적어도 표준 교육 방법만큼 효과적이라는 결론을 내렸습니다.
Pre-and post-test studies collected several baseline measures and were then able to draw conclusions on whether the training had led to an impact on any aspect of learning. However, they do not determine which aspect of the intervention led to the change. The seven studies which used a control group design enabled comparisons to be made between the teaching involving patients and the standard teaching methods normally employed. In all of these, except Jha et al. (2013), the studies concluded that involving patients was at least as effective as standard teaching practices.

무작위 배정 방법은 명시되지 않았지만 RCT로 분류된 연구는 4편에 불과했습니다. 이 중 2건(Hendry 등, 1999; Duffy 등, 2016)은 환자 주도 교육이 학습 결과에 중간 정도의 영향을 미친다고 결론지었고, Jha 등(2015)은 환자 주도 교육이 교수 주도 교육보다 더 효과적이지 않다고 결론지었으며, Humphrey-Murto 등(2004)은 환자 주도 교육이 교수 주도 교육보다 MSK 시험에 더 효과적이라는 사실을 발견했습니다.  
Only four studies classified themselves as RCTs, although the method of randomization was not stated. Of these, two (Hendry et al. 1999; Duffy et al. 2016) concluded that patient-led teaching had a moderate effect on learning outcomes, Jha et al. (2015) concluded that patient-led teaching was no more effective than faculty-led teaching and Humphrey-Murto et al. (2004) found that faculty-led teaching was more effective in MSK examination than patient-led teaching.

학습자 유형 및 상황
Learner type and context

포함된 연구 중 높은 비율(77%)이 학부 의대생만을 학습자 그룹으로 포함했습니다. 이 중 11개는 임상 전 단계, 19개는 임상 단계에 있었습니다. 
A high proportion (77%) of the included studies involved solely undergraduate medical students as the learner group. Of these, 11 were in their pre-clinical years and 19 were in their clinical years.

대학원생의 지속적인 전문 교육에 초점을 맞춘 연구는 6건에 불과했으며, 학부생과 대학원 수련생을 모두 포함한 연구는 2건이었습니다. 
Only six studies focused on the continuing professional education of postgraduates, with two studies including both undergraduate and postgraduate trainees.

임상 전문 분야
Clinical specialty

연구는 근골격계(11개 연구), 장기/만성 건강 상태(10개 연구), 정신 건강(3개 연구), 부인과(3개 연구), 암(2개 연구), 기타 또는 지정되지 않음(11개 연구)의 6가지 주요 임상 전문 분야로 분류할 수 있습니다. 
The studies could be grouped into 6 major clinical specialties: musculoskeletal (11 studies), long-term/chronic health conditions (10 studies), mental health (3 studies), gynecology (3 studies), cancer (2 studies), other or not specified (11 studies).

[근골격계 및 부인과 연구]에서 중재는 일반적으로 응용 기술, 즉 특정 관절 검사 기술을 가르치는 것으로 구성되었으며, 환자는 교육, 평가 및 피드백에 어느 정도 관여했습니다. 14개 연구 중 5개 연구(Gruppen 외. 1996, Kleinman 외. 1996, Bideau 외. 2006, Haq 외. 2006, Duffy 외. 2016)는 질병의 심리적, 기능적 영향에 특별히 중점을 둔 병력 청취 또는 환자 중심의 공감 통합, 학생의 편안함과 자신감 증진 등 단순한 관절 검사 교육 이외의 요소를 구체적으로 탐구하고자 했습니다. 이러한 연구 중 10개의 연구에서 결론은 [훈련된 환자에 의한 술기 교육이 적어도 교수진에 의한 교육만큼 효과적]이라는 것이었지만, 단 하나의 연구에서는 류마티스내과 교수진이 환자 파트너보다 MSK 신체검사를 더 효과적으로 가르친다는 다른 결과가 나왔습니다(Humphrey-Murto 외. 2004). 
In the musculoskeletal and gynecology studies the intervention generally consisted of applied techniques, i.e. the teaching of a specific joint examination technique, with the patient being involved to a greater or lesser extent in the teaching, assessment, and feedback. 5 of the 14 studies (Gruppen et al. 1996; Kleinman et al. 1996; Bideau et al. 2006; Haq et al. 2006; Duffy et al. 2016) specifically sought to explore elements other than simply joint examination teaching: for example, history taking with a special emphasis on the psychological and functional impact of the disease or incorporating patient-centred empathy and increasing student comfort and confidence. The conclusion in 10 of these studies was that skills teaching by trained patients were at least as effective as training by faculty whereas just one study had a different finding and concluded that rheumatology faculty were more effective teachers of the MSK physical examination than patient partners (Humphrey-Murto et al. 2004).

[장기 건강 상태와 관련된 교육]에 환자가 참여하는 것은 10건의 연구의 주제였으며, 학생/수련의가 장기 질환 관리에 대한 환자의 생생한 경험을 탐구하고, 의사-환자 관계를 더 잘 이해하거나, 환자 치료에 대한 학제 간 접근법을 탐구할 수 있도록 하는 것이 그 목적이었습니다. 
Patient involvement in teaching related to long term health conditions was the subject of 10 studies, the purpose of which was to allow the students/trainees to explore patients’ lived experiences of managing a long-term condition, gain a greater understanding of the doctor-patient relationship, or explore interdisciplinary approaches to patient care.

나머지 연구에서는 정신 건강, 심혈관 질환, 당뇨병, 신장 질환을 포함하거나 단순히 의료 사용자의 개인적인 경험과 수련생이 면담 기술, 공감 능력, 환자 중심 치료에 대한 태도를 습득하는 데 도움이 되는 실제 역할에 초점을 맞춘 연구로 건강 상태를 명시하지 않았습니다. 
In the remaining studies, the health conditions included mental health, cardiovascular disease, diabetes, kidney conditions, or simply were not stated as the studies concentrated on the personal experiences of healthcare users and their authentic role in helping trainees gain skills in interviewing techniques, empathy, and attitudes towards patient-centered care.

포함된 연구의 방법론적 품질
Methodological quality of included studies

질 평가 방법에는 보고된 교육의 질을 판단하기 위해 시각적 RAG 순위 시스템을 통합했습니다(방법 섹션 참조). 
The quality assessment method incorporated a visual RAG ranking system to judge the quality of the reported education in question (see methods section).

이론적 토대 측면에서 이 기준을 충족하여 녹색(높은 질) 등급을 받은 연구는 4편에 불과했습니다(Cooper and Spencer-Dawe 2006, Towle and Godolphin 2013, Henriksen and Ringsted 2014, Jha 외. 2015).

  • 쿠퍼와 스펜서-도웨는 복잡성 이론을 기본 이론으로 선택했으며, 자기 조직화, 연결성, 출현, 혼돈의 가장자리라는 네 가지 원칙을 사용하여 프로젝트 개발을 안내한 다음 선형성, 예측 불가능성, 자기 조직화, 연결성, 출현의 다섯 가지 영역을 사용하여 논의했습니다(Cooper and Spencer-Dawe 2006).
  • Henriksen과 Ringsted는 구성주의 이론을 기반으로 연구를 진행했으며, 환자-교사-학생 간의 권력 균형을 탐구한 이전 모델에서 민감성 개념을 도출했습니다(Henriksen and Ringsted 2014).
  • Jha와 동료들은 쿠마가이가 제안한 변혁적 학습의 개념적 틀을 사용하여 환자의 감정적 이야기를 의도적으로 사용하여 교육생의 학습 경험을 향상시키고 학습자가 환자의 관점에서 안전에 대해 더 잘 이해할 수 있도록 했습니다(Jha 외. 2015).
  • Towle과 Godolphin은 환자를 교육자로 활용하는 전문가 간 교육 프로그램, 특히 환자의 경험과 전문성이 어떻게 힘의 불균형을 줄이고 학습을 향상시키는지 연구하기 위해 환자 중심주의에 대한 Bleakley와 Bligh 프레임워크를 사용했습니다(Towle and Godolphin 2013).

In terms of theoretical underpinning, only four studies achieved a ranking of green (high quality) for the reporting of these criteria (Cooper and Spencer-Dawe 2006; Towle and Godolphin 2013; Henriksen and Ringsted 2014; Jha et al. 2015).

  • Cooper and Spencer-Dawe chose complexity theory as their underpinning theory and the four principles of self-organization, connectivity, emergence, edge of chaos were used to guide the development of the project, which they then went on to discuss using five areas of a-linearity, unpredictability, self-organization, connectivity, and emergence (Cooper and Spencer-Dawe 2006).
  • Henriksen and Ringsted based their study on constructionist theory and drew sensitizing concepts from a prior model which explored the power balance between patient-teachers and students (Henriksen and Ringsted 2014).
  • Jha and colleagues used the conceptual framework of transformative learning suggested by Kumagai to deliberately use emotional stories from patients to enhance the learning experience of trainees and to provide the learners with a greater understanding of safety from the patient’s perspective (Jha et al. 2015).
  • Towle and Godolphin used the Bleakley and Bligh framework of patient-centredness to study a program of interprofessional education using patients as educators, specifically to determine how the experience and expertise of patients reduce the power imbalance and enhances learning (Towle and Godolphin 2013).

[커리큘럼에 대한 설명]은 6개의 연구(Owen and Reay 2004, Bideau 외. 2006, Towle and Godolphin 2013, Arenson 외. 2015, Jha 외. 2015, Duffy 외. 2016)에서 충분히 기술되었지만 나머지 연구에서는 커리큘럼 또는 강의 계획서에 대한 설명이 향후 연구에서 연구를 정확하게 재현하는 데 필요한 깊이나 세부 수준이 부족하다고 느꼈습니다. 마찬가지로 모든 연구에서 개입의 교육법, 환경 및 내용에 대한 충분한 세부 정보가 포함된 것은 아닙니다. Cahill 등(2015), Duffy 등(2016), Jha 등(2015), Owen과 Reay(2004), Towle과 Godolphin(2013)만이 위의 기준에 가장 근접하게 설명했습니다. 이러한 연구들은 각 개입에 대한 요구 사항을 상당히 포괄적으로 설명하여 유사하거나 다른 맥락의 학습자를 대상으로 연구를 복제하여 이론을 테스트하고 개념적 틀을 더욱 발전시킬 수 있습니다. 
Description of the curriculum was sufficiently described in six studies (Owen and Reay 2004; Bideau et al. 2006; Towle and Godolphin 2013; Arenson et al. 2015; Jha et al. 2015; Duffy et al. 2016), but in the remaining studies we felt the description of the curriculum or syllabus lacked the depth or level of detail required for accurate replication of the study in future research. Similarly, not all studies included sufficient details of the pedagogy, setting, and content of the intervention. Only Cahill et al. (2015), Duffy et al. (2016), Jha et al. (2015), Owen and Reay (2004), and Towle and Godolphin (2013) achieved close to an optimum description of the above criteria. These studies describe fairly comprehensively the requirements for each of their interventions so that the study could be replicated with learners in a similar or different context to test their theories and further develop their conceptual frameworks.

토론
Discussion

의학교육에서의 환자 참여에 관한 문헌에 대한 이전 검토(Morgan and Jones 2009)가 발표된 이후, 이 검토에서 확인된 새로운 연구가 최소 18건 이상 있었습니다. 
Since the publication of a previous review of the literature around patient involvement in medical education (Morgan and Jones 2009), there have been at least 18 new studies identified in this review.

교육에 대한 환자/서비스 이용자의 참여 수준과 관련하여, 본 검토에 따르면 많은 수의 연구에서 [이용자가 교육, 평가 및 평가에 기여하고(Towle 레벨 4 - 16개 연구)] [학생들과 직접 경험을 공유하는 것(Towle 레벨 3 - 17개 연구)]의 타당성을 입증하고 있는 것으로 나타났습니다. 향후 연구에서는 환자/서비스 사용자가 더 높은 수준, 즉 교육 커리큘럼 개발, 제공 및 평가에 동등한 파트너로서 참여하는 것을 다루어야 하며, 이는 Towle과 Godolphin(2013), Owen과 Reay(2004)의 연구에서 이것이 가능하고 성공할 수 있음을 보여주었습니다. 
With regard to the level of involvement of patients/service users in education, our review shows that a high number of studies are demonstrating the feasibility of users contributing to teaching, assessing and evaluating (Towle level 4 – 16 studies) and also in sharing their experiences directly with students (Towle Level 3 – 17 studies). Future research should address the involvement of patients/service users at a higher level i.e. as equal partners in developing, delivering and assessing educational curricula, as the studies by Towle and Godolphin (2013) and Owen and Reay (2004) have shown that this is possible and can be successful.

Morgan과 Jones의 검토에 따르면 대부분의 연구에서 학습자의 지식, 기술 및 태도에 즉각적인 영향을 미치는 Kirkpatrick 레벨 2의 결과를 평가하는 것으로 나타났습니다. 이번 검토에서도 비슷한 결과가 나타났는데, 레벨 2(학습에 미치는 영향)의 결과를 평가하는 연구 수가 더 많다는 것은 의학교육자들이 사용자 참여가 학생의 태도와 술기에 미치는 영향을 평가하려고 시도하고 있지만 이러한 [학습을 내재화하는 방법], 즉 실제 행동에 미치는 영향을 입증하여 환자 진료에 변화를 가져오는 방법을 아직 찾지 못하고 있음을 보여줍니다. 
Morgan and Jones’s review found the majority of studies to evaluate outcomes at Kirkpatrick Level 2 – immediate impact on learner knowledge, skills, and attitudes. Our review found similar, with the higher number of studies in our current review which evaluate outcomes at Level 2 (impact on learning) demonstrating that medical educators are attempting to evaluate the impact of user involvement on student attitudes and skills but are still not finding ways to embed this learning, i.e. demonstrate an impact on behavior in practice, and thus make a difference to patient care.

대부분의 연구는 [학부생을 대상으로 진행]되었습니다. 이러한 결과는 서비스 제공과 다방면의 전문적, 관리적, 리더십 개발의 균형을 맞춰야 하는 대학원 교육 커리큘럼의 과중한 부담으로 인해 연구를 통합하기 위해 대학원 교육 프로그램을 재설계할 때 발생하는 문제점을 반영하는 것일 수 있습니다. 또한 환자와 함께 일하는 대학원생에게 환자 참여는 암묵적인 것으로 간주될 수 있기 때문에 이러한 연구는 추진되지 않을 수 있습니다.
Most of the studies were of undergraduates. These findings perhaps reflect the problems in redesigning postgraduate training programs to incorporate research, due to increasingly overburdened curricula in postgraduate education, which need to balance service delivery and multi-faceted professional, managerial and leadership development. Additionally, as patient involvement may be seen as implicit for postgraduates working with patients, such studies may not be pursued.

중재에 대한 실제 1차 연구 보고의 전반적인 질은 좋지 않았습니다. 지난 10년간 발표된 연구 중 절반인 39건이 [실제 개입을 이해하거나 전파할 수 있을 만큼 충분한 내용]을 담은 연구가 1/5도 되지 않는다는 사실은 매우 실망스러운 결과입니다. 이론의 경우, 개입이 특정 방식으로 전개된 방법이나 이유를 이해할 수 있는 근거를 제공하는 수준 높은 연구로 평가된 것은 단 4건에 불과했습니다. 안타깝게도 이는 BEME 리뷰에서 종종 확인되는 이 분야의 만연한 문제이지만, 독자들이 '그래서 뭐냐'고 묻는 연구를 출판하는 데 대한 변명은 되지 못합니다. 물론 이는 왜 연구들이 이러한 주요 결과를 보고하지 않는지에 대한 의문을 제기합니다. 이 질문에 답할 수 있는 세 가지 가능성이 있습니다.

  • 첫째, 저자가 단순히 일부 데이터를 발표하지 않기로 결정했을 수 있으며, 이는 잘 보고된 문제입니다(Hoffman 외. 2013).
  • 둘째, 출판되지 않은 것은 이론을 고려하지 않았거나 콘텐츠가 의미 있는 방식으로 제작되지 않아 교육의 질이 낮음을 시사하는 등 그러한 고려가 이루어지지 않았기 때문일 수 있습니다.
  • 세 번째는 두 가지 모두에 해당할 수 있으며, 출판된 것보다 더 많은 연구가 있지만 저자가 출판할 수 있을 만큼 충분한 수준은 아닐 수도 있습니다. 안타깝게도 증거 기반을 전체적으로 고려할 때는 이용 가능한 것만 고려할 수 있으므로 향후 교육 및 연구 작업에 대한 이 분야의 증거의 유용성이 크게 제한됩니다. 

The overall quality of the actual primary study reporting of interventions was poor. With 39 studies published, half in the last 10 years, the fact that less than a fifth of studies presented sufficient content to allow their actual intervention to be understood or disseminated is extremely disappointing. When it comes to theory, just four studies were judged as high quality, providing underpinning that allows understanding of how or why interventions were deployed in a particular manner. This is, unfortunately, a pervasive problem in the field that BEME reviews often identify, but this is simply not an excuse for publishing studies that leave readers asking ‘so what.’ This, of course, raises the question as to why studies do not report such key outcomes. There are three possibilities in answering the question.

  • Firstly, the authors simply may have chosen not to publish some data, a problem well reported (Hoffman et al. 2013).
  • Secondly, the lack of publishing may be because such considerations have not been made, with either theory not considered or content not produced in any meaningful way, suggesting low-quality education.
  • The third option could be elements of both, with perhaps some more work available than published, but not at a sufficient standard that the authors felt able to publish. Unfortunately, when considering the evidence base as a whole, we can only consider what is available and therefore this significantly limits the utility of the evidence in this area for future teaching and research works.

Cook 등(2008)의 분류의 맥락에서 볼 때, 우리의 초기 '무엇을', '어떻게', '왜'라는 질문에 답할 수 있는 연구는 제한적입니다.

  • 이를 차례로 고려할 때, 커리큘럼(무엇을)에 대한 설명은 단 6개의 연구에서, 교육학, 환경 및 개입의 내용은 이 리뷰에서 단 5개의 연구에서 충분히 설명되었습니다(표 3의 RAG 등급 참조). 이러한 간단하지만 중요한 개입의 속성이 없다면, 일차 문헌의 독자는 물론 이 리뷰의 독자가 보고된 개입의 본질에 대한 통찰력을 얻는 것은 불가능합니다. 이는 역설적이지만 안타깝게도 교육 문헌에서 흔히 발견되는 현상입니다(Gordon 2016). 그러나 이는 이 주제의 맥락에서 유용성을 가로막는 더 중요한 장벽이며, 이 분야 전반에 걸쳐 완전히 확립되지 않았고 계속 진화하고 있습니다.

Within the contexts of Cook et al’s (2008) classification, there is limited work to answer our initial ‘what,’ ‘how,’ and ‘why’ questions.

  • Considering these in turn, description of the curriculum (what) was sufficiently described in just 6 studies and pedagogy, setting and content of the intervention described in just 5 studies in this review (see RAG ratings in Table 3). Without these simple, but crucial attributes of interventions, it is impossible to readers of the primary literature and in turn readers of this review to have any insight into the nature of the interventions reported. This is a paradoxical, but unfortunately common finding within the education literature (Gordon 2016). But this is a more important barrier to utility in the context of this topic, which is not established fully throughout the field and is evolving.

또한 검토 결과, 특정 개입이 '어떻게' 또는 '왜' 효과가 있는지에 대한 답을 시도한 연구는 거의 없었습니다. 39개의 연구 중 4개 연구만이 연구 결과를 제시하기 위한 근거 이론이나 프레임워크를 설명했습니다. 이러한 연구는 결과를 학습 이론에 매핑하고 개입이 효과가 있는 이유를 설명함으로써 의학교육에 대한 이해를 증진하는 데 필요합니다. 우리가 평가한 연구에 사용된 이론은 복잡성 이론(Cooper and Spencer-Dawe 2006), 구성주의 이론(Henriksen and Ringsted 2014), 변혁적 학습(Jha 외. 2015), 사회문화적 학습 이론(Towle 외. 2014) 등입니다. 이러한 연구는 학습 이론을 교육 프로그램에 적용하여 수련의와 환자 간의 힘의 균형을 맞추고, 환자가 교육 역할을 맡고 수련의는 책임감 있는 유능한 전문가의 역할을 맡지 않고도 환자에게 질문할 수 있도록 하는 방법을 보여주었습니다. 또한, 학습 이론은 공감과 환자 중심주의의 개념을 설명하고 환자와 관련된 교육적 개입에 대한 인문학적 접근이 어떻게 의학의 의미와 의료 개입에 대한 정서적 반응에 대한 이해를 높이고 궁극적으로 학습자가 환자와 더 잘 동일시할 수 있도록 하는지를 보여주는 데 도움이 됩니다. 
Our review also shows that very few studies have attempted to answer the question ‘how’ or ‘why’ a particular intervention work. Of the 39 studies included only 4 of them described an underpinning theory or framework with which to present their findings. Such studies are required to advance our understanding of medical education by mapping outcomes to learning theories and explain why an intervention works. The theories used in the studies we evaluated were complexity theory (Cooper and Spencer-Dawe 2006), constructionist theory (Henriksen and Ringsted 2014), transformative learning (Jha et al. 2015), socio-cultural learning theory (Towle et al. 2014). These studies demonstrated how learning theories can translate into pedagogical programs to create a power balance between trainee and patient, empowering patients to take on a teaching role and the trainee to be able to question patients without needing to be in the role of responsible competent professional. Additionally, learning theories help to explain the concepts of empathy and patient-centredness and demonstrate how a humanistic approach to an educational intervention involving patients can lead to an enhanced understanding of the meaning of medicine and the emotional response to medical intervention and, ultimately, allow learners to better identify with the patient.

의료 교육에서 서비스 사용자의 참여 범위가 증가하고 있다는 분명한 증거가 있습니다. 이러한 연구에 참여한 여러 기관에서 환자 또는 서비스 사용자의 의료 교육 참여를 보장하기 위해 [공식적인 사용자 참여 그룹을 설립]했다는 점은 고무적입니다. 위스콘신 대학교(Arenson 외. 2015)는 2007년부터 건강 멘토 프로그램을 교육에 통합하고 있으며, 태즈메이니아의 론체스톤 임상학교(Barr 외. 2014)는 8년 이상 환자 파트너 프로그램을 설립했고, 리버풀 대학교는 의료 교육에서 사용자 참여에 핵심적인 역할을 하는 보호자 및 서비스 사용자 포럼(FOCUS) 그룹을 운영하고 있습니다(Cooper and Spencer-Dawe 2006). 환자 또는 사용자 참여를 촉진하기 위해 유사한 공식 그룹을 운영하는 다른 기관으로는 코펜하겐 대학교(Henriksen and Ringsted 2014), 네브래스카 대학교(Hinners and Potter 2006), 노스캐롤라이나 의과대학(Kleinman 외. 1996), 호주 퀸즐랜드 대학교(Lane 외. 2015), 애리조나 대학교(Mohler 외. 2010), 시드니 대학교(Owen and Reay 2004), 브리티시 콜롬비아 대학교(Towle and Godolphin 2013; Towle 외. 2014) 등이 있습니다.
There is clear evidence of an increased range of service user involvement in medical education. What is encouraging to note is that several institutions in these studies have established formal user engagement groups to ensure patient or service user involvement in medical education. The University of Wisconsin (Arenson et al. 2015) has been incorporating the Health Mentors Program into their teaching since 2007, the Launceston Clinical School in Tasmania (Barr et al. 2014) has established a Patient Partner program for over 8 years, the University of Liverpool has a Forum of Carers and Users of Services (FOCUS) group which plays a key role in user involvement in healthcare education (Cooper and Spencer-Dawe 2006). Other institutions which have similar formal groups to promote patient or user involvement are the University of Copenhagen (Henriksen and Ringsted 2014), the University of Nebraska (Hinners and Potter 2006), North Carolina Medical School (Kleinman et al. 1996), University of Queensland, Australia (Lane et al. 2015), University of Arizona (Mohler et al. 2010), University of Sydney (Owen and Reay 2004), University of British Columbia (Towle and Godolphin 2013; Towle et al. 2014).

이전 출판물(Department of Health 2007, Morgan and Jones 2009, Spencer et al. 2011)의 결과를 반영하여 학생과 수련의의 교육 및 평가에 환자를 참여시키면 몇 가지 이점이 있다는 것을 발견했습니다.

  • 학습자의 경우 환자 중심 진료와 질병이 일상생활에 미치는 영향에 대한 인문학적 측면에 대한 이해가 향상되고, 검사 및 병력 청취 기술에 대한 자신의 지식에 대한 자신감이 높아지며 환자/서비스 사용자가 참여하는 세션이 즐겁다고 보고했습니다.
  • 환자들은 자신의 개인적인 경험을 의료 교육에 활용함으로써 만족감을 느끼고 자신의 건강이나 질병에 대한 지식에 대한 자신감이 높아지는 등의 이점을 누릴 수 있습니다.

Reflecting the findings of previous publications (Department of Health 2007; Morgan and Jones 2009; Spencer et al. 2011) we have found that involving patients in the teaching and assessing of students and trainees has several benefits:

  • for learners their understanding of patient-centered care and the humanistic aspect of the impact of illness on everyday life is enhanced,
  • they report greater confidence in their own knowledge of examination and history taking skills and they enjoy sessions where patients/service users are involved.
  • The benefits for patients include satisfaction from using their personal experiences in medical education and greater confidence in their knowledge of their own health or illness.

물론 이 분야의 연구를 설계하는 데에는 어려움이 있습니다

  • 환자 교육자를 식별, 모집, 교육 및 유지하는 현실적인 문제 외에도
  • 결과 측정에 대한 명확성이 부족하고,
  • 어떤 종류의 영향을 결론 내릴 때 고려해야 할 변수가 많으며,
  • 관찰된 행동이 아닌 참가자의 인식에 기반한 연구일 때 결론의 강도,
  • 교수진이 전문가로서의 역할을 포기하는 것을 꺼려할 수 있기 때문입니다.

There are, obviously, difficulties in designing research studies in this field.

  • Apart from the practicalities of identifying, recruiting, training and maintaining patient educators,
  • there can often be a lack of clarity on outcome measures,
  • the multitude of variables which need to be considered in concluding any kind of impact,
  • the strength of conclusions when studies are based on participants’ perceptions rather than observed behavior and
  • the possible reluctance of faculty in relinquishing their role of expert.

서비스 사용자 작성자는 이 데이터의 종합과 해석에 핵심적인 역할을 했으며, 최종 원고의 내용, 결과 및 형식에 대한 여러 논의에 참여했습니다. 이러한 논의에서 나온 몇 가지 핵심 사항은 다음과 같습니다. 자금 조달은 중요한 문제이며 일부 연구에서만 언급되었습니다. 일부 의학교육 기관에서는 [시간 또는 발생 비용에 대한 보상]을 제공하지만, 예산이 제한되어 있기 때문에 현실적으로 달성할 수 있는 참여의 양이 줄어들 수 있습니다. 또한 서비스 사용자가 시장 가격으로 비용을 지불하는 경우 '전문 서비스 사용자 및 환자'로 분류되지 않아야 하나요? [급여를 지급하지 않는 것]은 긍정적인 결과와 부정적인 결과를 모두 가져올 수 있습니다.

  • 긍정적인 측면대학 내 환자/서비스 사용자 대표의 수가 증가할 수 있다는 것입니다. 다양한 질환과 배경을 가진 환자들이 독립적으로 고려되는 가운데 그들의 고유한 목소리와 아이디어, 의견을 들을 수 있습니다.
  • 의과대학의 변덕스러운 자금 지원과 같은 부정적인 측면은 '환자/서비스 사용자가 회의에 참석할 필요가 없다는 사실을 짧은 시간에 통보받는 것'을 의미할 수 있습니다. 이는 신뢰성에 대한 의문을 불러일으키고 학생들의 학습 기회에 영향을 미칠 수 있습니다.
  • 또 다른 중요한 측면은 자금 지원이 환자의 국가 혜택에 미치는 영향인데, 일부 중앙 정부는 이러한 수입을 부정적으로 보고 참여에 불이익을 줄 수 있는 부정적인 압력을 가할 수 있습니다. 이는 각 대학의 지역적 맥락에서 고려해야 합니다.

Our service user authors were integral in the synthesis and interpretation of this data and were involved in several discussions about the content, findings, and format of the final manuscript. There were several key points that came from these discussions that are relevant. Funding is an important issue and is mentioned in only a few of the studies. Payments for time, or for incurred expenses are offered by some medical education institutions and, due to the limited amount of budget available, can sometimes curtail the amount of involvement realistically achievable. Additionally, if service users are paid at the market rate, should they not be classed as a ‘professional service user and patient?’ Nonpayment can also have both positive and negative outcomes.

  • The positive being that numbers of patient/service user representatives within the universities may increase. Enabling patients with diverse conditions and backgrounds can ensure their unique voice, ideas and opinions are heard, whilst they are considered to be independent.
  • Negative aspects, such as capricious funding arrangements in medical schools may mean ‘patients/service users are informed at short notice, that they are not required to attend meetings.’ This leads to questions around authenticity and will impact on the opportunity for learning for the students.
  • Another important aspect is the impact of funding on patients’ state benefits, with some central government sources viewing such income negatively and in turn creating a negative pressure that would penalize involvement. This must be considered in the local context of each university.

의과대학 내 기존 및 오랜 관행으로 인해 환자/서비스 사용자의 교육 참여에 대한 [토큰주의적 접근 방식]이 종종 나타날 수 있습니다. 출판된 문헌의 종합적인 합계인 Towle 결과물에 초점을 맞추는 것은 이러한 주관적인 시각을 불식시키는 데 거의 도움이 되지 않습니다. 사용자 저자들의 경험에 따르면, Towle 분류체계의 2단계 또는 3단계에 참여하면 [지원자(환자)]가 학습 경험의 진정한 파트너가 아니라 '찌르고 찔러야 하는 살아있는 몸'처럼 느낄 수 있습니다. 환자들은 자신의 질환에 대한 풍부한 지식과 서비스 경험으로 독특한 관점을 제공할 수 있으며, 이는 의료 교육에 대한 총체적이고 인본주의적인 접근 방식을 제공할 수 있습니다. 이러한 진정성을 바탕으로 파트너십을 구축하고 이를 통해 얻을 수 있는 프레임워크를 구축하는 것은 문헌에서 아직 명확하게 안내하지 않는 부분이며, 이러한 방법의 사용을 늘리려는 비전을 가진 사람들은 여전히 어떻게 해야 할지에 대해 고민하고 있습니다. 
Due to existing and long-standing practices within medical schools, there can often appear to be a tokenistic approach to patient/service user involvement in education. The focus of Towle outcomes in what is the synthesized sum of published literature does little to dispel this subjective view. The experiences of our user authors are that involvement at levels 2 or 3 of Towle’s Taxonomy can leave such volunteers feeling like ‘a live body to be poked and prodded’ rather than an authentic partner in the learning experience. Patients have a wealth of knowledge about their own conditions and experiences of services which can give a unique perspective – offering a holistic and humanistic approach to medical education. Building a framework to work in partnership and gain from this authenticity is something the literature clearly still does not guide, leaving those with the vision to increase the use of such methods still left asking how to do this.

교육은 또한 환자/서비스 사용자 참여의 중요한 측면으로, 환자에게 필요한 것이 무엇인지 더 잘 이해할 수 있게 해주고 강점이나 약점을 강조하여 해결할 수 있습니다. 그러나 연구에 포함된 연구들에서 교육 내용, 시기 및 자금에 관한 결정을 주로 내리는 것은 [교수진]입니다. 이는 궁극적인 최종 업무 관계에 분명히 영향을 미치므로 더 높은 수준의 참여를 원하는 경우 이를 고려해야 합니다. 
Training is also an important aspect of patient/service user involvement – it gives patients a better understanding of what is required of them and it can highlight any strengths or weaknesses which can then be addressed. However, in the studies included it is the faculty members who mostly made the decisions regarding the content, timing, and funding of training. This clearly has an impact on the ultimate end working relationship and should be considered for those looking to achieve higher levels of involvement.

검토의 한계
Limitations of the review

이 체계적 문헌고찰에는 몇 가지 한계가 있습니다. 번역 서비스가 제공되지 않아 영어 논문으로만 검색이 제한되었습니다. 환자 중심 치료 및 의료 교육에 대한 환자/서비스 사용자의 참여를 설명하는 데 사용되는 용어에 대한 일관성이 부족하다는 점도 아쉬운 제약 조건이었습니다. 모든 종합에서 항상 요구되는 것처럼, 실용적인 판단을 내려야 했고, 저자의 검토 내 동의 수준을 측정해야 했습니다. 그러나 관련성이 있을 수 있는 특정 논문이 포함되지 않았을 가능성이 있습니다. 이와 관련하여, 이 리뷰에는 종이 기반 또는 전자 시나리오를 포함하지 않기로 실용적인 결정을 내렸습니다(Towle의 분류법 레벨 1). 또한 이 검토는 포함된 연구의 방법론적 품질, 특히 이론적 개념, 교육학 및 커리큘럼에 대한 세부적인 보고의 부족으로 인해 제한되었습니다. 이로 인해 연구 결과를 어떤 형태로든 종합할 수 없었습니다. 
This systematic review has several limitations: the search was restricted to the English language only articles due to a lack of availability of translation services. A frustrating constraint was the lack of consistency over the terminology used to describe patients/service users involvement in patient-centered care and medical education. As is always required in any synthesis, pragmatic judgments had to be made, as well as a measurement of the author’s level of agreements within the review. However, it is possible that certain papers were not included that may be relevant. Related to this, a pragmatic decision was made to not include paper-based or electronic scenarios within this review (Level 1 of Towle’s Taxonomy). The review is also limited by the methodological quality of the included studies pertaining to the lack of detail in reporting – particularly around theoretical concepts, pedagogy, and curricula. This precluded any form of synthesis of the outcomes of the studies.

교육에 대한 시사점
Implications for teaching

이 리뷰는 '정당화' 연구를 통해 환자/서비스 사용자가 가르치는 것이 적어도 교수진이 가르치는 것만큼 효과적일 수 있음을 보여주었습니다. 또한 환자와 의료 서비스 소비자는 자신의 질병에 대한 풍부한 지식을 가지고 있어 학습자의 태도, 지식 및 공감을 크게 향상시킬 수 있지만 이러한 전문 지식을 교육 프로그램에 가장 잘 활용할 수 있는 정도는 아직 밝혀지지 않았습니다. 분명한 것은 환자가 주도하는 교육 기회는 [신체 검사 기술, 상담 및 병력 청취, 전문가 간 교육, 질병과 함께 사는 경험, 파트너와 가족에게 미치는 영향, 환자/전문가 관계의 변화하는 역학(환자 역량 강화)] 등 [다양한 주제]를 다룰 수 있다는 것입니다. 많은 증거를 통해 Towle의 분류체계의 어떤 수준에서도 사용자의 참여를 방해하는 [실제 상황적 또는 학습자적 요인이 없음]을 명확히 확인했습니다. 이는 저자 팀, 특히 이 리뷰의 사용자 작성자의 관점에서 볼 때 독자들이 반드시 고려해야 할 핵심 메시지라고 생각했습니다. 
This review has shown, through ‘justification’ studies, that teaching by patients/service users can be at least as effective as teaching by faculty. In addition, patients and consumers of healthcare services have a rich knowledge of their own illnesses which can greatly enhance learners’ attitudes, knowledge, and empathy but the extent to which this expertise could best be employed in educational programs is yet to be discovered. What is clear is that patient-led teaching opportunities can cover a diverse range of topics, including physical examination skills, consultation and history-taking, inter-professional education, the experience of living with an illness, the effect on partners and families, and the changing dynamic of patient/professional relationships (patient empowerment). The large body of evidence has clearly identified there are no real contextual or learner factors that prevent the involvement of users at any level of Towle’s Taxonomy. This is a key finding and from the perspective of the author team and specifically the user authors on this review, they felt it as a takeaway message that must be considered by readers.

그러나 독자들은 증거 기반이 종합할 수 있는 모든 면에서 제한적이라는 점도 분명히 알아야 합니다. 이 교육 방법의 이점을 입증하기 위한 최적의 환자 참여 수준을 결정할 수 없었고, 콘텐츠, 교육학 및 커리큘럼에 대한 세부 정보가 부족하여 이러한 연구 중 상당수를 정확하게 복제할 수 없었습니다. 마찬가지로, 개입의 어떤 측면이 누구에게, 어떤 상황에서, 가장 효과적으로 효과가 있었는지, 특히 사용자 관점에서 참여 유형을 최적화하여 최적의 관계를 보장하는 방법을 파악할 수 없었습니다. 내용이나 이론에 대한 광범위한 증거를 제시할 수는 없지만, 임상 교사들이 이 분야의 제한된 양질의 증거를 보고한 결과의 관련 부분을 고려하고 이를 현지에서 자료를 생산하기 위한 출발점으로 삼을 것을 제안합니다.
However, it should also be apparent to readers that the evidence base is limited in all ways it can be synthesized. We were not able to determine an optimum level of patient involvement to demonstrate benefits of this method of teaching and the lack of detail of content, pedagogy, and curricula preclude many of these studies being replicated accurately. Similarly, we were unable to identify which aspects of the interventions worked most effectively, for whom, in what circumstances and in particular how to optimize the type of involvement from the user perspective to ensure an optimal relationship. We cannot give extensive evidence of content or theory, however, would suggest clinical teachers consider the relevant sections of the results that do report the limited high-quality evidence in this area and use this as a starting point for local production of resources.

추가 연구를 위한 시사점
Implications for further research

이 체계적 문헌고찰은 맥락과 학습 과정을 탐색하여 결과를 학습 이론 개념에 매핑하고 개입이 효과가 있는 이유를 설명함으로써 의료 교육에서 사용자 참여에 대한 이해를 증진하는 데 필요한 교육적으로 강력한 연구가 부족하다는 점을 강조했습니다. 이는 향후 중점적으로 연구해야 할 핵심 영역으로, Towle과 같은 프레임워크의 맥락에서 [수행한 작업과 이러한 선택이 이루어진 이유를 구체적으로 설명]하는 연구입니다. 이는 연구 조사 방법론에 달려 있는 것이 아니며, 비록 미흡하지만 이 문제를 해결하는 데 필수적인 요소는 아닙니다. 대신 저자는 자신이 ['무엇을' 가르쳤는지를 충분히 제시하는 방식으로 교육을 제시]하기만 하면 됩니다. [학습 목표, 제작된 콘텐츠, 커리큘럼 맵, 심지어 제작을 지원하기 위해 사용된 이론적 또는 개념적 요소]까지 제시하는 것은 비용이 많이 들거나 어렵지 않습니다. 이러한 보고는 의학교육에서 환자를 가장 잘 활용할 수 있는 방법에 대한 증거적 합의를 형성하기 시작할 수 있습니다. 
This systematic review has highlighted a lack of educationally robust studies which are needed to advance our understanding of user involvement in medical education by exploring context and learning processes which would then map outcomes to learning theory concepts and explain why an intervention works. This is a key area for future focus, with studies specifically describing what they have done in the context of a framework, such as Towle’s, as well as why these choices were made. This is not hinged on the methodology of investigation of studies, which while poor, is not integral to meeting this concern. Instead, authors simply need to present their education in a manner that fully presents ‘what’ teaching they have done. It is not costly or difficult to present learning objectives, content produced, curriculum maps and even the theoretical or conceptual elements employed to support production. Such reporting may then to start to form an evidential agreement as to how patients are best employed within medical education.

또한 [학습 이론을 채택한 연구]는 환자/사용자 참여의 다양한 측면의 가치를 더 명확하게 파악할 수 있게 해줍니다.

  • 경험을 공유하여 환자 중심의 진료를 유도하거나,
  • 학습자의 대인관계 기술에 대한 즉각적인 피드백을 제공하여 의사소통 및 병력 기록 기술을 향상시키거나,
  • 자신의 상태에 대한 지식을 활용하여 교수진 대신 전문가 교육을 제공하는 등

[학습자가 자신의 역할을 어떻게 인식하는지, 참여를 통해 무엇을 얻는지] 등 [학습자의 관점에서 결과]를 측정하는 것도 필요합니다. 마지막으로, 항상 [가치value]를 고려해야 하며, 이러한 참여를 촉진하는 데 직간접적으로 [필요한 리소스에 대한 보고]가 필수적입니다. 이러한 요소 중 어느 하나라도 향후 논문을 작성하는 데 큰 방해가 되어서는 안 되며 증거 기반에 큰 영향을 미칠 수 있다는 점에 유의할 필요가 있습니다. 

Studies also adopting learning theories would enable a clearer picture of the value of the different aspects of patient/user involvement –

  • whether this is to elicit patient-centered care by sharing their experiences,
  • to improve communication and history-taking skills by giving immediate feedback on learners’ interpersonal skills, or
  • by using their knowledge of their own condition to give expert instruction in place of faculty educators.

Measuring outcomes from the perspective of the user is also needed, such as how they perceive their role and what they gain from involvement. Finally, the value must always be considered and reporting on the resources directly or indirectly needed to facilitate such involvement is vital. It is worth noting that none of these elements should massively encumber writers of future papers and could hugely impact the evidence base.

결론
Conclusions

최근 의학교육에서 환자의 참여를 탐구하는 논문이 증가하고 있음에도 불구하고 이러한 보고서가 학계나 교육 분야를 발전시키지 못하고 있습니다. 이 연구들은 다양한 참여 방법을 탐구하고 환자 또는 서비스 사용자를 교육 개입에 참여시킬 수 있는 가능성을 보여줍니다. 연구 결과에 따르면 환자 참여는 실용적인 임상 기술, 병력 청취 및 면담 기술, 의사소통 및 공감에 대한 인식을 효과적으로 전달할 수 있으며, 학습자가 전체적인 치료에서 환자 중심의 관점을 탐구할 수 있도록 함으로써 의학 교육을 풍부하게 할 수 있습니다. 그러나 교육기관 수준에서 또는 실제로 교육 커리큘럼을 설계하는 수준에서 환자가 참여하는 정도는 개선되지 않았습니다. 또한 이러한 개입의 결과도 진전되지 않았습니다. 환자의 참여가 교육적 맥락에서뿐만 아니라 전문적인 실무에서도 학습자에게 도움이 된다는 증거가 필요합니다. 또한 교육학에 대한 보고도 부족합니다. 

Despite a recent increase in the number of publications exploring patient involvement in medical education, these reports fail to move the scholarly or teaching field forward. The studies explore a wide range of methods of involvement and demonstrate the feasibility of involving patients or service users in educational interventions. They show that patient involvement can effectively deliver practical clinical skills, history taking and interview skills, enhanced perceptions of communication and empathy, and can enrich medical education by allowing learners to explore patient-centered perspectives in holistic care. However, the extent to which patients are involved at an institutional level or, indeed, at the level of designing educational curricula, has not improved. Nor has the outcomes of these interventions progressed. We need to see evidence of patient involvement benefitting learners not just in an educational context, but in professional practice. There is also a lack of reporting of pedagogy, content, curricula or any other key elements that facilitate dissemination or replication of research methods to involve patients and service users. Future studies must be underpinned by clear and relevant theory, implemented with appropriate pedagogy and reported in a fashion that supports evidence-based replication and dissemination of patient and service users in medical education.

 


 

 

Med Teach. 2020 Jan;42(1):4-16. doi: 10.1080/0142159X.2019.1652731. Epub 2019 Sep 13.

 

Patient/service user involvement in medical education: A best evidence medical education (BEME) systematic review: BEME Guide No. 58

Affiliations collapse

1School of Medicine, University of Central Lancashire, Preston, UK.

2Families Division, Blackpool Teaching Hospitals NHS Foundation Trust, Blackpool, UK.

PMID: 31518544

DOI: 10.1080/0142159X.2019.1652731

Abstract

Background: The extent to which patients and service users are involved in medical education varies widely. There is a need for an up to date systematic review of the literature that examines what involvement (description), the potential outcome of such involvement (justification) and 'why' such involvement impacts students (clarification).Methods: Systematic searches of four databases were undertaken. Citations were screened and consensus reached for inclusion/exclusion of studies. Quality of study design and interventional presentation were assessed.Results: Of the 39 studies included in the review, 4 studies were encounter based, 17 sharing experiences, 16 with patients involved in teaching, 2 studies describing consumers as tutors, and none with involvement at the institutional level. Outcomes in terms of benefits to learners included increased empathy and understanding of illness as experienced by patients, improved communication with patients and a greater understanding of patient-center care. Educational quality assessment showed specific weaknesses in theoretical underpinning, curriculum outcomes, content or pedagogy.Conclusions: Patients can enrich medical education by allowing learners to explore patient-centered perspectives in holistic care. For educators this review highlights the lack of an underpinning conceptual basis for which to translate theory into practice.

건강 및 사회적 돌봄 전문직 교육에서 환자의 목소리: 밴쿠버 성명(International Journal of Health Governance, 2016)
The patient’s voice in health and social care professional education: The Vancouver Statement
Angela Towle, Christine Farrell, Martha E. Gaines, William Godolphin, Gabrielle John, Cathy Kline, Beth Lown, Penny Morris, Jools Symons and Jill Thistlethwaite 

 

환자 참여의 역사
History of patient involvement

의료 및 사회복지 서비스를 이용하는 사람들이 치료를 제공하는 전문가 교육에 적극적으로 참여하는 것은 지난 20년 동안 크게 확대되었습니다(Towle et al., 2010). 이러한 성장은 의료 서비스의 여러 측면에서 대중과 환자의 적극적인 참여를 강조하는 의료 서비스 전달, 정책 및 연구 동향이 융합된 결과입니다. 

Active involvement of people who use health and social services in the education of professionals who provide the care has expanded greatly over the past 20 years (Towle et al., 2010). Its growth is the consequence of the convergence of trends in health care delivery, policy and research that have emphasized active participation of the public and patients in many aspects of their care.

환자의 의료 참여는 부분적으로는 [전통적인 가부장주의]에서 벗어나 [환자를 치료의 파트너로 포용]하려는 [자율성의 윤리적 의무]에서 비롯되며, [정보에 입각한 선택을 요구하는 법적 추세]에 따라 명문화되었습니다. 또한, 특히 영국, 미국, 캐나다, 호주의 정부와 영향력 있는 기관은 의료 서비스에 대한 직접적인 혜택으로 인해 더 많은 환자와 대중의 참여가 필요하다는 점을 명확히 했습니다. 환자 참여는 환자 안전(의학 연구소, 2000; 보건부, 2001), 환자 중심의 결과, 공동 의사 결정 및 공동 관리 결정 준수, 인구 고령화 및 만성 질환 증가에 따른 환자들의 보다 적극적인 치료 참여 등 환자 중심 치료 및 품질 보증의 다양한 측면과 연관되어 있습니다(Nasmith et al., 2010).
Involvement of patients in health care arises, in part, from the ethical imperative of autonomy that moves us away from traditional paternalism toward inclusion of patients as partners in care and has been codified in legal trends that require informed choice. In addition, governments and influential institutions, especially in the UK, USA, Canada and Australia, have articulated the need for more patient and public involvement because of perceived direct benefits to health care. Patient involvement has been linked to various aspects of patient-centered care and quality assurance, including

보건 연구에 대한 환자 및 대중의 참여가 절실해지면서 영국의 국립보건연구원, 미국의 환자 중심 성과 연구소, 캐나다의 환자 중심 연구 전략, 호주의 뉴사우스웨일스 임상 혁신 기관에서 대중의 적극적인 참여를 지원하는 INVOLVE와 같은 이니셔티브가 만들어졌습니다.
The imperative for patient and public involvement in health research has resulted in the creation of

  • initiatives such as INVOLVE that supports active public involvement in the National Institute for Health Research in the UK (www.invo.org.uk),
  • the Patient-Centered Outcomes Research Institute in the USA (www.pcori.org),
  • Canada’s Strategy for Patient-Oriented Research (www.cihr-irsc.gc.ca/e/documents/P-O_Research_Strategy-eng.pdf), and
  • the New South Wales Agency for Clinical Innovation in Australia (www.aci.health.nsw.gov.au).

환자와 대중의 참여를 포용할 수 있는 인력을 양성하기 위해 교육에 환자를 참여시키는 것(정의는 학회 성명서 각주 참조)은 이러한 움직임에서 논리적으로 발전한 것입니다. 이는 현재 의료 전문가를 교육하는 방식에 [내재된 몇 가지 장벽] 때문에 특히 중요합니다. 예를 들어, 오플린과 브리튼(2006)의 연구에 따르면 [공유 의사 결정]의 채택은 현재 의사가 권력과 책임의 상당한 공유를 포함하지 않는 의료 정체성을 달성해야 할 필요성과, [의료 교육 중 공감과 환자 중심주의의 침식]을 보여주는 많은 연구로 인해 제한됩니다(Neumann et al., 2011). 
The involvement of patients in education (see footnote in conference statement for definition) to develop a workforce that is able to embrace patient and public participation is a logical development from these movements. This is particularly important because of some barriers inherent in the way we currently educate health professionals. For example, the work of O’Flynn and Britten (2006) suggests that the adoption of shared decision-making is limited by the need for practitioners to achieve a medical identity that currently does not involve significant sharing of power and responsibility, and the many studies that demonstrate an erosion of empathy and patient centredness during medical training (Neumann et al., 2011). 

교육에 대한 환자 참여는 의학(Wykurz and Kelly, 2002; Jha 외, 2009; Towle 외, 2010), 간호학(Warne and McAndrew, 2005; Repper and Breeze, 2007; Terry, 2012), 사회사업학(Cairney 외, 2006; Robinson and Webber, 2013), 다양한 분야의 정신건강 전문가 교육(Livingston and Cooper, 2004; Happell 외, 2014)에서 시작되었습니다. 최근에는 물리치료(Jones 외, 2009), 작업치료(Cleminson and Moesby, 2013), 약국(Grimes 외, 2013), 치과(Renard 외, 2015)와 같은 다른 의료 전문직으로 확산되고 있습니다. 

Patient involvement in education began in

그러나 교육에 대한 환자 참여는 아직 교육 실무의 주류에서 잘 확립되지 않았습니다. 환자 참여는 

  • 삶의 경험의 다양성을 반영하기보다는 특정 환자 집단으로 제한되는 경우가 많고, 
  • 교육 기관에 통합되어 있지 않고 파편화되어 있으며, 
  • 적절한 인프라와 지속적인 리더십 및 자원이 부족합니다. 

혜택에 대한 증거가 나타나고 있지만 여전히 고르지 않습니다. 교육자로서의 환자 이니셔티브가 가장 광범위하고 제도적으로 지원되는 국가는 영국으로, "환자 주도형" 국가보건서비스(하원 보건위원회, 2007) 개발에 대한 정부의 노력과 최근에는 보건 및 사회 서비스 개발에 대한 접근 방식으로서 공동 생산 개념(Loeffler et al., 2013)이 교육 정책 지침으로 확장되었습니다. 따라서 교육에 대한 서비스 사용자 및 보호자의 참여는 간호 및 조산사(간호 및 조산사 위원회, 2010), 16개 기타 보건 및 사회복지 전문직(보건 및 사회복지 전문직 위원회, 2014), 최근에는 의학(일반 의학 위원회, 2016)의 교육 프로그램 인증을 담당하는 법정 기관의 [표준에 명시]되어 있습니다.
However, patient involvement in education is still not well established in the mainstream of educational practice. Involvement

  • is often limited to a specific population of patients rather than reflecting the diversity of lived experiences,
  • is fragmented and not embedded in the educational institution, and
  • lacks appropriate infrastructure and sustained leadership and resources.

Evidence of benefit is emerging but still patchy. The most wide-ranging and institutionally supported patient-as-educator initiatives are in the UK (Towle and Godolphin, 2011) where government commitment to the development of a “patient-led” National Health Service (House of Commons Health Committee, 2007) and, more recently, to the concept of co-production as an approach to the development of health and social services (Loeffler et al., 2013) has extended to policy directives in education. Thus, service user and carer involvement in education has become enshrined in the standards of the statutory bodies responsible for the accreditation of educational programs in nursing and midwifery (Nursing and Midwifery Council, 2010), 16 other health and social care professions (Health and Care Professions Council, 2014) and more recently, medicine (General Medical Council, 2016).

문헌에서 말하는 것
What the literature says

환자 참여의 예는 이제 기본 교육부터 대학원 및 지속적인 전문성 개발에 이르기까지 교육의 연속체에서 찾을 수 있으며, 학생 선발, 다양한 교수 역할, 피드백 및 평가, 커리큘럼 개발 및 기관 차원의 의사 결정을 포함한 [광범위한 교육 활동]을 포함합니다(유형론은 Towle 외., 2010 참조). 
Examples of patient involvement can now be found across the continuum of education from basic training through postgraduate and continuing professional development, and include a wide spectrum of educational activities including selection of students, a variety of teaching roles, feedback and assessment, curriculum development and decision-making at an institutional level (for a typology see Towle et al., 2010).

문헌에 따르면 환자로부터의 학습은 임상적 추론, 의사소통 기술, 전문적 태도, 공감적 이해 및 환자에 대한 개별화된 접근법을 개발하는 데 중요한 역할을 하며, 관련성과 맥락을 제공함으로써 학생들에게 동기를 부여합니다(Towle 외., 2010).

  • 교육에 참여하는 환자에게는 지역사회에 환원하는 것에 대한 만족감, 미래의 전문가 교육에 대한 영향력, 자존감 및 권한 부여 증가 등의 [이점]이 있습니다(McKeown 외., 2012).
  • 또한 문헌에서는 제도적 지원 및 자금 부족(Happell 외., 2015), 전문 지식과 권력에 대한 도전(Felton and Stickley, 2004), 대표성 및 토큰주의 문제(Forrest 외., 2000) 등 환자의 교육 참여에 대한 [장벽]을 파악하고 있습니다.
  • 그러나 대부분의 연구는 설명적이며 교육 전략에 정보를 제공할 수 있는 [이론적 이해나 비판적 설명]이 부족합니다(Regan de Bere와 Nunn, 2016).
  • 좋은 [평가 연구]는 거의 없으며, 진료에 대한 장기적인 영향과 의료 수혜자에게 미치는 혜택에 대한 [증거가 부족]합니다(Morgan and Jones, 2009; Robinson and Webber, 2013).

The literature provides evidence that learning from patients plays a role in the development of clinical reasoning, communication skills, professional attitudes, empathic understanding and an individualized approach to the patient; it also motivates students by providing relevance and context (Towle et al., 2010). 

  • Benefits to patients involved in education include satisfaction in giving back to the community, having an influence on the education of future professionals, and increased self-esteem and empowerment (McKeown et al., 2012). 
  • The literature also identifies barriers to patient involvement in education including lack of institutional support and funding (Happell et al., 2015), challenges to professional knowledge and power (Felton and Stickley, 2004), and issues of representativeness and tokenism (Forrest et al., 2000). 
  • However, most of the research is descriptive and lacks theoretical understanding or critical explanation that might inform educational strategies (Regan de Bere and Nunn, 2016). 
  • There are few good evaluation studies, and there is a lack of evidence of the long-term impact on practice and benefits to the recipients of care (Morgan and Jones, 2009Robinson and Webber, 2013).

"환자의 목소리는 어디에 있는가?" 컨퍼런스
“Where’s the Patient’s Voice?” Conference

2005년 캐나다 밴쿠버에서 "의료 전문가 교육에서 환자의 목소리는 어디에 있는가?"라는 주제로 첫 번째 국제 컨퍼런스가 열렸습니다. 이 컨퍼런스의 목적은 이 분야의 선구자들을 한자리에 모아 다양한 배경을 가진 240명의 참석자가 발표와 토론을 통해 '영역의 지도'를 그리는 것이었습니다. 컨퍼런스 보고서는 교육에 대한 환자 참여 현황을 문서화하고 새로운 문제와 향후 방향을 파악했습니다(Farrell et al., 2006).
In 2005, the first international conference on the topic, “Where’s the Patient’s Voice in Health Professional Education?” was held in Vancouver, Canada. The aim was to bring together pioneers in the field and “map the territory” through the presentations and discussions of 240 attendees with a wide range of backgrounds. The conference report documented the state of patient involvement in education, and identified emerging issues and future directions (Farrell et al., 2006).

10년 후인 2015년 11월에 2005년 이후의 진전 상황을 살펴보기 위한 두 번째 컨퍼런스가 열렸습니다. 컨퍼런스 위원회(이 백서의 저자)는 향후 5년간의 의제를 설정하고 각 기관 및 단체의 참가자들을 위한 자료로 사용될 성명서를 작성하기 위해 노력했습니다. 이 컨퍼런스에는 16개국에서 온 250명의 대표단이 참석했으며 모든 주요 보건 분야를 대표했습니다. 대부분은 교육 리더 또는 실무자였으며, 환자 또는 지역사회 구성원이라고 밝힌 비율은 20%가 조금 넘었고 학생은 13%였습니다.
A second conference was held ten years later in November 2015 to look at progress since 2005. The conference committee (authors of this paper) worked toward production of a statement that would set the agenda for the next five years, and serve as a resource for participants in their own institutions and organizations. The conference was attended by 250 delegates from 16 countries and representing all of the major health disciplines. Most were educational leaders or practitioners; just over 20 percent identified themselves as patients or community members and 13 percent as students.

컨퍼런스 성명서 개발
Development of the conference statement

컨퍼런스 위원회는 [성명서 초안]을 작성하여 사전에 컨퍼런스 등록자에게 소개했습니다. 대표자들은 서면, 초안 자체 또는 학회 웹사이트의 전자 버전, 학회 위원회와의 공개 회의, 학회 마지막 날 오전 중 한 가지 이상의 방법으로 초안에 대한 피드백을 제공하여 향후 성명서 개발에 참여하도록 초대되었습니다.
The conference committee prepared a draft statement that was introduced to the conference registrants in advance. Delegates were invited to participate in its future development by providing feedback on the draft in one or more of the following ways:

  • in writing,
  • on the draft itself or an electronic version on the conference website,
  • during an open meeting with the conference committee, and
  • on the final morning of the conference.

약 90명의 컨퍼런스 대표단이 최종 세션에 참석하여 컨퍼런스 위원회 위원 또는 퍼실리테이터로 지정된 사람들과 함께 [원탁 토론 그룹]을 구성했습니다. 원탁 토론 그룹은 성명서에 대한 일반적인 의견을 제시한 후 보다 구체적으로 실행 항목에 집중하도록 요청받았습니다. 그룹은 성명서 및 권고사항에 대한 실질적인 변경 사항을 보고했습니다. 모든 의견과 메모는 회의가 끝난 후 수집되어 필사되었습니다. [회의 위원회의 소그룹]이 피드백에서 주요 주제를 파악하여 회의 후 성명서 버전에 변경 사항을 반영했습니다. 이 성명서는 모든 대표자에게 이메일로 배포되어 추가 의견을 보내달라는 초대장과 함께 전달되었습니다. 추가 수정 사항은 거의 제안되지 않았으며 성명서에 대한 강력한 지지가 있었습니다. 성명서는 아래에서 확인할 수 있습니다.
About 90 conference delegates attended the final session and formed round table discussion groups with members of the conference committee or designates as facilitators. The round table groups were asked to provide general comments about the statement and to then focus more specifically on action items. The groups reported any substantive changes to the statement and recommendations. All comments and notes were collected and transcribed after the conference. A subgroup of the conference committee identified major themes from the feedback and incorporated changes into the post-conference version of the statement. This was circulated by e-mail to all delegates with an invitation to send further comments. Very few further amendments were suggested and there was strong support for the statement. The statement can be seen below.


보건 및 사회복지 전문가 교육에서 환자의 목소리는 어디에 있나요? 2015 밴쿠버 성명서 
Where’s the patient voice in health and social care professional education?
The Vancouver Statement 2015 

이 성명서는 향후 5년 동안 [교육에 대한 환자 참여의 방향을 설정]하는 것을 목표로 합니다[1]. 2015년 11월 12일부터 14일까지 밴쿠버에서 개최된 제2회 "보건의료 전문가 교육에서 환자의 목소리는 어디에 있는가?" 국제 컨퍼런스에서 참석자들과 협력하여 개발되었습니다. 우리는 환자를 교육에 적극적으로 참여시키기 위해 이미 이루어지고 있는 훌륭한 작업과 10년 전 첫 번째 컨퍼런스 이후 이루어진 진전을 인정합니다.
This statement aims to set the direction for patient involvement in education for the next five years[1]. It was developed in collaboration with attendees at the 2nd “Where’s the Patient’s Voice in Health Professional Education?” international conference, held in Vancouver from 12 to 14 November 2015. We acknowledge the excellent work that is already taking place to actively involve patients in education and the advances that have been made since the first conference ten years ago.

이 성명서는 보건 및 사회복지 전문가 교육을 담당하는 [의사결정권자를 대상]으로 하며, 개별 교육자 및 환자, 지역사회 조직과도 관련이 있습니다.
This statement is targeted at decision-makers responsible for the education of health and social care professionals, and is also relevant to individual educators and patients, and community organizations.

1. 목표 
1. Aim 

1.1 현재와 미래의 보건 및 사회복지 전문가 교육에 [환자의 자율적이고 진정성 있는 목소리]와 [환자의 생생한 경험]이 포함되도록 촉진하고 보장하여 [진정으로 환자 중심적인 치료가 제공]되도록 합니다.
1.1 To promote and ensure that the education of current and future health and social care professionals includes the autonomous and authentic voices of patients and their lived experiences so that the care delivered is genuinely patient-centred.

2. 보건의료 전문가 교육에 대한 환자 참여 - 정의 
2. Patient involvement in the education of health professionals – what it is 

2.1 환자가 [교사, 평가자, 커리큘럼 개발자 및 교육 의사 결정자]로서 [적극적이고 협력적인 교육적 역할을 수행]하는 것을 의미합니다.
2.1 We mean that patients play an active and collaborative educational role, as teachers, assessors, curriculum developers and educational decision makers.

3. 이 선언문이 중요한 이유 
3. Why this statement is important 

3.1 보건 및 사회복지 분야는 환자를 [의사 결정, 서비스 제공 및 연구의 파트너로 참여]시켜야 합니다.
3.1 Health and social care should engage patients as partners in decision-making, service delivery and research.

3.2 교육에서 환자와의 협력은 현재 및 미래의 의료인이 환자와 협력하여 다음과 같은 목적으로 일할 수 있도록 준비시키는 데 필수적입니다:

  • i) 사람 중심의 관계 기반 치료 제공;
  • ii) 공동 의사 결정에 참여;
  • iii) 자기 관리 및 회복력 지원;
  • iv) 의사소통 및 공감과 배려의 관계 강화;
  • v) 환자 안전과 질 향상 촉진;
  • vi) 공유 가치, 포용성 및 사회 정의 증진.

3.2 Patient collaboration in education is essential to prepare current and future practitioners to work in partnership with patients in order to:

  • i) deliver person-centred, relationship-based care;
  • ii) engage in shared decision-making;
  • iii) support self-care and resilience;
  • iv) enhance communication, and empathic and caring relationships;
  • v) promote patient safety and quality improvement;
  • vi) foster shared values, inclusion and social justice.

3.3 따라서 우리는 모든 교육 기관과 평생교육 제공자가 [환자와 파트너십을 구축하고 협력]할 수 있도록 [보건 및 사회복지 전문가를 준비시킬 필요성]에 대응할 것을 촉구합니다.
3.3 Therefore we call on all educational institutions and providers of continuing education to respond to the need to prepare health and social care professionals to build and work in partnerships with patients.

4. 현재 상태 
4. The current state 

4.1 환자를 적극적으로 참여시키는 교육은 혁신적이고 진화하고 있으며, 특히 환자의 전문성과 삶의 경험에 대한 인정과 존중과 관련하여 학습자의 흥미를 유발하고 있습니다.
4.1 Education that actively engages patients is innovative and evolving, especially with regard to recognition and respect for patient expertise and their lived experience, and is engaging for learners.

4.2 팀 기반 교육 및 치료를 촉진하기 위해 개별 전문 프로그램을 넘어 교육에 환자 참여를 확대할 기회를 놓치는 경우가 많습니다.
4.2 Opportunities are often missed to expand patient involvement in education beyond individual professional programs to promote team-based education and care.

4.3 현재 활동은 소수의 열성적인 사람들에 의해 주도되는 경우가 많고, 교육 구조에 통합되기보다는 단편적이거나 일시적인 경우가 많으며, 기관 내에서 지위와 우선순위가 낮은 경우가 많습니다.
4.3 Current activities are often driven by a small group of enthusiasts, are often fragmented or episodic rather than integrated into educational structures, and are often of low status and priority in the institution.

4.4 권력, 직업적 정체성, 학습 장소와 관련된 제도적 및 교육적 장벽이 존재하여 환자의 목소리를 듣지 못하게 합니다.
4.4 Institutional and educational barriers exist related to power, professional identity and location of learning which prevent patients from being heard.

4.5 환자를 교육자로 참여시켰을 때 얻을 수 있는 이점에 대한 결과 데이터는 제한적입니다.
4.5 Outcome data on the benefits of involving patients as educators are limited.

4.6 보건 및 사회복지 전문가 교육에 대한 환자 참여의 영향에 대한 [혁신, 평가 및 연구]를 위한 자금은 종종 불충분하고 안전하지 않습니다.
4.6 Funding for innovation, evaluation and research into the impact of patient involvement in health and social care professional education is often insufficient and insecure.

4.7 환자가 참여할 수 있도록 준비시키고, 권한을 부여하고, 자신감을 심어줄 수 있는 자원과 환자를 지원할 수 있는 구조와 지원이 없는 경우가 많습니다.
4.7 Resources to prepare, empower and give patients confidence to participate, and structures and support in place to support patients are often not present.

5. 향후 5년간의 행동 우선순위 
5. Priorities for action in the next five years 

5.1 인증 기준, 외부 및 내부 정책, 전문 기관의 선언문, 모범 사례 성명서 등의 지침을 통해 보건 및 사회복지 전문가 교육에 환자의 참여를 촉진합니다.
5.1 Promote the involvement of patients in health and social care professional education through directives such as accreditation standards, external and internal policies, pronouncements from professional bodies and best practice statements.

5.2 이러한 활동의 근거가 되고 가치가 있는 환자 전문성에 대한 기관, 지역, 국가 및 전 세계의 인식을 촉진합니다. 성과를 인정하고 성공을 축하합니다(교육 혁신 개발 및 보급을 위한 기금에 대한 정보를 파악하고 공개하며, 출판 기회를 늘립니다).
5.2 Foster institutional, local, national and global recognition of patient expertise that grounds this activity and makes it valued. Recognize achievement and celebrate success (identify and publicize information about funding to develop and disseminate educational innovations, increase publication opportunities).

5.3 현재 및 미래의 의료 전문가 교육에 참여하는 것이 본질적으로 매력적이고 가치 있는 활동이라고 믿는 환자, 지역사회 기관, 환자 옹호 단체 및 지역사회 구성원의 동기와 열정을 활용하여 참여하는 사람들의 다양성을 높입니다.
5.3 Increase the diversity of people who are involved by harnessing the motivation and enthusiasm of patients, community agencies, patient advocacy organizations and community members who believe that being involved in the education of current and future health professionals is an intrinsically attractive and valuable activity.

5.4 가능한 한 빨리 학습자에게 환자의 목소리 이니셔티브를 소개하고, 선발 과정, 커리큘럼 및 평가를 포함한 교육 연속체 전반에 걸쳐 이를 유지합니다.
5.4 Introduce the patient’s voice initiatives to learners as early as possible, and sustain them throughout the educational continuum, including selections processes, curriculum and assessment.

5.5 환자 파트너십과 팀워크에 대한 보다 총체적인 접근을 촉진하기 위해 새롭게 부상하는 다중 및 전문가 간 학습 활동에 환자의 참여를 목표로 삼습니다.
5.5 Target patient involvement in new and emerging multi- and inter-professional learning activities in order to facilitate a more holistic approach to patient partnerships and teamwork.

5.6 환자의 교육 참여를 촉진하기 위해 교육 기관과 지역사회 조직 간의 협력을 촉진하는 모델을 탐색하고 개발합니다.
5.6 Explore and create models to promote collaboration between educational institutions and community organizations to promote patient involvement in education.

5.7 환자와 협력하여 고품질의 포괄적이고 접근 가능한 연구 및 평가를 수행하고 전파하여 환자 및 학습자 결과와 이를 달성하는 과정을 포함하여 교육에 대한 환자 참여의 장단기적 영향에 대한 추가 증거를 제공합니다.
5.7 Conduct and disseminate high quality, inclusive and accessible research and evaluation in partnership with patients, to provide further evidence of short and long-term impact of patient involvement in education, including patient and learner outcomes, and the processes by which it is achieved.

5.8 컨퍼런스 및 교육 행사의 계획, 제공, 평가에 환자가 참여할 수 있도록 컨퍼런스 위원회에 로비하고, 환자가 컨퍼런스에 참석하고 발표할 수 있도록 지역사회 단체, 대학, 대학 및 기금 기관에 보조금을 제공할 수 있도록 로비합니다.
5.8 Lobby conference committees to involve patients in the planning, delivery and evaluation of conferences and educational events; lobby community organizations, colleges, universities and funding bodies to provide grants for patients to attend and present at conferences.

5.9 협력하고, 정보를 전파하고, 유망한 사례를 공유하고, 추가 회의를 계획할 수 있도록 지역 네트워크와 챔피언을 구축합니다.
5.9 Create regional networks of people and champions to collaborate, disseminate information, share promising practices and plan further meetings.


결론
Conclusion

우리는 이 성명서가 학회 대표들과 협력하여 개발되었기 때문에 현장에서 일하는 모든 사람들의 견해를 대표하지 않을 수 있으며, 행동 우선순위와 모범 사례를 결정할 때 맥락의 중요성을 고려하지 않았음을 알고 있습니다. 이러한 한계에도 불구하고 이 성명서는 이미 문헌에 나와 있는 아이디어를 하나의 문서로 통합했습니다.
We recognize that the statement was developed in collaboration with conference delegates and therefore may not represent the views of all those working in the field, and does not take into account the importance of context in determining the priorities for action and best practices. Despite these limitations the statement does bring together ideas, some already in the literature, into one document.

이 회의 성명서는 향후 5년 동안 보건 및 사회복지 전문가 교육에 환자 참여를 정착시키기 위해 필요하다고 생각되는 9가지 행동 우선순위를 강조합니다. 정책, 인정 및 지원, 혁신, 연구 및 평가, 보급 및 지식 교환 분야로 구성되어 있습니다. 이 중 영국의 사례에서 알 수 있듯이 실질적인 변화를 가져올 가능성이 가장 높은 활동은 정책과 관련된 활동입니다. 특히 인증 표준은 커리큘럼과 교육 환경의 변화를 이끄는 강력한 동인입니다. 인증 표준은 선도적인 교육 기관의 모범 사례와 교육 기관 외부의 정책 지침에 의해 주도됩니다. 이러한 수준의 변화를 위해서는 의료 시스템 및 전문 기관의 의사결정권자뿐만 아니라 보건 및 사회복지 전문가 교육을 직접 담당하는 사람들의 리더십이 필요합니다.
The conference statement highlights nine priorities for action over the next five years that we believe are necessary in order to embed patient involvement in the education of health and social care professionals. They are in the areas of policy, recognition and support, innovation, research and evaluation, and dissemination and knowledge exchange. Of these, the actions that are most likely to bring about substantive change, as evidenced by developments in the UK, are those related to policy. In particular, accreditation standards are powerful drivers for change in curriculum and educational settings. They are driven both by best practice within leading educational institutions and by policy directives external to them. Change at this level requires leadership from decision-makers in the health care system and professional bodies, as well as those directly responsible for the education of health and social care professionals.

리더, 교육자, 임상의가 교육 전반에 걸쳐 환자와의 협력 및 파트너십에 대한 기대치를 조기에 그리고 자주 모델링하고 설정하지 않으면 우리가 추구하는 향상된 결과, 즉 치료의 질 향상, 환자 안전 및 건강 결과 개선의 실현이 지연될 수 있습니다.Failure by leaders, educators and clinicians to model and set expectations of collaboration and partnerships with patients early and often across the continuum of education will delay the realization of the enhanced outcomes we seek: improved quality of care, patient safety and improved health outcomes.


Abstract

Purpose

The purpose of this paper is to present a statement about the involvement of patients in the education of health and social care professionals developed at an international conference in November 2015. It aims to describe the current state and identify action items for the next five years.

Design/methodology/approach

The paper describes how patient involvement in education has developed as a logical consequence of patient and public participation in health care and health research. It summarizes the current state of patient involvement across the continuum of education and training, including the benefits and barriers. It describes how the conference statement was developed and the outcome.

Findings

The conference statement identifies nine priorities for action in the areas of policy, recognition and support, innovation, research and evaluation, and dissemination and knowledge exchange.

Originality/value

The conference statement represents the first time that an international and multidisciplinary group has worked together to assemble in a single document specific priorities for action to embed the patient’s voice in health professional education.

Keywords

Citation

Towle, A., Farrell, C., Gaines, M.E., Godolphin, W., John, G., Kline, C., Lown, B., Morris, P., Symons, J. and Thistlethwaite, J. (2016), "The patient ' s voice in health and social care professional education: The Vancouver Statement", International Journal of Health Governance, Vol. 21 No. 1, pp. 18-25. 

Publisher

Emerald Group Publishing Limited

Copyright © 2016, Emerald Group Publishing Limited

의학교육에서 환자참여 (Understanding Medical Education, Chapter 15)
15 Patient Involvement in Medical Education
John Spencer1, Judy McKimm2, and Jools Symons3
1Newcastle University, Newcastle, UK
2College of Medicine, Swansea University Medical School, Swansea, UK
3Faculty of Medicine and Health, Leeds University, Leeds, UK

소개
Introduction

제 방법은 (학생들을) 매일 공립 병원에 있는 환자들을 진료하러 데려가서 환자의 증상을 듣고 신체적 소견을 볼 수 있도록 직접 의료 실습으로 안내하는 것입니다. 그런 다음 학생들에게 환자에게서 무엇을 발견했는지, 질병의 원인과 치료 원칙에 대한 그들의 생각과 인식에 대해 질문합니다.
My method (is to) lead my students by hand to the practice of medicine, taking them every day to see patients in the public hospital, that they may hear the patient
s symptoms and see their physical findings. Then I question the students as to what they have noted in their patients and about their thoughts and perceptions regarding the causes of the illness and the principles of treatment.

실비우스(1614-1672) [1]
Sylvius (1614
1672) [1]

17세기 초 실비우스의 교육 방식은 매우 이례적이었을 것이며, 실제로 환자를 의학교육에 이렇게까지 참여시킨다는 것은 상당히 괴상한 일로 여겨졌을 것입니다. 적어도 히포크라테스로 거슬러 올라가는 전통적인 의사 수습 과정은 환자와의 접촉에 의존했지만, 13세기 유럽 대학에서 의학교육이 공식적으로 확립될 무렵에는 환자가 거의 '사라진' 상태였습니다. 르네상스 이후가 되어서야 대학에서 병상 경험을 도입하기 시작했습니다. 그리고 [18세기]에는 한 저자의 표현을 빌리자면, 학생들이 '병동을 돌아다니며' 시간을 보내면서 책으로 배운 내용을 보충해야 한다는 것이 '공리'가 되었습니다[2]. 환자 접촉을 통한 임상 경험은 점차 의학교육의 중심에 자리 잡았고, 20세기에 접어들면서 윌리엄 오슬러 경의 '환자 없이 텍스트를 가르치지 않는 것이 안전한 규칙이며, 최고의 교육은 환자 자신이 가르치는 것'[3]이라는 주장은 현대 의학교육의 수사학의 일부가 되었습니다. 
In the early seventeenth century Sylvius
teaching methods would have been unusual, indeed it would have been considered distinctly eccentric to involve patients in medical education to such a degree. Whilst the traditional physician apprenticeship dating back (at least) to Hippocrates relied on contact with sick people, by the time medical education was formally established in the universities of Europe in the thirteenth century, the patient had all but disappeared. It was not until after the Renaissance that universities began to introduce bedside experience. And by the eighteenth century it was, in the words of one author, axiomatic that students should supplement their book learning by spending time walking the wards [2]. Clinical experience through patient contact gradually assumed its place at the centre of medical education such that by the turn of the twentieth century, Sir William Oslers assertion that ‘it is a safe rule to have no teaching without a patient for a text, and the best teaching is that taught by the patient himself’ [3] had become part of the rhetoric of a modern medical education.

이렇게 진화하는 중심성에도 불구하고 임상 교육에서 환자의 역할은 [역사적으로 대체로 수동적]이었습니다. 최악의 경우, 불운한 병원 수감자는 침대 밑에 모여 있는 학생들에게 '아니오'라고 말할 수 없었고, '참여'보다는 '강요'에 가까웠습니다. 기껏해야 예의를 갖춰 대하더라도 환자는 [임상 교육이 이루어지는 매개체, 즉 '흥미로운 사례'에 지나지 않는 경우]가 많았습니다. 
Despite this evolving centrality, the patient
s role in clinical education has historically been largely passive. At worst, a hapless hospital inmate unable to say No to a gaggle of students at the foot of the bed; imposition more than involvement. Even at best, the patient, though treated with courtesy, was often no more than a medium, an interesting case, through which clinical teaching took place.

이 장에서는 의사 및 기타 의료 전문가 교육에 환자를 적극적으로 참여시키는 것의 중요성을 고려하고, 참여 모델을 설명하며, 이 주제에 대한 장단점 증거를 포함하여 점점 증가하는 문헌의 측면을 살펴보고, 문제점과 도전과제를 논의하고, 추가 조사할 영역을 식별합니다. 그러나 그 전에 먼저 용어에 대해 살펴보는 것이 중요합니다.
This chapter considers the importance of actively involving patients in the education of doctors and other health professionals, describes models of involvement, explores aspects of the growing literature on the subject, including evidence of benefits and disadvantages, discusses problems and challenges, and identifies areas for further inquiry. Before doing that, however, it is important that we first consider terminology.

환자, 사용자, 소비자
Patients, Users, and Consumers

이 분야의 용어는 논란과 혼란을 야기할 수 있는 잠재적인 원천이며, 문제도 복잡합니다. 사용되는 언어는 [가치와 권력 관계를 반영]하고 강한 감정을 불러일으키며 문헌 검색과 같은 학술 활동과 이해관계가 있는 [그룹 간의 협업을 저해]할 수 있습니다[4, 5]. 사람들이 선호하는 [설명 방식에 대한 견해는 매우 다양]하며, 선호도와 언어는 시간이 지남에 따라 변화합니다[5]. 이 장에서는 간결성을 위해 주로 '환자'(그리고 해당되는 경우 '보호자')라는 용어를 사용하는데, 이는 여러 가지 한계에도 불구하고 [의학 교육에서 가장 널리 인식되는 용어]이기 때문입니다(전문가와 국가, 사용자 그룹에 따라 용어가 다르지만)(상자 15.1 참조). 우리는 '환자'를, 현재 치료를 받고 있는지 여부에 관계없이, 건강 문제가 있는 사람과 건강한 사람 모두를 의미하기 위해 사용하지만, 이것이 논쟁의 여지가 있고 모든 사람의 선호를 인정하지는 않을 것임을 알고 있습니다. 또한 우리는 ['현장에서의' 언어의 힘]을 염두에 두는 것이 중요하다는 점을 인식하고 있습니다[4]. 용어의 문제는 [환자가 점점 더 적극적으로 수행하는 역할을 설명]하는 데에도 적용됩니다. 강사, 교육자, 전문가, 동료, 멘토 등 다양한 용어가 사용되고 있습니다.
Nomenclature in this area is a potential source of controversy and confusion, and the issues are complex. The language used reflects values and power relations, generates strong emotions, and may impair both scholarly activity, such as searching the literature, and collaboration between interested groups [4, 5]. Views vary greatly about how people prefer to be described, and preferences and language change over time [5]. For simplicitys sake we will mainly use the term patient (and, where relevant, carer) throughout this chapter, because, for all its limitations, it is probably the most widely recognised term in medical education although terminology differs amongst user groups as well as different professionals and countries (see Box 15.1). We use ‘patient’ to mean both people with health problems, whether or not they are currently receiving care, and healthy people, although we recognise that this may be contentious and will not acknowledge everyones preference. We also recognise that on the ground it is important to be mindful of the power of language [4]. The problem of terminology also extends to describing the active roles increasingly played by patients. A wide range of terms are used, including instructor, educator, expert, associate, and mentor.


상자 15.1 중점 사항: 용어
BOX 15.1 FOCUS ON: Terminology

['사용자' 또는 '서비스 사용자']영국에서는 일반적으로 사용되지만 북미에서는 불법 약물 사용과 더 관련이 있을 수 있습니다. 또한, 이 용어는 [의료 서비스]를 보다 총체적인 관계 기반 상호 작용이 아닌 [단순한 기술적 서비스라는 의미를 내포]하고 있습니다. 그러나 '사용자'는 어느 정도의 적극적인 참여를 의미합니다.
User or service user is commonly used in the UK, but in North America may be more associated with illicit drug use. Furthermore, the term implies that medical care is simply a technical service rather than a more holistic, relationshipbased interaction. However, user does imply a degree of active participation.

['일반인']도 자주 사용되는데, 이는 환자가 반드시 아프거나 적극적인 치료를 받고 있지 않을 수도 있다는 점을 인정합니다. 그러나 '일반인'은 본질적으로 어떤 [긍정적인 속성이 아니라], '전문가'가 아닌 것(예: '전문가'가 아님)과 '의료 전문 지식이 없는 것'(예: 의료 전문 지식이 없음)으로 누군가를 정의합니다.
Lay is also used frequently; it acknowledges that the person may not necessarily be either sick or under active care. However, lay defines someone essentially not by any positive attributes, but by what they are not (i.e. not professional) and what they do not have (i.e. they dont have medical expertise).

['소비자', '고객' 또는 '손님'][상품으로서의 건강, 시장으로서의 의료]를 의미하므로 [상업적 관계를 암시]합니다.
Consumer, client, or customer connote health as a commodity and health care as a market, and thus suggest a commercial relationship.

['생존자' 및 '회복 중인 사람']은 주로 [암 및 정신 건강과 관련하여 사용하도록 제한]되는 용어입니다.
Survivor and person in recovery are terms mostly restricted to use in relation to cancer and mental health.

['환자'][병에 걸려 적극적인 치료를 받고 있다는 의미][수동성을 내포]하고 있으며 [치료 관계가 의료화]되어 있다는 점에서 가장 모호하지 않은 용어일 수 있습니다.
Patient is probably the most unambiguous term, although it implies that the person is sick and under active care; the term connotes passivity; and the care relationship is medicalised.

['표준화 환자']는 원래 자신의 [문제를 표준화된 방식으로 표현하도록 훈련된 실제 환자]로, ['시뮬레이션 환자'와 겹치는 경우]가 많습니다.  Standardised patients were originally real patients trained to present standardised representations of their own problems; the term often overlaps with simulated patient.  


환자 참여의 맥락
Context of Patient Involvement

환자와 대중을 의료 서비스에 참여시키는 것은 다양한 측면을 포괄할 수 있습니다. 예를 들어, Carman 등[6]은 '환자 및 가족 참여' 모델을 세 가지 중요한 차원으로 설명했습니다.

  • 참여 형태의 연속성(상담에서 파트너십 및 공유 리더십에 이르기까지), 
  • 참여가 발생할 수 있는 다양한 수준(직접 치료에서 정책 결정에 이르기까지),
  • 참여 여부와 정도에 영향을 미치는 요인

Engaging patients and the public in health care can cover many aspects. For example, Carman et al. [6] described a model of patient and family engagement with three critical dimensions:

  • the continuum of forms of engagement (from consultation to partnership and shared leadership),
  • the different levels at which engagement may occur (ranging from direct care to policy making), and
  • the factors influencing whether and to what extent engagement occurs.

[의료 서비스의 개발, 전달 및 관리에 대한 환자 참여]는 수십 년 동안 전 세계 보건 정책에 자리 잡았습니다. 영국을 예로 들면, 연속적인 보건 개혁의 물결은 '나 없이 나에 대한 결정은 없다'는 캐치프레이즈에 반영된 것처럼 환자와 대중의 참여가 NHS에서 일상적인 관행의 일부가 되어야 한다는 것을 목표로 해 왔습니다[7, 8]. 이 원칙은 이제 NHS 헌법에 명시되어 있으며, 영국에서 NHS는 '개인이 스스로 건강을 증진하고 관리할 수 있도록 지원해야 할 뿐만 아니라 NHS 서비스는 환자, 가족 및 보호자의 요구와 선호를 반영하고 이에 맞춰 조정되어야 한다'는 점을 분명히 하고 있습니다[9, 3페이지]. 이러한 발전은 필연적으로 의료 전문가의 교육과 훈련을 포함하게 되었으며[10], 일반 의학 위원회(GMC)의 최신 교육 및 훈련 표준에는 '의과대학 커리큘럼 개발은 환자, 가족 및 보호자의 의견을 반영해야 한다'는 요구 사항이 포함되어 있습니다[11]. GMC는 또한 환자와 대중의 참여에 대한 '보충 지침'을 작성했습니다 [12]. 이러한 추세는 의학교육이나 영국에만 국한된 것이 아닙니다[13].
Patient involvement in the development, delivery, and management of health care has been enshrined in health policy worldwide for several decades. Taking the UK as an example, successive waves of health reform have aimed to ensure that patient and public involvement should be part of everyday practice in the NHS [7, 8], reflected in the catchphrase
‘no decision about me, without me’. This principle is now enshrined in the NHS Constitution which is absolutely clear that the NHS (in England) ‘should support individuals to promote and manage their own health but also that NHS services must reflect, and should be coordinated around and tailored to, the needs and preferences of patients, their families and their carers’ [9, p. 3]. This development has inevitably encompassed the education and training of health professionals [10] and the latest standards for education and training from the General Medical Council (GMC) includes the requirement that ‘the development of medical school curricula must be informed by … patients, families and carers’ [11]. The GMC has also produced supplementary guidance on the involvement of patients and the public [12]. These trends are not confined to medical education nor to the UK [13].

국가 정책 의제 외에도, 의과대학은 '교육, 연구 및 봉사 활동을 그들이 봉사해야 하는 지역사회, 지역 및/또는 국가의 우선적인 건강 문제를 해결하는 방향으로 유도'하는 '사회적 책무성'을 입증해야 할 의무가 있습니다[14]. 사회적 책무성은 다음의 개념을 포괄하는 현대의 주요 담론으로 발전해 왔습니다. 

  • (직업과 사회 간의) '사회적 계약',
  • (의사와 기타 의료 전문가의) '사회적 책임',
  • (기관의) '사회적 반응'

Aside from national policy agendas, there is an obligation for medical schools to demonstrate ‘social accountability’ which involves schools directing ‘their education, research and service activities towards addressing the priority health concerns of the community, region and/or nation they have the mandate to serve’ [14]. Social accountability has evolved as a major contemporary discourse, embracing concepts such as

  • ‘the social contract’ (between professions and society),
  • ‘social responsibility’ (of doctors and other health professionals), and
  • ‘social responsiveness’ (of institutions).

 

울라드와 볼렌[15]은 의과대학이 '사회와의 유대를 통해 건강에 더 큰 영향을 미치기 위해 노력하고 이를 입증해야 하는' 과제를 강조하며, 이것이 바로 [사회적 책무성의 목적]이라고 주장합니다. 이들은 의과대학이 공식적인 프로그램과 '숨겨진 커리큘럼' 모두에서 [사회적 책무성에 대한 헌신]을 보여줘야 한다고 주장합니다. 이와 동시에 유사한 사회적, 정치적 세력의 영향을 받아 '전문직업성'의 개념이 재검토되고 재정의되었으며, 이는 교육에 분명한 영향을 미쳤습니다[16-18]. 전문직업성의 본질, 이론적 근거, 최선의 교육, 평가 및 연구 방법에 대한 논쟁이 계속되고 있지만, 전문직업성은 환자의 이익에 대한 헌신에 의해 뒷받침되며 '단순한 행동이 아닌 미덕, 더 깊은 태도, 실천적 지혜를 필요로 하는 것'이어야 한다는 데에는 대체로 동의하고 있습니다[19].
Woollard and Boelen [15] highlight the challenge for medical schools
to strive for and demonstrate greater impact on health through their bonds with society, which, they contend, is the very purpose of social accountability. They argue that medical schools must demonstrate a commitment to social accountability in both formal programmes and the hidden curriculum. At the same time, and influenced by similar social and political forces, the concept of professionalismhas been revisited and redefined, with obvious implications for education [1618]. While debate continues about the nature of professionalism, its theoretical basis, and how best to teach, assess, and research it, there is general agreement that professionalism is underpinned by a commitment to patients’ interests and must be ‘based on virtue, deeper attitudes rather than mere behaviour, and requiring of practical wisdom’ [19].

[기대치의 변화] 외에도, 이제 [건강 및 의료 치료의 심리적, 사회적 결과에 대한 인식]이 높아졌으며, 환자의 관점과 우선순위를 중심에 두는 '생물심리사회적 모델' 및 '환자 중심주의'와 같은 새로운 모델이 실천을 안내할 필요성이 커졌습니다[20, 21]. [가치관, 선호도, 질병에 대한 반응의 환자 간 차이]와 [이들이 치료 결과에 미치는 영향에 대한 지식]이 증가함에 따라 의료 전문가와 환자의 상호 작용이 중심이 되었습니다. 의학의 [기술적 복잡성]으로 인해 진단 테스트와 치료법 선택의 폭이 넓어지고 더 복잡한 개입이 가능해졌지만, [재정적 제약]으로 인해 의사는 종종 기대치와 실현 가능한 옵션 사이의 긴장을 헤쳐나가야 합니다. 
Aside from changes in expectations, there is now a greater appreciation of the psychological and social consequences of ill health and health care treatments, and the need for new models to guide practice, such as the ‘bio‐psychosocial model and ‘patient‐centredness, which put the patients perspective and priorities at the centre [20, 21]. Increased knowledge about variation between patients in values, preferences, and responses to illness and their effect on treatment outcomes has brought the health care professionals interaction with the patient to centre stage. And whilst the technical complexity of medicine offers greater choice of diagnostic tests and treatments and more complex interventions, financial constraints often lead to doctors having to navigate their way through the tensions between expectations and feasible options.  

이러한 발전은 [대중의 기대치의 변화와 병행]하여 발생했으며, 이러한 변화는 종종 [가부장제에서 파트너십으로 전환]하는 과정의 일부로 설명됩니다. [전문직에 대한 무비판적인 존중이 감소하고, 소비주의가 부상하고, 의료 서비스가 달성할 수 있는 것과 달성할 수 없는 것에 대한 이해]가 높아지면서 많은 환자들이 다음을 기대합니다[22].

  • 자신의 우려를 해결하고 요청을 경청받기,
  • 자신의 상태에 대해 충분히 정보를 얻기,
  • 치료의 위험에 대한 브리핑을 받기,
  • 치료에 대한 결정에 참여하기,
  • 자신의 상태를 관리하기 위한 교육과 지원 받기

These developments have occurred in parallel with changes in public expectations, changes often described as part of the move from paternalism to partnership. With the decline in uncritical deference to the professions, the rise of consumerism, and a greater understanding of what health care can and cannot achieve, many patients expect

  • to have their concerns addressed and their requests heard, and
  • to be fully informed about their condition,
  • briefed about risks of treatment,
  • involved in decisions about their care, and
  • educated and supported to manage their own conditions [22].

[공동 제작]은 지난 30~40년 동안 개발된 서비스 제공 모델로, [서비스 사용자의 기여가 가장 중요하다]는 점을 강조합니다[23]. [공동 제작]은 [사용자가 자신의 상황에서 전문가로 간주]되고 [전문가가 '해결사에서 촉진자'로 이동]하는 [권력의 재배치]를 포함합니다[23]. 이를 위해서는 [전문가와의 새로운 관계]가 필요하며, 모든 당사자는 새로운 역할을 수행하기 위한 교육이 필요합니다. 같은 기간 동안 [공동 의사 결정]은 임상적 만남을 위한 새로운 모델로 발전했습니다. 기본 윤리적 원칙은 [자기 결정이 바람직하며 임상의의 역할은 이를 지원하는 것]임을 인정해야 합니다. 공동 의사 결정은 그 효과를 뒷받침하는 증거 기반이 점점 늘어나고 있으며[24], 다양한 특정 의사소통 기술을 사용하여 임상 진료에서 효과적인 관계를 구축하는 데 달려 있습니다.
Co
production is a model of service delivery developed over the past 3040 years which emphasises the central importance of the contribution of service users [23]. Collaborative coproduction involves a relocation of power whereby the user is seen as an expert in their own circumstances, and professionals move from being fixers to facilitators[23]. It requires a new relationship with professionals, and all parties need training to take on new roles. Over the same period, shared decisionmaking has evolved as a new model for the clinical encounter. The underlying ethical principles require acceptance that selfdetermination is desirable and that the clinicians role is to support this. Shared decisionmaking for which there is a growing evidence base to support effectiveness [24] depends on building an effective relationship in the clinical encounter using a range of specific communication skills.

이러한 변화로 인해 [환자와 함께 일하는 것이 더욱 까다로워졌습니다]. 

  • 불확실한 상황에서 [환자가 선택권을 행사]할 수 있도록 지원해야 하고,
  • 환자가 이용 가능한 옵션과 관련된 [리스크와 위험을 이해]할 수 있도록 해야하며,
  • [선택에 대한 제한을 받아들이도록] 도와야 한다.

이러한 모든 것을 수행하는 방법을 배우려면 [환자의 의견이 필요]하며, [교육자]는 [환자의 권리와 요구를 존중]하면서 [학생과 수련의가 학습할 수 있는 가장 적절한 방법을 모색]해야 합니다[25].
Such changes make working with patients ever more demanding
for example,

  • supporting patients to exercise choice in situations of uncertainty,
  • enabling them to understand the options available and the risks and dangers involved, and
  • helping them appreciate restrictions on choice.

Learning how to do all these things needs input from patients and challenges educators to seek the most appropriate ways of enabling students and trainees to learn, whilst respecting the rights and needs of patients [25].

[의료 전문가 교육에 환자와 보호자의 적극적인 참여]는 정책 및 연구를 포함한 다른 영역에서의 참여에서 논리적으로 발전한 것입니다. 이는 의학, 간호, 사회복지, (비의사) 정신건강 전문가 교육에서 시작되었지만 작업치료, 약학, 물리치료와 같은 다른 분야로 확산되었습니다. 그럼에도 불구하고 이 글을 쓰는 시점에서 최근의 입장문을 인용하자면, '아직 교육 실무의 주류에 잘 정착되지 않았으며', '종종 특정 환자 집단에 국한되고 ... 파편화되어 교육 기관에 포함되지 않으며 적절한 인프라와 지속적인 리더십 및 자원이 부족하다'[26, 19페이지]고 합니다.
Active involvement of patients and carers in health care professional education was a logical development from involvement in other areas, including policy and research. It started in medicine, nursing, social care, and education of (non
physician) mental health professionals but has spread to other disciplines such as occupational therapy, pharmacy, and physical therapy. Nonetheless at the time of writing, to quote a recent position paper, it is still not well established in the mainstream of educational practice, and is often limited to a specific population of patients is fragmented and not embedded in the educational institution, and lacks appropriate infrastructure and sustained leadership and resources [26, p. 19].

환자 참여의 범위
Scope of Patient Involvement

많은 사람들이 '교육과정에 대한 환자 참여'를 교육, 학습 및 평가에 대한 직접적인 참여로 제한한다고 생각할 수 있으며, 실제로 이러한 영역이 이 장의 주요 초점입니다. 그럼에도 불구하고 환자는 교육 과정의 모든 측면에 기여할 수 있는 잠재력이 있습니다. 여기에는 다음이 포함됩니다:
Many people might assume that patient involvement in the curriculum was limited to direct involvement in teaching, learning, and assessment; indeed, these areas are the main focus of this chapter. Nonetheless, there is potential for people to make a contribution to all aspects of the educational process. These include the following:

- 학생 선발 및 입학
• student selection and admission

- 커리큘럼 개발
• curriculum development

- 코스 관리
• course management

- 교수 개발
• faculty development

- 실습 배치
• practice placements

- 프로그램 평가.
• programme evaluation.

그러나 최근의 여러 주요 문헌 검토에 따르면 위의 대부분의 영역에서 환자의 참여는 여전히 상대적으로 드문 것으로 나타났습니다. 여러 프레임워크가 환자 참여의 잠재적 범위를 탐색하는 데 도움이 되며, 여기서는 세 가지 프레임워크를 설명합니다: Tew 등[27]의 '환자 참여의 사다리', '캠브리지 프레임워크'[28], Towle 등[5]이 설명한 적극적 참여의 분류법.
However, several recent major literature reviews highlight that patient involvement in most of the above areas is still relatively unusual. A number of frameworks help us explore the potential scope of patient involvement, and here we describe three:

  • Tew et al.’s [27] ‘ladder of patient involvement’,
  • the ‘Cambridge framework’ [28], and
  • a taxonomy of active involvement described by Towle et al. [5].

 

환자 참여의 사다리
Ladder of Patient Involvement

Tew 등[27]은 개별 프로그램과 기관 내에서 환자의 참여를 확립하고 모니터링하는 데 사용할 수 있는 '참여의 사다리'를 설명합니다. 이 도구는 비의사의 정신건강 교육 및 훈련의 맥락에서 개발되었지만 교육 스펙트럼과 여러 분야에 걸쳐 적용될 수 있습니다(상자 15.2 참조).
Tew et al. [27] describe a 
ladder of involvement, which they propose can be used to establish and monitor patients involvement within individual programmes and institutions. The tool was developed in the context of nonphysician mental health education and training, but could be applied both across the educational spectrum and across disciplines (see Box 15.2).


박스 15.2 환자 참여의 사다리 [27]
BOX 15.2 Ladder of patient involvement [27]

1 관여하지 않음
No involvement

서비스 사용자나 보호자의 협의나 참여 없이 커리큘럼이 계획, 제공, 관리됩니다.
The curriculum is planned, delivered, and managed with no consultation or involvement of service users or carers.

2 제한적 참여
Limited involvement

지역 서비스 사용자 또는 보호자 그룹과 협력합니다. 서비스 사용자/보호자가 지정된 슬롯에서 '자신의 이야기를 들려주거나', 코스 계획 또는 관리, 학생 선발, 학생 평가 또는 프로그램 평가에 대한 자문을 받도록 초대됩니다. 비용은 제공되지만 전체 과정을 형성하는 데 참여할 기회는 없습니다.
Outreach with local service user or carer groups. Service users/carers invited to 
tell their story in a designated slot and/or be consulted about course planning or management, student selection, student assessment, or programme evaluation. Payment offered but no opportunity to participate in shaping the course as a whole.

3 참여 확대
Growing involvement

서비스 사용자/보호자가 계획, 제공, 학생 선발, 평가, 관리 또는 평가 중 최소 두 가지 이상에 정기적으로 기여합니다. 일반 방문 강사 요금으로 지불합니다. 단, [커리큘럼 콘텐츠, 학습 결과 또는 학생 선발]과 같은 문제에 대한 주요 결정은 서비스 사용자/보호자가 대표로 참여하지 않는 포럼에서 이루어집니다. 세션 전후에 일부 지원은 제공되지만 일관된 교육 및 감독 프로그램은 제공되지 않습니다. 학생으로서 프로그램에 참여하는 서비스 사용자 및 보호자에 대한 차별이 없습니다.
Service users/carers contribute regularly to at least two of the following: planning, delivery, student selection, assessment, management, or evaluation. Payment at normal visiting lecturer rates. However, key decisions on matters such as curriculum content, learning outcomes, or student selection made in forums in which service users/carers are not represented. Some support before and after sessions, but no consistent programme of training and supervision. No discrimination against service users and carers accessing programmes as students.

4 협업
Collaboration

서비스 사용자/보호자가 계획, 제공, 학생 선정, 평가, 관리 또는 평가 중 최소 세 가지에 전체 팀원으로서 참여합니다. [가치 선언문]으로 뒷받침됩니다. 서비스 사용자/보호자가 커리큘럼 콘텐츠와 같은 주요 결정에 기여합니다. 프로그램 기여자들이 모일 수 있는 시설과 정기적인 교육, 감독 및 지원 제공. 서비스 사용자 및 보호자가 학생으로서 프로그램에 참여할 수 있도록 장려하는 적극적인 조치.
Service users/carers involved as full team members in at least three of the following: planning, delivery, student selection, assessment, management, or evaluation. Underpinned by a statement of values. Service users/carers contribute to key decisions on matters such as curriculum content. Facility for contributors to the programme to meet and regular provision of training, supervision, and support. Positive steps to encourage service users and carers to access programmes as students.

5 파트너십
Partnership

서비스 사용자, 보호자, 직원은 [파트너십 가치에 대한 명시적인 선언]을 바탕으로 모든 영역에서 체계적이고 전략적으로 협력합니다. 모든 주요 결정은 공동으로 이루어집니다. 서비스 이용자 및 보호자가 실습 학습 평가에 참여합니다. 유도, 지원 및 교육을 제공하기 위한 적절한 자금이 지원되는 인프라. 프로그램과 독립 그룹 간에 체결된 보안 계약 및 계약에 따라 강사로 고용된 서비스 이용자 및 보호자. 서비스 이용자와 보호자가 아직 자격을 취득할 수 있는 위치에 있지 않더라도 학습 세션에 참여하도록 장려하기 위한 적극적인 조치.
Service users, carers, and staff work together systematically and strategically across all areas, underpinned by an explicit statement of partnership values. All key decisions made jointly. Service users and carers involved in the assessment of practice learning. Adequately funded infrastructure to provide induction, support, and training. Service users and carers employed as lecturers on secure contracts and/or contracts established between programmes and independent groups. Positive steps made to encourage service users and carers to join learning sessions, even if not (yet) in a position to achieve qualifications. 


캠브리지 프레임워크
The Cambridge Framework

스펜서 등[28]은 의학교육에서 환자의 역할을 검토하고 환자 참여에 대한 논의를 촉진하기 위한 프레임워크('캠브리지 프레임워크')를 제안했습니다. 이 프레임워크는 [환자, 학생, 교사가 상호 작용하는 맥락의 네 가지 속성]을 '누가?', '어떻게?', '어디서?', '무엇을?'이라는 제목 아래 기반으로 하며, 환자 참여를 계획하거나 평가할 수 있는 템플릿을 제공합니다.
Spencer et al. [28] reviewed the patient
s role in medical education and suggested a framework (the Cambridge framework) to facilitate discussion about patient involvement. It is based on four sets of attributes of contexts in which patients, students, and teachers interact, under the headings Who?, How?, Where, and What?, providing a template against which patient involvement can be planned or evaluated

누가?
Who?

여기에는 각 환자, 가족, 간병인의 개별적인 [배경, 문화, 경험, 기대치]가 반영됩니다. 환자는 [연령, 성별, 인종, 성적 지향, 정서적 및 지적 능력, 사회경제적 지위]뿐만 아니라 현재 나타나는 [임상적 문제]도 매우 다양합니다.
This reflects the individual background, culture, experience, and expectations of each patient, their family, and carers. Patients vary immensely in terms of the clinical problems with which they present, as well as their age, gender, ethnicity, sexual orientation, emotional and intellectual capacity, and socio
economic status.

어떻게?
How?

학생과 수련의는 다양한 교육 기회를 제공하는 다양한 환경(예: 병원 병동, 병원 및 지역사회 외래 진료소, 응급실)에서 일합니다. [교육 기회]는 만남이 계획된 만남인지 우연한 만남인지, 시간적 압박, 가능한 감독 등의 요인에 따라 달라집니다. 이러한 문제를 고려하면 교사가 의도한 학습 결과와 환경에 따라 [환자를 참여시킬 수 있는 방법]을 계획하는 데 도움이 될 수 있습니다.
Students and trainees work in a wide range of settings (such as hospital wards, hospital and community ambulatory clinics, emergency departments), which present different educational opportunities. These depend on factors such as whether encounters are planned or opportunistic, pressures of time, available supervision, and so on. Considering these issues may help teachers plan how patients may be involved based on the intended learning outcomes and the setting.

어디에서?
Where?

의료 서비스는 [다양한 장소와 환경]에서 이루어지며 맥락이 학습의 성격과 질에 영향을 미칠 수밖에 없음을 인식하고, 이 제목 아래에서 다루는 질문은 [장소, 안전, 정체성, 권력 관계]와 관련된 문제를 탐구합니다. '어디'에는 실습 병동과 같이 '실제' 환경인지 '시뮬레이션' 환경인지, '단일 전문가' 환경과 '다중 전문가' 환경을 대조하여 의사 혼자서 환자와 함께 학습하는 상황과 다양한 보건 및 사회복지 전문가가 함께 학습하고 일하는 상황을 구분하는 것도 포함됩니다.
Recognising that health care takes place in a wide range of locations and settings, and that context will inevitably influence the nature and quality of learning, questions addressed under this heading explore issues to do with place, safety, identity, and power relationships. The
Where? also includes whether it is a real or simulated environment, such as a training ward, and the contrast between uniprofessionalor multiprofessional settings to distinguish between situations in which doctors alone are learning with patients and those in which a range of health and social care professionals are learning and working.

어떤?
What?

이 속성은 '내용', 즉 제시된 임상 문제, 학습할 수 있는 특정 기술 및 지식, 기본 태도 및 가치를 다룹니다. 이러한 속성을 고려하면 교사는 특정 상황의 잠재력을 최대한 실현하고 환자와 학습자 모두에게 미칠 수 있는 영향을 평가하는 데 도움이 됩니다.
This set of attributes deals with
content: the clinical problems presented, the specific skills and knowledge that may be learned, and underlying attitudes and values. Consideration of these should help teachers realise the maximum potential of particular situations and assess the likely impact on both patients and learners.

적극적인 환자 참여의 분류법
Taxonomy of Active Patient Involvement

Towle 등[5]은 '캠브리지 프레임워크'와 '참여의 사다리'의 요소를 결합한 분류법을 제안하며, 이는 환자의 역할을 명확히 하고 연구 결과를 보다 쉽게 표현, 종합 및 비교할 수 있도록 도와준다고 주장합니다. 이 분류는 실제 환자 외에 환자를 접할 수 있는 다양한 방법을 고려하여 6단계의 5가지 속성에 기반한 참여의 연속성을 설명합니다(상자 15.3 참조).
Towle et al. [5] propose a taxonomy combining elements of both the
Cambridge Framework and ladder of involvement, which they argue helps both clarify the patients role and makes communication of research findings easier to articulate, synthesise, and compare. Their classification considers the wide variety of ways other than real patients in the workplace in which patients may be encountered, describing a continuum of involvement grounded in five attributes at six levels (see Box 15.3).

 

환자 참여의 수준
Levels of Patient Involvement

이 섹션에서는 상자 15.3에 설명된 각 참여 범주에서 의학교육자에게 발생할 수 있는 몇 가지 문제를 설명합니다.
In this section, we describe some of the issues that may arise for medical educators in each of the categories of involvement described in Box 15.3.

사례 및 시나리오
Cases and Scenarios

[종이 기반 사례]는 실제 환자 접촉을 보완하기 위해 오랫동안 사용되어 왔으며, 기술이 발전함에 따라 비디오 기반 및 전자 사례의 사용이 증가하고 있습니다. [가상 환자(VP)]의 사용은 1970년대 초에 처음 설명되었습니다. VP는 다음과 같이 정의되었습니다: '실제 임상 시나리오를 시뮬레이션하는 특정 유형의 컴퓨터 프로그램: 학습자가 의료 서비스 제공자의 역할을 모방하여 병력을 파악하고, 신체 검사를 수행하고, 진단 및 치료 결정을 내리는 것'[29]으로 정의되었습니다. 가상 환자는 [정적이거나 동적]일 수 있고, [수동적이거나 대화식]으로 사용될 수 있으며, [선형적이거나 분기적]일 수 있습니다[30].
Paper
based cases have long been used to supplement real patient contact, with videobased and electronic cases increasing in use as the technology has developed. The use of virtual patients (VPs) was first described in the early 1970s. A VP has been defined as a: specific type of computer program that simulates reallife clinical scenarios: learners emulate the roles of health care providers to obtain a history, conduct a physical examination, and make diagnostic and therapeutic decisions [29]. Virtual patients can be static or dynamic, used passively or interactively, and may be linear or branching [30].

일부 리뷰에서는 VP의 매우 다양한 용도에 대한 [증거 기반이 매우 취약]하다고 결론지었지만, 최근의 한 토론 논문에서는 PBL 사례, 대화형 강의 및 세미나, 형성 평가 및 총괄 평가와 같은 영역을 포함하여 커리큘럼에 VP가 포함될 정도로 VP의 신중한 적용에 [많은 진전이 이루어졌다]고 주장했습니다[31]. 이러한 발전의 원동력에는 국제적인 협업, 비용 절감, 더 나은 저작 시스템, 더 쉬운 보급 등이 있습니다. 실제 환자 접촉을 대체하기 위한 것은 아니지만, VP의 사용은 특히 이론적 및 경험적 관점에서 다양한 사례와 변형에 노출되어야 하는 임상 추론의 개발에서 임상 경험을 유용하게 보완할 수 있는 것으로 보입니다[31, 32]. 그러나 커리큘럼 내에서 가장 효과적인 설계, 순서 또는 균형 등에 대한 수준 높은 연구는 상대적으로 거의 이루어지지 않았습니다. 시뮬레이션 기반 교육 관련 분야에서 효과적인 교육 설계를 뒷받침하는 증거 기반 원칙을 고려하는 것이 도움이 될 수 있습니다. 여기에는 다양한 난이도, 반복적이고 분산된 연습, 인지적 상호 작용, 다양한 학습 전략, 개별화된 학습, 숙달 및 피드백이 포함됩니다 [33, 34]. 11장 참조. 
Whilst some reviews concluded that the evidence base to inform the very wide variety of uses of VPs was very weak, a more recent discussion paper contended that much progress had been made in the thoughtful application of VPs, to the point where their use has become embedded in curricula, including areas such as PBL cases, interactive lectures and seminars, and both formative and summative assessments [31]. Drivers of these developments include international collaboration, decreasing costs, better authoring systems, and greater ease of dissemination. Although not intended to replace authentic patient contact, the use of VPs appears to be able to usefully complement clinical experience
in particular, from both theoretical and empirical perspectives, in the development of clinical reasoning, requiring, as it does, exposure to multiple cases and variations [31, 32]. However, there has been relatively little highquality research into, for example, the most effective design, sequencing, or balance within the curriculum. Consideration of the evidencebased principles that underpin effective instructional design in the related field of simulation based education may be helpful. These include range of difficulty, repetitive and distributed practice, cognitive interactivity, multiple learning strategies, individualised learning, mastery, and feedback [33, 34]. See Chapter 11.

그러나 빠르게 진화하는 기술은 훨씬 더 현실감 있는 VP를 구축할 수 있는 잠재력을 가지고 있습니다. 폴튼과 발라수브라마니암은 '현재의 비교적 가벼운 VP를 진정한 대화형 환자 시뮬레이션, '전자 인간' 또는 '디지털 아바타'로 확장하여... 실제 환자 관리, 임상 및 의사소통 기술 훈련, 모든 시민의 건강 또는 질병을 모방할 수 있는 잠재적 기능을 제공하는 것을 고려할 수 있게 되었습니다'[31]라고 언급합니다. 이러한 발전은 [의료 교육자, 학습 기술자, 콘텐츠 전문가, 그리고 결정적으로 환자와 보호자 간의 새로운 협력]을 이끌어내야 할 것입니다. 그러나 VP의 유용성에 대한 문헌을 체계적으로 검토한 결과, [개발 비용이 많이] 들기 때문에 [리소스와 아이디어를 공유]할 수 있는 가상 커먼즈 또는 온라인 커뮤니티가 필요하다는 주의가 제기되었습니다[30].
However, fast
evolving technology has the potential to build VPs with far greater realism. As Poulton and Balasubramaniam note: It is now possible to consider the extension of the current relatively lightweight VP into a truly interactive patient simulation, an ehuman or digital avatar” … offering authentic patient management, clinical and communication skills training, and the potential capability to mimic the health or disease of any citizen[31]. This development will need to draw on new collaborations between medical educators, learning technologists and content experts, and, crucially, patients and carers. However, a note of caution was raised in a systematic review of the literature about the utility of VPs: they are expensive to develop, which begs the need for a virtual commons or online community where resources and ideas can be shared [30].

보다 총체적인 수준에서는 의료, 임상, 연구, 교육의 모든 측면에서 [내러티브 접근법]을 채택해야 한다는 요구가 증가하고 있으며, 모든 당사자에게 잠재적인 이점이 있다고 주장되고 있습니다[35, 36]. 1968년 널리 인용된 바바라 하디의 말처럼 '우리는 내러티브 속에서 꿈을 꾸고, 내러티브 속에서 백일몽을 꾸고, 내러티브로 기억하고, 예상하고, 희망하고, 절망하고, 믿고, 의심하고, 계획하고, 수정하고, 비판하고, 구성하고, 험담하고, 배우고, 미워하고, 사랑한다'[37, 5페이지].
On a more holistic level, there have been increasing calls to adopt a narrative approach in all aspects of health care, clinical practice, research,
and education, with potential benefits claimed for all parties [35, 36]. As the widely quoted Barbara Hardy noted in 1968 we dream in narrative, daydream in narrative, remember, anticipate, hope, despair, believe, doubt, plan, revise, criticise, construct, gossip, learn, hate and love by narrative [37, p. 5].

내러티브 기록의 한 종류는 Aronson[38]이 '자서전'이라고 부르는 것으로, 더 간단하게는 ['환자의 이야기'] 또는 더 냉소적으로 ['의학적 고해성사']라고 할 수 있습니다. 그는 약 300여 권에 달하는 책 길이의 자서전을 분석하고 그 특징을 분류했습니다. 이러한 [이야기를 읽고 성찰하는 것]은 의료 전문가가 교육과 실무 모두에서 환자를 더 잘 이해하고 공감하며 '교과서에서 배울 수 없는 것', 실제로 '다른 방법으로는 도달할 수 없는 것'을 가르치는 데 도움이 될 수 있습니다[35].
One kind of narrative account is what Aronson [38] called the
‘autopathography’, more simply referred to as a patients tale, or perhaps more cynically, the medical confessional. He analysed and classified characteristics of nearly 300 such booklength tales. Reading and reflecting on such stories may help health professionals, both in training and in practice, better understand and empathise with their patients, and teach them things they wont learn from textbooks, indeed that cannot be arrived at by any other means [35].

이러한 리소스를 [교육적으로 활용]할 수 있는 방법은 여러 가지가 있습니다. 파울리와 힉슨[39]은 교육에서 내러티브를 사용하기 위한 [간단한 프로세스]읽기, 토론, 촉진, 반응 분석, 적용에 대한 토론을 제안합니다. '이야기의 내용은 무엇인가요?', '나에게 어떤 영향을 미쳤나요?'와 같은 질문은 성찰을 촉진하고 학습자가 핵심 메시지에 집중하고 새로운 맥락에 적용하는 데 도움이 됩니다. 연습을 현실에 기반을 두면 관련성이 강화되어 학습자에게 동기를 부여하는 데 도움이 됩니다. 성찰과 토론을 위해 충분한 시간을 허용해야 합니다.
There are many ways in which such resources may be used educationally. Powley and Higson [39] suggest the following simple process for using written narratives in teaching: read, discuss, facilitate, analyse responses, and discuss applications. Questions such as What is the story about? and What effect did it have on me? promote reflection and help learners focus on key messages and apply in new contexts. Grounding the exercise in reality reinforces relevance, which in turn helps motivate learners. Sufficient time must be allowed for reflection and discussion.

텍스트 선택과 관련하여 아론슨은 '[감정적 표현]과 [분석적 담론] 사이에 현명한 균형을 제공해야 하며, [정보를 제공]하고 무엇보다도 나를 즐겁게 해야 한다'는 자신의 추천 기준을 제시했습니다[38]. 그는 자신의 글에서 '톱 10'의 책을 제안했지만, 그 글을 쓴 이후 더 많은 책이 출판되었고 지금도 계속 출판되고 있습니다.
In terms of choice of text, Aronson
s own criteria for recommending a book are that it should provide a judicious balance between emotional expression and analytical discourse, and that it should have informed, and above all entertained me [38]. He suggested a top ten books in his article, but many more have been and continue to be published since he wrote.

오늘날에는 인터넷이 이러한 이야기의 더 일반적인 출처일 것입니다. 흔한 질병이든 희귀한 질병이든 '구글'에 검색하면 '조회수'의 상당 부분이 [환자 또는 보호자가 해당 문제에 대해 작성한 개인 블로그]일 것입니다. '환자 목소리' 또는 '헬스토크'(박스 15.4 참조)와 같은 온라인 리소스를 쉽게 이용할 수 있습니다. 특정 목적에 맞게 다른 자료를 구입하거나 개발할 수도 있지만, 이에 필요한 비용, 시간, 전문성을 과소평가해서는 안 됩니다. 이 분야에 대한 문헌은 드물지만, 환자 경험을 보다 포괄적이고 정확하게 표현하기 위해서는 e-러닝 자료 설계에 환자와 보호자를 참여시키는 것이 중요합니다[40].
Perhaps a more commonly used source of such stories nowadays is the Internet.
Google any disease, common or rare, and a significant proportion of hits will be personal blogs about the problem, as either patient or carer. Online resources such as Patient Voices or Healthtalk (see Box 15.4) are readily available. Others can be purchased or developed to suit specific purposes, although the cost, time, and expertise required to do this should not be underestimated. The literature is sparse in this area, but involving patients and carers in designing elearning materials is selfevidently important to ensure that patient experiences are more comprehensively and accurately represented [40].

 

표준화된 환자
Standardised Patients

임상 환경에서 실제 환자로부터 배우는 것은 의학 교육의 핵심이며, 학습자가 다양한 출처에서 얻은 학습을 통합하고 종합할 수 있게 해줍니다. 실제로 '병상 교육'은 '의료 행위'를 구성하는 모든 기술적 및 비기술적 기술, 행동, 응용 지식을 임상 교사가 모델링하고 통합된 전체로서 학습할 수 있는 유일한 환경입니다. 
Learning from real patients in clinical settings is central to medical education, enabling learners to consolidate and synthesise learning from a range of sources. Indeed,
‘bedside teaching’ is the only setting in which all of the technical and nontechnical skills, behaviours, and applied knowledge that constitute ‘doctoring’ are modelled by clinical teachers and can be learnt as an integrated whole.

라마니는 '병상은 교사, 수련의, 환자 간의 [예기치 않은 삼각 상호작용]을 위한 완벽한 장소이며 ... 이러한 만남에서 의사 교사는 가르칠 수 있는 순간을 포착하는 데 주의를 기울여야 한다'[41]고 상기시킵니다.
Ramani reminds us that
the bedside is the perfect venue for unrehearsed and unexpected triangular interactions between teacher, trainees, and patient physician teachers should be vigilant about grabbing teachable moments [41] during these encounters.

'표준화된'(또는 '프로그램된') 환자는 1960년대에 Barrows와 Abrahamson[42]에 의해 처음 소개되었습니다. 원래는 교육과 평가를 위해 자신의 문제를 일관된 방식으로 표현하도록 훈련된 실제 환자였지만, 오늘날 '환자'는 일반적으로 '연극적 배경이 있든 없든, 환자의 질병을 시뮬레이션하도록 훈련된 건강한 사람'[43]이 될 것입니다(이 장의 뒷부분 참조). 
Standardised (or programmed) patients were first introduced by Barrows and Abrahamson [42] in the 1960s. Although originally real patients trained to represent their problem(s) in a consistent manner for the purposes of teaching and assessment, nowadays, in the words of Barrow himself, the patient will generally be a well person, with or without a thespian background, trained to simulate a patients illness [43] see the section later in this chapter.

임상 교육이 진행될 때마다 환자는 일반적으로 관련 당사자 중 [가장 수동적이고 취약한 위치]에 있습니다. 그럼에도 불구하고 대부분의 환자는 참여에 보람을 느끼고 기꺼이 참여하며, 종종 학생들이 '배워야 한다'는 것을 인식하고 있다고 말합니다. 그러나 환자가 교육에 참여할 것이라고 암묵적으로 가정해서는 안 되며, 환자의 의사와 감정은 항상 존중되어야 하며, 어떤 결정을 내리더라도 치료와 돌봄에 영향을 미치지 않는다는 사실을 알아야 합니다. 환자에게는 어떤 환경에서든 학습자가 함께 있고 치료를 제공할 수 있다는 사실을 항상 알려야 합니다. 이를 통해 환자는 첫 만남에 대비하고 불안감을 해소할 수 있습니다(이 장 뒷부분의 '윤리적 문제' 섹션 참조). 또한 환자에게 세션의 목표, 교사와 학습자가 세션에서 얻고자 하는 것, 환자에 대한 기대치(예: 피드백 제공 요청 여부)에 대해 명시적으로 브리핑하면 이점이 있습니다. 환자는 참석할 수 있는 학습자의 수와 수준을 알고 있어야 하며, 각자의 역할을 명확히 하고 구두 또는 서면 동의를 얻어 적절히 기록해야 합니다. 교육과 임상 실습에 대해 의식적으로 생각하기보다는 세 명의 '플레이어' 모두의 관계 발전에 관심을 기울이는 '세 사람 또는 그룹이 참여하는 토론 또는 대화'[45]인 McKimm의 [44] 임상 '트리아로그'는 교사가 환자 및 학습자와 함께 적극적으로 계획하고 작업하는 데 도움이 될 수 있는 유용한 모델입니다.
Whenever clinical teaching occurs, patients are usually the most passive and vulnerable of the parties involved. Notwithstanding this, most patients find involvement rewarding and are willing participants, often commenting that they recognise that students have to learn. However, it should not be tacitly assumed that patients will engage in teaching; their wishes and feelings should always be respected, and they should know that, whatever their decision, their treatment and care will not be affected. Patients must always be informed that learners may be present and may be providing care, whatever the setting. This allows them to prepare for the initial encounter and to raise anxieties (see the section on Ethical Issues later in this chapter). There are also benefits from briefing patients explicitly about a sessions aims, what teacher and learners hope to get out of it, and expectations of the patient, for example, whether they will be asked to give feedback. Patients need to be aware of the number and level of the learners who may be present, each persons role should be clarified, and verbal or written agreement obtained and recorded as appropriate. McKimms [44] clinical ‘trialogue’ a discussion or conversation in which three persons or groups participate[45] that attends to the developing relationships between all three players, rather than consciously trying to think about teaching and clinical practice is a useful model that may help teachers plan and work actively with patients and learners.

 

환자가 자신의 경험을 공유하고 환자 교사가 교육 및/또는 평가에 참여하기
Patients Share their Experience and
Patient Teachers Involved in Teaching and/or Evaluation

교육을 위해 실제 환자를 선택하는 것은 종종 기회주의적이지만, 학부 및 대학원 교육에서 훈련된 환자를 활용하는 보다 [구조화된 접근 방식]이 점점 더 많이 사용되고 있습니다. 이러한 환자 교육자는 말기 환자나 정신 건강 문제가 있는 환자 등 임시 교육으로 인해 환자에게 잠재적인 해를 끼칠 수 있다는 우려가 제기될 수 있는 분야를 포함하여 다양한 환경에서 모집할 수 있습니다.
Selecting real patients for teaching is often opportunistic, but a more structured approach employing trained patients is being increasingly used within undergraduate and postgraduate training. Such patient educators can be drawn from many settings, including areas where concerns might be expressed about potential harm to patients from ad
hoc teaching encounters, such as those who are terminally ill or have mental health problems.

[전문가 환자]의 개념은 더 광범위한 환자 참여 의제에 포함되어 있습니다. 예를 들어, 영국에서는 '전문가 환자 이니셔티브는 ... 환자를 의료 서비스의 중심에 두려는 정부의 노력의 일환이며 ... 임상 거버넌스 의제의 혁신적 초점의 일부입니다'[46]. 이는 [주로 장기 질환을 가진 사람들]이 '자신의 치료에서 주요 의사 결정권자가 될 수 있도록'[46] 돕기 위한 것이었습니다. 이 프로그램은 환자 스스로를 위한 교육 프로그램의 지원을 받았으며, 증상(통증, 피로, 우울증 등)의 자가 관리와 관련하여 자신감과 자기 효능감에 변화를 가져왔다는 일부 증거가 있습니다[47]. 그러나 이러한 프로그램의 결과를 조사한 여러 무작위 대조 시험의 결과는 의료 서비스 이용에 영향을 미치지 못했습니다 [48]. 전문 환자는 의료 전문가 교육에서 보다 적극적인 역할을 할 수 있도록 준비하기 위해, 개별 환자의 여정을 공유함으로써, 다른 환자의 지원과 격려가 필요할 수 있습니다 [49].
The concept of the expert patient is enshrined in the wider patient involvement agenda. In the UK, for example, the
expert patient initiative was part of the governments commitment to place patients at the heart of health care which is part of the transformational focus of the clinical governance agenda [46]. This was primarily targeted at people with longterm conditions to help them become key decision makers in their own care [46]. It was supported by an educational programme for the patients themselves, and there is some evidence that it resulted in changes in confidence and selfefficacy in relation to selfmanagement of symptoms (such as pain, tiredness, and depression) [47]. However, results of several randomised controlled trials looking at outcomes of such programmes failed to show any effect on use of health care [48]. Expert patients may need support and encouragement, ideally from other patients through sharing individual patient journeys, to prepare them for a more active role in the education of health professionals [49].

현재 적극적인 치료를 받고 있지 않은 환자와 함께 일할 때, 특히 임상적 요구가 허용하는 것보다 더 많은 시간이 필요할 때 경험이 없는 학습자를 가르칠 때 이점이 있습니다. 환자 교육자는 다음과 같은 이점이 있습니다:
There are advantages in working with patients who are not under current active care, particularly when teaching inexperienced learners when more time needs to be taken than clinical demands allow. Patient educators have the benefits of being:

- 의료 교육에 관심이 있는 [동기 부여된 개인]
motivated individuals with an interest in medical training

- 실제 임상 기록과 임상 징후가 있는 ['실제'(시뮬레이션이 아닌) 임상 실습]
• ‘real (not simulated) with authentic clinical histories and possibly clinical signs

- 손의 압력이나 병력 청취 방식 등 환자의 관점에서 [구조화된 피드백]을 제공할 수 있다.
able to give structured feedback from a patients perspective, such as the pressure of the hands or the way in which a history is taken.

류마티스 질환을 앓고 있는 환자 강사(PI)는 대부분의 연구에서 학습자와 PI 모두 높은 수준의 만족도를 보였으며, 특히 질환을 앓고 있는 생활의 영향에 대해 이야기할 때 학습자의 지식과 기술을 향상시키는 데 임상의사만큼 효과적일 수 있다는 사실이 잘 설명되어 있습니다[50]. 환자 교사의 또 다른 독특한 범주는 '산부인과 교육 보조원'으로, 스스로 검진을 통해 골반 및 유방 검사를 가르치도록 훈련받은 여성입니다. 이들은 북미와 스칸디나비아에서 널리 사용되고 있으며 다른 서구 국가에서도 점점 더 많이 사용되고 있지만, 학생들이 친밀한 검사를 수행하는 것에 대해서는 여전히 많은 논란이 있습니다 [51]. 이러한 교육은 일단 교육을 받으면 세션을 진행하는 데 거의 도움이 필요하지 않으므로 임상 튜터의 업무 부담을 덜어줄 수 있습니다. 한 비교 연구에서 어소시에이트가 가르친 학생들은 그렇지 않은 학생들보다 부착 종료 평가에서 더 나은 기술을 보였습니다[52]. 
Patient instructors (PIs)
with rheumatological conditions have been well described, with most studies demonstrating high levels of satisfaction from both learners and PIs, and that PIs can be as effective as clinicians in enhancing learners
knowledge and skills, especially in talking about the impact of living with the condition [50]. Another distinctive category of patient teacher is the ‘gynaecology teaching associate’, women trained to teach pelvic and breast examination through examination of themselves. They are widely used in North America and Scandinavia, and increasingly in other Western countries, although there is still much debate about students performing intimate examinations [51]. Such teaching can help free up clinical tutors as, once trained, the associates need little assistance in running sessions. They have been found to be acceptable and effective in one comparative study students taught by associates had better skills in an endofattachment assessment than students who were not [52].

[학습 장애가 있는 사람, 모국어가 모국어가 아닌 사람, 말기 환자, 노숙자, 망명 신청자 및 난민, 약물 오남용 문제가 있는 사람] 등 [전통적으로 '접근하기 어려운' 커뮤니티]를 포함하여 [특정 그룹]은 전문 교육 프로그램에서 과소 대표되어 왔습니다. 이러한 환자들을 적극적으로 참여시키는 데는 특별한 어려움이 있지만, 예를 들어 저자의 기관 중 한 곳에서는 난민들이 의과대학에 와서 자신의 이야기를 들려주고 자신의 경험에 대한 질문에 답하는 등 성공적인 개입이 이루어졌으며, 이러한 세션은 모든 당사자들로부터 항상 긍정적인 평가를 받았습니다.
Certain groups have been under
represented in professional education programmes, including people with learning disabilities, those whose first language is not the majority language, and the terminally ill, as well as traditionally hardtoreach communities such as the homeless, asylum seekers and refugees, and people with substance misuse problems. Actively involving such patients presents particular challenges but successful interventions have been described, for example in one of the authors institutions refugees came into the medical school to tell their stories and answer questions about their experience; the sessions were invariably positively evaluated by all parties.

[간병인]은 영국에서 8명 중 1명이 간병인인 것으로 알려져 있는 또 다른 중요한 인구 집단으로, 자신의 건강 및 정서적 요구가 간과되는 경우가 많으며 잠재적으로 많은 것을 제공할 수 있는 중요한 집단입니다(https://www.carersuk.org/news-and-campaigns/ press-releases/facts-and-figures 참조). 예를 들어 치매에 대한 학습에서 보호자의 관점을 중심에 두는 혁신적인 세션이 설명되었습니다[53].
Carers represent another large and important population (one in eight people are said to be carers in the UK, for example, see: https://www.carersuk.org/newsandcampaigns/ pressreleases/factsandfigures), whose own health and emotional needs are often overlooked, and who potentially have a great deal to offer. Innovative sessions have been described which put the carers perspective at the centre, for example in learning about dementia [53].

잘 관리된 환자 참여는 환자와 학습자 모두에게 도움이 될 수 있습니다. 문제는 환자와 학습자 모두의 요구에 민감하게 반응하고 참여할 준비가 되어 있다고 느끼는 적절한 환자를 식별하는 것입니다. 상자 15.5 및 상자 15.6을 참조하십시오.
Well
managed patient involvement can benefit both patients and learners. The challenge is to be sensitive to both patients and learners needs and to identify suitable patients who feel equipped to participate. See Box 15.5 and Box 15.6.


박스 15.5 사례 연구: 전문직 간 건강 멘토 프로그램 UBC [54]
BOX 15.5 Case study: Interprofessional health mentors programme UBC [54]

브리티시 컬럼비아 대학교(UBC)의 한 프로그램에서는 다양한 분야의 학생들이 [3학기 동안 장기 질환을 앓고 있는 지역사회 주민 한 명과 결연]을 맺었습니다.
In a programme at the University of British Columbia (UBC), students from different disciplines were attached to a person in the community with a long
term condition for a period of three semesters.

여섯 차례의 주제별 모임 동안 건강 멘토('경험별 전문가')는 커뮤니티 그룹을 통해 모집된 학생들과 협력하여 환자의 관점에서 장기 질환을 앓고 있는 삶에 대해 배우고 전문가 간 역량을 개발하도록 도왔습니다. 이러한 '자기 관리형 학습 커뮤니티'의 참가자들은 스스로 질문을 탐구하고 목표를 달성하기 위해 창의적으로 접근하도록 장려되었습니다. 프로그램의 3분의 2에 해당하는 심포지엄을 통해 아이디어를 공유하고 진행 상황을 되돌아볼 수 있었습니다.
During six themed meetings, the health mentors (
expertsby experience recruited through community groups) worked with students to help them learn about living with a longterm condition from the patients perspective, and to develop interprofessional competencies. Participants in these selfmanaged learning communities were encouraged to explore their own questions and to be creative in their approach to working towards the goals. A symposium twothirds of the way through the programme enabled sharing of ideas and reflection on progress.

이 프로그램은 멘토와 학생 모두에게 매우 유익하고 높은 평가를 받았습니다. 학생들은 협업의 이점과 환자의 전문성 및 수완을 인식하는 등 다양한 학습 결과를 문서화했습니다. 멘토는 자신의 '완전한 여정'을 설명할 수 있다는 점과 '환원'할 수 있는 기회를 통해 혜택을 얻었습니다. 모든 당사자는 장기적인 관계의 중요성을 인정했습니다.
The programme was rated very highly and as beneficial by mentors and students alike. A wide range of learning outcomes were documented by students, for example recognising the benefits of collaboration and the expertise and resourcefulness of patients. Mentors benefited from being able to describe their complete journey, and the opportunity to give back. All parties acknowledged the importance of longterm relationships.

[성공의 열쇠로 네 가지 요인]이 확인되었습니다:
Four factors were identified as key to success:

- 교수진이 조력자 역할을 하는 환자 중심 학습의 고유성
 the uniqueness of patient
centred learning, with faculty acting as facilitators

- 지역사회 조직과의 지속적인 파트너십
 sustained partnerships with community organisations

- 단순함 유지
 keeping things simple

- 다양성, 창의성 및 유연성 장려.
 encouraging diversity, creativity and flexibility.


상자 15.6 중점 사항: 시신 기증
BOX 15.6 FOCUS ON: Body donation

의사와 기타 보건 전문가 교육에 개인이 기여할 수 있는 궁극적인 기여는 아마도 시신 기증일 것입니다. 시체 해부는 수 세기 동안 해부학 교육의 중심이었지만, 학생들이 해부 실습 경험을 해야 하는지, 아니면 아예 시체에 노출될 필요가 있는지에 대해서는 최근 논쟁의 대상이 되고 있습니다.

  • 지지자들은 해부 실습이 입체적인 시각과 변이에 대한 통찰력을 제공하고, 손재주, 기본 수술 기술, 팀워크와 같은 전문성을 기르며, 인문학적 가치와 죽은 자에 대한 존중을 증진한다고 주장합니다.
  • 비평가들은 시체 노출의 잠재적인 비인간화 효과를 강조하며, 이는 시대에 뒤떨어진 '통과의례'이며 현대 기술, 영상, 대화형 멀티미디어, 석고 모형, 바디 페인팅, 라이프 드로잉을 사용하는 대체 교육 방법이 더 매력적인 방식으로 학습을 촉진할 수 있다고 주장합니다[62, 63].

시체 사용에는 다양한 법적, 윤리적 규정이 적용되며 문화적, 종교적 차이(예: 미소유, 미동의 시체 사용의 허용 여부)를 반영하여 국가마다 상당한 차이가 존재합니다. 이로 인해 사전 동의, 가족과의 연락, 추모 서비스, 상업화 금지 등을 포함하는 공통 프레임워크의 채택이 요구되고 있습니다[64]. 
Probably the ultimate contribution a person can make to the education of doctors and other health professionals is body donation. Cadaveric dissection was central to anatomy education for several centuries, but whether students need to

  • have hands‐on experience of dissection or even be exposed to human cadavers at all has been subject to recent debate. Proponents argue that it provides a three‐dimensional perspective, insights into variation, develops manual dexterity, basic surgical skills, and aspects of professionalism such as team working, and promotes humanistic values and respect for the dead.
  • Critics highlight the potentially de‐ humanising effect of exposure to cadavers, arguing that it is an outdated ‘rite of passage’, and that alternative teaching methods using modern technology, imaging, interactive multi‐media, plastinated models, body painting, and life drawing, have the potential to promote learning in a more engaging way [62, 63].

Use of cadavers is subject to various legal and ethical regulations and considerable variation between countries exists reflecting cultural and religious differences (e.g. concerning the acceptability of using unclaimed, unconsented bodies). This has resulted in calls for the adoption of a common framework which includes informed consent, liaison with families, services of commemoration, and discouraging commercialisation [64].

시신 기증이 복잡한 문제라는 점 외에는 [사람들이 시신을 기증하는 동기]에 대해 알려진 바가 상대적으로 거의 없습니다.

  • 네덜란드에서 시신 기증자를 대상으로 한 설문조사에서는 사후에 유용하게 쓰이고 싶다는 욕구, 장례식에 대한 부정적인 태도(예: 가족에 대한 비용 또는 부담), '시스템'에 대한 감사의 표현이라는 세 가지 주요 차원을 확인했습니다[65].
  • 뉴질랜드, 남아프리카공화국, 아이레에서 실시한 유사한 설문조사에서 응답자의 80%가 의료를 돕고 싶다는 의사를 표명했습니다[66].
  • 그러나 인도의 동시대 지역사회 설문조사에서는 시신 기부에 대한 인식 부족과 상당한 부정적 인식이 확인되었는데, 이는 부분적으로 종교적 신념 및 관습과 관련이 있으며 시신이 존중받을 수 있을지에 대한 우려와 함께 나타났습니다[67].

Relatively little is known about the motivation of people to donate their bodies, other than it is a complex issue.

  • A survey of donors in the Netherlands identified three main dimensions: a desire to be useful after death, negative attitudes to funerals (e.g. expense or burden placed on families), and an expression of gratitude to ‘the system’ [65].
  • In a similar survey in New Zealand, South Africa, and Eire, 80% of respondents expressed a desire to help medical science [66].
  • A contemporaneous community survey in India, however, identified lack of awareness of and considerable negativity towards body donation, partly related to religious beliefs and customs, along with concerns about whether bodies would be treated with respect [67]. 

동등한 파트너로서의 환자 교사
Patient Teachers as Equal Partners

의학교육에서 [이러한 수준의 환자 참여는 드문 일]이지만, 몇 가지 주목할 만한 예외를 제외하고는 다른 분야, 특히 (비정신과) 정신건강, 간호 및 사회복지 교육에서 이러한 모델이 개발되었습니다. 다양한 과정을 통해 도출된 가이드라인과 권고안이 발표되었으며[55-57], 영국의 환자 연구 참여에 관한 지침은 전문직 교육과 관련될 수 있는 문제를 강조하고 있습니다[58]. GMC와 영국의학협회는 의학 교육 및 훈련에 대한 환자의 적극적인 참여에 대한 조언을 발표했습니다[12, 59].
It is unusual in medical education to find this level of involvement, with some notable exceptions, but models have been developed in other disciplines, particularly (non
psychiatric) mental health, nursing, and social care education. Guidelines and recommendations derived through a variety of processes have been published [5557]. and UK guidance about involving patients in research highlights issues that may be relevant to professional education [58]. Both the GMC and British Medical Association have published advice about active patient involvement in medical education and training [12, 59].

 

기관 차원의 환자 참여 비율
Patients Involved at the Institutional Level

이 수준의 참여는 이전 단계보다 훨씬 드뭅니다. 영국에서 가장 좋은 사례 중 하나는 워릭 대학교[60]에 기반을 두고 있으며 워릭 대학교와 코벤트리 대학교, 보건 및 사회복지 서비스 사용자 및 보호자, NHS 간의 파트너십인 대학/사용자 교육 및 연구 활동 파트너십(UNTRAP)입니다. 환자들은 다양한 수준에서 참여하며, 일부는 일회성 이벤트에 참여하기도 하고 일부는 더 많이 참여하기도 합니다. 서비스 사용자, 보호자, 학계, 전문가가 서로의 경험을 공유하면 모두에게 도움이 된다는 것이 UNTRAP의 핵심 철학입니다. 환자와 보호자는 2013년에 시작된 워릭 의과대학의 사례 기반 커리큘럼을 전략적으로 개발하는 데 도움을 주었으며, 커리큘럼 전반에 걸쳐 적극적으로 참여하고 있습니다. UNTRAP은 파트너십 협력을 위한 최초의 공인 교육도 개발했습니다[61]. 다른 제도적 접근 방식도 설명되었습니다 [27]. 
Involvement at this level is even rarer than at the previous one. One of the best examples in the UK is the Universities/Users Teaching and Research Action Partnership (UNTRAP), based at Warwick University [60], and which is a partnership between Warwick and Coventry universities, users of health and social care services and their carers, and the NHS. Patients are involved at different levels, some in one
off events, and others more heavily. The central philosophy of UNTRAP is that everyone will benefit if service users, carers, academics, and professionals share their experience. Patients and carers helped strategically develop Warwick Medical Schools casebased curriculum launched in 2013 and are active throughout the curriculum. UNTRAP have also developed the first accredited training for partnership working [61]. Other institutional approaches have also been described [27].

 

장점과 단점
Benefits and Disadvantages

환자와 직접 접촉하지 않고 의사를 교육한다는 생각은 오늘날에는 터무니없는 것으로 간주될 것입니다. 의과대학은 이를 극대화하기 위해 노력하고, 교사와 관리자는 이를 제공하기 위해 노력하며, 학생은 가능한 한 많은 것을 요구하고, 환자는 기꺼이 도와주려고만 합니다. 대학원 수준에서는 임상 실습을 기반으로 한 실무 교육이 점점 더 강조되고 있기 때문에 환자 접촉은 분명히 중요합니다. 400편이 넘는 관련 논문[68]이 확인된 가장 포괄적인 참고 문헌 중 하나인 상당한 문헌이 축적되어 이론적 이점에 대한 확증을 제공합니다. 환자와 학습자 간의 접촉은 일반적으로 매우 호평을 받고 있으며, 환자에게는 명백한 부작용이나 불이익이 상대적으로 적고 학습자에게는 심지어 더 적다.

  • 예를 들어, 환자들은 자신의 상태에 대한 '전문가' 및/또는 모범으로 행동하고, 보여주고 말하며, 전문적인 기술과 태도 개발을 돕고, 학습자의 자신감을 높이는 등 자신의 기여를 인정합니다[69].

The thought of training doctors without direct patient contact would nowadays be considered absurd. Medical schools aspire to maximise it, teachers and administrators strive to deliver it, students demand as much as possible, and patients seem only too willing to help. At the postgraduate level, with increasing emphasis on inservice training grounded in clinical practice, patient contact is obviously crucial. A significant literature has accumulated one of the most comprehensive bibliographies identified over 400 relevant papers [68] providing corroboration for some of the theoretical benefits. Contact between patients and learners is generally very well received, with relatively few apparent adverse effects or disadvantages for the former, and even fewer for the latter.

  • Patients recognise their contribution – for example, by acting as ‘experts’ in and/or exemplars of their condition, showing and telling, aiding the development of professional skills and attitudes, and boosting learners’ confidence [69].

대부분의 연구에서 환자에게 뚜렷하고 대체로 긍정적인 결과를 보고하고 있지만, [고통스럽고 충격적인 경험을 이야기하는 것]이 환자와 학생 모두에게 [정서적, 심리적으로 미칠 수 있는 영향]과 [반복적인 이야기 전달]을 통한 일부 환자의 ['전문화'에 대한 우려]가 존재합니다[70]. 현상학적 접근법을 사용한 또 다른 연구에서는 대부분의 환자들이 임상 교육에 참여하는 것이 실제로는 일상적이라는 특징이 있다는 것을 보여주었습니다[71].
Whilst most studies report distinctive, largely positive, outcomes for patients, concerns exist about the possible emotional and psychological impact on both patients and students of recounting painful and traumatic experiences, and the ‘professionalisation’ of some patients through repeated telling of their stories [70]. Another study using a phenomenological approach, showed that involvement in clinical teaching for most patients was, in fact, often characterised by its ordinariness [71].

이러한 문헌을 뒷받침하는 대부분의 연구는 설명적이고, 이론에 근거하지 않으며(아래 참조), 자기 보고에 기반하는 경우가 많고, 교육적 개입이나 연구 설계에 대한 정보가 충분하지 않다는 점에서 한계가 있습니다. 장기적인 영향을 평가하려는 시도는 거의 없었으며, 서로 다른 용어 사용으로 인한 문제와 함께 서로 다른 출처에서 출판물이 발견되어 문헌을 검색하고 종합하는 데 어려움을 겪었습니다[5]. 그럼에도 불구하고 지난 몇 년 동안 여러 종합적인 리뷰가 발표되어 전반적으로 장점과 단점에 대한 일관된 결과를 보여주고 있습니다[4, 5, 10, 27, 72-76]. 박스 15.7 참조.
Most of the research informing this literature has limitations in that it is descriptive, is not informed by theory (see below), is often based on self
report, and provides insufficient information about educational interventions or research design. There have been few attempts at evaluating longterm impacts and publications are found in disparate outlets, which, along with problems posed by use of different terms, has bedevilled searching and synthesis of the literature [5]. Nevertheless, several comprehensive reviews have been published over the past few years showing, on the whole, consistent findings about benefits and disadvantages [4, 5, 10, 27, 7276]. See Box 15.7.


BOX 15.7 WHERE’S THE EVIDENCE: Patient involvement

학생에게 주는 혜택
Benefits to students

- 관련성을 통한 동기 부여
 motivation through relevance

- 공감 능력 향상
 increased empathy

- 전문 기술 및 태도 개발
 development of professional skills and attitudes

- 자신감 향상
 increased confidence

- 사회적 책임감
 social responsibility

- 임상적 추론 능력 개발
 development of clinical reasoning

- 새로운 통찰력과 이해
 new insights and understanding

- 문화적 다양성 및 라이프스타일 요인에 대한 인식
 recognition of cultural diversity and lifestyle factors

- 검사 수행 능력 향상
 improved performance in examinations

환자를 위한 혜택
Benefits for patients

- 학생 학습에 기여하는 것에 대한 만족도
 satisfaction at contributing to student learning

- 전문가와의 관계 개선
 improved relationships with professionals

- 이타적인 감정(예: '시스템'에 무언가를 돌려주는 것)
 altruistic feelings, for example, giving something back to the system

- 가치 인정 및 자존감 향상
 being valued and increased self
esteem

- 자신의 기술 개발
 development of own skills

- 카타르시스
 catharsis

- 자신의 상태에 대한 지식 증가
 increased knowledge about their own condition

- 임상의로부터 더 나은 서비스 받기(예: '좋은 진료')
 getting a better service from their clinicians, for example, a good going over

- 사회적 고립으로부터의 동반자 관계 및 안도감
 companionship and relief from social isolation

- 종단적 프로그램에서 확립된 장기적인 관계와 연속성
 the long
term relationship and continuity established in longitudinal programmes

학생에 대한 단점
Disadvantages to students

학생들이 보고한 단점은 거의 없지만 다음과 같은 것들이 있습니다:
Few disadvantages are reported by students, but they include:

- 당혹감
 embarrassment

- 특정 상황에서 정서적 어려움
 emotionally challenged in certain situations

- 환자에게 부담이 됨
 being a burden to patients

- 일부 환자의 대표성에 대한 우려 
 concern about representativeness of some patients 

환자에 대한 단점
Disadvantages for patients 

주로 다음과 관련되어 있습니다:
These are mainly in relation to:

- 정신 건강 문제 및 잠재적으로 당황스러운 상황(예: 친밀한 검사)
 mental health problems and potentially embarrassing situations (e.g. intimate examination)

- 기밀성 및 선택에 대한 우려, 이전의 좋지 않은 경험, 많은 수의 학습자
 concerns about confidentiality and choice, previous poor experiences, large numbers of learners

학생이나 환자의 건강과 복지에 중대한 악영향을 미친다는 증거는 거의 없습니다. 
There is little evidence of significant adverse effects on the health and well-being of either students or patients. 


 

이론적 고려 사항
Theoretical Considerations

지금까지 변화와 혁신은 주로 사회 발전이나 정책에 따라 실용적으로 추진되어 왔습니다. 주목할 만한 예외를 제외하고는 실무나 연구 모두 이론의 영향을 많이 받지 않은 것으로 보입니다. Rees 등의 [4] 연구는 ['상황적 학습']이라는 렌즈를 사용하여 의대생이 서비스 사용자를 '대상으로' 학습하는 것이 아니라 '함께' 학습하는 방법을 탐구했습니다. 이들은 환자와 학생 모두 더 많은 참여를 향해 나아가는 과정에서 [권력 불균형, 정체성, 역할 등의 문제를 동시에 겪는 '합법적인 주변 참여자'라는 가정]을 세웠습니다. 저자들은 보다 적극적인 참여를 장려하기 위한 [일련의 권장 사항]을 제시했습니다.

  • Monrouxe와 동료들은 '배우', '감독', '청중', '비인물', '소품'[77] 등 병원 병상 교육에서 참가자들이 수행하는 다양한 역할을 탐구하기 위해 Goffmann의 드라마투르기 이론을 채택했습니다.
  • Bleakley와 Bligh[78]는 현대 포스트구조주의 이론을 사용하여 환자와 학습자가 협력적 지식 생산에 참여하는 개념을 탐구했습니다. 그들은 '기존의 의사 주도 교육에 대한 근본적인 점검을 통해 ... 개인주의적 학생 중심 접근법의 정통성에 도전하는' 교육 모델을 개발하여 학습의 중심이 교육자와 학생의 관계에서 환자와 학생의 관계로, 의사는 자원과 촉진자로서의 역할로 전환될 수 있다고 주장했습니다.
  • Regan de Bere와 Nunn[79]은 '활동 이론'이 환자와 대중의 참여의 복잡성을 이해하기 위한 프레임워크를 제공하여 맥락, 변화, 도전, 갈등을 고려하고 검토 중인 활동에 대한 잠재적으로 풍부한 설명을 제공하는 방법을 보여주었습니다. 실무와 학계 모두 이러한 성격에 대한 더 많은 이론적 탐구를 통해 이익을 얻을 수 있습니다.

To date, change and innovation has been pragmatic, driven largely by social developments and/or in response to policy. Neither practice nor research appears to have been much informed by theory, with notable exceptions. Rees et al.s [4] study used the lens of situated learning to explore how medical students learn ‘with’ rather than just ‘about’ service users. They posited that both patients and students were ‘legitimate peripheral participants’ struggling in parallel with the challenges of power imbalance, identity, and roles, as they moved towards greater participation. The authors offered a set of recommendations to encourage more active participation.

  • Monrouxe and colleagues adopted Goffmann’s dramaturgy theory to explore the many roles played by participants in hospital bedside teaching, including ‘actor’, ‘director’, ‘audience’, ‘non‐person’, and ‘prop’ [77].
  • Bleakley and Bligh [78] used contemporary post‐structuralist theory to explore the concept of patients and learners engaging in collaborative knowledge production. They argued for a ‘radical overhaul of conventional doctor‐led education … that also challenges the orthodoxies of individualistic student‐centred approaches’ which could lead to development of an educational model whereby the locus of learning shifts from the relationship between doctor as educator and student to the relationship between patient and student, with the doctor as a resource and facilitator.
  • Regan de Bere and Nunn [79] demonstrated how ‘activity theory’ provides a framework for understanding the complexities of patient and public involvement, allowing, as it does, consideration of context, change, challenge, and conflict and providing potentially rich descriptions of the activity under review. Both practice and scholarship would benefit from more theoretical explorations of this nature.

원칙과 실천
Principles and Practice

이 섹션에서는 적극적인 환자 참여에 대한 일반적인 원칙을 살펴보고, 세 가지 중요한 윤리적 문제에 초점을 맞추며, 대표성의 문제를 고려합니다.
In this section we explore general principles for active patient involvement, focus on three important ethical issues, and consider the challenge of representativeness.

일반 원칙
General Principles

위에서 설명한 바와 같이 환자 참여를 지지하고 안내하는 많은 보고서가 발표되었으며, 이러한 보고서에는 항상 장벽과 과제가 강조되어 있습니다. 이러한 문헌[4, 12, 55, 58, 59, 74, 76, 80]을 바탕으로 [새로운 이니셔티브를 수립할 때 고려해야 할 실질적인 문제]를 나열했습니다(상자 15.8 참조). 장벽과 도전 과제에 대해 자세히 살펴보지는 않았지만, 다음과 같은 것들이 포함될 것으로 예상됩니다:
As described above, a number of reports supporting and guiding patient involvement have been published, and these invariably also highlight barriers and challenges. From this growing literature [4, 12, 55, 58, 59, 74, 76, 80] we have listed practical issues to consider when establishing a new initiative (see Box 15.8). We have not explored barriers and challenges in any detail, but these are argued to include the following:

- 서로 다른, 때로는 상충하는 가치와 기대치
• different, sometimes conflicting, values and expectations

- 권력 불균형
• power imbalances

- 위협에 대한 인식(예: 낯설고 심지어 적대적인 환경)
• perceptions of intimidation (such as unfamiliar even hostile environments)

- 동의, 선택권 및 기밀성 부족
• lack of consent, choice, and confidentiality

- 시간 제약
• time constraints

- 제도적 관성
• institutional inertia

- 부적절한 리소스
• inadequate resourcing

- 교육, 지원 및 디브리핑 부족
• lack of training, support, and debriefing

- 언어 및 의사소통 문제
• problems with language and communication.

상자 15.8의 실질적인 설계 고려사항은 [제도적 지원 보장, 적절한 자원 제공, 안전하고 편안한 환경 제공]을 포함하는 [일련의 원칙]에 의해 뒷받침되어야 합니다. 환자를 동등하게 대우하고 언어(예: '사용'이 아닌 '함께')에 주의를 기울여야 하며, 전문 용어와 전문 용어를 피해야 합니다. 교육자는 유연하게 대처하고 변화를 수용하며 새로운 방식으로 도전하고 사고할 준비가 되어 있어야 합니다. 참여는 일회성이 아닌 하나의 과정으로 간주되어야 하며, 추가 개발과 역량 강화를 위한 기회를 모색해야 합니다. 
The practical design considerations in Box 15.8 should be underpinned by a set of principles that include ensuring institutional support, providing adequate resources, and providing safe and comfortable environments. Patients should be treated as equals and attention paid to language (e.g.
working with rather than using), and avoiding technical jargon and terminology. Educators should be prepared to be flexible, should embrace change, and be prepared to be challenged and think in new ways. Involvement should be seen as a process, not a oneoff, and opportunities sought for further development and capacity building. 


상자 15.8 방법: 환자가 참여하는 새로운 교육 이니셔티브 개발하기
BOX 15.8 HOW TO: Develop a new educational initiative involving patients

1 팀을 구성하여 처음부터 환자가 참여하도록 하고(사후에 고려하거나 강요하지 말고), 학습자도 중요한 기여를 할 수 있으며, 전담 책임자를 지정하는 것이 중요합니다(누군가의 이미 바쁜 역할에 추가하는 것이 이상적이지 않음).
1 
Assemble a team, ensuring patients are involved from the start (not as an afterthought, or worse still, imposition); learners can also make an important contribution; a named, dedicated lead is crucial (ideally not an addon to someones already busy role).

2 관계를 구축하고 환자 및 커뮤니티가 참여함으로써 혜택을 받을 수 있는 방법을 개발하는 데 시간과 노력을 투자합니다.
2 
Invest time and effort in building relationships and developing ways in which patients and/or the community may benefit from involvement.

3 주인의식을 고취할 수 있도록 명확한 규약과 권한, 폭넓은 멤버십을 갖춘 운영위원회를 구성합니다.
3 
Set up a steering committee with clear terms of reference and some authority and broad membership to encourage ownership.

4 교육 프로그램의 설계 및 개발, 제공에 환자를 참여시키고 협력적 학습을 장려합니다.
4 
Involve patients in designing and developing as well as delivering the educational programme, and encourage collaborative learning.

5 적절한 경우 환자 지원 그룹 및 기타 지역 네트워크가 참여하는 선발 과정을 포함한 모집 전략을 개발합니다.
5 
Develop a recruitment strategy, including a selection process involving, as appropriate, patient support groups and other local networks.

6 특정 역할에 적합한 오리엔테이션과 교육을 제공하고 피드백에 대응하는 메커니즘을 포함하여 지속적인 지원 시스템을 마련합니다.
6 
Provide orientation and training appropriate to specific roles and ensure an ongoing support system is in place, including mechanisms for responding to feedback.

7 시기(회의 및 교육 세션 포함) 및 장소(접근성 포함), 지적 재산권실용적인 측면을 고려합니다.
7 Consider practicalities such as timing (including meetings as well as educational sessions) and location (including accessibility), as well as intellectual property rights.

8 복리후생 등 보수가 미치는 영향을 염두에 두고 보상에 관한 명확한 정책을 수립합니다.
8 
Establish a clear policy on remuneration being mindful of its impact, for example on welfare benefits.

9 직위, 참여 증명서, 표창 행사, 학술 시설(예: 도서관) 이용 등 (보수 이외의) 참여를 명시적으로 인정하는 방법을 모색합니다.
9 
Explore ways of explicitly recognising involvement (other than remuneration), such as job titles, certificates of participation, recognition events, access to academic facilities (e.g. library).

10 모든 이해관계자의 관점을 통합하여 처음부터 시스템에 평가를 구축합니다.
10 
Build evaluation into the system from the beginning, incorporating the perspectives of all stakeholders.

11 다양성이 반영되고 소수의 견해가 대변될 수 있도록 노력합니다.
11 
Work to ensure diversity is reflected and minority views are represented.

12 모든 전략을 가치 선언문으로 뒷받침합니다(여기에는 성별, 민족, 종교, 섹슈얼리티 등의 문제와 기대치가 포함될 수 있습니다).
12 
Underpin any strategy with a statement of values (this might include issues such as gender, ethnicity, religion, and sexuality, as well as expectations).

위의 모든 사항은 사후 협의나 강요가 아닌 처음부터 환자 및 보호자와 함께 개발하는 것이 가장 이상적입니다. 
Ideally, all the above should be developed with patients and carers from the start, not through post
hoc consultation or, worse still, through imposition. 


 

윤리적 문제
Ethical issues

환자 참여 시 고려해야 할 윤리적 이슈는 동의, 선택, 기밀 유지라는 '세 가지 C'로 요약할 수 있습니다. 정책 문서, 모범 사례 및 문헌에서 드러나는 주요 메시지는 공식적인 시스템, 전문적인 대화 및 윤리적 관행을 통해 이를 명시하지 않고 단순히 환자가 교육 및 학습에 참여할 것이라고 가정하는 것은 더 이상 허용되지 않는다는 것입니다.
Ethical Issues to be considered when involving patients can be summarised as the
three Cs: consent, choice, and confidentiality. The main message emerging from policy documents, good practice, and the literature is that simply assuming that patients will be involved in teaching and learning without making this explicit through formal systems, professional conversations, and ethical practice is no longer acceptable.

동의
Consent

의료법과 윤리는 정보에 입각한 동의의 원칙을 존중하며, 이는 친밀한 검사나 침습적 시술과 관련된 만남뿐만 아니라 일상적으로 환자의 참여를 유도해야 합니다[59]. '환자에게 미리 알리지 말아야 한다는 주장은 경험적 증거보다는 편견에 근거한 것으로 보이며'[81], 임상 참여 전에 학습자 참여에 대한 정보를 제공한다고 해서 환자의 참여 결정에 부정적인 영향을 미치지는 않는 것으로 보입니다. 당연히 환자가 [동의를 얻었을 때 참여에 대해 더 긍정적으로 반응한다는 증거]가 있습니다[82]. 동의서 획득은 '서비스가 환자와 처음 접촉할 때부터 시작되는 지속적인 과정'이어야 하며[59], [모든 환자]에게 학생이 입회할 수 있고 적절한 경우 치료에 참여할 수 있다는 사실을 알려야 합니다. 학습자의 존재가 진료의 질에 중대한 부정적인 영향을 미친다는 증거는 거의 없거나 전혀 없지만, [학습자의 존재는 필연적으로 상담의 역학을 변화시킬 것]임을 인식하는 것이 중요합니다[83]. 모든 환자가 의료 교육에 기꺼이 기여하는 것을 기본 자세로 삼아야 한다는 기대가 있어야 한다는 흥미로운 주장이 제기되었는데, 모든 학습자가 [시뮬레이션에서 관련 과제에 대한 역량을 입증]해야만 '풀어주기'를 받을 수 있다는 것입니다[84].
Medical law and ethics enshrine the principle of informed consent, which should routinely guide patient involvement, not just those encounters involving intimate examinations or invasive procedures [59].
Arguments for not informing patients in advance seem to be based more on prejudice than on empirical evidence [81], and providing information about learner involvement before the clinical encounter does not appear to adversely influence patients decisions about participation. Perhaps unsurprisingly, there is evidence that patients are more positive about involvement when consent is obtained [82]. Obtaining consent should be a continuous process that begins with the first contact the service has with the patient [59], and all patients should be informed that students may be present and, as appropriate, involved in care. It is important to recognise that the presence of a learner will inevitably change the dynamics of a consultation, although there is little, if any, evidence of significant negative effects on quality of care [83]. An interesting argument has been made that there should be an expectation that all patients should be willing to contribute to medical education as a default stance, the quid pro quo being that all learners should be required to demonstrate competence in the relevant task in simulation before being let loose [84].

선택
Choice

학생과 수련의가 '진료 제공의 격동적인 지금 여기'[84] 속에서 학습해야 하고, 각 만남이 모두에게 최적으로 설정되도록 보장할 시간이 거의 없을 때 환자 선택을 촉진하는 것은 어려운 일입니다. [적극적인 선택을 장려하는 것]은 [기본적인 존중]을 보여줄 뿐만 아니라 [환자가 자신의 상태에 영향을 미치는 방식에 대한 전문가임을 인정하는 것]입니다. 이를 통해 임상의는 '강력한 전문가 역할의 안전 안에서 작동하고, [돌봄의 거래]를 [비인격화]하는 [습관적이고 의례적인 작업]을 수행하는 것'에서 벗어날 수 있습니다[85].
Facilitating patient choice is challenging when students and trainees need to learn within the
turbulent here and now of care delivery [84], with little time to ensure that each encounter is set up optimally for all. Promoting active choice shows basic respect but also acknowledges that the patient is an expert about the way their own condition affects them. It moves clinicians away from operating from within the safety of a powerful expert role and performing habitual and ritualized tasks that depersonalize the transaction of caring [85].

교육에 대한 사전 동의를 구하는 것은 이상적으로는 학습자가 참석하지 않은 상태에서 이루어져야 하며, 그 뒤에 학습자가 있는 상태에서 확인해야 합니다[59]. 환자가 ['아니오'라고 말할 수 있는 '순간순간'의 기회를 제공하는 것]은 환자에게 권한을 부여하고 환자의 필요를 인정하는 또 다른 방법입니다[28]. 환자에게 시술을 수행하려는 학습자의 경험 수준과 신원에 대해 환자에게 알려야 합니다. 일반적으로 [더 친밀한 관계, 더 많은 프라이버시가 있고 환자의 자율성이 더 큰 1차 진료나 지역사회]에 비해 [개인의 힘과 공간이 부족하고 치료가 더 긴급하게 필요한 병원 환경]에서는 다른 접근 방식을 취해야 할 수 있음을 의미합니다[86].
Seeking informed consent about teaching should ideally be done without the learner in attendance, then confirmed in their presence [59]. Building in
momenttomomentopportunities for patients to say No is another way of empowering them and acknowledging their needs [28]. Patients should be informed about the level of experience and identity of any learner intending to carry out a procedure on them. Lack of personal power and space, and the more urgent need for treatment, mean that a different approach may need to be taken in hospital settings compared with primary care or in the community, where there is usually a more intimate relationship, more privacy, and patients have greater autonomy [86].

기밀성
Confidentiality

교육과 관련된 환자에 대한 기밀은 반드시 유지되어야 합니다. [일부 환자]들은 '학생들이 자신의 사례 노트에 접근하는 것과 진료실을 떠난 후 환자에 대한 논의가 이루어지는 것에 대해' 우려를 표명하는데[87], 이는 환자에게 선택, 동의, 기밀성 측면을 어떻게 제기해야 하는지에 대한 의문을 불러일으킵니다. [실용적인 단계]는 다음과 같습니다:
Confidentiality in relation to patients involved in education must be maintained. Some patients express concerns
about students access to their case notes and whether discussions about patients occurred after they had left the consulting room [87], which raises questions about how aspects of choice, consent, and confidentiality should be raised with patients. Practical steps include:

- 사람들이 [기밀 유지의 경계]를 이해할 수 있도록 충분한 정보 제공
providing sufficient information so people can understand the boundaries of confidentiality

- 학습자도 '완전한' 의료 전문가와 마찬가지로 [기밀을 존중해야 할 의무]가 있음을 환자에게 안심시킵니다.
reassuring patients that learners are bound by the same duty to respect confidentiality as are fully fledgedhealth professionals

- 토론에 환자 참여
involving patients in discussions

- 친밀하거나 고통스러운 문제를 논의할 수 있는 사적인 공간을 찾고, 침대나 칸막이 주위의 커튼은 방음이 되지 않는다는 점을 기억합니다(!).
finding private spaces to discuss intimate or distressing issues, remembering that curtains around a bed or cubicle are not soundproof (!)

- 준비 및 디브리핑의 일환으로 학습자와 일상적으로 기밀성 문제를 제기합니다.
raising issues of confidentiality routinely with learners as part of preparation and debriefing.

[환자 정보를 교육에 사용]할 때는 이미지, 사운드 녹음, 사례 기록에서 발췌한 내용, 특히 [식별 가능한 정보의 사용]에 대한 [허가]를 받아야 합니다. 전자 기록과 모바일 통신 및 기술의 사용이 증가함에 따라 새로운 과제가 생겨나고 있습니다.
When patient information is being used in teaching, permission must be obtained for the use of images, sound recordings, and extracts from case notes, particularly identifiable information. Increasing use of electronic records and mobile communications and technologies is creating new challenges.

의료 윤리와 법률은 복잡하고 끊임없이 변화하고 있으며, 모든 임상의는 최신 정보를 숙지하고 있어야 할 책임이 있습니다. 임상 교사는 핵심적인 역할 모델이며, 동의, 선택, 기밀 유지라는 '3C'를 염두에 두면 이러한 원칙을 선택 사항이 아닌 모범 사례의 기본 축으로 인식할 수 있습니다. 이러한 원칙을 기관의 관행과 정책에 포함시키는 것은 중요한 단계입니다.
Medical ethics and law is complex and ever
changing, and all clinicians have a responsibility to keep uptodate and informed. Clinical teachers are key role models; keeping the three Cs’ – consent, choice, and confidentiality in mind ensures these are seen as fundamental pillars of good practice, not as options. Embedding these principles in institutional practices and policies is an important step.

환자 대표
Patient Representation

'환자'는 동질적인 집단이 아니며, 실제로 다양성이 일반적이라는 사실을 잊기 쉽습니다. '환자'는 전문가와 똑같이 생각하지 않지만, '참여'에 관한 많은 문헌은 모든 사용자, 간병인, 생존자, 고객, 환자 등을 (암묵적으로라도) 동일하게 취급하는 것 같습니다. 유럽 피커 인스티튜트의 샬롯 윌리엄슨[88]은 참여가 가능한 '환자'를 다음과 같이 크게 [세 가지 범주]로 제안합니다.
It is easy to forget that the
patients are not a homogeneous group; indeed, diversity is the norm. Patients do not think alike any more than professionals do, yet much of the literature on involvement seems to treat all users, carers, survivors, clients, patients, etc. as the same (even if only implicitly). Charlotte Williamson [88] of Picker Institute, Europe, proposes the following three broad categories of patient who might get involved.

- [개별 환자] 자신의 경험을 설명할 수는 있지만 반드시 다른 사람을 대변할 수는 없음. 경험의 일반화 가능성에 대한 함의가 있는 환자.
Individual patients who can describe their own experience but cannot necessarily speak for others, with implications for the generalisability of their experience.

- [환자 그룹 구성원] 일반적으로 자신과 같은 다른 사람들의 경험에 대해 알고 있지만, [여전히 좁은 관점]을 가지고 있을 수 있습니다. 지역 내 모든 관련 그룹과 협의하는 것이 중요합니다.
Patient group members who usually do know about the experiences of others like themselves, but may still have a narrow perspective. Consulting all relevant groups in a locality is important.

- [환자 대표 또는 옹호자] 일반적으로 여러 그룹과 함께 일한 경험이 있고, 전략 및 정책 문제에 대한 지식이 풍부하며, '큰 그림'을 이해
Patient representatives or advocates who generally have broader experience, perhaps of working with several groups, wider knowledge about strategic and policy issues, and understand the bigger picture.

이상적으로는 '환자'와의 상담에는 이 세 가지 범주가 모두 포함되어야 합니다. 윌리엄슨의 말을 빌리자면: "의료 서비스의 환자 측면은 복잡하지만 신비롭지는 않습니다. '올바른' 환자와 상담하는 것은 실현 가능하고 보람 있는 일이 될 수 있습니다'[88]. 그러나 환자 그룹과 협력할 때는 한 가지 주의해야 합니다. 대부분의 환자 그룹은 제약 업계와 연관되어 있으며, 그 자체로 문제가 되지는 않지만 이러한 그룹에 참여하는 교육자는 이해 상충의 가능성을 인지해야 합니다[89].
Ideally, consultation with
patients should involve all three categories. In Williamsons words: The patient side of health care is complex but not mysterious. Consulting the right patients can be feasible and rewarding [88]. However, a note of caution must be struck regarding working with patient groups. Many, probably the majority, have links with the pharmaceutical industry, and whilst this is not in itself a problem, educators engaging with such groups should be aware of the potential for conflicts of interest [89].

 

모의 환자
Simulated Patients

강의실 및 임상 학습을 보완하기 위해 시뮬레이션 사용이 증가하고 있음을 반영하여 시뮬레이션 환자에 대한 간략한 설명으로 논의를 마무리합니다. [시뮬레이션]은 실제 체험 학습을 대체할 수는 없지만 학습자가 실제 임상 실습에 대비할 수 있도록 잠재적으로 준비시킬 수 있습니다. 최초의 시뮬레이션 환자는 '표준화된' 문제를 제시하는 실제 환자였지만[42], 더 일반적인 현대의 시뮬레이션 환자는 자신의 경험을 벗어난 다양한 시나리오를 묘사합니다(Silverman J 및 Britten N, 개인 통신). '표준화'와 '시뮬레이션'이라는 용어(종종 같은 의미로 사용됨)의 사용의 다양성은 모범 사례를 식별하거나 연구 결과를 해석할 때 혼란을 야기할 수 있습니다.

  • [시뮬레이션 환자](또는 '역할 플레이어')와 관련된 상황에서는 주로 [진위 여부에 중점]을 두는 반면,
  • [표준화된 환자]에서는 [일관성에 중점(예: 임상 징후)]을 두는 것이 차이점에 대한 유용한 사고 방식입니다.

We end our discussion with a brief word on simulated patients, reflecting the increased use of simulation to complement both classroom and clinical learning. Simulation cannot replace authentic experiential learning but can potentially prepare learners for the real world of clinical practice. The first simulated patients were real patients presenting standardised problems [42], but the more common contemporary simulated patient portrays a range of scenarios outside their own experience (Silverman J and Britten N, personal communication). The variability in the use of the terms standardised and simulated (often used interchangeably) can cause confusion when trying to identify good practice or interpret research findings. A useful way of thinking about the difference is that situations involving

  • a simulated patient (or ‘role player’) focus predominantly on authenticity, whereas with
  • a standardized patient the emphasis is on consistency (e.g. of clinical signs).

실제 환자가 아닌 시뮬레이션 환자와 함께 작업할 때의 장점으로는 진정성, 일관성, 예측 가능성, 편의성, 효율성 등이 있으며, 나쁜 소식을 전하거나 민감한 문제에 대해 소통하는 등의 어려운 상황을 탐색하고 연습할 수 있으며 시나리오를 맞춤화할 수 있습니다.
Advantages of working with simulated, rather than real, patients include authenticity, consistency, predictability, convenience, and efficiency; challenging situations such as breaking bad news or communicating about sensitive issues can be explored and rehearsed; and scenarios can be customised.

연구에 따르면 사람들은 일반적으로 실제 환자와 잘 훈련된 시뮬레이터를 쉽게 구분하지 못한다고 합니다[90, 91]. 학습자와 교수진이 수용할 수 있으며 교육과 평가 모두에서 효과적이고 신뢰할 수 있으며 유효합니다. [일부 정신 건강] 및 [소아과 문제]와 [허약한 노인의 문제]는 [시뮬레이션하기 어렵기 때문]에 [소수 민족]이나 [학습 장애]와 같은 [특정 환자 그룹]이 제대로 대표되지 않을 수 있지만, 현재 국제적으로 광범위한 경험이 축적되어 있습니다. 특정 환경에서 [실제 환자를 사용할지 시뮬레이션 환자를 사용할지 여부]는 시뮬레이션할 현상의 특성, 의도한 학습 결과, 현지 상황, 사용 가능한 리소스 등 다양한 요인에 따라 결정됩니다[92]. 하지만 시뮬레이션의 주된 목적은 술기 개발과 리허설을 가능하게 하는 것이지, [환자의 목소리를 반영하는 것이 아니라는 점]을 기억하는 것이 중요합니다.
Research has shown that people generally cannot easily distinguish between real patients and well
trained simulators [90, 91]. They are acceptable to learners and faculty, and are effective, reliable, and valid in both instruction and assessment. There is now wide international experience, although some mental health and paediatric problems, as well as those of the frail elderly, may be difficult to simulate and thus may be underrepresented, as may certain patient groups, for example, ethnic minorities or people with learning disabilities. The choice of whether to use real or simulated patients in a particular setting will be determined by a range of factors, including the nature of the phenomena to be simulated, intended learning outcomes, local circumstances, and available resources [92]. It is important to remember though that simulations main purpose is to enable skills development and rehearsal, not primarily to ensure incorporation of the patients voice.

시뮬레이션이 시뮬레이션된 환자에게 미치는 영향에 대한 문헌은 제한적입니다. 일부 상황(예: 감정적으로 격렬한 시나리오를 묘사할 때)에서는 해를 끼칠 가능성이 있으며, 실제로 전문 배우만이 이러한 까다로운 역할을 수행해야 한다는 주장도 있지만[93], 일반적으로 사람들이 역할을 적절히 선택하고 지원받는다면 이점이 단점보다 크다는 것이 일반적인 합의입니다[94]. 참여하고자 하는 사람의 이유 탐색, 교육 및 지원, 디브리핑 및 역할 해제 등 채용에 주의를 기울이는 것이 중요합니다[91, 94]. 시뮬레이션 및 모의 환자 사용은 11장에서 자세히 설명합니다. 
The literature on the effects of simulation on simulated patients themselves is limited. There is potential for harm in some situations for example, when portraying emotionally intense scenarios indeed, it has been argued that only professional actors should undertake such demanding roles [93], but the general consensus is that benefits outweigh any disadvantages so long as people are appropriately selected and supported in the role(s) [94]. It is important to pay attention to recruitment, including exploring the persons reasons for wanting to get involved, training and support, and debriefing and deroling [91, 94]. The use of simulation and simulated patients is discussed further in Chapter 11.

 

추가 연구 분야
Areas for Further Research

이 분야에 대한 많은 연구의 품질이 다양하다는 점을 고려할 때 대규모 연구 의제가 확인되었습니다. 일반적인 질문은 다음과 같습니다:
In light of the variable quality of much of the research in this area, a large research agenda has been identified. Typical questions include the following:

- 환자 참여의 동인은 무엇인가?
What are the drivers of patient involvement?

- 다양한 접근 방식의 강점과 약점은 무엇이며, 이러한 강점과 약점은 직업과 분야, 국가와 문화에 따라 어떻게 다른가?
What are the strengths and weaknesses of different approaches, and how do these vary between professions and disciplines, and between countries and across cultures?

- 효과적인 접근 방식에 영향을 미치는 요인은 무엇이며 그 이유는 무엇인가요?
What factors influence what works, and why?

- 위치, 접근성, 안전과 같은 구조적 및 조직적 요인이 프로그램 개발에 어떤 영향을 미칩니까?
How do structural and organisational factors such as location, access, and safety influence development of programmes?

- 환자의 참여 경험에 영향을 미치는 요인은 무엇인가요?
What factors influence patients experiences of involvement?

- 모든 당사자에게 장단기적으로 중요한 결과는 무엇인가요?
What are the key outcomes, short
and long term, for all parties?

- 프로그램의 지속 가능성에 영향을 미치는 요인은 무엇인가요?
What factors influence sustainability of programmes?

 

결론
Conclusion

학생과 수련의는 교육 초기 단계부터 환자, 보호자 및 가족과 적극적으로 참여하여 학습을 통합하고 다른 맥락에서 배운 내용을 실제 임상 환경에서 실천하는 방법을 배울 수 있어야 합니다. 전문적이고 세심하게 수행되는 적절한 참여는 학습자뿐만 아니라 환자에게도 엄청난 이점을 제공합니다. 많은 환자들이 자신을 돌봐주는 사람들에게 '무언가를 돌려주고' 싶어 하며, 모든 수준의 의료 교육에 참여하는 것은 그렇게 하는 한 가지 방법입니다.
From an early stage of training, students and trainees need to actively engage with patients, carers, and families so they can learn to consolidate their learning and put learning from other contexts into practice in the real clinical environment. Appropriate involvement, carried out professionally and sensitively, provides immense benefits not only for the learners, but also for patients. Many patients want to
give something back to those who care for them, and engaging in medical education at all levels is one way of so doing.

교사와 학습자는 '실제' 환자를 대상으로 학습하는 것이 부적절한 경우를 인지해야 합니다. 그러나 종이 사례 시나리오부터 고충실도 시뮬레이션에 이르기까지 다양한 대안을 사용할 수 있습니다. 법적 및 윤리적 문제, 환자 역량 강화 및 사회적 책임, 공동 의사 결정 및 공동 제작과 관련된 의제의 변화 등 전문성에 대한 강조가 커지면서 교육자는 여러 가지 이유로 환자와 보호자의 교육 활동에 대한 적극적이고 정보에 입각한 참여를 이끌어내는 데 세심한 주의를 기울일 필요가 있습니다. 이러한 접근 방식은 '파트너로서의 환자'라는 수사를 교육 및 학습 환경의 중심에 두고, 궁극적으로 임상 실습의 중심에 두는 데 도움이 될 것입니다. 상자 15.9를 참조하십시오. 
Teachers and learners need to be aware when learning on
real patients is inappropriate. However, many alternatives are available, ranging from paper case scenarios to highfidelity simulations. The greater emphasis on professionalism, including attending to legal and ethical issues, and the changing agendas relating to patient empowerment and social accountability, shared decisionmaking, and coproduction mean that, for a host of reasons, educators need to pay close attention to seeking active, informed involvement in educational activities from patients and carers. This approach will help put the rhetoric of patients as partnersat the centre of the teaching and learning environment, and ultimately at the heart of clinical practice. See Box 15.9.   

박스 15.9 행동 우선순위 [26]
BOX 15.9 Priorities for action [26]

'밴쿠버 성명서'는 2015년 국제 컨퍼런스에서 개발되었습니다[26]. 이 성명서는 혜택과 장벽을 포함하여 교육 및 훈련의 연속체 전반에 걸친 환자 및 대중의 참여 현황을 광범위하게 요약합니다. 이 성명서는 정책, 인식 및 지원, 혁신, 연구 및 평가, 보급 분야에서 저자들이 '환자 참여를 정착시키기 위해 필요하다고 생각하는' 9가지 행동 우선순위를 제시합니다.
The
Vancouver Statement was developed at an international conference in 2015 [26]. It broadly summarises the current state of patient and public involvement across the continuum of education and training, including benefits and barriers. The statement lays out nine priorities for action in the areas of policy, recognition and support, innovation, research and evaluation, and dissemination which the authors believe are necessary in order to embed patient involvement.

1 인증 기준, 외부 및 내부 정책, 전문 기관의 선언문, 모범 사례 성명서 등의 지침을 통해 환자 참여를 촉진합니다.
1
Promote patient involvement through directives such as accreditation standards, external and internal policies, pronouncements from professional bodies, and best practice statements.

2 환자 전문성에 대한 근거와 가치를 인정하는 기관, 지역, 국가, 전 세계의 인식을 촉진하고, 성취를 인정하고 성공을 축하합니다.
2
Foster institutional, local, national, and global recognition of patient expertise that grounds and values it; recognise achievement and celebrate success.

3 환자, 지역사회 기관, 환자 옹호 단체, 지역사회 구성원의 동기와 열정을 활용하여 참여하는 사람들의 다양성을 높입니다.
3
Increase the diversity of people involved by harnessing the motivation and enthusiasm of patients, community agencies, patient advocacy organisations, and community members.

4 학습자에게 가능한 한 빨리 이니셔티브를 소개하고 교육 연속성 전반에 걸쳐 유지합니다.
4
Introduce initiatives to learners as early as possible, and sustain them throughout the educational continuum.

파트너십과 팀워크에 대한 보다 총체적인 접근을 촉진하기 위해 새롭게 등장하는 학습 활동에 환자의 참여를 목표로 합니다.
5
Target patient involvement in new and emerging learning activities in order to facilitate a more holistic approach to partnerships and teamwork.

환자 참여를 촉진하기 위해 교육 기관과 지역사회 조직 간의 협력을 촉진하는 모델을 탐색하고 만듭니다.
6
Explore and create models to promote collaboration between educational institutions and community organisations to promote patient involvement.

환자와 협력하여 고품질의 연구를 수행하여 환자 참여의 단기 및 장기적 영향에 대한 추가 증거를 제공합니다.
7
Conduct high quality research in partnership with patients to provide further evidence of shortterm and longterm impact of patient involvement.

8 컨퍼런스 및 교육 행사의 기획, 제공, 평가에 환자가 참여할 수 있도록 위원회에 로비하고, 지역사회 단체, 대학, 기금 기관에 로비하여 환자들이 컨퍼런스에 참석하고 발표할 수 있도록 보조금을 제공합니다.
8
Lobby committees to involve patients in planning, delivery, and evaluation of conferences and educational events; lobby community organisations, colleges, and universities and funding bodies to provide grants for people to attend and present at conferences.

9 협력, 정보 전파, 유망한 사례 공유, 추가 회의 계획 등을 위해 지역 네트워크를 구축합니다.
9
Create regional networks of people and champions to collaborate, disseminate information, share promising practices, and plan further meetings.

 

 

졸업후의학교육에서 역량중심의학교육(Med Teach, 2010)
Competency-based medical education in postgraduate medical education
WILLIAM F. IOBST1, JONATHAN SHERBINO2, OLLE TEN CATE3, DENYSE L. RICHARDSON4, DEEPAK DATH5, SUSAN R. SWING6, PETER HARRIS7, RANI MUNGROO8, ERIC S. HOLMBOE9 & JASON R. FRANK10, FOR THE INTERNATIONAL CBME COLLABORATORS 

 

소개
Introduction

현재의 대학원 의학교육(PGME)은 [100년 전 존스 홉킨스의 오슬러, 할스테드 등이 설립한 이후 본질적으로 변하지 않았다는 비판]을 받아왔습니다. 그러나 의사가 실무에 투입될 수 있도록 준비하는 기간인 레지던트 교육은 1990년대 초부터 조용한 혁명을 겪어왔습니다. 1993년 영국에서 '내일의 의사'가 출범하면서(General Medical Council 1993, 2009) 의학교육의 기본 틀이 [시간 및 과정 기반 프레임워크]에서 [역량 기반 모델]로 전환되기 시작했습니다. 이러한 패러다임 전환에 대한 국제적인 수용은 이후 발표된

  • CanMEDS 프레임워크(Frank 2005; Frank & Danoff 2007),
  • The Scottish Doctor(Simpson et al. 2002; Scottish Deans' Medical Curriculum Group 2009),
  • ACGME 성과 프로젝트(Swing 2007; Accreditation Council for Graduate Medical Education 2009a,b),
  • Good Medical Practice(General Medical Council 2006),
  • 호주 전공의 교육과정 프레임워크(Graham 외. 2007),
  • 네덜란드 학부 의학교육 2009년 프레임워크(Van Herwaarden 외. 2009) 등이 발표되었습니다.

Postgraduate medical education (PGME), it its current form, has been criticized as being essentially unchanged from its founding by Osler, Halsted, and others at Johns Hopkins a century ago. However, residency education – the period of training that prepares physicians to enter practice – has undergone a quiet revolution since the early 1990s. With the launch of Tomorrow's Doctors in the United Kingdom in 1993 (General Medical Council 1993, 2009), the framework guiding medical education began to shift from a time- and process-based framework to a competency-based model. International acceptance of this paradigm shift is reflected by the subsequent release of

  • the CanMEDS framework (Frank 2005; Frank & Danoff 2007),
  • The Scottish Doctor (Simpson et al. 2002; Scottish Deans’ Medical Curriculum Group 2009),
  • the ACGME Outcomes Project (Swing 2007; Accreditation Council for Graduate Medical Education 2009a,b),
  • Good Medical Practice (General Medical Council 2006),
  • the Australian Curriculum Framework for Junior Doctors (Graham et al. 2007), and
  • the 2009 Framework for Undergraduate Medical Education in the Netherlands (Van Herwaarden et al. 2009).

역량 기반 교육으로의 전환은 이제 막 시작되었지만 관심이 커지고 있습니다. 이제 [규제 기관]은 기대치의 일부로 역량 달성에 대한 증명을 요구하고 있으며, 일부 국가에서는 이 요구사항이 인증 절차를 안내하고 있습니다. 오슬러의 '고등 의학교육 신학교'에 첫 수련의가 입학한 지 한 세기가 지난 지금, 역량 기반 의학교육(CBME)은 21세기 대학원 의학교육(PGME)을 정의하는 프레임워크가 될 것으로 기대됩니다. 이 백서에서는 PGME에 대한 역량 기반 접근 방식의 근거와 시사점, 장점과 과제, 역량 기반 비전을 실현하는 데 필요한 변화를 검토합니다.  

Although the move to competency-based training has just begun, interest is growing. Regulatory organizations now require demonstration of attainment of competency as part of their expectations; in some countries, this requirement now guides accreditation processes. A century after the first trainees entered Osler's “seminary of higher medical education,” competency-based medical education (CBME) promises to become the defining framework for postgraduate medical education (PGME) in the 21st century. In this paper, we review the rationale and the implications of a competency-based approach to PGME, its advantages and challenges, and the changes needed to realize a more competency-based vision.

레지던트 교육을 개혁해야 하는 이유는 무엇인가요?
Why reform residency education?

전 세계적으로 레지던트 교육이 성공적으로 성장하지 않았다면 현대 의학 및 진료의 놀라운 성공은 불가능했을 것입니다. 이제 의과대학 졸업 후 실습 준비를 위한 집중적인 임상 교육은 [필수적인 과정]으로 여겨지고 있습니다. PGME는 이제 수천 명의 교사와 학습자가 지속적인 활동에 참여하는 거대한 전문 기업으로 성장했습니다. 오늘날의 의사들은 역사상 가장 높은 수준의 교육을 받았습니다. 그렇다면 [왜 PGME에 대한 새로운 접근 방식]을 고려해야 할까요? 현재 시스템의 약점은 만연한 시간 기반 패러다임에 있습니다. 전 세계적으로 레지던트 커리큘럼을 성공적으로 이수했는지 여부를 [습득한 능력이 아니라 로테이션에 소요된 시간으로 인식하는 경향]이 있습니다(Carraccio 외. 2002). 모든 졸업생이 진료에 대비할 수 있도록 보다 신뢰할 수 있는 방법을 찾는 것이 바로 CBME의 동기입니다.
Arguably, the incredible successes of modern medical science and practice would not have been possible without the successful growth of residency education worldwide. Intensive clinical training in preparation for practice is now considered imperative after medical school. PGME is now an enormous professional enterprise engaging thousands of teachers and learners in continuous activity. Today's physicians are the most highly educated in history. So why should we consider a new approach to PGME? The weaknesses of our current system lie in its pervasive time-based paradigm. Worldwide, there is a tendency to recognize the successful completion of a residency curriculum as time spent on rotations, as opposed to abilities acquired (Carraccio et al. 2002). Here lies the motivation for CBME: to find a more reliable way to ensure that every graduate is prepared for practice.

역량 기반 PGME란 무엇인가요?
What is competency-based PGME?

이 주제 호의 다른 부분(Frank 외. 2010)에서 자세히 설명했듯이, CBME는 교육 성과에 초점을 맞춥니다. 역량 기반 레지던트 패러다임에서 프로그램은 [새로 수련받은 의사]가 [진료의 모든 측면에 대해 유능하다는 것을 입증]해야 합니다. 이 접근 방식은 교사나 프로그램이 [어떻게 가르쳐야 하는지] 또는 학생이 그 목표를 달성하는 동안 [어떻게 배워야 하는지]를 규정하지 않습니다. 오히려 역량 기반 교육은 바람직한 [졸업생 능력을 명시적으로 정의]하고 이러한 [결과가 커리큘럼, 평가 및 평가의 개발을 가이드]할 수 있도록 합니다. 따라서 레지던트를 위한 CBME는 [정해진 기간을 강조하지 않고], 모든 필수적인 실무 측면에서 [이정표에서 이정표로 역량이 발전하도록 장려]합니다. 또한 CBME는 커리큘럼 목표인 지식뿐만 아니라 능력 추구에 있어서, [새로운 교육 방법], [경험 순서를 구성하는 데 있어 더 큰 유연성], [더 빈번한 평가], [전문 교수진의 의미 있는 감독], [교사와 수련의 모두의 더 큰 참여]를 요구합니다. 역량 기반 레지던트 교육은 수년간 임상 서비스를 제공하는 동안 [단순히 기회주의적인 학습]이 아니라 설계 단계부터 역량을 고려한 교육입니다. Carraccio와 공동 저자(2002)는 교육에 대한 접근 방식에서 CBME 패러다임 전환의 요소를 설명했습니다(표 1 참조).
As elaborated elsewhere in this theme issue (Frank et al. 2010), CBME focuses on educational outcomes. In a competency-based residency paradigm, programs must demonstrate that the newly trained physician is competent for all aspects of practice. This approach does not prescribe how the teacher or program must teach or how the student must learn while achieving that goal. Rather, competency-based training explicitly defines desired graduate abilities and allows those outcomes to guide the development of curricula, assessment, and evaluation. CBME for residency therefore de-emphasizes fixed time periods and promotes the progression of competence from milestone to milestone in all of the essential aspects of practice. CBME also calls for new instructional methods, greater flexibility in organizing the sequence of experiences, more frequent assessment, meaningful supervision by expert faculty, and greater engagement of both teachers and trainees in the pursuit of abilities – not just knowledge – as the curricular goal. Competency-based residency education is competence by design, not merely opportunistic learning during years of providing clinical service. Carraccio and co-authors (2002) have described the elements of the CBME paradigm shift in the approach to training (see Table 1).

 
 

CBME의 커리큘럼 재조정
Realigning curricula in CBME

[전통적인 의학 대학원 교육]은 [기간과 커리큘럼 프로세스]를 중심으로 구성됩니다.

  • 이는 '체류 시간'으로 정의되는 [기회주의적 접근 방식]으로, 정해진 기간 동안 개별 활동에 지정된 개월 수가 할당됩니다.
  • [평가]는 학습자가 [특정 지식을 습득]했는지 여부를 명백하게 입증하는 데 중점을 두고, [기술과 태도의 습득]에 초점을 맞추는 경우가 훨씬 적습니다.
  • [프로그램 평가]는 [과정의 문제(예: "모든 로테이션에 대한 목표가 있는가?" 또는 "교사 평가 양식이 있는가?")]에 초점을 맞추는 경향이 있습니다.
  • [대다수의 학습자][시간, 프로세스 및 커리큘럼 요건]을 충족하여 성공적으로 교육을 이수합니다.
  • [이러한 요건이 충족]되면 학습한 내용을 실제 환자 진료에 적용할 수 있는 능력이 있는 것으로 [간주]되며, [실제로 해당 학습 내용을 의료 서비스 제공에 적용하는지 여부]는 평가하지 않습니다

Traditional graduate medical education is structured around time frames and curricular processes.

  • It is an opportunistic approach defined by “dwell time,” whereby a specified number of months is assigned to discrete activities over prescribed periods.
  • To a large extent, assessment focuses overtly on demonstrating whether the learner has acquired specific knowledge; to a much lesser extent, it focuses on the acquisition of skills and attitudes.
  • Program evaluation tends to focus on matters of process (e.g., “Are there objectives for every rotation?” or “Is there a teacher evaluation form?”).
  • The vast majority of learners successfully complete their training by meeting time, process, and curricular requirements.
  • When those requirements are met, the ability to apply what is learned to the actual delivery of patient care is assumed, without actually assessing whether the application of that learning to health care delivery occurs.

이와 대조적으로 역량 기반 교육은 의료 업무에 필요한 특정 [지식, 기술 및 태도의 적용을 성공적으로 입증하는 것]을 기반으로 합니다.

  • 수련 내에서 진급을 위해서는 학습자가 [주요 발달 단계에서 역량을 입증]해야 합니다.
  • 커리큘럼, 평가 도구 및 평가 시스템은 이러한 결과를 [달성하고 문서화]하기 위해 개발되었습니다.
  • 이 수준의 평가와 평가는 실제 의료 서비스를 제공하는 동안 이루어져야 합니다. [밀러의 평가 피라미드]는 이 과정을 개념화합니다(1990). 이 모델에서 평가는 학습자가 "알고, 방법을 알고, 방법을 보여주거나, 할 수 있다"는 것을 입증할 수 있는 능력에 초점을 맞춥니다.
  • 평가의 유형은 평가 대상 역량과 학습자의 학습 단계에 적합해야 하지만, CBME는 궁극적으로 이 피라미드의 맨 꼭대기에서 평가해야 합니다.
  • 이를 위해서는 학습자가 [안전하고 효과적인 환자 치료를 제공할 수 있는 능력을 입증]해야 하며, 이는 [직접 관찰]을 통해 가장 잘 이루어집니다.

In contrast, competency-based training is based on the successful demonstration of the application of the specific knowledge, skills, and attitudes that are required for the practice of medicine.

  • Progression in training requires that the learner demonstrate competence at critical stages of development.
  • The curriculum, assessment tools, and evaluation system are developed to achieve and document this outcome.
  • Assessment and evaluation at this level must occur during the actual delivery of care. Miller's pyramid of assessment conceptualizes this process (1990). In this model, assessments are directed at learners’ ability to demonstrate that they either “know, know how, show how, or do.”
  • Although the type of assessment must be appropriate to the competency being assessed and to the learner's stage of learning, CBME ultimately requires assessment at the very top of this pyramid.
  • This requires that learners demonstrate the ability to provide safe and effective patient care and is best accomplished through direct observation.


CBME는 [교육 또는 전문 경력]의 [다음 단계]로 나아가기 위한 [역량을 입증]해야 합니다.

  • PGME 수준의 학습자 대부분은 궁극적으로 직접 환자 치료를 제공하게 되므로, 이들의 [평가 및 평가]는 [실제 치료 제공에 필요한 능력에 초점]을 맞추어야 합니다.
  • [역량 임계값]은 평가자와 교육생 모두가 [명확하게 정의하고 이해]해야 하며, 교육생의 역량 여부를 신뢰성 있게 판단하기 위해서는 [평가가 정확]해야 합니다.
  • 순수한 역량 기반 교육 프레임워크에서 [효과적인 평가를 해야]만 성공적인 역량 입증에 기반하여 학습자가 프로그램에서 [각기 다른 속도로 진급]할 수 있도록 합니다. 어떤 학습자는 더 빨리 발전하고 어떤 학습자는 더 느리게 발전할 수 있습니다.
  • 이를 위해서는 [학습의 안내] 및 [평가 및 평가에 정보 제공]을 위하여 학습자에게 [교육 전반에 걸쳐 명확하게 정의된 목표]가 있어야 합니다. Green과 동료들이 개발한 내과 레지던트 교육에 대한 발달 이정표(2009)는 이러한 목표를 정의하는 방법의 한 예입니다.
  • 이러한 [이정표]는 개별적인 행동 또는 발달의 중요한 지점을 설명하며, 이를 충족하면 평가자와 프로그램은 학습자가 진정으로 다음 단계의 교육으로 진행할 준비가 되었다는 것을 알 수 있습니다.

CBME requires the demonstration of competence to advance in training or to the next phase of a professional career.

  • Because most learners at the PGME level will ultimately provide direct patient care, their assessment and evaluation should focus on the abilities needed for the actual delivery of that care.
  • Competence thresholds must be clearly defined and understood by both assessor and trainee, and assessment must be accurate in order to reliably determine whether the trainee is competent.
  • In a pure competency-based training framework, effective assessment would allow the learners to advance in a program at different rates on the basis of the successful demonstration of competency. Some learners would advance more quickly; others, to a point, would advance more slowly.
  • This requires that learners have clearly defined targets throughout training to guide learning and inform assessment and evaluation. The developmental milestones for Internal Medicine residency training developed by Green and associates (2009) are one example of how these targets can be defined.
  • These milestones describe discrete behaviours or significant points in development that, when met, allow evaluators and programs to know that a learner is truly ready to progress to the next stage of training.

교수자-학습자 관계 및 책임
Teacher-learner relationship and responsibilities

[전통적인 레지던트 교육 설계]에서는 학습이 [교사 주도]로 이루어집니다. [역량 기반 교육]에서는 [교사와 학습자 간에 책임이 공유되는 협업 과정]입니다.

  • 이러한 협업을 위해서는 [학습자가 학습 계획을 결정하는 데 적극적으로 참여]해야 하며, 교사는 [빈번하고 정확한 형성 피드백을 제공]해야 합니다(Westberg & Hilliard 1993).
  • 학습자에게 요구되는 핵심 기술에는 [자기 주도적 평생 학습, 자기 성찰 및 자기 평가]가 포함됩니다.
  • Epstein과 동료들(2008)은 자기 평가를 "자신의 성과에 대한 데이터를 해석하고 이를 명시적 또는 암묵적 표준과 비교하는 과정"이라고 설명했습니다.
  • 그러나 자기 평가는 성공적이고 지속적인 진료 개선, 우수성에 대한 헌신, 자기 모니터링에 매우 중요하지만, 많은 연구에서 [수련 중인 의사가 부정확한 자기 평가를 한다]는 사실이 입증되었습니다(Hodges 외. 2001; Davis 외. 2006).
  • 자기평가는 [전문가 역할 모델] 또는 [수행의 모범]을 [수행 기준으로 사용]하거나, [여러 정보 소스를 사용]하여 완료하는 것이 가장 좋으며, [단독으로 완료해서는 안 됩니다].
  • 후자는 학습자가 [외부 소스로부터 피드백]을 구하는 데 책임을 지고, 그 정보를 사용하여 "자기 주도적 평가 추구"라고 부르는 프로세스에서 [성과 개선을 안내하는 데 사용]하도록 요구합니다(Eva and Regehr, 2008).
  • 이러한 [외부 정보 소스]의 예로는 다음 등이 있습니다.
    • 여러 참관인으로부터 받은 피드백,
    • 교육 중 시험 결과,
    • 시뮬레이션 수행 결과
    • 실습 감사에서 수집한 데이터 
  • 그러나 [교수진의 피드백]은 이러한 정보의 중요한 원천이며, 학습자를 [직접 관찰]해야 합니다. CBME 프레임워크에서 [교사와 학습자 간의 역동적인 상호 작용]은 이 과정을 분명히 촉진할 수 있습니다.
  • 이러한 책임을 다하기 위해 프로그램은 [안전한 학습 환경]을 조성하고, 모든 참가자의 역할과 기대치를 명확하게 정의해야 합니다.

In a traditional residency design, learning is teacher driven. In competency-based training, it is a collaborative process in which responsibility is shared between teacher and learner.

  • This collaboration requires that the learner be an active participant in determining a learning plan, and that the teacher provide frequent and accurate formative feedback (Westberg & Hilliard 1993).
  • Critical skills required of the learner include self-directed and lifelong learning, self-reflection, and self-assessment.
  • Epstein and colleagues (2008) have described self-assessment as “the process of interpreting data about our own performance and comparing them to an explicit or implicit standard.”
  • However, although self-assessment is critical to successful and continuous practice improvement, commitment to excellence, and self-monitoring, many studies have demonstrated that physicians-in-training are inaccurate self-assessors (Hodges et al. 2001; Davis et al. 2006).
  • Self-assessment is best completed using expert role models or exemplars of performance as performance criteria, or, alternatively, multiple information sources, and should not be completed in isolation.
  • The latter requires that the learner take responsibility for seeking feedback from external sources and use that information to guide performance improvements in a process that Eva and Regehr (2008) have called “self-directed assessment seeking.”
  • Examples of such external sources of information could include
    • feedback solicited from multiple observers,
    • in-training exam results,
    • outcomes of simulation performance, and/or
    • data gleaned from a practice audit.
  • Feedback from faculty is, however, a critical source of such information and requires direct observation of the learner. The dynamic interaction between teacher and learner in a CBME framework can clearly facilitate this process.
  • To meet this responsibility, programs must create safe learning environments and clearly define roles and expectations for all participants.

또한 CBME는 프로그램이 [적절한 학습자 감독]을 보장하도록 요구합니다.

  • 레지던트 근무시간에 관한 미국의학연구소의 보고서(2008)에서 권고한 바와 같이 인증기관, 후원기관, 수련 프로그램은 각 수련자의 수준과 전문성에 적합한 [측정 가능한 감독 기준]을 수립해야 합니다.
  • 전통적으로 선임 학습자는 교육 기간 동안 더 많은 책임감을 가지고 후배 학습자를 가르치고 감독합니다. 교수진의 감독이 제한적으로 이루어지는 경우가 많습니다.
  • 이러한 활동(교수진 슈퍼비전)은 학습자의 전문성 개발에 매우 중요한 것으로 간주되며, [학습 공동체]와 [수련 프로그램 문화]의 중요한 구성 요소로 여겨집니다(미국 내과학회 2009).
  • 그러나 해당 분야의 전문가가 아닌 개인에 의한 코칭의 이점에 의문을 제기한 Ericsson과 동료들(1993)의 연구에도 불구하고, 상급 학습자가 하급 학습자를 감독하는 것은 상급 학습자가 실제로 감독을 제공할 수 있는 능력이 있는지에 대한 적절한 평가 없이 이루어지는 경우가 종종 있습니다.
  • 또한, 교육 프로그램은 동료 학습자가 어려움에 처한 상황을 파악하고 해결하기 위해 학습자에게 지나치게 의존해서는 안 됩니다. [모든 수준의 학습자를 위한 적절한 슈퍼비전]은 학습을 풍부하게 하는 동시에 안전하고 효과적인 환자 치료를 제공할 수 있도록 보장할 수 있습니다.

CBME also requires that programs ensure adequate learner supervision.

  • As recommended in the Institute of Medicine's report on resident work hours (2008), accrediting organizations, sponsoring institutions, and training programs should establish measurable standards of supervision for each trainee appropriate to his or her level and specialty.
  • Traditionally, senior learners teach and supervise junior learners with increasing responsibility during training. Frequently, this occurs with limited faculty supervision.
  • This activity is seen as critical to the learner's professional development and is believed to be a vital component of the learning community and culture of training programs (American Board of Internal Medicine 2009).
  • However, despite work by Ericsson and colleagues (1993) that has called into question the benefit of coaching by individuals who themselves are not experts in the field, supervision of junior learners by advanced learners often occurs without adequate assessment of whether the more senior learner is actually competent to provide supervision.
  • Moreover, training programs should not be overly dependent on learners to identify and remediate situations where peer learners are in difficulty. Appropriate supervision for all levels of learners can enrich learning while at the same time ensuring the delivery of safe and effective patient care.

평가에 대한 접근 방식
Approaches to assessment

[평가 프로세스]는 [학습자가 수련과정을 progress]하거나 [practice을 시작할 준비]가 되었는지에 대한 정보를 생성하는 데 사용되는 방법, 도구 및 프로세스로 구성됩니다. [평가Evaluation]는 커리큘럼의 유용성과 관련하여 이러한 데이터를 판단하거나 해석하는 것을 말합니다. 이번 호의 다른 곳에서 Holmboe와 동료들(2010)이 설명한 것처럼, CBME에는 [향상된 평가 도구와 프로세스]가 필요합니다.
The process of assessment comprises the methods, tools, and processes used to generate information about learners’ readiness to progress in training or start practice. Evaluation refers to the judgment or interpretation of those data as they relate to the utility of a curriculum. As described by Holmboe and colleagues (2010) elsewhere in this issue, CBME requires enhanced assessment tools and processes.

역량 기반 교육을 성공적으로 구현하려면 [모든 교수진]이 [역량 기반 실습을 이해하고 모범]을 보여야 합니다. 또한 교수진은 [커리큘럼 개발에 적극적으로 참여]해야 합니다. [평가 및 평가를 위해서는] 교수진이 의료 서비스를 제공하는 실습생을 [직접 관찰하는 구체적인 기술]을 개발해야 합니다. 시뮬레이션은 시간이 지남에 따라 역량 평가에서 점점 더 중요한 역할을 하게 될 것이지만, 학습자가 [진료를 제공하는 것을 직접 관찰하는 것]은 [평가 및 평가 프로세스의 초석]으로 남아 있을 것입니다. Carraccio와 동료들(2002)이 지적했듯이, 역량 기반 교육 및 훈련에는 직접 관찰이 필요하고 형성 평가의 빈도와 질이 높아지기 때문에 [교수진의 더 많은 참여가 필요]합니다.
The successful implementation of competency-based training will require that all faculty understand and model competency-based practice. Faculty must also be actively involved in curriculum development. Assessment and evaluation will require that faculty develop specific skills in the direct observation of trainees delivering care. Although simulation will likely play an increasingly important role in competency assessment over time, the direct observation of learners providing care will remain a cornerstone of assessment and evaluation process. As Carraccio and colleagues (2002) have noted, competency-based education and training requires greater involvement by faculty because of the need for direct observation and increased frequency and quality of formative assessment.

[환자를 면담하고, 진찰하고, 상담하는 기본 기술]은 효과적인 환자 치료에 필수적입니다. [직접 관찰]을 통해 이러한 기술을 평가하는 것은 [모든 역량 기반 평가 시스템에서 매우 중요한 부분]입니다. 안타깝게도 [대부분의 교수진]은 [신뢰할 수 있고 유효한 방식으로 직접 관찰을 수행할 준비]가 되어 있지 않습니다. 여러 연구에 따르면 많은 실무 의사와 교수진이 이러한 [(직접관찰)기술을 수행할 능력이 부족하다는 사실]이 입증되었습니다. 교수진은 이러한 [술기의 필수 구성 요소]를 배워야 할 뿐만 아니라, 이러한 술기를 수행하는 [학습자에 대한 유효하고 신뢰할 수 있는 평가를 제공하는 방법]도 배워야 합니다. 다행히도 수행 평가 문헌에 따르면 교수자 개발은 평가 오류를 줄이고 변별력을 개선하며 평가의 정확성을 향상시킬 수 있다고 합니다(이번 호의 Dath & Iobst 2010 참조).
The basic skills of interviewing, examining, and counselling patients are essential to effective patient care. Evaluating these skills using direct observation is a critical part of every competency-based evaluation system. Unfortunately, most faculty are not prepared to perform direct observation in a reliable and valid fashion. Multiple studies have demonstrated that many practising physicians and faculty members are not competent to perform these skills. Faculty must not only learn the essential components of these skills, but must also learn how to deliver valid and reliable evaluations of learners performing these skills. Fortunately, the performance appraisal literature suggests that faculty development can reduce rating errors, improve discrimination, and improve the accuracy of evaluation (see Dath & Iobst 2010, in this issue).

[직접 관찰을 위한 효과적인 교수자 개발]은 궁극적으로 프로그램 수준에서 평가의 신뢰성과 타당성을 향상시킬 수 있는 [직접 관찰에 대한 공유된 정신 모델 또는 이해 수준을 만드는 것]을 목표로 해야 합니다. 이러한 평가자 교육은

  • [관찰할 역량의 필수 요소]에 대한 합의를 얻고,
  • [해당 역량을 평가하는 기준을 표준화]하며,
  • [관찰 빈도를 높이기 위한 전략을 개발]하는 데 중점을 두어야 합니다(Holmboe 2008).

Effective faculty development for direct observation must aim to create a shared mental model or level of understanding about direct observation that will ultimately enhance the reliability and validity of assessment at the program level. Such rater training should seek to gain agreement on the essential elements of the competency to be observed, standardize criteria for rating that competency, and develop strategies to increase the frequency of observations (Holmboe 2008).

일부에서는 CBME가 [의료 행위]를 [객관적으로 관찰 가능한 기준의 항목별 목록]으로 [축소reduce]한다고 주장하기도 합니다(Brooks 2009). 다른 사람들(Grant 1999)은 역량 [전체가 개별 부분보다 더 크며], 궁극적으로 환자 치료 제공에 있어 [역량의 입증]은 플레밍(1993)이 [메타 역량]으로 묘사한 것을 나타낸다고 관찰합니다.

  • [메타역량]의 개념은 [실제 의료 환경에서 [안전하고 효과적인 진료]에 필요한 개인의 [지식, 기술, 태도]뿐만 아니라 [문화적, 사회적 맥락]의 복합적인 조합]을 인식합니다.
  • 이러한 메타 역량을 평가하려면 다음이 필요합니다.
    • 타당하고 신뢰할 수 있는 [다차원 평가],
    • 여러 [데이터 포인트],
    • 평가 정보를 [수집, 처리 및 조치]할 수 있는 강력한 시스템
  • 신뢰할 수 있고 타당한 [메타역량 평가]를 위해서는 교수진 평가자가 [환자 치료 제공에 대한 깊은 지식과 경험]을 가지고 있어야 합니다.
  • 또한 모든 참여자가 메타역량 평가가 [단순히 목록에 있는 항목에 체크하는 것 이상의 것]을 필요로 한다는 점을 이해해야 합니다.
    • 메타 역량을 입증하려면 평가가 [유사한 상황에서 유능하게 수행할 수 있는 능력]을 다루어야 하며,
    • 관찰된 성과를 [직접 평가하지 않은 실제 상황에서의 성과로 추정]할 수 있어야 합니다(Williams 외. 2003).

Some have argued that CBME reduces the practice of medicine to itemized lists of objective observable criteria (Brooks 2009). Others (Grant 1999) observe that the whole of competence is greater than its individual parts and that, ultimately, the demonstration of competence in the delivery of patient care represents what Fleming (1993) has described as meta-competency.

  • The concept of meta-competency recognizes the complex mix of individual knowledge, skills, and attitudes, as well as cultural and social contexts, required for safe and effective practice in actual health care environments.
  • Assessing such meta-competencies requires
    • valid and reliable multi-dimensional assessment,
    • multiple data points, and
    • a robust system for collecting, processing, and acting on evaluation information.
  • Reliable and valid meta-competency evaluation requires that faculty evaluators have deep knowledge and experience in the delivery of patient care.
  • This also requires that all participants understand that the evaluation of meta-competency requires more than simply checking off items on a list. Attesting to meta-competency will require
    • that evaluation addresses the ability to competently perform in a universe of similar situations and
    • that observed performance can be extrapolated to performance in practice situations that are not directly evaluated (Williams et al. 2003).

절차적 교육을 제외하고 [전통적인 의학교육 모델]에서는 레지던트 평가에서 [직접 관찰 능력]을 우선시하지 않았습니다. 이 프레임워크의 [기본 평가]는 일반적으로 교육 경험 과정에서 개발된 [게슈탈트 평가]에 기반한 [로테이션 종료 시 평가]입니다.
With the exception of procedural training, the traditional model of medical education has not prioritized direct observation skills in residency evaluation. The foundational evaluation in this framework is typically end-of-rotation evaluation based on a gestalt evaluation developed over the course of the educational experience.

기준 참조 평가
Criterion-referenced assessment

[지식 적용에 대한 타당하고 신뢰할 수 있는 평가]는 CBME에서 매우 중요합니다. 이를 위해서는 [규범을 참조하는 평가 기준]이 아닌 [기준을 참조하는 평가 기준]이 필요합니다.

  • [규범 참조 평가]에서는 평가자가 [즉각적이고 사용 가능한 학습자의 성과]를 사용하여 기준을 설정합니다. 이 접근 방식은 성과를 과대 평가하거나 과소 평가할 위험이 있습니다.
  • [기준 참조 평가]에서는 [미리 정해진 기준]이 평가에 영향을 줍니다. 최근에 발표된 [내과 마일스톤]이 이러한 기준의 예입니다. 이러한 마일스톤은 [행동 기반]이며 레지던트가 프로그램에서 발전하고 [커리어의 다음 단계로 진입하는 데 필요한 지식, 기술 및 태도를 습득할 수 있도록 기준]을 제시합니다.

그러나 이러한 [이정표]는 기준을 참조한 평가에 정보를 제공할 수 있지만, "one size fits all" 평가 시스템을 의무화하지는 않습니다. 각 프로그램은 [고유한 임상 환경과 자원을 기반]으로 [기준 참조 평가를 촉진하는 평가 시스템]을 개발해야 합니다.
The valid and reliable assessment of knowledge application is critical in CBME. This requires criterion-referenced rather than norm-referenced standards of assessment.

  • In norm-referenced evaluation, the evaluator uses the performance of immediate and available learners to establish criteria. This approach risks either overrating or underrating performance.
  • In criterion-referenced evaluation, predetermined criteria inform evaluation. The recently released Internal Medicine Milestones are an example of such criteria. These milestones are behaviourally based and offer criteria to ensure that residents acquire the knowledge, skills, and attitudes necessary for advancing in their program and for entering the next phase of their careers.

However, while such milestones can inform criteria referenced evaluation, they do not mandate a “one size fits all” assessment system. Programs will need to develop assessment systems that facilitate criterion-referenced evaluation based on their unique clinical environment and resources.

평가 시기
Timing of assessment

평가는 [형성 평가] 또는 [총괄 평가]를 제공할 수 있습니다. 역량 기반 교육 시스템에서 [피드백을 제공하는 형성 평가][학습자의 교육 과정 참여를 유도]하는 데 필수적입니다. 교육생은 형성 평가/피드백을 [받는 데 익숙]해져야 하며, 교수진은 이를 [자주 제공]해야 합니다. 프로그램은 이 과정을 위한 [안전한 교육 환경]을 조성하고 평가 및 피드백 제공을 위한 [다양한 기회]를 만들어야 합니다. 현재 대부분의 프로그램 평가 시스템에서 형성 평가를 자주 실시하는 것은 중요한 구성 요소가 아닙니다. 일반적인 로테이션 종료형 게슈탈트 평가는 실제 교육 경험과 시간적으로 근접한 시점에 제공되지 않기 때문에 학습자에게 즉각적이고 직접적인 피드백을 제공하는 데 성공할 수 없습니다.
Assessment can provide either formative or summative evaluation. In a competency-based education system, formative assessment that provides feedback is essential to guiding the learner's participation in the educational process. Trainees must become comfortable seeking formative assessment/feedback, and faculty must offer it frequently. Programs will need to cultivate a safe educational environment for this process and to create multiple opportunities for assessment and the delivery of feedback. Frequent formative assessment is currently not a significant component of most program evaluation systems. The typical end-of-rotation gestalt evaluation is not delivered in close temporal proximity to the actual educational experience, and so cannot succeed in providing immediate, direct feedback to the learner.

유연한 교육 기간
Flexible duration of training

CBME의 가장 큰 특징은 학습자가 입증된 능력에 따라 [자신의 속도에 맞춰 학습을 진행]한다는 것입니다. 안타깝게도 현재 널리 사용되고 있는 PGME의 구조는 여러 수준에서 순수한 역량 기반 교육 시스템의 도입을 어렵게 만듭니다. 옳든 그르든, 프로그램 디렉터들은 프로그램과 레지던트가 [점진적인 독립성]을 허용하면서 구조와 어느 정도의 감독이 필요한 성숙 과정을 통해 이익을 얻을 수 있다고 믿습니다(미국 내과학회 2009). 또한 이 과정에는 모든 학습자에게 [정해진 최소 교육 기간]이 필요하다고 생각합니다. 역량 기반 모델로 전환하면 [일부 레지던트의 조기 승진]과 [다른 레지던트의 승진 지연]으로 인해 이 과정이 중단될 위험이 있습니다. 그러나 [숙련된 학습자]는 역량을 입증하는 대로 진급해야 합니다. 한도 내에서 CBME는 [학습에 어려움을 겪는 학습자]에게도 구조화된 학습 환경에서 적절한 시간을 제공해야 합니다. 또한 CBME는 학습자가 특정 영역에서는 성취하고 다른 영역에서는 도전할 수 있음을 인식해야 합니다. 그러나 프로그램 졸업생이 안전하고 효과적인 환자 치료를 제공할 수 있도록 하기 위해서는 어떤 학습자도 [성급하게 시스템을 통과하도록 해서는 안 되며], 모든 학습자에게 원하는 역량을 개발할 수 있는 적절한 시간이 주어져야 합니다. 마지막으로, 현재의 PGME 자금 지원 시스템은 고정된 교육 기간을 기반으로 하고 있으며, [역량 기반의 유연한 시간 모델을 위한 자금 지원 전략]은 아직 제안되지 않았습니다. CBME가 발전하기 위해서는 전체 시스템의 재설계가 필요합니다. 이를 위해서는 교육 과정의 모든 수준에서 변화가 필요합니다.
A key distinguishing feature of CBME is that learners progress at their own rate in accordance with demonstrated ability. Unfortunately, the prevailing structure of PGME makes the adoption of a pure competency-based training system challenging at many levels. Rightly or wrongly, program directors believe that programs and residents benefit from a maturation process that requires structure and some degree of supervision while allowing for progressive independence (American Board of Internal Medicine 2009). They also believe that this process requires a fixed minimum period of training for all learners. Moving to a competency-based model risks disrupting this process by virtue of the early advancement of some residents and the delayed advancement of others. However, accomplished learners should advance as they demonstrate competence. Within limits, CBME should also provide appropriate time in structured learning environments for challenged learners. CBME must also recognize that a learner may be accomplished in certain domains and challenged in others. However, to ensure that program graduates can provide safe and effective patient care, no learner should be prematurely pushed through the system, and every learner should be given appropriate time to develop the desired competency. Finally, the current system of PGME funding is based on a fixed duration of training, and strategies to fund a competency-based, flexible-time model have yet to be proposed. For CBME to advance, a redesign of the entire system will be necessary. This will require change at all levels of the educational process.

프로그램 평가를 통한 인증 재조정
Realigning accreditation with program evaluation

CBME를 지원하기 위해 [인증 요건]은 점점 더 성과에 초점을 맞추고 있습니다. 예를 들어, ACGME 인증 내과 프로그램은 이제 [레지던트 성과 데이터 또는 결과][개선의 근거]로 사용하여 [데이터에 기반한 교육 프로그램 개선의 증거]를 입증해야 하며, 학습자 및 프로그램의 성과를 모두 검증하기 위해 [외부 측정]을 사용해야 합니다(ACGME 2009b). 마찬가지로, 모든 캐나다 왕립 의사 및 외과의 대학 프로그램은 전통적인 시간 기반 로테이션과 전문 분야별 역량을 모두 입증해야 합니다(인증 위원회 2006).
In support of CBME, accreditation requirements have become increasingly focused on outcomes. For instance, ACGME-accredited Internal Medicine programs must now demonstrate evidence of data-driven improvements to the training program by using resident performance data, or outcomes, as a basis for improvement, and use external measures to verify both the learner's and the program's performance (ACGME 2009b). Similarly, all Royal College of Physicians and Surgeons of Canada programs require demonstration of both traditional time-based rotations and specialty-specific competencies (Accreditation Committee 2006).

변화에 따른 레지던트 재설계
Residency redesign as change

개별 이해관계자 수준에서 역량 기반 수련 모델로의 전환은 [전문가 정체성의 극적인 재정의]가 될 수 있습니다. 많은 교수진이 역량 기반 교육이 도입되기 전에 교육을 이수했습니다. 이러한 전문가에게 CBME는 미지의 영역이며, Carraccio와 동료들(2002)이 설명한 패러다임의 변화는 교수진이 교육자로서의 전문적 정체성의 잠재적 재정의에 직면하면서 심대한 상실감을 불러일으킬 수 있습니다.
At the level of the individual stakeholder, the transition to a competency-based training model can represent a dramatic redefinition of professional identity. Many faculty completed training before the era of competency-based training. For these professionals, CBME represents uncharted waters, and the paradigm shift described by Carraccio and associates (2002) can give rise to feelings of profound loss as faculty face the potential redefinition of their professional identities as educators.

결론
Conclusion

우리는 의학전문대학원 교육 커뮤니티가 CBME로의 진화를 수용해야 한다고 믿습니다. 이러한 전환에는 여러 가지 과제를 극복해야 합니다. 역량 기반 교육 프레임워크 구현의 중요성을 이해하는 것은 변화 과정의 시작에 불과합니다. 시간 및 프로세스 기반 시스템의 기존 인프라에서 변화를 촉진하면서 학습자의 요구를 충족할 수 있는 유연성을 확보하는 것이 중요합니다. 프로그램과 교육 현장의 다양성을 고려할 때 하나의 로드맵이 모든 프로그램에 적합하지는 않습니다. 역량 기반 교육이 궁극적인 목표이지만, 전환에는 특정 역량 기반 결과뿐만 아니라 시간 및 프로세스 구성 요소를 포함하는 중간 단계의 하이브리드 프레임워크가 포함될 가능성이 높습니다. 성공적인 실행을 위해서는 교육기관 고위 경영진의 지원과 프로그램 책임자 및 지역 수준의 주요 교수진 챔피언이 제공하는 [리더십이 매우 중요]합니다. 국가 차원에서 인증 및 주요 이해관계자 조직은 CBME가 현실화될 수 있도록 [PGME 정책 개혁과 적절한 자원을 위한 로비]를 계속해야 합니다.
We believe that the graduate medical education community must embrace the evolution to CBME. This transition will involve overcoming a number of challenges. Understanding the importance of implementing a competency-based training framework is only the beginning of the process of change. Allowing for the flexibility to meet the needs of the learner while promoting change in the existing infrastructure of a time-and-process based system will be critical. Given the diversity of programs and training sites, no single road map will fit all programs. Although competency-based training is the ultimate goal, the transition will likely include intermediate hybrid frameworks containing time and process components as well as specific competency-based outcomes. The support of senior institutional administration and the leadership provided by the program director and key faculty champions at the local level will be critical to successful implementation. At the national level, accreditation and key stakeholder organizations must continue to lobby for PGME policy reform and the appropriate resources to ensure that CBME becomes a reality.

 


Med Teach. 2010;32(8):651-6. doi: 10.3109/0142159X.2010.500709.

Competency-based medical education in postgraduate medical education

Affiliations collapse

1American Board of Internal Medicine, USA. wiobst@abim.org

PMID: 20662576

DOI: 10.3109/0142159X.2010.500709

Abstract

With the introduction of Tomorrow's Doctors in 1993, medical education began the transition from a time- and process-based system to a competency-based training framework. Implementing competency-based training in postgraduate medical education poses many challenges but ultimately requires a demonstration that the learner is truly competent to progress in training or to the next phase of a professional career. Making this transition requires change at virtually all levels of postgraduate training. Key components of this change include the development of valid and reliable assessment tools such as work-based assessment using direct observation, frequent formative feedback, and learner self-directed assessment; active involvement of the learner in the educational process; and intensive faculty development that addresses curricular design and the assessment of competency.

임상역량위원회가 교육을 강화하고 역량중심-시간변동 진급에 준비하는 모습 다시 그려보기(J Gen Intern Med. 2022)
Reimagining the Clinical Competency Committee to Enhance Education and Prepare for Competency-Based Time-Variable Advancement
Mary Ellen J. Goldhamer, MD MPH1,2,3 , Maria Martinez-Lage, MD1,3, W. Stephen Black-Schaffer, MD1,3, Jennifer T. Huang, MD3,4, John Patrick T. Co, MD MPH1,2,3, Debra F. Weinstein, MD5,6, and Martin V. Pusic, MD PhD3,4

 

비네트:
Vignette:

레일라는 내과(IM) 레지던트 2년 차에 재학 중입니다. 미국(미국)으로 이민 오기 전에는 모국에서 IM 교육을 이수하고 2년 동안 독립적으로 수련을 받았습니다.
Leila is in her second year of internal medicine (IM) residency. Before emigrating to the United States (U.S.), she had completed IM training in her native country and practiced independently for 2 years.

6개월마다 열리는 임상 역량 위원회(CCC)의 정기 회의에서 레일라에 대한 논의는 거의 없었는데, 그녀의 평가는 일관되게 "기대 이상"이었습니다. 레일라가 레지던트 프로그램 디렉터를 만났을 때 CCC로부터 구체적인 요약 정보가 제공되지 않았습니다. 이용 가능한 평가 데이터는 일반적인 것이었으며 프로그램 디렉터는 "잘하고 있다"고 해석했습니다. 레일라는 CCC의 역할과 그것이 자신의 교육 궤도를 최적화하는 데 어떻게 도움이 되는지 궁금해하며 회의를 떠났습니다. 또한 미국으로 이민 오기 전에는 개업의였는데 왜 3년의 레지던트 과정을 마쳐야 하는지 의문을 제기했고, 모든 평가자들은 그녀의 뛰어난 실력에 주목했습니다. 레일라의 프로그램은 수련 시간이 아닌 입증된 역량에 따라 진급이 결정되는 역량 기반 시간 가변형 GME 파일럿 프로그램에 참여하고 있습니다. CCC는 이용 가능한 평가를 어떻게 활용하여 레일라의 비감독 실습 준비 상태를 판단할 수 있을까요? 
There was little discussion of Leila at the Clinical Competency Committee’s (CCC’s) regular 6-month meeting: her evaluations consistently reflected “exceeding expectations.” When Leila met with her residency program director, no specific summative information was available from the CCC. The available assessment data was generic and interpreted by the program director as “doing fine.” Leila left the meeting wondering about the CCC’s role, and how it helps optimize her educational trajectory. Leila also questions why she needs to finish 3 years of residency, since she was a practicing doctor prior to emigrating to the U.S.A., and all evaluators note her advanced skills. Leila’s program is participating in a competency-based time-variable GME pilot, where advancement is based on demonstrated competency rather than time in training. How can the CCC utilize available assessments to determine Leila’s readiness for unsupervised practice?

소개
INTRODUCTION

수련 중인 의사를 평가하는 것은 매우 중요한 활동입니다. 효과적인 평가는 교육 전반에 걸쳐 중요하므로, 강점과 약점을 파악하여 [결과를 최적화하기 위한 교육 계획을 수립]할 수 있습니다. 그런 다음 레지던트와 펠로우가 수련을 마칠 때 평가는 [무감독 실습에 대한 역량을 확인할 수 있는 기초]를 제공합니다. 또한, 의학전문대학원 교육(GME) 기간 동안 주기적인 평가를 통해 수련 중인 의사가 [자신의 학습을 스스로 평가하고 조절하는 능력을 연마]할 수 있도록 도와야 합니다.1 양질의 환자 진료에 필수적인 핵심 기술이자 경력 전반에 걸친 책임감은 정보에 입각한 자기 평가를 통해 배양할 수 있습니다.2 
Assessing physicians-in-training is a high-stakes activity. Effective assessment is important throughout training so that identified areas of strength and weakness can guide educational planning to optimize outcomes. Then, as residents and fellows complete their training, assessment provides the basis to confirm competence for unsupervised practice. Periodic assessment during graduate medical education (GME) should also help physicians-in-training hone their ability to self-assess and regulate their learning1—critical skills and a career-long responsibility essential for high-quality patient care which can be cultivated through informed self-assessment.2

평가의 중요성(그리고 역사적으로 강조되지 않았던)을 인식한 미국의학전문대학원교육인증위원회(ACGME)와 같은 의학교육 감독 기관은 [최근 몇 년간 관련 요건을 강화]했습니다.3,4,5 역량 기반 의학교육(CBME)에 대한 수용이 증가하고, [역량 기반 시간 가변(CB-TV) GME]로 논리적으로 확장되면서 효과적인 근거 기반 평가 접근법을 구현하는 것이 중요해졌습니다.6,7,8 미국, 캐나다, 스위스, 네덜란드, 그리고 전 세계적으로 ACGME-국제 인증을 통해 시행되고 있는 CCC는 수련의 평가의 방향 전환을 촉진하는 광범위한 교육 개혁의 산물입니다.4,6,9,10,11,12,13,14,15,16 또한 코로나19로 인해 일상적인 레지던트 및 펠로우십 교육이 중단되면서 진급 준비를 결정하기 위한 건전하고 신뢰할 수 있는 평가 절차의 중요성과 시급성이 증폭되고 있습니다.17,18,19,20,21,22,23 
Recognizing the importance (and historic under-emphasis) of assessment, medical education oversight organizations such as the Accreditation Council for Graduate Medical Education (ACGME) have strengthened related requirements in recent years.3,4,5 Growing acceptance of competency-based medical education (CBME), and its logical extension to competency-based, time-variable (CB-TV) GME, highlights the importance of implementing effective, evidence-based approaches to assessment.6,7,8 The implementation of CCCs in the USA, and their equivalent in Canada, Switzerland, the Netherlands, and globally through ACGME-International accreditation, is an outgrowth of widespread educational reform promoting a reorientation of trainee assessment.4,6,9,10,11,12,13,14,15,16 In addition, COVID-19’s disruption to routine residency and fellowship training amplifies the importance and urgency of having sound and trustworthy assessment processes to determine readiness for advancement.17,18,19,20,21,22,23

임상역량위원회(CCC)는 평가 정보를 해석하고 추가 조치를 결정하는 GME에서 평가의 핵심이며, 평가의 중심입니다. ACGME가 "차기 인증 시스템"의 일환으로 CCC를 시행하도록 요구하기 시작했을 때, 위원회의 주요 책임이 개괄적으로 설명되었으며, 시행의 세부 사항은 각 프로그램의 판단에 맡겨졌습니다.4,5 현재 다양한 접근법이 문헌에 기술되어 있으며, 2020년에 ACGME에서 GME 프로그램을 위한 CCC 가이드북 3판을 발행했지만, 아직 명확한 최선의 접근법이 확인되지는 않았습니다.24 
Clinical competency committees (CCCs) are the lynchpin of assessment in GME—the locus for interpreting evaluative information and determining further actions. When the ACGME initiated its requirement to implement CCCs as part of the “Next Accreditation System,” the committees’ key responsibilities were outlined, with the details of implementation left to each program’s judgment.4,5 Varying approaches have now been described in the literature, and the third edition of a CCC guidebook for GME programs was issued by ACGME in 2020; however, a clear best approach has yet to be identified.24

CCC 구조, 과정, 구성 및 결과25,26, 교수진 평가와 연수생 자가 평가27,28,29의 상관관계, 역량 코치의 역할30, 의미 있는 개별화된 학습 계획(ILP)을 개발하는 연수생의 능력 등을 평가하기 위한 연구가 진행되어 왔습니다. 31 다른 연구에서는 내과, 소아과, 응급의학과, 영상 진단, 외과 및 시술 전문과7,14,27,32,33,34,35,36,37,38,39 전공의가 역량 기반 진급 결정에 필수적인 전문과별 마일스톤 및 위임가능 전문 활동(EPA)에 대해 어떻게 평가되는지 규명하려고 노력했습니다.22,39 추가 연구에서는 레지던트 수련 중 CCC 역량 결정이 후속 감독 및 독립성 수준에 미치는 영향을 평가했습니다.7,27,35,36 
Studies have sought to evaluate CCC structure, process, composition, and outcomes25,26; correlation of faculty ratings with trainee self-assessment27,28,29; the role of competency coaches30; and trainee ability to develop meaningful individualized learning plans (ILPs).31 Other studies have sought to elucidate how trainees in internal medicine, pediatrics, emergency medicine, visual diagnostic, surgical, and procedural specialties7,14,27,32,33,34,35,36,37,38,39 are assessed on the specialty-specific Milestones and Entrustable Professional Activities (EPAs)which is essential for competency-based advancement decisions.22,39 Additional studies have evaluated the impact of CCC competency decisions on subsequent levels of supervision and independence during residency training.7,27,35,36

매사추세츠제너럴브리검에서는 여러 레지던트 프로그램이 CB-TV GME 파일럿40 에 참여하면서(예: 진급 및 졸업이 프로그램에서 보낸 시간에만 근거하지 않고 입증된 역량에 근거하는 경우), 그 효과를 높이고 레지던트에서 독립의료행위로의 개별화된 진급에 대한 신뢰할 수 있는 데이터 기반 결정을 보장하기 위해 CCC 프로세스에 대한 면밀한 검토를 촉진했습니다.40 시범사업 참여를 고려 중인 여러 레지던트 프로그램에서 CCC에 참여하고 CCC 문헌을 검토한 결과, 레지던트 프로그램 CCC의 목표를 재개념화하고 이를 달성하기 위한 권장 사항을 제시할 수 있었습니다. 
At Mass General Brigham, the participation of several residency programs in a CB-TV GME pilot40 (e.g., where advancement and graduation are based on demonstrated competency rather than solely on time spent in a program) has stimulated closer examination of CCC processes in order to enhance their effectiveness and ensure trustworthy data-informed decisions about individualized advancement from residency to unsupervised practice.40 Our engagement with CCCs in several residency programs considering participation in the pilot, along with our review of the CCC literature, has led us to reconceptualize the goals of residency program CCCs and make recommendations for achieving them.

배경
BACKGROUND

ACGME의 "차기 인증 시스템"마일스톤 프로젝트[측정 가능한 역량 측면에서 각 수련의의 발달 과정을 평가]하는 레지던트 프로그램을 요구하며, 이는 역량 기반 의학교육 프레임워크를 선호하는 광범위한 합의를 반영합니다.4 CCC는 수련의의 성과, 특히 시간에 따른 발달 과정을 평가하기 위해 사용 가능한 데이터를 종합하는 주요 수단입니다.4,24,41,42
The ACGME’s “Next Accreditation System” and Milestones project call for residency programs to assess the developmental progression of each trainee in terms of measurable competencies, reflecting widespread consensus favoring a competency-based framework for medical education.4 CCCs are the principal vehicle for synthesizing available data to assess trainee performance and, importantly, developmental progression over time.4,24,41,42

CCC 목표
CCC Goals

ACGME의 "프로그램 공통 요건"은 다음과 같이 CCC의 핵심 책임을 요약합니다.5

  • (1) 적어도 반기마다 모든 전공의 평가를 검토하고,
  • (2) 각 전공의의 전문과목별 마일스톤 달성에 대한 진척도를 결정하며,
  • (3) 전공의의 반기 평가 전에 만나 각 전공의의 진척도에 대해 프로그램 책임자에게 조언한다.

The ACGME’s “Common Program Requirements” outline the following core responsibilities of the CCC:

  • (1) review all resident evaluations at least semi-annually;
  • (2) determine each resident’s progress on achievement of the specialty-specific Milestones; and
  • (3) meet prior to the residents’ semi-annual evaluations and advise the program director regarding each resident’s progress.5 

ACGME의 "임상 역량 위원회"는 다음과 같이 명시하고 있습니다: 프로그램을 위한 가이드북"은 [이해관계자 그룹("프로그램 자체, 프로그램 디렉터, 교수진, 프로그램 코디네이터, 레지던트 및 펠로우, 기관, ACGME")으로 구성된 41개의 세부 항목]을 CCC의 "목적"으로 설명하지만(표 1, 5-7페이지), "궁극적인 목적은 대중에게 의학교육자로서의 책임성을 입증하는 것, 즉 졸업생들이 수련 중에 환자에게 질 높고 안전한 치료를 제공할 것이며, 실제 진료에 들어가서도 그렇게 할 준비가 잘 되어 있음을 보여주는 것"24이라고 명시하고 있습니다.
The ACGME’s “Clinical Competency Committees: A Guidebook for Programs” delineates (Table 1, p 5–7) 41 granular items as “purposes” of the CCC, organized by stakeholder groups (“the program itself, program directors, faculty members, program coordinators, residents and fellows, the institution, and the ACGME”), but notes that “the ultimate purpose is to demonstrate accountability as medical educators to the public: that graduates will provide high quality, safe care to patients while in training, and be well prepared to do so once in practice.”24

프로그램들은 모든 레지던트에 대한 지속적인 평가와 CCC 고려에는 상당한 시간과 자원이 필요하다고 지적합니다.24 18-22 그러나 역량 격차에 대한 인식 지연과 같이 최적이 아닌 평가로 인한 부정적인 영향은 훨씬 더 많은 비용을 초래할 수 있습니다. 게다가 불투명하고 자원이 부족한 평가 시스템으로 인해, 개인의 잠재력을 극대화하지 못하고, 심지어 역량 미달의 수련생이 졸업하게 된다면, 그 후의 사회적 비용은 훨씬 더 커질 수 있습니다. 이러한 이유로 GME 프로그램은 모든 교육생에 대한 [발달 평가를 강화]하여 [현재의 교육을 개선]하고 미래 모델로서 [입증된 역량에 기반한 시간 가변형 졸업에 대비]해야 합니다.
Programs note that ongoing assessment and CCC consideration of every resident requires considerable time and resources.24 p 18-22 However, the negative impact of sub-optimal assessment, such as delayed recognition of competency gaps, can cost considerably more. Moreover, if an opaque, under-resourced assessment system results in failing to maximize individual potential, and perhaps even allows less-than-competent trainees to graduate, the downstream costs to society are far greater. For these reasons, it is essential that GME programs strengthen the developmental assessment of all trainees to improve education today and prepare us for time-variable graduation based on demonstrated competency as a model for the future.

우리는 CCC가 세 가지 핵심 목표를 가질 것을 제안합니다.
We propose that CCCs have three core goals.

첫째, CCC는 교육을 최적화하기 위해 각 레지던트의 발달 상태를 정기적으로 반복적으로 파악하고 설명해야 합니다. 이를 위해서는 [다양하고 충분한 양의 평가 자료]를 집계하고 해석해야 하며, [충분히 다양한 환경에서 도출]되고 [직접 관찰을 통해 정보를 얻은 다중 출처("360도") 평가]에 중점을 두어야 합니다.43,44 또한 [CCC 결과]는 [개별화된 교육 계획에 통합]되어야 하며, [총괄 평가]는 [각 훈련생과 공동으로 작성한 실행 계획에 통합]되어야 합니다.24
First, the CCC must regularly and iteratively discern and describe the developmental status of each resident for the purpose of optimizing their education. This requires aggregating and interpreting a variety and sufficient volume of evaluative material—with an emphasis on multi-source (“360-degree”) evaluations, drawn from a sufficient variety of settings and informed by direct observation.43,44 It also requires that CCC findings are incorporated in an individualized educational plan, where summative assessments are incorporated into an action plan co-produced with each trainee.24

CCC의 두 번째 목표는 [유능한 의사를 배출하여 대중을 보호해야 하는 GME 프로그램의 근본적인 책임]과 관련이 있습니다. 따라서 CCC는 졸업 결정을 서포트하기 위해 각 레지던트의 무감독 실습에 대한 준비 상태를 긍정적으로 판단해야 합니다. 이를 위해서는 일관되게 적용할 수 있는 [명시적인 진급 기준]이 필요합니다.
The CCCs’ second goal relates to GME programs’ fundamental responsibility to protect the public by graduating competent physicians. Thus, CCCs must affirmatively determine each resident’s readiness for unsupervised practice to support graduation decisions. This requires having explicit promotion criteria that can be applied consistently.

우리는 CCC의 세 번째 핵심 목표는 각 레지던트가 [지속적인 학습에 대해 책임을 질 수 있는 능력], 즉 자기 평가, 자기 모니터링, 학습의 자기 조절로 다양하게 알려진 기술의 집합을 육성하는 것이라고 주장합니다.1,2 자신의 술기, 지식, 판단 수준을 이해하는 것은 좋은 진료를 제공하기 위한 핵심입니다. CBME의 중요한 원칙은 학습 통제권을 교수진에서 레지던트에게로 전환하는 것입니다. 6,45,46 의사는 진료 제공에 있어 다음을 판단해야 한다.

  • 언제 도움을 구해야 하는지,
  • 언제 추가 교육, 수련 또는 실습(예: 시뮬레이션)을 추구해야 하는지,
  • 언제 자신의 진료 범위를 제한해야 하는지

이런 것들은 일반적으로 독립적인 진료에 대한 [외부의 사후 감독]에 의존하기보다는 [스스로 판단]해야 합니다. 실제로, 연구에 따르면 유능한 의사는 자신을 과소평가하는 반면, 유능하지 않은 의사는 자신을 과대평가하는 경향이 있는 것으로 나타났습니다.47 따라서 [정보에 입각한 자기평가]는 CCC 과정과 연계하여 수련 중에 배양하고 보장해야 할 관련 기술입니다.2,24 자기평가와 반성적 실천의 중요성은 최근 조화로운 ACGME 마일스톤 2.0 하위 역량인 "실습 기반 학습 및 개선-2"- "개인적 성장을 위한 반영적 실천 및 헌신"의 시행으로 강조되고 있습니다."1,48
We assert that a third key goal of CCCs is to foster each resident’s ability to take responsibility for their ongoing learning, the collection of skills variably known as self-assessment, self-monitoring, and self-regulation of learning.1,2 Understanding one’s own level of skill, knowledge, and judgment is central to providing good care. An important tenet of CBME is the shift of learning control from the faculty to the resident. 6,45,46 Physicians must discern

  • when to seek help in delivering care;
  • when to pursue additional education, training, or practice (e.g., simulation); or
  • when to limit their scope of practice—rather than relying on external, usually post hoc oversight of their independent practice.

The ability cannot be assumed to develop spontaneously; in fact, studies have demonstrated that highly competent physicians tend to under-rate themselves while the less competent overrate themselves.47 Thus, informed self-assessment is a relevant skill to cultivate and ensure during training, linked to the CCC process.2,24 The importance of self-assessment and reflective practice is underscored by the recent implementation of the harmonized ACGME Milestone 2.0 sub-competency, “Practice-based Learning and Improvement-2”—“Reflective Practice and Commitment to Personal Growth.”1,48

CCC는 이러한 목표를 달성하는 데 어떤 성과를 거뒀을까요?
How Do CCCs Fare in Fulfilling These Goals?

형성적 및 종합적 직무기반 평가는 CCC 결정에 영향을 미칩니다.
Formative and Summative Workplace-Based Assessments Inform CCC Decisions

ACGME 공통 프로그램 요구사항 및 CCC 가이드북은 [CCC를 위한 프레임워크]를 제공하지만, 일부 증거에 따르면 CCC가 교육생의 발달 궤적을 적절히 평가하는 데 있어 이러한 요구사항을 충족하지 못하고 있습니다.5,24,25,49,50,51,52,53 2001년 ACGME 성과 프로젝트가 시작되면서 6가지 핵심 역량이 확립되었고, 미국의 역량 기반 의학교육 운동이 활성화되어 GME 교육 성과에 대한 로드맵이 정의되었습니다.3 그 이후로 ACGME는 수련의를 평가하기 위해 [형성적 평가 방법][총괄적 평가 방법]을 모두 권장해 왔습니다.

  • [형성적 평가 방법]의 예로는
    • 역량 기반 다원 평가(예: 교수진, 동료, 환자, 다른 의료 전문가, 자기 평가에 의한 수련의 평가),
    • 피드백을 통한 직접 관찰,
    • 객관적인 구조화된 임상 시험,
    • 차트 리뷰 등이 있습니다.5,24,43
  • 이후 [2013년 '차기 인증제도'의 일환으로 전문과목별 마일스톤에 대한 연 2회 평가]가 시행되면서 수련의 [종합 평가]가 강화되었습니다.4
    • 소아과는 10년 이상 개별화된 학습 계획(ILP)을 사용해 왔으며, 최근 모든 전문과목의 수련의에게 프로그램 리더십과 함께 ILP를 공동 제작하는 것이 요구되고 있습니다.5,54,55

While the ACGME Common Program Requirements and CCC Guidebook provide a framework for CCCs, some evidence indicates that CCCs fall short of meeting these requirements in adequately evaluating the developmental trajectory of trainees.5,24,25,49,50,51,52,53 The inception of the ACGME Outcomes Project in 2001 established the six core competencies and stimulated the competency-based medical education movement in the USA, defining the roadmap for GME training outcomes.3 Since that time, the ACGME has recommended both formative and summative assessment methods to evaluate trainees.

  • Examples of formative assessment methods include
    • competency-based multi-source evaluation (e.g., evaluation of trainees by faculty, peers, patients, other healthcare professionals, and self-assessment),
    • direct observation with feedback,
    • objective structured clinical examinations, and
    • chart review.5,24,43 
  • Summative trainee assessment was then strengthened by the implementation of bi-annual evaluation on specialty-specific Milestones as part of the “Next Accreditation System” in 2013.4 Pediatrics has used individualized learning plans (ILPs) for more than a decade, and co-production of ILPs with program leadership is a recent requirement for trainees in all specialties.5,54,55 

[형성평가와 총괄평가 모두에 대한 요구사항]은 학습의 연속성 전반에 걸쳐 수련의를 평가할 수 있는 방법과 역량 기반 평가가 역량 기반 의학교육을 지원하는 방법을 이해하기 위한 학술 센터 간의 혁신과 협력을 이끌어냈습니다.7,56 ACGME 평가 요건은 [CCC가 [평가 과정과 시간표]를 명문화하고, [충분한 수의 평가를 수집]하며[충분한 평가 횟수는 주관적이지만], 레지던트와 직접 일한 경험이 있는 회원을 포함한 [다양한 관점을 통합]]하도록 자극했습니다.56,57,58 역량 기반 의학교육으로의 전환과 역량 기반 발전에 대한 고려와 함께, Kinnear 등은 실무 기반 평가와 CCC 과정이 역량 기반 발전을 지원할 수 있는 방법에 대한 타당성 논거를 설명했습니다.8,59
The requirement for both formative and summative assessment has led to innovation and collaboration among academic centers to understand how trainees can be assessed across the continuum of learning and how competency-based assessment supports competency-based medical education.7,56 ACGME assessment requirements have stimulated CCCs to codify a process and timetable for evaluations, to collect a sufficient number of evaluations [though what number of evaluations suffices remains subjective], and to incorporate multiple perspectives, including from members with first-hand experience working with residents.56,57,58 With the movement to competency-based medical education and consideration of competency-based advancement, Kinnear and others have described a validity argument for how workplace-based assessment and the CCC process can support competency-based advancement.8,59

그러나 동시에 여러 가지 면에서 CCC는 명시된 세 가지 목표를 지원하지 못하거나 때로는 뚜렷하게 약화시키고 있습니다.51,53,60 표 1은 세 가지 CCC 목표 달성에 대한 [현재의 장애물과 주요 조력자]를 요약한 것입니다. 이러한 장애물을 살펴보고 제안된 목표를 달성하고 역량 기반 평가 결정을 개선하기 위해 CCC에 권장되는 세 가지 "중점 영역"을 강조합니다.
At the same time, however, in several ways, CCCs are failing to support—and sometimes distinctly undermining—the three stated goals.51,53,60 Table 1 outlines current obstacles and key enablers to achieving the three CCC goals. We will explore these obstacles and highlight three recommended “focus areas” for CCCs as they aim to meet the proposed goals and enhance competency-based assessment decisions.

 

CCC 목표 달성을 위한 주요 장애물 및 권장 집중 영역
Key Obstacles and Recommended Areas of Focus to Achieve CCC Goals

중점 영역 #1: 평가 및 역량 기반 발전의 공유 모델을 통해 우수자뿐만 아니라 모든 교육생의 역량 개발을 평가하고 촉진합니다.50,56
Focus Area #1:
 Assess and promote the development of competency in all trainees, not just outliers, through a shared model of assessment and competency-based advancement 50,56

CCC는 역량 달성을 향한 각 교육생의 발달 궤적을 알려주는 모든 평가를 검토하고 종합하여 이 정보를 교육생에게 제공해야 합니다. 그런 다음 교육생은 CCC의 결정과 피드백을 사용하여 2년에 한 번씩 열리는 회의에서 프로그램 리더십과 함께 개별화된 학습 계획을 공동 작성할 수 있으며, 코치의 참여가 필요할 수도 있습니다. 24 p. 44-45,50
The CCC should review and synthesize all assessments that inform each trainees’ developmental trajectory towards achievement of competency and provide this information to trainees.
 Trainees can then use determinations and feedback from the CCC to co-produce an individualized learning plan with program leadership during bi-annual meetings, potentially with participation of a coach. 24 p. 44-45,50

특히 레지던트 수가 많은 많은 CCC는 주로 어려움을 겪고 있는 소수의 레지던트인 아웃라이어에 초점을 맞추고 있습니다. Hauer와 동료들은 캘리포니아에 있는 5개 공공 기관의 34개 레지던트 프로그램에서 CCC의 구조와 기능을 평가했습니다.60 프로그램 디렉터와의 반구조화된 인터뷰를 통해 대부분의 CCC가 모든 수련의의 개별적인 요구를 해결하기 위해 [발달적 접근 방식]을 사용하기보다는, 주로 어려움을 겪는 수련의에게 초점을 맞추는 [이상치 접근 방식]을 취하고 있음을 발견했습니다.60 슈마허와 동료들은 [어려움을 겪는 소아과 훈련생]을 식별하는 구조를 개발했지만 [반대쪽 극단, 즉 예외적으로 뛰어난 훈련생]을 식별하는 프로세스도 개발할 필요가 있다고 지적했습니다.36 이러한 접근 방식은 CCC가 고려하는 더 많은 훈련생을 포함할 수 있지만, [각 개인에 대한 철저한 평가]를 통해 [상대적 강점 또는 약점]에 대한 [세분화된 주제별 피드백을 제공]하여 [진행중인 수련에 정보를 주거나 자기 평가 능력을 개선]하기에는 여전히 부족한 부분이 있습니다.
Many CCCs, especially those with large numbers of residents, focus primarily on outliers, those few residents who are struggling. Hauer and colleagues evaluated the structure and function of CCCs in 34 residency programs at 5 public institutions in California.60 Using semi-structured interviews with program directors, they found the majority of the CCCs had an outlier approach, focusing primarily on struggling trainees rather than using a developmental approach to address the individual needs of all trainees.60 Schumacher and colleagues developed a structure for identification of the struggling pediatric trainee but noted the need to also develop a process to identify outliers at the other extreme—the exceptional trainee.36 While this approach would include more trainees under the CCC’s consideration, it still falls short of a thorough assessment of each individual to provide granular, thematic feedback about their areas of relative strength or weakness to inform ongoing training or refine the self-assessment capabilities.

모든 교육생 평가를 개별화하지 못하면 입증된 역량을 고려하지 않고, [모든 교육생에게 동일한 마일스톤 하위 역량 점수를 부여하는 "한줄긋기 채점"]으로 이어져 마일스톤 평가 프로세스가 약화되는 경우도 있습니다.52,61 이는 CCC가 [CCC 프로세스 및 기능에 대한 공유 모델이 부족]할 때 [더욱 악화]되며, 이러한 이상치 식별 및 한줄긋기 채점 규범이 확립되면 깨뜨리기 어렵습니다.50 [교육을 최적화하려는 목적 하에, 각 전공의의 발달 상태를 파악하고 설명하기 위해], CCC는 먼저 각 전공의를 검토하고 수련생이 프로그램 리더십과 함께 ILP를 공동 제작하는 데 사용할 수 있는 [총괄적 피드백]을 제공하기 위한 [공유 모델과 약속을 수립]해야 합니다.5,24,50,55,56,58,60,62 성별, 인종, 민족 및 기타 형태의 인지적 편견에 관한 편견을 포함하여 CCC 평가에 잠재적으로 영향을 미칠 수 있는 편견을 완화하기 위해서는 CCC 멤버들을 위한 교수진 개발이 필수적입니다.53,63,64 CCC는 멤버들의 다양성에 대해 신중하게 생각하고 공정하고 편견 없는 위원회 토론과 결정을 보장하기 위해 효과적인 그룹 과정의 과학을 통합하도록 권장됩니다.25,26
The failure to individualize all trainee assessments has in some cases led to “straight line scoring,” where all trainees are assigned the same milestone sub-competency score, rather than considering demonstrated competency, undermining the milestone evaluation process.52,61 This is compounded when CCCs lack a shared model on CCC process and function; these norms of outlier identification and straight-line scoring become established, and then are hard to break.50 In order to discern and describe the developmental status of each resident for the purpose of optimizing their education, the CCC must first establish a shared model and commitment to reviewing each individual resident and providing summative feedback that can be used by trainees to co-produce an ILP with program leadership.5,24,50,55,56,58,60,62 Faculty development for CCC members is essential to mitigate biases that could potentially influence CCC ratings, including bias regarding gender, race, ethnicity, and other forms of cognitive bias.53,63,64 CCCs are encouraged to think deliberately about the diversity of their membership and incorporate the science of effective group processes to ensure fair, unbiased committee discussions and decisions.25,26

중점 영역 #2: 수련의의 독립 수련 준비 상태 판단(및 촉진)을 위한 CCC 평가 및 코칭 프로세스 강화.
Focus Area #2:
 Strengthen CCC assessment and coaching processes for the determination (and promotion) of trainee readiness for independent practice

CCC는 [직접 관찰, 다양한 출처의 평가 및 피드백, 역량 코칭, 전문분야별 마일스톤에 대한 총괄 평가]를 통해 수집된 [작업장 기반 형성 평가]와 함께 [형성 평가와 총괄 평가 사이의 유용한 긴장]을 명시적으로 통합하도록 구성되어야 합니다.39,65,66 [코칭]은 [학습자 옹호자 역할]을 하는 사람이 [지원과 지도를 제공]하는 것입니다.67,68 코칭은 연수생을 직접 관찰하고 역량 영역에서 구체적인 피드백을 제공하여 연수생이 역량과 독립 준비를 향한 마일스톤 궤적을 따라 움직일 수 있는 기회를 제공합니다. 
The CCC should be structured to explicitly incorporate the useful tension between formative and summative assessment, with workplace-based formative assessment gathered through direct observation, multi-source evaluation and feedback, competency coaching, and summative assessment on the specialty-specific Milestones.39,65,66 Coaching is the provision of support and instruction by someone acting as a learner advocate.67,68 Coaching provides the opportunity to directly observe trainees and provide specific feedback in an area(s) of competency, moving trainees along the Milestones trajectory towards competence and readiness for independence.

학부 및 대학원 의학교육에서 대부분의 코칭 프로그램은 [학생 및 수련의 경력 개발과 건강]에 중점을 두는 반면, [임상 술기 향상과 임상 역량 달성]을 목표로 하는 방법을 활용하는 코칭을 제공하는 프로그램은 거의 없습니다.30,67,68,69,70 또한 [형성적 코칭]과 [총괄 평가]의 [잠재적 상호보완성]에 대한 관심이 충분하지 않다고 가정합니다.69,71 R2C2[관계 구축, 반응 탐색, 내용 탐색, 변화 코칭] 모델은 여러 전문과목에서 검증되었으며 환자 치료, 임상 술기, 역량 성취에 초점을 맞춘 [종단적 코칭과 "순간적" 코칭] 모두에 대한 구체적인 전략을 제공합니다.67,69,71,72 R2C2 모델과 같은 코칭 모델은 코치와 레지던트 간의 개인적인 관계 형성과 [긍정적인 상호작용]을 강조함으로써 [한편으로는 코칭과 다른 한편으로는 평가의 필요성 사이의 긴장]을 관리하기 위해 노력합니다.24,30,67,68,73,74 코치가 [CCC에서 평가자와 코치의 이중 역할]을 수행할 때, 이는 신뢰와 코치로서의 후속 능력을 약화시킵니다.65,75 설계에 근거한 것이 아니라 임상 환경의 개별 수련의와의 우연한 교차점에 근거하여 동일한 CCC 구성원이 코치와 평가자의 관점을 모두 제공하는 경우가 종종 있습니다; 우리는 이 두 가지 역할이 뚜렷하고 개별화된 관점을 제공할 수 있는 다른 사람이 수행하도록 옹호합니다.30,65,75 "보타이 프레임워크"는 CCC 과정에서 레지던트, 역량 코치, 평가자의 역할과 책임을 설명합니다(그림 1). 
The majority of coaching programs in both undergraduate and graduate medical education focus on student and trainee career development and wellness while few programs offer coaching that utilizes methods aimed to enhance clinical skills and achieve clinical competence.30,67,68,69,70 Further, we postulate that insufficient attention is paid to the potential complementarity of formative coaching and summative assessment.69,71 The R2C2 [build relationships, explore reactions, explore content, and coach for change] model has been validated across specialties and offers specific strategies for both longitudinal and “in-the-moment” coaching focused on patient care, clinical skills, and competency achievement.67,69,71,72 Coaching models such as the R2C2 model strive to manage the tension between coaching on the one hand and the need for evaluation on the other, by emphasizing creation of a personal relationship and positive interactions between the coach and resident.24,30,67,68,73,74 When coaches serve a dual role of both evaluator and coach on the CCC, this undermines trust and their subsequent ability to serve as a coach.65,75 Frequently, the same CCC member provides both a coach and evaluator perspective, not based on design but on coincidental intersection with individual trainees in the clinical environment; we advocate for these roles to be served by different persons who can provide distinct and individualized perspectives.30,65,75 The “Bow Tie Framework” delineates the roles and responsibilities of the resident, competency coach, and evaluator in the CCC process (Fig. 1).

초점 영역 #3: 학습 요구 사항을 파악하기 위해 각 교육생이 정보에 입각한 자가 평가를 장려합니다.
Focus Area #3:
 Promote informed self-assessment by each trainee to identify learning needs

훈련생들의 [정보에 기반한 자기평가]는 CCC 과정의 중요한 구성 요소가 되어야 합니다.
Resident-informed self-assessment should be a celebrated component of the CCC process.

자기 성찰의 중요성에 대한 인식이 높아지고 있음에도 불구하고, CCC 구조는 [레지던트의 자기 평가 기술 개발]과 [각 전문과목에서 정한 인정 기준] 사이의 [변증법dialectic을 축하하고 장려하는 메커니즘]이 제대로 개발되지 않은 경우가 많습니다.28,29,76,77 자기 조절 학습과 전문적 책임감은 모두 우수한 치료를 제공하기 위해 추가 지식, 향상된 기술 또는 직접적인 도움이 필요한 시점을 인식하는 데 달려 있습니다. 따라서 독립적 의료행위의 핵심 전제조건은 경험과 입증된 기술의 집합뿐만 아니라 특히 지속적으로 진화하는 전문직 표준과 관련하여 격차와 기회를 인식하는 능력입니다.27,31,78,79,80,81 [자기평가]와 [성찰적 실천]은 프로그램의 문화에 장려되고 통합될 수 있는 실천 기술이라는 인식이 증가하고 있습니다.1,2,28,29,31,33,78,81,82 예를 들어, [메타인지][적응적 전문성]을 강조해야 한다는 요구는 [정보에 입각한 자기평가][자기 모니터링]의 중요성을 명시적으로 지적합니다.1,83,84,85,86,87 자신의 한계를 판단하는 능력인 [분별력]은 [신뢰성의 핵심 요소]이며, 현대 보건전문직 평가 프레임워크에서 강조되고 있는 또 다른 핵심 요소입니다.32,88,89
Despite the growing appreciation for the importance of self-reflection, CCC structures often have under-developed mechanisms for celebrating and encouraging a dialectic between the resident’s developing skill of self-assessment and the recognized standards set forth by each specialty.28,29,76,77 Self-regulated learning and professional accountability both depend on recognizing when one needs additional knowledge, enhanced skill, or direct assistance in order to deliver excellent care. Thus, a key prerequisite for independent practice is not only a collection of experience and demonstrated skills but also the ability to recognize gaps and opportunities, especially in regard to continually evolving professional standards.27,31,78,79,80,81 There is increasing recognition that self-assessment and reflective practice are practiced skills that can be encouraged and incorporated into a program’s culture.1,2,28,29,31,33,78,81,82 For example, calls for an increased emphasis on meta-cognition and adaptive expertise explicitly point to the importance of informed self-assessment as well as self-monitoring.1,83,84,85,86,87 Discernment, the ability to judge one’s limits, is a key component of entrustability, another increasing emphasis in modern health professions assessment frameworks.32,88,89

우리는 CCC가 레지던트가 스스로 결정한 마일스톤 등급을 CCC 사후 회의의 등급과 비교하는 대신, [레지던트의 마일스톤 자기 평가]를 [CCC 심의의 일부로 통합]하는 [표준 프로세스]를 채택할 것을 제안합니다.77 이는 연수생의 관점을 CCC에 통합하고 연수생이 자신이 선택한 전문분야의 역량 발전 궤적을 인지하도록 하는 역할을 합니다.76,77 CCC는 [현저한 불일치를 해결하기 위한 메커니즘]을 마련해야 하며, 이는 [연 2회 프로그램 디렉터-연수생 회의][연수생의 ILP 공동 제작 과정]에서 논의될 수 있고 논의되어야 합니다.24,62
We suggest that CCCs adopt a standard process of incorporating resident Milestone self-evaluation as part of the CCC deliberations instead of having trainees compare their self-determined Milestone ratings to those of the CCC post meeting.77 This serves to incorporate the trainee perspective into the CCC and ensures the trainee is aware of the trajectory of competence progression in their chosen specialty.76,77 CCCs will need to have a mechanism in place to address marked discrepancies, which can and should be discussed during the bi-annual program director-trainee meeting and during the process of co-producing the trainee’s ILP.24,62

또한, [개별화된 학습 계획ILP]은 수련의와 프로그램 교수진에게 역량을 향한 [미래 지향적 관점] 또는 로드맵을 통해 [단기 및 장기 목표]를 모두 정의하는 과정을 제공합니다.24,54,62 Li와 동료들의 연구에 따르면 소아과 전공의의 실행 가능한 목표 작성 능력이 레지던트 수련 과정에서 크게 향상되었습니다.31 추가 연구는 코칭과 ILP에 해당하는 학습 변화 계획의 사용에 중점을 두었습니다.90

  • [이상치 식별 모델]에서 CCC 데이터는 소수의 이상치만을 식별하고 맞춤화하는 데 사용됩니다.60 이 전공의에게 문제가 확인되었나요? 그렇지 않다면 표준화된 프로그램을 계속 진행할 수 있습니다. 문제가 확인된 경우에만 평가 및 교육 계획에 대한 개별화된 접근 방식이 취해집니다.
  • [미래지향적인 ILP 관점]에서는 데이터를 사용하여 문제를 식별할 뿐만 아니라, 각 레지던트가 각 역량 또는 이정표를 달성할 수 있는 시기와 방법을 매핑하여 ["앞서가는" 학습자]를 포함하여 각 학습자의 개발을 최적화하기 위한 최선의 경로를 계획하는 데 도움을 줍니다.36 그런 다음 CCC의 의견을 바탕으로 모든 레지던트가 ILP를 공동 제작하여 이 목표를 실현하는 데 사용됩니다.24,54,62,90

Further, individualized learning plans offer trainees and program faculty a process to define both short- and long-term goals through a forward-looking lens or roadmap towards competence.24,54,62 A study by Li and colleagues found that pediatric residents’ ability to write actionable goals significantly improved over the course of residency training.31 Additional studies have focused on coaching and the use of learning change plans, an ILP equivalent.90 

  • Under an outlier identification model, CCC data is used to identify and customize the learning plans of only a small number of outliers.60 Have problems with this resident been identified? If not, then they can carry on in a standardized program. An individualized approach to assessment and educational planning is taken only if problems are identified.
  • Under a forward-looking, ILP perspective, data are used not only to identify problems, but to map when and how each competency or milestone can be achieved by each resident, helping to chart the best path forward to optimize each learner’s development, including those “ahead of the curve.”36 Co-production of an ILP by every resident, based on the input of the CCC, is then used to actualize this objective.24,54,62,90

[ILP 프로세스]는 종단적 학습 궤적에 중점을 두는 등 레지던트의 남은 예정된 활동에 비추어 기존 데이터를 세밀하게 검토하게 합니다. [역량 기반 진급]을 활용하거나 [CB-TV GME 졸업]을 시범적으로 준비하는 프로그램의 경우, 각 레지던트의 [적절한 졸업 날짜를 결정하는 것]은 레지던트와 프로그램 모두에게 위험과 기회를 수반합니다.7,16,21,22,23,91,92,93 이러한 역동성은 [데이터 수집과 해석이 투명하고 완전히 명문화되도록 보장]하는 데 긍정적인 힘이 될 수 있습니다. 각 개별 전공의의 ILP에는 [관련 데이터 기반 예측]이 포함되어야 하며, [단기 및 장기 실행 가능한 목표]를 모두 만들어야 합니다. 이러한 데이터 기반 ILP 프로세스는 시간 가변 졸업 날짜 시범 운영 여부와 관계없이 모든 프로그램에 도움이 된다고 확신합니다.
The ILP process leads to finer-grained examination of the existing data in the light of the resident’s remaining scheduled activities, including an emphasis on longitudinal learning trajectories. For programs utilizing competency-based advancement or preparing to pilot CB-TV GME graduation, determining each resident’s appropriate graduation date involves risk and opportunity for both the resident and the program.7,16,21,22,23,91,92,93 This dynamic can be a positive force for ensuring that data collection and interpretation is transparent and fully codified. Each individual resident’s ILP should include relevant data-driven predictions, creating both short- and long-term actionable goals. We assert that this data-driven ILP process is beneficial to all programs regardless of whether they are piloting a time-variable graduation date.

목표 연결: 모든 이해관계자의 역량 강화 기술로서의 데이터 관리
Connecting the Goals: Data Management as an Enabling Skill of All Stakeholders

목표를 달성하기 위해 CCC는 효과적인 메커니즘을 활용하여 광범위한 데이터를 수집하고, 데이터의 품질과 충분성을 모두 분석하며, 강력한 보고 메커니즘을 개발해야 합니다. ACGME CCC 가이드북에는 관리 업무를 관리하기 위한 권장 사항이 포함되어 있으며 CCC의 각 구성원에 대한 역할과 책임을 정의합니다. 24 p14-16;18-22 모든 GME 프로그램은 강력한 평가를 활용해야 하지만, 입증된 역량을 기반으로 근거에 기반한 졸업 결정을 내려야 하는 필요성을 고려할 때 시간 가변 교육은 평가를 강화하는 데 더 시급한 자극을 제공합니다. 21,22,56,93
To accomplish its goals, the CCC must utilize effective mechanisms to collect a wide range of data, analyze both its quality and sufficiency, and develop robust reporting mechanisms. The ACGME CCC Guidebook includes recommendations to manage administrative tasks and defines the roles and responsibilities for each member of the CCC.
 24 p14-16;18-22 While all GME programs must utilize robust assessment, time-variable training provides a more urgent stimulus to strengthen assessment, given the necessity of making evidence-based graduation decisions based on demonstrated competency. 21,22,56,93

다음은 [CCC 프로세스를 강화하기 위한 권장 사항]입니다:
The following are recommendations to strengthen the CCC process:

a)데이터 과부하를 피하기 위해 회의를 충분히 자주 개최합니다. 회의를 더 자주 개최하면 순환 기반 평가가 수개월의 지연 없이 완료되고 적시에 우려 사항을 해결하는 데 도움이 될 뿐만 아니라 학습과 일치하는 시간 척도에 따라 발달 요구 사항이 해결되도록 보장하는 데 도움이 될 수 있습니다.
a)
Hold meetings frequently enough to avoid data overload. More frequent meetings should also help to ensure that rotation-based assessments are completed without many months of delay and can help address concerns in a timely fashion, as well as ensuring that developmental needs are addressed on a timescale consistent with the learning.

b) CCC 구성원에게 [데이터를 검토하고 보고할 관리 가능한 [전공의 하위 집합]을 할당하거나, 모든 전공의 데이터를 검토하는 [역량 하위 집합]을 할당하여] 업무량을 분산합니다. 이 두 가지 관점은 상호 보완적입니다.
b)
Parse the workload by assigning CCC members a manageable subset of residents whose data they review and report on—or, alternatively a subset of competencies for which they review all resident data. These two perspectives are complementary.

c)형성적 평가와 종합적 평가를 통합하는 다중 소스 데이터를 활용하고, 가능한 경우 임상 결과 데이터를 통합합니다.
c)
Utilize multi-source data that incorporate formative and summative assessments, incorporating clinical outcomes data when available.

d)데이터 시각화를 사용하여 개인 또는 프로그램 추세를 강조합니다.94,95 [CCC가 어느 정도로 레지던트 프로그램 책임자의 내부 지식 없이도 업무를 수행할 수 있는지]는 프로그램의 일상적인 기능을 보완적으로 점검하는 역할을 할 수 있는 능력을 측정하는 척도입니다. CCC 운영을 지원하는 [이상적인 정보 시스템]에는 개별 관찰부터 개별 레지던트 성취도 요약, 프로그램 수준의 통합 디스플레이에 이르기까지 모든 영역을 실행할 수 있는 데이터 포트폴리오가 포함됩니다. 
d)
Use data visualizations to highlight individual or programmatic trends.94,95 The degree to which a CCC can carry out its work without the inside knowledge of the residency program director is a measure of its ability to serve as a complementary check on the day-to-day functioning of the program. An ideal information system to support CCC operation includes a data portfolio that can run the gamut from individual observations, through summations of individual resident achievement, to integrative displays at the program level.

그림 2에 표시된 히트 맵은 앞서 설명한 각 CCC 목표에 대한 관점을 제공할 수 있습니다.

  • 각 열은 한 명의 레지던트를 나타내므로 비주얼리제이션에 프로그램의 모든 레지던트를 표시할 수 있습니다.
  • 각 행은 단일 마일스톤 하위 역량(또는 EPA)을 나타내므로 열을 합치면 해당 전문과목의 역량 모델 전체를 나타냅니다.
  • 각 셀은 개별 레지던트가 해당 역량에서 어떤 성과를 거두고 있는지를 나타내며, 색상의 온도는 5점 척도의 종단적 성취도를 나타냅니다.

따라서 이 표현은 레지던트를 수련 단계별로 정렬한 경우 레지던트 간 변동성을 한 눈에 파악할 수 있도록 프로그램의 현재 상태를 요약하여 보여줍니다. 역량 요소 간의 가변성은 각기 다른 성취율과 함께 표시됩니다. 분명히 어떤 역량은 다른 역량보다 개발하기 쉽습니다. 분명히 어떤 레지던트는 다른 레지던트보다 역량 개발이 더 진척된 상태입니다. 이 시각화는 모든 거주자 및 전체 역량 모델에 걸쳐 CCC의 광범위한 사명과 일치합니다. 한 가지 더 보완할 수 있는 것은 입주자의 자가 평가 데이터를 동일한 그리드에 표시하는 것입니다.
Consider the heat map shown in Figure 2 which can provide a perspective on each of the CCC goals we have described.

  • Each column represents a single resident, and so, the visualization can show all residents in the program.
  • Each row represents a single Milestone sub-competency (or EPA) so that the columns taken together represent the entirety of the competency model for the specialty.
  • Each cell represents how that individual resident is doing on that individual competency, with the temperature of the color suggesting a five-point scale of longitudinal achievement.

As such, the representation provides a summary of the current state of the program, with the between-resident variability manifest at a glance, especially if the residents are ordered by stage of training. The variability between competency elements is also on display with their differing rate of achievement. Clearly, some competencies are easier to develop than others. Clearly, some residents are further along in their development than are others. The visualization is consistent with the breadth of the CCC’s mission, across all residents and across the entire competency model. A further embellishment would be to represent resident self-assessment data on the same grid.

 

이 예는 정적 시각화입니다. 이상적으로는 구성원들이 데이터에 대한 여러 보기를 고려하고 필요한 경우 마일스톤 진행 상황의 현재 추정치를 결정하는 세부 데이터까지 드릴다운할 수 있는 [동적 대시보드]가 CCC를 지원합니다.94,95,96 여기서 중요한 점은 CCC가 사용 가능한 [평가 데이터의 충분성]을 평가할 수 있다는 것입니다.

  • 어떤 데이터가 누락되었나요?
  • 누락된 이유는 무엇인가요?
  • 프로그램 수준의 질 개선(QI)에 시사점이 있습니까?
  • 아니면 해당 레지던트에 대한 구체적인 시사점이 있나요?

평가에 대한 통제권이 자율적인 레지던트 학습자에게 기울어져 있기 때문에 학습자가 필요한 성취 증거를 수집하는 측면에서 프로그램 기대치를 충족할 수 있는 정도는 자체 데이터 포인트가 될 수 있습니다. CCC 데이터 시각화는 전체 프로그램 수준의 맵을 제공하고 [개별 데이터 포인트 수준]까지 드릴다운할 수 있도록 CCC 회의 내에서 [동적으로 액세스]할 수 있도록 설계되어야 합니다.
Our example is a static visualization. Ideally, CCCs are supported by dynamic dashboards which allow the members to consider multiple views on the data, drilling down when necessary, to the granular data that determine the current estimate of milestone progression.94,95,96 An important point here is that the CCC can assess the sufficiency of the evaluation data available to it.

  • What data is missing?
  • Why is it missing?
  • Are there program-level quality improvement (QI) implications?
  • Or specific implications for this resident?

As the locus of control for assessment is tilted towards a self-regulated resident learner, the degree to which the learner is able to meet the program expectations in terms of collecting the necessary evidence of achievement may be its own datapoint. CCC data visualizations should be engineered to allow dynamic access within the CCC meeting to provide both an overall program-level map, and to drill down to the individual data point level.

 

결론
Conclusion

이 글에서는 [모든 레지던트]에게 정기적으로 적용되어야 하는 세 가지 핵심 CCC 목표를 제안했습니다.

  • (1) 교육을 최적화하기 위한 발달 상태 파악 및 설명,
  • (2) 무감독 실습 준비 상태 판단,
  • (3) 자기 평가 능력 배양

이러한 목표를 실현하기 위해 CCC 프로세스를 개선하기 위한 중점 영역으로 다음과 같은 사항을 권장했습니다.

  • 공유된 평가 및 역량 기반 발전 모델을 통해 우수자뿐만 아니라 모든 연수생의 역량 개발을 평가하고 촉진하며,
  • 연수생의 독립적 의료행위 준비 상태를 판단하기 위해 CCC 평가 프로세스를 강화하고,
  • 각 연수생의 학습 요구에 대한 정보에 입각한 자기 평가를 장려합니다.

In this article, we have proposed three core CCC goals that must be regularly applied to every resident:

  • (1) discern and describe developmental status to optimize education,
  • (2) determine readiness for unsupervised practice, and
  • (3) foster self-assessment ability.

We have recommended areas of focus to enhance the CCC process to actualize these goals including the following:

  • assess and promote the development of competency in all trainees, not just outliers, through a shared model of assessment and competency-based advancement;
  • strengthen CCC assessment processes to determine trainee readiness for independent practice; and
  • promote informed self-assessment of each trainees’ learning needs.

우리는 [코칭]을 통한 [형성적 피드백 제공]을 강조했으며, 강력한 [직장 기반 다중 소스 평가]를 통해 [개별화된 학습 계획]의 [공동 제작]과 연결된 [각 연수생의 발달 궤도에 대한 CCC의 결정]에 정보를 제공하는 것이 중요하다는 점을 강조해왔습니다. 또한 각 교육생의 역량 궤적에 대한 포괄적인 개요를 제공하여 강점과 성장 영역을 모두 파악할 수 있는 데이터 시각화의 중요성을 강조합니다.
We have emphasized the importance of providing formative feedback through coaching and robust workplace-based multi-source assessments to inform the CCC’s determination of the developmental trajectory of each trainee coupled with co-production of an individualized learning plan. Further, we emphasize the importance of data visualizations to provide a comprehensive overview of each trainee’s competency trajectory, noting areas of both strength and growth.

[교육기관과 프로그램]은 교육생 평가가 [중요critical]하고 [리소스 집약적인 과정]임을 인식하고, 그에 따라 우선순위를 정하고 자금을 지원해야 합니다. 참여하는 교수진은 적절한 교육을 받고 노력에 대한 보상을 받아야 합니다.64 또한 평가 참여는 [교수진의 학술적 발전에 기여]할 수 있으며, 또 다른 중요한 인센티브를 제공할 수 있습니다(그리고 그래야 합니다). [효과적인 평가를 지원하기 위한 성공적인 전략이 전파]되어야 합니다. 역량 기반 의학교육은 개별화된 진로를 촉진하며, 프로그램의 시간 가변적 진급 계획 여부에 관계없이 유연한 교육 시스템을 필요로 합니다.6,97
Institutions and programs must recognize that trainee assessment is a critical and resource-intensive process and must prioritize and fund it accordingly. Participating faculty should be appropriately trained and compensated for their effort.64 In addition, engagement in assessment may (and should) contribute to the academic advancement of faculty, providing another important incentive. Successful strategies to support effective assessment should be disseminated. Competency-based medical education promotes individualized pathways and requires flexible educational systems regardless of whether programs plan for time-variable advancement.6,97

전반적으로, 우리는 역량 기반 진급을 위해 "지금까지 어떻게 해왔습니까?"가 아니라 "우리가 당신에 대해 알고 있는 것을 고려할 때, 앞으로의 궤도를 최적화하는 데 어떻게 도움을 줄 수 있습니까?"라는 미래 지향적인 사고방식을 장려하고 있습니다. ACGME는 CCC가 이러한 목표를 실현할 수 있는 구조와 프레임워크를 제공했지만, 개별 프로그램은 역량 기반 의학교육 및 발전에서 CCC의 역할을 수행하기 위해 도구를 개념화하고 강화하며 프레임워크를 맞춤화해야만 잠재력을 실현할 수 있습니다.
Overall, we are promoting a forward-looking mindset in service of competency-based advancement, one where the question is not “how have you done until now?” but rather “given what we know about you, how can we help optimize your forward trajectory?”. The ACGME has provided the structure and framework for CCCs to actualize these goals, yet individual programs must conceptualize and strengthen the tools and personalize the framework to realize the potential of the CCC in fulfilling its role in competency-based medical education and advancement.

 

 


J Gen Intern Med. 2022 Jul;37(9):2280-2290. doi: 10.1007/s11606-022-07515-3. Epub 2022 Apr 20.
 
Reimagining the Clinical Competency Committee to Enhance Education and Prepare for Competency-Based Time-Variable Advancement
Affiliations collapse

1Massachusetts General Hospital, Boston, MA, 02114, USA. mgoldhamer@mgh.harvard.edu.

2Mass General Brigham, Boston, MA, USA. mgoldhamer@mgh.harvard.edu.

3Harvard Medical School, Boston, MA, USA. mgoldhamer@mgh.harvard.edu.

4Massachusetts General Hospital, Boston, MA, 02114, USA.

5Harvard Medical School, Boston, MA, USA.

6Boston Children's Hospital, Boston, MA, USA.

7Mass General Brigham, Boston, MA, USA.

8University of Michigan Medical School, Ann Arbor, MI, USA.

9Michigan Medicine, Ann Arbor, MI, USA.

PMID: 35445932

PMCID: PMC9021365

DOI: 10.1007/s11606-022-07515-3

Free PMC article

Abstract

Assessing residents and clinical fellows is a high-stakes activity. Effective assessment is important throughout training so that identified areas of strength and weakness can guide educational planning to optimize outcomes. Assessment has historically been underemphasized although medical education oversight organizations have strengthened requirements in recent years. Growing acceptance of competency-based medical education and its logical extension to competency-based time-variable (CB-TV) graduate medical education (GME) further highlights the importance of implementing effective evidence-based approaches to assessment. The Clinical Competency Committee (CCC) has emerged as a key programmatic structure in graduate medical education. In the context of launching a multi-specialty pilot of CB-TV GME in our health system, we have examined several program's CCC processes and reviewed the relevant literature to propose enhancements to CCCs. We recommend that all CCCs fulfill three core goals, regularly applied to every GME trainee: (1) discern and describe the resident's developmental status to individualize education, (2) determine readiness for unsupervised practice, and (3) foster self-assessment ability. We integrate the literature and observations from GME program CCCs in our institutions to evaluate how current CCC processes support or undermine these goals. Obstacles and key enablers are identified. Finally, we recommend ways to achieve the stated goals, including the following: (1) assess and promote the development of competency in all trainees, not just outliers, through a shared model of assessment and competency-based advancement; (2) strengthen CCC assessment processes to determine trainee readiness for independent practice; and (3) promote trainee reflection and informed self-assessment. The importance of coaching for competency, robust workplace-based assessments, feedback, and co-production of individualized learning plans are emphasized. Individual programs and their CCCs must strengthen assessment tools and frameworks to realize the potential of competency-oriented education.

Keywords: COVID-19; Milestones; clinical competency committee; competency-based advancement; competency-based medical education; individualized learning plan; time-variable graduate medical education.

아너(Honors)를 위하여: 임상실습 평가와 성적에 관한 학생의 인식 다기관 연구(Acad Med, 2019)
In Pursuit of Honors: A Multi-Institutional Study of Students’ Perceptions of Clerkship Evaluation and Grading
Justin L. Bullock, MPH, Cindy J. Lai, MD, Tai Lockspeiser, MD, MHPE, Patricia S. O’Sullivan, EdD, Paul Aronowitz, MD, Deborah Dellmore, MD, Cha-Chi Fung, PhD, Christopher Knight, MD, and Karen E. Hauer, MD, PhD 

 

[임상 실습]을 준비하려면 학생들은 광범위하고 빠르게 확장되는 기술과 지식을 습득해야 합니다.1 동시에, 학생들은 특히 특정 전문과목에서 레지던트 자리를 차지하기 위한 경쟁이 치열해지고 있습니다.2,3 이러한 요구는 함께 [부담스러운 임상 학습 환경]을 조성하여 학습자에게 악영향을 미칠 수 있습니다.4 학생들의 스트레스를 유발하는 중요한 요인 중 하나는 [임상실습 성적]입니다.5,6 성적은 학생과 의과대학에 중요한 피드백을 제공하며, 레지던트 프로그램은 레지던트 선발 시 핵심 임상실습 성적에 의존합니다.7-9 성적 배정은 일반적으로 [시험 점수]와 [감독 교수 및 레지던트의 종합 평가]에 의해 결정됩니다. 그럼에도 불구하고 학생과 교육자 모두 성적의 공정성과 정확성에 의문을 제기합니다.4 "평가가 학습을 이끈다"는 교육자의 격언에 비추어 볼 때, 현재 평가 시스템에 대한 부정적인 인식은 학생의 동기 부여, 학습 행동, 성과에 부정적인 영향을 미칠 수 있습니다.10
Preparing for clinical practice requires students to acquire broad and rapidly expanding skills and knowledge.1 Simultaneously, students face increasing competition for residency positions, particularly in certain specialties.2,3 Together, these demands create a taxing clinical learning environment, which may adversely affect learners.4 One significant contributor to student stress is clerkship grading.5,6 Grades provide important feedback to students and medical schools, and residency programs rely on core clerkship grades in resident selection.7–9 Grade assignments are typically informed by examination scores and summative evaluations from supervising faculty and residents. Still, students and educators alike question the fairness and accuracy of grades.4 Drawing from the educator’s adage “assessment drives learning,” negative perceptions of the current assessment system may adversely affect students’ motivation, learning behaviors, and performance.10

임상실습 평가 및 채점에 대한 학생의 우려는 [다양한 요인]으로 인해 발생할 수 있습니다.

  • 감독자는 평가 척도를 다양하게 해석하고 최고 성과에 대한 [공유된 정신 모델이 부족]할 수 있습니다.11-13
  • 학생은 자신을 평가할 때 [감독자가 무엇을 중요하게 생각하는지 불확실]하게 느낄 수 있습니다.14
  • 공정한 평가 시스템은 학생이 학습하고 [학습을 입증할 수 있는 충분한 기회]가 필요하고 [평가 및 채점에 투명한 기준을 사용]하며 [공평]해야 합니다.15,16
    • 한 의과대학에서 실시한 한 연구에 따르면 학생의 38%만이 임상실습 평가가 공정하다고 생각하는 것으로 나타났습니다.17
  • 수퍼바이저가 [수련생을 직접 관찰하지 않고 역량을 평가]하기 때문에 학생들은 평가의 정확성을 의심할 수 있습니다.18,19
  • [편견] 또한 정확성을 위협하고 성적에 대한 회의론을 불러일으킵니다. 의학계에서 소외된 인종 또는 민족(UIM) 출신의 학생은 최고 성적을 받고 아너 소사이어티에 선발될 가능성이 낮습니다.20-22

Students’ concerns around clerkship evaluations and grading may arise from a variety of factors.

  • Supervisors variably interpret assessment scales and may lack a shared mental model of top performance.11–13 
  • Students can feel uncertain about what supervisors value when evaluating them.14 
  • A fair assessment system requires sufficient opportunities for students to learn and demonstrate learning, uses transparent criteria for evaluation and grading, and is equitable.15,16 
    • One study at a single medical school found that only 38% of students felt that clerkship evaluation was fair.17 
  • Students may doubt the accuracy of their evaluations because supervisors evaluate trainees on competencies despite infrequent direct observation of those trainees.18,19 
  • Bias also threatens accuracy and raises skepticism around grades. Students from racial or ethnic groups underrepresented in medicine (UIM) are less likely to earn top grades and honor society selection.20–22

모든 학생은 임상실습 환경이 학습에 미치는 영향에 취약할 수 있습니다.

  • [숙달 지향적 환경]은 학생들이 도전을 추구하고 장애물에 직면했을 때 성공하는 학습에 대한 적응적 접근 방식을 촉진합니다.23
  • 반대로 [성과 지향적 환경]에는
    • 학생들이 [겉으로 유능해 보일 수 있는 과제를 수행]하면 보상하는 "성과 접근 방식"과,
    • 학생들이 [무능해 보일 수 있는 도전적인 상황을 회피]하게 만드는 "성과 회피 방식"이 포함됩니다.
  • [숙달 중심]의 [합격/불합격 전임상 학습 환경]에서 [성과 중심]의 [단계별 채점 임상 학습 환경]으로 전환하면 학생이 숙달 중심의 행동을 경시하고 학습에 부정적인 영향을 미칠 수 있습니다.24
  • [성과 중심]의 학습 문화는 학생의 정보 유지력과 만족도를 떨어뜨리고 소진을 증가시킬 수 있습니다.23,25

All students can be susceptible to influences of the clerkship environment on their learning.

  • A mastery-oriented environment fosters adaptive approaches to learning in which students seek challenges and thrive when facing obstacles.23 
  • Conversely, performance-oriented environments include
    • “performance approach,” which rewards students for performing tasks that they know will make them appear competent,
    • and “performance avoid,” which encourages students to avoid challenging situations that could make them appear incompetent.
  • The transition from a more mastery-oriented pass/fail preclinical learning environment to a more performance-oriented tiered grading clinical learning environment may cause students to deemphasize mastery-oriented behaviors and negatively affect learning.24 
  • A performance-oriented learning culture can decrease students’ retention of information and satisfaction and increase burnout.23,25

[UIM 학생과 비 UIM 학생 간의 성적 격차]는 [평가자의 편견을 넘어 임상실습 학습 환경의 다른 요인에 대한 고려]를 촉구하며, 이는 UIM 학생의 성과 저하에 고유하게 기여할 수 있습니다.21,26 [낙인찍힌 집단]의 취약한 구성원(예: 일반적으로 UIM인 인종/민족 학생)이 [자신이 속한 집단에 대한 낮은 기대치에 부합할 것을 걱정]할 때 [고정관념 위협]을 경험하게 됩니다. [고정관념 위협]은 인지 부하를 증가시키고 습득한 기술과 역량을 발휘하지 못하게 함으로써 집단 간 성과 차이를 악화시킵니다.27-29 인종, 성별, 나이와 관련된 고정관념 위협은 널리 연구되어 왔지만, 의대생 사이에서 고정관념 위협의 영향을 조사한 문헌은 부족합니다.28-32
Grading disparities between UIM and non-UIM students prompt consideration of other forces in the clerkship learning environment, beyond evaluator bias, which may uniquely contribute to poorer UIM student performance.21,26 When vulnerable members of stigmatized groups (e.g., students from races/ethnicities typically UIM) worry that they will conform to lower expectations for their group, they experience stereotype threat. Stereotype threat exacerbates group differences in performance by increasing cognitive load and inhibiting the display of acquired skills and competencies.27–29 While stereotype threats relating to race, gender, and age have been widely explored, a dearth of literature examines effects of stereotype threat amongst medical students.28–32

본 연구는

  • (1) 임상실습 평가 및 채점의 공정성과 정확성에 대한 학생들의 인식을 조사하고,
  • (2) 임상실습 학습 환경에 대한 학생들의 인식을 조사하고,
  • (3) 이러한 인식과 학생의 성취도 사이의 관계를 평가하기 위해 설계되었습니다.

We designed this study to

  • (1) examine students’ perceptions of the fairness and accuracy of clerkship evaluation and grading,
  • (2) examine students’ perceptions of the clerkship learning environment, and
  • (3) assess the relationship between these perceptions and students’ achievement.

방법
Method

설계
Design

이 연구는 여러 기관을 대상으로 한 횡단면 설문조사 연구입니다.
This is a multi-institutional, cross-sectional survey study.

설정
Setting

연구 기관은 서부의 다양한 지리적 위치와 공립/사립 현황을 대표하는 서부 교육 문제 그룹에 속한 미국 학교 6곳을 편의 표본으로 선정했습니다(표 1). 초대받은 학교 중 참여를 거부한 학교는 없었습니다. 6개 기관 심의위원회 모두 이 연구를 승인했습니다. 모든 학교는 학생들에게 가정의학과, 내과, 산부인과, 소아과, 정신과, 외과 임상실습을 이수하도록 요구했습니다. 일부는 추가적으로 요구되는 임상실습이 있었습니다. 이 연구에서 "우등"은 각 학교에서 달성할 수 있는 가장 높은 서클러십 성적을 의미합니다. 전국 의과대학과 마찬가지로 학교마다 우등상을 받을 수 있는 학생 비율, 종단 통합 서클럭의 존재 여부, 성적 부여 방식이 다양했습니다.33
Study institutions were a convenience sample of 6 U.S. schools in the Western Group on Educational Affairs, representing diverse western geographical locations and public/private status (Table 1). No invited schools declined participation. All 6 institutional review boards approved the study. All schools required students to complete family medicine, internal medicine, obstetrics–gynecology, pediatrics, psychiatry, and surgery clerkships (see Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/A720). Some had additional required clerkships. In this study, “honors” refers to the highest clerkship grade achievable at each school. Consistent with medical schools nationally, schools varied in the percentage of students allowed to receive honors, presence of longitudinal integrated clerkships, and method of grade assignments.33

참여 학생
Participating students

참여 대상은 핵심 임상실습 연도가 끝나는 모든 의대생이었습니다. 5개 학교에서 학생들은 해당 학교의 수석 조사자가 서명한 전자 설문조사 플랫폼에 대한 개별 이메일 링크를 받았습니다. 학교별 규칙에 따라 이메일 초대는 여섯 번째 학교의 학급 목록 서버로 보내야 했습니다. 응답하지 않은 응답자에게는 매주 최대 3회의 리마인더가 전송되었습니다. 설문조사는 공개 후 30일 동안 활성화되었습니다. 설문조사가 완료되면 참가자는 외부 웹사이트를 통해 이메일 주소를 제출하여 10달러 전자 기프트 카드를 받을 수 있었습니다. 데이터 수집 후, 연구에 관여하지 않은 데이터 분석가가 개인 식별 정보를 제거하고 참가자에게 무작위 식별 번호를 할당했습니다. 학생이 인구 통계 섹션을 작성하지 않았거나 임상실습을 3개 미만으로 완료한 경우 설문조사에서 제외되었습니다.
Eligible participants were all medical students at the end of the core clerkship year. At 5 schools, students received an individualized email link to an electronic survey platform (www.qualtrics.com), signed by the lead investigator of that school. School-specific rules required that the email invitation go to the sixth school’s class listserv. Nonrespondents received up to 3 weekly reminders. The survey was active for 30 days after release. Upon completion, participants could submit their email address via an outside website to receive a $10 electronic gift card. After data collection, a data analyst not otherwise involved in the study removed identifying information and assigned participants random identification numbers. Surveys were excluded if the student did not complete the demographics section or completed fewer than 3 clerkships.

이론적 모델 및 설문조사 개발
Theoretical model and survey development

설문조사 개발 지침에 따라 설문조사를 개발했습니다.34 두 명의 저자(J.L.B., K.E.H.)가 문헌을 검토하여 학생들의 임상실습 성적에 대한 인식을 둘러싼 주요 이론, 증거 및 격차를 파악했습니다. 한 학교(캘리포니아대학교 샌프란시스코 캠퍼스[UCSF])에서는 의과대학 학장들과 함께 임상실습 채점에 관한 학생 타운홀을 개최했습니다. 문헌 검토와 타운홀 피드백을 바탕으로, 저희는 학생 평가의 공정성과 정확성, 학생의 동기 부여와 노력, 피드백에 대한 학생의 인식, 학생의 학습 환경, 학생의 성취 결과에 기여하는 요인에 대한 [학생의 인식에 대한 모델]을 개발했습니다(그림 1). 이 모델을 사용하여 2개의 연구 학교(UCSF, 콜로라도대학교 의과대학)에서 23명의 학생이 서면으로 또는 4개의 포커스 그룹 중 1개 그룹에서 피드백을 제공한 설문조사 항목을 개발하고 파일럿 테스트를 거쳤습니다. 최종 설문조사에는 적응 학습 척도(PALS) 및 고정관념 취약성 척도(SVS) 매뉴얼의 문항도 포함되었습니다.28,35 PALS 숙달, 수행 접근 방식, 수행 회피 교실 목표 구조 척도 및 SVS 고정관념 위협 항목을 "임상실습"을 참조하도록 수정했습니다. 파일럿 학생들에게 혼란을 줄 수 있는 이중 부정적 표현으로 인해 원래의 SVS 항목 3개를 제거했습니다. 
We developed a survey following guidelines for survey development.34 Two authors (J.L.B., K.E.H.) reviewed the literature to identify key theories, evidence, and gaps surrounding students’ perceptions of clerkship grading. One school (University of California, San Francisco [UCSF]) held a student town hall on clerkship grading with medical school deans. Based on the literature review and town hall feedback, we developed a model of students’ perceptions of the fairness and accuracy of clerkship assessment, student motivation and effort, perceptions of feedback, clerkship learning environment, and contributors to students’ achievement outcomes (Figure 1). Using this model, we developed and pilot-tested survey items at 2 study schools (UCSF, University of Colorado School of Medicine) with 23 students who provided feedback in writing or in 1 of 4 focus groups. The final survey also included adapted questions from the Manual for the Patterns of Adaptive Learning Scales (PALS) and the Stereotype Vulnerability Scale (SVS).28,35 We modified the PALS Mastery, Performance Approach, and Performance Avoid Classroom Goal Structure scales and SVS stereotype threat items to reference “clerkships.” We eliminated 3 original SVS items because of double-negative wording that confused pilot students.


[최종 106개의 설문조사 항목]은 참가자 인구통계, 자가 보고한 우등상 수상 횟수, 수강한 임상실습 횟수, 의도한 전공, 다양한 영역이 최종 성적에 미치는 영향에 대한 인식(0~10점), 채점에 대한 인식(공정성, 정확성) 및 임상실습 학습 환경(동기 부여, 고정관념 위협)이라는 가설 예측 변수에 관한 것이었습니다. 예측변인 질문은 5점 리커트 척도(매우 동의하지 않음[1] ~ 매우 동의함[5])를 사용했습니다. 개방형 질문 중 하나는 성적 향상을 위한 학생의 추천을 요청하는 질문이었습니다. 
The final 106 survey items addressed participant demographics, self-reported number of honors earned, number of clerkships taken, intended specialty, perceived impact of various domains on their final grade (scored 0–10), and our hypothesized predictors: perceptions of grading (fairness, accuracy) and clerkship learning environment (motivation, stereotype threat). Predictor questions used a 5-point Likert scale (strongly disagree [1] to strongly agree [5]). One open-ended question solicited students’ recommendations to improve grading (see Supplemental Digital Appendix 2 at https://links.lww.com/ACADMED/A720).

요인 분석
Factor analysis

데이터 축소를 위해 주성분 분석을 사용하여 채점 및 임상실습 학습 환경의 공정성과 정확성에 대한 인식에 대해 리커트 척도 질문을 1~5개의 연속 변수로 처리했습니다. 바리맥스 회전을 사용하여 고유값이 1 이상인 요인을 유지하고 수렴하기 전까지 최대 25회 반복했습니다. 누락된 데이터는 쌍별 삭제를 사용했습니다. 카이저-마이어-올킨 검정은 0.80 이상으로 항목 간에 충분한 상관관계가 있음을 나타냅니다. 항목은 가장 큰 로딩을 기준으로 요인에 할당되었습니다. PALS 동기 부여 척도와 SVS는 이전에 검증되었고 약간의 수정에도 여전히 높은 내적 일관성을 보였기 때문에 주성분 분석에 포함되지 않았습니다.28,35 모든 요인에 대해 크론바흐 알파 계수와 비가중 평균 점수를 계산하여 크론바흐 알파가 0.6 이상인 요인만 유지했습니다. 모든 요인 적재량이 양수가 되도록 필요에 따라 항목을 리버스 코딩했습니다. 유지된 각 요인에 대해 해당 요인을 구성하는 항목의 평균과 동일한 연속 변수로 취급하여 척도 점수를 계산했습니다. 척도 점수의 경우 3점 미만은 "동의하지 않음", 3점 이상은 "동의", = 3점은 "중립"으로 분류했습니다. SVS 점수가 3점 이상이면 고정관념 위협에 취약한 것으로 나타났습니다.
We used principal components analysis for data reduction, treating Likert scale questions as continuous 1–5 variables for perceptions of fairness and accuracy of grading and clerkship learning environment. We used varimax rotation, retaining factors with an eigenvalue ≥ 1 and a maximum of 25 iterations before convergence. We used pairwise deletion for missing data. The Kaiser–Meyer–Olkin test was > 0.80, indicating sufficient correlation amongst items. Items were assigned to factors based on their largest loading. Because the PALS motivation scales and SVS were previously validated and still had high internal consistency with our minor modifications, they were not included in the principal component analysis.28,35 For all factors, we calculated the Cronbach alpha coefficient and nonweighted mean score, retaining factors with Cronbach alpha > 0.6. Items were reverse-coded as needed so that all factor loadings were positive. For each retained factor, we calculated a scale score, treated as a continuous variable equal to the mean of the items comprising the factor. For scale scores, we categorized < 3 as “disagree,” > 3 as “agree,” and = 3 as “neutral.” An SVS score > 3 indicated vulnerability to stereotype threat.

통계 분석
Statistical analysis

인구 통계에 대한 기술 통계를 계산했습니다. t 검정으로 연령의 차이를 평가했습니다. 다른 모든 하위 그룹 비교에는 카이제곱 테스트를 사용했습니다. 첫 번째 목표를 조사하기 위해 공정성과 정확성에 대한 학생들의 인식과 임상실습 학습 환경에서의 학생 경험에 대한 기술 통계를 계산했습니다. 성별 및 UIM 상태별 인식의 하위 그룹 비교를 위해 카이제곱 검정을 사용했습니다. 
We calculated descriptive statistics for demographics. t Tests assessed differences in age. For all other subgroup comparisons, we used chi-square tests. To examine our first aim, we calculated descriptive statistics for students’ perceptions of fairness and accuracy and students’ experience in the clerkship learning environment. We used chi-square tests for subgroup comparisons of perceptions by gender and UIM status.

두 번째 목표인 학생 인구통계학적 특성과 인식 및 우등상 수상 간의 관계를 조사하기 위해 [다변량 회귀 분석]을 사용했습니다. 성적 정책의 학교 간 차이를 설명하기 위해 우등상 수상 비율, 해당 학생의 학교 우등상 수상 비율의 평균 및 표준 편차를 사용하여 z 점수를 계산하여 각 학생의 표준화된 우등상을 계산했습니다. 여기서 '우등상 획득'은 각 학생의 표준화된 우등상 값을 의미합니다. 예측 변수는 학생 인구 통계와 학생 인식(PCA 식별 요인, PALS, SVS)의 두 블록으로 입력했습니다. 인구통계학적 변수는 연속형인 나이를 제외하고 이분법으로 처리했습니다. 아프리카계 미국인, 라틴계 미국인, 라틴계 미국인, 히스패닉계 미국인, 아메리카 원주민, 알래스카 원주민, 하와이 원주민 또는 기타 태평양 섬 주민이라고 스스로 밝힌 UIM 학생들.36 2018년 전국 레지던트 매칭 프로그램 데이터를 사용하여 [경쟁이 심한 전문과목]은 매칭 확률 ≤ 90%, 매칭된 지원자의 1단계 점수 중간값 240 이상, 2단계 CK(임상 지식) 중간값 250의 3가지 기준 중 두 가지를 충족하는 것으로 정의했습니다(표 1). 회귀분석에서 16개의 비교를 설명하기 위해 Bonferroni 보정을 수행했으며, P값이 .003 이하인 경우 통계적으로 유의한 것으로 간주했습니다.41 분석에는 Windows용 IBM SPSS 통계 버전 23.0(IBM, Armonk, New York)을 사용했습니다.
We used multivariable regression analysis to explore our second aim, the relationship between student demographics and perceptions and honors earned. To account for interschool differences in grading policies, we computed each student’s standardized honors by calculating a z score using the fraction of clerkships honored, mean and standard deviation of the fraction of clerkships honored for that student’s school. Hereafter, “honors earned” refers to each student’s standardized honors value. We entered predictor variables in 2 blocks: student demographics and student perceptions (PCA-identified factors, PALS, SVS). We treated demographic variables as dichotomous except age, which was continuous. UIM students self-identified as African American, Latino, Latina, Hispanic, Native American, Alaskan Native, Native Hawaiian, or other Pacific Islander.36 Using 2018 National Resident Matching Program data, competitive specialties were defined as meeting 2 of 3 criteria: probability of matching ≤ 90%, median Step 1 score of matched applicants ≥ 240, and median Step 2 CK (Clinical Knowledge) ≥ 25037–40 (Table 1). We performed a Bonferroni correction to account for 16 comparisons in the regression, with a P value ≤ .003 deemed statistically significant.41 We used IBM SPSS Statistics Version 23.0 for Windows (IBM, Armonk, New York) for analyses.

정성적 분석
Qualitative analysis

세 명의 저자(J.L.B., C.J.L., T.L.)가 콘텐츠 분석을 사용하여 댓글을 분석했습니다. 각 저자는 무작위로 추출한 50개의 댓글에서 귀납적으로 [코드북을 개발]했습니다. 토론을 거쳐 [코드를 하나의 코드북으로 통합]한 후 코딩 과정을 통해 [반복적으로 수정]했습니다. 2명의 저자가 Microsoft Excel을 사용하여 각 댓글을 독립적으로 코딩한 후 토론을 통해 불일치하는 부분을 조정했습니다. 코딩에 대한 토론과 코드 간의 관계에 대한 관심을 통해 핵심 주제와 하위 주제가 도출되었습니다. 코딩자 중에는 의대생, 임상실습 책임교수, 평가위원회 책임자가 포함되어 있었기 때문에 코드 조정은 자연스럽게 반성적 사고를 촉진했습니다. 학생의 코멘트 중 어떤 부분이 주어진 코드에 적용되는 코멘트 비율을 계산했습니다.
Three authors (J.L.B., C.J.L., T.L.) analyzed comments using content analysis. Separately, each author inductively developed a codebook from a random sample of 50 comments. After discussion, we combined codes into a single codebook that we iteratively revised throughout the coding process. Using Microsoft Excel, 2 authors coded each comment independently and then reconciled discrepancies through discussion. Discussion of coding and attention to relationships among codes yielded key themes and subthemes. Code reconciliation naturally facilitated reflexivity as the coders included a senior medical student, clerkship director, and assessment committee director. We calculated the percentage of comments for which any portion of a student’s comment applied to a given code.

결과
Results

전체적으로 972명의 학생이 설문조사 초대를 받았고, 757명이 설문조사를 시작했으며, 701명이 설문조사를 완료했습니다. 35명의 학생이 제외 기준을 충족했습니다: 34명은 3개 미만의 임상실습을 이수했으며, 1명은 이수한 임상실습보다 더 많은 우등상을 받았다고 답했습니다. 최종 응답률은 666/937(71.1%)이었습니다. 참가자의 평균 연령(SD)은 27.5세(3.0)였으며, 54.8%가 여성, 16.4%가 UIM이었습니다(표 1). 이 비율은 2018년 전국 AAMC 의과대학 졸업생 설문조사 표본의 비율과 유사하며, 이 중 49.1%가 여성, 15.5%가 UIM이었습니다.42 응답자들은 평균 6.7회(1.1회)의 핵심 서클러십을 이수한 것으로 나타났습니다. 평균 연령, UIM 학생 비율, 경쟁이 치열한 전문 분야에 지원한 비율은 학교별로 통계적으로 유의미한 차이가 있었습니다(표 1).
Overall, 972 students received survey invitations, 757 began the survey, and 701 completed it. Thirty-five students met exclusion criteria: 34 had completed fewer than 3 clerkships, and 1 reported earning more honors than clerkships taken. The final response rate was 666/937 (71.1%). Participants’ mean age (SD) was 27.5 (3.0); 54.8% were women and 16.4% were UIM (Table 1). These percentages are similar to those in the national 2018 AAMC Medical School Graduate Questionnaire sample, among whom 49.1% were women and 15.5% were UIM.42 Respondents had completed a mean (SD) of 6.7 (1.1) core clerkships. There were small, statistically significant differences across schools for mean age, percentage of UIM students, and percentage applying into competitive specialties (Table 1).

최종 성적에 대한 영역의 중요성 인식
Perceived importance of domain on final grade

이 질문에 대한 응답입니다: 한 해 전체를 고려할 때, "귀하의 경험상 최종 임상실습 성적을 결정하는 데 다음 각 영역이 얼마나 중요합니까?"라는 질문에 대한 답변입니다. (보충 디지털 부록 3: https://links.lww.com/ACADMED/A720 참조), 학생들은 "호감도" 8.7/10점(SD = 1.7), "함께 일하는 특정 어텐딩" 8.7점(1.7), "함께 일하는 특정 레지던트" 8.5점(1.9)을 가장 높게 평가했습니다. '개선' 5.7점(2.7), '환자 및 가족과의 관계' 6.0점(2.7)을 가장 중요하지 않은 것으로 평가했습니다.
In response to the question: Considering the year as a whole, “in your experience, how important is each of the following in determining your final clerkship grade?” (see Supplemental Digital Appendix 3 at https://links.lww.com/ACADMED/A720),

students scored

  • “being liked” 8.7/10 (SD = 1.7),
  • “particular attendings you work with” 8.7 (1.7), and
  • “particular residents you work with” 8.5 (1.9) highest.

They rated

  • “improvement” 5.7 (2.7) and
  • “rapport with patients and families” 6.0 (2.7) as least important.

성적 평가에 대한 인식
Perceptions of grading

회전된 PCA 구성 요소 매트릭스는 데이터 세트의 총 분산 중 64.9%를 차지했으며 6개의 예측 요인을 산출했습니다(표 2). 요인들의 내적 일관성은 높았습니다(크론바흐 알파 = 0.73-0.88). 학생들은 채점의 공정성에 대해 낮은 신뢰를 보였으며, 44.4%의 학생만이 평가가 공정하다고 동의했습니다. 임상실습 평가가 정확하거나 받은 피드백이 유용하다고 생각하는 학생은 3분의 2 미만이었습니다(각각 60.8%, 61.7% 동의). 70.0%의 학생이 레지던트 평가 절차가 공정하다는 데 동의한 반면, 주치의 평가 절차가 공정하다는 데 동의한 학생은 41.7%에 불과했습니다.
Our rotated PCA component matrix accounted for 64.9% of the total variance in our dataset and yielded 6 predictor factors (Table 2). Factors had high internal consistency (Cronbach alpha = 0.73–0.88). Students had low confidence in the fairness of grading, with only 44.4% of students agreeing that assessment was fair. Less than two-thirds of students felt that clerkship assessment was accurate or that feedback received was useful (60.8% and 61.7% agreed, respectively). Whereas 70.0% of students agreed that resident evaluation procedures were fair, only 41.7% agreed that attending evaluation procedures were fair.

학생의 1/3(33.6%)이 채점이 편파적이라고 답했습니다. 여성이 남성보다 평가가 편파적이라고 인식하는 비율이 더 높았지만(64.4% vs 25.2%, P < .0005), 여성이 평가가 정확하다고 평가하는 비율도 더 높았습니다(69.2% vs 52.7%, P < .0005). 채점, 피드백의 공정성, 레지던트 및 참석 평가의 공정성에 대한 인식에는 성별 차이가 없었습니다. UIM 학생은 비 UIM 학생보다 평가가 편파적이라고 인식할 가능성이 더 높았습니다(48.1% vs 31.4%, P = .0001). 그 외에는 UIM 학생과 비 UIM 학생의 인식에 차이가 없었습니다. 
One-third of students (33.6%) endorsed grading as biased. While more women perceived bias in evaluations than men (64.4% vs 25.2%, P < .0005), women also more commonly rated evaluations as accurate (69.2% vs 52.7%, P < .0005). There were no gender differences in perceptions of fairness of grading, feedback, or fairness of resident and attending evaluations. UIM students were more likely than non-UIM students to perceive bias in evaluations (48.1% vs 31.4%, P = .0001). Otherwise, UIM and non-UIM students’ perceptions did not differ (see Supplemental Digital Appendix 4 at https://links.lww.com/ACADMED/A720).

임상실습 학습 환경에 대한 인식
Perceptions of the clerkship learning environment

학생들은 임상실습 학습 환경이 숙달 및 성과 지향적이라고 압도적으로 지지했습니다(각각 88.0% 및 85.6%)(표 2). 임상실습 학습 환경이 성과 지향적이라고 답한 학생은 약간 더 적었습니다(68.9%). 성별이나 UIM 여부에 따른 임상실습의 숙련도 또는 성과 지향성에 대한 인식에는 하위 그룹 간 차이가 없었습니다. 
Students overwhelmingly endorsed the clerkship learning environment to be both mastery- and performance-avoid-oriented (88.0% and 85.6%, respectively) (Table 2). Slightly fewer students endorsed clerkships as performance-approach-oriented (68.9%). There were no subgroup differences in perceptions of the mastery or performance orientation of clerkships by gender or UIM status.

전체적으로 학생 응답의 18.3%가 인종에 따른 고정관념 위협에 취약하다고 답했습니다. 여성과 남성은 고정관념의 위협을 비슷하게 인식했습니다. UIM 학생은 그렇지 않은 학생보다 고정관념 위협에 취약하다고 응답한 비율이 훨씬 높았습니다(55.7% 대 10.9%, P < .0005)(보충 디지털 부록 4: https://links.lww.com/ACADMED/A720 참조). 
Overall, 18.3% of student responses indicated vulnerability to stereotype threat based on race. Women and men perceived stereotype threat similarly. UIM students were much more likely than non-UIM students to indicate vulnerability to stereotype threat (55.7% vs 10.9%, P < .0005) (see Supplemental Digital Appendix 4 at https://links.lww.com/ACADMED/A720).

우등상 수상에 따른 다변량 회귀 분석
Honors earned multivariable regression analysis

우등상은 더 [경쟁이 치열한 전문과에 지원]하는 것(베타 = 0.18, P < .0005)과 [평가가 더 정확하다고 인식]하는 것(베타 = 0.29, P < .0005)과 정(+)의 상관관계가 있는 것으로 나타났습니다(표 3). 명예 획득은 [고정관념 위협과 음의 상관관계]가 있었습니다(베타 = -0.162, P < .0005). 획득한 우등과 채점의 공정성에 대한 인식, 참석 또는 레지던트 평가 절차, 임상실습의 숙련도 또는 수행 환경에 대한 인식 간에는 유의미한 연관성이 없었습니다.  
Honors earned was positively associated with applying into a more competitive specialty (beta = 0.18, P < .0005) and perceiving evaluations as more accurate (beta = 0.29, P < .0005) (Table 3). Honors earned was negatively associated with stereotype threat (beta = −0.162, P < .0005). There were no significant associations between honors earned and perception of grading fairness, attending or resident evaluation procedures, or perceptions of mastery or performance environment of clerkships.

정성적 분석
Qualitative analysis

학생들의 의견은 [성적 부여, 평가 과정, 차등 채점의 원인이 되는 편향성, 학습자의 경험] 등 4가지 주제에 대해 다루었습니다(표 4).

  • [성적 부여]의 경우, 많은 응답자가 최종 성적에 기여하는 요소에 [가중치를 부여]하거나, [합격/불합격 채점]을 사용할 것을 권장했습니다(의견의 29.3%). 역량 기반 평가를 도입하거나 위임가능 전문활동 시스템을 사용하자는 의견도 있었습니다.
  • [평가 과정]에서 학생들은 평가자의 평가 지식학생 평가에 사용되는 프레임워크[variability]을 지적했습니다. 이들은 적절한 평가 기법에 대한 평가자 교육(30.6%)을 권장했습니다.
  • [차등 채점의 원인이 되는 편견]을 해결하기 위해 암묵적 편견 교육 또는 평가자를 비교하는 제도적 시스템을 통해 평가자의 개인적 편견(19.2%)을 해결해야 한다는 의견도 있었습니다.
  • [학습자의 경험]을 개선하기 위해 학생들은 보다 정기적이고 실행 가능한 피드백을 통해 학습을 지원하고(14.4%), 시간이 지남에 따라 추적하여 개선 사항을 평가하고 최종 성적에 반영하는 평가(11.6%)를 원했습니다. 

Students’ comments addressed 4 themes: grade assignment, evaluation process, bias causing differential grading, and learners’ experience (Table 4).

  • For grade assignment, many respondents recommended either reweighting components contributing to final grades or using pass/fail grading (29.3% of comments). Some recommended instituting competency-based assessment or using an entrustable professional activities system.
  • In the evaluation process, students noted variability in assessors’ knowledge of assessment and frameworks used to evaluate students. They recommended training evaluators on proper evaluation techniques (30.6%).
  • To address biases causing differential grading, some advocated addressing evaluators’ personal biases (19.2%) with implicit bias training or institutional systems to compare evaluators.
  • To improve learners’ experience, students wanted assessment to support learning through more regular and actionable feedback (14.4%), tracked over time so that improvement was valued and incorporated into final grades (11.6%).

토론
Discussion

여러 기관이 참여한 이 연구에서 핵심 임상실습 평가 및 채점의 공정성에 대한 학생들의 신뢰도가 낮은 것으로 나타났습니다.

  • UIM 학생의 절반 이상이 [고정관념에 의한 위협에 취약]하다고 답했으며, 이는 비 UIM 학생의 5배가 넘는 수치입니다.
  • 당연히 현재 환경에서 [가장 성공한 학생들, 즉 더 많은 우등상을 받은 학생들]이 평가의 정확성을 더 높게 평가하고, 경쟁이 치열한 전문 분야에 지원할 계획이며, 고정관념 위협에 덜 취약하다고 답한 것은 당연한 결과입니다.

학생들의 서술형 의견은 평가 및 채점에 대한 변화에 대한 학생들의 열망을 뒷받침했습니다.
This multi-institutional study reveals low student confidence in the fairness of core clerkship evaluations and grading. More than half of UIM students endorsed stereotype threat vulnerability, a prevalence greater than 5 times that of non-UIM students. Perhaps unsurprisingly, students who were most successful in the current environment, defined by earning more honors, endorsed greater accuracy of evaluations, planned to apply in competitive specialties, and were less vulnerable to stereotype threat. Students’ narrative comments supported their desire for changes to evaluation and grading.


[Grading에 대한 학생들의 인식]은 학습에 중요한 영향을 미치므로 반드시 해결해야 합니다. 연구 결과에 따르면 학생들은 자신의 성적을 결정하는 가장 강력한 요인을 임상 역량과 별개로 인식하고 있습니다. [낮은 성적을 받은 학생]은 [불공정한 시스템]이나 [특정 팀원의 편차] 등 자신의 [외적 요인]으로 성적을 돌릴 수 있습니다.43,44 이러한 시나리오는 자기 효능감을 위협하고 학생의 노력, 행동 및 향후 학습에 부정적인 영향을 미칠 수 있습니다.25,43 이러한 문제를 해결하기 위해 참가자들은 [평가자 교육을 더 많이 받아야 한다]고 주장했습니다. 평가자 교육은 학생의 성과를 공정하고 정확하게 평가하는 데 필요하지만, [특정 환자를 마주하는 상황과 초점, 평가자 자체]에는 [변동성이 내재]되어 있습니다.13,45 평가자 간의 완벽한 신뢰성을 위해 노력하기보다는, 평가 프로그램에서 평가 데이터를 수집하고 종합하는 엄격한 방법을 개발하는 것이 더 적절한 목표입니다.46 그러나 적절한 직접 관찰은 강력한 평가의 필수 구성 요소이기도 합니다. 학생들이 [전공의의 평가]를 [주치의의 평가]보다 더 호의적으로 본다는 연구 결과는 [전공의]가 환자와 함께 일하는 학생들과 더 많이 직접 접촉하기 때문에 설명될 수 있습니다. 감독자, 특히 주치의의 관찰 횟수를 늘리고 주치의 평가자에 대한 학생의 경험을 개선하기 위한 다른 메커니즘을 모색하면 평가의 공정성에 대한 학생의 인식을 개선할 수 있습니다.
Students’ perceptions of grading have important implications for learning that should be addressed. Our results show that students perceive the strongest determinants of their grades as distinct from their clinical competence. Students who receive lower grades may attribute their grades to factors extrinsic to themselves such as an unfair system or variance of particular team members.43,44 This scenario threatens self-efficacy and can negatively affect students’ effort, behaviors, and future learning.25,43 To address these challenges, our participants advocated for more evaluator training. While rater education is necessary for fair and accurate assessment of students’ performance, there is inherent variability in the context and focus of particular patient encounters and evaluators themselves.13,45 Rather than striving for perfect reliability among raters, a more appropriate goal would be to develop rigorous methods of collecting and synthesizing assessment data in a program of assessment.46 However, adequate direct observation is also a necessary constituent of robust assessment. Our finding that students view residents’ evaluations more favorably than attendings’ may be explained by residents’ greater direct contact with students working with patients. Increasing the number of observations from supervisors, in particular attending physicians, and exploring other mechanisms to improve students’ experience with attending evaluators could improve students’ perceptions of the fairness of evaluations.

우리의 데이터는 현재의 평가 시스템이 학습 또는 성과를 촉진하는지에 대한 의문을 제기합니다.47 학생들은 [성과에 높은 가치]를 부여하는 반면, [개선에 대한 가치는 낮게 평가한다]고 느꼈습니다. '우등' 성적이라는 외재적 동기는 성과 중심의 학습 환경을 조장할 수 있습니다. 반면, "학습을 위한 평가"[관찰을 통해 학습 결과를 평가]하고, [시기적절하고 구체적인 피드백을 제공]하여, [평가를 학생의 학습으로 전환]할 때 발생합니다.9 이 시나리오는 장기적인 성과와 학습의 즐거움을 향상시키는 [숙달 지향적 학습자]를 양성합니다.23 참가자들은 [Grading 방식의 성적을 없애거나 역량 기반 접근 방식으로 변경]하여 [임상실습 평가 구조를 재설계]해야 [숙달 사고방식과 평생 학습을 촉진할 수 있다]고 권고했습니다.48,49 현재 [레지던트 배치에 성적이 중요한 것]은 이미 높은 압박감이 있는 임상실습 환경을 심화시키고 있습니다. 의과대학은 레지던트 선발에 활용되기 때문에 단계별 임상실습 성적을 없애는 것을 주저할 수 있습니다. 본 연구의 범위를 벗어나기는 하지만, 계층형 임상실습 성적이 레지던트 기간 동안의 성과를 효과적으로 예측한다는 사실을 뒷받침하는 자료는 별로 없다.50 [레지던트 프로그램의 총체적 검토 접근법]은 학생의 평가 및 채점 부담을 줄이고 레지던트 선발에 유용한 정보를 제공할 수 있는 가능성을 제공합니다.51
Our data raise questions about whether the current assessment system promotes learning or performance.47 Students felt that performance was highly valued, while improvement was minimally valued. The extrinsic motivation of an “honors” grade may promote a performance-oriented learning environment. In contrast, “assessment for learning” occurs when observations are used to both assess learning outcomes and provide timely, specific feedback, thereby transforming assessment into student learning.9 This scenario cultivates mastery-oriented learners with improved long-term performance and enjoyment of learning.23 Our participants’ recommendations to redesign the clerkship assessment structure by eliminating tiered grades or changing to a competency-based approach could better promote a mastery mindset and lifelong learning.48,49 Currently, the importance of grades for residency placement intensifies an already-high-pressure clerkship environment. Medical schools may hesitate to eliminate tiered clerkship grades because of their use during resident selection. While beyond the scope of our study, minimal data support that tiered clerkship grades effectively predict performance during residency.50 Holistic review approaches by residency programs offer promise to reduce evaluation and grading pressures for students and provide residencies useful information for selection.51

[고정관념 위협 취약성]은 성과에 대한 유의미한 부정적 예측 요인으로 나타났으며, 주로 UIM 학생들에게 영향을 미쳤습니다. 고정관념 위협 취약성을 통제한 후에도 UIM 상태는 성과에 대한 유의미한 예측 변수가 아니었습니다. 
Stereotype threat vulnerability emerged as a significant negative predictor of performance, predominately affecting UIM students. UIM status was not a significant predictor of performance after controlling for stereotype threat vulnerability.

UIM 학생들이 직면한 문서화된 성적 편견 외에도, 이번 연구 결과는 고정관념 위협이 UIM 학생들의 학업 성취도를 더욱 저해할 수 있음을 뒷받침합니다.22,27 이 현상은 다른 곳에서 잘 설명되었음에도 불구하고 의대생들 사이에서는 조사되지 않았습니다. 의학교육에서 고정관념 위협의 범위와 의미를 이해하고 이에 대응하기 위한 개입을 설계하기 위해서는 더 많은 연구가 필요합니다. 고정관념 위협의 영향을 완화하기 위한 구체적인 전략으로는

  • (1) 커뮤니티에 고정관념 위협의 개념을 도입하고,
  • (2) 모든 커뮤니티 이해관계자를 참여시켜 정체성 안전을 증진하며,
  • (3) 리더를 고정관념의 영향을 받는 그룹에 노출을 늘리는 것 등이 있습니다.52

In addition to the documented grading biases facing UIM students, our findings support that stereotype threat may further undermine UIM students’ academic achievement.22,27 Despite being well described elsewhere, this phenomenon has not been explored amongst medical students. More work is needed to understand the scope and implications of stereotype threat in medical education and to design interventions to counteract it. Concrete strategies to mitigate the effects of stereotype threat include

  • (1) introducing the concept of stereotype threat to the community,
  • (2) engaging all community stakeholders to promote identity safety, and
  • (3) increasing exposure to leaders of the stereotyped group.52

이 연구에는 한계가 있습니다. 본 조사 결과는 임상실습 성적에 대한 학생의 관점을 포착한 것이므로 교육자의 의견은 다를 수 있습니다. 이 횡단면 설문조사는 인과관계를 보여주지 않습니다. 측정되지 않은 다른 요인들이 학생의 성과에 영향을 미칠 수 있습니다. 연구 대상 학교는 미국 내 한 지역에 위치하고 있어 다른 학교로 일반화할 수 없지만, 연구 집단은 인구통계학적으로 전국 학생과 유사했습니다. 우리는 PALS 교실 목표 구조와 SVS를 약간 수정했으며, 원래 척도가 서로 다른 집단에서 타당성을 보인다는 가정 하에 타당성을 가정했습니다. 설문조사 응답과의 상관관계를 파악하기 위해 성과 데이터를 수집하지 않았으며, 학생들의 전공 선호도는 시간이 지남에 따라 바뀔 수 있습니다. 마지막으로, 질적 결과는 학생들이 더 많은 질문을 통해 드러날 수 있는 임상실습 성적에 대한 추가 권장 사항이 있을 수 있고 모든 학생이 의견을 작성한 것은 아니므로 신중하게 해석해야 합니다.53
This study has limitations. Our results capture students’ perspectives on clerkship grading; educators’ opinions might differ. This cross-sectional survey does not show causation. Other unmeasured factors may contribute to student performance. Study schools are located in 1 U.S. region and may not generalize to other schools, although our study population was similar demographically to students nationally. We made small modifications to the PALS Classroom Goal Structures and SVS and assumed validity based on the original scales’ validity in distinct populations. We did not collect performance data to correlate with survey responses, and students’ specialty preferences may change over time. Finally, our qualitative results must be interpreted cautiously because students may have additional recommendations for clerkship grading that could have emerged with more questions, and not all students wrote comments.53

연구 결과에 따르면 많은 의대생들이 핵심 임상실습 기간 동안의 평가와 채점을 공정하다고 생각하지 않으며, 개선에 대한 보상보다는 성과를 장려하는 환경을 지지하는 것으로 나타났습니다. 평가와 채점에 대한 부정적인 인식은 학업 성취도 저하와 관련이 있습니다. UIM 학생은 임상실습 환경에서 추가적인 불리한 압력에 직면할 수 있습니다. 공정한 평가 시스템에는 평등과 형평성을 증진하는 정책과 절차가 필요합니다.54 본 모델(그림 1)에서 가설로 설정한 많은 기여 요인들이 학생 성과와 연관성을 보이지 않았지만, 이러한 영역에서의 차별적 인식은 학습 행동의 변화 또는 학생 복지와 같은 다른 영향을 미칠 수 있습니다.55,56 이러한 결과는 강력한 평가를 촉진할 뿐만 아니라 모든 학생의 학습을 가능하게 하는 학습 환경을 조성하기 위해 핵심 임상실습의 평가 문화를 재정의할 필요가 있다는 것을 뒷받침합니다.
Our findings demonstrate that many medical students do not view evaluation and grading during core clerkships as fair, and they endorse an environment that encourages performance rather than rewards improvement. Negative perceptions of evaluation and grading are associated with decreased academic achievement. UIM students may face additional adverse pressures in the clerkship environment. A fair assessment system requires policies and procedures that promote equality and equity.54 While many of the contributors hypothesized in our model (Figure 1) did not show associations with student performance, differential perceptions in these domains may have other effects such as changes in learning behaviors or student well-being.55,56 These results support a need to redefine the culture of assessment on core clerkships to create learning environments that not only facilitate robust assessment but also enable learning for all students.


 

Acad Med. 2019 Nov;94(11S Association of American Medical Colleges Learn Serve Lead: Proceedings of the 58th Annual Research in Medical Education Sessions):S48-S56. doi: 10.1097/ACM.0000000000002905.

In Pursuit of Honors: A Multi-Institutional Study of Students' Perceptions of Clerkship Evaluation and Grading

Affiliations collapse

1J.L. Bullock is a first-year resident in internal medicine, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California. The author was a fourth-year medical student at the time of writing. C.J. Lai is director of internal medicine clerkships and professor, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California. T. Lockspeiser is director of the assessment/competency committee and associate professor, Department of Pediatrics, University of Colorado School of Medicine, Aurora, Colorado. P.S. O'Sullivan is director of research and development in medical education and professor, Department of Medicine and Department of Surgery, University of California, San Francisco School of Medicine, San Francisco, California. P. Aronowitz is clerkship director of internal medicine and professor, Department of Internal Medicine, University of California, Davis School of Medicine, Davis, California. D. Dellmore is director of medical student education and associate professor, Department of Psychiatry and Behavioral Sciences, University of New Mexico School of Medicine, Albuquerque, New Mexico. C.-C. Fung is assistant dean for medical education and associate professor, Keck School of Medicine of USC, Los Angeles, California. C. Knight is associate clerkship director and associate professor, Division of General Internal Medicine, University of Washington School of Medicine, Seattle, Washington. K.E. Hauer is associate dean for competency assessment and professional standards and professor, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California.

PMID: 31365406

DOI: 10.1097/ACM.0000000000002905

Abstract

Purpose: To examine medical students' perceptions of the fairness and accuracy of core clerkship assessment, the clerkship learning environment, and contributors to students' achievement.

Method: Fourth-year medical students at 6 institutions completed a survey in 2018 assessing perceptions of the fairness and accuracy of clerkship evaluation and grading, the learning environment including clerkship goal structures (mastery- or performance-oriented), racial/ethnic stereotype threat, and student performance (honors earned). Factor analysis of 5-point Likert items (1 = strongly disagree, 5 = strongly agree) provided scale scores of perceptions. Using multivariable regression, investigators examined predictors of honors earned. Qualitative content analysis of responses to an open-ended question yielded students' recommendations to improve clerkship grading.

Results: Overall response rate was 71.1% (666/937). Students believed that being liked and particular supervisors most influenced final grades. Only 44.4% agreed that grading was fair. Students felt the clerkship learning environment promoted both mastery and performance avoidance behaviors (88.0% and 85.6%, respectively). Students from backgrounds underrepresented in medicine were more likely to experience stereotype threat vulnerability (55.7% vs 10.9%, P < .0005). Honors earned was positively associated with perceived accuracy of grading and interest in competitive specialties while negatively associated with stereotype threat. Students recommended strategies to improve clerkship grading: eliminating honors, training evaluators, and rewarding improvement on clerkships.

Conclusions: Participants had concerns around the fairness and accuracy of clerkship evaluation and grading and potential bias. Students expressed a need to redefine the culture of assessment on core clerkships to create more favorable learning environments for all students.

 

하나의 정답은 없다: 미세차별에 대한 이상적 수퍼바이저 반응에 대한 임상실습학생의 인식 질적연구(Acad Med, 2021)
No One Size Fits All: A Qualitative Study of Clerkship Medical Students’ Perceptions of Ideal Supervisor Responses to Microaggressions 
Justin L. Bullock, MD, MPH, Meghan T. O’Brien, MD, MBE, Prabhjot K. Minhas, Alicia Fernandez, MD, Katherine L. Lupton, MD, and Karen E. Hauer, MD, PhD 

 

다양성은 성공적인 기관의 필수적인 특성입니다. 1 의료 분야에서 다양성은 교육 경험을 향상시키고, 사회적 형평성을 증진하며, 환자 건강 결과를 개선합니다. 2-4 [다양성의 중요성을 잘 이해하고 있는 기관]은 [다양한 사회적 정체성 집단의 단순한 인구통계학적 대표성]을 넘어, [다양성을 기관 우수성의 기본으로 우선시하는 의미 있는 포용성]을 향해 기관 문화를 발전시킵니다. 1 그러나 의료기관은 다양한 개인을 포용하지 못하는 학습 환경으로 인해 이러한 이상에 미치지 못하고 있습니다. 특히 [유색인종 학생들]은 평가와 진학에서 [편견, 사회적 자본 감소, 인종 차별, 학습과 성과에 부정적인 영향을 미치는 미세한 공격] 등을 경험합니다. 5-8 의료계에서 빈번한 인종 및 성별 미세 공격의 해로운 결과에도 불구하고 임상 학습 환경을 개선하기 위해 미세 공격을 가장 잘 해결하는 방법에 대한 집단적 이해에는 여전히 격차가 있습니다. 9-11
Diversity is an essential characteristic of successful institutions. 1 In medicine, diversity enhances educational experiences in training, promotes social equity, and improves patient health outcomes. 2–4 Institutions with an advanced understanding of the importance of diversity move beyond mere demographic representation of multiple social identity groups to drive institutional culture toward meaningful inclusion where diversity is prioritized as fundamental to institutional excellence. 1 However, medical institutions fall short of these ideals, with learning environments that are not inclusive of diverse individuals. In particular, students of color experience biases in assessment and advancement, decreased social capital, racism, and microaggressions that negatively impact their learning and performance. 5–8 Despite harmful consequences of frequent racial and gender microaggressions in medicine, a gap remains in our collective understanding of how best to address microaggressions to improve the clinical learning environment. 9–11

[미세 공격]은 [의도적이든 의도적이지 않든] 대상의 [정체성]에 대한 [적대감이나 부정적 감정]을 전달하는 [언어적, 행동적 또는 환경적 모욕감]을 의미합니다. 12 환자, 제공자, 동료 및 학습 환경 자체는 모두 임상 학습 환경에 만연하여 학습자, 제공자 및 환자에게 해를 끼치는 미세 공격의 일반적인 원인입니다. 9,10,13-15 Sue와 동료들은 [미세 폭행, 미세 모욕, 미세 무효화]6,12의 [세 가지 대인 관계 미세 공격의 유형]을 특징지었습니다(표 1 참조).

  • 가장 심각한 형태인 [미세 폭행]대상에게 불쾌감을 주는 언어적 또는 비언어적 공격입니다(예: 인종으로 인해 소수인종 의료진의 진료를 거부하는 환자). 16
  • [미세 모욕]은 가해자가 의도하지 않았더라도 대상을 비하하는 미묘한 발언입니다(예: 여성 의사를 간호사로 부르는 것).
  • 마지막으로, [미시적 무효화]는 대상의 실제 경험을 부정하거나 무시하는 것입니다(예: 요즘 소수계 학생들은 미시적 공격에 너무 민감하다는 말).

Microaggressions are verbal, behavioral, or environmental indignities that communicate hostility or negativity—whether intentional or unintentional—toward a target’s identity(ies). 12 Patients, providers, peers, and the learning environment itself are all common sources of microaggressions, which pervade the clinical learning environment to the detriment of learners, providers, and patients. 9,10,13–15 Sue and colleagues characterized 3 types of interpersonal microaggressions: microassaults, microinsults, and microinvalidations 6,12 (see Table 1).

  • Microassaults, the most egregious form, are verbal or nonverbal attacks that offend the target (e.g., patient refusing care from minority providers due to race). 16 
  • Microinsults are subtle remarks which demean the target, even if unintended by the perpetrator (e.g., calling a female doctor a nurse).
  • Finally, microinvalidations negate or dismiss the target’s lived experience (e.g., saying that minority students these days are too sensitive to microaggressions).

미세 공격은 심리적, 생리적 고통을 유발할 수 있습니다. 미세 공격은 우울 증상, 불안, 알코올 사용과 관련이 있으며 일중 코티솔 분비를 변화시킬 수 있습니다. 17-19 의대생들은 미세 공격이 인종적/민족적 [고정관념 위협]을 유발하고 악화시키는데, 이는 [자신이 속한 집단에 대한 부정적인 고정관념을 충족하는 것에 대한 두려움으로 인해 수행 능력이 저하되는 과정]이라고 보고된다. 10,20,21 [고정관념 위협]은 부정적인 감정을 유발하고 학생들의 인지 부하를 증가시키며, 핵심 사무직 성적을 낮추는 것과 관련이 있습니다. 10,22
Microaggressions may cause both psychological and physiological distress. They are associated with depressive symptoms, anxiety, and alcohol use and may alter diurnal cortisol secretion. 17–19 Medical students report that microaggressions trigger and exacerbate racial/ethnic stereotype threat, a process in which fear of fulfilling negative stereotypes about one’s group results in lower performance. 10,20,21 Stereotype threat, in turn, triggers negative emotions and increases students’ cognitive load, and is associated with lower core clerkships grades. 10,22


우리는 '소스', '타겟', '방관자'라는 용어를 사용하여 각각 [미세 공격자, 미세 공격의 수신자, 미세 공격의 목격자]를 지칭합니다. 23 권력에 초점을 맞춘 [비판적 인종 이론(CRT)]은 미세 공격의 영향과 효과적인 방관자 대응을 탐구하는 데 중요한 이론적 렌즈를 제공합니다. 24,25 [비판적 인종 이론]

  • 미국 사회에서 인종 차별을 일반적인 것(norm)으로 강조하고,
  • 권력이 인종 차별적 상호작용을 매개하는 방식을 인식하며,
  • 사람들이 인종 차별(예: 성차별, 계급 차별)과 교차하고 복합적으로 작용하는 여러 소외된 정체성을 가질 수 있다는 점을 인정합니다. 24

We use the terms “source,” “target,” and “bystander” to refer to the microaggressor, recipient of the microaggression, and witness to a microaggression, respectively. 23 Critical race theory (CRT), with its focus on power, offers an important theoretical lens through which we explore the impact of microaggressions and effective bystander responses. 24,25 CRT

  • highlights racism as the norm in American society,
  • recognizes how power mediates racially charged interactions, and
  • acknowledges that people can have multiple marginalized identities that intersect and compound with racism (e.g., sexism, classism). 24 

때때로 미묘하고 상황에 따라 달라질 수 있는 [미시적 공격][개인에 따라 다양하게 해석]될 수 있습니다. 26 [방관자]는 동시에 [미세 공격의 목격자]이면서 [동시에 영향]을 받을 수 있습니다. 27 우리는 미세 공격으로 인해 피해를 입을 가능성이 가장 높은 대상의 관점과 해석을 우선시합니다. CRT는 학생들이 인종화된 교육 계층을 탐색하는 데 직면하는 [교차하는 어려움]을 인정합니다. [환자]가 [학생]에게 [미세 공격]을 가할 때, 학생은 [방관자인 감독자]에 비해 [교육적 지위가 낮고] 동시에 [미세 공격의 대상]이기 때문에 [교차하는 취약성]을 지니고 있으며, 학생은 또한 환자를 돌보는 사람으로서 팀원이 개입하지 않는 한 [계속 돌봐야 할 직업적 의무]를 느낄 수 있습니다.
Because of their sometimes subtle and context-dependent nature, microaggressions may be interpreted variably by different individuals. 26 Bystanders may simultaneously be witnesses to and impacted by a microaggression. 27 We prioritize the perspective and interpretation of the target as the person most likely harmed by the microaggression. CRT acknowledges the intersecting challenges students face navigating racialized educational hierarchies. When patients commit microaggressions against students, students hold intersecting vulnerabilities as they are simultaneously the microaggression target and low in educational status compared with bystander supervisors; students may also be caretaker for the patient and feel professionally obligated to continue caring unless a team member intervenes.

[의료 위계 구조의 최상위에 있는 교수진]은 [학생을 옹호할 수 있는 좋은 위치]에 있을 수 있지만, 학습자가 방관자 지원이 가장 필요할 때 [아무런 반응을 보이지 않음]으로써 미세 공격에 직면하는 경우가 많습니다. 9 많은 교수진은 편견과 차별에 대한 인식이 높아지면서 '살얼음판을 걷는 기분'이 들며, 잘못된 행동이나 말을 하다가 [학습자로부터 인종차별주의자나 성차별주의자로 낙인찍힐까 봐 불안감]이 커진다고 설명합니다. 28-30 안타깝게도 이러한 불편함과 두려움은 학습자의 요구를 충족시키지 못하고 포용적인 문화를 위한 노력을 방해하는 결과를 초래할 수 있습니다.
While faculty atop the medical hierarchy may be positioned well to advocate for students, they often meet microaggressions with inaction when learners most need bystander support. 9 Many faculty describe that their increasing awareness of bias and discrimination prompts feelings of “walking on eggshells,” with increased anxiety about doing or saying the wrong thing and being labeled as racist or sexist by learners. 28–30 Unfortunately, this discomfort and fear can result in failing to meet learners’ needs and thwart efforts toward inclusive culture.

[미세 공격에 대한 방관자의 개입]을 위한 다양한 기법이 제안되었는데, 여기에는 Sue의 미세 개입, Ackerman-Barger의 ARISE 프레임워크, Wheeler의 12가지 팁 등이 포함됩니다. 6,23,31-37 이러한 기법들은 일반적으로 [미세 공격을 인식하고, 대응할지 여부를 결정하고, 그 순간에 다양한 대응 기술을 사용하는 것]을 수반합니다. 23,32,37 이러한 접근법은 학습자를 대상으로 하는 미세 공격에 대응하기 위한 일반적인 지침을 제공하지만, 학습자를 위한 대응의 효과를 극대화하기 위해서는 대응의 영향에 대한 증거 기반 이해와 권장 사항이 필요합니다. 학습자에게 미치는 [미세 공격의 정서적, 인지적, 생리적 영향]과 [특정 미세 공격에 대한 대응 시기와 방법]을 결정할 때 고려해야 할 다각적인 요소는 [교육자가 최적의 방관자 개입에 대한 학습자의 관점을 이해하는 방법]에 대한 의문을 불러일으킵니다.
A variety of techniques for bystander interventions on microaggressions have been proposed, including Sue’s microinterventions, Ackerman-Barger’s ARISE framework, Wheeler’s 12-tips, and others. 6,23,31–37 These techniques generally entail recognizing a microaggression, deciding whether or not to respond, and employing various response techniques in the moment. 23,32,37 Though these approaches provide general guidance for responding to microaggressions targeting learners, there is a need for evidence-based understanding of the impact of responses and recommendations to maximize the effectiveness of responses for learners. The emotional, cognitive, and physiological impact of microaggressions on learners, as well as the multifactorial considerations underpinning a decision of when and how to respond to a given microaggression, prompt questions about how educators understand learners’ perspectives on optimal bystander interventions.

이 연구의 목적은 임상 실습에서 방관자 감독자가 미세 공격에 어떻게 대응해야 하는지에 대한 학생들의 관점을 탐구하는 것입니다. 연구 질문은 다음과 같습니다: 

  • (1) 학생을 대상으로 한 미세 공격에 대응하는 교수진의 주요 고려 사항에 대한 학생의 관점은 무엇인가?
  • (2) 미세 공격에 대한 이상적인 감독자 대응의 주요 특징은 무엇인가?
  • (3) 이상적인 대응은 미세 공격의 유형에 따라 어떻게 다른가?

The purpose of this study is to explore students’ perspectives on how bystander supervisors should respond to microaggressions on clinical clerkships. The research questions are:

  • (1) What are student perspectives on key considerations for a faculty member responding to a microaggression targeting a student?
  • (2) What are the key features of an ideal supervisor response to a microaggression? and
  • (3) How does the ideal response differ by type of microaggression?

방법
Method

디자인
Design

해석주의 패러다임에 기반한 이 질적 포커스 그룹 연구에서는 주제 분석의 프레임워크 방법을 사용하여 2020년 미국 내 임상실습생을 대상으로 [환자의 미세 공격에 대한 슈퍼바이저의 대응에 대한 의대생들의 인식]을 탐색했습니다. 38 올해는 인종적, 민족적 불평등으로 인한 국가적 사회 불안이 심각했던 해로, 이러한 맥락에서 데이터를 해석했습니다. 39,40
For this qualitative focus group study, based in an interpretivist paradigm, we employed the framework method of thematic analysis to explore medical students’ perceptions about supervisor responses to microaggressions from patients targeting clerkship students in the United States, 2020. 38 This year was notable for significant national social unrest because of racial and ethnic inequalities; our data are interpreted within this context. 39,40

연구팀에는 남아시아 의대생 1명, 흑인 레지던트 1명, 교수진 4명(백인 2명, 아메리카 원주민 및 백인 1명, 라티나 1명)이 참여했습니다. 모든 팀원은 샌프란시스코 캘리포니아 대학교(UCSF) 의과대학 출신으로 소수인종 학습자의 경험에 학문적 관심을 가지고 있었습니다. 모든 교수진은 의대생과 직접 협력합니다.
Our research team included 1 South Asian medical student, 1 Black resident, 4 faculty (2 White, 1 Native American and White, 1 Latina). All team members were from the University of California, San Francisco (UCSF) School of Medicine, with academic interests in the experience of minoritized learners. All faculty members work directly with medical students.

UCSF 기관윤리심의위원회는 이 연구를 면제 연구로 승인했습니다(IRB #20-29884).
The UCSF Institutional Review Board approved the study as exempt (IRB #20-29884).

환경 및 참가자
Setting and participants

연구 대상은 3개의 핵심 교육 시스템(4년제 대학 시스템, 공공 안전망 병원, 재향군인 의료 센터)과 여러 지역사회 기반 계열사를 보유한 주립 공공 기관인 UCSF였습니다. 2020년 3월에 재학 중인 모든 3학년 및 4학년(임상 실습 기간) 의대생이 참여할 수 있었습니다. 다양한 참여자를 확보하기 위해 의대생의 [다양성(의대생 중 소수자 33%, 여성 53%)을 고려하여 편의 표본 추출]을 사용했습니다. 2021학년과 2022학년 학급을 대상으로 매주 4회에 걸쳐 리스트서브 이메일을 통해 학생들을 모집했습니다. 이메일 초대는 관심 있는 학생들이 Qualtrics 웹 플랫폼으로 이동하여 인구 통계, 이메일 주소, 참석 가능 여부를 입력하도록 안내했습니다. 관심 있는 모든 학생을 포커스 그룹에 초대했습니다. 포커스 그룹 참가자에게는 20달러가 지급되었습니다.
The study site was UCSF, a state public institution with 3 core teaching systems (quaternary university system, public safety net hospital, and veterans’ affairs medical center) and multiple community-based affiliates. All third- and fourth-year (clerkship years) medical students during March 2020 were eligible to participate. We used convenience sampling, relying upon the diversity of the medical student body (33% underrepresented in medicine, 53% female) to ensure diverse participants. We recruited students through 4 weekly listserv emails to the classes of 2021 and 2022. The email invitation directed interested students to the Qualtrics web platform to enter their demographics, email address, and availability. We invited all interested students to a focus group. Focus group participants received $20.

데이터 수집
Data collection

반구조화된 포커스 그룹에서 참가자들은 [3가지 주요 대인관계 미세 공격 유형]을 대표하는 [4개의 미세 공격 시나리오]에 대해 논의했습니다(표 1 참조). 6,12 시나리오는 입원 환자 또는 응급실 환경에서 학생의 미세 공격 대상과 교직원의 방관자 상황을 묘사했습니다. 연구팀은 문헌 검토와 팀원들의 실제 경험을 바탕으로 시나리오를 설계했습니다. 미세 공격 유형 간의 일관성을 탐색하기 위해 [대상 학생의 신원을 조작하여 두 가지 유사한 미세 폭행 및 미세 모욕 시나리오]를 만들었습니다. 진행자(P.K.M.)는 모든 포커스 그룹을 시작하면서 [미세 공격의 정의]를 내리고, 학생들에게 미세 공격에 대응하는 방법에 대한 [교수진 교육을 만드는 것이 목적]임을 알렸습니다. 
During semistructured focus groups, participants discussed 4 microaggression scenarios representing the 3 major types of interpersonal microaggressions (see Table 1). 6,12 Scenarios depicted a student microaggression target and faculty bystander in an inpatient or emergency department setting. The research team designed scenarios based on literature review and team members’ lived experiences. To explore consistency across microaggression types, we created 2 similar microassault and microinsult scenarios by manipulating the targeted student identity. The moderator (P.K.M.) began all focus groups by defining microaggressions and informing students that the purpose was to create faculty trainings on how to respond to microaggressions.

진행자 및 공동 진행자(J.L.B.)는 참여 자격이 없는 UCSF 의대 레지던트 4명을 대상으로 [파일럿 포커스 그룹]을 진행하기 전에 퍼실리테이터 교육을 받았습니다. 그런 다음 저자들은 공식적인 데이터 수집을 시작하기 전에 명확성을 높이고 중복성을 줄이기 위해 포커스 그룹 가이드를 수정했습니다. 최종 가이드는 부록 디지털 부록 1입니다. [공동 진행자]는 포커스 그룹이 진행되는 동안 주요 아이디어와 참가자 간의 상호 작용을 기록한 메모를 작성했습니다. 마지막 3개의 포커스 그룹에서는 각 사례에 대한 토론의 균형을 맞추기 위해 시나리오 순서를 뒤집었습니다. 데이터 수집은 관심 있고 참여 가능한 모든 학생이 참여한 후에 종료되었습니다. 마지막 포커스 그룹까지 새로운 주요 아이디어나 대응 전략이 논의되지 않았으며, 이는 주제와 수집된 데이터가 충분함을 나타냅니다. 41 모든 그룹은 Zoom을 통해 진행 및 녹화되었고, 전문적으로 전사되었으며, 분석 전에 비식별화 과정을 거쳤습니다.

The moderator and co-facilitator (J.L.B.) underwent facilitator training before conducting a pilot focus group with 4 UCSF Medicine residents ineligible for participation. Authors then revised the focus group guide to improve clarity and reduce redundancy before formal data collection began. The final guide is Supplemental Digital Appendix 1, available at https://links.lww.com/ACADMED/B157. The co-facilitator took notes documenting key ideas and interparticipant interactions during focus groups. We inverted scenario order for the final 3 focus groups to balance discussion of each case. Data collection ended after all interested and available students participated. By the final focus group, no new major ideas or response strategies were discussed, indicating sufficiency of themes and data collected. 41 All groups were conducted and recorded over Zoom, professionally transcribed, and deidentified before analysis.

분석
Analysis

4명의 연구자(J.L.B., P.K.M., M.T.O., K.E.H.)가 독립적으로 3개의 트랜스크립트를 읽고 오픈 코딩을 수행했습니다. 그런 다음 연구팀은 회의를 통해 제안된 코드에 대해 논의하고 분석 프레임워크를 개발하여 하나의 코드북을 만들었습니다. 다음으로 5명의 연구자 중 2명(J.L.B., P.K.M., M.T.O., K.L.L., K.E.H.)이 각 트랜스크립트를 개별적으로 코딩하고 토론을 통해 불일치하는 부분을 조정했습니다. 인터뷰는 Dedoose 버전 8.0.35(캘리포니아주 로스앤젤레스)를 사용하여 코딩했습니다. 코딩된 발췌문을 미시적 공격 시나리오별로 분류한 후, 각 시나리오에 대한 코드별로 발췌문을 합성했습니다. Microsoft Excel 버전 16.44(워싱턴주 레드몬드)를 사용하여 각 합성을 코드별(열별)로 마이크로 공격 시나리오를 담은 최종 프레임워크 매트릭스에 도표로 작성했습니다. 모든 연구원이 데이터의 최종 해석 및 요약에 참여했습니다. 참가자의 인용문과 함께 참가자가 스스로 밝힌 인종/민족을 표시했습니다. 
Four researchers (J.L.B., P.K.M., M.T.O., K.E.H.) independently read and performed open coding of 3 transcripts. The research team then met to discuss their proposed codes, developed an analytic framework, and created a single codebook. Next, 2 of 5 researchers (J.L.B., P.K.M., M.T.O., K.L.L., K.E.H.) separately coded each transcript and reconciled discrepancies through discussion. Interviews were coded using Dedoose Version 8.0.35 (Los Angeles, California). After sorting coded excerpts by microaggression scenario, we synthesized excerpts by code for each scenario. We charted each synthesis into the final framework matrix which held microaggression scenario by code (column by row) using Microsoft Excel Version 16.44 (Redmond, Washington). All researchers participated in the final interpretation and summary of the data. We indicated participants’ self-identified race/ethnicity alongside their quotations.

반사성
Reflexivity

연구팀은 학생들의 응답에 대한 반성과 미세 공격에 대한 개인적인 경험이 참가자들의 응답과 어떻게 병치되는지에 대해 자주 논의했습니다. 이 프로젝트는 두 명의 팀원(J.L.B., M.T.O.)이 사무직 의대생에 대한 미세 공격 행위를 목격하고, 주치의(M.T.O.)가 미세 공격에 대응하고, 나중에 임상팀 전체가 이 경험을 디브리핑한 후 개념화되었습니다. 이 학생은 미세 공격 후 광범위한 반성은 도움이 되지 않는다는 피드백을 주었습니다.
The research team frequently discussed our reflections on students’ responses and how our personal experiences with microaggressions juxtaposed with participants’. This project was conceptualized after 2 team members (J.L.B., M.T.O.) witnessed a microaggression against a clerkship medical student; the attending (M.T.O.) responded to the microaggression, and the entire clinical team later debriefed the experience. The student gave feedback that extensive reflection after a microaggression was not helpful.

신뢰성
Credibility

분석이 끝난 후 모든 참가자에게 원고 결과 초안을 이메일로 보내 제시된 결과가 포커스 그룹 토론 및 임상 경험과 일치하는지에 대한 피드백을 요청했습니다. 10명의 참가자가 응답했으며, 모두 결과와 토론이 자신의 포커스 그룹을 정확하게 반영한다는 데 동의했습니다. [3명은 약간의 텍스트 수정을 제안했고, 한 참가자는 자신의 인용문과 인종/민족을 명확히 해 달라고 요청했습니다].
After the analysis, we emailed all participants a draft of the manuscript results and discussion for their feedback on whether the presented results felt consistent with their focus group discussions and clinical experiences. Ten participants responded: all agreed that the results and discussion accurately represented their focus groups. Three gave minor text edits, and one participant clarified her quotation and race/ethnicity.

결과
Results

설문조사 초대에 응답한 학생은 45명이었으며, 44명이 초대되었습니다(1명은 포커스 그룹 시간이 맞지 않아 참여하지 못함). [39명의 학생이 7개의 포커스 그룹에 참여했으며, 그룹당 5~7명의 학생이 참여했습니다]. 포커스 그룹은 평균 86분 동안 진행되었습니다(범위: 80-92분). 참가자들은 다양한 사회적 정체성을 가지고 있었습니다(표 2 참조). 15명(38%)의 참가자가 아시아계, 12명(31%)이 흑인, 5명(13%)이 라틴계, 17명(44%)이 백인, 1명(3%)이 아메리카 원주민, 1명(3%)이 중동계로 밝혀졌습니다. 13명(33%)의 참가자는 남성, 25명(64%)은 여성, 1명(3%)은 비이성애자, 15명(38%)은 성소수자로 밝혀졌습니다. 참가자들은 제공된 시나리오에 대해 토론하면서 임상 현장에서의 미세한 공격에 대한 자신의 경험에 대해서도 생각해 보았습니다. 아래 결과는 시나리오와 실제 경험을 바탕으로 한 학생들의 관점을 나타냅니다.
Forty-five students responded to our survey invitation; 44 were invited (1 was unavailable for any focus group times offered). Thirty-nine students participated in 7 focus groups, with 5 to 7 students per group. Focus groups lasted an average of 86 minutes (range: 80–92). Participants had a range of intersecting social identities (see Table 2). Fifteen (38%) participants identified as Asian, 12 (31%) Black, 5 (13%) Latinx, 17 (44%) White, 1 (3%) Native American, and 1 (3%) Middle Eastern. Thirteen (33%) participants identified as men, 25 (64%) women, and 1 (3%) nonbinary, and 15 (38%) as LGBTQ. As participants discussed the provided scenarios, they also reflected on their own experiences with microaggressions in the clinical workplace. Findings below represent students’ perspectives based on the scenarios and their lived experiences.

포커스 그룹 내에서 학생들은 미세 공격 사례의 대상이 된 정체성을 가진 사람들이 응답할 때까지 [논평을 미루는 것]으로 나타났습니다(성별에 기반한 미세 공격의 경우 남성은 여성에게, 인종에 기반한 시나리오의 경우 백인 학생은 유색인종 학생에게 미루었습니다). 참가자의 성적 지향에 따른 응답의 차이는 확인되지 않았지만, 이 주제를 다룬 시나리오는 없었습니다.
Within focus groups, students seemed to defer commenting until after those who self-identified with the identity targeted by the microaggression case responded (men deferred to women for gender-based microaggressions; White students deferred to students of color for race-based scenarios). We did not identify differences in responses based on participants’ sexual orientation, though none of the scenarios addressed this topic.

전반적으로 학생들은 [미세 공격이 발생하기 전에 감독자의 효과적인 대응이 시작되어야 한다]는 데 동의했습니다. 아래 결과는 두 가지 주제를 설명합니다:

  • 방관자 고려 사항에 대한 학생의 인식.
  • 감독자 조치

 

  • 첫 번째 주제에서는 학생들의 인식을 3개의 하위 주제로 분류했습니다. 학생들은 미세 공격에 대한 대응으로 수퍼바이저가 교수 수퍼바이저와의 [사전 토론("사전 브리핑")]을 통해 수집한 학생의 선호도, [환자의 상황], 진료실 내 다양한 [대인관계 역학 관계] 등을 고려해야 한다고 생각했습니다.
  • 두 번째 주제인 수퍼바이저의 행동에 대해 학생들은 미세 공격이 발생하는 동안 이상적인 수퍼바이저의 대응, 목격하는 것이 적절한 경우, 또는 방 밖으로 대응을 미루는 것이 적절한 경우, 마지막으로 미세 공격이 발생한 후 효과적인 대응에 대해 설명했습니다. 이러한 결과는 아래에 자세히 설명되어 있습니다. 인용문에는 참가자 번호, 본인 식별 인종/민족, 성별이 포함되어 있습니다.

Overall, students endorsed that effective supervisor responses began before microaggressions occurred. Results below describe 2 themes:

  • Student perceptions of bystander considerations and
  • supervisor action.

 

  • For the first theme, we capture students’ perceptions in 3 subthemes. In response to a microaggression, students felt that supervisors should consider the student’s preferences, which ideally were gathered through anticipatory discussions (“pre-brief”) with their faculty supervisors, the patient’s context, and the various interpersonal dynamics in the room.
  • For the second theme, supervisor action, students described ideal supervisor responses during the microaggression, when it was appropriate to bear witness, or defer response until outside the room, and, finally, effective responses after the microaggression. These results are detailed below. Quotations include participant number, self-identified race/ethnicity, and gender.

효과적인 대응을 위한 감독자의 고려 사항에 대한 학생의 관점
Student perspectives on supervisor considerations for an effective response

학생의 선호도: "사전 브리핑"을 통해 미세 공격에 대비하기.
Student preferences: Preparing for microaggressions through a “pre-brief.”

학생들은 각자의 정체성, 경험, 선호도를 가지고 왔기 때문에 [미세 공격에 대해 원하는 대응 방식이 달랐습니다](표 3 참조). 참가자들은 한 학생의 [선호도]를 다른 학생에게 적용하는 것에 대해 주의를 기울였습니다.
Because students brought their own identities, experiences, and preferences, their desired responses to microaggressions differed (see Table 3). Participants cautioned against extrapolating any one student’s preferences onto other students.

 

모든 학생에게 맞는 정답은 없습니다. 표준 운영 절차는 없습니다.... 어떤 개입이 상황에 가장 적합하거나 대상 학생의 피해를 최소화할 수 있는지 알 수 없다는 뜻이 아닙니다. 어떤 면에서는 겸손으로 표현할 수 있다고 생각합니다. (P37, 흑인/중동 여성)
There is no one size fits all. There is no standard operating procedure…. Doesn’t mean that we know what intervention would best suit the situation or minimize the harm to those that are targeted. I think in some ways it’s phrased as humility. (P37, Black/Middle Eastern woman)

포커스 그룹에서 반복적으로 제안된 이 문제에 대한 해결책 중 하나는 [사전 브리핑]이었습니다. 사전 브리핑은 함께 일하기 시작할 때 학습자와 감독자가 잠재적인 미세 공격에 대비할 수 있도록 토론하는 것을 의미합니다. 많은 학생이 효과적인 방관자 대응에 가장 중요한 요소는 [감독자가 사전 브리핑을 했는지 여부]라고 생각했습니다.
One solution to this concern proposed repeatedly across focus groups was to pre-brief. We use pre-brief to refer to discussion at the onset of working together which allowed the learner and supervisor to prepare for potential microaggressions. Many students believed that the most important contributor to an effective bystander response was whether the supervisor had pre-briefed.

감독자는 로테이션이 시작될 때 학생들과 미리 이러한 대화를 나누고, 자신이 인지한 미세 공격에 대처하는 방법에 대한 계획을 세워야 하며, 또한 자신이 인지하지 못한 미세 공격이 있는 경우 학생이 이를 전달할 수 있도록 [힘을 실어줄 수 있는 방법을 마련]해야 합니다. (P19, 흑인 남성)
Attendings should be having these conversations with their students in advance … at the beginning of a rotation and having a plan for how to address microaggressions that they recognize, but also … if there are microaggressions they don’t recognize, how the student can feel empowered to communicate that. (P19, Black man)

학생들은 [사전 브리핑]을 통해 감독자에게 [미세 공격에 대한 대응에 대한 선호도를 알리고], 실제로 자신을 지지하는 [방관자 대응을 장려]할 수 있다고 느꼈습니다. 수퍼바이저는 사전에 미세 공격에 대해 논의함으로써 학습자에게 학생의 [심리적 안전을 우선시한다는 신호]를 보냈습니다. 참가자들은 슈퍼바이저가 미세 공격의 표적이 될 가능성이 있어 보이는 학습자뿐만 아니라 [모든 학습자와 사전 브리핑을 해야 한다]고 강조했는데, 이는 학생들이 소외감을 느낄 수 있습니다. 사전 브리핑을 일대일로 해야 하는지, 임상 팀으로 해야 하는지, 이메일로 해야 하는지에 대한 합의가 이루어지지 않았습니다. 학생에게 선호도를 물어보는 것은 주치의에서 학생으로 권력을 이동시키고 학생이 자신의 필요를 가장 잘 알고 있다는 존중을 전달했습니다.
Students felt that pre-briefing allowed them to inform the supervisor of their preferences regarding responses to microaggressions and promoted bystander responses that were actually supportive for them. By discussing microaggressions in advance, supervisors signaled to learners that they prioritized students’ psychological safety. Participants emphasized that the supervisor should pre-brief with all learners, not simply those who appeared likely to be targeted with microaggressions, which might make students feel singled out. There was not consensus about whether the pre-brief should happen one-on-one, as a clinical team, or by email. Asking students for their preferences shifted power from the attending to the student and conveyed respect that the student knew what would best address their needs.

참가자들은 어텐딩이 팀의 의료 콘텐츠 전문가이기는 하지만, 미세 공격에 대응하는 데는 그에 상응하는 [전문성이 부족]할 수 있으며, [전문가에서 초보자로의 불편한 전환]이 [어텐딩의 비활동의 원인]이 될 수 있다고 지적했습니다. 또한 환자를 교육하는 데 필요한 [올바른 문화 용어에 익숙하지 않을 수]도 있습니다. 한 학생은 시크교의 관습적인 머리 장식인 다스타르를 언급하며 이렇게 말했습니다:
Participants noted that while attendings are content experts for medical care on the team, they may lack comparable expertise for responding to microaggressions, and that the uncomfortable shift from expert to novice might be a source of inaction for attendings. They may also be unfamiliar with the correct cultural terminology to educate patients. Referring to the dastaar, the customary Sikh headwear, one student said:

만약 그것이 내 문화가 아니라면 어텐딩으로서 '아, 이 학생에게 무슨 일이 일어나고 있는지 모든 사람에게 설명해야겠어'라고 말하는 것이 매우 이상하게 느껴질 수 있습니다. (P21, 백인 여성)
I would feel if that were not my own culture, I might as an attending have a hard time being like, “Oh, I’m going to explain what’s going on with this student for everyone,” because that would also feel very strange for me to do that. (P21, White woman)

이 경우, [사전 브리핑]은 주치의의 대응을 알리는 데 특히 중요하다고 느꼈습니다.
In this case, a pre-brief was felt to be especially important to inform attending response.

환자 컨텍스트.
Patient context.

학생들은 미세 공격에 대한 대응의 성격과 타이밍을 지시하기 위해 [임상적 맥락과 의학적 예민함]을 중요한 고려 사항으로 꼽았습니다. 예를 들어, 심하게 흥분한 환자를 설득하려고 시도하는 것은 미세 공격성을 완화할 가능성이 낮았습니다. 아프거나 혼란스러운 환자의 미세 공격은 관리자의 대응을 면제하는 것이 아니라 오히려 이상적인 대응의 타이밍과 특성을 바꾸어 놓았습니다.
Students identified clinical context and medical acuity as critical considerations to direct the nature and timing of a response to microaggressions. For instance, attempting to reason with an acutely agitated patient was unlikely to deescalate a microaggression. A microaggression from an ill or confused patient did not absolve the supervisor from responding, but rather, changed the timing and characteristics of the ideal response.

급성, 중환자인 경우.... 환자가 좀 더 안정될 때까지 이에 대한 언급을 보류하는 것이 개인적으로 더 괜찮을 것 같아요. (P12, 중국계 미국인 여성)
If they are acutely, critically ill…. I think it would be more okay with me personally to hold off on a comment about this for a time where they’re more stable. (P12, Chinese American woman)

학생들은 환자의 경과에 따라 [이상적인 대응 타이밍에 대해 신중하게 생각하기를 원했으며], 곧 퇴원할 예정이거나 향후 시술을 앞둔 환자에게 가혹한 대응을 하여 향후 치료를 받지 못하게 하고 싶지 않았습니다.
Students wanted to be thoughtful about the timing of an ideal response in the context of a patient’s course and did not want to deliver harsh responses to patients soon-to-be discharged or with upcoming procedures, so as not to dissuade them from seeking future care.

대인관계 역학.
Interpersonal dynamics.

[학생과 환자의 관계]는 감독자가 어떻게 대응해야 하는지 결정하는 데 있어 핵심적인 고려 사항이었습니다. 참가자들은 모든 환자가 학생(및 다른 팀원)의 정체성과 상호 작용하는 고유한 정체성, 경험, 선호도를 가지고 있다는 점을 인정했습니다. 학생들은 미세 공격의 유형에서 환자의 의도를 추론했습니다. 미세 폭행 시나리오는 주로 대상 학생에 대한 명백한 인종 차별 행위로 간주된 반면, 학생들은 미세 모욕과 미세 무효화에는 [맥락과 의도를 고려]했습니다. 예를 들어, 환자가 다른 팀원보다 한 팀원을 선호하는 경우, 일치하는 정체성을 가진 의료진이 환자에게 위안을 제공했다면 미세 공격으로 인식되지 않을 수 있습니다:
The student–patient relationship was a key consideration in deciding how supervisors should respond. Participants acknowledged that every patient comes with their own identities, experiences, and preferences that interact with students’ (and other team members’) identities. Students inferred patient intent from the type of microaggression. Microassault scenarios were largely viewed as an act of overt racism against the targeted student, whereas students considered context and intent for microinsults and microinvalidations. For instance, a patient’s preference for one team member over another may not be perceived as a microaggression if a provider of a concordant identity offered a source of comfort for a patient:

환자는 자신의 정체성과 일치하는 의료진에게 더 편안함을 느낄 것입니다..... 흑인 환자로서 팀에 흑인이 한 명 있다면 그 팀에 흑인 한 명이 있다고 생각할 수 있습니다.... 그 사람에게 질문을 하는 것이 더 편할 것 같습니다. (P31, 아프로라티나)
A patient’s going to be more comfortable with a practitioner that matches their identity…. I can think of, as a Black patient, if there’s a team and there’s a Black person there, one person in that team…. I’m going to feel more comfortable directing my questions to that person. (P31, Afrolatina)

일부 학생은 [환자 동맹을 우선시]하고, [대립이 학생과 환자 관계를 복잡하게 만들 수 있다]고 생각하여 [비대립적 대응을 선호]했습니다.
Some students preferred nonconfrontational responses because they prioritized their patient alliance and felt that confrontation could complicate the student–patient relationship.

감독자의 조치
Supervisor action

학생들은 [효과적인 감독자의 방관자적 대응]이 학생을 보호하고 검증할 수 있지만, 반드시 [환자의 신념을 바꾸는 것을 목표로 해서는 안 된다]고 주장했습니다. 효과적인 대응은 [미세 공격을 인정]하고, [안전한 학습 환경을 조성]하고, [동맹 관계를 제공]하고, [역할 모델링]을 보여주고, 필요한 경우 학생이 [유해한 상황에서 벗어날 수 있도록 하는 것]이었습니다(표 4 참조). 전부는 아니지만 많은 학생들이 즉각적인 대응을 원했습니다. 모든 학습자나 시나리오를 만족시키는 단일 반응은 없었기 때문에, 학생들은 "어텐딩이 매번 상황이 다르기 때문에 도구 상자에 다양한 각도가 있다는 것을 느끼는 것이 중요하다고 느꼈습니다."(P9, 백인 여성) 누군가를 이해하려면 때로는 여러 각도에서 여러 번 시도해야 할 때도 있습니다. 환자를 마주한 후, 학생들은 교직원과 일대일로 간단히 확인하여, [미세 공격성을 인정하고 학생이 추가적인 반성을 위한 시간을 원하는지], 또는 [전체 의료진에게 디브리핑을 원하는지] 물어본 후 둘 중 하나를 수행하는 것을 선호했습니다.
Students asserted that effective supervisor bystander responses would protect and validate the student but should not necessarily aim to change the patients’ beliefs. An effective response acknowledged the microaggression, promoted a safe learning environment, provided allyship, demonstrated role-modeling, and, when necessary, let students escape harmful situations (see Table 4). Many, but not all, students wanted a response in the moment. Because there was no single response that satisfied all learners or scenarios, students felt that it was important for “Attendings to feel that they have multiple angles in their toolbox, both because the context is different each time, but also it takes sort of multiple attempts at different angles sometimes to get through to someone” (P9, White woman). After the patient encounter, students preferred brief one-on-one check-ins with faculty to acknowledge the microaggression and ask whether the student wanted space for additional reflection, or to debrief with the entire medical team, before doing either.

미세 공격 중.
During the microaggression.

환자와 마주한 상태에서 효과적인 대응은 [짧고 직접적이며 환자를 공격하지 않는 것]이었습니다. 학생들이 제안한 순간적 대응의 예로는 학생의 임상적 가치 강조, 유머 사용, 환자 교육, 임상 치료에 집중하도록 방향 전환, 역할 명확화, 경계 설정 등이 있었습니다. 학생들은 환자에게 특정 방식으로 느끼는 이유를 설명해 달라고 요청하는 것이 효과적인지에 대해 토론했는데, 이 전략은 환자가 인종차별적 신념에 대해 설명하도록 유도할 위험이 있기 때문입니다.

  • 미세 폭행의 경우, 학생들은 즉각적인 대응을 원하거나 환자가 임상적으로 안정된 경우 만남을 일시 중지하고 방을 나가기를 원했습니다. 명백한 미세 공격에도 불구하고 임상적으로 안정되어 방을 나갈 수 없는 경우, 학생들은 감독자가 짧고 직접적인 대응을 하고 학생이 나갈 수 있도록 허용할 것을 권장했습니다.
  • 덜 심각하다고 인식되는 다른 미세 공격 유형의 경우, 일부 학생들은 아래에 설명된 대로 슈퍼바이저가 목격하는 것을 선호했으며, 팀이 그 자리를 떠날 때까지 적극적인 대응을 미뤘습니다. 다른 학생들은 당장의 대응 부족에 대해 경고했습니다.

Effective responses while still in the patient encounter were short, direct, and did not attack the patient. Examples of students’ proposed in-the-moment responses included: emphasizing the clinical value of the student, using humor, educating the patient, redirecting to focus on clinical care, clarifying roles, and setting boundaries. Students debated whether asking a patient to explain why they felt a certain way was effective, as this strategy risked prompting the patient to expound on racist beliefs.

  • For microassaults, students wanted an immediate response or to pause the encounter to leave the room if the patient was clinically stable. If unable to leave the room due to clinical acuity despite a flagrant microaggression, students recommended that supervisors say a short, direct response and allow the student to step out.
  • For other microaggression types perceived as less severe, some students preferred the supervisor to bear witness as described below, delaying active response until after the team left the encounter. Others cautioned against lack of response in the moment.

목격하기.
Bear witness.

우리는 "목격을 참아내다"라는 표현을 사용하여 [미세 공격을 파악하고 의도적으로 개입을 연기하는 것]을 의미합니다. 제공자는 의도적으로 교육생과 아는 표정을 주고받거나, 나중에 미세 공격에 대해 논의함으로써 방에서 목격할 수 있습니다. 그러나 학생이 명시적으로 이러한 선호를 밝히지 않는 한, 교육생은 미세 공격에 반응하지 않도록 주의해야 합니다.
We use the phrase “bear witness” to refer to identifying the microaggression and intentionally deferring intervention. A provider may bear witness in the room by intentionally exchanging a knowing look with the trainee or discussing the microaggression later. However, unless a student had explicitly stated this preference, students cautioned against not responding to microaggressions.

저에게 [반응하지 않는 것은] 일종의 문제처럼 들립니다. 우리는 피부가 거칠어도 괜찮고 사람들이 문제를 무시해도 괜찮습니다... 그냥 무시하고 넘어가자고 말하는 것과 같은 맥락으로 들립니다. 문제는 미세한 공격이 너무 자주 일어나서 결국에는 두꺼운 피부를 깨뜨리기 때문에 우리가 미세 공격에 대해 이야기하고 있다는 것입니다. (P26, 멕시코계 미국인 여성)
[Not responding] to me is kind of sounding like a problem. We’re okay with having tough skin and we’re okay with people ignoring the problem … sounds kind of like that’s the same, like let’s just ignore it and move on. The whole issue is that we’re talking about microaggressions because they happen so often that eventually they break your thick skin. (P26, Mexican American woman)

목격 후 학생들은 [만남 후 확인]이 매우 중요하다고 생각했습니다.
After bearing witness, students considered a postencounter check-in critically important.

미세 공격 후.
After the microaggression.

학생들은 환자와의 만남을 떠난 후 미세 공격성에 대한 감독자의 논의가 [학생과 개별적으로 이루어져야 하는지] 아니면 [팀으로 이루어져야 하는지]에 대해 숙고했습니다. 대부분의 학생은 추가적인 그룹 토론이 학생에게 치유가 될지 여부를 논의하기 위해 [짧은 개인 상담]을 선호했습니다. 일부는 [팀과 함께 감정을 확인하는 것]이 중요하다고 생각했지만, 많은 학생들은 그룹 토론이 [트라우마나 공연적인 느낌을 줄 수 있는 소모적인 대화]로 이어져, 다른 사람들이 자신의 감정을 표현하고 동조자로 보일 수 있지만, 실제로 학생에게 도움이 되지 않을 수 있다고 우려했습니다. 학생들은 주치의가 그 순간 처리하고 싶지 않은 스트레스가 많은 [사건을 강제로 재현하도록 강요하지 않는 것이 필수적]이라고 느꼈습니다. 환자로부터 미세 폭행을 당하거나 잦은 미세 공격을 받은 학생은 수퍼바이저가 해당 학생을 다른 환자에게 재배치할 수 있는 옵션을 제안해 주기를 원했습니다. 수퍼바이저는 [재배치가 실력을 반영하는 것이 아니며 학생 평가에 해가 되지 않는다는 점을 명확히 하는 것이 중요했습니다]. 마지막으로, 일부 학생은 환자가 더 이상 혼란스러워하거나 화를 내지 않았을 때 다시 돌아와서 감독자 및 환자와 미세 공격에 대해 논의한 긍정적인 경험을 이야기했습니다.
Students deliberated whether the supervisor’s discussion of the microaggression after leaving the patient encounter should happen individually with the student or as a team. Most students preferred a brief private check-in to discuss whether further group discussion would be healing for the student. While some felt that validating emotions with the team was important, many worried that group discussion might invite an exhausting dialogue that could feel retraumatizing or performative, allowing others to express their emotions and appear as allies but not actually helping the student. Students felt it was imperative that attendings avoid forcing them to relive a stressful event that they did not want to process at that moment. Students subjected to a microassault or frequent microaggressions from a patient wanted their supervisor to propose the option of reassigning the student to a different patient. It was important for supervisors to clarify that reassignment was not a reflection of skill and would not harm student evaluations. Finally, some students recounted positive experiences returning to discuss the microaggression with the supervisor and patient when the patient was no longer confused or angry.

토론
Discussion

이 연구는 의대생이 선호하는 의대생 대상 미세 공격에 대한 [지도 교수의 대응 방식과 경험]에 대해 설명합니다. 학생들은 [단순한 일률적인 대응을 거부]했습니다. 오히려 학생의 선호도, 미세 공격의 맥락 등 교수진이 대응할 때 고려해야 할 다양한 고려 사항을 확인했습니다. 이들이 선호하는 방관자 대응은 [의사 결정권을 대상 학생에게로 전환하는 전략]을 나타냅니다.
This study describes medical students’ preferences for and experiences with faculty supervisor responses to microaggressions targeting clerkship students. Students rejected a simple one-size-fits-all response. Rather, they identified a variety of considerations which they felt faculty members should weigh in responding, including student preferences and microaggression context. Their favored bystander responses represented strategies to shift decision-making power toward targeted students.

[방관자 미세 공격 개입 가이드(B-MIG, 그림 1)]는 연구 참여자의 관점에서 선호하는 방관자 대응을 시각적으로 표현한 것입니다. 참가자들은 수퍼바이저가 모든 의대생에게 [함께 일하기 시작할 때] 미세 공격에 대한 대응 방식을 선호하는지 묻고, 각 미세 공격이 [발생한 후 간단히 다시 한 번 확인]할 것을 권장했습니다. 학생들은 모든 교수 지도교수가 모든 미세 공격에 대해 [어느 시점에는 짧게라도 대응해야 한다]는 데 동의합니다. B-MIG는 미세 공격에 대응하기 위한 개인 또는 교수진 개발의 발판이 되는 대응 가이드로 사용할 수 있지만, 학생과 상황에 맞게 대응을 계속 조정해야 하므로 처방전이 될 수는 없습니다. 감독자는 미세 공격 발생 시 서로를 지원하는 방법에 대한 팀 토론에 참여하기 위한 지침으로 B-MIG를 사용하는 것을 고려할 수 있습니다.
The Bystander Microaggression Intervention Guide (B-MIG, Figure 1) is a visual representation of the preferred bystander response from the perspective of our study participants. Participants recommended that supervisors ask all medical students for their preferences for responding to microaggressions at the onset of working together and to check-in again briefly with them after each microaggression. Students agree that all faculty supervisors should respond, even if briefly, to all microaggressions at some point. The B-MIG can be used as a response guide to scaffold personal or faculty development for responding to microaggressions; it cannot be a prescription because of the ongoing need to adapt responses to student and context. Supervisors can consider using the B-MIG as a guide to engage in team discussions around how to support one another in the event of a microaggression.

[학생의 희망에 초점을 맞춘 방관자 대응]은 교육 안전 환경을 조성할 수 있습니다. Tsuei 등은 [교육적 안전]"학습자가 자신의 투사된 이미지를 스스로 모니터링할 필요 없이, 학습 과제에 진정으로 전적으로 집중할 수 있도록, 타인의 판단으로부터 자유로움을 느끼는 주관적인 상태"로 정의했습니다. 42 미세 공격에 대한 학생 중심의 효과적인 개입을 실행하면 고정관념 위협과 이와 관련된 인지적 및 정서적 부하를 줄일 수 있습니다. 10,21,22 감독자의 사전 브리핑을 통해 신뢰감과 편안함을 느꼈다는 여러 참가자의 의견을 반영하여, [사전 브리핑]은 모두에게 더 유리한 학습 환경을 조성하는 데 중요한 도구로 간주합니다. 학생마다 선호하는 방식이 다르기 때문에, 모든 미세 공격에 대응하는 단일 전략이 모든 학생을 최적으로 지원하지는 못할 가능성이 높습니다. 다른 방관자 대응 문헌을 바탕으로 사전 브리핑에 대한 권장 사항은 휠러 등의 연구, 특히 "개방성과 존중의 문화를 미리 확립하라"는 권장 사항을 가장 잘 설명합니다. 11,32 임상팀에서 사전 브리핑을 시행한 제한된 경험에 따르면 일부 학생은 [미세 공격 대응에 대한 선호도를 확신하지 못했습니다]. 이 토론을 다시 살펴보면 학생들은 미세 공격에 대한 경험을 되돌아보고 향후 미세 공격에 대한 선호도를 수정할 수 있습니다. 사전 브리핑의 언어, 타이밍, 구조를 최적화하려면 더 많은 작업이 필요합니다.

Bystander responses centered on students’ wishes can foster an environment of educational safety. Tsuei et al defined educational safety as “the subjective state of feeling freed from a sense of judgment by others such that learners can authentically and wholeheartedly concentrate on engaging with a learning task without a perceived need to self-monitor their projected image.” 42 Implementing effective student-centered interventions to microaggressions may reduce stereotype threat and its associated cognitive and affective load. 10,21,22 Reflecting on multiple participants who described a sense of trust and comfort from supervisor pre-briefs, we view the pre-brief as a critical tool to foster a more favorable learning environment for all. Because student preferences differ, a single strategy for responding to all microaggressions is unlikely to optimally support all students. Building on other bystander response literature, the recommendation to pre-brief best elaborates upon the work of Wheeler et al, specifically the recommendation to “establish a culture of openness and respect upfront.” 11,32 In our limited experience implementing the pre-brief on our clinical teams, some students are unsure of their preferences regarding microaggression responses. Revisiting this discussion allows students to reflect on experiences with microaggressions and revise their preferences for future microaggressions. More work is needed to optimize the language, timing, and structure of the pre-brief.

이상적인 슈퍼바이저의 반응에 대한 참가자들의 인식은 [권력의 중심]을 [슈퍼바이저에서 학습자 쪽으로 이동]시킵니다. 프렌치와 레이븐의 6가지 권력 기반(합법적, 전문적, 정보 제공적, 보상적, 강압적, 경건적)은 사회적 권력 이동을 조사하는 데 유용한 프레임워크로 구성됩니다. 43-45

  • 지도 어텐딩은 의대생에 대한 권한을 가진 [합법적인 권력]을 가지고 있습니다.
  • [전문적 권력]은 주치의가 알고 있는 것으로 추정되는 내용을 기반으로 하며, [정보적 권력]은 다른 사람과 공유하는 정보에서 비롯됩니다. 46
  • 미세 공격이 발생한 후 사전 브리핑을 한 후 학생의 의사를 집행하는 수퍼바이저는 학생을 미세 공격 경험에 대한 전문가로 취급하고 [합법적 권력과 전문적 권력]을 학생에게 효과적으로 이전한 것입니다. 학생이 선호하는 미세 공격 대응 방법을 감독자에게 알릴 때, 학생은 감독자가 조력자가 될 수 있도록 정보 권한을 이전합니다. 37,46
  • 학생의 환자 돌봄 중단 결정이 평가에 영향을 미치지 않는다는 것을 확인함으로써, 감독자는 [보상 권력과 강압적 권력]을 무력화할 수 있습니다.
  • 학생을 대상으로 한 [미세 공격에 대응하지 않는 감독자]는 학생들이 롤모델로서 감독자에 대한 믿음을 잃게 되어 [참조적 권력]을 잃을 수 있습니다. 교수진이 학생의 선호도를 물어봄으로써 학생에게 힘을 실어주자는 제안은 자기 평가와 자기 비판에 대한 평생의 노력으로 정의되는 "문화적 겸손"을 예시하며, 수련의-수퍼바이저 역학 관계의 권력 불균형을 바로잡고 상호 유익하고 가부장적이지 않은 임상 및 옹호 파트너십을 발전시키는 것입니다. 47

Our participants’ perceptions of ideal supervisor responses shift the bases of power from supervisors toward learners. French and Raven’s 6 bases of power (legitimate, expert, informational, reward, coercive, and reverent) constitute a useful framework to examine social power shifts. 43–45 

  • A supervising attending holds legitimate power with authority over the medical student.
  • Expert power is based upon what an attending is presumed to know,
  • while informational power comes from the information that one shares with others. 46 A supervisor who pre-briefs and then enacts a student’s wishes after a microaggression has treated the student as expert in their own experience of microaggressions and effectively transferred legitimate and expert power to the student. When students inform supervisors of their preferred microaggression response, they transfer informational power to facilitate supervisors’ ability to be allies. 37,46 
  • By confirming that a student’s decision to discontinue caring for a patient will not impact their assessment, supervisors can neutralize reward and coercive power.
  • Supervisors who do not respond to microaggressions targeting students may lose referent power as students lose faith in them as role models. The suggestion that faculty empower students by asking for their preferences exemplifies “cultural humility,” defined as lifelong commitment to self-evaluation and self-critique, redressing the power imbalances in the trainee–supervisor dynamic, and developing mutually beneficial and nonpaternalistic clinical and advocacy partnerships. 47

이 연구에는 한계가 있습니다. 이 단일 기관 연구 참여자의 결과가 모든 의대생의 생각이나 경험을 대변하는 것은 아닙니다. 가능한 모든 미세 공격에 대해 다루지 않았습니다. 다양한 사회적 정체성이 교차하는 학생들을 포함했지만, 소수로 결론을 도출하고 학생 기밀을 침해할 위험이 있으므로 학생 인구통계를 기반으로 한 별도의 분석은 수행하지 않았습니다. 마지막으로, 학생의 관점에서 바라본 이 연구는 감독자가 실제로 미세 공격에 대응하는 것에 대해 어떻게 생각하는지 알려주지 않습니다.
This study has limitations. Findings from participants in this single-institution study do not represent the thoughts or experience of all medical students. We did not address all possible microaggressions. We included students with a range of intersecting social identities but did not do separate analyses based on student demographics due to the risk of drawing conclusions with small numbers and violating student confidentiality. Finally, this study from the student perspective does not tell us how supervisors actually think about responding to microaggressions.

앞으로 저희 팀은 미세 공격에 대응하는 감독자의 관점을 조사하고 있습니다. 또한 교수진 개발에서 B-MIG의 역할을 연구하고 가이드를 더욱 개선하는 것도 중요할 것입니다.
Looking forward, our team is investigating supervisors’ perspectives on responding to microaggressions. It will also be important to study the role of the B-MIG in faculty development and further refine the guide.

결론
Conclusions

이상적인 방관자 대응은 학생의 선호도와 미세 공격의 맥락을 통합합니다. 학생의 선호도는 미세 공격에 대한 사전 간략한 토론을 통해 가장 잘 드러납니다. B-MIG는 학생들이 선호하는 미세 공격 대응을 시각적으로 표현한 것입니다. 효과적인 개입은 교육적 안전을 증진하고 학생 대상에게 유리한 방향으로 힘의 역학을 변화시킵니다.
An ideal bystander response incorporates students’ preferences and microaggression context. Student preferences are best revealed through a pre-brief discussion of microaggressions. The B-MIG is a visual representation of students’ preferred microaggression response. Effective interventions promote educational safety and shift power dynamics in favor of the student target.

 


Acad Med. 2021 Nov 1;96(11S):S71-S80. doi: 10.1097/ACM.0000000000004288.

No One Size Fits All: A Qualitative Study of Clerkship Medical Students' Perceptions of Ideal Supervisor Responses to Microaggressions

Affiliations collapse

1J.L. Bullock is a second-year resident, internal medicine, University of California, San Francisco School of Medicine, San Francisco, California.

2M.T. O'Brien is assistant professor, Department of Medicine, University of California, San Francisco, San Francisco, California.

3P.K. Minhas is a second-year medical student, University of California, San Francisco School of Medicine, San Francisco, California.

4A. Fernandez is associate dean for population health and health equity and professor, Department of Medicine, University of California, San Francisco, San Francisco, California.

5K.L. Lupton is associate professor, Department of Medicine, University of California, San Francisco, San Francisco, California.

6K.E. Hauer is associate dean for competency assessment and professional standards and professor, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California.

PMID: 34348373

DOI: 10.1097/ACM.0000000000004288

Abstract

Purpose: This study explores medical students' perspectives on the key features of ideal supervisor responses to microaggressions targeting clerkship medical students.

Method: This single-institution, qualitative focus group study, based in an interpretivist paradigm, explored clerkship medical students' perceptions in the United States, 2020. During semistructured focus groups, participants discussed 4 microaggression scenarios. The authors employed the framework method of thematic analysis to identify considerations and characteristics of ideal supervisor responses and explored differences in ideal response across microaggression types.

Results: Thirty-nine students participated in 7 focus groups, lasting 80 to 92 minutes per group. Overall, students felt that supervisors' responsibility began before a microaggression occurred, through anticipatory discussions ("pre-brief") with all students to identify preferences. Students felt that effective bystander responses should acknowledge student preferences, patient context, interpersonal dynamics in the room, and the microaggression itself. Microassaults necessitated an immediate response. After a microaggression, students preferred a brief one-on-one check-in with the supervisor to discuss the most supportive next steps including whether further group discussion would be helpful.

Conclusions: Students described that an ideal supervisor bystander response incorporates both student preferences and the microaggression context, which are best revealed through advanced discussion. The authors created the Bystander Microaggression Intervention Guide as a visual representation of the preferred bystander microaggression response based on students' discussions. Effective interventions promote educational safety and shift power dynamics to empower the student target.

채점에서 학습을 위한 평가로: 핵심임상실습의 성적 제거 및 형성적 피드백 강화를 둘러싼 학생들의 인식(Teach Learn Med. 2021)
From Grading to Assessment for Learning: A Qualitative Study of Student Perceptions Surrounding Elimination of Core Clerkship Grades and Enhanced Formative Feedback
Lee Seligmana, Abdikarin Abdullahib, Arianne Teheranib,c, and Karen E. Hauerb,c

 

 

소개
Introduction

레지던트 지원 및 학업 성적1에 중요한 영향을 미치는 [의과대학의 임상실습 성적]은 학생들에게 상당한 우려를 불러일으킵니다. 핵심 임상 실습은 전통적으로 [총괄 평가]로 마무리되며,2 대다수의 미국 의과대학은 합격 성적을 세분화(예: "우등/합격/불합격")하는 [계층형 채점 시스템]을 채택하고 있습니다.3 학습자들은 종종 정확하고 객관적으로 보이지만 학생 성과를 완전히 또는 정확하게 나타내지 못할 수 있는 이러한 [성적의 공정성에 대해 의문]을 제기합니다.4 -7 학생들은 [감독자의 불충분한 직접 관찰]에 근거하여 성적이 매겨졌다고 느낄 수 있으며,4,8 환자를 자비롭게 돌보는 능력과 같은 다른 역량보다 [의학 지식에 과도한 가중치]를 부여합니다.9,10 또한 성적은 [의학 분야에서 소외되거나 의학에 대한 사전 노출이 적은 배경을 가진 학생에게 불이익]을 주는 불공평성에 기여합니다.6,11 
Clerkship grades during medical school – due to their importance for residency applications and academic awards1 – raise significant concerns for students. Core clinical clerkships traditionally culminate in summative assessment,2 with the large majority of US medical schools employing a tiered grading system, in which passing grades are subdivided (e.g. “honors/pass/fail”).3 Learners often question the fairness of these grades, which, despite their seeming precision and objectivity, may not fully or accurately represent student performance.4–7 Students may feel that they are graded based on inadequate direct supervisor observation,4,8 with excessive weight placed on medical knowledge above other competencies, such as the ability to provide compassionate patient care.9,10 Grading also contributes to inequity, disadvantaging students from backgrounds underrepresented in medicine or with less prior exposure to medicine.6,11

평가는 학생들이 학습하는 방법과 내용을 형성하는 데 중요한 역할을 합니다.12-17 [동기 부여 이론]은 평가가 학습에 미치는 영향을 설명합니다.

  • [목표 지향 이론]에 따르면 학생들은 서로 다른 성취 목표 또는 목적을 가지고 학습에 접근합니다.18,19
    • [성취 목표 지향]은 유능해 보이거나, 무능해 보이지 않으려 하거나, 실수를 피하려는 욕구가 특징입니다.
    • 반대로 [숙달 목표 지향]은 기술이나 지식을 습득하는 데 중점을 둡니다.
    • [숙달 목표 지향]은 더 깊은 개념 이해, 개선된 끈기, 더 큰 학습 즐거움으로 더 높은 수준의 학습을 촉진합니다.20,21 요약 평가는 성과 지향성을 장려하므로,12 요약 평가에서 형성 평가로 전환하는 것이 학습에 도움이 될 수 있습니다.
  • [자기 결정 이론]은 숙달 지향의 이점을 이해하기 위한 관련 프레임으로, 외재적 동기보다는 내재적 동기가 학습의 질을 최적화하고 웰빙을 향상시킨다고 가정합니다.22-24 내재적 동기는 자율성, 역량 및 관련성(후자는 사회적 연결성을 의미함)에 의해 촉진됩니다. 계층적 채점은 내재적 동기를 감소시킬 수 있는 외재적 동기 부여입니다.25,26

Assessment plays a major role in shaping how and what students learn.12–17 Theories of motivation elucidate the effects of assessment on learning.

  • According to goal orientation theory, students approach learning with different achievement goals or purposes.18,19 
    • A performance goal orientation is characterized by the desire to appear competent, avoid appearing incompetent, or avoid mistakes.
    • Conversely, mastery goal orientation places focus on gaining skills or knowledge.
    • A mastery orientation facilitates higher quality learning with deeper conceptual understanding, improved persistence, and greater enjoyment of learning.20,21 Summative assessment encourages performance orientation,12 and thus, a move from summative toward formative assessment may benefit learning.
  • Self-determination theory is a related frame for understanding the benefits of a mastery orientation, positing that intrinsic rather than extrinsic sources of motivation optimize learning quality and enhance wellbeing.22–24 Intrinsic motivation is promoted by feelings of autonomy, competence, and relatedness (the latter signifying social connectedness). Tiered grading is an extrinsic motivator that may diminish intrinsic motivation.25,26

의학 커리큘럼 등급 변경에 대한 연구는 합격/불합격이 상당한 이점을 부여하는 [임상실습 전 평가]에 중점을 두었습니다. [단계별 등급을 없애면], 임상 전 시험 성적의 저하 가능성을 제외하고는 1단계 면허 시험 점수를 비롯한 측정된 [교육 성과에 큰 영향을 미치지 않으면서 스트레스를 줄이고 웰빙과 그룹 결속력을 향상시킬 수 있습니다]. 대부분의 미국 의과대학은 [전임상 커리큘럼을 합격/불합격 채점 방식으로 전환]했습니다. 이러한 성공 사례는 핵심 교과목에서 단계별 등급을 제거하면 중요한 변화의 시기에 학생들의 학습 경험을 유사하게 개선할 수 있음을 시사합니다. 그러나 [실습 기간 동안 피드백에 중점을 둔 합격/불합격 채점으로의 변경]이 실제로 학생에게 어떤 영향을 미치고 학습 경험을 재조정할 수 있는지는 알려지지 않았습니다.
Studies of medical curricular grading changes have focused on pre-clerkship evaluation, where pass/fail has conferred significant benefits. Elimination of tiered grading decreases stress and improves wellbeing and group cohesion27–30 without significant detriment to measured educational outcomes, including Step 1 licensing examination scores,31,32 except for a possible decrease in preclinical exam performance.33 Most United States medical schools have transitioned their pre-clinical curricula to pass/fail grading.34 These successes suggest that removal of tiered grading from core clerkships could similarly improve student learning experiences during a critical and transformative period. However, how a change to pass/fail grading with increased focus on feedback during clerkships may affect students and reorient their learning experiences in practice is unknown.

임상 실습에서 [저부담 피드백]에 중점을 둔 [합격/불합격 채점]을 구현하려면 [총괄 평가 및 판단]에 중점을 두는 것에서 [형성 평가 및 피드백]에 중점을 두는 것으로 변화해야 합니다.35-37 이를 [학습에 대한 평가]에서 [학습을 위한 평가]로의 전환이라고 할 수 있습니다.38 [학습을 위한 평가]를 우선시하는 환경에서는 피드백을 강조합니다. 피드백은 학습을 안내하고, 학생 참여를 촉진하며, 학생이 학습 목표를 달성하기 위한 수단으로 피드백을 사용하게 동기를 부여한다. 예를 들어 평가에 대한 감독자의 태도는 학생의 학습 환경에 직접적인 영향을 미치거나 피드백을 통해 간접적으로 학생의 학습 경험에 영향을 미칠 수 있으므로 이러한 문화적 변화에는 모든 이해관계자의 동의가 필요합니다.39,40 이 질적 연구에서는 형성적 피드백에 중점을 두고 핵심 임상실습 단계별 채점을 없애는 것이 동기 부여, 임상실습 학습 경험 및 웰빙에 미치는 영향에 대한 학생의 관점을 탐색하고자 합니다.
Implementing pass/fail grading with greater emphasis on low-stakes feedback in clinical clerkships requires a change from emphasis on summative assessment and judgment to one on formative assessment and feedback.35–37 This may be called a move from assessment of learning to assessment for learning.38 An environment that prioritizes assessment for learning emphasizes feedback to guide learning, fostering student engagement, and motivating students to use feedback as a means to achieve learning goals. This cultural shift requires buy-in from all stakeholders, as supervisor attitudes toward assessment, for example, may directly affect the student’s learning environment or indirectly affect student learning experiences through feedback.39,40 In this qualitative study, we pursue an initial exploration of student perspectives on how elimination of tiered grading in core clerkships with increased focus on formative feedback affects motivation, clerkship learning experiences, and wellbeing.

 

연구 방법
Method

연구 설계
Study design

이 연구는 의대생 인터뷰 분석을 위해 동기 부여 이론과 관련된 개념42을 민감화하여 귀납적 주제 분석 접근법41을 사용한 질적 연구였습니다. 이 연구는 성적 변경 후 학생들의 [임상실습 경험]을 학생들 자신의 말로 탐구하는 [초기 연구]이므로 [질적 설계]를 선택했습니다. 저희는 개인의 주관적인 경험을 탐구하고자 [해석주의 패러다임]을 채택했습니다. 2019년 여름, 캘리포니아대학교 샌프란시스코 캠퍼스(UCSF)에서 핵심 클럭십을 수행하는 동안 의대생들을 인터뷰하여 Honor 채점을 없애고, 주 2회 관찰과 지도교수 피드백을 시작한 직후 1년간의 학습 경험에 대해 이야기했습니다. 평가 변경 및 개인 성과에 대한 강한 감정을 예상했기 때문에 학생들이 솔직하고 유연하게 말할 수 있도록 개별 반구조화 인터뷰를 사용했습니다. UCSF 기관윤리심의위원회는 이 연구를 면제로 간주했습니다(연구 번호 19-27805).
This was a qualitative study using an inductive thematic analysis approach41 with sensitizing concepts42 related to theories of motivation for analysis of interviews with medical students. We selected a qualitative design as this is an initial study exploring student clerkship experiences after a grading change, in the students’ own words. We employed an interpretivist paradigm, as we hoped to explore individuals’ subjective experiences of their clerkships. We interviewed medical students during their core clerkships at the University of California, San Francisco (UCSF) during summer 2019, addressing their learning experiences in the year immediately following elimination of honors grading and initiation of twice-weekly observation and feedback from supervisors. Because we anticipated strong feelings regarding the assessment change and personal performance, we used individual semi-structured interviews to allow students to speak candidly and flexibly. The UCSF Institutional Review Board deemed the study exempt (study # 19-27805).

컨텍스트
Context

UCSF 의대생들은 마취과, 내과, 신경과, 산부인과, 소아과, 정신과, 외과에서 각각 2~8주 동안 진행되는 [핵심 임상실습]과 [종단형 가정의학과 일일 클리닉]에 참여했습니다. 대부분의 학생들은 [블록 클리닉]에 등록했고, 소수의 학생들은 [종단 통합 클리닉(LIC)]에 등록했습니다.43

  • 블록 클리닉 팀에는 학생 1~2명, 어텐딩(교수진), 레지던트, 인턴 1~2명이 포함되었으며, 여러 학생이 한 사이트에서 다른 팀에 속해 근무했습니다.
  • LIC 학생들은 각 분야의 어텐딩과 함께 개별적으로 근무했습니다.

UCSF medical students participated in core clerkships lasting 2–8 weeks each in anesthesia, medicine, neurology, obstetrics/gynecology, pediatrics, psychiatry, and surgery, plus a longitudinal family medicine day-long clinic. Most students enrolled in block clerkships and a minority in longitudinal integrated clerkships (LICs).43 Block clerkship teams included 1–2 students, an attending (faculty member), resident, and 1–2 interns; multiple students work on different teams at a site. LIC students worked individually with an attending in each discipline.

[2018년 12월]까지 학생들은 [어텐딩, 레지던트, 인턴의 서술형 및 수치 평가]와 [임상실습 시험 점수]가 위원회에서 결정한 최종 성적에 반영되어 우등/합격/불합격 등급을 받았습니다.44 [2019년 1월], 학교는 핵심 임상실습에 대한 합격/불합격 등급으로 전환하여 다음에 따라 합격이 결정되도록 했습니다.

  • 어텐딩과 레지던트의 서술형 및 수치 평가에 대한 기대치 달성,
  • 임상실습 시험 합격,
  • 주 2회 형성 피드백 이벤트 제출(작업 기반 평가,45 내용보다는 완료도에만 등급이 매김)

Through December 2018, students received honors/pass/fail grades, with narrative and numerical evaluations from attendings, residents, and interns, along with clerkship examination scores, contributing to the final committee-determined grade.44 In January 2019, the school transitioned to pass/fail grading for core clerkships, with passing determined by

  • achievement of expectations on narrative and numerical evaluations from attendings and residents,
  • passing the clerkship examination, and
  • submission of twice-weekly formative feedback events (work-based assessments,45 graded only for completion rather than content).

2019년 1월부터 이러한 피드백 이벤트는 학생이 시작하고 참석 또는 레지던트 수퍼바이저가 [구두 및 온라인 피드백 양식]으로 작성하여 완료했습니다. 학생들은 합격/불합격 성적 외에 '탁월' 또는 '우수'와 같은 코드화된 요약 형용사 없이 [채점 위원회의 최종 서술형 평가]를 계속 받았습니다. [핵심 임상실습]에 이은 [서브 인턴십]은 대부분 우등상을 받을 수 있는 자격이 주어졌습니다.
Starting in January 2019, these feedback events were initiated by students and completed by attending or resident supervisors, both orally and written in an online feedback form. Students continued to receive a final narrative evaluation from a grading committee – without coded summary adjectives such as “outstanding” or “superior” – in addition to their pass/fail grade. Sub-internships following core clerkships continued to be largely honors-eligible.

참가자
Participants

저희는 임상실습 연도에 있는 학생들을 표본으로 삼았습니다. 또한 2019년 1월 이전에 임상실습을 시작하여 이전의 우등생 자격 및 새로운 합격/불합격 평가 시스템을 경험한 일부 학생을 의도적으로 표본으로 추출했습니다.46 이러한 학생들은 평가 시스템 간 경험을 직접 비교할 수 있었기 때문에 조사 대상에 포함했습니다. 인터뷰 당시 참가자들은 12개월 중 최소 5개월의 핵심 임상실습을 완료한 상태였습니다. 이 시기는 학생들이 다양한 임상실습 경험에 적응할 수 있는 충분한 시간을 확보할 수 있게 해주었고, 신입 임상실습 학생으로서 슈퍼바이저와 함께 배우고 일했던 경험을 쉽게 떠올릴 수 있게 해주었습니다. 우리는 학급 리스트서브에 단 한 번의 모집 이메일을 통해 대부분의 학생을 모집했습니다. 우리는 모든 인구통계학적 그룹의 학생들이 일반적으로 사무직 채점의 공정성과 정확성에 대해 우려한다는 이전 연구에 근거하여 편의 표본을 사용했습니다.4 경쟁이 치열한 전문과목에 대한 관심은 채점에 대한 의견과 연관될 수 있지만, 많은 학생들이 핵심 사무직을 수행하는 도중에 전문과목 선택을 결정하지 못한다는 우리 기관의 내부 데이터에 따라 표본 추출 계획을 수립했습니다.46 2019년 1월 이전에 임상실습을 시작한 학생들은 단일 리스트서브에 소속되지 않은 소수의 학생을 대표하므로 개별 이메일을 통해 모집했습니다. 모든 참가자에게는 $20 전자 기프트 카드가 제공되었습니다.

We sampled students in their clerkship year. Additionally, we purposively sampled a small subset of students who began their clerkships prior to January 2019, and who thus had experienced the prior honors-eligible and new pass/fail assessment system.46 We included these students as they were able to compare experiences across evaluation systems directly. At the time of the interviews, participants had completed at least five of the 12 months of core clerkships. This timing ensured that students had sufficient time to adjust to multiple different clerkship experiences and could easily recall their experiences as new clerkship students learning and working with supervisors. We recruited most students through a single recruitment email to the class listserv. We used a convenience sample based on our prior work showing that students from all demographic groups commonly have concerns with the fairness and accuracy of clerkship grading.4 While interest in a competitive specialty may be associated with opinions about grading, our sampling plan was informed by internal data at our institution showing that many students are undecided about specialty choice midway through their core clerkships.46 Students who began their clerkships prior to January 2019 were recruited through individual emails, as these represented a smaller number of students who did not belong to a single listserv. All participants received a $20 electronic gift card.

면접 가이드
Interview guide

세 명의 연구자(L.S., A.T., K.E.H.)가 [평가, 피드백, 동기 부여 이론에 관한 문헌을 활용하여 인터뷰 가이드를 개발]했습니다.8,12,14,18,20,22,31,47 (지원 정보 부록 1) 인터뷰 질문은 [학습 행동, 임상실습에서의 평가 변경 및 채점에 대한 태도, 동기 부여, 웰빙, 팀 역학, 피드백 및 평가에 대한 감독자의 태도에 대한 인식]을 다뤘습니다. 솔직한 답변을 유도하기 위해 참가자들은 모집 이메일과 인터뷰 직전에 녹취록이 비식별화될 것임을 다시 한 번 고지받았습니다. 각 인터뷰 후에는 학생의 인구통계학적 정보를 수집했습니다.
Three investigators (L.S., A.T., K.E.H.) developed the interview guide using literature on assessment, feedback, and motivation theory.8,12,14,18,20,22,31,47 (Supporting Information Appendix 1) Interview questions addressed learning behaviors, attitudes regarding the assessment change and grading in clerkships, motivation, wellbeing, team dynamics, feedback, and perceptions of supervisor attitudes regarding assessment. To facilitate candid responses, participants were informed both in the recruitment email and again immediately prior to the interview that transcripts would be deidentified. Following each interview, we collected student demographic information.

절차
Procedures

훈련받은 두 명의 조사원(L.S., A.A.)이 각각 두 번의 파일럿 인터뷰를 실시하고 다른 조사원(K.E.H.)으로부터 인터뷰 기법에 대한 피드백을 받았습니다. 인터뷰 질문에 대한 참가자의 구두 피드백을 수집하고 흐름과 명확성을 위해 인터뷰 가이드를 수정했습니다. 참가자가 핵심 임상실습 학생이었으며 인터뷰 기법이 양호했기 때문에 데이터 세트에 파일럿 인터뷰 1건을 포함시켰습니다. L.S.와 A.A.는 인터뷰를 동등하게 나누었습니다. 2019년 6월부터 8월까지 모든 인터뷰는 전화 또는 대면으로 진행하고 녹음했습니다. 분석 전에 전문적으로 녹취록을 전사하고 비식별화했습니다.
Two trained investigators (L.S., A.A.) each conducted two pilot interviews and received feedback from another investigator (K.E.H.) on interview technique. We collected participants’ verbal feedback on interview questions and revised the interview guide for flow and clarity. We included one pilot interview in the dataset, as the participant was a core clerkship student, and the interview technique was of good quality. L.S. and A.A. divided interviews equally. We conducted and recorded all interviews between June and August 2019 via telephone or in person. We professionally transcribed and deidentified transcripts before analysis.

분석
Analysis

녹취록을 읽고 동기부여 이론과 관련된 개념을 민감화하여 데이터 분석을 시작했습니다.18-20,22,23,42 이러한 개념을 통해 목표 지향 이론(예: "성과")과 자기결정 이론(예: "자율성", "역량")의 언어를 사용하여 코드를 식별하기 시작할 수 있었습니다. [귀납적으로 코드북을 개발]하기 위해 두 명의 연구자(L.S., K.E.H.)가 [두 개의 인터뷰 녹취록을 읽고 독립적으로 예비 코드를 작성]했으며, L.S.가 이를 [하나의 예비 코드북]으로 재조정했습니다. [세 명의 조사자가 예비 코드북을 사용하여 세 번째와 네 번째 녹취록을 코딩]하고, 매번 코드를 추가, 제거 또는 명확히 하여 코딩을 조정하여 [최종 작업 코드북]을 만들었습니다. 인터뷰가 진행됨에 따라 코드북을 계속해서 반복적으로 개선했습니다.
We began data analysis by reading transcripts and considering sensitizing concepts relating to motivation theory.18–20,22,23,42 These concepts allowed us to begin identifying codes using the language of goal-orientation theory (e.g. “performance”) and self-determination theory (e.g. “autonomy,” “competence”). To develop a codebook inductively,41 two investigators (L.S., K.E.H.) read two interview transcripts and independently created preliminary codes, which L.S. reconciled into a single preliminary codebook. Three investigators used the preliminary codebook to code a third and fourth transcript, each time reconciling coding by adding, removing, or clarifying codes, thereby yielding the final working codebook. We continued to refine our codebook iteratively as interviews progressed.

데이터 수집, 코딩, 분석을 동시에 진행했습니다. 11번의 인터뷰 끝에 새로운 코드를 만들거나 새로운 방식으로 코드를 적용하지 않아 [이론적으로 충분하다는 것]을 발견했습니다.48 [이후 7번의 인터뷰]에서는 우등생과 합격/불합격 서기직에 모두 경험이 있는 학생(총 5명)을 우선적으로 선발했습니다. 두 가지 평가 시스템을 모두 경험한 학생들은 비슷한 주제에 대해 논의했으며, 이들의 답변이 코드북에 큰 변화를 가져오지 않는 것을 관찰한 결과, 합격/불합격만 경험한 학생의 인터뷰와 함께 분석하는 것이 적절하다고 판단했습니다. 

We conducted data collection, coding, and analysis concurrently. After 11 interviews, we discovered that we were not creating new codes or applying codes in novel ways, indicating theoretical sufficiency.48 Within the subsequent seven interviews, we prioritized selecting students (five total) with experience in both honors-eligible and pass/fail clerkships. We observed that these students with experience in both assessment systems discussed similar themes; their responses did not lead to significant changes in the codebook, suggesting to us that it was appropriate to analyze their interviews alongside interviews with students who had experienced only pass/fail clerkships.

코딩이 완료된 후 참가자 인구 통계(표 1)를 검토한 결과, 남성과 여성 참가자가 모두 대표성을 띠고 있음을 확인할 수 있었습니다. 참가자의 인종과 절차적 전문 분야와 비절차적 전문 분야에 대한 관심은 수업 전체에 대한 대표성을 해석하기 어려웠는데, 전자의 경우 많은 학생이 자신의 인종을 "혼합"이라고 답하거나 응답하지 않았고, 후자의 경우 많은 학생이 선호하는 전문 분야를 결정하지 않은 채로 남아있었기 때문입니다. 학생 인구 통계에 따른 코드 적용의 차이는 미미했으며, 이는 이러한 하위 그룹에 대한 추가적인 의도적 샘플링이 필요하지 않음을 시사합니다

Following completion of coding, we reviewed participant demographics (Table 1) and noted that both male and female participants were represented. Participant race and interest in a procedural versus non-procedural specialty were difficult to interpret for representativeness with respect to the class as a whole,

  • 인종 as for the former, many students reported their race as “mixed” or chose not to respond,
  • 관심전공 and for the latter, many students remained undecided on their preferred specialty.

We observed only minimal differences in application of codes based on student demographics, suggesting that further purposive sampling among these subgroups was not necessary.

[코딩을 완료한 후, 두 명의 연구 조사자가 각 코드와 관련 발췌문을 검토]하여 [더 큰 주제와 코드와 주제 간의 관계를 파악]하기 시작했습니다. 팀 토론을 통해 더 큰 주제를 구체화했습니다. 코딩된 데이터를 정리하고 컴파일하기 위해 Dedoose를 사용했습니다(Dedoose, 버전 8.2.14, 사회문화 연구 컨설턴트, 캘리포니아주 로스앤젤레스). 6명의 학생에게 이메일을 통해 구성원 확인을 실시했습니다.49 학생들에게 연구의 주요 주제와 결론을 제공했으며, 학생들은 연구 결과가 자신의 경험과 일치한다고 느꼈습니다. 피드백을 바탕으로 연구 결과를 약간 수정했습니다.

After completing coding, two study investigators reviewed each code and its associated excerpts to begin to identify larger themes and relationships among codes and themes. We refined larger themes through team discussion. We used Dedoose to organize and compile coded data (DEDOOSE, version 8.2.14, SocioCultural Research Consultants, Los Angeles, California). We conducted member checking with six students via email.49 We provided students with major themes and conclusions from the study, and students felt that our results were consistent with their experiences. We made minor clarifications to our results based on feedback.

 
 

연구자 반사성
Researcher reflexivity

우리는 연구 전반에 걸쳐 반성적 사고를 고려하여 반성적 사고 일지에 생각을 기록하고 토론을 통해 공유했습니다.50,51 우리 연구팀은 두 명의 의대생(L.S., A.A.), 의학교육 연구원(A.T.), 학교 평가를 총괄하는 교육 리더(K.E.H.) 등 구성원들의 다양한 경험과 전문성을 활용할 수 있었습니다. 우리는 훈련된 학생 면접관(L.S., A.A.)을 활용하여 참가자들이 임상실습 경험을 둘러싼 솔직한 의견을 표현할 수 있도록 했습니다. 우리는 팀원들 간에 데이터와 분석에 대한 반응을 정기적으로 논의하여 서로의 가정에 도전하고 분석을 지속적으로 개선할 수 있었습니다.
We considered reflexivity throughout the study, recording thoughts in reflexivity journals and sharing through discussion.50,51 Our study team benefited from members’ diverse experiences and expertise: two medical students (L.S., A.A.), a medical education researcher (A.T.), and an educational leader who directs assessment for the school (K.E.H.). Our use of trained student interviewers (L.S., A.A.) allowed participants to express candid opinions surrounding clerkship experiences. We regularly discussed our reactions to the data and analysis among our team, allowing us to challenge one another’s assumptions and continuously refine our analyses.

결과
Results

이메일 초대를 받은 자격을 갖춘 168명의 클럭십 학생 중 18명이 응답했으며(모두 이메일 수신 후 5일 이내에 응답), 이 중 13명을 인터뷰에 초대했습니다. 우등 및 합격/불합격 클럭십에 모두 참여한 경험이 있는 학생은 8명이었으며, 이 8명 모두에게 개별 이메일을 보내고 5명의 응답자와 인터뷰를 진행했습니다. 표 1은 참가자의 인구통계학적 특성을 보여줍니다. 참가자들은 8가지 핵심 클럭십에 모두 경험이 있었으며, '상사의 반응' 및 '불확실한 미래' 하위 주제(아래)에서 언급된 것 외에 특정 전문 분야와 관련된 일관된 주제별 차이는 확인되지 않았습니다. 인터뷰는 평균 42분 동안 진행되었습니다(범위: 22-59분).
Of 168 eligible clerkship students who received email invitations, 18 responded (all within five days of receiving the email), and we invited the first 13 for interviews. There were eight students with experience in both honors-eligible and pass/fail clerkships; we sent individual emails to all eight and interviewed the five respondents. Table 1 shows participant demographics. Participants had experiences across all eight core clerkships, and we did not identify consistent thematic differences related to particular specialties aside from those noted in the “Supervisor reactions” and “Uncertain future” subthemes (below). Interviews lasted an average of 42 minutes (range: 22–59 minutes).

데이터에서 학생의 [임상실습 참여, 웰빙, 학습 맥락에 대한 인식]이라는 세 가지 주요 주제를 확인했습니다. 모든 참가자는 우등 학점을 받을 수 있는 다른 가능성에 대해 자주 생각한다고 답했으며, 우등 학점을 받은 경험이 없는 학생들도 자신의 경험을 설명할 때 직접 비교하는 언어를 자주 사용했습니다(예: "저는..."(7), "저는... 걱정하지 않습니다."(8)). 참가자 번호는 괄호 안에 표시되며, 우등생 자격을 갖춘 클럭십에 참여한 경험이 있는 학생은 별표(*)로 표시되어 있습니다.
We identified three major themes from the data: student engagement in clerkships, wellbeing, and recognition of the learning context. All participants reported thinking frequently about the alternative possibility of being graded in core clerkships, and even students without experience in honors-graded clerkships often used directly comparative language to describe their experiences (e.g. “I’m a lot more willing to…” (7), “I’m not as worried about…” (8)). Participant numbers are in parentheses; students with prior experiences in honors-eligible clerkships are indicated with an asterisk (*).

클럭십 참여
Engagement in clerkships

학생들은 성적 체계 변경으로 인해 [클럭십 학습에 대한 몰입도]가 높아졌다고 답했습니다. 이 주제에는 동기 부여, 주체성, 관계라는 하위 주제가 포함되어 있습니다.
Students reported that the grading change helped them feel highly engaged with their clerkship learning. This theme included subthemes of motivation, agency, and relationships.

동기 부여
Motivation

많은 학생들이 실습 기간 동안 동기의 주된 원천은 [좋은 의사가 되어 환자 치료와 의료팀에 기여하고 싶다는 열망]이라고 답했습니다. 학생들은 [우등 성적이 없는 상황]에서 ['배움을 위한' 학습에 대한 강한 동기]를 느꼈습니다(4, 13). 학생들은 이러한 동기를 유능한 임상의로 성장하고자 하는 열망 때문이라고 답했습니다: "내가 될 수 있는 최고의 의사가 되고 싶다는 생각은 ... 열심히 일하도록 동기를 부여합니다."(1).

Many students felt their primary sources of motivation during clerkships were their desire to learn and develop into a good doctor and contribute to patients’ care and the care team. Students felt strongly motivated in the absence of honors grades to learn “for the sake of learning” (4, 13). They attributed this drive to a desire to develop into a competent clinician: “wanting to be the best physician that I can be … motivates me to work hard” (1).

몇몇은 성적 체계 변경으로 인해 [시험 공부]에서 [환자 치료]로 우선순위가 바뀌었으며, 환자를 철저히 파악하고 팀에 기여하여 치료를 발전시키는 데 중점을 두게 되었다고 답했습니다. 한 학생은 합격/불합격 채점으로 인한 이러한 변화를 언급했습니다: "이것이 제가 여기 온 이유입니다. ... 이 복잡한 케이스에 대해 정말 깊이 생각하고 늦게까지 남아서 환자의 이야기를 배우기 위해서입니다."(11).
Several reported the grading change shifted their priorities from exam study toward patient care, with an emphasis on knowing patients thoroughly and contributing to the team in advancing care. One student noted this shift due to pass/fail grading: “this is why I'm here. … to really think really deeply about these complicated cases and stay late to learn about this patient's story” (11).

모든 학생은 성적 변경으로 인해 [상사에게 잘 보이기 위해 성과를 낼 필요성을 거의 느끼지 못한다]고 인식했습니다: "점수를 받지 못하면 누군가에게 잘 보이기 위해... 늦게까지 일하는 것이 아니라... 모든 일을 끝냈다는 만족감을 위해... 늦게까지 일하는 것 같다"(18*). 또한 대부분의 학생은 [성적을 위한 성과 압박이 학생의 동기 부여에 필요하다는 의견에 동의하지 않았습니다]. 한 학생은 이렇게 반박했습니다:
All students perceived that, due to the grading change, they felt little need to perform for the sake of impressing supervisors: “Without honors it becomes less of, are you staying late just … to impress someone, and more like … you’re staying late … for the satisfaction of making sure all your work is done” (18*). Further, most disagreed that the pressure to perform for a grade was necessary for student motivation. One student reflected:

"레지던트와 어텐딩에게 잘 보이려고 노력하는 대신 배움에 집중하기 때문에 훨씬 더 큰 기쁨을 느끼고 있습니다. ... 이러한 배움의 정신이 저를 좋은 성적을 받는 데 집중했을 때보다 더 나은 의대생으로 만들어주고 있습니다." (5*)
“I'm really finding a lot more joy because the focus is on my learning instead of me trying to impress my residents and attendings. … That spirit of learning is actually making me into a better med student than … if I were focused on getting a good grade.” (5*)

그러나 소수의 학생은 우등 성적을 받으려는 외적 동기는 느끼지 않았지만, [학습자가 계속 평가되고 관찰되기 때문에 성과에 대한 압박이 없는 것은 아니라]고 느꼈습니다.
However, a small number of students felt that, while they did not perceive an extrinsic motivation to earn an honors grade, performance pressure was not absent, as learners continue to be evaluated and observed.

전반적으로 [학습에 대한 열망]이 동기의 주요 원천이었지만, 학생들은 [임상 업무, 시험 공부, 개인적 웰빙 등 여러 가지 경쟁 동기] 사이에서 [절충점을 찾기 위해 일상적인 학습 결정]을 내리는 경우가 많았습니다. 소수의 학생들은 때때로 우등 성적이 있었다면 받아들였을 추가 과제를 맡지 않거나 임상 업무에서 노력을 다른 곳으로 옮겼다고 느꼈습니다. 한 학생은 "100%가 아닌 평균을 맞추는 것이 목표"라고 설명했습니다. "내 자신을 돌보는 데 시간을 보내고 싶었기 때문"입니다(10). 성적 변경을 통해 학생들은 [임상 책임]과 [개인 생활]이라는 [경쟁하는 욕구 사이에서 균형]을 잡을 수 있었고, 이를 통해 [전반적인 실습 참여와 웰빙을 촉진]할 수 있었습니다(아래 웰빙 테마 참조). 임상 업무에 대한 동기는 학생의 관심도에 따라 다소 차이가 있었습니다. 그럼에도 불구하고 많은 학생들이 "내가 이 일을 할 수 있는 것은 이번이 마지막이다"라고 생각하면서(17*) 자신이 원하지 않는 분야에서도 학습 동기를 느꼈습니다.
While the desire to learn was a major source of motivation overall, students frequently made day-to-day learning decisions that represented tradeoffs among multiple competing motivators, including clinical work, exam study, and personal wellbeing. A minority felt they occasionally shifted effort away from clinical work or chose not to assume extra tasks that they might have accepted had honors grades been present. One student described aiming to “meet average … not 100% … because I’d rather spend my time taking care of myself” (10). The grading change allowed students to balance the competing drives of clinical responsibility versus personal life, thereby facilitating overall clerkship engagement and wellbeing (see Wellbeing theme below). Some motivation toward clinical work varied by student interest in the clerkship. Even so, numerous students felt motivated to learn even in fields they did not intend to pursue, reasoning that “this is the last time I'll be able to do this” (17*).

주체성
Agency

성적 체계 변경을 통해 학생들은 [학습 우선순위에 대한 통제권]을 갖게 됨으로써, [학습에 대한 주체성]을 느낄 수 있었습니다(그림 1). 학생들은 [임상 시간의 우선순위를 정하는 방법]에는 차이가 있었지만, 환자 직접 접촉, 환자 프레젠테이션 또는 메모 작성, 의료 시스템 조사, 시험 공부, 일차 문헌 조사 등 [목표 역량을 선택함]으로써, [스스로 임상 기술을 개발할 수 있는 권한]을 부여받았다고 느꼈습니다. 한 학생은 "주어진 날에 무엇을 배우고 무엇을 해야 하는지 자유롭게 결정할 수 있었습니다."(11)라고 말합니다.
The grading change allowed students to feel agency in their learning by affording control over learning priorities (Figure 1). Students differed in how they prioritized their clinical time but felt empowered to develop their own clinical skills by choosing competencies to target: direct patient contact, patient presentations or writing notes, examining health systems, studying for the exam, or researching primary literature. Per one student, “I just felt very free to sort of decide in a given day what was important to me to learn about and what was important to me to do” (11).


학생들은 [학습을 주도할 수 있는 자유] 덕분에, [피드백을 구하고 비판적 성찰을 연습하고, 학습 위험을 감수하고, 감독자와 다른 의견을 제시]하는 등 [효과적인 학습 행동]을 활용할 수 있었습니다. 학생들은 [적극적으로 피드백을 구하고] [성장해야 할 부분에 대해 비판적으로 성찰함]으로써 [자신의 학습에 대한 책임감]을 갖게 되어 실습 기간 동안 피드백 빈도가 높은 것에 만족했습니다: "건설적인 피드백을 받아들이고 이를 개선에 활용하게 되어 기쁩니다."(16). 합격/불합격을 통해 많은 학생들이 질문을 하거나 새롭거나 도전적인 과제를 시도하는 등 [학습 위험을 감수해도 안전하다]고 느낄 수 있었습니다. 학생들은 지식 격차가 드러날까 봐 두려워하지 않고 "[자신이] 바보 같다고 생각하는 질문"(12*)을 할 수 있다고 느꼈으며, [유능해 보이고 낮은 평가를 피하기 위해 답을 몰래 찾아보거나 정교한 질문을 할 필요성을 느끼지 않았습니다]
Students’ freedom to direct their learning allowed them to utilize effective learning behaviors, such as seeking feedback and practicing critical reflection, taking learning risks, and voicing differing opinions with supervisors. Students were satisfied with the high frequency of feedback during clerkships, assuming responsibility for their learning by proactively seeking feedback and critically reflecting on areas for growth: “you take the constructive feedback and are excited to use it to improve” (16). Pass/fail allowed many students to feel safe taking learning risks such as asking questions or attempting new or challenging tasks. Students felt they could ask “questions that [they] thought … sounded dumb” (12*) without fear of revealing deleterious knowledge gaps, and they did not feel the need to look up answers furtively or ask elaborate questions to appear competent and avoid poor evaluations.

우등생들은 [우등 성적]이 [익숙하지 않은 과제를 처음 시도하는 것에 대해 평가받는 모순]을 야기한다고 인식한 반면, 몇몇 학생들은 [합격/불합격이 실수와 성장의 여지를 허용한다]고 언급했습니다: "저는 학습자로서의 역할을 받아들였습니다... 처음 무언가를 할 때 완벽하거나 대단해야 한다고 생각하지 않습니다... 그리고 그런 여유가 제 성과에도 도움이 됩니다."(7). 학생들은 [결점이 드러나는 것에 대해 거의 걱정하지 않고] [진심 어린 질문]을 하고, [부족한 기술을 개선할 기회를 모색]했습니다. 마지막으로, 학생들은 평가가 나빠지는 등의 [보복에 대한 두려움 없이 상사에게 반대 의견(예: 사소한 공격에 대한 형평성 옹호)]을 말할 수 있게 되었습니다.
Whereas students perceived that honors grades created a catch-22 in which students were evaluated on attempting unfamiliar tasks for the first time, several noted that pass/fail allowed room for mistakes and growth: “I’ve embraced my role as a learner … I don't feel like I have to be perfect or amazing the first time I do stuff … and then that relaxation also kind of helps my performance” (7). With little concern over revealing faults, students asked genuine questions and sought opportunities to improve weak skills. Finally, students felt able to voice disagreeing opinions with supervisors—for instance, advocating for equity after a microaggression—without fearing retaliation in the form of a poor evaluation.

관계
Relationships

우등 채점을 없애자 동료와의 [협력 관계] 및 상사와의 [동료 관계]가 촉진되었습니다. 많은 사람들이 우등 성적이 '미묘한 경쟁' 환경(15*)으로 이어진다고 인식했으며, 제한된 수의 우등 성적을 얻기 위한 경쟁으로 인해 [동료 간 협력이 방해]받고 있다고 답했습니다. 대부분의 학생들은 합격/불합격이 지원, 경험, 학습 전략의 공유를 촉진하여 이러한 경쟁을 최소화한다고 생각했습니다. 한 학생은 "우등생 이후를 제외하고 나머지 의대 3학년 내내 친구를 사귄 적이 없는 것 같다"(12*)고 말했습니다. 소수의 학생은 경쟁을 거의 느끼지 못했지만 또래와의 비교는 여전히 남아 있다고 느꼈습니다:
Eliminating honors grading facilitated collaborative relationships with peers and collegial relationships with supervisors. Many perceived honors grading as leading to a “subtly competitive” environment (15*), with peer collaboration hindered by perceived competition for a limited number of honors grades. Most felt that pass/fail minimized this competition by facilitating shared support, experiences, and study strategies. Per one student, “I don't think I made friends throughout the rest of med school third year except for post-honors” (12*). A minority felt that, despite sensing little competition, some comparison with peers remained:

"그들과 자신을 비교하지 않는 것은 여전히 어려울 수 있지만... 그런 생각은 최소화하고...[성적보다는] '내가 배워야 할 것을 배우고 있는가? 내가 해야 할 일을 제대로 하고 있는가?" (11)
“It can still be hard to not compare yourself against them … but that's minimized and …[is] less about the grade but more about ‘Am I learning what I should learn? Am I doing this as well as I should be?’” (11)

우등 성적 없이 [레지던트 및 어텐딩과의 편안함을 높임]으로써 [학습이 촉진되고 학생들이 진정한 팀원처럼 느낄 수 있었습니다]. 한 학생은 이러한 [수퍼바이저와의 관계가 위계적으로 느껴지지 않는다]고 언급했습니다."그 사람은 단독 평가자라기보다는 동료의 측면이 더 강하다"(16). 학생들은 호감을 얻기 위해 위선적이 되거나 자신의 전문성을 허위로 표현할 필요가 거의 없다고 느꼈습니다.

Increased comfort with residents and attendings without honors grades facilitated learning and allowed students to feel like true team members. One student noted that relationships with these supervisors did not feel hierarchical: “the person [is] less like a sole evaluator … there’s more of a colleague aspect to it” (16). Students felt there was little need to be sycophantic or misrepresent their intended specialty in order to be liked.

웰빙
Wellbeing

학생들은 합격/불합격 성적에 긍정적인 영향을 미친다고 답했으며, 면접관의 질문 없이도 이 주제를 언급하는 경우가 많았습니다. 학생들은 [낮은 스트레스, 팀원과의 진정성, 신체 건강을 우선시하는 능력, 개인 생활과 임상 업무의 균형] 등 다양한 차원의 [웰빙]에 대해 긍정적으로 평가했습니다(표 2).
Students widely attributed a positive sense of wellbeing to pass/fail grading, often citing this topic without interviewer prompting. Students spoke positively on multiple dimensions of wellbeing, including low stress, sense of authenticity with team members, ability to prioritize physical health, and balance of personal life with clinical duties (Table 2).

맥락에 대한 인식: 현재와 미래
Recognition of context: current and future

학생들은 자신의 학습이 [더 큰 맥락에 놓여 있다는 것]을 인식했습니다. 이 주제에는 학습 환경의 내재적 가변성, 성적 변경에 대한 감독자의 반응, 성적 변경의 향후 영향에 대한 우려라는 하위 주제가 포함되었습니다.
Students recognized that their learning was situated in a larger context. This theme included subthemes of inherent variability of the learning environment, supervisor reactions to the grading change, and concerns regarding the future implications of the grading change.

내재적 가변성
Inherent variability

학생들은 채점 변경으로 인해 [공정성에 대한 두려움이 완화되었다]고 느끼는 등 [핵심 임상실습 경험에 내재된 가변성]이 분명하게 드러났습니다. 많은 학생들이 서클러십을 시작하면서 현장, 감독자, 팀, 경험에 따라 "나는 이 사람, 그들은 저 사람, 우리는 완전히 다른 두 가지 경험을 했다"(7)는 사실을 알게 되었습니다. 학생들은 평가가 주관적이며, 실제 능력보다는 특정 상황에서 "[학생들이] 얼마나 잘 적응했는지, 얼마나 호감을 받았는지"를 반영한다고 지적했습니다(12*). 합격/불합격은 "과정을 정상화"(6)하여 이러한 [변수가 점수 차이로 나타나지 않도록 방지]했습니다.
Variability inherent to core clerkship experiences was clear to students, who felt the grading change alleviated fears relating to fairness. Many discovered upon starting clerkships that sites, supervisors, teams, and experiences differed widely: “I got this person, they got that person, we have two totally different experiences” (7). Students noted that evaluations were subjective and reflected “how well [students] fit in or how liked they were” in a particular context rather than true ability (12*). Pass/fail “normalized the process” (6), preventing this variability from manifesting as differential grading.

몇몇 학생은 [인종, 성 정체성, 성적 지향 또는 사회경제적 지위]와 관련된 [우등 성적의 형평성 문제]로 인해 합격/불합격을 지지했습니다. 학생들은 "성별이나 인종 문제로 인해 불공정한 성적을 받지 않아도 된다는 사실에 안도감을 느꼈습니다."(5*). 몇몇 학생은 성적 변경을 모든 학생에게 ['공평한 경쟁의 장']을 만들어 성적 불평등을 해결해야 하는 교육기관의 책임으로 인식했습니다(8).
Several students supported pass/fail due to equity concerns – surrounding race, gender identity, sexual orientation, or socioeconomic status – of honors grading. Students felt “some relief, knowing that we don’t have to [be] unfairly graded [due to] issues of gender or … race” (5*). Several students perceived the grading change as an institutional responsibility to address grading inequities by creating an “equal playing field” for all students (8).

감독자의 반응
Supervisor reactions

더 나은 학습 환경의 한 측면으로서, 학생들은 성적 변경에 대한 전공의들의 반응, 특히 [웰빙에 대해 대체로 긍정적인 반응과 공감]을 인식했습니다. 학생들은 성적이 부족했던 경험을 아쉬워하는 레지던트들의 말을 들었습니다: "너희들은 정말 운이 좋아서 이런... 일이 머리 위에 걸려 있지 않아서... 내가 겪을 때 그런 일이 있었으면 좋겠다."(3)학생들은 레지던트들이 의대생들의 스트레스 감소, 협동심 향상, 성과에 대한 욕구 감소, 채점의 주관성에 대한 해결책에 대해 칭찬하는 것을 듣고 기뻐했습니다. 한 학생이 "제가 도울 수 있는 다른 방법이 없나요?"라고 묻자 레지던트는 "아니요, 제 승인을 받기 위해 해야 하는 노래와 춤을 모두 멈추면 됩니다. ... 가식은 사라졌습니다. 당신은 ... 호의를 구할 필요가 없습니다."(2). 일부 학생들은 프로시져 분야의 [일부 레지던트들이 성적을 통해 우수한 학생에게 보상할 수 없는 것에 대해 아쉬움]을 표했다고 보고했습니다.
As one facet of their greater learning environment, students perceived generally positive reactions and empathy from residents about the grading change, particularly surrounding wellbeing. Students heard residents wishing they had experienced a lack of grades: “you guys are so lucky you don’t have this … thing hanging over your head … I wish I had that when I was going through” (3). Students were pleased to hear residents praise medical students’ decreased stress, greater cooperation, and decreased need to perform as well as a solution to the subjectivity of grading. When one student asked whether there was “anything else I can do to help,” the resident responded, “no, you can stop the whole song and dance that you need to do to get approval from me. … the pretense is gone. You don't need … to curry favor” (2). A few students reported that some residents from procedural fields expressed regret regarding the inability to reward excellent students through grades.

학생들은 [성적 체계 변경에 대한 주치의들의 반응이 엇갈렸다]고 보고했습니다. [긍정적인 의견]에는 교수진 스스로 이 시스템을 원한다는 내용은 없었지만, 학생들 간의 경쟁이 줄어들고 자유롭게 학습할 수 있다는 점이 언급되었습니다. 한 학생은 학생들이 여전히 학습 의욕이 높다는 사실에 놀라움을 표시하기도 했습니다: "성적에 연연하지 않고 더 나아지고자 하는 진정한 열망에 놀랐어요."(12*). 일부 참석자들은 [부정적인 반응]을 보인 것으로 알려졌습니다. 주로 학생들을 비교하고, 해당 분야에 가장 [관심이 많은 학생을 식별하거나, 우수자에게 보상하는 방법에 대한 불확실성]을 언급하였다. 학생들은 일부 주치의가 변화에 저항하거나 이해 부족을 보인 것에 대해 실망감을 표했으며, 이러한 주치의는 채점 체계 변경이 [이전 세대에 비해 노력 감소를 유발할 수 있다]고 말했습니다. 한 학생은 어텐딩들이 "매우 어려운 일을 겪었다는 것에 자부심이 있을 수 있고, 의과대학은 매우 어렵습니다... 우등생 제도로 인해 더 어려워진 것 같고, 따라서 그 모든 고통에서 조금 더 멀리 떨어져 있는 사람들은 자부심을 가지고 있다고 생각합니다."(4) 라고 설명했습니다. 학생들은 일반적으로 감독자의 행동(예: 교육, 피드백 제공)이 성적 변화에 큰 영향을 미쳤다고 생각하지 않았지만, 학생들은 일부 주치의는 [임상 학습에 대한 기대치가 낮은 것 같다]고 말하며 좌절감을 드러냈습니다: "어차피 합격/불합격이야. 너무 걱정할 필요는 없어."(13).

Students reported mixed reactions from attendings regarding the grading change. Positive comments did not include faculty’s wish for this system for themselves but did address the lack of competition among students and their ability to learn freely. One student noted some attendings’ astonishment that students were still highly motivated to learn: “They were just sort of surprised by the genuine desire to get better without a grade hanging over our head” (12*). Some attendings reportedly reacted negatively, citing uncertainty about how to compare students, identify students most interested in the field, or reward excellence. Students shared some disappointment that certain attendings resisted change or showed lack of understanding, as these attendings voiced that the grading change may prompt decreased effort compared with prior generations. One student explained that attendings may “see there's pride in going through something very difficult, and medical school is very difficult… I think it's made more difficult by an honors system and therefore, those that are a little bit further removed from the pain of it all, have pride in that” (4). While students generally did not attribute significant changes in supervisor behaviors (i.e. teaching, giving feedback) to the grading change, some students were frustrated when attendings seemed to voice low expectations for clinical learning, stating: “you're pass/fail. You don't have to worry about this too much” (13).

불확실한 미래
Uncertain future

성적 변경은 학생들의 [미래에 대한 우려]를 불러일으켰습니다. 레지던트 지원 시 [다른 지원자들과의 차별화]에 대한 질문이 제기되었습니다: "다른 지원자들이 지원서에 우등생이 많은 경우, [합격/불합격 학생]이 해당 전문 분야에서 눈에 띄는 것이 더 어려울 수 있습니다."(15*). 학생들은 [레지던트 위원회에서 합격/불합격 학생을 무시할 것인지]에 대해 의문을 제기했습니다. 이러한 우려는 [수술 관련 전문과목]에 관심이 있는 학생들 사이에서 더 두드러졌습니다. 많은 학생이 레지던트 지원에서 [임상실습 평가의 중요성에 대한 혼란]을 언급하거나 일부 [최종 서술형 임상실습 평가가 "개인적인 것이 없고" "비슷한 것을 찍어내는 것"처럼 느껴진다]고 한탄했습니다(17명*). 일부는 성적 변경이 [스텝 시험이나 서브 인턴십에 대한 스트레스를 "제거하기는커녕... 대체"하는 것이 아닌지 의문]을 제기했습니다(18*). 이러한 우려에도 불구하고 학생들은 전반적으로 성적 전환이 긍정적인 변화이며, 특히 웰빙과 관련하여 "여전히 단점보다 장점이 크다"(14)고 생각하는 것으로 나타났습니다.
The grading change prompted concern for students about their future. Questions about differentiating among peers for the purpose of residency applications arose: “Where other applicants have a lot of honors on their applications, it might be more difficult for [pass/fail students] to stand out in that specialty” (15*). Students questioned whether pass/fail students would be disregarded by residency committees. Concerns were more marked among students interested in procedural specialties. Many cited confusion regarding the importance of clerkship evaluations in residency applications or lamented that some final narrative clerkships evaluations felt “impersonal” and “cookie-cutter” (17*). Some wondered whether the grading change was “displacing … rather than removing” stress onto Step exams or sub-internships (18*). Despite these concerns, students largely felt that, overall, the grading transition represents a positive change and, particularly surrounding wellbeing, “the benefits still outweigh the cons” (14).

토론
Discussion

우리는 핵심 클럭십 기간 동안 학생의 [동기 부여와 클럭십 학습 경험]에 대한 [형성적 피드백에 중점을 두고 단계별 채점에서 합격/불합격 채점으로의 전환이 미치는 영향]을 조사했습니다. 평가 및 채점 방식 변경을 통해 학생들은 여러 측면의 웰빙을 촉진함으로써 [내재적 동기]를 느끼고 [임상 학습에 몰입]할 수 있었습니다. 이 개입에는 합격/불합격 채점 변경과 형성 피드백 강화가 모두 포함되었지만, 학생들은 [강화된 피드백]을 더 큰 평가 변화의 한 요소로 인식했으며, 대체로 긍정적인 의견은 두 가지 변화의 시너지 효과를 반영하는 것이었습니다. 학습 상황에 대한 학생들의 우려는 학습과 레지던트 선발 목표를 모두 충족하는 평가의 긴장을 강조합니다. 연구 결과에 따르면 핵심과목의 합격/불합격 채점이 학습을 촉진하는 긍정적인 학습 환경을 조성할 수 있다는 사실이 입증되었습니다.
We investigated the effects of a transition from tiered to pass/fail grading with greater emphasis on formative feedback on student motivation and clerkship learning experiences during core clerkships. The assessment and grading change allowed students to feel intrinsically motivated and engaged in clinical learning, in part by facilitating multiple aspects of wellbeing. While the intervention comprised both a change to pass/fail grading and increased formative feedback, students perceived the enhanced feedback as one element of the larger assessment change, and their generally positive opinions reflected a synergistic combination of both changes. Students’ concerns about their learning context highlight the tensions of assessment serving both learning and residency selection goals. Our findings demonstrated that pass/fail grading in core clerkships may create a positive learning environment that promotes learning.

설문조사 참가자들은 자신의 동기가 [슈퍼바이저에게 잘 보이려는 노력]보다는, [임상적으로 발전하고 환자와 팀에 기여하려는 열망]에서 비롯된 것이라고 설명했습니다. 이 결과는 다른 기관의 이전 경험과 일치하며, 형성적 피드백을 강조하는 임상실습 커리큘럼 재설계가 학생들에게 긍정적인 반응을 얻었으며, 학생들도 마찬가지로 임상실습 성공에 대한 생각을 [감독자에게 깊은 인상을 주는 것]에서 [학습과 환자 치료]로 전환했습니다.52 학생들은 [학습 가치를 지닌 활동에 집중]하는 방법을 선택하는 것이 중요하다고 강조하며, 이러한 [통제를 통해 학습을 향상시킬 수 있다]고 답했습니다. 자기 결정 이론은 학습의 측면에 대한 통제력이 학생들의 호기심과 주도성을 가능하게 한다는 해석을 뒷받침합니다.22,53 학생들이 [우등 성적을 위태롭게 하지 않고도, 편안하게 느끼는 건설적인 피드백을 받아들이고, 개선을 시도하는 능력]은 총괄 평가에 중점을 두지 않는 [이상적인 학습 환경의 특징]을 나타냅니다.47 학습 문화에 대한 한 선행 연구에서와 같이 학생들은 건설적인 피드백이 높은 수준의 평가와 분리될 때 유용하다고 생각했지만54 일부는 [Grade가 없는 것으로 인해 동료들 사이에서 자신을 구별하는 능력이 제한되는지 의문]을 표시했습니다. [집중의 우선순위]를 정하거나, [코칭을 구하는 것]에 대한 참가자들의 의사결정은 학습을 [효과적으로 자기 주도하고 자기 조절할 수 있는 적응형 학습자]의 행동을 특징짓는 요소입니다.55,56 추가 연구를 통해 이러한 행동이 향후 실무에 어떻게 적용될 수 있는지 살펴볼 수 있습니다.
Our participants described their motivation as stemming from their desire to improve clinically and contribute to patients and teams more than from trying to impress supervisors. This finding is consistent with previous experiences at another institution, which demonstrated that a clerkship year curriculum redesign emphasizing formative feedback was met positively by students, who similarly shifted their ideas of clerkship success away from impressing supervisors toward learning and patient care.52 Students highlighted the importance of choosing how they focused on activities that they perceived had learning value, using this control to enhance learning. Self-determination theory supports our students’ interpretation that controllability over aspects of their learning enabled their curiosity and initiative.22,53 The ability to welcome constructive feedback and attempt to improve, as our students felt comfortable doing without potentially jeopardizing an honors grade, signifies a feature of an ideal learning environment not likely with emphasis on summative assessment.47 As in one prior study of learning cultures, students found constructive feedback useful when separated from high-stakes assessment,54 but some questioned whether a lack of grades limited their ability to distinguish themselves among peers. Our participants’ decision-making about where to prioritize their focus or seek coaching characterize behaviors of the master adaptive learner, who is able to effectively self-direct and self-regulate learning.55,56 Further study could explore how they might carry these behaviors into their future practice.

[긍정적인 행복감]은 학생들 전반에 걸쳐 뚜렷하고 일관된 결과였습니다. 이 결과의 규모에 놀랐지만, [웰빙을 증진하는 내재적 동기의 알려진 효과]와 일치합니다.22 웰빙의 구성 요소는 아래와 같은 의사 웰빙의 여러 영역에 걸쳐 있습니다.57

  • 불안과 스트레스 감소(정신적 웰빙),
  • 임상 상호작용에서의 진정성(사회적 웰빙의 구성 요소),
  • 신체 건강을 우선시하는 능력(신체적 웰빙),
  • 개인 생활과 임상 업무의 균형(통합적 웰빙) 

이러한 요소는 학생들이 의료 교육을 통해 경험하는 수많은 개인 수준 및 시스템 수준의 스트레스 요인을 반영합니다.58 이러한 스트레스 요인을 해결하지 않을 경우, 임상실습 연도에 두드러지게 나타나는 이러한 스트레스 요인은 학생들을 우울증에 걸릴 위험이 높습니다.59,60 합격/불합격 채점 하에서 학생들은 자기 관리의 우선순위를 정할 수 있는 권한을 부여받아 회복력을 강화하고 소진 위험을 줄일 수 있다고 느꼈습니다.61,62 또한 학습을 주도하는 학생의 자율성은 웰빙을 더욱 지원하는 것으로 알려져 있습니다.63 따라서 [임상실습 성적 체계의 변경]은 [의과대학에서 스트레스의 여러 근본 원인을 해결하는 데 필요한 통합 교과 과정 노력]의 한 요소로 구성될 수 있습니다.64
A positive sense of wellbeing was a marked and consistent result across students. While we were surprised by the magnitude of this finding, it is consistent with known effects of intrinsic motivation in promoting wellbeing.22 Components of wellbeing spanned multiple recognized domains of physician wellness:

  • decreased anxiety and stress (mental wellbeing),
  • sense of authenticity in clinical interactions (a component of social wellbeing), and
  • increased abilities to prioritize physical health (physical wellbeing) and
  • balance personal life with clinical work (integrated wellbeing).57 

These components mirror the numerous individual-level and systems-level stressors that students experience through medical training.58 If unaddressed, these stressors – which manifest prominently in the clerkship year – place students at high risk for depression.59,60 Under pass/fail grading, students felt empowered to prioritize self-care, which can strengthen resiliency and decrease risk of burnout.61,62 In addition, students’ sense of autonomy to drive their learning is known to further support wellbeing.63 A change in clerkship grading can thus constitute one element of the integrated curricular effort necessary to address the multiple root causes of stress in medical school.64

학생들이 평가 및 채점에 대한 변화된 접근 방식에 대해 [임상 수퍼바이저로부터 들은 메시지]는 [학습을 위한 평가]와 [학습에 대한 평가] 사이의 알려진 긴장을 반영합니다.65

  • [레지던트들]이 성적을 없애고 피드백에 더 집중하는 것에 대해 [지지를 표명했다는 결과]는 학습자이자 수퍼바이저로서 레지던트의 [이중적 역할]을 보여줍니다. 레지던트를 대상으로 한 이전 연구와 일관되게, 성적 부여가 없는 경우에도 [성과에 대한 압박감은 줄어들기는 했지만 어느 정도 존재했습니다].66 이러한 관찰은 레지던트 연도의 학습 경험이 상급자에 대한 인상을 관리하는 능력과 밀접하게 연관되어 있다는 연구 결과와도 일치합니다.67
  • 레지던트들과는 대조적으로, 학생들은 [교수진이 평가에 관한 오랜 뿌리 깊은 신념을 반영하는 듯한 우려]를 표명하는 것을 들었습니다.54 이러한 의견은 높은 위험, 성과 및 완벽의 이미지를 중시하는 의학계의 뿌리 깊은 문화적 전통을 반영합니다.38

Messages that students heard from clinical supervisors about the changed approach to assessment and grading reflected known tensions between assessment for learning and assessment of learning.65 

  • Our finding that residents expressed support of the elimination of grades and enhanced focus on feedback showcases residents’ dual roles as learners and supervisors. Consistent with a prior study of residents, some pressure to perform, while reduced, existed even in the absence of grade assignments.66 This observation aligns with a study showing that students’ learning experiences in the clerkship year are closely tied to their ability to manage impressions made upon their supervisors.67 
  • In contrast to their residents, students heard faculty express concerns that seem to reflect longstanding, deep-seated beliefs regarding assessment.54 These comments reflect ingrained cultural traditions in medicine valuing high stakes, performance, and the image of perfection.38

학생들은 주치의가 [총괄 평가에 덜 중점을 두면 우수성이 평가 절하될 것을 우려]하는 것을 들었지만, 우수성이 어떻게 손상되는지에 대한 [구체적인 사례는 없었습니다]. 실제로 한 교육기관에서 [고부담 임상실습 시험을 없애도 2단계 CK 면허 시험의 평균 학생 성적에는 영향을 미치지 않았습니다].68 여러 직종의 학습 문화에 대한 연구에 따르면 [형성적 피드백이 풍부한 문화]가 [우수성을 더 잘 촉진]하는 것으로 나타났습니다.69,70 피드백과 개선을 촉진하는 학습 평가와 진급 및 선발을 위한 성과 정보 사용의 경쟁적 긴장 사이에서 균형을 찾는 것은 의학교육 커뮤니티의 과제로 남아 있습니다.38,65 이 성적 변경이 하위 인턴십 학습과 레지던트 배치에 미치는 영향을 더 명확히 밝혀내면 교육자들은 이 균형을 더 잘 조정할 수 있을 것입니다.
 Although students heard attendings fear devaluation of excellence with less emphasis on summative assessment, there were not specific examples of how excellence would be compromised. In fact, removal of high-stakes clerkship exams at one institution did not affect average student performance on the Step 2 CK licensing examination.68 Study of learning cultures across professions suggests that a culture replete with formative feedback better promotes excellence.69,70 Seeking balance between competing tensions of assessment for learning, which fosters feedback and improvement, alongside the use of performance information for advancement and selection remains a challenge for the medical education community.38,65 Further elucidating the effects of this grading change on sub-internship learning and residency placement – two areas of widespread concern for students – will allow educators to better calibrate this balance.

이 연구에는 한계가 있습니다. 데이터는 등급 체계가 전환되는 [과도기 동안 단일 기관]에서 수집한 것이므로 결과의 이전 가능성을 제한할 수 있습니다. 참가자 중 소수만이 우등 성적의 핵심 서기직을 경험한 적이 있었지만, 이러한 경험이 없는 학생들은 모두 성적 시스템 간의 유사점과 차이점에 대해 자발적으로 이야기했습니다. 많은 참가자들은 하나의 모집 이메일에 응답한 [편의 표본]으로 선정되었습니다. 이번 조사 결과는 학생들의 경험을 종합적으로 검토한 것이 아니라 의대생들의 초기 주제에 대한 탐색을 제시하지만,46 이후 응답자 또는 [모집 이메일에 응답하지 않은 학생]들은 평가 변화에 대해 덜 호의적인 인식을 포함하여 다른 인식을 갖고 있을 가능성이 있습니다. 연구 참여자의 인종 및 관심 전문과목 인구통계학적 특성은 더 큰 규모의 의과대학 학생 집단과 비교하기 어려웠지만, [인구통계학적 특성에 따른 학생들의 서술은 미미한 차이]를 보였습니다(유일하게 주목할 만한 차이점은 절차적 전문과목에 관심이 있는 학생들 사이에서 레지던트 선택과 관련하여 잠재적으로 더 큰 우려를 나타냈다는 점입니다). 이 연구는 평가 시스템의 변화를 평가한 것이므로 성적 변경과 피드백 변경의 효과를 완전히 파악할 수는 없었습니다. 마지막으로, 이 연구는 시험 점수나 레지던트 배치와 같은 결과 측정보다는 학생의 인식에 초점을 맞추었습니다. 이 연구의 강점으로는 신뢰성을 높이기 위한 심층 인터뷰와 구성원 확인, 반성적 사고에 대한 관심, 독자가 다른 상황으로의 전이 가능성을 평가할 수 있도록 맥락, 응답 및 주제에 대한 자세한 설명이 있습니다.71
This study has limitations. Data were from a single institution during a transitional period between grading systems, potentially limiting transferability of results. Only a minority of participants had experience in honors-graded core clerkships, though students without this experience all spontaneously spoke about perceived similarities and differences between grading systems. Many participants were a convenience sample of volunteers who responded to a single recruitment email. While our findings present an initial exploration of themes from medical students rather than a comprehensive review of student experiences,46 it is possible that later responders or students who did not respond to our recruitment email may hold different – including less favorable – perceptions of the assessment change. While the racial and specialty-of-interest demographics of our study participants were difficult to compare with those of the larger medical school class, we noted minimal differences in students’ narratives based on their demographics (the only notable difference being potentially greater concerns surrounding residency selection among students interested in procedural specialties). This study evaluated a change to the assessment system and as such effects of the grading change and feedback change could not be fully disentangled. Finally, this study focused on student perceptions rather than outcome measures, such as exam scores or residency placement. Strengths of the study include in-depth interviews and member checking to enhance credibility, attention to reflexivity, and detailed descriptions of the context, responses, and themes to enable readers to assess transferability to other contexts.71

우리의 연구는 핵심 임상술기에서 형성적 피드백을 강화한 합격/불합격 채점이 어떻게 학생의 임상술기 및 환자 치료에 대한 참여를 촉진할 수 있는지를 보여주었습니다. 학생들은 내재적 동기를 크게 느꼈으며 웰빙에 대한 채점 변경의 이점을 인지했습니다. 3년차 서클럭십 이후 핵심 서클럭십 채점이 학생 성과에 미치는 영향을 이해하려면 추가 연구가 필요합니다. 이번 연구 결과는 학부 의료기관이 학생의 학습 경험을 최적화하기 위해 어떤 방식으로 서클럭십 평가를 시행할지 결정하는 데 도움이 될 수 있습니다.
Our study illustrated how pass/fail grading with increased formative feedback in core clerkships can facilitate students’ engagement in clerkships and patient care. Students felt significant intrinsic motivation and perceived benefits of the grading change for wellbeing. Further study is needed to understand the effects of core clerkship grading on student performance following third-year clerkships. Our findings can inform how undergraduate medical institutions choose to implement clerkship assessment in order to optimize student learning experiences.

htlm_a_1847654_sm2409.pdf
0.29MB


Teach Learn Med. 2021 Jun-Jul;33(3):314-325. doi: 10.1080/10401334.2020.1847654. Epub 2020 Nov 24.

From Grading to Assessment for Learning: A Qualitative Study of Student Perceptions Surrounding Elimination of Core Clerkship Grades and Enhanced Formative Feedback

Affiliations collapse

1Internal Medicine, NewYork-Presbyterian Hospital, Columbia University Irving Medical Center, New York, New York, USA.

2University of California, San Francisco School of Medicine, San Francisco, California, USA.

3Department of Medicine, University of California, San Francisco, California, USA.

PMID: 33228392

DOI: 10.1080/10401334.2020.1847654

Abstract

Problem: Medical students perceive honors grading during core clerkships as unfair and inequitable, and negatively impacting their learning and wellbeing. Eliminating honors grading, a powerful extrinsic motivator, and emphasizing formative feedback may address these problems and promote intrinsic motivation and learning. However, it is unknown how transitioning from honors to pass/fail grading with enhanced formative feedback in the core clerkship year may affect student learning experiences, wellbeing, and perceptions of the learning environment. Intervention: Core clerkship grading was transitioned from honors/pass/fail to pass/fail at one US medical school. In addition, the requirement for students to obtain formative supervisor feedback was formalized to twice per week. Context: This qualitative study utilized semi-structured interviews to explore the perceptions among core clerkship students of learning and assessment. Interview questions addressed motivation, wellbeing, learning behaviors, team dynamics, feedback, and student and supervisor attitudes regarding assessment changes. The authors analyzed data inductively using thematic analysis informed by sensitizing concepts related to theories of motivation (goal orientation theory and self-determination theory). Impact: Eighteen students participated, including five with experience in both honors-eligible and pass/fail clerkships. The authors identified three major themes in students' descriptions of the change in approach to assessment: student engagement in clerkships, wellbeing, and recognition of learning context. Student engagement subthemes included intrinsic motivation for patient care rather than performing; sense of agency over learning, including ability to set learning priorities, seek and receive feedback, take learning risks, and disagree with supervisors, and collaborative relationships with peers and team members. Positive wellbeing was characterized by low stress, sense of authenticity with team members, prioritized physical health, and attention to personal life. Learning context subthemes included recognition of variability of clerkship contexts with pass/fail grading mitigating fairness and equity concerns, support of the grading change from residents and some attendings, and implications surrounding future stress and residency selection. Lessons Learned: Students perceive a transition from honors grading to pass/fail with increased feedback as supporting their engagement in learning, intrinsic motivation, and wellbeing. Drivers of wellbeing appear to include students' feelings of control, achieved through the ability to seek learning opportunities, teaching, and constructive feedback without the perceived need to focus on impressing others. Ongoing evaluation of the consequences of this shift in assessment is needed.

Keywords: Assessment; core clerkships; feedback; grading; motivation.

 

관리추론: 보건전문직교육과 연구아젠다의 함의 (Acad Med, 2019)
Management Reasoning: Implications for Health Professions Educators and a Research Agenda
David A. Cook, MD, MHPE, Steven J. Durning, MD, PhD, Jonathan Sherbino, MD, MEd, and Larry D. Gruppen, PhD

 

[임상 추론](임상의가 임상 정보(병력, 검사 소견, 검사 결과), 선호도, 의학 지식, 맥락(상황) 요소를 통합하여 개별 환자의 치료에 대한 결정을 내리는 인지 과정)은 거의 모든 의료 전문가의 일상 활동의 핵심입니다.2 임상 추론의 작동 방식을 이해하는 것은 임상 진료에서 오류를 방지하고 이러한 과정의 개발을 지원하는 교육을 최적화하려는 노력에 필수적입니다.3,4
Clinical reasoning—the cognitive processes by which clinicians integrate clinical information (history, exam findings, and test results), preferences, medical knowledge, and contextual (situational) factors to make decisions about the care of an individual patient1—is central to the daily activities of nearly all health care professionals.2 Understanding how clinical reasoning works is essential to efforts to prevent errors in clinical practice and to optimize instruction that supports the development of these processes.3,4

수십 년에 걸친 상당한 연구를 통해 [진단에 도달하는 데 관련된 임상 추론 과정(진단 추론)]5-8을 밝히고 교육 및 지속적인 연구에 대한 시사점을 확인했습니다.9-12 치료, 추가 검사, 후속 방문, 제한된 자원의 할당 등 [환자 관리에 수반되는 임상 추론 과정(관리 추론)]에 대해서는 알려진 것이 훨씬 적습니다.1,10,13,14 그러나 개념적 틀과 실증 연구에서 진단 추론의 중요성에도 불구하고 환자를 돌볼 때 관리 추론보다 덜 중요할 수도 있습니다. [정확한 진단을 내리는 것]은 최종 목적, 즉 진단에 적합한 관리 계획의 실행을 위한 수단일 뿐입니다. 또한, 응급 의사가 통증의 정확한 원인을 모른 채 '비심장성 흉통'을 호소하는 환자를 집으로 돌려보내는 경우처럼 방어 가능한 관리 결정을 실행하기 위해 [완전히 정확한 진단이 필요하지 않은 경우]도 종종 있습니다.
Substantial research over several decades has helped illuminate the clinical reasoning processes involved in arriving at a diagnosis (diagnostic reasoning)5–8 and identified implications for teaching and ongoing research.9–12 Far less is known about the clinical reasoning processes entailed in patient management (management reasoning), including decision making about treatment, further testing, follow-up visits, and allocation of limited resources.1,10,13,14 Yet despite its prominence in conceptual frameworks and empiric research, diagnostic reasoning may be less important in caring for patients than management reasoning. Making the correct diagnosis is only a means to an end—namely, the implementation of a management plan appropriate for that diagnosis. Moreover, a fully correct diagnosis is often not required to implement a defensible management decision, as when an emergency physician sends home a patient with “noncardiac chest pain” without knowing the exact source of pain.

관리 추론에 대한 어떠한 리뷰도 확인할 수 없었으며, 관리 추론과 직접적으로 관련된 실증 연구도 거의 찾아볼 수 없었습니다.14-17 관리 추론의 개념을 명확히 하는 것은 이 분야의 향후 연구를 위한 발판을 마련하고 보건 전문직 교육에서의 잠재적 적용을 식별할 수 있을 것입니다. 이 글의 목적은 [관리 추론]을 [진단 추론]과 구별하여 설명하고, 잠재적으로 통찰력이 있는 이론적 렌즈를 고려하며, 교육적 시사점을 개괄하고, 필요한 연구 분야를 제안하는 것입니다.
We could not identify any reviews of management reasoning, and we found few empirical studies directly related to management reasoning.14–17 Clarification of the concept of management reasoning will set the stage for future research in this field and identify potential applications in health professions education. The purpose of this article is to describe management reasoning as distinct from diagnostic reasoning, consider potentially insightful theoretical lenses, outline educational implications, and propose areas of needed research.

관리 추론과 진단 추론의 대비
Contrasting Management and Diagnostic Reasoning

[진단]은 주로 임상의가 (진단 추론의 인지 과정을 통해) 증상, 징후, 검사 결과의 패턴에 라벨을 부여하는 [분류 활동]입니다.19 이러한 라벨(진단)은 질병에 대한 임상의의 이해를 반영하며 일반적으로 근본적인 원인 또는 병리를 나타냅니다. 라벨(진단)은 그 자체로 가치가 있는 것이 아니라, [문제에 대한 임상의의 이해와 접근 방식을 형성하고, 의료진 간의 의사소통을 촉진하며, 의료진이 환자를 바라보고 상호 작용하는 방식에 영향을 미침]으로써 의미 결정에 도움이 됩니다.20 특정 라벨(예: "섬유근육통")은 [임상의와 간병인 사이에서 매우 다른 의미(종종 의도하지 않게)]를 내포할 수 있습니다.
Diagnosis is primarily a classification activity18 in which clinicians (through the cognitive processes of diagnostic reasoning) assign labels to a pattern of symptoms, signs, and test results.19 These labels (diagnoses) reflect the clinician’s understanding of the illness and typically denote an underlying cause or pathology. Labels (diagnoses) do not have value in themselves; rather, they help with meaning making by shaping the clinician’s understanding of and approach to a problem, facilitating communication among members of the health care team, and influencing how the team views and interacts with the patient.20 A given label (e.g., “fibromyalgia”) may connote (often inadvertently) very different meanings to different clinicians and caregivers.

[진단]은 [라벨 또는 분류가 조치에 영향을 미치는 범위 내]에서만 유용합니다(예: "허혈성 심근병증"이라는 라벨은 병원 입원, 심장 도관 삽입 및 안지오텐신 전환 효소 억제제 처방을 유도할 수 있음). 많은 상황에서 [피상적, 잠정적 또는 비특이적 분류("비심장성 흉통" 또는 "상부 호흡기 감염")]가 [최종적인 관리에 적합]한 것으로 판명됩니다. 실제로 관리 결정은 일반적으로 필요한 진단 특이성 수준을 결정합니다.

  • 불충분하게 구체적인 라벨은 최적의 관리가 아닌 suboptimal한 관리로 이어질 수 있으며,
  • 일부 라벨은 불필요한 세부 사항을 반영하고 비효율적인 리소스 사용(예: 과잉 검사)을 암시할 수 있습니다.

예를 들어, 자기공명영상(MRI)은 '급성 요통'의 원인에 대한 자세한 정보를 제공하여 특정 진단 라벨을 쉽게 지정할 수 있지만, 이 정보가 [초기 관리를 변경하는 경우는 거의 없으므로] 일반적으로 이 검사는 낭비적인 것으로 간주됩니다.
A diagnosis is useful to the extent that the label or classification has implications for action (e.g., the label “ischemic cardiomyopathy” might prompt hospital admission, cardiac catheterization, and prescription of angiotensin-converting enzyme inhibitor). In many situations, a superficial, provisional, or nonspecific classification (“noncardiac chest pain” or “upper respiratory infection”) proves adequate for definitive management. Indeed, management decisions typically drive the level of diagnostic specificity required. An insufficiently specific label could lead to suboptimal management, but some labels reflect superfluous detail and suggest inefficient use of resources (i.e., overtesting). For example, although magnetic resonance imaging (MRI) can provide detailed information about the cause of “acute low back pain” and thereby facilitate a specific diagnostic label, this information rarely changes initial management, and hence the test is commonly considered wasteful.

진단과 달리 관리에는 행동 계획에 대한 협상과 해당 계획의 [지속적인 모니터링 및 조정]이 포함됩니다. [관리 추론]은 이러한 협상, 관찰 및 조정과 관련된 인지적 프로세스를 포함합니다. 아래에서는 관리 추론이 진단 추론과 다른 몇 가지 방식을 확인합니다(도표 1에 요약되어 있음).
Management, in contrast to diagnosis, involves negotiation of a plan of action and ongoing monitoring and adjustment of that plan. Management reasoning encompasses the cognitive processes associated with these negotiations, observations, and adjustments. Below, we identify several ways in which management reasoning differs from diagnostic reasoning (summarized in Chart 1).

하나의 올바른 계획은 없다
No single correct plan

주어진 진단은 일반적으로 정확하거나 부정확한 것으로 확정될 수 있습니다. 트위터에서는 진단의 맥락과 후속 사용 목적에 따라 동일한 상태(즉, 동일한 질병 또는 질환)에 다른 레이블을 지정할 수 있음을 인정합니다. 예를 들어, 라벨은 질병의 중증도("급성 질환"), 증상("흉통"), 질병("급성 관상동맥 증후군"), 해부학적 이상("폐색된 관상동맥") 또는 병리("심근 괴사")에 초점을 맞출 수 있습니다. 비록 동일한 의학적 상태에 여러 가지 라벨을 적절히 적용할 수 있지만, 적어도 이론적으로는, 각 진단이 옳거나 그른지에 대한 확실한 판단이 가능합니다. 우측 관상동맥은 폐색된 상태이거나 폐색되지 않은 상태이거나 둘 중 하나이다. 일부 대체 라벨은 똑같이 정확할 수 있지만("심근경색"), 다른 라벨은 부정확할 수 있습니다("심낭염"). 실용적인 관점에서 볼 때, [상호 교환적으로 정확]하려면 [모든 대안적 진단]이 [조치에 대해 동일한 의미]를 가져야 하며 [유사한 근본 원인을 제시]해야 합니다예를 들어, "상기도 감염"과 "급성 부비동염"의 진단은 모두 [유사한 근본 원인(바이러스 감염)과 관리 방법을 제시]하기 때문에 상호 교환 가능한 정답으로 해석될 수 있습니다.
A given diagnosis can usually be established as correct or incorrect. We acknowledge that different labels can be assigned to the same condition (i.e., the same illness or disease), depending on the context and the intended subsequent use of the diagnosis. For example, labels can focus on illness severity (“acutely ill”), symptom (“chest pain”), disease (“acute coronary syndrome”), anatomic abnormality (“occluded coronary artery”), or pathology (“myocardial necrosis”). Nonetheless, although multiple labels can appropriately be applied to the same medical condition, each diagnosis can—at least in theory—be judged as correct or incorrect in absolute terms. A patient either does or does not have an occluded right coronary artery. Some alternate labels may be equally correct (“myocardial infarction”), but others would be incorrect (“pericarditis”). From a practical standpoint, to be interchangeably correct, all alternate diagnoses should have the same implications for action and should suggest a similar underlying cause. For example, the diagnoses of “upper respiratory infection” and “acute sinusitis” could be construed as interchangeably correct, because both suggest a similar underlying cause (viral infection) and management approach.

이와는 대조적으로, 일반적으로 진단 검사, 환자 교육, 치료 및 후속 조치의 다양한 조합으로 구성된 [다수의 합리적인 관리 접근 방식]이 있습니다. "상황에 따라 다르다"는 말은 관리에서 흔히 사용됩니다.

  • [환자 선호도, 물류 제약, 문화적 규범, 자원 가용성 등]이 모두 [관리 결정]에 영향을 미치며,
  • [불확실성 및 위험에 대한 내성]과 같은 [임상의학적 요인]도 영향을 미칩니다.21,22
  • [특정 치료 옵션의 잠재적 위험과 이득]도 상황에 따라 다릅니다: 한 클리닉의 외과의사는 한 접근법에 더 숙련된 반면, 다른 클리닉의 외과의사는 다른 접근법에 더 숙련될 수 있습니다.

요컨대, 일반적으로 성공적인 결과에 이르는 길은 여러 가지가 있으며, 여러 상황에서 수용 가능한 결과도 여러 가지가 있을 수 있습니다.23,24 따라서 하나의 "올바른" 또는 "최선의" 관리 계획을 말하기는 어렵고(이상적이거나 이론적인 상태에서도), 오히려 어느 정도 "합리적인" 또는 "방어 가능한" 계획을 말해야 합니다.
By contrast, there are usually multiple reasonable management approaches, comprising varying combinations of diagnostic testing, patient education, treatment, and follow-up. “It depends” is common in management.

  • Patient preferences, logistical constraints, cultural norms, and resource availability all influence management decisions,
  • as do clinician factors such as tolerance for uncertainty and risk.21,22 
  • Even the potential risks and benefits of specific treatment options vary across situations: Surgeons in one clinic may be more skilled in one approach, while surgeons in another clinic may be more skilled in another.

In short, there are usually multiple paths to a successful outcome, and there will even be multiple acceptable outcomes in many situations.23,24 Thus, it is difficult to speak of a single “correct” or “best” management plan (even in an idealized or theoretical state); rather, we must speak of more or less “reasonable” or “defensible” plans.

선호도 및 사회적 맥락
Preferences and social context

환자 선호도, 임상의 태도, 임상 환경, 물류 제약이 진단에 영향을 미쳐서는 안 됩니다. 폐렴 환자는 환자의 선호도나 사회적 맥락에 관계없이 폐렴에 걸린 것입니다. 섬유근육통 또는 역형성 갑상선암 진단은 환자가 해당 진단을 원하는지 또는 필요한 치료를 받을 수 있는지에 따라 달라지지 않습니다.
Patient preferences, clinician attitudes, clinical settings, and logistical constraints should not influence a diagnosis. A patient with pneumonia has pneumonia regardless of the patient’s preferences or social context. A diagnosis of fibromyalgia or anaplastic thyroid cancer does not depend on whether the patient wants that diagnosis or can access needed treatments.

이와는 대조적으로 관리 결정은 거의 항상 경쟁적인 선호도, 가치, 그리고 잠재적 이익, 잠재적 위험, 자원 가용성, 재정적 비용과 같은 상황별 제약 조건 사이에서 우선순위를 정해야 합니다.25 환자가 "해당 검사(또는 해당 약물 복용, 후속 방문)를 원하지 않거나 감당할 수 없습니다"라고 말하면 관리 계획이 변경됩니다. [관리 계획과 관련된 가치와 제약]에는 [환자]뿐만 아니라 [임상의, 의료진의 다른 구성원, 관리자, 보험사, 다른 환자, 사회 전반의 가치와 제약]도 포함됩니다. 진단 추론의 일부 측면에는 환자 또는 임상의가 원하는 진단의 구체성 및 확실성 수준(즉, 라벨의 충분성)과 같은 선호도가 포함될 수 있지만, 이는 명백히 경영진의 결정입니다.
Management decisions, in contrast, almost always involve prioritization among competing preferences, values, and situation-specific constraints such as probable benefits, potential risks, resource availability, and financial costs.25 If a patient says, “I don’t want (or cannot afford) to get that test (or take that medication, or return for that follow-up visit),” the management plan will change. Relevant values and constraints include not only those of the patient but also those of the clinician, other members of the health care team, administrators, insurers, other patients, and society in general. Some aspects of diagnostic reasoning may involve preferences, such as the patient’s or the clinician’s desired level of specificity and certainty in the diagnosis (i.e., the sufficiency of the label), but these are arguably management decisions.

예를 들어, 

  • 어떤 환자는 병력과 이학적 검사에 근거한 '기계적 요통'이라는 진단에 만족할 수 있지만, 다른 환자는 통증의 근본적인 원인에 대한 보다 자세한 설명을 얻기 위해 MRI를 기대할 수 있습니다. 
  • 한 임상의/의료진은 "폐렴"이라는 진단에 만족할 수 있지만, 다른 임상의/의료진은 해부학적 위치("우하엽 폐렴") 또는 원인 병원체("폐렴구균 폐렴")를 명시하는 것을 선호할 수 있습니다. 
  • 임상의는 상기도 감염을 인플루엔자로 경험적으로 치료할지, 아니면 진단을 확인하기 위해 검사를 받을지 결정할 때 검사 수행의 이득(정보), 비용, 위험(불편함)에 대해 [가치 판단]을 내립니다

이러한 예에서 [진단을 더욱 명확히 하기 위해 추가 정보가 필요하다는 것을 인식하는 것]은 [진단 추론]이지만, [실제로 해당 정보를 얻을지 여부를 결정하는 것]은 [관리 추론(즉, 선호도 및 상황 고려)]을 수반합니다.

For example,

  • one patient might be happy with a diagnosis of “mechanical back pain” based on history and exam, while another might expect an MRI in hope of obtaining a more detailed explanation of the underlying cause of pain.
  • One clinician/care team might be satisfied with a diagnosis of “pneumonia,” while another might prefer to specify the anatomic location (“right lower lobe pneumonia”) or causative pathogen (“pneumococcal pneumonia”).
  • A clinician deciding whether to empirically treat an upper respiratory infection as influenza, or to obtain a test to confirm that diagnosis, makes value judgments regarding the benefits (information), costs, and risks (discomfort) of performing the test.

In these examples, recognizing that additional information is needed to further clarify a diagnosis is diagnostic reasoning, but deciding whether to actually obtain that information entails management reasoning (i.e., consideration of preferences and context).

공유된 의사 결정
Shared decision making

[진단 분류]에 환자와의 직접적인 논의나 상호 작용이 반드시 필요한 것은 아닙니다. 다른 임상의나 환자 차트와 같은 다른 출처에서 얻은 병력, 검사 및 검사 결과에 대한 정보를 해석하고 진단을 내릴 수 있습니다. 실제로 이는 임상의가 모든 임상 교육 단계에서 흔히 연습하는 '진단 미상' 사례를 해결할 때 기대할 수 있는 것입니다.
Diagnostic classifications do not necessarily require direct discussion or interaction with the patient. Information about history, exam, and test results obtained from another source, such as another clinician or the patient chart, can be interpreted and a diagnosis rendered. Indeed, this is the expectation when clinicians solve a “diagnostic unknown” case, a common exercise in all stages of clinical training.

이와는 대조적으로 [관리 우선순위화]에는 커뮤니케이션과 협상이 필요합니다. 수용 가능한 옵션이 다양하고 다양한 가치를 통합해야 하기 때문에 임상의는 환자와 다른 이해관계자를 의사 결정 과정에 참여시켜야 하며, 즉 공동 의사 결정에 참여해야 합니다. 관리 결정은 본질적으로 임상의, 환자, 의료진 및 다른 사람들 간의 사회적 상호 작용입니다.
By contrast, management prioritizations require communication and negotiation. The multiplicity of acceptable options and the need to integrate various values require that clinicians engage the patient and other stakeholders in the decision process—that is, engage in shared decision making. Management decisions are inherently social interactions between the clinician, patient, care team, and others.

시간에 따른 변화
Change over time


진단은 시간적으로 고정되어 있습니다: 특정 시점에 적절한 정보가 있으면 일반적으로 명확한 레이블을 지정할 수 있습니다. 진단은 시간이 지남에 따라 변경될 수 있지만, 변경이 반드시 원래의 진단명이 틀렸다는 것을 의미하지는 않습니다.

  • 첫째, 많은 의학적 상태는 시간이 지남에 따라 호전되거나 악화되는 등 진화합니다. '상기도 감염이 해결됨', '암이 진행 중' 또는 '경색 후 심실 빈맥'과 같은 표현을 사용할 수 있지만, 이러한 변화는 원래 분류가 잘못되었다기보다는 질병 자체의 변화를 반영하는 것이며, 종종 새로운 진단을 내리는 경우가 많습니다.
  • 둘째, 사례가 발전하고 더 많은 정보(추가 병력, 검사 결과, 질병의 진행 경과 또는 치료에 대한 반응)가 확보됨에 따라 진단이 더 구체화되는 경우가 많습니다. 예를 들어, 흉부 엑스레이에서 매우 미세한 침윤이 있는 폐렴이 의심되는 경우 48시간 후 반복된 흉부 엑스레이에서 조밀한 우하엽 침윤이 확인되거나, 환자에게 균혈증이 발생하면 미생물학적 원인이 명확해질 수 있습니다. 폐렴의 초기 진단은 여전히 정확하지만, 이제 추가적이고 잠재적으로 유용한 세부 정보를 통해 폐렴을 지정할 수 있습니다. (물론 새로운 정보나 수정된 해석으로 인해 초기 진단이 잘못되었다는 것을 인정하는 경우도 있습니다.)
  • 마지막으로, 레이블은 지역과 문화(예: 사회 및 인종 그룹, 의료 전문 분야)에 따라 다른 의미를 가질 수 있습니다. 환자가 한 상황에서 다른 상황으로 전환함에 따라 선호하는 라벨도 그에 따라 바뀔 수 있습니다.

Diagnoses are temporally fixed: At a given moment in time, and with adequate information, a definitive label can usually be assigned. A diagnosis can change over time, but changes do not necessarily mean that the original label was wrong.

  • First, many medical conditions evolve over time—that is, they get better or get worse. We might speak of a “resolving upper respiratory infection,” “progressing cancer,” or “postinfarction ventricular tachycardia”; yet such evolution reflects a change in the illness itself, and often a new diagnosis, rather than an incorrect original classification.
  • Second, the diagnosis often becomes more specific as the case evolves and more information becomes available (additional history, test results, evolution of illness, or response to treatment). For example, a suspected pneumonia with a very subtle infiltrate on a chest X-ray could be confirmed if a repeat chest X-ray 48 hours later shows a dense right lower lobe infiltrate, or the microbiological etiology could become apparent if the patient develops bacteremia. The initial diagnosis of pneumonia remains correct, but it can now be specified with additional, potentially useful detail. (Of course, sometimes new information or revised interpretations lead to the recognition that the initial diagnosis was incorrect.)
  • Finally, labels can take on different meanings in different regions and cultures (e.g., social and ethnic groups, medical specialties). As patients transition from one context to another, the preferred label may shift accordingly.

이와는 대조적으로, 관리 결정은 한 시점에 결정적으로 정의되는 경우가 거의 없으며, 오히려 진화하고 변화할 것을 예상하여 내려집니다숙련된 임상의는 "고혈압 치료를 위해 생활습관 개선부터 시작하고, 그래도 효과가 없으면 하이드로클로로티아지드나 리시노프릴을 추가한다"와 같이 향후 관리 결정을 예상할 수 있지만, 이는 단지 가능성일 뿐입니다. 일반적으로 관리 계획은 처음에는 잠정적인 용어로 구성한 다음 이후 환자가 발생할 때마다 재검토합니다. 예를 들어, 고혈압 약물 요법은 일반적으로 치료 반응, 부작용 및 변화하는 환자 선호도에 따라 치료 시작 후 조정됩니다. 이러한 변경이 반드시 원래의 관리 계획과 그 근거가 잘못되었다는 것을 의미하지는 않습니다. (이는 진단이 잘못되었거나 의도적으로 잠정적이지 않는 한 변경해서는 안 되는 진단 결정과는 대조적입니다.) 관리 계획을 언제, 어떻게 조정할지 모니터링하고 결정하는 작업은 관리 추론의 중요한 측면입니다. 항생제를 사용하여 폐침윤을 성공적으로 치료하면 폐렴 진단이 확정되는 것처럼 진단과 관리는 대개 동시에 이루어지며 서로 영향을 미치는 경우가 많습니다.

By contrast, management decisions are rarely defined conclusively at a single point in time but, rather, are made with the expectation that they will evolve and change. Experienced clinicians can often anticipate future management decisions—“Start with lifestyle measures to treat the hypertension, and if that doesn’t work, then add hydrochlorothiazide and then lisinopril”—but these are only possibilities. Typically, the management plan is initially framed in tentative terms and then revisited with each subsequent patient encounter. For example, drug therapy for hypertension is commonly adjusted after initiation of treatment based on therapeutic response, side effects, and evolving patient preferences. Such changes do not necessarily imply that the original management plan and the reasoning behind it were wrong. (This contrasts with diagnostic decisions, which should not change unless the diagnosis was wrong or purposely provisional.) The task of monitoring and deciding when and how to adjust a management plan is a critical aspect of management reasoning. We note that diagnosis and management usually occur concurrently and often influence one another, as when successful treatment of a pulmonary infiltrate using antibiotics affirms the diagnosis of pneumonia.

복잡하고 상황에 따라 다르며 불확실함
Complex, situation-specific, and uncertain

마지막으로, 진단과 관리 모두 임상적 결정은 [거의 항상 불완전한 정보]를 가지고 내려지며, 가능한 모든 진단 또는 관리 접근법을 고려하지는 않는다. 그러나 상호 작용하는 요인과 잠재적 해결책의 수와 복잡성은 [진단 추론]보다 [관리 추론]에서 더 큰 경우가 대부분입니다.
Finally, clinical decisions—both diagnostic and management—are almost always made with incomplete information and without considering all possible diagnoses or management approaches. However, the number and complexity of interacting factors and potential solutions are almost always greater in management than in diagnosis.

예를 들어 [폐렴 진단을 내릴 때] 고려해야 할 증상(기침, 발열, 불쾌감), 징후(발열, 빈호흡, 관상 호흡음), 검사실 소견(백혈구 증가, 신부전, 산증), 영상 검사 등에 수는 한정적으로 존재합니다. 진단은 쉽지 않지만 관리는 더 어려울 수 있습니다. 여기에는 다음과 관련한 선택이 필요하다.

  • 진단 검사(흉부 방사선 사진 또는 컴퓨터 단층 촬영),
  • 치료 장소(외래, 병동, 중환자실),
  • 항생제 선택,
  • 보조 약물(스테로이드, 기관지 확장제, 혈전색전증 예방제),
  • 지원 치료(간호, 호흡기 치료, 물리 치료, 정신 치료),
  • 동반 질환 관리에 대한 조정

For example, in establishing the diagnosis of pneumonia, there is a finite number of symptoms (cough, fever, malaise), signs (fever, tachypnea, tubular breath sounds), lab findings (leukocytosis, renal insufficiency, acidosis), and imaging studies to consider. While the diagnosis may not be easy, management is likely more challenging, with choices to be made regarding

  • diagnostic testing (chest radiograph or computed tomography),
  • treatment location (outpatient, hospital ward, intensive care),
  • antibiotic selection,
  • medication adjuncts (steroids, bronchodilators, thromboembolism prophylaxis), and
  • supportive care (nursing, respiratory therapy, physical therapy, spiritual therapy),
  • plus adjustments to the management of comorbid conditions.

이러한 모든 옵션은 [환자, 의료진, 보험사 등의 선호도 및 제약 조건]과 비교해가며 검토해야 하며, 치료 반응의 예측 불가능성(즉, 미래 예측)을 고려한 선택이 이루어져야 합니다.

  • 또한, [진단의 불확실성]은 '부분 회전근개 파열'이 아닌 '어깨 통증'과 같이 덜 구체적인 라벨을 사용함으로써 개선될 수 있는 경우가 많습니다.
  • 반면, [관리의 불확실성]은 일반적으로 여러 가지 가능한 질병에 대한 동시 치료, 부작용 또는 부작용 가능성에 대한 사전 관리, 더 빈번한 모니터링과 같이 더 광범위하고 복잡한 계획을 요구합니다.

All these options must be weighed against the preferences and constraints of the patient, care team, insurer, and others; and choices must anticipate the unpredictability of treatment response (i.e., foresee the future).

  • Moreover, uncertainties in diagnosis can often be ameliorated by using less specific labels (“shoulder pain” rather than “partial rotator cuff tear”).
  • By contrast, uncertainties in management usually mandate plans of greater scope and complexity, such as concurrent treatment of multiple possible illnesses, anticipatory management of possible side effects or adverse events, and more frequent monitoring.

이론적 렌즈
Theoretical Lenses

여러 이론과 개념적 틀은 진단 추론과 관리 추론에 대한 우리의 이해와 연구를 풍부하게 합니다.26 진단 추론과 관리 추론은 지식 조직, 문제 표현, 인지 처리의 기본 구성 요소를 포함하여 [많은 공통된 정신 현상을 공유]합니다.13 진단 또는 관리 작업에 직면했을 때 임상의는 의식적으로 또는 무의식적으로 자신의 생물 의학 및 임상 지식을 초기 환자 정보와 통합하여 문제에 대한 사례 표현을 형성합니다(예, 질병 스크립트), 이 문제 표현을 사용하여 추가 정보 획득을 안내하고, 새로운 정보를 기반으로 문제 표현을 수정하고, 최종 진단 및/또는 관리 조치를 지원하기에 충분하다고 인식될 때까지 정보 수집/표현 수정 주기를 반복합니다.11,18,28 -30 여기에는 비분석적 또는 "시스템 1" 추론 과정(자동, 신속, 패턴 인식에 의존)과 분석적 또는 "시스템 2" 추론 과정(신중, 노력, 느림)이 혼합되어 있을 가능성이 높습니다.11,28-31 (시스템 1 및 시스템 2 과정의 의미에 대해서는 아래 연구 우선순위에 대한 논의에서 자세히 설명합니다.)
Several theories and conceptual frameworks enrich our understanding and study of diagnostic reasoning and management reasoning.26 Diagnostic reasoning and management reasoning likely share many common mental phenomena, including fundamental components of knowledge organization, problem representation, and cognitive processing.13 When faced with a diagnostic or management task, the clinician consciously or subconsciously integrates his or her own biomedical and clinical knowledge with initial patient information to form a case representation of the problem (e.g., illness script27), uses this problem representation to guide the acquisition of additional information, revises the problem representation based on the new information, and repeats the information-gathering/representation revision cycle until the representation is perceived as sufficient to support a final diagnosis and/or management action.11,18,28–30 This likely involves a mixture of nonanalytical or “system 1” reasoning processes (automatic, fast, and reliant on pattern recognition) and analytical or “system 2” reasoning processes (deliberate, effortful, and slow).11,28–31 (We elaborate on implications of system 1 and system 2 processes in our discussion of research priorities, below.)

[위치 인지 이론]은 임상적 추론, 특히 관리 추론이 고립적으로 발생하는 것이 아니라 역동적인 생물심리사회적 맥락에서 "위치"한다는 점을 강조하면서 추가적인 통찰력을 제공합니다.23,24 이상적으로는 관리 결정은 다양한 요인(환자, 진단, 임상의, 치료팀, 치료 시스템 등)에 대한 개별적인 지식이 아니라, 이러한 요인 및 기타 환경적 특징 간의 상호 작용(협상)을 고려할 때 도출되는 것이 좋습니다.
Situated cognition theory32 offers further insights, emphasizing that clinical reasoning, and especially management reasoning, does not occur in isolation; rather, it is “situated” in a dynamic biopsychosocial context.23,24 Ideally, management decisions emerge not from knowledge of the various factors individually (patient, diagnosis, clinician, care team, care system, etc.) but through consideration of the interactions (negotiations) among these and other environmental features.

포커와 카시러가 제안한 [임계값 접근법]을 통해 임상의는 질병 발생 확률, 진단 검사의 부정확성, 위험성, 비용, 치료 혜택의 확률과 효용을 정량적으로 결합할 수 있습니다. 의사 결정 이론,34,35 게임 이론,36 전망 이론,37 자유주의적 가부장주의(넛지 이론)38-40과 같은 의사 결정 및 경제학 이론도 경영 추론과 관련이 있을 수 있습니다. 이러한 이론은 인간(이 경우 환자와 의료 서비스 제공자 모두)이 어떻게 이득과 손실(혜택과 위험)을 다르게 평가하는지, 프레임, 기본 옵션, 사회적 비교, 제한된 자원이 선택(관리 결정)에 어떤 영향을 미칠 수 있는지 설명하고 예측합니다.41

The threshold approach proposed by Pauker and Kassirer33 allows clinicians to quantitatively combine the probability of disease; the inaccuracy, risk, and cost of diagnostic tests; and the probability and utility of treatment benefits. Theories of decision making and economics—such as decision theory,34,35 game theory,36 prospect theory,37 and libertarian paternalism (nudge theory)38–40—may also have relevance to management reasoning. These theories explain and predict how humans (in this case, both patients and health care providers) differentially value gains and losses (benefits and risks) and how framing, default options, social comparisons, and constrained resources might influence choices (management decisions).41

보건 전문직 교육에 대한 경영 추론 패러다임의 시사점
Implications of a Management Reasoning Paradigm for Health Professions Education

[진단 추론]과 [관리 추론]의 차이점을 고려할 때, 임상의의 경력 전반에 걸쳐 이러한 활동의 개발과 유지를 최적으로 촉진하고 평가하기 위해서는 서로 다른 교육적 접근 방식이 필요할 것으로 추측됩니다.
Given the differences between diagnostic reasoning and management reasoning, we speculate that these activities may require different educational approaches to optimally promote and assess their development and maintenance throughout a clinician’s career.

교육
Teaching

임상 추론을 가르치고 평가하는 것에 대해 우리가 경험적으로 알고 있는 대부분의 내용은 진단 추론에 대한 경험과 연구를 기반으로 합니다. 그러나 관리 추론은 진단 추론과 구별되거나 진단 추론과는 다른 빈도로 요구되는 기술과 하위 과제에 중점을 둡니다. 이러한 [관리 추론 역량]에는 다음이 포함됩니다:
Most of what we know empirically about teaching and assessing clinical reasoning is based on experience and research in diagnostic reasoning. Yet management reasoning focuses on skills and subtasks that are likely distinct from, or required with different frequencies than, those of diagnostic reasoning. These management reasoning competencies include:

  • 의사 결정 과정에 환자 참여
  • 다양한 이해관계자의 잠재적으로 경쟁할 수 있는 우선순위와 선호도를 통합
  • 상황적 제약 고려
  • 다양한 지식 영역(치료 옵션, 위험/편익/비용, 지역 자원 및 제약)을 활용
  • 불확실성을 용인; 불완전한 정보를 바탕으로 결정을 내리되, 가능한 모든 대안을 충분히 고려하지 않는 것을 지양할 필요성(satisficing)
  • 수용 가능한 솔루션의 다양성을 수용
  • 시간 경과에 따른 치료 반응 모니터링
  • 치료 목표와의 편차를 인식
  • 복잡성 수용.
  • involving patients in the decision process;
  • integrating the potentially competing priorities and preferences of various stakeholders;
  • considering contextual constraints;
  • using distinct knowledge domains (treatment options, risks/benefits/costs, and local resources and constraints);
  • tolerating uncertainty, including the need to make decisions based on incomplete information and without exhaustively considering all possible alternatives (“satisficing”);
  • accepting the multiplicity of acceptable solutions;
  • monitoring treatment response over time;
  • recognizing deviations from therapeutic goals; and
  • accepting complexity.

[효과적인 관리]를 위해서는 [의사소통 기술, 검사 및 치료 비용에 대한 지식]과 같은 추가적인 역량이 필요합니다. 또한 관리 추론을 학습하려면 [학습자의 자율성과 핸즈온 연습(예: 환자 및 가족과의 토론 주도, 다양한 효율성의 관리 전략 시도, 시간 경과에 따른 치료 반응 모니터링)]을 강화해야 합니다. 그러나 오늘날의 효율성 중심적이고 안전을 중시하는 의료 환경에서는 이러한 기회가 점점 더 제한되고 있습니다.
Additional competencies, such as communication skills and knowledge of test and treatment costs, are required for effective management. We further suggest that learning management reasoning requires greater learner autonomy and hands-on practice (e.g., leading discussions with patient and family, trying out management strategies of varying efficiency, and monitoring treatment response over time). Yet such opportunities are increasingly constrained in today’s efficiency-focused, safety-conscious health care environment.

평가
Assessment

[관리 추론에 대한 평가]는 복잡성으로 가득 차 있습니다. 일반적으로 두 개 이상의 관리 계획이 방어 가능하기 때문에 관리 오류를 정의하는 것은 진단 오류를 정의하는 것보다 훨씬 더 어렵습니다. 정답이 하나도 없는 상황에서 어떻게 성과를 평가할 수 있을까요? 교육생이 [예상 답안은 아님에도 방어 가능한 관리 계획(즉, 추론은 옳지만 [정답으로 나열되지 않은] "틀린(정답 리스트에 없기 때문에" 행동)]을 제시하면 어떻게 해야 할까요? 시간이 지남에 따라 공동의 의사 결정과 치료 모니터링/조정을 평가해야 할 필요성은 더욱 어려움을 가중시킵니다.
Assessment of management reasoning is fraught with complexities. Since more than one management plan is typically defensible, defining a management error is even more difficult than defining a diagnostic error. How can performance be assessed in the absence of a single correct answer? What if a trainee comes up with an unanticipated yet defensible management plan (i.e., right reasoning but “wrong” [not listed as correct] action)? The need to assess shared decision making and monitoring/adjusting treatment over time adds further difficulty.

구술 시험, 사례 기반 차트 검토, 객관적인 구조화된 임상 검사와 같은 일부 평가는 복잡하고 독특한 관리 계획을 허용하기 위해 개발될 수 있지만, 이러한 모든 평가는 일반적으로 [정답을 가정하는 채점 체계]를 사용합니다. 스크립트 일치도 검사는 임상의의 접근 방식의 불확실성과 다양성을 수용하기 위해 점수를 조정하고자 하지만42, 점수의 타당성에 대한 우려가 제기되고 있습니다.43 많은 관리 기술의 복잡성을 모두 파악하기 위해서는 작업 기반 평가가 필요할 수 있습니다.44-47
Some assessments such as oral exams, case-based chart reviews, and objective structured clinical examinations can be developed to allow for complex and idiosyncratic management plans, but all of these typically employ a grading scheme that presumes a correct answer. The script concordance test aspires to adjust scoring to accommodate uncertainty and variation in clinicians’ approaches42; however, concerns have been raised regarding the validity of its scores.43 Work-based assessment may be required to capture the full complexity of many management skills.44–47

또한 잘못된 추론(예: 올바른 행동, 잘못된 이유)에 근거하여 [겉보기에 수용 가능한 계획]이 제안될 수 있습니다. 따라서 특정 관리 계획의 근간이 되는 인지 과정을 파악하고 평가하는 것은 계획 자체에 대한 평가를 보완할 수 있습니다. [개념 지도]48,49 및 학습자가 자신의 해석과 근거를 명확하게 표현하도록 조사하는 ["미시 분석" 기법]24,50 은 관리 추론에서 작용하는 인지 과정을 평가하는 데 도움이 될 수 있습니다.
Additionally, a seemingly acceptable plan could be proposed based on faulty reasoning (i.e., right action, wrong reason). Thus, identifying and assessing the cognitive processes that underlie a given management plan would complement an assessment of the plan itself. Concept maps48,49 and “microanalytic” techniques that probe learners to articulate their interpretations and rationale24,50 might help in the assessment of the cognitive processes at play in management reasoning.

마지막으로, 적절한 관리에는 종종 사례의 진전에 따라 계획을 모니터링하고 조정하는 것이 포함되므로, 시간 요소를 파악하는 것은 관리 추론을 평가하는 데 있어 특히 어려운 과제입니다. [종이 사례]와 [컴퓨터 기반 가상 환자]를 통해 [시간적 진화를 시뮬레이션]할 수 있지만, 이러한 접근 방식은 실제 관리 상황에서 [장기간에 걸쳐 발생하는 관찰과 숙고]를 반영하지 못할 수 있는 방식으로 시간 차원을 가속화합니다.
Finally, since appropriate management often involves monitoring and adjusting plans as the case evolves, capturing the time element represents a particular challenge in assessing management reasoning. Although paper cases and computer-based virtual patients can simulate temporal evolution, these approaches accelerate the time dimension in ways that may not reflect the prolonged observations and deliberations that occur in real-world management situations.

임상적 변화
Clinical variation

관리 추론에 대한 교육과 평가 모두 적절한 문제 스펙트럼을 제공하기에 충분한 환자 샘플과 상황적 특징이 필요합니다. 교육자는 종종 학습자가 [특정 진단을 받은 환자를 "충분히" 보고 있는지(즉, 환자 혼합)]에 대해 의문을 제기합니다51). 관리 패러다임은 이러한 문제를 [(충분히 다양한) 진단의 전체 스펙트럼]뿐만 아니라 ["충분한" 가치, 선호도, 커뮤니케이션 스타일, 상황적 변화, 시스템 제약 및 여러 솔루션]까지 포함하도록 확장합니다.
Both training in and assessment of management reasoning will require a sample of patients and situational features sufficient to provide an appropriate spectrum of problems. Educators often question whether learners are seeing “enough” patients with a given diagnosis (i.e., the patient mix51). The management paradigm extends this concern to include not only a full spectrum of diagnoses but also “enough” values, preferences, communication styles, contextual variations, system constraints, and multiple solutions.

필요한 연구 분야
Areas of Needed Research

지금까지 대부분의 임상 추론 연구는 진단 추론에 초점을 맞춰 왔으며, 현재 관리 추론에 대한 이해는 여전히 제한적입니다. 특히 우선순위가 높은 연구 분야는 다음 6가지입니다(목록 1).
Most clinical reasoning research to date has focused on diagnostic reasoning, and our current understanding of management reasoning remains limited. We identify the following 6 research areas as particularly high priority (List 1).

첫째, 진단 추론을 연구하는 데 이미 사용된 방법의 이점을 활용할 수 있지만, 관리 추론에 대한 많은 시급한 질문에 답하려면 상당히 새로운 연구 패러다임과 기법이 필요하다고 생각합니다. 연구는 [환자 선호도를 통합]하고, [환자 상태의 시간적 변화]를 고려할 수 있어야 하며, 이는 [전통적인(정적) 비네트, 컴퓨터 가상 환자, 표준화된 환자, 실제 환자의 조합]을 사용하여 달성할 수 있습니다.52-55 관리 추론 결과와 근본적인 인지 과정을 측정하려면 관리 결정의 수용 가능성, 공유 의사 결정의 효과, 계획이 시간에 따라 어떻게 모니터링되고 조정되는지(즉, 종적 치료) 조사하는 새로운 접근 방식이 필요할 것입니다. 정량적 실험 방법은 질적 방법, 비선형 정량적 접근법(복잡성 과학56) 및 기타 새로운 연구 패러다임으로 보완되어야 할 것입니다. 관리 추론 기술의 유지와 실제 진료에서의 적용이 핵심적인 결과가 될 것이지만, 현재까지 관리 추론의 임상적 영향을 입증하는 증거는 거의 없습니다. 환자 결과는 진단 결정보다 관리 조치에 더 직접적인 영향을 받기 때문에 관리 추론에 대한 조사는 임상 결과를 사용하는 교육 연구에 공통적인 몇 가지 한계를 극복할 수 있습니다.57
First, although research will benefit from methods already used to study diagnostic reasoning, we believe that answering many of the pressing questions about management reasoning will necessitate substantially new research paradigms and techniques. Research must allow for integration of patient preferences and for the temporal evolution of the patient’s condition; this might be accomplished using combinations of traditional (static) vignettes, computerized virtual patients, standardized patients, and real patients.52–55 Measurement of management reasoning outcomes and underlying cognitive processes will require novel approaches that examine the acceptability of management decisions, the effectiveness of shared decision making, and how plans are monitored and adjusted over time (i.e., longitudinal care). Quantitative experimental methods will need to be complemented by qualitative methods, nonlinear quantitative approaches (complexity science56), and other emerging research paradigms. Retention of management reasoning skills, and application in real-life practice, will be key outcomes; to date, there is little evidence documenting the clinical impact of management reasoning. Since patient outcomes are more directly influenced by management actions than by diagnostic decisions, investigations of management reasoning might overcome some of the limitations common to education research that uses clinical outcomes.57

둘째, 관리 추론은 비분석적 과정(자동, 시스템 1)과 분석적 과정(의도적, 노력적, 시스템 2)의 균형을 반영한다고 가정하지만, 상대적 기여도는 아직 알려지지 않았습니다. [진단 추론]에 대한 연구에 따르면 [초보 수련의]는 분석적 추론에 더 많이 의존하는 반면, [전문가]는 일반적으로 비분석적 추론을 더 많이 사용합니다.5,9,11 그러나 관리 추론이 본질적으로 진단적 추론보다 더 분석적(의도적, 계획적, 체계적)일 수 있다는 것은 그럴듯해 보입니다. 치료 비용과 혜택에 대한 명시적인 고려, 관리 결정을 안내하는 루브릭 사용, 사려 깊은 공유 의사 결정은 모두 느리고 신중한 프로세스를 시사합니다. 또한 각 환자의 고유한 상황과 선호도로 인해 진단보다 관리에서 패턴을 쉽게 식별하고 정리하기 어려울 수 있습니다. 현대의 관리 추론은 종종 인간과 컴퓨터(예: 현장 진료 지식 리소스 및 의사 결정 지원 시스템58-60) 간의 상호 작용을 포함하며, 이는 복잡성을 더욱 가중시킵니다. 이러한 가정이 어느 정도 사실인지, 그리고 이러한 효과가 임상 상황에 따라 어떻게 달라지고 임상의의 선호도, 무의식적 편견, 전문성 수준에 따라 어떻게 영향을 받는지는 더 연구해 볼 필요가 있습니다. 
Second, we presume that management reasoning reflects a balance of nonanalytical processes (automatic; system 1) and analytical processes (deliberate, effortful; system 2), yet the relative contributions remain unknown. Research in diagnostic reasoning suggests that novice trainees rely more on analytical reasoning, whereas experts typically use more nonanalytical reasoning.5,9,11 However, it seems plausible that management reasoning may be inherently more analytic (deliberate, planned, and systematic) than diagnostic reasoning. Explicit consideration of treatment costs and benefits, use of rubrics to guide management decisions, and thoughtful shared decision making all suggest a slow, deliberate process. Moreover, each patient’s unique circumstances and preferences may make patterns less readily discerned and compiled in management than in diagnosis. Modern management reasoning often involves interactions between humans and computers (e.g., point-of-care knowledge resources and decision support systems58–60), which add further layers of complexity. The extent to which these suppositions are true, and how these effects vary across clinical contexts and are influenced by clinicians’ preferences, unconscious biases, and levels of expertise, merits further exploration.

셋째, 특정 분야의 진단 추론은 해당 영역에 대한 지식과 밀접하게 연결되어 있으며, 즉 [진단 능력]은 [일반적인 기술]이라기보다는 [내용 및 맥락에 따라 달라집니다]. 이는 [관리 추론]에서도 크게 다르지 않을 것으로 추정됩니다. 그러나 관리 작업의 일부 측면이 콘텐츠 영역(임상 문제 및 환경)에 걸쳐 일반화될 수 있습니다. 여기에는 공유된 의사 결정, 비용을 고려한 치료, 후속 조치 모니터링, 불확실성 수용 및 "충분히 좋은" 진단과 계획에 대한 일반적인 접근 방식이 포함될 수 있습니다. 물론 좋은 진단과 좋은 관리에는 모두 좋은 정보가 필요합니다. 근거 기반 의학 분야는 환자 중심 치료에서 경험적 증거를 식별, 평가 및 적용하는 접근 방식을 명확히 해왔습니다. 관리 추론의 개념화는 처음 두 단계(식별 및 평가)의 성취를 전제로 하며 마지막 단계(적용)를 자세히 설명합니다.
Third, diagnostic reasoning in a given field is tightly linked with knowledge of that domain; that is, diagnostic ability is content- and context-specific rather than a general skill. We presume that this is largely true for management reasoning as well. However, it is possible that some aspects of the management task generalize across content domains (clinical problems and settings). These might include general approaches to shared decision making, cost-conscious care, monitoring of follow-up, and accepting uncertainty and a “good enough” diagnosis and plan. Of course, good diagnosis and good management both require good information. The field of evidence-based medicine has clarified approaches to identifying, appraising, and applying empirical evidence in patient-centered care. Our conceptualization of management reasoning presumes achievement of the first 2 steps (identifying and appraising) and elaborates upon the last (applying).

넷째, 공유 의사결정은 임상 의학61-63 및 의학교육64-66 분야에서 활발히 연구되고 있는 분야이며, 이러한 연구를 통해 얻은 통찰력을 통해 경영 추론에 대한 이해가 더욱 풍부해질 것입니다. 임상의의 개인적 선호도도 중요하지만,67-69 이러한 선호도를 파악하고 적절히 수용하는 방법은 아직 불완전하게 이해되고 있습니다.70-72 의료 기관과 사회의 가치와 우선순위를 수용하는 것도 마찬가지입니다. 
Fourth, shared decision making is an area of active research in both clinical medicine61–63 and medical education,64–66 and our understanding of management reasoning will be enriched by the insights that emerge from such studies. The personal preferences of the clinician are also important,67–69 yet how to identify and appropriately accommodate such preferences remains incompletely understood.70–72 The same is true for accommodating the values and priorities of the health care institution and of society.

다섯째, 우리는 관리 추론을 최적으로 가르치거나 평가하는 방법을 모릅니다. 교육에는 공유된 의사 결정, 이해관계자 선호도 통합, 치료 반응 모니터링, 복잡성 수용, 불완전한 정보에 따른 행동과 같은 기술에 대한 더 많은 관심이 수반될 수 있습니다. 교육 연속체 내에서 교육 전략과 교육 시기는 모두 신중하게 고려하고 연구해야 합니다. 위에서 제안한 바와 같이, 관리 추론의 평가에는 여러 방어 가능한 솔루션을 수용하고 공유된 의사 결정과 시간 경과에 따른 치료 모니터링 및 조정 능력을 평가하는 혁신적인 접근 방식이 필요합니다. 최근 임상적 추론의 평가 방법에 대한 검토에서 확인된 옵션이 유용할 수 있습니다.73 
Fifth, we do not know how to optimally teach or assess management reasoning. Training might entail increased attention to skills such as shared decision making, integrating stakeholder preferences, monitoring treatment response, accepting complexity, and acting on incomplete information. Both instructional strategies and timing of instruction within the training continuum will need to be thoughtfully considered and studied. As we suggested above, assessment of management reasoning will require innovative approaches that accommodate multiple defensible solutions and that assess shared decision making and the ability to monitor and adjust treatment over time. Options identified in a recent review of methods for assessment of clinical reasoning may prove useful.73

마지막으로, 임상 진료에서 효과적이고 효율적인 관리 추론을 지원하는 방법에 대한 우리의 이해는 불완전합니다. 관리가 실제로 진단보다 더 분석적이고 인지 패턴의 발달이 느리다면, 많은 [관리 작업의 인지 부하]가 최적의 성과를 위한 수준을 초과할 가능성이 높습니다. [인지 과부하]는 결국 비효율성(느린 성능), 인지적 지름길 및 오류, 그리고/또는 임상의와 환자 모두에게 불만을 초래할 수 있습니다. 임상 분야의 연구와 혁신은 이미 임상 추론을 실제로 지원하는 방법의 문제점과 잠재적 해결책을 모두 확인했습니다.4,74-76 [진단 추론] 및 [관리 추론]이라는 서로 다른 렌즈를 통해 이러한 문제를 바라보면 추가적인 통찰력을 얻을 수 있습니다. 
Finally, our understanding is incomplete regarding how to support effective, efficient management reasoning in clinical practice. If management is indeed more analytic than diagnosis, and if cognitive patterns are slow to develop, then the cognitive load of many management tasks likely exceeds the level for optimal performance. Cognitive overload, in turn, may result in inefficiency (slow performance), cognitive shortcuts and errors, and/or frustration for both clinicians and patients. Research and innovations in clinical practice have already identified both problems and potential solutions in how to support clinical reasoning in practice.4,74–76 Viewing these issues through the distinct lenses of diagnostic and management reasoning may facilitate additional insights.


 

 

Acad Med. 2019 Sep;94(9):1310-1316. doi: 10.1097/ACM.0000000000002768.

 

Management Reasoning: Implications for Health Professions Educators and a Research Agenda

Affiliations collapse

1D.A. Cook is professor of medicine and medical education, director of education science, Office of Applied Scholarship and Education Science, and consultant, Division of General Internal Medicine, Mayo Clinic College of Medicine and Science, Rochester, Minnesota; ORCID: http://orcid.org/0000-0003-2383-4633. S.J. Durning is professor of medicine and director, Division of Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, Maryland. J. Sherbino is assistant dean, Health Professions Education Research, Faculty of Health Sciences, and professor, Department of Medicine, McMaster University, Hamilton, Ontario, Canada. L.D. Gruppen is professor, Department of Learning Health Sciences, and director, Master of Health Professions Education Program, University of Michigan Medical School, Ann Arbor, Michigan.

PMID: 31460922

DOI: 10.1097/ACM.0000000000002768

Abstract

Substantial research has illuminated the clinical reasoning processes involved in diagnosis (diagnostic reasoning). Far less is known about the processes entailed in patient management (management reasoning), including decisions about treatment, further testing, follow-up visits, and allocation of limited resources. The authors' purpose is to articulate key differences between diagnostic and management reasoning, implications for health professions education, and areas of needed research.Diagnostic reasoning focuses primarily on classification (i.e., assigning meaningful labels to a pattern of symptoms, signs, and test results). Management reasoning involves negotiation of a plan and ongoing monitoring/adjustment of that plan. A diagnosis can usually be established as correct or incorrect, whereas there are typically multiple reasonable management approaches. Patient preferences, clinician attitudes, clinical contexts, and logistical constraints should not influence diagnosis, whereas management nearly always involves prioritization among such factors. Diagnostic classifications do not necessarily require direct patient interaction, whereas management prioritizations require communication and negotiation. Diagnoses can be defined at a single time point (given enough information), whereas management decisions are expected to evolve over time. Finally, management is typically more complex than diagnosis.Management reasoning may require educational approaches distinct from those used for diagnostic reasoning, including teaching distinct skills (e.g., negotiating with patients, tolerating uncertainty, and monitoring treatment) and developing assessments that account for underlying reasoning processes and multiple acceptable solutions.Areas of needed research include if and how cognitive processes differ for management and diagnostic reasoning, how and when management reasoning abilities develop, and how to support management reasoning in clinical practice.

학부의학교육에서 임상추론 교육과정 내용에 대한 합의문(Med Teach, 2021)
Consensus statement on the content of clinical reasoning curricula in undergraduate medical education
Nicola Coopera , Maggie Bartlettb , Simon Gayc , Anna Hammondd, Mark Lillicrape, Joanna Matthanf , Mini Singhg On behalf of the UK Clinical Reasoning in Medical Education (CReME) consensus statement group

 

 

소개
Introduction

임상 추론은 '임상의가 환자를 진단하고 치료하기 위해 데이터를 [관찰, 수집, 해석]하는 [기술, 과정 또는 결과]로 정의할 수 있습니다. 임상 추론은 [환자의 고유한 상황과 선호도, 진료 환경의 특성]과 같은 [맥락적 요인]과 상호작용하는 [의식적 및 무의식적 인지 작용]을 수반합니다'(Daniel 외. 2019).
Clinical reasoning can be defined as, A skill, process, or outcome wherein clinicians observe, collect and interpret data to diagnose and treat patients. Clinical reasoning entails both conscious and unconscious cognitive operations interacting with contextual factors such as the patient’s unique circumstances and preferences and the characteristics of the practice environment (Daniel et al. 2019).


임상 추론은 특히 [진단 오류]와 관련하여 임상 실습에서 중요하기 때문에 교육자들이 관심을 갖는 주제입니다. 진단 오류는 흔한 질병에서 발생하는 경향이 있으며(Gunderson 외. 2020), 전 세계적으로 환자에게 예방 가능한 피해를 입히는 중요한 원인입니다(Tehrani 외. 2013; 세계보건기구 2016). [사용 가능한 모든 정보를 올바르게 종합하지 못하거나 신체 검사 결과 또는 검사 결과를 적절하게 사용하지 못하는] 등의 [인지적 실패]가 대부분의 [진단 오류]에 기여하는 것으로 밝혀졌습니다(Graber 외. 2005). 미국 의학 아카데미의 중요한 보고서인 '의료 진단의 개선'(2015)에 따르면 의료의 질과 안전을 개선하기 위한 노력에서 진단 및 진단 오류가 크게 인식되지 않고 있다고 합니다. 이 보고서는 학습 과학의 증거에 부합하는 교육적 접근 방식을 사용하여 진단 과정에서의 교육을 명시적으로 다루는 커리큘럼을 요구했습니다.
Clinical reasoning is of interest to educators because of its importance in clinical practice, particularly in relation to diagnostic error. Diagnostic errors tend to occur in common diseases (Gunderson et al. 2020) and are a significant cause of preventable harm to patients worldwide (Tehrani et al. 2013; World Health Organization 2016). Cognitive failures, such as failure to synthesise all the available information correctly or failure to use the physical examination findings or test results appropriately, have been found to contribute to the majority of diagnostic errors (Graber et al. 2005). The National Academy of Medicine’s seminal report Improving Diagnosis in Health Care (2015) found that diagnosis and diagnostic errors have been largely unappreciated in efforts to improve the quality and safety of healthcare. It called for curricula to explicitly address teaching in the diagnostic process using educational approaches that are aligned with evidence from the learning sciences.

학부 의학 커리큘럼은 병력 청취, 신체 검사, 감별 진단 등 [진단 과정의 기본 요소]에 대한 교육을 제공합니다. 그러나 학생과 대학원 수련생은 효과적인 임상 추론에 필요한 지식, 기술 및 행동을 경험과 견습을 통해 [암묵적으로 습득]하는 경우가 많습니다(Graber 외. 2018). 정확한 진단을 위해서는 역학, 기초 과학 및 임상의학에 대한 지식이 필요하지만, 임상 추론의 몇 가지 구성 요소가 설명되어 있습니다. 각 구성 요소에는 특정 지식, 기술 및 행동이 필요하지만 일부 커리큘럼에서는 명시적으로 강조되지 않을 수 있습니다. 예를 들면, 다음이 있습니다.

  • 진단 검사 결과의 정확한 해석(Whiting 외. 2015),
  • 진단 정확도와 상관관계가 있는 문제 표현 생성(Bordage 1994),
  • 환자의 결과를 개선하는 공유된 의사 결정(미국 과학, 공학 및 의학 아카데미 2015) 

미국 의과대학을 대상으로 실시한 한 설문조사에서 내과 임상실습 책임자의 84%는 학생들이 주요 임상 추론 개념에 대한 지식이 부족하거나 기껏해야 보통 정도 수준으로 임상실습에 들어갔으며, 대부분의 교육기관에서 이러한 주제에 대한 세션이 부족하다고 답했으며, 그 이유로 [시간과 교수진의 전문성 부족]을 꼽았습니다(Rencic 외. 2017). 진단과 관련된 교육에 관한 출판된 문헌을 검토한 Graber 등(2018)은 기존 교육 프로그램이 진단 안전에 관한 적절한 교육을 제공하지 못할 수 있음을 발견했습니다.
Undergraduate medical curricula provide instruction in the basic elements of the diagnostic process, for example taking a history, performing a physical examination, and generating a differential diagnosis. However, students and postgraduate trainees largely learn the knowledge, skills and behaviours required for effective clinical reasoning implicitly, through experience and apprenticeship (Graber et al. 2018). While accurate diagnosis requires knowledge of epidemiology, basic sciences and clinical medicine, several components of clinical reasoning have been described. They each require specific knowledge, skills and behaviours but may not be explicitly emphasised in some curricula. Examples include:

  • accurate interpretation of diagnostic test results, which has been shown to be poor (Whiting et al. 2015);
  • generating a problem representation, which correlates with diagnostic accuracy (Bordage 1994); and
  • shared decision making, which improves outcomes for patients (National Academies of Sciences, Engineering, and Medicine 2015).

In one survey of US medical schools, 84% of internal medicine clerkship directors indicated that students entered clinical clerkships with poor, or at best fair, knowledge of key clinical reasoning concepts and most institutions lacked sessions dedicated to these topics, citing lack of both time and faculty expertise (Rencic et al. 2017). In reviewing the published literature on education related to diagnosis, Graber et al. (2018) found that existing training programmes may not provide adequate education regarding diagnostic safety.

의과대학 및 대학원 수련 프로그램에서 임상 추론을 현재의 근거에 부합하는 [체계적인 접근 방식]을 채택하여 프로그램의 [각 학년별 과정에 명시적으로 통합된 방식으로 가르쳐야 한다]는 공감대가 확산되고 있습니다(Trowbridge 외. 2015). 그러나 임상 추론 문헌은 '단편적'으로 기술되어 있어(Young 등. 2018) 의학교육자가 접근하고 채택하기 어려울 수 있습니다. 전문가 합의와 최신 근거에 대한 검토를 바탕으로 무엇을 어떻게 가르쳐야 하는지를 모두 다루는 임상 추론 커리큘럼은 거의 존재하지 않습니다. 따라서 이 백서의 목적은 의학 교사, 커리큘럼 기획자 및 정책 입안자에게 학부 의학교육에서 임상 추론 커리큘럼의 내용에 대한 실질적인 권장 사항을 제공하는 것입니다. 이러한 권장 사항은 향후 연구를 위한 프레임워크도 제공할 수 있습니다. 임상 추론 평가 방법에 대한 실용적인 권장 사항은 다른 곳에서 발표되었습니다(Daniel 외. 2019).
There is a growing consensus that medical schools and postgraduate training programmes should teach clinical reasoning in a way that is explicitly integrated into courses throughout each year of the programme, adopting a systematic approach consistent with current evidence (Trowbridge et al. 2015). However, the clinical reasoning literature has been described as ‘fragmented’ (Young et al. 2018) and consequently can be difficult for medical educators to access and adopt. Few published clinical reasoning curricula exist covering both what should be taught and how it should be taught, based on expert consensus and a review of current evidence. The purpose of this paper is therefore to provide medical teachers, curriculum planners and policy makers with practical recommendations on the content of clinical reasoning curricula in undergraduate medical education. These recommendations may also provide a framework for future research. Practical recommendations for clinical reasoning assessment methods have been published elsewhere (Daniel et al. 2019).

방법
Methods

이 백서의 권장사항은 영국 임상 추론 의학교육 그룹(CReME)의 회원들이 12개월에 걸친 일련의 회의를 통해 개발했습니다. CReME는 영국 의과대학의 절반 이상을 대표하는 사람들로 구성되어 있으며, 이들 중 다수는 학부 의학 커리큘럼과 임상 추론 교육에 대한 구체적인 책임도 가지고 있습니다. 권고안을 개발하기 위해 3단계 접근 방식이 사용되었습니다. 첫 번째 단계에서는 12개 의과대학의 20명이 하루 종일 회의에 참석하여 의과대학에서 제공해야 할 임상 추론 관련 교육 목록(무엇을 가르쳐야 할 것인가)을 파악했습니다. 제출된 모든 아이디어를 공유하고 토론하여 중복되는 내용을 제거하고, 토론 내용을 바탕으로 필요한 경우 추가 내용을 추가했습니다. 이 과정을 거쳐 30개의 아이디어가 기록되었습니다. 이러한 아이디어는 임상 추론 교육의 5가지 영역으로 분류한 다음 영국 일반 의학 교육 과정과 매핑했습니다. 
The recommendations in this paper were developed by members of the UK Clinical Reasoning in Medical Education group (CReME) in a series of meetings over a twelve-month period. CReME consists of representatives from over half of UK medical schools, many of whom also have specific responsibility for undergraduate medical curricula and clinical reasoning education. A three-stage approach was used to develop the recommendations. In the first stage, 20 members from 12 medical schools attended a whole-day meeting to identify a list of clinical reasoning-specific teaching that should be delivered by medical schools (what to teach). All the submitted ideas were shared and discussed, duplicates removed, and further content added if required, based on the discussions. Following this process, 30 ideas were recorded. These were grouped into five domains of clinical reasoning education and then mapped against the UK General Medical Council’s ‘Outcomes for Graduates’ (General Medical Council 2018) to allow educators to see how they might fit into a curriculum mapping process.

두 번째 단계에서는 의대생의 임상 추론 능력 향상에 효과적인 교수 전략(교수법)을 파악하기 위해 문헌 고찰을 실시하였습니다. 문헌 고찰은 '임상 추론', '임상 의사결정', '진단 추론', '진단 의사결정', '의대생', '교육', '커리큘럼' 등의 용어를 사용하여 전자 데이터베이스 MEDLINE, PsycINFO, CINAHL, EMBASE, ERIC 및 Google Scholar를 통해 최근 30년 이내에 발표된 영어 논문을 대상으로 수행되었습니다. 의대생의 임상 추론 능력을 향상시키기 위해 고안된 교육 중재를 설명하고 경험적 결과를 기술한 영어 논문도 포함되었습니다. 학생/교수 평가 유무에 관계없이 임상 추론 교육에 대한 특정 접근법을 설명하는 논문은 제외되었습니다. 이러한 포함 및 제외 기준에 따라 27개의 적격 논문이 선정되었습니다. 포함된 연구들은 다양한 연구 설계를 사용하여 광범위한 전략을 설명했기 때문에 합의문을 알리기 위한 목적으로 연구 결과를 분류하고 설명하는 것 외에 체계적으로 정리하려는 시도는 하지 않았습니다. PRISMA 도표는 보충 파일 2에 나와 있습니다. 포함 기준을 충족하지 못했지만 인용된 근거(예: 리뷰 논문)도 권고안을 알리는 데 사용되었습니다. 
In the second stage, a literature review was conducted to identify teaching strategies that are successful in improving the clinical reasoning ability of medical students (how to teach). The literature review was conducted of English language papers published within the last 30 years through the electronic databases MEDLINE, PsycINFO, CINAHL, EMBASE, ERIC and Google Scholar using the terms ‘clinical reasoning’ OR ‘clinical decision making’ OR ‘diagnostic reasoning’ OR ‘diagnostic decision making’ AND ‘medical students’ OR ‘teaching’ OR ‘curriculum’. English language articles that described a teaching intervention designed to improve clinical reasoning ability among medical students, which also described empirical findings, were included. Articles that merely described a particular approach to teaching clinical reasoning, with or without student/faculty evaluation, were excluded. These inclusion and exclusion criteria resulted in 27 eligible articles. The included studies described a wide range of strategies, using variable study designs, so no attempt was made to systematically organise the findings other than to categorise and describe them with the purpose of informing the consensus statement. A PRISMA diagram is shown in Supplementary File 2. Articles that did not meet the inclusion criteria but cited evidence (e.g., review articles) were also used to inform the recommendations.


마지막 단계에서는 이러한 연구 결과를 바탕으로 학부 임상 추론 커리큘럼의 내용에 대한 실질적인 권고안을 합의문 형태로 작성하여 합의문 그룹의 모든 구성원에게 배포하여 의견을 구했습니다. 이 최종 반복 과정은 이메일 토론을 통해 진행되었습니다. 그런 다음 최종 성명서를 작성하고 저자들이 승인했습니다. 
In the final stage, practical recommendations for the content of undergraduate clinical reasoning curricula were made based on these findings in the form of a consensus statement and the text was circulated to all the members of the consensus statement group for comments. This final iterative process was undertaken through e-mail discussions. The final statement was then written and approved by the authors.

결과
Results

임상 추론 교육의 영역(무엇을 가르칠 것인가)
Domains of clinical reasoning education (what to teach)

합의된 의견은 임상 추론 교육의 다섯 가지 영역으로 분류되었습니다:
The agreed consensus ideas were grouped in to five domains of clinical reasoning education:

  1. 임상 추론 개념
  2. 병력 및 신체 검사
  3. 진단 검사 선택 및 해석
  4. 문제 식별 및 관리
  5. 공유된 의사 결정.
  6. Clinical reasoning concepts
  7. History and physical examination
  8. Choosing and interpreting diagnostic tests
  9. Problem identification and management
  10. Shared decision making.

이러한 영역은 표 1과 아래 텍스트에서 자세히 설명합니다. 부록 파일 1에는 영국 일반의협의회의 '졸업생 성과'(일반의협의회 2018)에 매핑된 개별 합의 아이디어가 나열되어 있으며, 5년 프로그램 동안 언제 교육해야 하는지에 대한 제안도 포함되어 있습니다.
These domains are expanded on in Table 1 and in the text below. Supplementary File 1 lists the individual consensus ideas, mapped against the UK General Medical Council’s ‘Outcomes for Graduates’ (General Medical Council 2018), and also includes suggestions for when to teach during a 5 year programme.

임상 추론 개념
Clinical reasoning concepts

의미 있는 토론과 학습을 촉진하기 위해서는 교사와 학습자 모두 [임상 추론에 대한 정의, 어휘 및 개념]을 공유하는 것이 중요합니다(Wu 2018). 주요 이론(예: 스크립트, 이중 과정), 임상 추론 능력의 발달 과정, 진단 오류의 문제, 환자를 위한 안전하고 효과적인 치료에서 임상 추론의 역할, 인지 오류 및 임상 추론 과정 또는 결과를 손상시킬 수 있는 기타 요인은 의과대학에서 가르쳐야 하며 프로그램 전반에 걸쳐 과정에 통합되어 있어야 합니다.

It is important for both teachers and learners to have a shared definition, vocabulary and concepts for clinical reasoning in order to facilitate meaningful discussion and learning (Wu 2018). Key theories (e.g., script, dual process), how clinical reasoning ability develops, the problem of diagnostic error, the role of clinical reasoning in safe and effective care for patients, cognitive errors and other factors that may impair the clinical reasoning process or outcome should be taught in medical schools and integrated into courses throughout the programme.

병력 및 신체 검사
History and physical examination

[효과적인 의사소통 기술]은 환자, 친척 또는 보호자로부터 정보를 이끌어내고 신뢰를 얻는 데 필수적입니다. 학부 의학교육의 의사소통 커리큘럼 내용에 대한 영국 합의 성명서(Noble 외. 2018)는 의사소통 기술 개발을 위한 프레임워크를 제시하고 핵심 내용을 권장합니다. 또한 졸업 시점에 학습자는 환자의 병력이 환자 이외의 출처(예: 친척, 간병인, 구급차 시트, 의료 기록)에서도 나올 수 있다는 점을 인식해야 합니다. 학습자는 [의도적으로 정보를 수집]하고 [가설 중심의 질문]을 통해 환자의 증상을 탐색할 수 있어야 합니다(Hasnain 외. 2001). 이는 가설을 확인하거나 반박하기 위해 [신체 검사 결과를 예상]하고, 실제 진단에 도달하거나 새로운 가설을 생성하기 위해 결과를 도출하고 해석하는 [신체 검사 기동을 수행해야 하는 신체 검사로 확장]됩니다(Yudkowsky 외. 2009).
Effective communication skills are vital in eliciting information and gaining trust from a patient, relative or carer. The UK consensus statement on the content of communication curricula in undergraduate medical education (Noble et al. 2018) presents a framework and recommends key content for the development of communication skills. In addition, by graduation, learners should appreciate that a patient’s history may also come from sources other than the patient (e.g., relatives, carers, ambulance sheet, medical records). They should be able to purposefully gather information and explore patients’ symptoms through hypothesis-driven enquiry (Hasnain et al. 2001). This extends to the physical examination which should involve anticipating physical examination findings to confirm or refute hypotheses and performing physical examination manoeuvres to elicit and interpret findings in order to reach a working diagnosis or generate new hypotheses (Yudkowsky et al. 2009).

학습자는 역학에 대한 지식, 특정 질병에서 특정 증상 및 징후가 나타날 확률(상자 1의 예시 참조) 및 해당되는 경우 가능성 비율을 사용하여 [병력 및 신체검사의 데이터를 정확하게 종합]하여 [질병의 임상적 확률을 판단]할 수 있어야 합니다. 초기에는 질병에 대한 일반적인 설명과 간단한 특징 목록을 가르칠 수 있지만, 졸업할 때까지 학습자는 현지 상황과 관련하여 [많은 환자가 교과서에 설명된 질병의 전형적인 특징을 나타내지 않는다]는 것을 명확하게 이해해야 합니다(Manzoor 및 Redelmeier 2019). 학습자는 정상 결과와 부수적인 소견을 포함한 진단 검사 결과를 정확하게 해석하기 위해 질병의 임상적 확률을 추정할 수 있어야 합니다. 
Learners should be able to accurately synthesise data from the history and physical examination to judge the clinical probability of disease using their knowledge of epidemiology, the probability of the presence of particular symptoms and signs in specific diseases (see example in Box 1) and likelihood ratios, where relevant. While typical presentations of diseases and simple lists of features may be taught in the early years, by graduation learners should have a clear understanding, relevant to their local context, that many patients do not present with the classical features of diseases as described in textbooks (Manzoor and Redelmeier 2019). Learners need to be able to estimate the clinical probability of disease in order to be able to accurately interpret diagnostic test results, including normal results and incidental findings.

 

진단 검사 선택 및 해석
Choosing and interpreting diagnostic tests

졸업 시 학습자는 [임상(검사 전) 확률, 민감도 및 특이도, 검사 후 확률, 질병 유병률, 예측값, 검사 결과에 영향을 미치는 질병 이외의 요인, 현지 상황과 관련된 일반적으로 사용되는 검사의 중요한 특징] 등의 개념에 대한 실질적인 이해를 입증할 수 있어야 합니다. 학습자는 많은 검사 결과가 임상 소견에 비추어 [해석이 필요하다는 것]을 알고 임상 추론 과정에서 이 지식을 적용할 수 있어야 합니다. 학습자는 특정 검사가 어떤 질문에 답할 수 있는지에 대한 지식을 바탕으로 조사를 제안할 수 있어야 하며, 적절한 조사에 관한 결정을 돕기 위해 근거 기반 지침 및 의사 결정 보조 도구를 사용할 수 있어야 합니다.
By graduation, learners should be able to demonstrate a practical understanding of concepts such as clinical (pre-test) probability, sensitivity and specificity, post-test probability, prevalence of disease, predictive values, factors other than disease that influence test results and important characteristics of commonly used tests relevant to their local context. Learners should know that many test results require interpretation in the light of clinical findings and they should be able to apply this knowledge during the clinical reasoning process. They should be able to suggest investigations based on knowledge of what question a particular test can answer, and be able to use evidence-based guidelines and decision aids to assist in their decisions regarding appropriate investigations.

문제 식별 및 관리
Problem identification and management

졸업 시 학습자는 [문제 표현을 정확하게 공식화]하고, 이를 바탕으로 ['반드시 놓치지 말아야 할' 진단을 포함하여 우선순위를 정하여 감별 진단을 구성]할 수 있어야 합니다. 때로는 [두 가지 이상의 문제]가 있을 수 있으며, 이러한 상황에서 학습자는 문제 목록을 구성할 수 있어야 합니다. 잠재적 진단을 생각하기 전에 [의미적 한정어와 정확한 의학 용어를 사용하여 문제를 명확하게 '캡슐화'하는 능력]은 사례와 관련된 장기 기억에서 지식을 구성하고 검색하는 데 도움이 되는 중요한 기술이며, 특히 복잡한 사례에서 진단 정확도를 높이는 것과 관련이 있습니다(Bordage 1994).
By graduation, learners should be able to accurately formulate a problem representation and, based on this, construct a prioritised differential diagnosis, including relevant ‘must-not-miss’ diagnoses. Sometimes there is more than one problem, and in these situations learners need to be able to construct a problem list. The ability to ‘encapsulate’ a problem clearly, using semantic qualifiers and precise medical terms, before thinking through potential diagnoses, is an important skill that helps to organise and retrieve knowledge from long term memory relevant to the case and is associated with higher diagnostic accuracy, particularly in complex cases (Bordage 1994).

때로는 진단을 내릴 수 없는 경우도 있으므로 학습자는 [진단의 불확실성을 관리하는 방법]을 배워야 합니다(Ilgen 외. 2019; Gheihman 외. 2020). 학습자는 졸업 시점에 이 환자에게 [가장 가능성이 높은 진단이 무엇인지, 안전하게 배제할 수 있는 진단은 무엇인지, 드물지만 반드시 배제해야 하는 심각한 진단은 없는지] 결정할 수 있어야 합니다(Murtagh 1990). 이러한 상황에서는 '이 환자의 상태가 얼마나 좋은가, 좋지 않은가' 또는 '선배 동료를 참여시켜야 하는가, 얼마나 긴급한가'와 같은 결정이 내려질 수 있으며, 고급 학습자에게는 이러한 상황에서 감독하에 결정을 내릴 수 있는 기회가 제공되어야 합니다. 
Sometimes, it is not possible to make a diagnosis and learners must learn to manage diagnostic uncertainty (Ilgen et al. 2019; Gheihman et al. 2020). By graduation, learners should be able to decide what is the most likely diagnosis for this patient at this point in time, what can be safely excluded and whether there are any rare but serious diagnoses that must be excluded (Murtagh 1990). At such times the decision may be, ‘How well or unwell is this patient?’ or ‘Should I involve a senior colleague and how urgently?’ and advanced learners need to be provided with opportunities to make supervised decisions in these situations.

임상 추론 문헌에서는 결과가 진단으로 간주되는 경우가 많지만, 임상에서는 그렇지 않은 경우가 많습니다(Ilgen 외. 2016; Cook 외. 2018). 적절한 관리 계획의 개발은 때때로 문제 목록이나 감별 진단보다 더 복잡할 수 있습니다. [진단]은 환자의 증상과 징후 또는 진단 검사에 의해 결정되며, 여기에는 식별 가능한 문제, 해결책 및 상호 작용하는 요인의 범위가 한정되어 있습니다. 그러나 특정 진단에 대해 [다양한 잠재적 관리 옵션]이 있을 수 있으며, 모든 옵션이 적절할 수 있지만 환자 선호도, 동반 질환, 자원, 비용 효율성 및 지역 정책을 포함한 여러 요인에 따라 달라질 수 있습니다. 학습자는 관리 계획을 수립하는 과정에서 이러한 요소를 고려할 수 있어야 합니다(Cook 외. 2018).
In the clinical reasoning literature, the outcome is often considered to be the diagnosis, but this is often not the case in clinical practice (Ilgen et al. 2016; Cook et al. 2018). The development of an appropriate management plan may sometimes be more complex than that of a problem list or differential diagnosis. Diagnoses are determined by a patient’s symptoms and signs or diagnostic tests, in which there is a finite range of identifiable problems, solutions and interacting factors. However, for any given diagnosis, there may be numerous potential management options, all of which may be appropriate but dependent on a number of factors including patient preferences, co-morbidities, resources, cost-effectiveness and local policies. The learner needs to be able to take these factors into account in the process of formulating a management plan (Cook et al. 2018).

또한 학습자는 [메타인지적 지식과 비판적 사고]를 사용하여 성과를 개선할 수 있어야 합니다(Krathwohl 2002; Olson, Rencic 등, 2019). 영국에서는 시스템과 인적 요인에 중점을 둔 환자안전 교육이 학부 및 대학원 의학교육에서 확립되고 있지만(General Medical Council 2015), 효과적인 임상 추론을 위해서는 인지 전략에도 중점을 두어야 합니다. 가이드 반영은 진단 성과를 개선하고 임상 지식의 학습을 촉진하는 것으로 나타났으며(Chamberland 외. 2015; Prakash 외. 2019), 이 과정은 교육자가 촉진해야 합니다.  
Learners should also be able to use metacognitive knowledge and critical thinking to improve their performance (Krathwohl 2002; Olson, Rencic, et al. 2019). In the UK, patient safety training, with a focus on systems and human factors, is becoming established in undergraduate and postgraduate medical education (General Medical Council 2015), but effective clinical reasoning also requires a focus on cognitive strategies. Guided reflection has been shown to improve diagnostic performance and foster the learning of clinical knowledge (Chamberland et al. 2015; Prakash et al. 2019) and this process should be facilitated by educators.

공유된 의사 결정
Shared decision making

학습자는 졸업할 때까지 [공동 의사 결정]에 필요한 기술을 개발해야 합니다. 공동 의사결정을 위해서는 [효과적인 의사소통과 타인의 가치를 파악하고 이해하는 능력]이 필요합니다(Elwyn 외. 2012; Fulford 외. 2012). [관리 의사결정]은 종종 환자 및 보호자와 공동으로 이루어지지만, [공유 의사결정은 팀, 근거 기반 지침, 기술, 점수 및 의사결정 보조 도구도 의미합니다]. 학습자는 실제 상황에서 지식은 '머릿속에 있는 것'이 아니라 사람, 컴퓨터, 책, 기타 도구 또는 도구를 통해 환경 전체에 분산되어 있다는 것을 이해해야 합니다(Artino 2013).
By graduation, learners need to develop the skills required for shared decision making. Shared decision making requires effective communication and the ability to identify and understand others’ values (Elwyn et al. 2012; Fulford et al. 2012). Management decisions are often co-produced with patients and carers, but shared decision making also refers to teams, evidence-based guidelines, technology, scores and decision aids. Learners should understand that in real world situations, knowledge is not something that is ‘all in your head’ but is distributed throughout the environment in people, computers, books, and other tools or instruments (Artino 2013).

또한 학습자는 팀워크, 다른 사람의 기여도 평가, 예의, 경청, 도움 요청, 명확한 의사소통(특히 환자 치료 인계 시), 진단 및 관리 과정에 환자 및 보호자 참여 등 의사 결정을 지원하는 전문적인 가치와 행동을 보여줄 수 있어야 합니다(미국 과학, 공학 및 의학 아카데미 2015).
Learners should also be able to demonstrate professional values and behaviours that support decision making, including teamwork, valuing the contributions of others, civility, listening, asking for help, clear communication (especially when handing over care of a patient), and involving the patient and/or carers in the diagnostic and management process (National Academies of Sciences, Engineering, and Medicine 2015).

 

교육 전략(교육 방법)
Teaching strategies (how to teach)

의대생의 임상적 추론 능력을 향상시키기 위해 고안된 교육 개입을 설명하고 경험적 결과를 포함하는 27개의 연구가 확인되었습니다. 스키마/질병 스크립트를 가르치는 연구는 2건, 임상 의사 결정의 원리를 가르치는 연구는 3건, 소리 내어 생각하기, 브레인스토밍 또는 인지 매핑을 사용하는 전략은 4건, '인지적 강제 전략'(이 중 5건은 구조화된 반성을 사용)을 가르치는 연구는 7건, 피드백이 포함된 실습 사례는 11건이었다. 모두 단기적인 개입이었으며 장기적인 커리큘럼 접근법을 설명하는 사례는 없었습니다.

  • 의대생에게 의사 결정의 원칙을 가르친다고 해서 성과가 개선되지는 않았습니다.
  • 인지적 편향으로 인한 오류를 줄이기 위해 고안된 인지적 강제 전략을 가르치는 것 역시 성과를 개선하지 못했습니다.
  • 그러나 질병 스크립트 교육, 소리 내어 생각하기/브레인스토밍 전략 사용, 구조화된 성찰, 피드백을 통한 사례 연습은 성과를 개선했습니다.

문헌 검토 결과에 대한 자세한 설명은 보충 파일 2에서 확인할 수 있습니다.
Twenty-seven studies were identified that included empirical findings and described a teaching intervention designed to improve the clinical reasoning ability of medical students. Two studies involved teaching schemas/illness scripts; three involved teaching the principles of clinical decision making; four used strategies that employed thinking aloud, brainstorming or cognitive mapping; seven taught ‘cognitive forcing strategies’ (five of which used structured reflection); and eleven used practice cases with feedback. All were short term interventions with none describing a long term curriculum approach.

  • Teaching the principles of decision making to medical students did not improve performance.
  • Teaching cognitive forcing strategies designed to reduce error from cognitive biases also did not improve performance.
  • However, teaching illness scripts, using thinking aloud/brainstorming strategies, structured reflection, and practicing cases with feedback did improve performance.

A detailed description of the results of the literature review can be found in Supplementary File 2.


임상 추론 교육에 관한 광범위한 문헌에서 효과적인 임상 추론 능력 개발을 위해서는 [의학에 대한 공식적 지식과 경험적 지식이 핵심]이라는 데 동의하고 있습니다(Norman 외. 2006, 2017). 현재까지 사고 자체에 대한 교육(예: 이중 과정 이론, 인지적 편향 제거 전략 교육)이 그 자체로 진단 성과를 향상시킨다는 증거는 거의 없습니다(Sherbino 외. 2014; Smith and Slack 2015). 임상 추론 교육에 관한 문헌을 검토한 Schmidt와 Mamede(2015)는 임상 의사 결정에 관련된 [일반적인 사고 과정을 가르치는 교육적 접근 방식]은 [대체로 효과가 없는] 반면, [지식과 이해를 쌓는 것을 목표로 하는 교육 전략]은 [개선 효과를 가져온다]는 사실을 발견했습니다. 그러나 현재 진행 중인 연구 분야 중 하나는 반성적 전략의 사용입니다. 진단적 의사 결정 시 성찰이 단순히 기존 지식을 동원하는 수단인지, 아니면 이중 과정 이론(즉, 우리가 생각하는 방식)의 광범위한 틀 안에서 이해될 수 있는지는 현재 진행 중인 논쟁의 문제입니다(Norman 외. 2017; Prakash 외. 2019; Stanovich 2009).

In the wider published literature on teaching clinical reasoning, there is agreement that formal and experiential knowledge of medicine is central for the development of effective clinical reasoning ability (Norman et al. 2006, 2017). To date, there is little evidence to demonstrate that teaching about thinking itself (e.g., teaching dual process theory, cognitive de-biasing strategies) by itself improves diagnostic performance (Sherbino et al. 2014; Smith and Slack 2015). In a review of the literature on teaching clinical reasoning, Schmidt and Mamede (2015) found that educational approaches aimed at teaching the general thinking processes involved in clinical decision making were largely ineffective, whereas teaching strategies aimed at building knowledge and understanding led to improvements. However, one area of ongoing research is in the use of reflective strategies. Whether reflection during diagnostic decision making is simply a means of mobilising existing knowledge, or can also be understood within a broad framework of dual process theory (i.e. how we think), is a matter of ongoing debate (Norman et al. 2017; Prakash et al. 2019; Stanovich 2009).

의대생의 임상 추론 능력을 향상시키는 데 효과적인 것으로 입증된 교수 전략의 예는 표 2에 나열되어 있으며 아래에 자세히 설명되어 있습니다.
Examples of teaching strategies that have been demonstrated to be effective in improving the clinical reasoning ability of medical students are listed in Table 2 and expanded on below.

이해도를 높이는 전략
Strategies that build understanding

[의미 있는 정보]는 더 쉽게 기억하고 기억할 수 있습니다. [자기 설명/상술하기]는 의대생의 진단 능력을 향상시키고 학습자가 지식을 통합하는 데 도움이 되는 것으로 나타났습니다(Chamberland 외. 2011, 2015). [자기 설명]은 학습자가 사용하는 인지 과정, 즉 사전 지식과 새로운 지식의 고유한 매칭을 포함하기 때문에 [교수자의 설명]보다 성능이 뛰어납니다(Bisra 외. 2018). Woods 등(2005)은 증상 및 징후에 대한 기초 과학 메커니즘을 이해하면 의대생들의 진단 성과도 향상된다는 것을 보여주었습니다. 교사는 이해와 회상을 촉진하는 전략을 사용해야 합니다.
Meaningful information is easier to retain and recall. Self-explanation/elaboration has been shown to improve diagnostic performance in medical students and helps learners consolidate their knowledge (Chamberland et al. 2011, 2015). Self-explanation outperforms explanation by the instructor because of the cognitive processes learners use, which include their idiosyncratic matching of prior knowledge to new knowledge (Bisra et al. 2018). Woods et al. (2005) showed that understanding the basic science mechanisms for symptoms and signs also improved diagnostic performance among medical students. Teachers should use strategies that promote understanding as well as recall.

구조화된 반성을 사용하는 전략
Strategies that employ structured reflection

[구조화된 성찰] 또는 [안내에 따른 성찰]은 의대생의 진단 능력을 향상시키는 것으로 나타났습니다(Lambe 외. 2016; Prakash 외. 2019). 학습자에 비해 케이스가 더 복잡할 때 그 영향이 가장 큽니다(Norman et al. 2017). 구조화된 성찰의 예로는 '이것에 대한 증거는 무엇인가', '다른 것은 무엇일 수 있는가'와 같은 질문을 학생 스스로에게 하도록 유도하거나(Chew et al. 2016), 각 감별 진단과 양립하거나 양립할 수 없는 소견을 나열하도록 요청하는 것(Myung et al. 2013) 등이 있습니다. Mamede 등(2012, 2014)은 구조적 반성에 관한 두 가지 연구를 수행했는데, 두 연구 모두 임상 증례 진단을 연습하는 동안 [구조적 성찰]을 사용한 학생들이 일주일 후 같은 질병의 새로운 증례를 진단할 때 대조군보다 더 나은 성과를 보였다는 사실을 발견했습니다. 저자들은 '[증례로 연습하는 동안의 구조화된 성찰]이 임상 지식의 학습을 촉진하는 것으로 보인다'고 결론지었습니다. 
Structured or guided reflection has been shown to improve diagnostic performance in medical students (Lambe et al. 2016; Prakash et al. 2019). The impact is greatest when the case is more complex relative to the learner (Norman et al. 2017). Examples of structured reflection include encouraging students to ask themselves questions like, ‘What’s the evidence for this?’ and ‘What else could it be?’ (Chew et al. 2016), or asking students to list findings that are compatible or not compatible with each differential diagnosis (Myung et al. 2013). Mamede et al. (2012, 2014) performed two studies on structured reflection, both of which found that students who used it while practicing diagnosing clinical cases outperformed controls in diagnosing new examples of the same diseases a week later. The authors concluded that, ‘Structured reflection while practicing with cases appears to foster the learning of clinical knowledge.’

증례를 통한 연습과 수정 피드백
Practice with cases and corrective feedback

가능한 한 다양한 상황에서 [가능한 한 다양한 사례로 연습]하는 것이 학습에 매우 중요합니다(Eva 외. 1998). 그러나 연습만으로는 충분하지 않으며, 전문성을 개발하기 위해서는 수정 피드백, 노력, 코칭도 필요합니다(Ericsson 2004). 이를 위해서는 실수에 대한 토론이 장려되고 불확실성을 인정할 수 있는 안전한 학습 환경이 제공되어야 합니다(Eva 2009). 규칙적인 연습은 학습자가 질병 스크립트를 개발하는 데 도움이 되며(Schmidt 외. 1990), 이는 [일반적인 지식이 아닌 지식 조직화가 효과적인 임상 추론 능력의 핵심]이기 때문에 중요합니다(Lubarsky 외. 2015). 또한 사례를 단계적으로 드러내는 것보다 전체 사례 접근 방식('직렬 단서' 접근 방식)이 특히 초보자에게는 작업 기억에 대한 인지 부하를 줄이기 때문에 교육할 때 더 효과적이라는 증거가 있습니다(Schmidt and Mamede 2015).
Practice with as many different cases as possible in as many different contexts as possible is critical for learning (Eva et al. 1998). However, practice alone is insufficient; corrective feedback, effort and coaching are also required to develop expertise (Ericsson 2004). This requires the provision of a safe learning environment where discussion of mistakes is encouraged and where there is recognition of uncertainty (Eva 2009). Regular practice helps learners develop illness scripts (Schmidt et al. 1990), which is important because knowledge organisation rather than generic knowledge is key to effective clinical reasoning ability (Lubarsky et al. 2015). There is also evidence that a whole case approach, rather than revealing a case in stages (the ‘serial-cue’ approach) is more effective when teaching, especially for novices, because it decreases cognitive load on working memory (Schmidt and Mamede 2015).

문제 특이적 개념을 중심으로 지식을 구조화하는 전략
Strategies that structure knowledge around problem-specific concepts

성과가 높은 학습자는 비슷한 수준의 지식에도 불구하고 성과가 낮은 학습자와는 질적으로 다른 방식으로 지식을 구성합니다(Coderre 외. 2009). [문제 특이적 개념을 중심으로 지식을 구조화하는 것]은 [자발적인 유추적 전이], 즉 한 문제의 정보를 다른 맥락에서 다른 문제를 해결하는 데 사용하는 것을 촉진하는 것으로 나타났습니다(Needham and Begg 1991; Eva 외. 1998). 교육자는 졸업할 때까지 학습자가 다양한 일반적인 임상 프레젠테이션에 대해 조직화된 문제-특이적 지식(관련 지식 및 증거에 기반한 개념도 또는 의사결정 트리와 유사)을 습득할 수 있도록 지원해야 합니다.
High-performing learners organise their knowledge in a qualitatively different way to low-performing ones, despite similar levels of knowledge (Coderre et al. 2009). Structuring knowledge around problem-specific concepts has been shown to promote spontaneous analogical transfer – that is, the use of information from one problem to solve another problem in a different context (Needham and Begg 1991; Eva et al. 1998). By graduation, educators should facilitate learners in gaining organised problem-specific knowledge (akin to a concept map or decision tree, underpinned by relevant knowledge and evidence) for a range of common clinical presentations.

검색 연습을 활용하는 전략
Strategies that employ retrieval practice

여러 연구에 따르면 [정보의 장기 보존과 회상을 촉진하는 전략]이 성과를 향상시키는 것으로 나타났습니다(Eva 2009, Weinstein 및 Sumeracki 2019). 교수 및 학습 중에 정보를 열심히 기억하도록 촉진하는 전략은 진단 성과의 향상으로 이어집니다. 여기에는 구조화된 반성(Norman 외. 2017; Prakash 외. 2019), 저부담 퀴즈(Green 외. 2018; Larsen 외. 2009), 간격 연습(Kerfoot 외. 2007), 대조 학습(Ark 외. 2007) 등이 포함됩니다. 교육 및 학습 습관의 작은 변화만으로도 정보 유지 및 회상, 고차원적 사고 측면에서 상당한 이점을 얻을 수 있습니다(Dobson 외. 2018). 
Several studies have shown that strategies that promote long term retention and recall of information improve performance (Eva 2009; Weinstein and Sumeracki 2019). Strategies that promote effortful recall of information during teaching and learning lead to improvements in diagnostic performance. These include structured reflection (Norman et al. 2017; Prakash et al. 2019), low stakes quizzing (Green et al. 2018; Larsen et al. 2009), spaced practice (Kerfoot et al. 2007) and contrastive learning (Ark et al. 2007). Small changes in instruction and study habits can yield significant benefits in terms of retention and recall of information and higher order thinking (Dobson et al. 2018).

학습 단계에 따라 달라지는 전략
Strategies that differ according to stage of learning

위의 모든 전략은 학습 단계에 따라 적절하게 조정되어야 하며 '나선형 커리큘럼' 내에서 개발되어야 합니다(Harden and Stamper 1999). 의학에서 의미 있는 학습을 하려면 상당한 인지적 처리가 필요하므로 학습자가 특정 과제를 다룰 때 [작업 기억에 사용되는 노력]을 고려하는 방식으로 교육을 구성해야 합니다(Van Merrienboer 및 Sweller 2010). 학습해야 할 각 역량에 대해 교육은 [복잡성이 낮고 충실도가 낮은 과제에 대한 높은 교육적 지원]에서 [충실도가 높고 복잡한 과제에 대한 최소한의 지원]으로 이동해야 합니다(Leppink and Duvivier 2016). 졸업이 가까워지면 학습자의 임상 추론 능력은 임상 팀의 일원으로 일하고 실제 임상 환경에서 감독을 받으며 의사 결정을 내리는 데 도움이 됩니다(Lefroy 외. 2017). 이러한 후기 교육 단계의 학습자는 [구조화된 디브리핑]을 통해 필터링되지 않은 사례에 노출되어야 합니다. 커리큘럼 설계와 평가 프로그램은 이러한 전환을 보장해야 합니다. 
All of the above need to be tailored appropriately to different stages of learning and developed within a ‘spiral curriculum’ (Harden and Stamper 1999). Meaningful learning in medicine requires substantial cognitive processing, so instruction should be structured in a manner that takes into account the effort being used in working memory when learners are dealing with particular tasks (Van Merrienboer and Sweller 2010). For each competency to be learned, instruction should move from high instructional support on low complexity, low fidelity tasks through to minimal support on high fidelity, high complexity tasks (Leppink and Duvivier 2016). Approaching graduation, learners’ clinical reasoning abilities benefit from working as part of a clinical team and making decisions in a real but supervised clinical environment (Lefroy et al. 2017). Learners in these later stages of training should be exposed to unfiltered cases with structured debriefing. Curriculum design and its assessment programme must ensure this transition.

결론
Conclusion

임상 추론 교육은 의학교육, 인지 심리학, 진단 오류 및 의료 시스템 문헌에서 그 기원을 찾을 수 있습니다(Olson, Singhal 외. 2019). 다양한 분야의 여러 이론이 임상 추론에 대한 연구에 영향을 미치며(Ratcliffe 외. 2015), 무엇을 어떻게 가르쳐야 하는지에 대해 밝혀줍니다. 그러나 이러한 단편적인 문헌은 의학교육자가 접근하기 어렵고 일상적인 진료에 의미 있게 적용하기 어려울 수 있습니다. 이 백서의 목적은 모든 의과대학에 유용하고 각기 다른 지역 상황에 맞게 적용할 수 있는 실용적인 권장 사항을 제공하는 것입니다.

Clinical reasoning education has origins in the medical education, cognitive psychology, diagnostic error and health systems literature (Olson, Singhal, et al. 2019). A number of theories from diverse fields inform research on clinical reasoning (Ratcliffe et al. 2015), shedding light on what should be taught and how. However, this fragmented literature can be difficult for medical educators to access and adopt meaningfully into their daily practice. The purpose of this paper is to provide practical recommendations that will be of use to all medical schools and can be adapted to different local contexts.

모든 의과대학에서 지식, 기술 및 행동을 가르치지만, 목적에 맞는 커리큘럼 설계를 통해 가르치는 내용, 가르치는 방법, 가르치는 시기에 세심한 주의를 기울이면 임상적 추론 발달을 보다 효과적으로 촉진할 수 있다는 좋은 증거가 있습니다. 그렇다고 해서 반드시 추가 교육 시간이 필요한 것은 아닙니다. 대신, 교육에 대한 구체적인 접근 방식을 구상하고 권장하며, 이를 위해서는 교수진 개발 프로그램이 필요할 수 있습니다. 임상 추론 기술을 가르치기 위해 고안된 독립형 모듈은 성공할 가능성이 낮습니다. 임상 추론은 학부 및 대학원 의학 교육 과정 전반에 걸쳐 수평적, 수직적으로 명시적으로 통합되어 발달적 방식으로 진행되어야 합니다.
While all medical schools teach knowledge, skills and behaviours, there is good evidence that careful attention to what is taught, how it is taught, and when it is taught can facilitate clinical reasoning development more effectively, through purposeful curriculum design. This does not necessarily require additional teaching time. Instead, a specific approach to teaching is envisaged and recommended, and this is likely to require a programme of faculty development. Stand-alone modules designed to teach clinical reasoning skills are unlikely to be successful. Clinical reasoning should be explicitly integrated, both horizontally and vertically, into courses throughout undergraduate and postgraduate medical training in a developmental fashion.

 

Supplementary File 1: What to teach consensus ideas with duplicates removed, organised in to broad CR areas, and mapped against the GMCs ‘Outcomes for Graduates’.

Suggestions for when to teach during a 5 year programme are in the right hand columns.

 

Supplementary File 1.docx
0.04MB


 

Med Teach. 2021 Feb;43(2):152-159. doi: 10.1080/0142159X.2020.1842343. Epub 2020 Nov 18.

Consensus statement on the content of clinical reasoning curricula in undergraduate medical education

Affiliations collapse

1Medical Education Centre, University of Nottingham, Nottingham, UK.

2School of Medicine, University of Dundee, Dundee, UK.

3School of Medicine, University of Leicester, Leicester, UK.

4Hull York Medical School, Hull, UK.

5School of Clinical Medicine, University of Cambridge, Cambridge, UK.

6School of Dental Sciences, Newcastle University, Newcastle, UK.

7Division of Medical Education, University of Manchester, Manchester, UK.

PMID: 33205693

DOI: 10.1080/0142159X.2020.1842343

Abstract

Introduction: Effective clinical reasoning is required for safe patient care. Students and postgraduate trainees largely learn the knowledge, skills and behaviours required for effective clinical reasoning implicitly, through experience and apprenticeship. There is a growing consensus that medical schools should teach clinical reasoning in a way that is explicitly integrated into courses throughout each year, adopting a systematic approach consistent with current evidence. However, the clinical reasoning literature is 'fragmented' and can be difficult for medical educators to access. The purpose of this paper is to provide practical recommendations that will be of use to all medical schools.

Methods: Members of the UK Clinical Reasoning in Medical Education group (CReME) met to discuss what clinical reasoning-specific teaching should be delivered by medical schools (what to teach). A literature review was conducted to identify what teaching strategies are successful in improving clinical reasoning ability among medical students (how to teach). A consensus statement was then produced based on the agreed ideas and the literature review, discussed by members of the consensus statement group, then edited and agreed by the authors.

Results: The group identified 30 consensus ideas that were grouped into five domains: (1) clinical reasoning concepts, (2) history and physical examination, (3) choosing and interpreting diagnostic tests, (4) problem identification and management, and (5) shared decision making. The literature review demonstrated a lack of effectiveness for teaching the general thinking processes involved in clinical reasoning, whereas specific teaching strategies aimed at building knowledge and understanding led to improvements. These strategies are synthesised and described.

Conclusion: What is taught, how it is taught, and when it is taught can facilitate clinical reasoning development more effectively through purposeful curriculum design and medical schools should consider implementing a formal clinical reasoning curriculum that is horizontally and vertically integrated throughout the programme.

Keywords: Consensus; clinical reasoning; curriculum; medical education; undergraduate.

질환 스크립트의 30년: 이론적 기원과 실제적 적용(Med Teach, 2015)
Thirty years of illness scripts: Theoretical origins and practical applications
EUGE` NE J. F. M. CUSTERS
University Medical Center Utrecht, The Netherlands

 

 

서론
Introduction

바틀렛(1932/1954)은 인간이 실제 세계의 지식, 예를 들어 이야기를 기억하는 것이 아니라 그들의 요지에 의해 기억하고, [처음보다 더 짧고 일관성 있게 만드는 경향]이 있다는 것을 실험적으로 증명한 이후로, "schema"의 개념은 사람들이 이러한 기스트를 기억하기 위해 사용하는 기본 단위를 나타내는 데 사용되어 왔다. [일반화된 사건을 단위로 표현하는 지식 구조]로서 [보다 구체적인 형태의 스키마]인 [스크립트]가 제안되었다. 샹크와 아벨슨(1977)의 작품이 출판된 후 몇 년 동안, 몇몇 연구자들은 대본의 표현적 특성과 행동적 측면을 조사했다.

Since Bartlett (1932/1954) experimentally demonstrated that humans do not literally remember real-world knowledge, such as stories, but recollect them by their gist and are inclined to make them shorter and more coherent than they initially were, the concept of a “schema” has been used to represent the basic units people use to remember these gists (Bobrow & Norman 1975; Brewer & Treyens 1981; Mandler 1984; Schmidt & Sherman 1984). A more specific type of schema, a script, has been proposed as the knowledge structure that represents generalized events as a unit (Abelson 1975; Schank & Abelson 1977). In the years following the publication of the Schank and Abelson (1977) work, several researchers have investigated the representational characteristics and behavioral aspects of scripts (Graesser et al. 1979; Bellezza & Bower 1981; Smith & Graesser 1981; Walker & Yekovich 1984; Abbott et al. 1985; Yekovich & Walker 1986; Maki 1990; Davidson 1994).

스크립트의 세부 사항에 대한 완전한 합의는 부족하지만, 다음과 같은 7가지 측면이 공통 분모로 간주될 수 있다: 스크립트는

  • (1) 사전 컴파일된 높은 수준의 개념적 지식 구조이다, 
  • (2) 장기 메모리에 저장됩니다, 
  • 이는 (3) 일반적인 (고정관념화된) 사건 시퀀스를 나타낸다, 
  • 이 시퀀스는 (4) 개별 사건이 시간적, 인과적, 계층적 관계에 의해 상호 연결되며,
  • (5) 적절한 맥락에서 일체형 전체integral whole로 활성화될 수 있다, 
  • (6) 실제 상황에 존재하는 정보로 채워질 수 있는 변수와 슬롯을 포함하고, 메모리에서 검색되거나 맥락을 통해 추론될 수 있다 
  • (7) 일상적으로 수행되는 활동의 결과 또는 수행되는 그러한 활동을 보는 것의 결과로 발전한다. 즉, 직접적 또는 대리적 경험을 통해 만들어진다.

Although full agreement concerning the details of scripts is lacking, the following seven aspects can be considered a common denominator: Scripts are

  • (1) high-level, pre-compiled, conceptual knowledge structures,
  • which are (2) stored in long-term memory,
  • which (3) represent general (stereotyped) event sequences,
  • in which (4) the individual events are interconnected by temporal and often also causal or hierarchical relationships,
  • that (5) can be activated as integral wholes in appropriate contexts,
  • that (6) contain variables and slots that can be filled with information present in the actual situation, retrieved from memory, or inferred from the context,
  • and that (7) develop as a consequence of routinely performed activities or viewing such activities being performed; in other words, through direct or vicarious experience (Abelson 1975; Schank & Abelson 1977; Haberlandt & Bingham 1984; Pryor & Merluzzi 1985).

스크립트는 다음과 같은 중요한 기능을 제공합니다:

  • (1) 그들은 행동적 시퀀스를 이해하는 데 필요한 구조화된 지식을 제공한다, 
  • (2) 그것들은 개인들이 새로운 정보를 기존의 지식과 통합할 수 있게 한다, 
  • (3) 기억 검색을 유도하고, 
  • (4) 그들은 가까운 미래에 일어날 일에 대한 예측을 가능하게 한다, 
  • (5) 그들은 실제 행동을 안내한다 
  • (6) 일반적으로 특정 작업 또는 작업 순서가 발생했거나 발생할 수 있는 이유를 설명하는 데 사용할 수 있는 지식을 포함합니다.

Some important functions are served by scripts:

  • (1) they provide structured knowledge necessary for understanding behavioral sequences,
  • (2) they enable individuals to integrate new incoming information with existing knowledge,
  • (3) they guide memory retrieval,
  • (4) they enable predictions about what will happen in the near future,
  • (5) they guide actual behavior, and
  • (6) they usually contain knowledge that can be used to explain why a specific action or sequence of actions has occurred or might occur.

대부분의 경우, 스크립트는 개인이 적절한 컨텍스트에 있거나 이 컨텍스트가 언급되거나 생각되는 경우 활성화됩니다. 전형적인 예는 "레스토랑 대본"이다. 레스토랑에 들어가거나 레스토랑을 생각하면 레스토랑 스크립트가 활성화되고 개인은 이 스크립트를 사용하여 무슨 일이 일어났는지 이해하고 다음에 무슨 일이 일어날지 예측합니다. 스크립트는 중앙 또는 핵심 정보를 포함합니다, 예를 들어, 그 음식은 돈의 대가로 제공되는 반면, 다른 측면들은 더 가변적이거나 주변적일 수 있다. 예를 들어, 웨이터가 있는지 아니면 음식이 카운터에서 손님에 의해 가져가는지, 그리고 에피타이저가 제공되는지 여부. 
Most of the times, scripts are activated if the individual is in the appropriate context or if this context is being mentioned or thought of. The classic example is the “restaurant script.” Upon entering a restaurant, or thinking about a restaurant, the restaurant script is activated and the individual uses it to understand what happened and predict what will happen next. The script contains central or core information, e.g., that food is being served in exchange for money, whereas other aspects may be more variable or peripheral, for example, whether there will be a waiter or the food will be taken by the customer from a counter, and whether an appetizer will be served or not.

[스크립트가 활성화]되면 [중심적인 측면]은 [고정된 방식]으로 사용할 수 있는 반면, [덜 중심적인 측면] 그 상황에서 사용 가능한 실제 정보(예: 웨이터가 젊은 여성임) 또는 자동적by default으로(예: 고객이 메뉴에서 항목을 선택할 수 있음)를 사용하여 채워질 수 있는 [변수 또는 슬롯의 형태]를 가질 수 있다. 기본적으로 모든 슬롯 정보나 변수 값이 추론되는 것은 아니며, 일부는 [단순히 지정되지 않은 상태로 유지]되지만, 스크립트가 완료되는 동안(예: 에피타이저가 제공되는지 여부) 어느 시점에 채워질 수 있도록 열려 있습니다. [컨텍스트에서의 실제 정보, 메모리에서 검색된 정보로, 자동적]으로 [변수에 값을 할당하고 슬롯을 채우는 프로세스]를 [스크립트 인스턴스화]라고 합니다. 

If a script is activated, its central aspects will become available in a fixed manner, while less central aspects will have the form of variables or slots that might be filled in using actual information available in the context (e.g., that the waiter is a young woman) or by default (e.g., that the customer can choose entries from a menu). Not all slot information or variable values will be inferred by default; some will simply be left unspecified but open to be filled-in at some point during the completion of the script (e.g., whether an appetizer is offered). The process of assigning values to variables and filling slots with actual information from the context, information retrieved from memory, or by default, is called the script instantiation.

[인스턴스화된 스크립트][일반 스크립트]에 의해 제공되는 표현에 대한 지식의 일부와, 현장에서 실제로 존재하거나 추론될 수 있는 [상황 특이적 정보]를 가진 구체적인 사건의 표현으로 볼 수 있다. 인스턴스화된 스크립트에서 이러한 [상황 특이적 정보]는 [일반 스크립트]에 "태그"되며, [인스턴스화된 스크립트]가 장기 메모리에 저장되면 태그는 개인이 나중에 실제로 발생한 특정 이벤트로 기억할 수 있게 한다. 그러나 일반적인 스크립트와 달리 [태그된 지식]은 시간이 지남에 따라 점차 쇠퇴합니다; 따라서, 시간이 지남에 따라, [특정 사건 기억]는 메모리에서 훨씬 더 안정적인 표현인 [일반 스크립트에 대한 지식]에 의해 점점 더 지배될 것이다. 따라서 오랜 시간이 지난 후 이러한 기억을 다시 불러올 경우, [인스턴스화된 스크립트]의 [대부분의 세부 사항]은 [매우 두드러지거나 스크립트의 진행을 방해하지 않는 한] 더 이상 기억하지 못할 수 있습니다(예: 연기가 실내를 가득 메워 저녁 식사를 마치기 전에 식당을 떠나야 했던 시간 - 수년이 지난 후에도 기억할 수 있는 상황).

An instantiated script can be seen as the representation of a concrete event, with part of the knowledge in the representation supplied by the generic script, and part by situation-specific information, which may be actually present or inferred at the spot. In instantiated scripts, this situation-specific information is “tagged” to the generic script (Schank & Abelson 1977; Graesser et al. 1980; Bellezza & Bower 1981; Schmidt & Sherman 1984; Maki 1990; Davidson 1994), and if the instantiated script is stored in long-term memory, the tags enable the individual to remember it later as a specific event that actually took place. However, unlike the generic script, tagged knowledge will gradually decay over time; hence, with the passing of time, specific event memories will be increasingly dominated by knowledge of the generic script, which is a much more stable representation in memory. Thus, if we retrieve such memories after a long time, we might no longer be able to remember most details of the instantiated script, unless they were very salient or interrupted the script’s progress (e.g., the time when we had to leave the restaurant before finishing dinner because smoke filled the room – something we may remember even after many years).

대본의 심리적 타당성
The psychological validity of scripts


많은 연구들이 [스크립트 개념]의 [심리적 타당성]에 대한 증거를 제공했다. 우선 사람들이 [익숙한 사건]을 개별 사건과 장면 사이의 [인과적 또는 시간적 연결]과 함께 [계층적 구조]로 구성한다는 증거는 충분하다. 또한, [어떤 동작]이 스크립트에 속하는지 뿐만 아니라, 이러한 [동작의 순서, 중심성 및 고유성]에 대해서도 동의가 발견되었다. 게다가, 스크립트를 구성하는 이벤트는 [시간적으로 단서를 제공]한다. 즉, 일반적으로 일련의 사건들을 역순으로 말하는 것보다 순순으로 말하는 것이 훨씬 더 쉽다.
A large number of studies have provided evidence for the psychological validity of the script concept. To begin with, there is ample evidence that people organize familiar events in a hierarchical structure with causal or temporal connections between individual events and scenes (Rosch 1978; Bower & Clark-Meyers 1980). In addition, agreement has been found not only with respect to which actions belong to a script (e.g., Bower et al., 1979; Graesser 1981), but with respect to sequence, centrality, and distinctiveness of these actions as well. Moreover, the events that compose a script are temporally cued, i.e., it is generally much easier to tell a sequence of events in forward order than in reverse order (Haberlandt & Bingham 1984; Barsalou & Sewell 1985).

또한, 실험실 실험에서 스크립트 이론은 다음과 같이 차등적 메모리 성능을 구체적으로 예측한다 

  • (a) 다양한 유형의 정보(즉, 전형적 대 비정형), 
  • (b) 정보의 차별적 관련성(즉, 중요한 대 중요하지 않은), 
  • (c) 서로 다른 검색 작업(즉, 리콜 대 인식) 및 
  • (d) 서로 다른 검색 지연(즉, 즉각적인 메모리 테스트와 지연된 메모리 테스트). 

In addition, in laboratory experiments, script theory specifically predicts differential memory performance for

  • (a) different types of information (i.e., typical versus atypical),
  • (b) differential relevance of information (i.e., important versus unimportant),
  • (c) different retrieval tasks (i.e., recall versus recognition), and
  • (d) different delays of retrieval (i.e., immediate versus delayed memory test) (Sulin & Dooling 1974; Tzeng 1975; Bellezza & Bower 1981; Smith & Graesser 1981; Yekovich & Walker 1986).

예를 들어, 회상 연구에 따르면 [즉각적인 테스트]에서는 비정형적인 스크립트 동작, 사물 또는 사건을 매우 잘 회상하는 반면, [지연된 테스트]에서는 비정형적인 정보에 대한 기억이 희미해지는 것으로 나타났는데, 특히 이러한 정보가 덜 두드러지거나 덜 관련성이 있거나 덜 생생한 경우 더욱 그렇습니다. 반면, 스크립트 [일반 정보에 대한 기억]은 회상 침입, 즉 [인스턴스화된 스크립트에 존재하지 않더라도 이 정보를 "회상"하는 것]이 특징입니다. 인식 기억 연구에서 (의도적으로 생략한) 스크립트의 [전형적인 정보에 대한 오경보 현상][보편적으로 발견]되는 현상입니다. 반면 [비정형 정보에 대한 오경보율]은 특히 이러한 정보가 스크립트에 주변적인 정보인 경우 [훨씬 낮습니다].

For example, recall studies have shown that at immediate testing, atypical script actions, objects, or events are recalled quite well, while at delayed testing, memory for atypical information appears to have faded, particularly if this information is less salient, relevant, or vivid (Bower et al. 1979; Graesser et al. 1980; Graesser 1981; Smith & Graesser 1981; Schmidt & Sherman 1984; Davidson 1994). Memory for script typical information, in contrast, is featured by recall intrusions, that is, this information is “recalled” even if it was not present in the instantiated script (Brewer & Treyer 1981; Schmidt & Sherman 1984). In recognition memory studies, the corresponding phenomenon of false alarms to (deliberately omitted) script typical information is an ubiquitous finding (Sulin & Dooling 1974; Bower et al. 1979; Graesser et al. 1979, 1980; Bellezza & Bower 1981; Brewer & Treyens 1981; Walker & Yekovich 1984; Nakamura & Graesser 1985; Nakamura et al. 1985; Yekovich & Walker 1986; Maki 1990; Davidson 1994). False alarm rates to atypical information, in contrast, are much lower, in particular, if this information is peripheral to the script (Nakamura & Graesser 1985; Yekovich & Walker 1986).

[스크립트 이론]은 인식 메모리 성능 외에도 [정보 처리 및 결정 속도에 대한 예측]을 수행하며, 읽기 속도 또는 결정 반응 시간(RT)으로 표현됩니다. 가장 일반적인 형태로, 이것의 배후에 있는 추론은 꽤 간단하다: 스크립트에 의해 암시되거나 스크립트에서 쉽게 추론될 수 있기 때문에, 개인이 [기대할 새로운 정보]는 [예상치 못한 정보]보다 더 빠르게 처리될 것이다. 따라서 식당 스크립트가 활성화된 경우, "웨이터가 점잖았다"는 문구는 "수리공이 점잖았다"는 문구보다 더 빠르게 처리될 것이다. 이 문구들을 고립적으로 처리하면 유사한 처리 시간을 보여줄 것이다.  
In addition to recognition memory performance, script theory also makes predictions about information processing and decision speed, expressed as reading speed or decision reaction times (RTs). In its most general form, the reasoning behind this is quite simple: new information that an individual will expect, because it is implied by the script or can easily be inferred from the script, will be processed faster than unexpected information. Thus, if a restaurant script is activated, the statement “The waiter was gentle” will be processed faster than “The repairman was gentle,” even although in isolation these statements will show similar processing times.

그러나 특정 스크립트 인스턴스화의 경우 처리 시간에 대한 예측은 조금 더 복잡합니다. 식당 스크립트의 특정 인스턴스화에서 수리공이 있었다면(예: 우리가 식사하는 동안 수리 작업을 하고 있었다면), 나중에 웨이터보다 수리공에 대한 기억이 더 생생할 수 있는데, 이는 식당 스크립트의 여러 인스턴스화에서 모두 웨이터가 있었지만 그 중 하나만 수리공이 있었다는 것을 구분하는 데 어려움을 겪을 수 있기 때문입니다. 일반적으로 스크립트의 일반적인 정보는 쉽고 빠르게 유추할 수 있지만, 특히 일반적인 정보이기는 하지만 스크립트에 꼭 필요한 정보가 아닌 경우 시간이 지나면 기억하기 어렵습니다. 따라서 시간이 지나면 "애피타이저를 먹었나요?"와 같은 질문은 "수리공이 있었나요?"라는 질문보다 더 긴 RT로 알 수 있듯이 대답하기가 더 어려울 것입니다. 실험실 연구에 따르면 실제로 특정 인스턴스화에서 스크립트의 전형적인 특징이 실제로 존재하는지 여부를 판단하는 데 비정형적인 특징의 유무보다 더 많은 시간이 걸리는 것으로 나타났습니다. 

In the case of a specific script instantiation, however, predictions about processing times are a bit more complex. If, in a particular instantiation of the restaurant script, a repairman was present (e.g., doing repair work while we were eating), we may later have more vivid memories of this repairman than of the waiter, because we may have trouble discriminating between different instantiations of the restaurant script – in all of which a waiter was present, but in only one of these a repairman. More generally, script typical information will be easily and quickly inferred, but hard to recollect after some time, in particular, if the information is typical, but not absolutely necessary for the script. Thus, after a while, a question, such as “did you have an appetizer?” will be harder to answer – as evidenced by a longer RT – than the question “was there a repairman?” Laboratory studies have shown that indeed it takes more time to decide on the actual presence of typical features of a script in a particular instantiation than on the presence or absence of atypical features (Nakamura & Graesser 1985; Yekovich & Walker 1986).

질병 스크립트
Illness scripts

표면적인 수준에서 '실제 생활' 스크립트와 '질병' 스크립트의 비유는 분명합니다. 모든 질병은 아니지만 대부분의 질병은 [환자에게 발생하는 일련의 사건]으로 해석할 수 있습니다. 스크립트 또는 일반적인 이벤트 시퀀스는 질병의 일반적인 임상상에 매핑되는 반면, 각 개별 환자는 특정 순서로 나타나는 전형적인(중심) 또는 비정형적인(말초) 특징을 모두 갖춘 인스턴스화된 질병 스크립트로 간주할 수 있습니다. 이 비유를 설명하기 위해 표 1은 실제 스크립트(레스토랑 스크립트, Graesser 외. 1979에서 각색)와 질병 스크립트(신장 산통 환자)를 대조한 것입니다. 더 깊은 수준에서 보면, 실생활 스크립트와 질병 스크립트 모두의 중심 주제는 지식의 암묵적 인과적 일관성을 표현하는 형식을 제공하는 것입니다(Schank 1975; Schank & Abelson 1977). 

At a superficial level, the analogy between “real life” scripts and “illness” scripts is obvious: most, if not all, diseases can be construed as a sequence of events occurring in a patient. The script, or generic event sequence, maps onto the general clinical picture of a disease, whereas each individual patient can be considered an instantiated illness script, with both typical (central) or atypical (peripheral) features, which appear in a certain order. To illustrate the analogy, Table 1 contrasts a real life script (the restaurant script; adapted from Graesser et al. 1979) with an illness script (a patient with a renal colic). At a deeper level, the central theme of both real life scripts and illness scripts is to provide a format to represent implicit causal coherence of knowledge (Schank 1975; Schank & Abelson 1977).

"스크립트"라는 개념은 심리학 문헌에서 일반적인 스크립트 개념이 등장한 지 불과 몇 년 후인 1983년에 Clancey(1983)에 의해 의학 문헌에 소개되었습니다. 그는 "감염에는 여러 가지 특성이 있지만 세균 감염은 유기체의 체내 유입, 감염 부위로의 유기체 이동, 유기체의 번식, 관찰 가능한 증상 유발이라는 동일한 스크립트을 따르는 경향이 있다"고 설명했습니다(230페이지). 실제 사건과 명백한 유사점 외에도, 의학 영역의 대본 개념은 의학 진단에 대한 기존의 [두 관점 사이의 격차]를 잘 메우는 것처럼 보였다, 

  • 추론 과정(즉, 환자의 불만, 증상 및 기타 소견을 설명하기 위한 생물 의학적 지식의 사용)이라는 것을 강조하는 것
  • 신속한 분류 프로세스(즉, 불만 및 증상 패턴을 진단 범주에 직접 매핑)로 진단을 개념화하는 것

The concept of “script” was introduced in the medical literature by Clancey (1983) only a few years after the general script concept emerged in the psychological literature. “There are many kinds of infections, which have different characteristics, but bacterial infections tend to follow the same script: entry of an organism into the body, passage of the organism to the site of infection, reproduction of the organism, and causing of observable symptoms” he explained (p. 230). In addition to the obvious parallel with real life events, the script concept in the medical domain also appeared to nicely fill the gap between two existing views of medical diagnosis,

  • one which emphasizes that diagnosis is basically a reasoning process (i.e., the use of biomedical knowledge to explain complaints, symptoms, and other findings in a patient), and
  • one which conceives of diagnosis as a quick categorization process (i.e., the direct mapping of patterns of complaints and symptoms to diagnostic categories).

사실, 펠토비치와 바로우스(1984)가 고안한 "질병 대본"은 두 가지 접근법을 연결하기 위해 특별히 고안되었다. 그들은 세 가지 주요 구성 요소를 구분하여 질병 스크립트를 지정했습니다,

  • 활성화 조건, 즉, 연령, 성별, 직업, 위험 행동 및 유전적 요인과 같은 질병에 걸릴 확률에 영향을 미치는 환자 및 상황적 요인 
  • 결함, 즉 기초적인 병리생리학적 과정
  • 결과, 즉 결함이 야기하는 불만, 징후 및 증상.

In fact, the “illness script” as conceived by Feltovich and Barrows (1984) was particularly designed to connect the two approaches. They specified the illness script by distinguishing three main components,

  • the Enabling Conditions, – i.e., the patient and contextual factors that influence the probability that someone gets a disease, such as age, sex, occupation, risk behavior, and hereditary factors, –
  • the Fault, i.e., the underlying pathophysiological process, – and
  • the Consequences, i.e., the complaints, signs, and symptoms the Fault gives rise to (Feltovich & Barrows 1984; Custers et al. 19961998; Hobus et al. 19871989).


특히 진단 상황에서 [활성화 조건]은 중요한 역할을 하는데, 경험이 많은 의사들이 진단 과정에서 아주 초기에 정확한 진단에 도달하는 경우가 많다는 것이 입증되었으며, [활성화 조건]은 일반적으로 가장 이른 가용 데이터이다. 그러나 환자 불만은 분명히 [결과]이며, 질병 스크립트 활성화에도 중요한 역할을 합니다. 심리학적 관점에서, 진단 과정에서의 [조기 가용성]은 질병 과정에서의 특징의 역할보다 더 중요하다. 이것은 자발적 금연이 폐암의 초기 징후가 될 수 있다고 보고한 최근의 연구에서와 같이 예상치 못한 형태를 취할 수 있으며, 따라서 진단적 관점에서 "활성화 조건"으로 볼 수 있지만, 금연이 폐암의 발병을 가능하게 한다는 것을 지지하는 사람은 거의 없다. 일반적으로, 사례를 진단하도록 요청받았을 때, 경험이 풍부한 진단자들은 [사건의 인과 사슬 속의 위치에 관계없이] [주어진 순간에 이용 가능한 모든 정보]를 사용할 것이다.

Especially in diagnostic situations, the Enabling Conditions play an important role, for it has been demonstrated that experienced physicians often arrive at the correct diagnosis quite early in the diagnostic process, on basis of only a few findings (Elstein et al. 1978; Hobus et al. 1987), and Enabling Conditions are usually the earliest available data. However, the patient complaint, which is obviously a Consequence, also plays an important role in illness script activation (Hobus et al. 1987). From a psychological point of view, early availability in the diagnostic process is more critical than a feature’s role in the disease process. This can take unexpected forms, as in a recent study which reports that spontaneous smoking cessation can be an early sign of lung cancer, and could hence be viewed as an “Enabling Condition” from a diagnostic point of view, although few would endorse that smoking cessation enables the development of lung cancer, let alone causes it (Campling et al. 2011). In general, when asked to diagnose a case, experienced diagnosticians will use all the information available at a given moment, irrespective of its actual place is in the causal chain of events.

[스크립트]가 [미리 컴파일된 지식 구조라]는 개념은 질병 스크립트 개념으로도 쉽게 전달된다. 즉, 초보자(예: 의대생)는 질병을 이해하고 환자를 진단하는 데 있어 [근본적인 병태 생리학적 메커니즘]인 [결함에 대한 지식]에 더 의존할 것이다. 경험이 증가함에 따라, 추론 체인의 단계가 컴파일됨에 따라, 사례를 통해 추론하는 이러한 형태는 빠르게 불필요해진다. 따라서 특히 일상적인 사례를 진단하는 전문가의 경우 [결함에 대한 지식]은 사소한 역할만 합니다. 이 점에서 질병 스크립트는 "실생활real life" 스크립트와 크게 다르지 않다: 사람들은 [기본적인 지식]을 사용하여 특정 사건이나 사건의 순서를 설명할 수 있지만, 기본적으로 이러한 지식 없이, [경험만 가지고도 스크립트를 배울 수 있다] (기본 지식 없이 학습된 스크립트의 예는 An et al 1992 참조). 그러나 [전문가들의 전문적인 활동]은 – 어느 영역에서든 – 단순하고 일상적인 진단을 포함할 뿐만 아니라, [실제적인 맥락에서 해석, 설명 및 판단]을 제공하기 때문에, 기본적인 도메인 지식 없이 "맨발" 스크립트만 보유하는 것은 "진정한" 전문가들에게 충분하지 않을 것이다.
The notion that scripts are precompiled knowledge structures is also easily transferred to the illness script concept (Charlin et al. 2000, 2007). That is, novices (e.g., medical students) will rely more on their knowledge of the Fault, the underlying pathophysiological mechanism, in understanding disease and in diagnosing patients (Custers et al. 1998). With increasing experience, this form of “reasoning through” a case quickly becomes superfluous, as the steps in the reasoning chains become compiled. Thus, particularly in experts diagnosing routine cases, knowledge of the Fault only plays a minor role (Clancey 1983; Patel & Groen 1986; Boshuizen et al. 1988; Hobus et al. 1989; Norman et al. 1989; Boshuizen & Schmidt 1992). In this respect, illness scripts do not differ much from “real life” scripts: people can use underlying knowledge to explain a particular event or sequence of events, but they can basically learn the script without this knowledge, on the basis of experience alone (see Ahn et al. 1992, for examples of scripts that are learned without underlying knowledge). However, as experts’ professional activities – in any domain – not only include straightforward and routine diagnosis but also, for instance, providing interpretations, explanations, and judgments in a practical context, the possession of only “barefoot” scripts without underlying domain knowledge would not be sufficient for “true” expertise.

아직까지는 [일상적인 스크립트에서 발견되는 기억 현상]이 질병 스크립트에도 적용된다는 몇 가지 증거가 있습니다. 예를 들어, Arkes와 Harkness(1980)는 진단에서 쉽게 유추할 수 있지만 사례 설명에 제시되지 않은 증상(즉, 전형적인 증상)은 진단자가 잘못 인식하는 경우가 많다는 사실을 발견했습니다. 또한 소아과 의사의 이전 환자 장기 기억력을 조사한 연구에서 Hassebrock과 Prietula(1990)는 참가자들이 '실제' 증상을 기억하는 데 어려움을 겪는 대신 질병에 대한 지식을 사용하여 환자에게 있을 것으로 추정되는 임상 소견을 유추하는 것을 관찰했습니다. 대본에서 벗어났지만 당시에는 진단을 내리거나 치료법을 적용하는 데 중요했던 사례의 특징은 더 잘 기억했습니다. 따라서 스크립트 측면에서 볼 때, 이 의사들은 ['태그가 지정된' 비정형 지식]을 기억했지만, 스크립트 지식을 사용하여 [질병과 일치하는 결과를 추론]했습니다. 마지막으로 질병 스크립트의 처리 특성과 관련하여 Custers 등(1996)은 [질병 스크립트가 활성화된 후(질병을 발표함으로써)] [전형적인 사례 정보]가 [비정형 사례 정보]보다 일관되게 더 빠르게 처리된다는 사실을 발견했으며, 이는 Gagnon 등(2006)에 의해 복제된 결과이며 질병 스크립트의 [기본값 개념]을 뒷받침합니다. 질병 스크립트가 활성화되면 [스크립트 슬롯에 쉽게 들어맞는 정보]가 [비정형 정보]보다 [더 빠르게 처리]될 수 있는 것으로 보입니다. 

As yet, there is some evidence that memory phenomena found for everyday scripts also apply to illness scripts. For example, Arkes and Harkness (1980) found that symptoms that can be easily inferred from a diagnosis (i.e., typical symptoms), but are not presented in the case description, are often falsely recognized by diagnosticians. Furthermore, in a study investigating pediatricians’ long-term retention of previous patients, Hassebrock and Prietula (1990) observed that participants had trouble remembering “actual” symptoms, but instead used knowledge of the disease to infer the clinical findings that presumably were present in the patient. Case features that deviated from the script, but had been, at the time, critical in establishing a diagnosis or installing a treatment, were better remembered. Thus, in script terms, these physicians remembered “tagged” atypical knowledge, but used the script knowledge to infer disease-consistent findings. Finally, concerning the processing characteristics of illness scripts, Custers et al. (1996) found that after an illness script was activated (by announcing the disease), prototypical case information was consistently processed faster than atypical case information, a finding that was replicated by Gagnon et al. (2006) and supports the notion of default values in illness scripts. Apparently, once an illness script has been activated, information that easily fits into the script slots can be processed faster than atypical information.

질병 스크립트 및 의료 전문 지식 개발
Illness scripts and the development of medical expertise

전문성 발달에 대한 명백한 설명은 [전문가]가 [비전문가보다 더 많은 스키마 또는 스크립트 레퍼토리]를 가지고 있다고 생각하는 것입니다(Rumelhart & Norman 1978; Glaser 1986; VanLehn 1989; Gilhooly 1990). 이를 의료 영역에 적용하면 전문 의사가 경험이 적은 의사보다 [질병에 대한 더 많은 레퍼토리]를 가지고 있다는 것을 의미합니다. 그러나 이것은 이야기의 일부일 뿐이며, [개별 질병 스크립트의 구조와 구성]도 전문성과 관련된 발전을 보여줄 것입니다. 예를 들어, Custers 등(1998)의 연구에 따르면 [임상 전 학생들]은 질병의 임상적 상황이나 전형적인 질병 환자를 설명하라는 요청을 받았을 때 레지던트나 숙련된 의사보다 결함 관련 지식(즉, 질병의 병태생리 측면)을 더 많이 언급하고 활성화 조건(환자 배경 정보)을 더 많이 언급하는 것으로 나타났습니다. 의대생은 기본적으로 관련 지식을 갖추고 있지만 스크립트가 정교하게 구성되어 있지 않고 실제 상황에서 사용할 수 있도록 아직 조정되지 않았습니다. 전문가는 스크립트 구조가 제공하는 통합성과 일관성을 통해 실제(진단 및 치료) 및 후향적(즉, 회상)으로 사용하기 위한 지식에 접근할 때 이점을 얻을 수 있습니다. 실제로 연구에 따르면 일반적으로 도메인 관련 정보, 관련성 있는 정보 또는 중요한 정보에 대한 전문가들의 기억력이 뛰어난 것으로 나타났습니다(Spilich 외. 1979; Coughlin & Patel 1987; Hassebrock 외. 1993). 반면, 적절한 순차적 '스크립트' 순서가 아닌 임의의 순서로 정보를 제시하는 등 [스크립트 구조가 파괴된 경우], 이는 초보자보다 전문가의 수행에 훨씬 더 큰 영향을 미치며 심지어 전문가가 더 이상 전문 지식의 혜택을 받지 못할 정도까지 영향을 미칩니다(McKeithen 외. 1981; Coughlin & Patel 1987; Norman 외. 1989).

An obvious account of expertise development is to conceive it as experts having a larger repertory of schemas or scripts than non-experts (Rumelhart & Norman 1978; Glaser 1986; VanLehn 1989; Gilhooly 1990). Applied to the medical domain, this would imply that expert physicians have a larger repertory of illness scripts than less experienced physicians. But this is only part of the story; the structure and composition of individual illness scripts will also show expertise-related development. For example, Custers et al. (1998) showed that preclinical students, when asked to describe either the clinical picture of a disease or a typical patient with this disease, came up with more Fault-related knowledge (i.e., aspects of the pathophysiology of the disease) than residents and experienced physicians, who mentioned more Enabling Conditions (patient background information). Although medical students may basically have the relevant knowledge, their scripts will be less elaborately structured and not yet tuned toward use in practical situations. Experts are supposed to benefit from the integration and coherence script structures provide, in accessing knowledge for use in practice (diagnosis and treatment) as well as retrospectively (i.e., in recall). Indeed, studies have generally shown superior recall in experts for domain-related, relevant, or critical information (Spilich et al. 1979; Coughlin & Patel 1987; Hassebrock et al. 1993). In contrast, if the script structure is destroyed, e.g., by presenting information in a random, rather than in the appropriate sequential “script” order, this affects experts’ performance much more than novices’ – even to the point where experts no longer benefit from their expertise (McKeithen et al. 1981; Coughlin & Patel 1987; Norman et al. 1989).

질병 스크립트 개념의 실제 적용
Practical applications of the illness script concept

이론적 고려 사항과 실제 연구 결과를 종합해 보면 슈미트 외(1990)가 제안한 스크립트 개발에 대한 이전 설명은 업데이트가 필요하다는 것을 알 수 있습니다. 이러한 관점에서 [스크립트 개발의 초기 단계]는 대부분 [생물 의학 지식의 응용]으로 구성됩니다. 그러나 생의학 지식이 거의 없는 것으로 추정되는 [일반인조차도 질병 스크립트와 매우 유사한 구조로 구성된 일반적인 질병에 대한 지식]을 가지고 있습니다(Lau & Hartman 1983; Bishop & Converse 1986; Bishop 외. 1987; Becker 외. 2008).

  • [초보적인 질병 스크립트]는 뇌졸중을 인식하는 방법을 알려주는 건강 캠페인과 같이 일반 청중을 대상으로 하는 매우 제한된 정보를 기반으로 등장할 수 있습니다.
  • [의대 과정 초기]에 학생들은 임상 교과서를 공부하면서 다양한 질병 스크립트에 대한 지식을 쌓습니다.
  • [임상 실습]에 들어가면 이러한 질병 스크립트는 [점차 실무에 맞게 조정]되어, [실제 임상 상황에서 사용할 수 있는 제한된 정보를 바탕으로 활성화]될 수 있습니다. 여기에는 진단 과정 초기에 이용할 수 있는 [지각 정보에 민감해지는 것]이 포함됩니다.

Taken together, theoretical considerations and practical research results suggest that a previous account of script development proposed by Schmidt et al. (1990) is in need of an update. In this view, the early stages of script development consist to a large extent of application of biomedical knowledge. Yet, even laypeople – who presumably have little biomedical knowledge – have knowledge of common diseases that is organized in structures that closely resemble illness scripts (Lau & Hartman 1983; Bishop & Converse 1986; Bishop et al. 1987; Becker et al. 2008).

  • Rudimentary illness scripts can emerge on basis of very limited information addressed at a lay audience, like in health campaigns telling people how to recognize a stroke.
  • During the early years of the medical course, by studying clinical textbooks students accumulate knowledge in a large number of different illness scripts.
  • When they enter clinical practice in the clerkships, these illness scripts become gradually tuned to practice, i.e., they can be activated on basis of limited information available in a practical clinical context. This includes becoming sensitive to perceptual information that is available early in the diagnostic process.

질병 스크립트 조정은 이러한 유형의 지식, 즉 [활성화 조건]과 [초기에 이용 가능한 결과]에 크게 의존합니다. "한번 생각하면 진단이 쉬웠다"는 말은 이미 수십 년 전에 진부한 표현이었으며(Wilkins 1970), 이 단계의 질병 스크립트 개발은 다양한 질병을 가진 많은 환자를 보는 데서 가장 큰 이점을 얻을 수 있음을 시사합니다. 복잡하거나 "흥미로운" 사례에 대한 정교한 토론은 유용한 교육 형식이 될 수 있지만(필연적으로 의사는 때때로 질병 스크립트 중 하나에 "맞지 않는" 환자를 마주하게 될 것입니다), 학생들의 질병 스크립트 개발을 촉진하는 데는 크게 기여하지 못할 것입니다. 마찬가지로 [근본적인 병리 생리학적 메커니즘에 대한 지식]의 역할은 주로 질병을 더 깊은 수준에서 이해하고, 때로는 [질병의 경과나 예상 증상 및 실험실 수치를 예측하는 데에만 국한되는 것]으로 보입니다. 또한 이러한 기초 과학 지식은 전문가들이 의학적 문제에 대해 의견이 일치하지 않을 때 중요한 역할을 할 수 있습니다. 

Illness script tuning depends to a large extent on this type of knowledge, i.e., the Enabling Conditions and the early available Consequences. “Once thought of, diagnosis was easy” was already a cliché quite a few decades ago (Wilkins 1970) and it suggests illness script development in this stage will benefit most from seeing a large number of patients with different diseases. Elaborate discussion of complex or “interesting” cases may be a useful instructional format – inevitably, practitioners will occasionally be confronted with patients who do not “fit” one of their illness scripts – but it will not contribute much to fostering illness script development in students. Similarly, role of knowledge of underlying pathophysiological mechanisms appears to be largely limited to understanding diseases at a deeper level, and occasionally to enable predictions about a disease’s course or expected symptoms and laboratory values. Besides, this basic science knowledge will play an important role when experts disagree about a medical problem.

몇몇 연구는 질병 스크립트의 교육적 의미보다는 [실제적인 효과]를 조사했습니다. Van Schaik 등(2005)은 질병 스크립트 측면이 의사의 특성과 상호 작용하여 의사의 의뢰 결정에 미치는 영향을 조사했으며, Monajemi 등(2012)은 질병 스크립트와 관리 계획 간의 관계를 조사했습니다. 또한 질병 스크립트 개념은 일반 의학 문헌에서도 발판을 마련했습니다(Sanders, 2009, 28쪽).

A few studies have investigated the practical effects of illness scripts, rather than its educational implications. Van Schaik et al. (2005) investigated the influence of illness scripts aspects, in interaction with physician characteristics, on physician referral decisions, whereas Monajemi et al. (2012) investigated the relationship between illness scripts and management plans. Besides, the illness script concept has also acquired a foothold in the general medical literature (Sanders, 2009, p. 28).

마지막으로, 질병 스크립트 이론은 [스크립트 일치도 검사]라는 평가 도구도 개발했습니다(Charlin 외., 2000). 이 테스트는 개별 항목에서 새로운 정보(예: 새로운 발견)가 주어진 대본의 가능성에 어떤 영향을 미치는지 물어봄으로써, 학생의 대본이 전문가 패널의 대본과 어느 정도 일치하는지 측정합니다. 따라서 이 테스트는 검사자가 진단을 '추측'하는 것이 아니라 새로 들어오는 정보를 신중하게 평가하도록 합니다. 다양한 임상 영역에서 점점 더 많이 사용되고 있는 이 검사는 정의되지 않은 상황에서 특히 유용하며 타당성이 입증되었습니다(Lubarsky et al., 2011).
Finally, illness script theory has also brought forth an assessment tool, the Script Concordance Test (Charlin et al., 2000). This test measures to what extent a student’s script matches that of a panel of experts by asking, in individual items, what the effect of a new piece of information (e.g., a new finding) would be on the likelihood of a given script. Thus, this test forces the examinee to carefully assess new incoming information, rather than “guessing” a diagnosis. This test, which is increasingly used in diverse clinical domains, appears to be particularly useful in ill-defined situations and has shown validity (Lubarsky et al., 2011).

 


Med Teach. 2015 May;37(5):457-62. doi: 10.3109/0142159X.2014.956052. Epub 2014 Sep 2.

Thirty years of illness scripts: Theoretical origins and practical applications

Affiliations collapse

Affiliation

1University Medical Center Utrecht , The Netherlands.

PMID: 25180878

DOI: 10.3109/0142159X.2014.956052

Abstract

Aim: This study describes the introduction and spread of the concept of "illness script" in the medical education literature.

Method: First, I will concisely discuss the development of the "script" concept in the general psychological literature and the results of the studies performed to provide it with the necessary empirical basis. Next, I will sketch how "scripts" entered the medical domain via efforts to develop diagnostic systems in the field of artificial intelligence. Subsequently, I will describe how the illness script concept was elaborated and specified by medical educators and educational researchers.

Results and discussion: The illness script concept has solid underpinnings and can be used to elucidate aspects of medical expertise development. It can also be used to formulate recommendations for clinical teaching and has yielded a specific test, the Script Concordance Test.

눈치보기: 의학 수련과정에서 과소대표된 여성의 경험(Perspect Med Educ. 2022)
“Walking on eggshells”: experiences of underrepresented women in medical training
Parisa Rezaiefar · Yara Abou-Hamde · Farah Naz · Yasmine S. Alborhamy · Kori A. LaDonna

서론
Introduction

서구 세계에서 의학 분야에서 여성의 대표성이 증가하고 있으며, 경우에 따라서는 동등함에도 불구하고, 여성들은 그들의 경력 향상에 있어 상당한 사회 문화적, 구조적 장애에 계속 직면하고 있다. 여성은 남성에 비해 의료 분야에서 직무 만족도가 낮고, 소진율이 높으며, 임금 불평등을 경험한다[2,3,4]. 전 세계적으로, 여성 의사들은 또한 학문적 경력을 추구하거나, 지도자 자리를 얻거나, 승진할 가능성이 적습니다 [5,6,7,8]. 그러나 불평등은 단일-이슈 현상이 되는 경우가 거의 없다. 증거에 따르면 그러한 도전은 의사 대표가 부족한 여성(UWiM)에게 복합적으로 작용한다. 예를 들어, 2009년과 2018년 사이에 미국 의과대학의 전체 전임 여성 교수진의 비율이 꾸준히 증가했지만, 대표가 부족하다고 간주되는 인종 또는 민족 출신 여성의 비율은 13%로 정체되었다[6].  
Despite growing—and in some cases equal—representation of women in medicine across the Western world [1], women continue to face significant sociocultural and structural impediments to the advancement of their careers. Compared with their male counterparts, women experience lower job satisfaction, higher rates of burnout, and wage inequity in medicine [2,3,4]. Globally, women physicians are also less likely to pursue academic careers, attain leadership positions, or be promoted [5,6,7,8]. Inequity is rarely a single-issue phenomenon, however. Evidence suggests that such challenges are compounded for underrepresented women in medicine (UWiM). For example, although the overall proportion of full-time women faculty in US medical schools has increased steadily between 2009 and 2018, the percentage of women from a race or ethnicity considered to be underrepresented has stagnated at 13% [6].

최근의 형평성, 다양성 및 포용 노력은 부분적으로 의학에서 [과소 표현되는 것이 수반하는 복잡성]에 주의를 기울이지 않기 때문에 이러한 도전을 완화하지 못했다[9]. 예를 들어, "과소대표"의 개념화는 기관마다 매우 다양하다[10].

  • 일부는 URiM을 "일반 인구의 수에 비해 의료 직업에서 과소 대표되는 인종 및 민족 인구"로 개념화하면서 AAMC의 정의를 그대로 채택한다[11].
  • 다른 사람들은 URiM을 "인종, 민족, 사회경제적 지위, 건강 상태 또는 장애와 같은 개인적 특성이 의식적 또는 잠재의식적 편견이나 차별의 위험에 처한 개인"을 포함한다고 해석한다[10].
  • 캐나다 의학부 협회(AFC)는 URiM에 대한 공식적인 정의를 가지고 있지 않다. 그럼에도 불구하고 AFMC 지도부는 프로그램이 원주민, 여성, 장애인 및 가시적 소수자를 포함한 지정 지분 그룹을 어떻게 지원하고 있는지를 측정하는 데 도움이 되는 "캐나다 의대를 위한 형평성 및 다양성 감사 도구"를 개발했다[12].

Recent equity, diversity, and inclusion efforts have not eased these challenges, in part because efforts do not attend to the complexities of what being underrepresented in medicine (URiM) entails [9]. For instance, conceptualizations of “underrepresented” vary widely across institutions [10].

  • Some adopt the Association of American Medical Colleges definition verbatim, conceptualizing URiM as “racial and ethnic populations that are underrepresented in the medical profession relative to their numbers in the general population.” [11].
  • Others interpret URiM to include “individuals whose personal characteristics, such as race, ethnicity, socioeconomic status, health condition, or disability, place them at risk for conscious or subconscious bias or discrimination” [10].
  • In Canada, the Association of Faculties of Medicine of Canada (AFMC) does not have a formal definition of URiM. Nevertheless, AFMC leadership developed “the Equity and Diversity Audit Tool for Canadian Medical Schools” to help programs gauge how they are supporting designated equity groups, including Aboriginal peoples, women, persons with disabilities, and visible minorities [12].

URiM에 대한 [보다 광범위한 정의]는 지금까지 의료 교육 맥락에서 간과되고 충분히 탐구되지 않았던 가시적 및 보이지 않는 마커를 탐색하는 것의 [오랜 복잡성]에 고개를 끄덕인다[13]. 그러나 진정으로 의미가 있기 위해서는, [과소 표현의 정의]가 또한 어떻게 [가시적이고 보이지 않는 과소 표현된 정체성을 여러 개 갖는 것]이 [역사적으로 남성 우위적이고 이성적이며 유럽 중심적인 직업]에서 배우고 일하는 사람들을 위한 [소외를 복합할 수 있는지] 설명해야 한다. 1989년 페미니스트의 비판적 인종 학자인 킴벌레 크렌쇼는 [성별과 인종의 교차]로 인해 [흑인 여성]이 [[백인 여성]과 [흑인 남성]을 더한 것]보다 더 큰 차별을 경험한다는 사실을 설명하기 위해 [교차성]이라는 용어를 도입했다[16]. [젠더, 인종 또는 민족]을 [사회적 및 제도적 권력으로부터 분리]된 [단일monolithic 정체성]으로 접근하는 것은 "굴복이 중첩되는 시스템 내에서 그리고 페미니즘 및 반인종주의의 가장자리"에 위치할 수 있는 사람들을 효과적으로 지원하지 못할 위험이 있다[16]. 
More expansive definitions of URiM nod to the long-recognized complexities of navigating both visible and invisible markers [13], that have, so far, been overlooked and underexplored in the medical education context. However, to be truly meaningful, definitions of underrepresentation must also account for how having multiple visible and invisible underrepresented identities may compound marginalization for those learning and working in a historically male-dominant, heteronormative, and Euro-centric profession [14, 15]. In 1989, Kimberlé Crenshaw, a feminist critical race scholar, introduced the term intersectionality to account for the fact that, because of the intersection of their gender and race, Black women experience greater discrimination than both white women and Black men [16]. Approaching gender, race, or ethnicity as monolithic identities divorced from social and institutional power risks failing to effectively support those who may be located both “within overlapping systems of subordination and at the margins of feminism and antiracism” [16].

그들이 [UWiM이 되는 것의 의미와 영향]을 완전히 이해하지 못하는 한, 기관과 개인 의료 교육자들은 UWiM 교육생들의 개인적이고 전문적인 요구를 지원하기 위해 고군분투할 것이다. 의학 교육 학자들은 뉘앙스를 점점 더 요구하고 있지만, [과소 표현의 복잡성]은 여전히 탐구되지 않고 있다. 지금까지 우리가 아는 것은 [인종차별이나 성차별의 범위]를 정량화하는 데 초점을 맞추고 있다[19, 20]; 그러한 과소표현의 경험이 의사로서의 UWiMs의 인식에 [어떻게] 영향을 미치는지를 설명한 연구는 거의 없다. 이러한 이해에 따라 형평성, 다양성, 포용성 작업이 좌우되기 때문에 여성 교육생들이 의학에서 과소대표 개념을 어떻게 개념화했는지, 그들의 경험이 그들이 구상하는 진로에 어떤 영향을 미쳤는지를 조사하기 위해 정성적 탐구를 진행했다. 
Unless they have a fulsome understanding of the meaning and impact of being UWiM, institutions and individual medical educators will struggle to support the personal and professional needs of UWiM trainees. Medical education scholars are increasingly calling for nuance, yet the complexities of underrepresentation remain underexplored [17, 18]. So far, the little we know focuses on quantifying the scope of racism or sexism [19, 20]; few studies have elucidated how such experiences of underrepresentation influence UWiMs’ perception of themselves as physicians [21,22,23,24]. Since equity, diversity, and inclusion work depends on such an understanding, we conducted a qualitative exploration to investigate how women trainees conceptualized underrepresentation in medicine and how their experiences influenced their envisioned careers.

방법들
Methods

모든 연구 절차는 교육 프로그램과 관련된 두 개의 학술 기관(의전 #H-05-20-5708 및 #M16-20-036)의 기관 연구 윤리 위원회에 의해 승인되었다.
All study procedures were approved by Institutional Research Ethics Boards at two academic institutions affiliated with the training program (Protocols # H-05-20-5708 and # M16-20-036).

모집
Recruitment

모집은 2020년 6월부터 9월까지 진행되었다. YAH와 FN은 부서 목록을 사용하여 캐나다의 가정의학 대학원 교육 프로그램에 등록된 모든 연수생(n = 159)에게 채용 이메일을 보냈다. 정의에 대한 합의가 부족하고 캐나다의 의료 연수생 인구 통계에 대한 데이터가 부족하다는 점을 고려하여[25], 우리는 대표성 부족을 정의하지 않기로 결정했다. 대신, 우리는 참가자들이 인종이나 민족뿐만 아니라 성 정체성, 성, 종교, 나이, 신체적 체격, 장애(보이는 것 또는 보이지 않는 것) 또는 사회경제적 지위(SES)와 같은 특성에 근거하여 UWiM으로 스스로 식별하도록 초대했다. 
Recruitment took place between June and September 2020. Using a departmental list, YAH and FN sent a recruitment email to all trainees (n = 159) enrolled in a family medicine postgraduate training program in Canada. Given the lack of consensus around definitions and the dearth of data on medical trainee demographics in Canada [25], we elected not to define underrepresentation. Instead, we invited participants to self-identify as UWiM based not only on race or ethnicity, but also on characteristics such as gender identity, sexuality, religion, age, physical build, disability (visible or invisible), or socioeconomic status (SES).

데이터 수집
Data collection

우리는 풍부한 데이터를 생성하기 위해 "참가자들이 서로의 인식을 피드백하는" 방법인 그룹 인터뷰를 사용하여 데이터를 수집했습니다 [26, 페이지 100]. 그룹 인터뷰는 또한 YAH와 FN의 학술적 작업과 COVID-19 팬데믹 동안 UWiM 훈련생의 참여를 촉진했다. 구체적으로 연수생들의 학업일이 끝날 때 집단면접을 추가하는 것은 임상업무의 중단을 최소화하면서 여러 관점을 수집하는 이상적인 방법이었다. 
We collected data using group interviews, a method where “participants feed off of each other’s perceptions”[26, p. 100] to generate rich data. Group interviews also facilitated both the scholarly work of YAH and FN and the participation of UWiM trainees during the COVID-19 pandemic—a global emergency disproportionately affecting women, particularly those identifying as underrepresented. Specifically, adding group interviews at the end of trainees’ academic day was an ideal method of collecting multiple perspectives with minimum interruption to their clinical duties.

10명의 연습생들이 YAH가 이끄는 3개의 그룹 인터뷰 중 하나에 참여하는 것에 동의했다. 코로나19 제약 때문에 고투미팅을 이용해 단체 인터뷰를 진행했다. 각 인터뷰는 2-5명의 참가자가 참여했으며 45분에서 140분 사이에 진행되었다. 반구조화된 가이드를 사용하여 YAH는 대화를 안내하기 위해 다음과 같은 중요한 질문을 제시했다. 
Ten trainees consented to participate in one of three group interviews led by YAH. Because of COVID-19 restrictions, group interviews were conducted using GoToMeeting. Each interview was attended by 2–5 participants and lasted between 45 and 140 min. Using a semi-structured guide, YAH posed the following overarching questions to guide conversations:

  1. 1. 무엇이 당신을 UWiM이라고 정의합니까?
  2. 2. UWiM 정체성이 지금까지 훈련 경험에 어떤 영향을 미쳤습니까?
  3. 3. UWiM 정체성이 환자 및 의료 팀의 다른 구성원과의 상호 작용에 어떤 영향을 미쳤습니까?
  4. 4. UWiM으로서의 경험이 직업이나 직업 선택에 어떤 영향을 미친다고 생각하십니까?
  5. 1.What defines you as UWiM?
  6. 2.How has your UWiM identity influenced your training experience thus far?
  7. 3.How has your UWiM identity impacted your interactions with patients and other members of the healthcare team?
  8. 4.How do you perceive your experiences as a UWiM influence your professional or career choices?

모든 그룹 인터뷰는 NVivo 자동 전사 소프트웨어를 사용하여 오디오 녹음 및 전사되었다[27]. YAH와 FN은 녹취록의 정확성과 익명성을 보장했다. 
All group interviews were audio-recorded and transcribed using NVivo automated transcription software [27]. YAH and FN ensured the accuracy and anonymization of transcripts.

데이터 분석
Data analysis

성찰적 주제 분석에 대한 브라운과 클라크의 [28] 6단계 접근법에 따라 팀원들은 독립적으로 대본을 읽고 데이터에 익숙해졌다. 다음으로, YSA는 일련의 팀 미팅을 통해 개선되고 확정된 예비 주제를 식별하기 위해 선택적 코딩에 참여했다. 마지막으로, YAH와 YSA는 전체 데이터 세트를 재코딩했다. 분석 과정 전반에 걸쳐, 팀 구성원들은 데이터 패턴을 식별하여 의학에서 과소 표현된 참가자들의 경험을 이해하는 것을 목표로 점점 더 해석적인 분석 '스토리라인'을 구성했다. 
Guided by Braun and Clarke’s [28] six-phased approach to reflexive thematic analysis, team members independently read transcripts to familiarize themselves with the data. Next, YSA engaged in selective coding to identify preliminary themes that were refined and finalized over a series of team meetings. Finally, YAH and YSA re-coded the entire dataset. Throughout the analytical process, team members identified data patterns, constructing increasingly interpretive analytical ‘storylines’ aimed at understanding participants’ experiences of underrepresentation in medicine.

데이터 분석은 참가자의 관점을 중앙 집중화하는 [Anderson이 설명한 페미니스트 인식론]을 사용하여 inform되어졌습니다 [29]. 데이터를 연역적으로 분석하기 위해 선행 이론 프레임워크를 사용하지 않았지만, 우리는 [임계 인종 이론]과 [교차성]에 민감했다[16, 30, 31]. 구체적으로, 우리는 참가자들이 자신의 정체성을 개념화하는 방법, 자신의 정체성을 인식하는 것이 훈련 경험에 어떻게 영향을 미쳤는지, 그리고 그러한 경험을 탐색하는 것이 전문가로서의 자아 인식과 그들이 구상하는 미래의 실천에 어떻게 영향을 미쳤는지에 대해 들었다.
Data analysis was informed using the feminist epistemology described by Anderson, which centralizes participants’ perspectives [29]. Although we did not use an a priori theoretical framework to deductively analyze the data, we were sensitized to critical race theory and intersectionality [16, 30, 31]. Specifically, we attended to how participants conceptualized their identities, how they perceived their identities influenced their training experiences, and how navigating such experiences affected their self-perceptions as professionals and their envisioned future practice.

반사율
Reflexivity

각 연구자의 개인적이고 전문적인 경험이 분석 과정에 어떻게 영향을 미칠 수 있는지 사려 깊게 고려하는 과정인 반사성은 질적 엄격성의 핵심 요소이다[32]. 우리는 풍부한 반사 계정을 전자 보충 자료의 표 1에 포함시켰다.
Reflexivity—a process of thoughtfully considering how each researcher’s personal and professional experiences might influence the analytical process—is a key component of qualitative rigor [32]. We have included a rich reflexive account in Table 1 of the Electronic Supplementary Material.

40037_2022_729_MOESM1_ESM.docx
0.02MB

결과.
Results

참가자들은 다양한 범위의 정체성에 기초하여 UWiM으로 확인되었다(그림 1). 참가자의 절반은 국제 의학 졸업생이었고 절반은 영어를 모국어로 보고했다. 8명의 참가자들은 인종, 민족(때로는 이름이나 억양으로 유추하기도 한다), 또는 히잡과 같은 종교적 상징 때문에 [가시적 소수집단]의 일원이라고 보고했다. 소외감을 느끼는 데 기여한 다른 [비가시적 정체성]에는 성적 지향, 종교, 낮은 SES, 정신 건강, 이민 지위, 모성이 포함되었다. 그들의 익명성을 보호하기 위해, 우리는 종종 교차하는 참가자들의 신원에 대한 추가적인 설명적 세부사항을 제공하지 않았다. 
Participants identified as being UWiM based on a diverse range of identities (Fig. 1). Half of participants were international medical graduates and half reported English as their first language. Eight participants reported being a member of a visible minority because of race, ethnicity (sometimes inferred from one’s name or accent), or religious symbols such as the hijab. Other invisible identities that contributed to feeling marginalized included sexual orientation, religion, low SES, mental health, immigration status, and motherhood. To protect their anonymity, we have not provided additional descriptive details about participants’ often-intersecting identities.

 

눈에 보이든 보이지 않든 참가자의 정체성은 그들이 [전문직profession 전반에 걸쳐 친숙하고, 기대되거나, 일반적으로 받아들여지는 것]과 다르다는 보편적인 자기 인식(타자성otherness이라고 정의된 개념)을 낳았다[33]. 그러나, 참가자의 신원 표시가 보이는지 여부에 따라 다른 것의 경험과 시사점이 다르게 나타났다. 예를 들어, 인종차별을 당했거나 종교적 상징을 착용한 사람들은 명백한 차별 사례를 보고할 가능성이 더 높았다. 
Participants’ identities, whether visible or invisible, resulted in a universal self-perception that they were different from what was familiar, expected, or generally accepted across the profession—a concept defined as otherness [
33]. However, the experience and implications of otherness appeared to differ depending on whether participants’ identity markers were visible or not. For instance, those who were racialized or who wore a religious symbol were more likely to report overt instances of discrimination:

"저는 유색인종이기 때문에 환자들이 저로부터(지역 병원 두 곳)의 치료를 거부했습니다. 이로 인해 학습 기회가 사라지고 현장에서 이를 처리하는 방법을 모르는 직원들과의 상호 작용이 매우 어색해졌습니다."(P1, GI1)
“I’ve had patients refuse care from me at (two local hospitals) because I’m a person of colour. And that’s taken away learning opportunities and made for really awkward staff interactions who don’t know how to deal with that on the floor.” (P1, GI1)

반대로, [민족성, 성적 지향 또는 낮은 SES]와 같은 [덜 명백한 정체성 표지]를 가진 사람들은 그것의 직접적인 표적이 되기보다는 [편협한 행동을 목격]할 가능성이 더 높았다. 예를 들어, 혼합 인종으로서 "눈에 띄이지" 않은 참가자(P9, GI3)는 코로나바이러스 팬데믹의 맥락에서 동료들의 반중국 정서를 목격했다. 그녀는 다음과 같이 언급함으로써 동시에 다른 것과 겉으로 소속됨으로써 발생하는 해를 캡슐화했다.

Conversely, those with less readily apparent identity markers such as ethnicity, sexual orientation, or low SES were more likely to witness intolerant behaviour rather than be directly targeted by it. For example, a participant who did not “read as visibly” (P9, GI3) of mixed race witnessed anti-Chinese sentiment from colleagues in the context of the coronavirus pandemic. She encapsulated the harm caused by being simultaneously othered and outwardly belonging by noting:

"그런 정체성이 더 숨겨져 있다는 것은 많은 사람들이 내가 웃거나 그것에 동조할 것이라고 가정할 때, 실제로는 그것이 나에게 정말로 상처를 주거나 모욕적일 때 특정한 논평이나 농담을 하게 만들었다는 것이 흥미롭다." (P9, GI3) 
“It’s interesting that having those identities being more hidden has caused a lot of people to make certain comments or certain jokes, assuming I’m going to laugh or go along with it, when in reality, that’s really hurtful or offensive to me.” (P9, GI3)


[타자성]은 임상 작업장의 [명백한 차별]뿐만 아니라, 참가자들이 [누구나 자기에게 잠재적 위협이 될 수 있다고 가정]하도록 자극한 지금까지의 삶의 경험에서 비롯되었다. 레즈비언이라고 밝힌 한 참가자는 비록 그녀가 환자와 충격적인 만남을 가진 적은 없지만, [동성애 혐오증이 만연하다는 것]은 [그녀가 누구든지 그녀에게 해를 끼칠 수 있다고 가정해야 한다는 것]을 의미한다고 설명했다. 그녀는 자신을 표적으로 삼을 수 있는 사생활의 측면을 언제 어떻게 숨겨야 할지 곰곰이 생각해 보았다.
Otherness resulted not only from overt discrimination in clinical workplaces, but also from prior life experiences, which primed participants to assume that anyone could be a potential threat. One participant identifying as lesbian described that, although she had not had a traumatic encounter with a patient, the pervasiveness of homophobia meant that she had to assume anyone could cause her harm. She ruminated on when and how to hide aspects of her personal life that might make her a target:

"저는 모든 환자와의 상호작용을 할 때 이러한 계산을 하고 있습니다… [제 아내에 대해 이야기하는 것이] 그들이 저를 어떻게 생각하는지에 영향을 미칠까요? 그것은 당신이 마음 한구석에서 하고 있는 정신적인 일일 뿐이다."(P7, GI2)
“I am doing those calculations with every patient interaction … Will [talking about my wife] affect how they think of me? It’s just the mental work that you’re doing in the back of your mind.” (P7, GI2)

실제로 모든 참가자는 [차별을 예상]하고 실제 또는 인식된 위협에 대한 [방어적 행동을 가정]하는 데 상당한 시간과 에너지를 소비했다. 많은 참가자들이 임상 환경에서 종교적 신념을 공개하는 것에 대해 우려를 표명했기 때문에, [종교]는 신분 표시기의 가시성 또는 투명성이 잠재적으로 해로운 경험을 조작하는 참가자들의 능력에 어떻게 다양하게 영향을 미쳤는지를 보여주는 중요한 예이다. 예를 들어, [성적 지향을 비공개로 함]으로써 잠재적 동성애 공포증에 반응한 참가자 7처럼, 참가자 4는 매우 유감스럽게도 환자를 advocating하는 것을 자제했다. 왜냐하면 [공통된 종교적 믿음을 드러내는 것]이 자신의 능력에 대한 인식을 편향시킬 것을 두려워했기 때문이다:
Indeed, all participants spent considerable time and energy both anticipating discrimination and assuming defensive behaviours against real or perceived threats. Since many participants expressed apprehension about disclosing religious beliefs in clinical environments, religion is a key example illustrating how the visibility or invisibility of identity markers variably affected participants’ abilities to maneuver potentially harmful experiences. For example, like Participant 7 who responded to potential homophobia by keeping her sexual orientation private, Participant 4 refrained, with great regret, from advocating for a patient because she feared that revealing shared religious beliefs would bias perceptions about her competence:

"한 환자는 자신이 로마 가톨릭 신자라는 이유만으로 DNR을 거부했다. 선임 스태프 의사와 간호사들이 내 앞에서 그것을 놀리고 있었다. 난 그냥 입을 다물었어. 아무 말도 하지 않은 이유는 만약 당신이 어떤 말을 한다면, 그들은 "아, 당신의 종교나 감정이 당신을 어떤 방향으로 이끌게 한다면 당신은 유능한 의사로서 어떻게 기능할 것인가?"라고 말할 수 있기 때문입니다."(P4, GI1) 
“[A patient] refused the DNR simply because she said that she’s a Roman Catholic. The senior staff doctor and the nurses were making fun of that in front of me. I just shut my mouth. Didn’t say anything because if you say something, they might say, Oh, how would you function as a competent doctor if you let your religion or emotion lead you in a direction or another.” (P4, GI1)

이러한 [전략적 정체성 억압]은 [가시적 소수자 지위]를 가진 사람들에게는 더욱 복잡했다. 참가자들은 자신의 경험을 공유하면서 [자신의 정체성의 측면을 숨기는 능력]이 비록 힘을 잃기는 하지만, 동시에 모든 UWiM이 보편적으로 사용할 수 없는 특권이라는 것을 깨달았다.

  • 백인이었던 참가자 7은 [자신의 성적인 면을 숨긴다는 것]은 UWiM의 지위를 완전히 숨길 수 있다는 것을 의미했다.
  • 하지만 [히잡을 착용을 중단하는 것]이 도움이 될지 궁금했던 소외된 무슬림 참가자에게는 불가능한 일이다

Such strategic identity suppression was more complicated for those with visible minority status. In sharing their experiences, participants realized that the ability to conceal aspects of one’s identity, though disempowering, was simultaneously a privilege not universally available to all UWiM. For Participant 7 who was white, hiding her sexuality meant she could conceal her UWiM status entirely—an impossibility for a marginalized Muslim participant who wondered whether ceasing to wear hijab might help:

"저는 [히잡 때문에] 생각은 서구적이지만 민족적 외양을 보입니다. 이슬람 공포증이 있는 사람들이 있을 것이기 때문에 제가 분명히 이슬람교도처럼 보이게 하는 외모를 없애는 것이 더 나은 생각일까요? 저는 그것이 제 경력에 방해가 되는 것을 원하지 않습니다."(P10, GI3)“I am more Western-minded but more ethnic-looking [because of the hijab]. Is it a better idea if I sort of remove the look that makes me look very obviously Muslim, because some people will be Islamophobic? I don’t want that to stand in my way for my career.” (P10, GI3)

자신들의 민족성과 억양이 돋보인다고 보고한 참가자 4와 10에게 [눈에 띄는 종교적 상징을 제거]하거나, [종교적 소속을 숨기는 것]은 직장 차별을 방어하기 위한 부분적인 해결책에 불과했다. 모든 참가자들이 성별에 기반한 차별을 겪었지만, 타자성을 탐색하는 것의 부담은 [가시적 소수 집단의 구성원들]에게 더 컸다. 
For Participants 4 and 10, who reported that their ethnicities and accents made them stand out, removing a visible religious symbol or concealing a religious affiliation were only partial solutions for shielding against workplace discrimination. Although all participants were privy to gender-based discrimination, the burden of navigating otherness was magnified for members of visible minority groups:

"당신[참가자 7]이 우리의 경험 사이에서 강조한 차이점은 당신에게 challenge가 될 수도 있는 자신의 정체성 부분을 거의 숨길 수 있다는 것입니다. 반면에 저에게는 안녕하세요, 저는 블랙입니다. 모두가 내가 흑인이라는 걸 알아. 그래서, 저는 여러분이 성적 정체성이라는 주제에 대해 달걀 껍질 위를 걷는 것처럼 느끼는 것이 믿을 수 없을 정도로 스트레스가 될 것이라고 생각합니다. 그리고 어떤 순간에 누군가 부적절한 말을 할지도 모릅니다. 반면에 저는 제 주변의 모든 사람들이 블랙니스에 대해 잘못된 말을 하지 않으려고 노력하는 것처럼 느껴집니다. 그리고 나는 누군가가 잘못된 말을 하기를 기다릴 뿐이다." (P6, GI2)
“The difference that you [Participant 7] highlighted between our experiences is that you can almost hide the part of your identity that may become a challenge, right. Whereas for me it’s like, hello, I’m Black. Everybody knows I’m Black. So, I think it must be incredibly stressful for you to feel like you’re walking on eggshells around the subject of sexual identity and that at any moment somebody might say something inappropriate. Whereas for me, I feel like everybody around me is walking on eggshells and trying not to say the wrong thing about Blackness. And I’m just waiting for someone to say the wrong things.” (P6, GI2)

참가자들의 차별과 타자성 경험은 [교수진의 지원 부재]로 인해 악화되었다. 특히, 그녀를 대신하여 옹호하는 한 교수진의 사례를 공유한 참가자는 없었다. 더 나쁜 것은, 교직원들이 그들의 권한을 개입시키는 데 실패함으로써 차별을 영구화했다는 것이다. 
Participants’ experiences of discrimination and otherness were exacerbated by the absence of faculty support. Notably, no participant shared an example of a faculty member who advocated on her behalf. Worse, faculty members perpetuated discrimination by failing to use their authority to intervene:

"그것을 무시하는 사람들이 가장 좌절스럽다. 내가 방으로 걸어 들어가 눈물을 흘리며 걸어나오는 것이 괜찮다고 생각하는 사람들은 그냥 '걱정하지 마, 내가 그 환자 볼게'라고 말한다. 그건 도움이 안 돼요. 내가 그런 학대를 당했다는 사실을 인정하지 않는 것은 도움이 되지 않습니다."(P1, GI1)
“The ones that ignore it are the most frustrating. The ones that think it’s okay for me to walk into a room, walk out with tears in my eyes, and then just [say] ‘don’t worry about it, I’ll see that patient then.’ That’s not helpful. You not acknowledging the fact that I’ve gone through that abuse is not helpful.” (P1, GI1)


[차별, 타자성, 그리고 교수진의 옹호의 부족]에 대한 경험은 참가자들이 [그들의 professional paths을 어떻게 개념화하는지]에 지대한 영향을 미쳤다. 대부분은 더 안전하고 포괄적인 임상 및 학습 환경을 만드는 것을 목표로 하는 진로를 구상했다. 예를 들어, 정신 건강과 씨름하는 한 참가자는 미래의 훈련생들을 위해 개인적인 취약성을 제거하도록 동기를 부여받았다.
Experiences of discrimination, otherness, and the lack of faculty advocacy profoundly influenced how participants conceptualized their professional paths. Most envisioned a career path aimed at creating safer, more inclusive clinical and learning environments. For instance, a participant who struggled with mental health was motivated to de-stigmatize personal vulnerabilities for her future trainees:

"정신 건강과 관련된 일이 있다면, 디스트레스를 받는 사람으로서 [도움을 구하는 것]과 [벗어나는 것] 사이의 선을 긋는 것은 정말 어렵습니다. 내가 곧 staff이 될 거라는 걸 알아. 새로운 전공의들을 만나면 꼭 하고 싶은 말인 것 같아요… '스트레스를 받는다면 알려주세요'."(P2, GI1)
“If you have anything going on with mental health, it’s really difficult to tread the line between help seeking and coming off as a person who’s in distress. I know I’m going to be staff very soon. I think it’s something that I try and say when I meet new residents … ‘If you’re feeling stressed, let me know’.” (P2, GI1)

또한 참가자들은 [개인적 차별 경험]이 독특할 수 있지만, [소외받는다는 것]의[ 공통된 어려움]이 공통점을 확립한다는 인식으로 취약한 환자 집단에 봉사하고자 하는 강한 열망을 나타냈다.
Additionally, participants expressed a strong desire to serve vulnerable patient populations—perceiving that while individual experiences of discrimination may be unique, the shared hardships of being marginalized established common ground:

"저는 도심의 건강을 정말 좋아하고 중독 치료제가 흥미롭다고 생각합니다. 나는 난민 건강이 매우 흥미롭다고 생각한다. 그리고 이것들은 모두 나에게 영향을 미치지 않는 분야들이다… 하지만 내 경험들 때문에, 나는 그들의 경험들을 이해하고 공감하기 위해 내 마음을 확장할 수 있을 것 같다." (P6, GI2)
“I really love inner city health and find addictions medicine interesting. I think refugee health is very interesting. And these are all areas that don’t affect me … But because of my experiences, I feel like I can sort of stretch my mind to understand and empathize with their experiences as well.” (P6, GI2)

하지만, 비록 참가자들이 공감과 이타주의로 의학을 가르치고 실천할 수 있는 힘을 부여받은 살아있는 역경에서 벗어났지만, [개인의 안전에 대한 필요성]에 의해 동기 부여된 것처럼 보였다. 이는 그들의 직업 선택은 또한 [차별로부터 스스로를 떨어뜨릴 수 있는 전문적인 공간을 개척하는 것]을 목표로 함을 뜻한다. 예를 들어, 참가자 7은 그녀의 현재 현실과 그녀가 청소년과 LGBTQ+ 환자들과 함께 일하는 것을 상상했던 미래를 비교했다. "나는 청소년 인구에 끌린다." (P7, GI2) 구체적으로, 그녀는 "당신과 같은 동맹자나 동일시하는 사람들을 찾는 것"(P7, GI2)이 환자뿐만 아니라 자신을 위한 진정하고 포용적인 방법으로 practice할 수 있도록 힘을 실어줄 것이라고 믿었다. 참가자 3은 안전에 대한 유사한 열망을 나타냈다. "나는 단지 내가 같은 생각을 가진 사람들 주변에 있고 이 [과잉 차별]에 대해 강조할 필요가 없는 환경으로 가고 싶다."(P3, GI1)
However, although participants emerged from lived adversity empowered to teach and practice medicine with empathy and altruism, their career choices also seemed motivated by a need for personal safety, aiming to carve out a professional space where they could insulate themselves from discrimination. For instance, Participant 7 contrasted her current reality with the future she envisioned working with adolescents and LGBTQ+ patients: “I’m drawn to the adolescent population” (P7, GI2). Specifically, she believed “finding your allies or people who identify like you” (P7, GI2) would empower her to practice in an authentic and inclusive way not only for patients but also for herself. Participant 3 expressed a similar desire for safety: “I just want to go to an environment where I’m around like-minded people and don’t have to stress about this [overt discrimination]” (P3, GI1).

논의
Discussion

UWiM 인터뷰 대상자들은 훈련 중에 현재 정의에서 과소 표현의 측면으로 항상 개념화되지 않는 [다양한 정체성 마커]를 설명했다. 참가자들의 설명은 UWiM 연습생들이 겪는 공개적이고 은밀한 차별의 빈도뿐만 아니라 학업 환경에서 자행되는 해악을 예측하고 회피하기 위해 그들이 소비하는 [상당한 인지적, 감정적 노동]에 대해서도 조명한다. 우리의 연구는 타자성과 차별이 어떻게 UWiM에게 의료 교육 환경을 억압적이고 적대적으로 만들 수 있는지 이해하는 데 매우 필요한 출발점을 제공한다.
UWiM interviewees described a variety of identity markers that made them feel othered during their training that are not always conceptualized as facets of underrepresentation in current definitions. Participants’ accounts shed light not only on the frequency of overt and covert discrimination UWiM trainees endure, but also on the considerable cognitive and emotional labor they expend to anticipate and deflect harms perpetrated in academic environments. Our study provides a much-needed starting point for understanding how otherness and discrimination may make the medical education environment oppressive and hostile for UWiM.

참가자들의 설명은 [권력과 특권이 지배적인 집단의 구성원들]이 [그들에게 강요하는 렌즈]를 통해 [피지배된 사람들이 어떻게 생각하고 행동하도록 강요하는지] 보여준다. 이에 대응하여 그리고 억압에 대한 생존 메커니즘으로서 소수 집단의 구성원들은 지배적인 문화의 렌즈를 통해 자신들의 정체성을 재정립할 수밖에 없는데, 이 현상은 1903년에 Du Bois[34]에 의해 아프리카계 미국인들의 맥락에서 설명되었고 더 나아가 데보라 그레이 화이트에 의해 인종화된 여성들을 포함하기 위해 "삼중의 의식"으로 발전했다. 흑인 여성에게만 초점을 맞춘 것이 아니라 캐나다의 맥락에서, 우리 참가자들의 경험은 [삼중의 의식]과 공명한다. 연구 참가자들은 다음과 같은 방식으로 다중의 '타자화된' 정체성을 조작했다[35].

  • 잘 알려진 트라우마 반응(잠재적 위협에 대한 학습 환경의 초경계 또는 "과도한 스캔")에 engage하고 
  • 소속을 용이하게 하거나 공공연한 차별을 피하기 위해 정체성 측면을 은폐함으로써 

Participants’ accounts demonstrate how power and privilege force subjugated populations to think and act through lenses that members of dominant groups impose on them. In response and as a survival mechanism to oppression, members of minority groups are forced to redefine their identity through the lens of the dominant culture, a phenomenon described by Du Bois [34] in 1903 in the context of African Americans and further developed as “triple consciousness” by Deborah Gray White to include racialized women. Though in the Canadian context and not solely focused on Black women, our participants’ experiences resonates with triple consciousness. Study participants maneuvered their multiple, ‘othered’ identities

  • by engaging in well-known trauma responses [35], including
    • hypervigilance or
    • “excessive scanning” [36] of their learning environment for potential threats, and
  • by concealing aspects of their identities to either facilitate belonging or to avoid overt discrimination [37,38,39].

그러나 [완전한 신분 은폐]는 [특권의 한 형태]로 언급되었다. 따라서 과소대표라고 식별하는 백인 여성은 확실히 직장 차별에 의해 피해를 입지만, 그들의 [백인성]은 [교차성 탐색의 부담을 덜어주는] "특수 조항, 지도, 여권, 코드북, 비자, 옷, 도구 및 백지 수표와 같이 [보이지 않는 무중력 배낭]"을 제공한다[40].

Full identity concealment was noted as a form of privilege, however. Thus, although white women who identify as underrepresented are certainly harmed by workplace discrimination, their whiteness affords “an invisible weightless knapsack of special provisions, maps, passports, codebooks, visas, clothes, tools and blank checks” that ease the burden of navigating intersectionality [40].

그럼에도 불구하고, 참가자들의 계정은 차별의 트라우마와 임상 학습 환경에서 다른 것을 탐색하는 데 소요된 감정적 노동을 모두 보여주었다[41, 42]. 레지던트 훈련의 전형적인 스트레스를 관리하면서 참가자들의 학습 관심과 정서적 에너지는 [의사로서 자신이 되어야 할 사람과 맞지 않을 수도 있다는 신호]에 의해 끊임없이 우회divert되었다. 특히 리더십과 학문적 지위로 함축된 [권력이 대부분 백인 남성들의 손에 남아있는 학문적 환경]에서 말이다. 참가자들의 경험은 주로 백인 훈련 환경에서 흑인 의대생이 되는 것에 대한 대가를 설명하는 사설에서 Monnique Johnson이 최근 발표한 것과 공명했습니다: "저에게 있어서, 이러한 공간에서 상호작용을 해야 할 때 [제 전체가 유니폼이나 마스크]처럼 느껴졌습니다. 탈진은 [내 자신이 당당하고 진실되게 나 자신일 수 있는 공간]이 없고, [나와 공감할 수 있는 사람들이 충분하지 않은 것]에서 비롯됐다."
Nevertheless, participants’ accounts revealed both the trauma of discrimination and the emotional labor spent navigating otherness in clinical learning environments [41, 42]. While managing the typical stresses of residency training, participants’ learning attention and emotional energy were constantly diverted by signals that they may not fit who they are supposed to be as doctors, particularly in academic settings where power, connotated by leadership and academic rank, remains mostly in the hands of white men and, to a lesser extent, white women [6, 43,44,45]. Participants’ experiences resonated with those published recently by Monnique Johnson in an editorial explicating the toll of being a Black medical student in primarily white training environments: “For me, my whole being when I had to interact in these spaces felt like a uniform or a mask. Exhaustion came from not having a space to be unapologetically and authentically myself and not having enough people who could relate to me” [46].

참가자인 존슨 씨와 다른 사람들의 증언은 [학습 경험과 구조의 형평성]에 대한 의문을 제기한다. 기관 지도자들과 의료 교육자들은 대표자가 부족한 훈련생들이 훈련 중에 종종 침묵과 사일로에서 상당한 정체성 불협화음을 경험한다는 것을 인식해야 한다.
Testimonies by participants, Ms. Johnson, and others raise questions about the equity of learning experiences and structures. Institutional leaders and medical educators must recognize that underrepresented trainees experience significant identity dissonance during their training, often in silence and in silos.

또한 의학은 UriM 또는 UWiM으로 식별되는 훈련생이 [차별의 트라우마를 치유할 수 있는 충분한 공간을 제공하지 않는다]는 점을 유념해야 한다[47]. 지원을 받지 못한 참가자들은 자신의 개인적 정체성과 이상화된 직업 정체성 사이의 긴장을 관리하기 위해 홀로 남겨졌고, 평생 개인적, 경력적 결과를 초래할 수 있는 두려움과 배제에 뿌리를 둔 결정을 내렸다. UWiM 훈련생들이 차별에 직면했을 때 보고하고 그러한 경험이 그들의 직업 정체성과 의도된 직업 선택에 미치는 영향을 성찰하기 위해 신뢰할 수 있는 멘토의 지도 하에 안전한 공간이 필요하다. 비록 여성들, 특히 대표가 부족한 사람들은 그들의 경력을 육성하기 위해 숙련되고 동정적인 멘토가 필요하지만, 그들은 그것이 일어날 때 차별을 호소하고 여성들에게 개인적으로 그리고 직업적으로 영향을 미치는 차별적인 힘을 해체하기 위해 의미 있는 행동을 취할 수 있는 옹호자들이 더 필요하다.
We must also be mindful that medicine does not provide adequate space for trainees who identify as URiM or UWiM to heal from the trauma of discrimination [47]. Unsupported, participants were left alone to manage the tension between their personal and idealized professional identities, making decisions rooted in fear and exclusion that could have life-long personal and career consequences. Safe spaces—under guidance from trusted mentors—are required for UWiM trainees to debrief when encountering discrimination and to reflect on the impact of such experiences on their professional identity and intended career choices. Although women, particularly those who are underrepresented, need skilled and compassionate mentors to nurture their careers, they more so need advocates who are willing to both call out discrimination when it happens, and to take meaningful action to dismantle the discriminatory forces that impact women both personally and professionally.

[교수진 지지자]가 없는 상황에서, 참가자들은 [그들이 경험한 해악(명백한 차별과 문제가 되는 부작위 포함)을 바로잡기 위해 노력]하는 것처럼 보였다. 그들은 그들이 거부당한 멘토링, 옹호, 그리고 진정한 인간이 될 수 있는 기회를 제공할 수 있는 진로를 구상했다. 참가자들이 [봉사정신]으로 이런 불협화음에서 벗어나는 것은 존경할 만하지만, [잠재적인 단점]을 모르는 것 같았다. 예를 들어, [복잡한 심리사회적 및 의료 요구를 가진 사람들을 돌보는 것]은 [동정심 피로와 소진을 악화시킬 위험]이 있는 [시간 집약적인 작업]이다. 이는 여성 의사들 사이에서 이미 잘 문서화되어 있는 현상이다.
In the absence of faculty advocates, participants appeared driven to correct the harms—including blatant discrimination and problematic inaction—that they experienced. They envisioned a career path where they could provide the mentoring, advocacy, and opportunity to be authentically human that they were denied. Although it is admirable to emerge from such dissonance with a sense of service, participants seemed unaware of potential drawbacks. For example, caring for populations with complex psychosocial and health care needs is time-intensive work that risks exacerbating compassion fatigue and burnout—phenomena that are already well-documented among female physicians.

소외된 사람들에게 봉사하려는 욕구는 학계와 리더십에서 UWiM의 부족에 대한 또 다른 가능한 설명이 될 수 있다. 즉, 차별적 구조적 문제가 여성의 리더십 위치 달성 능력을 저해하는 "누출 파이프라인"을 생성하는 것으로 알려져 있지만[47] [불평등에 대한 트라우마 반응]은 [권력의 위치]로부터의 [자기 배제]로 이어질 수 있다. 참가자들이 진정으로 흥분하고 소외된 환자들과 훈련생들을 위한 훈련과 관리를 개선할 수 있는 진로를 시작할 수 있는 권한을 부여받은 것처럼 보였지만, 모든 의사들은 이 일을 할 수 있는 기술과 동기를 가지고 있어야 한다. 이것들은 문화적으로 유능한 의사가 되기 위한 기본적인 요소들이지만, UWiM 참가자들은 그것들을 전문화된 진로의 일부로 인식하는 것처럼 보였다.
The desire to serve marginalized populations may be another possible explanation for the paucity of UWiM in academia and leadership. That is, although discriminatory structural issues are known to create a “leaky pipeline” [47] that hinders women’s ability to attain leadership positions, the trauma response to inequities might lead to self-exclusion from positions of power. Although participants seemed genuinely excited and empowered to embark on a career path that would improve training and care for marginalized patients and trainees, all physicians should have the skillset and motivation to do this work. These are fundamental components of being a culturally competent physician, yet UWiM participants seemed to perceive them as part of a specialized career path—a problematic notion that should trigger both reflection and action.

한계
Limitations

타자성과 차별에 대한 경험은 독특하게 해로우므로, 이러한 해악을 탐구하는 것을 목표로 하는 질적 데이터 세트가 "포화"되는 것이 불가능하다[48]. 우리는 그룹 환경에서 편안하게 공유하지 못한 정보를 보류했을 수 있는 한 캐나다 학술 기관의 10명의 여성 표본이 의학의 다른성에 대한 불완전한 이해를 생성한다는 것을 인정한다. 그러나 참가자들의 풍부하고 감성적인 계정은 UWiM이 탐색해야 하는 복잡성을 이해하는 데 매우 귀중한 뉘앙스를 제공했다. 질적 소견은 일반화하기보다는 이전 가능한 것을 의도하기 때문에 성별 정체성과 실습 환경에 걸쳐 연수생과 교직원에게 반향을 일으킬 수 있다. 더 많은 연구가 시급하며, 현재 UWiM의 교차성과 전문적 정체성 형성의 관계를 이해하기 위한 전국적인 연구에 착수하고 있다.
Experiences of otherness and discrimination are uniquely harmful, rendering it impossible for a qualitative dataset that is aimed at exploring these harms to become “saturated” [48]. We acknowledge that a sample of 10 women from one Canadian academic institution, who may have withheld information they did not feel comfortable sharing in a group setting, generates an incomplete understanding of otherness in medicine. However, participants’ rich and emotive accounts provided invaluable nuance for understanding the complexities that UWiM must navigate. Because qualitative findings are intended to be transferable rather than generalizable, findings may resonate with trainees and faculty members across gender identities and practice settings. More research is urgently needed, and we are currently embarking on a national study to understand the relationship between intersectionality and the professional identity formation of UWiM.

결론
Conclusion

많은 훈련생들에게, 명백한 차별과 타인의 감정은 학업 환경에서 항상 존재하는 위협이다. [형평성, 다양성, 포용성]을 목표로 하는 [정책과 개인의 행동]은 억압을 악화시키는 [과소대표의 복잡성]을 고려해야 한다. 의학부는 지역적 및 역사적 맥락을 고려하여 의학에서 과소 표현 개념화에 대한 사려 깊은 접근법으로부터 이익을 얻을 것이다. [정의와 정책]이 [공평하고 포용적이라는 것을 보장하는 것]은 다음에 달려있다.

  • 훈련생으로 대표되는 [눈에 보이는 정체성]과 [보이지 않는 정체성]의 폭에 대한 [포괄적으로 이해하는 것]
  • 의학에서 [과소 표현에 대한 진화하는 개념화]가 역사적으로 소수화된 그룹을 지원하기 위한 노력을 희석시키지 않도록 [인구 통계 데이터를 계층화하는 것]

For many trainees, overt discrimination and feelings of otherness are ever-present threats in academic environments. Policies and individual actions aimed at equity, diversity, and inclusion must consider the complexities of underrepresentation that exacerbate oppression. Faculties of medicine would benefit from a thoughtful approach to conceptualizing underrepresentation in medicine, taking local and historical contexts into account. Ensuring that definitions and policies are equitable and inclusive depends

  • on both a comprehensive understanding of the breadth of visible and invisible identities represented by trainees and
  • on stratifying demographics data to ensure that any evolving conceptualizations of underrepresentation in medicine do not dilute efforts aimed at supporting historically minoritized groups [11].

대학원 프로그램과 개별 교육자들은 [훈련 환경]이 [문화적으로 안전]할 뿐만 아니라 "[의사]로서 발달하는 자신의 정체성을 이해할 수 있는, sense-making 과정을 용이하게 하는 교육학적 공간"으로 육성할 의무가 있다. 우리는 의학 교육계가 마야 안젤루 박사의 지시에 귀를 기울일 것을 촉구한다. "당신이 더 잘 알 때까지 당신이 할 수 있는 최선을 다하라. 그럼 네가 더 잘 알 때, 더 잘 하라." 우리의 참가자들은 모든 훈련생들이 번창할 수 있는 포용적 학습 환경을 옹호하기 위해 그들의 힘과 특권을 사용함으로써 교직원들이 "더 잘하기" 위해 필요한 비판적 인식을 형성했습니다.

Postgraduate programs and individual educators have a duty not only to ensure that training environments are culturally safe but also that they foster “the pedagogical space to facilitate sense-making processes … thereby enabling [trainees] to understand their own developing identities as doctors” [49]. We urge the medical education community to heed Dr. Maya Angelou’s instruction to “do the best you can until you know better. Then when you know better, do better” [50]. Our participants generated the critical awareness necessary for faculty to “do better” by using their power and privilege to advocate for an inclusive learning environment where all trainees can thrive.

 


Perspect Med Educ. 2022 Dec;11(6):325-332. doi: 10.1007/s40037-022-00729-5. Epub 2022 Nov 22.

"Walking on eggshells": experiences of underrepresented women in medical training

Affiliations collapse

Affiliations

1Bruyère Academic Family Health Unit, Ottawa, Ontario, Canada. prezaief@uottawa.ca.

2Department of Family Medicine, University of Ottawa, Ottawa, Ontario, Canada. prezaief@uottawa.ca.

3Bruyère Academic Family Health Unit, Ottawa, Ontario, Canada.

4Department of Family Medicine, University of Ottawa, Ottawa, Ontario, Canada.

5Faculty of Education, University of Ottawa, Ottawa, Ontario, Canada.

6Department of Innovation in Medical Education, University of Ottawa, Ottawa, Ontario, Canada.

7Department of Medicine, University of Ottawa, Ottawa, Ontario, Canada.

PMID: 36417160

PMCID: PMC9684928

DOI: 10.1007/s40037-022-00729-5

Free PMC article

Abstract

Introduction: Medicine remains an inequitable profession for women. Challenges are compounded for underrepresented women in medicine (UWiM), yet the complex features of underrepresentation and how they influence women's career paths remain underexplored. This qualitative study examined the experiences of trainees self-identifying as UWiM, including how navigating underrepresentation influenced their envisioned career paths.

Methods: Ten UWiM family medicine trainees from one Canadian institution participated in semi-structured group interviews. Thematic analysis of the data was informed by feminist epistemology and unfolded during an iterative process of data familiarization, coding, and theme generation.

Results: Participants identified as UWiM based on visible and invisible identity markers. All participants experienced discrimination and "otherness", but experiences differed based on how identities intersected. Participants spent considerable energy anticipating discrimination, navigating otherness, and assuming protective behaviours against real and perceived threats. Both altruism and a desire for personal safety and inclusion influenced their envisioned careers serving marginalized populations and mentoring underrepresented trainees.

Discussion: Equity, diversity, and inclusion initiatives in medical education risk being of little value without a comprehensive and intersectional understanding of the visible and invisible identities of underrepresented trainees. UWiM trainees' accounts suggest that they experience significant identity dissonance that may result in unintended consequences if left unaddressed. Our study generated the critical awareness required for medical educators and institutions to examine their biases and meet their obligation of creating a safer and more equitable environment for UWiM trainees.

Keywords: Family Medicine; Medical education; Medical training; Underrepresented women.

+ Recent posts