Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

의료시스템과학 등장의 역사적 배경: 1910년대부터 2010년대까지의 미국 의료 체계 개혁과 의학교육을 중심으로(Korean J Med Hist, 2023)
공혜정*

1. 서론

의료시스템과학(Health Systems Science, HSS)은 미국 의학교육에서 기초 의학(Basic medical science)과 임상의학(Clinical medical science) 외의 나머지 부문을 “제3의 영역(third pillar)”이라는 이름 아래 도입한 분야이다. 이는 구체적으로 다양한 인구 집단과 환자들의 보건의료에 대한 요구를 충족하기 위해 관련 서비스를 제공하는 사람, 기관 및 자원의 조직 등에 관하여 연구하거나 교육하는 것이다. 포괄적으로 HSS는 일차적으로 ‘질병에 대처하는 모든 인간 행위와 관련 영역을 포괄하여 총칭’하고 있다(Skochelak et al., 2021: 11; 이종태 외, 2021: 3). 미국의사협회(American Medical Association, AMA)는 HSS를 의학교육에 도입하기 위해 2013년 미국의 141개 의과대학 중 11개 의과대학을 선발하여 각 대학에 연간 100만 달러씩 지원하여 HSS 교육과정을 시범적으로 실시하였다. 이후 HSS 시범 교육 사업 대상은 2016년에는 32개, 2019년에는 37개 학교로 늘어났다. 이는 전체 일반의과(Allopathic medicine)대학과 정골의학(Osteopathic medicine)대학의 약 1/5에 해당한다(Skochelak et al., 2021: Preface). AMA는 2013년에서 2018년까지 총 1,250만 달러를 투자하였다(이종태 외. 2021: 15-16). AMA는 2013년 “의학교육의 변화 가속화(Accelerating Change in Medical Education)” 추진안을 제시하고, 컨소시엄을 구성하였다. 이 컨소시엄에서는 HSS를 통해서 기초의학 교육과 임상의학 교육을 보완하는 것이 일차 목표이다. 궁극적으로 HSS를 통하여 의료의 질 향상, 의료의 가치 증대, 환자 안전 향상, 인구 기반 의료 제공, 협력적 팀 활동, 사회 생태학적 인식, 건강 결정 요인과 건강관리 정책 및 경제에 대한 이해 등을 달성하는 포괄적인 개혁을 꾀하고 있다(Gonzalo et al, 2017: 124). 

현재 미국 의학교육 분야에서 HSS 도입 및 적용에 관한 연구는 증가하고 있다. 과연 무엇이 의학교육에 HSS를 도입시켰는가?

• 조지 E. 티볼트(George E. Thibault)는 HSS와 비슷한 경향-즉 전문직종간(interprofessional) 협력, 만성 질환에 관한 관심과 종단적인 통합 의학교육, 사회결정요인에 관한 관심, 평생 학습, 역량 기반(competency-based) 보건행정 교육, 새로운 정보 기술의 도입 등-이 부상하고 있음을 지적하였다(Thibault, 2020).
• 제프리 M. 볼칸(Jeffrey M. Borkan)과 몇몇 학자들은 HSS의 등장 배경은 플렉스너 리포트1) 이후 변화된 의료 현장의 모습에 대처하기 위한 것이라고 지적하였다. 즉 만성 질환의 급증, 한 명의 의사가 아닌 팀워크가 강조되는 의료현장, 병원보다는 지역사회 의료의 중요성, 인구 집단 보건 문제의 대두 등이 HSS가 등장하게 된 원인으로 꼽고 있다(Borkan, et al., 2021).
• 제드 D. 곤잘로(Jed D. Gonzalo)와 일부 학자들은 HSS의 주요 개념들은 갑자기 출현한 것이 아니라 일찍이는 1960년부터 시작해서 1990년대 말에 출현한 것으로 지적하고 있다(Gonzalo, et al., 2020).

===
1) 이것은 1910년 카네기재단(Carnegie Foundation)의 후원으로 에이브러햄 플렉스너(Abraham Flexner)가 작성한 미국과 캐나다의 의학 교육에 대한 보고서이다. 이 보고서에서는 미국 의과대학이 더 높은 입학 및 졸업 기준을 제정하고, 임상 의학뿐만 아니라 기초 의학 역시 비중 있게 교육해야 한다고 지적하였다. 자세한 내용은 플렉스너 보고서를 참조하시오(Flexner, 2005).
===

이 학자들은 HSS의 대두를 모두 의학 교육의 경향나 흐름, 의료현장의 변화 속에서 고찰하고 있지만, 실제로 역사적으로 어떤 변화가 일어났는지는 구체적으로 논의하지 않는다. 이 연구에서는 기존의 논의를 바탕에 두고 HSS의 출현을

• 첫째는 2010년에 입안된 ‘오바마케어(ObamaCare)’로 알려진 「의료보험개혁법(Patient Protection and Affordable Care Act, PPACA)」의 등장까지의 의료 체계의 변화와,
• 둘째는 미국 의학 교육의 변화 속에서 그 답을 찾고자 한다. 

 

20세기와 21세기 미국의 의료체계는 ‘복잡성(complexity)’을 증대시키는 체계로 발전해 왔다. <그림 1>에서 보듯이 의료체계의 ‘복잡성’은 연방정부와 주 정부의 규제, 의사 · 간호사 · 약사 등에 대한 면허법, 보험회사 등에 의해 더 커졌다. 미국 의료 체계에는 약 3억 명이 넘는 이해관계자와 함께 1,400만 사람들이 고용되어 있다. 2009년에는 전체 국가 지출의 43.6%가 정부 의료 관련 프로그램에 관련된 지출이었고, 총 지출액 기준에서 볼 때 최고로 지출이 많은 산업으로 꼽혔다(Whitehead & Scherer 2013: 317). 또한, 미국의 의학교육 역시 여러 기관, 즉 ‘미국의사협회 의학교육위원회(The Council of Medical Education of The American Medical Association),’ ‘미국의과대학협회(The Association of American Medical Colleges, AAMC),’ ‘졸업 후 의학교육위원회(The Council on Graduate Medical Education, COGME),’ ‘졸업 후 의학교육인증위원회(The Accreditation Council for Graduate Medical Education, ACGME)’의 영향을 받는다. 이렇게 복잡한 의료체계와 교육체계 속에서 HSS는 의료비용을 낮추고 의료 혜택의 효율성을 극대화하기 위한 토대를 제공한다는 목적에서 출범하였다.

본 연구에서는 2장에서 HSS 개념과 미국 의과대학에서의 HSS 도입과 적용 현황에 대해서 살펴보고자 한다. 3장에서는 1910년에서 오바마케어까지의 의료개혁 노력에 대해서 살펴볼 것이다. 4장에서는 1910년에서 HSS 등장까지의 미국 의학교육계의 변화에 대해서 고찰할 것이다.

2. HSS 기본 구조 이해 및 교육 현황

1) HSS 기본 구조

HSS는 <그림 2>에서 볼 수 있듯이 총 12개 구성 요소로 구성되어 있다.

• 이 12개 영역 중 가장 중요한 핵심 영역은 중앙에 있는 ‘환자 및 가족과 지역사회(Patient, family and community)’이다. 그 이유는 ‘환자 및 가족과 지역사회’가 중심이 되는 것이 개인 및 인구를 최적의 상태로 만드는 최고의 추진 동기이기 때문이다. 
• “환자 및 가족과 지역사회”를 포함하여 다음과 같이 총 7개 핵심 역량 영역(Core functional domain)으로 구성되어 있다:
  • ①환자, 가족과 지역사회,
  • ②의료 구조와 과정,
  • ③의료정책과 경제,
  • ④의료정보과학과 기술의 활용,
  • ⑤인구, 공중, 사회적 건강 결정요인,
  • ⑥가치 기반 의료,
  • ⑦의료시스템 개선.
• 이 7가지 핵심 역량을 서로 넘나들면서 다음의 4개의 기반 역량(Foundational domain)이 중간 매개 영역을 담당 한다:
  • ①변화관리,
  • ②윤리와 법,
  • ③리더십,
  • ④팀워크.
• 아울러 이 11개 모든 영역은 시스템사고(System thinking)로 연결(Linking domain)되어 총체적으로 통합되어 있다. 여기서 ‘시스템’이란 “공통의 목적을 달성하기 위해 상호 작용하는 상호 의존적인 요소들의 집합”이라 할 수 있다(Dyne, Strauss, & Rinnert, 2002: 1271). 또한 ‘시스템 사고’란 부분이 아닌 ‘전체’를 견지하면서 다방향적 인과관계를 인식하고 해결하는 역량을 의미한다(Skochelak et al., 2021: 8-11; 이종태 외, 2021: 9-10)

의학 분야의 시스템 이론은 1970년대 조지 엥겔(George Engel)에 의해서 제시되었다. 엥겔은 환자-의사 관계의 목표는, “(1)치유 향상, (2)고통 완화, (3)건강을 증진하는 행동과 관련된 격려와 교육”이라고 보았다. 엥겔이 말하는 의학의 생물심리사회적 모델(biopsychosocial model of medicine)에 의하면, 의사는 환자가 가장 많은 정보를 바탕으로 효과적인 의학적 결정을 내릴 수 있도록, 생물학적, 심리적, 사회적, 시스템적 요소를 통합하는 전체론적 접근 방식(holistic approach)을 취해야 한다. 즉 개인은 생물학적 유기체이자, 가족 및 사회적 맥락에서 살아가는 사람으로 간주해야 한다는 지적이다(Skochelak et al., 2021: 7).

이상과 같이 HSS의 각 영역 간의 관계를 그림으로 표현한 <그림 2>를 보면, 이 기본 틀은 포괄적(comprehensive)인 팀 기반(team-based)의 의사전문직업 정체성 형성(formation of medical professional identity)을 위한 교육 모델이다. 구체적인 내용을 정리한 것이 <표 1>, <표 2>, <표 3>이다.

HSS 식의 시스템 중심 의료체계를 이해하기 위해서는 적정 비용 치료(costappropriate care), 관리의료(managed care)체제2) 에서의 의료 전달체계들(delivery systems)을 최대한 이해하고 활용하는 방법, 환자의 이익 옹호(patient advocacy) 등을 알아야 한다. 예를 들어 응급의학에서 시스템에 기반을 둔 접근을 하자면,

• ①환자 케어 관련된 시스템(보험, 보호자 관련 이슈 등),
• ②기관(병원 등) 관련 시스템,
• ③기술 시스템(운반체제 등),
• ④규제 기관(관련 법 규정 등)을 고려해야 한다(Dyne, Strauss, & Rinnert, 2002: 1271-1276).

이상과 같이 HSS란 7개의 ‘핵심역량,’ 4개의 ‘기반역량’으로 구성되어 있고 ‘시스템 사고’가 이를 아우르고 있다. 다음에는 미국 의학교육에서 HSS 교육 및 적용 현황을 살펴보고자 한다.

===
2) 미국의 관리의료를 간단히 설명하자면, 진료 기록이나 비용 등에 따라 한계선을 정하여 치료를 하도록 하고, 의료 보험에 가입한 사람과 의료 기관 및 의사의 관계를 설정하여 헬스 케어 제도를 총체적으로 관리하는 의료 체계를 의미한다. 대표적인 것이 HMO(Health Maintenance Organization)이다.
===

 

2) HSS의 교육현황

2022년 미국에는 155개 일반 의과대학의 의사(Medical Doctor, MD) 프로그램과 38개 정골의학대학의 정골의학의사(Doctor of Osteopathic medicine, DO) 프로그램이 존재한다. 한국의과대학-의학전문대학원협회에서 발간한 보고서에 의하면 미국 의과대학에서 HSS 운영체계는 크게 세 가지 유형으로 구분할 수 있다.

• 첫 번째 유형은 HSS의 이름 아래 정규 교육과정으로 종단적으로 운영하며 관심 있는 학생들을 위해 선택과목으로 추가적인 과정을 운영하는 대학들이다. 대표적으로는 펜실베이니아 주립의과대학(Pennsylvania State University College of Medicine), 이스트 캐롤라이나 브로디의과대학(ECU Brody School of Medicine), 워렌알포트 브라운 의과대학(Warren Alpert School of Medicine of Brown University), 인디애나 의과대학(Indiana University School of Medicine) 등이 있다.
• 두 번째 유형은 HSS의 주제와 내용이 부각되는 새로운 정규과정을 개설하였지만, 첫 번째 유형과 다르게 특별 과정은 따로 두지 않는 경우이다. 두 번째 유형에는 캘리포니아 샌프란시스코 의과대학(UCSF School of Medicine), 메이요 클리닉 앨릭스 의과대학(Mayo Clinic Alix School of Medicine), 미시간 의과대학(University of Michigan Medical School), 뉴욕대 그로스먼 의과대학(NYU Grossman School of Medicine), 밴더빌트 의과대학(Vanderbilt School of Medicine) 등이 있다.
• 세 번째 유형은 HSS라는 과정명은 없지만, 다른 교과목과 함께 통합하여 기존 교육 과정에 융합한 대학이다. 세 번째 유형에는 캘리포니아 데이비스 의과대학(UC Davis School of Medicine), 오레곤 보건과 과학대학 의과대학(Oregon Health and Science University Medical School) 등이 있다(이종태 외, 2021: 15; Skochelak et al., 2021: 304).

이 대학들 외에도 실제로 교과 과정에 HSS 교과목을 필수과목이나 선택과목으로 가르치고 있는 대학들이 있다. 2019-2020년 통계에 의하면 임상실습 이전에 전체 의과대학의 83.2%인 129개 대학, 임상실습 중에는 전체의 69.7%인 108개 대학에서 교육하고 있다. 그 외에도 HSS의 12개의 핵심 요소에 대해서 가르치는 대학의 수도 상당수이다.3) 이를 표로 정리하면 <표 4>와 같다.4) 또한 미국 면허시험(United States Medical Licensing Examination)과 전국의사면허시험원(National Board of Medical Examiners)에서는 HSS에 대한 시험 과목과 문제를 개발하고 있다(Skochelak et al., 2021: 16).

===
3) 본 연구에서는 명시적으로 HSS의 핵심요소를 표시한 경우만 다루고 있다. 그러나 실제로 연관 분야로 교과 과정에 포함한 경우까지 포함하면 더 많을 것이다. 예를 들어 의료 재정(health care financing)과 같이 의료경제(healthcare economics)에 포함될 수 있는 경우에도 본 연구에서는 포함하지 않았다. 

4) 조사 연도의 경우, 가장 최근에 조사된 기록이다. 비율은 소수점 둘째 자리에서 반올림한 숫자이다. 
===

 

HSS 구조틀은 이전에 흩어져 있던 학습 영역의 통합을 제공하여서, 의료 분야에서 변화하는 의학전문직업성에 대한 총체적인 관점을 만들어냈다. 즉, 기존에는 질 개선, 의료 제공, 보건 구조적 및 사회적 결정 요인, 고부가가치 의료와 같은 시스템에 기반을 둔 이슈는 모두 따로따로 학습됐다. HSS는 이런 분절된 요소들을 통합하여 시스템적 요소들과 함께, “기초-임상-HSS”의 삼각 구조를 형성하였다.

이상과 같이 2013년부터 AMA가 사회 변화에 따른 보건의료의 요구를 충족하기 위해서 기존 기초의학과 임상의학 개념에 더하여 ‘제3의 의학’으로 HSS를 도입하였다. 이후 미국 의과대학 상당수에서 HSS나 연관 교과목을 교육하고 있다.5) 다음 2개의 장에서 1910년대부터 1960년대, 1960년대부터 2010년대까지 의료 개혁의 노력과 사회적 변화, 그리고 이에 따른 의학 교육계의 변화를 역사적으로 추적하고자 한다. 

===
5) 그러나 HSS를 학생들에게 교육하는데 큰 방해물이 있다. 환자 중심의 시스템적 접근을 하는 HSS 교육이 중요함에도 불구하고, HSS 교육 내용이 미국 면허시험에 대다수 채택되지 않았기에 학생들과 교수진은 HSS를 핵심 교육이 아닌 ‘주변적인 교과 과정’으로 여기는 경향이 강하다(Gonzalo, et al., 2016).
===

3. 의료 개혁

역사적으로 미국의 의료제도는 전형적으로 ‘환자-의사’ 양자 관계에 기반을 둔 사적 영역(private sector)으로 발전해 왔다. 식민지 시기부터 미국의 지배적인 문화는 ‘앵글로 색슨-개신교 청교도주의(Anglo-Saxon puritanism)’ 문화였다. 개신교는 성직자의 중개 없이 성경에서 직접 하나님의 말씀을 받고 은총을 받아 구원을 얻거나 거듭나야 한다는 믿는 종교이다. 이러한 종교적, 사회적 분위기는 개인주의 전통을 낳았다. 또한, 개인의 재능과 성품, 노력에 따라 사회적 성공에 이른다고 믿는 ‘아메리칸 드림’의 중심적 요소가 되었다. 이러한 문화 속에서 ‘공짜로 무언가를 얻는 것’은 ‘시민됨(citizenship)’에 어긋나는 것으로 여기며, 복지의 책임이 국가와 사회보다는 개인과 가족에게 있다는 자조의 이념이 선호되었다. 이런 이념 아래에서는 미국식 복지의 개념 역시 제한적일 수밖에 없었다. 또 원칙적으로 어느 분야를 막론하고 시장과 자유경쟁 원리에 따르기 때문에, 정부의 기본적인 역할은 주도적이기보다는 보완적이었다. 이에 건강 보장 역시 개인주의에 바탕을 둔 시장 기제를 선호하였다. 전통적으로 미국에서 의료는 공공재가 아닌 사적 영역으로 소비자의 선택권을 최대한 보장하는 ‘소비자 주권형(consumer sovereignty model)’에 속해왔다(김성수, 2018: 108-114; 119). 그러나 20세기 초반에 이르면 혁신주의(Progressivism)6) 정치가와 사회개혁가들이 공공복지에 대한 정부의 책임성을 강조하는 의료 정책과 전 국민 의료보험에 대한 논의를 전개하였다. 이러한 노력은 100년이 훨씬 지난 후에 결실을 이룰 수 있었다.

===
6) 20세기 초부터 1917년도까지 중산층의 주도하에 미국에서 전개된 광범위한 정치 · 사회개혁 운동을 말한다.
===

1) 1910년대에서 1960년대까지의 변화

19세기 말 독일의 공적 의료보험7) 도입을 목격한 미국 혁신주의자들은 1915년 ‘미국노동법협회(American Association for Labor Legislation, AALL, 1906-1945)’를 통해 전국민 건강보험 도입을 위한 활동을 본격적으로 시작했다. 1915년 AALL은 8개 주에서 ‘강제건강보험제도(compulsory health insurance)’를 입안하려고 시도하였다. 이 시도의 초창기에는 AMA의 승인도 얻어냈었다. 그러나 1917년 러시아의 볼셰비키 혁명(공산주의 혁명)과 미국의 제1차 세계대전에의 개입 때문에 AMA는 기존의 태도를 바꾸어 강제건강보험 제도에 반대 견해를 강력하게 표명하였다. AMA는 강제건강보험이 도입되면 당시까지 의학계에서 독점해 온 진료와 의료비에 대한 통제력을 상실할 것이라는 우려에 휩싸였다. 이와 동시에 주 에서도 강제건강보험 논의 역시 인기를 잃어 결국 성공하지 못했다. 1920년대에는 ‘의료돌봄비용위원회(Committee on the Costs of Medical Care, 이후 국가보건위원회[Committee for the Nation’s Health]로 변경)’에서 그룹 의료(group medicine)와 자발적 의료보험(voluntary insurance)을 제안했지만, AMA는 이는 ‘사회주의 의료(socialized medicine)’라는 비난으로 맞대응을 하였다(Birn et al., 2003: 86-87). 

===
7) 독일에서는 일찍이 19세기 말 1880년대부터 오토 폰 비스마르크(Otto Eduard Leopold Fürst von Bismarck-Schönhausen)가 노동자질병보험법(1883)과 재해보험법, 제국보험법(1911) 등을 입법화시키면서 근로자들의 질병, 업무상 재해, 장애 및 노령 위험으로부터 보호할 수 있는 체계를 마련하였다. 이 법안들은 독일 최초로 전국을 대상으로 하는 공적 건강보험제도의 도입을 의미하였다(황도경, 2013: 57-59).
===

1930년대 대공황시기(Great Depression)에 강제건강보험에 대한 논의는 다시 일어났다. 경제 대공황으로 인한 소득불균형은 의료접근성의 불균형을 초래하였다. 대공황이 한창이던 1934년 프랭클린 D. 루스벨트(Franklin D. Roosevelt) 대통령은 ‘경제보장위원회(Committee on Economic Security)’를 통해 노인 문제, 실업문제, 의료 및 건강보험(강제건강보험)에 대한 안건을 ‘뉴딜정책(New Deal proposals)’8)과 함께 상정하였다. 그러나 전국민건강보험과 관련된 사항은 최종 입안된 「사회보장법안(Social Security Bill)」에 포함되지 않았다(Hoffman, 2003: 76; 여영현 외, 2018: 213). 1930년대에 접어들어 AMA의 정치적 영향력이 더욱 확대되었고, 이들은 여전히 국가건강보험에 반대했다. AMA는 자신들의 궁극적인 관심은 시민의 복지와 건강유지 및 질병 치료, 의학발전에 있다고 하면서, 자신들이 개인 건강보호에 관한 한 유일한 국가이익의 수호자임을 자처하였다(Rimlinger, 1991: 315). 1939년부터 ‘사회보장위원회(Social Security Board)’에서는 ‘전국보건프로그램(National Health Program)’의 내용을 포함하기 시작하였다. 1942년 사회보장이사회는 보건 혜택을 포함한 포괄적인 사회보장제도를 제시하였다. 1942년 연방의회에서는 군인 가족에 대한 건강보험 체계인 ‘긴급모자케어(Emergency Maternity and Infant Care)’를 승인하였다(Hoffman, 2003: 76). 

===
8) 실업자에게 일자리를 만들어 주고, 경제 구조와 관행을 개혁해 대공황으로 침체된 경제를 되살리기 위해 추진한 경제 정책이다.
===

한편 제2차 세계대전이 한창이던 1943년 ‘국가전시노동이사회(National War Labor Board)’는 임금 및 물가 통제라는 명목으로 건강보험을 포함한 특정 근로혜택을 제외해야 한다고 결정하였다. 이 결정 이후 대신 고용주들은 근로자들을 채용하기 위해 집단건강보험을 강화하였다. 이때 ‘전국민강제가입 건강보험’을 주장하고 나온 것이 「와그너-머레이-딩겔 법안(Wagner-Murray-Dingell bills)」이었다. 그러나 AMA는 ‘의료서비스 확대를 위한 전국의사위원회(National Physicians’ Committee for the Extension of Medical Service),’ ‘미국보험경제학회(Insurance Economics Society of America),’ ‘제약회사협회(Pharmaceutical Manufacturers’ Association)‘ 등과 함께 정부 주도의 건강보험에 반대하였다(Hoffman, 2003: 76-77). AMA 외에도 또 다른 이익집단인 ‘미국병원협회(American Hospital Association, AHA)’가 건강보험 논쟁에 참여하게 되었다. AHA는 건강보험 도입에 대해 기본적으로 AMA보다 유연한 태도를 보이면서, 이들은 건강보험 도입이 궁극적으로 병원의 이익에 부합할 것이라는 전제하에 국가 또는 공적 영역에서가 아닌 비영리조직 또는 시장 영역에서 건강보험을 도입하는 안을 발전시켰다. 그 후 AHA는 사적 건강보험의 효시라 할 수 있는 ‘블루크로스(Blue Cross)’9)를 탄생시켰다(김태근, 2017: 42). 이 보험은 병원과 진료소 등 자체 공급구조로 되어 있었고 일정액의 보험료를 받고 정해진 모든 서비스를 제공하는 ‘정액 보험료-포괄적 서비스’방식을 택했다. 이처럼 기존의 민간 보험과는 다른 건강보험은 기업들이 노동자에게 건강보장을 제공하는 것을 더 쉽게 하였다. 이것은 1970년대 이후 미국 건강 보장의 주된 방식으로 등장하는 이른바 관리의료의 기본 틀을 제공하였다(김성수, 2016: 80).

===
9) 블루크로스는 입원보험, 블루쉴드(Blue Shield)는 진료보험을 말한다. 이것들은 계약 병원이나 계약 개업의를 통해서 의료서비스를 제공하는 방식이다. 블루크로스는 1929년 텍사스(Texas) 댈러스(Dallas)시에서 창설되어 학교 교원집단과 베일러(Baylor)대학병원 간의 계약에 따라 교원 1인당 연간 6달러 정도의 보험료로 병원에서 주는 개인 병실에서 21일간 입원 급여를 보장하는 것이었다. 블루쉴드는 1939년 캘리포니아(California) 의사회에서 최초로 설립하여 1946년 각 지방 조직을 조정하기 위한 블루쉴드 연합회가 조직되었다. 블루크로스와 블루쉴드는 1982년 완전히 통합되었다. 이후 블루크로스-블루쉴드 가입자에게 의료서비스를 현물급여방식으로 제공하며 그 비용을 병원이나 의사에게 지급하고 있다. 이 방식은 영리를 목적으로 민간건강보험이 가입자에게 직접 지급하는 상환불 방식과 다르다(김성수, 2016: 85-86).
===

제2차 세계대전 이후인 1945년 개혁가들은 주 정부가 운영하는 강제건강보험에서 한층 더 나아가 미국인 모두를 포함하고, 보편적이며 종합적인 ‘전국민건강보험(National Health Insurance, NHI)’을 사회보장의 하나로 제안하였다. 루스벨트 대통령은 전쟁 이후에 건강보험 혜택을 확대해야 한다고 주장하였으며, 후임인 해리 S. 트루먼(Harry S. Truman) 대통령은 1948년 재선 이후 ‘공정 정책(Fair Deal)’의 하나로 모든 미국인에게 혜택을 주는 단일 건강보험 프로그램을 주장하며, 의회에 전국민건강보험의 통과를 요구하였다. 트루먼 대통령이 제안한 전국민건강보험 안에는 저소득층에게 ‘공적 보조금(public subsidy)’을 주는 방안이 포함되어 있었다(Gordon, 1997: 277-310). 그러나 AMA는 100만 달러를 반의료개혁운동에 투자하였고, 「와그너-머레이-딩겔 법안」의 통과도 막아냈다. 1940년대 말로 넘어가면서 미국 사회는 급격히 냉전과 반공 이데올로기로 뒤덮이게 되었고, 의회는 ‘매카시즘(McCarthyism)’10)의 광풍에 휩싸이게 됐다. 그러면서 국민건강보험 법안을 비롯한 모든 진보 정책은 의회와 행정부에서 설 자리를 잃게 되었고, 국민 건강 보장 운동은 ‘사회주의 의료’로 낙인찍혔다. 한편 고용주와 노조는 직장에 기반을 둔 민간 의료보험을 지지하였고, 개별적인 사적 보험에 의지하는 일이 늘어났다(Hoffman, 2003: 77).

===
10) 1950년부터 1954년까지 미국을 휩쓴 공산주의자 색출 열풍을 말한다. 보통은 1940년대 말부터 1950년대 말까지 ‘제2차 적색 공포(Red Scare) 시대’의 정치적 행위를 일컫는다.
===

이상과 같이 1910년대 혁신주의는 전 국민 의료보장에 대한 논의를 불러 있으켰다. 그러나 제1차 세계대전, 1920-1930년대와 제2차 세계대전을 겪으면서 NHI에 대한 논의는 큰 진전을 보지 못했다. 의료 체계의 개혁 노력은 1960년대에 다시 본격화되었다.

 

2) 1960년 이후부터 오마바케어까지의 변화

1960-70년대는 미국 사회와 의료에서 큰 변화를 초래하였다. 존 F. 케네디(John F. Kennedy) 행정부와 린든 B. 존슨(Lyndon B. Johnson) 행정부에서 1960년대 노인층을 위한 건강보험 계획을 추진하였다. 1960년 연방의회는 「커-밀즈 법안(Kerr-Mills Act)」으로 더 유명한 「노인 의료부조법(Medical Assistance for the Aged Act)」을 통과시켰다. 이 법안으로 각 주 정부는 연방정부의 재정지원으로 저소득층 노인들에게 건강보험을 제공할 수 있게 되었다. 그러나 이 법안이 도입된 지 3년이 지난 1963년까지도 단지 과반이 넘는 주만 이 법안을 시행한다고 서명하였다. 무엇보다 이 법안의 시행에는 재정적 어려움이 뒤따라 실질적 시행에서는 성공적이지 못했다(Iglehart, 1999a: 70-76; 327-332; 여영현 외, 2018: 205). 

존슨 대통령은 1965년에 기존의 사회보장 프로그램을 개정한 ‘메디케어(Medicare)’라는 노인을 위한 사회건강보험을 신설하였다. ‘AFL(미국노동총연맹, America Federation of Labor)-CIO(산업별노동조합회의, Congress of Industrial Organization)’는 은퇴한 조합원들로 구성된 ‘전국노령시민회(National Council of Senior Citizens)’를 만들어서 메디케어의 시행을 강하게 지지하였고 다른 은퇴한 직업군도 함께 참여하도록 독려하였다(Iglehart, 1999b: 327-332). 같은 시기에 시행된 ‘메디케이드(Medicaid)’는 정부가 재원 조달과 관리를 담당하는 건강보장제도라는 점에서 사회보험과 정부 지원이 혼합된 메디케어와 구분이 되었다. 즉 메디케이드는 빈곤층에게 의료서비스를 제공하는 연방정부(법령, 규칙 등으로 일관성 기여)와 주 정부(재정 조달)의 공동 프로그램이었다(Iglehart, 1999c: 403-408). 

노인들과 노동계에서 주도한 ‘전국건강보험위원회의(Committee for National Health Insurance)’는 AMA의 제안서를 포함한 다른 13개의 건강보험제안과 함께 경쟁해야만 했다. 1970년대에 의료비가 비싸지면서 대중의 관심은 보험 커버의 확대보다는 비용 절감에 쏠리게 되었다. 1973년 연방정부에서는 관리의료체계인 ‘건강관리기구(Health Maintenance Organization, HMO)의 확산을 촉진하기 위해 「연방 HMO법(Federal Health Maintenance Organization Act of 1973)」을 제정하였다. 리처드 M. 닉슨(Richard M. Nixon) 대통령은 1974년 자신의 ‘종합건강보험안(Comprehensive Health Insurance Plan)’을 통해 고용자의 참여가 필요한 건강보험안을 내놓았다(여영현 외, 2018: 216). 한편 AMA는 이에 대한 반대 로비를 지속하였다. 법안에 대한 논의가 진행되던 중 워터게이트(Watergate)11) 청문회 때문에 닉슨 대통령이 물러나게 되면서 논의는 더 진전되지 못했다. 닉슨 대통령의 후임으로 제럴드 R. 포드(Gerald R. Ford, Jr.) 대통령이 취임한 후 NHI 법안은 다시 탄력을 받게 되었으나 합의를 이끌어 내지 못하였다(여영현 외, 2018: 217). 1970년대 내내 지속적인 경기불황, 물가상승, 높은 실업률 등 때문에 포드 대통령은 NHI가 물가상승을 더욱 부추길 수 있다는 이유로 NHI에 관한 논의를 중단하였다. 지미 E. 카터(Jimmy E. Carter, Jr.) 대통령은 자신의 선거공약으로 NHI를 다시 내세웠으나, 경제침체 탓에 의회의 다른 의제에 밀리게 되었다(김성수, 2016: 140). 1982년 로널드 W. 레이건(Ronald W. Reagan) 행정부는 메디케어 수혜자의 증가에 따른 지속적인 의료비 상승의 속도를 둔화시키기 위해 메디케어 입원환자의 지급방식을 ‘행위별 수가제(Fee-for-service, FFS)’에서 ‘포괄수가제(Diagnosis-related group, DRG)’에 기초한 ‘선불 상환제도(prospective payment system, PPS)’로 전환했다(여영현 외, 2018: 218). 

===
11) 워터게이트 사건(Watergate scandal)은 1972년부터 1974년까지 2년 동안 닉슨 행정부가 베트남전 반대 의사를 표명했던 민주당을 저지하려는 과정에서 일어난 불법 침입과 도청 사건, 그리고 이를 부정하고 은폐하려는 미국 행정부의 조직적 움직임 등 권력 남용으로 말미암은 정치 스캔들이었다. 닉슨은 탄핵안 가결이 확실하게 되자, 1974년에 대통령직을 사퇴하였다. 이로써 닉슨은 미국 역사상 최초이자 유일하게 임기 중 사퇴한 대통령이 되었다.
===

한편 1992년 대통령 선거가 다가오자 당시 민주당 대선 후보였던 빌 J. 클린턴(Bill J. Clinton) 대통령은 NHI를 역설하였다. 클린턴은 대통령에 당선된 후 부인인 힐러리 클린턴(Hillary Clinton)과 대통령의 의료정책 고문(chief healthcare policy advisor)이었던 아이라 매거진너(Ira Magaziner)를 중심으로 ‘국가의료개혁대책위원회(Task Force on National Health Care Reform)’를 구성하였다. 결국 ‘관리경쟁(managed competition)’12)에 기초하여 민간 중심의 시장 기전을 이용하고 고용자가 피고용자에게 건강보험을 의무적으로 제공하는 것을 골자로 하여 전 국민에게 건강보험을 제공하는 「건강보장법(Health Security Act)」이 만들어졌다. 이 법안은 의료보장을 정부가 정하는 기본 원칙 아래에서 전 국민에게 같은 방법으로 적용하되, 서비스 제공이나 비용통제는 시장의 경쟁원리에 맡긴다는 내용이었다. 지역별로 구매자 조직인 ’건강 연합(health alliance)’을 만들어 보험료로 재원을 조달하고 집단으로 민간보험을 구매하는 역할을 하게 하자는 것이 제안의 뼈대였다. 이것은 ‘전국민건강보험(Universal health insurance)’을 도입해 미국 내 모든 합법적 거주자들이 의료보험을 보유하도록 하는 것이었다. 또한, 이 법안은 ‘국립보건위원회(The National Health Board)’라는 연방 기구(Federal agency)를 신설해 보험료와 의료 수가를 국가 주도하에 통제하는 것을 목표로 하였다. 1년여에 걸쳐 수많은 공청회와 상임위원회 토론, 그리고 원외에서의 거듭된 여론전이 있었음에도, 대중과 이익단체로부터 호응을 얻지 못하고 1994년 11월 상원에서 최종적으로 폐기되었다. 결국 클린턴 행정부의 보건의료 개혁은 실패로 돌아갔다(Hoffman, 2003: 78). 1997년 타협안으로 메디케이드 자격은 되지 않으나 민영건강보험을 이용하기 어려운 저소득 계층 아동의 보호를 위한 ‘어린이건강보험프로그램(State Children Health Insurance Program, SCHIP)’을 제정하게 되었다. SCHIP은 1965년 메디케이드 제정 이후 어린이들의 건강보험을 보장해주는데 가장 큰 영향을 미친 프로그램이었다(여영현 외, 2018: 220). 

===
12) 관리의료의 한계성을 극복하려는 노력으로 관리경쟁(managed competition)이 등장하였다. 이것은 고용자와 소비자에게 최대한의 가치를 제공하는 구매전략으로, 의료서비스 후원자(고용자, 정부, 의료서비스 구매조합 등)가 다수의 건강보험 가입자들을 대신하여 가격 경쟁을 회피하고자 하는 보험회사를 견제하기 위해 의료 시장을 재구성하고 조정하는 것을 의미한다(여영현 외, 2018: 219).
===

클린턴 행정부의 실패 이후 20여 년 가까이 흐른 뒤, 민주당이 대통령과 상-하원 의원 다수를 차지한 버락 H. 오바마(Barack H. Obama) 대통령 때 드디어 전 국민 의료보험 법안을 통과시켰다. 오바마는 당선 후 2009년 2월 SCHIP의 보장성 확대 법안을 통과시키고, ‘오바마케어’로 알려진 「의료보험개혁법(H.R. 4871)」을 2010년 3월에 통과시켰다. 오바마케어의 가장 큰 목적은 미국 인구 중 보험 가입이 되어있지 않은 인구의 보험 가입을 촉진하고, 의료비용을 감소시키는 것이다. 이 법은 10개의 장으로 구성되어 있고, 총 2천 페이지가 넘는 방대하고 복잡한 내용을 담고 있었다.

오바마케어의 주요 내용을 정리하면 다음과 같다.

• 첫째는 전국민건강보험 제도의 성립이다. ‘개인 의무(Individual mandate)’라는 모든 시민이 의료 보험에 가입해야 한다는 체계를 도입했고, 이를 위반하면 벌금13)이 부과된다. 의료 보험 의무 가입 대상은 서류미비자, 불법이민자, 저소득층 등을 제외한 모든 시민권자와 영주권자14)이다. 전국민건강보험을 이루기 위해 오바마케어가 취한 정책수단은 미가입자에 대한 벌금 부과와 일정 소득 이하 자에 대한 확장된 지원 프로그램이다.
• 둘째, 보험 가입을 쉽게 하려고 ‘건강보험거래소(insurance exchange)’를 설립해서, 이를 통해 개인이 자신에게 가장 적합한 보험 계획을 선택할 수 있다는 점이다. 보험료를 낮추기 위하여 온라인 건강보험 상품거래소를 설치하여 모든 의료보험 상품을 한 번에 비교할 수 있도록 하고 있다. 이들 상품은 기본적인 의료혜택을 포함하고 있어야 하고, 가입을 거부하거나 중도 취소할 수 없도록 하고 있다. 보험거래소를 이용하는 것이 정부보조를 받을 수 있는 유일한 방법이기에 모든 의료보험 가입은 이곳을 통해 이루어진다.
• 셋째, ‘보험 혜택 확대(essential health benefits)’를 통하여 기존 병력이나 노령 등을 이유로 의료보험회사가 보험가입을 거부하거나 강제 해지 또는 높은 가산금을 내도록 하는 걸 금지하는 것이다. 보험 회사들이 제공해야 하는 최소한의 건강 보험 혜택을 정의하고, 이를 모든 보험 계획에 적용하도록 요구하고 있다. 보험혜택의 등급(플래티넘, 골드, 실버, 브론즈)을 나눌 수 있지만, 기본적인 의료혜택은 어떠한 등급에서도 제공되어야 한다고 규정하고 있다. 기본적인 의료혜택에는 외래환자 진료, 응급 서비스, 입원, 임산부 및 신생아 진료, 정신 건강 및 약물 남용 장애 치료, 처방 약, 재활 및 훈련 서비스 및 장비, 실험실 서비스, 예방 및 건강 서비스와 만성질환 지원, 아동 서비스(치과와 안과 진료 포함)가 있다.
• 넷째, 정부가 설치한 온라인 건강보험 상품거래소에서 제공하는 보험 상품에 ‘정부보조금(subsides)’을 주는 방식이다. 소득이 낮은 가정이 보험 가입을 할 때 지급하는 보험료를 지원하고 있다. 이러한 오바마 케어를 통한 건강보험 개혁으로 <표 5>와 같은 변화가 일어났다.

===
13) 대상은 개인과 기업으로 나누어 볼 수 있다. 개인은 의무가입 대상이 미가입할 경우 당장 다음 해부터 벌금을 내야 한다. 내야 하는 벌금은 시행 다음 해인 2014년에는 연간 95달러 또는 소득의 1%중 큰 액수, 2년 후인 2015년에는 325달러 또는 소득 2%로 매년 증가한다. 기업 중 주당 30시간 이상 전일제 직원이 50인 이상인 기업은 의무가입 대상으로 미가입 시 벌금이 있다. 직원 수가 적은 기업이 의료보험을 직원에게 제공하면 세제 혜택을 제공하도록 하고 있다.

14) 영주권을 취득한 지 5년 이상 지난 자를 대상으로 한다. 단, 아동과 임산부는 영주권 취득 후 5년이 지나지 않아도 의료보험 혜택을 받을 수 있다.
===

 

 

오바마케어 이후 미국의 의료 상황은 크게 다음의 3가지 측면에서 변화하였다: (1)의료정책 발의(health care policy initiatives), (2)지불 체계 개혁과 가치(payment reform and value), (3)의료 전달 체계의 혁신과 변화(health care delivery system innovation and transformation).

• 첫째, 의료정책 발의에서 가장 중요한 변화는 오바마케어이다. 오바마케어는 의료 서비스의 가치와 효율성을 개선하여 의료 서비스의 가치와 효율성을 개선하고, 예방 전략을 구현하며, 인구집단 건강에 초점을 맞추고 있다. 그러나 이러한 발의 그 자체만으로는 환자와 인구집단 건강에 영향을 미치기에는 충분하지 않았다.
• 둘째, 지불체계 개혁과 가치 측면에서의 변화는, 행위별수가제(fee-for-service)에서 성과보상지불제(Pay for performance, PAP)와 가치기반성과보상지불제도(Valuebased purchasing, VBP), 그리고 포괄지불제(bundled payment)로 변화된 것이다. PAP와 VBP는 보건의료의 질 혹은 효율성에 대한 성과 기대치에 들어맞는 공급자(의사, 병원)에 보상함으로써 질 향상을 촉진하는 지불제도이다(신현웅 외, 2014: 18-19). 포괄지불제는 몇 가지 행위를 묶어서 보상하는 서비스 묶음제(bundle of services)로 미국의 메디케어가 대표적이다(박은철 외, 2014: 18-19).
• 셋째, 의료 전달 체계의 혁신과 변화의 필요성은 기존의 의료 전달 체계가 높은 의료비용과 비효율성, 용납할 수 없는 수준의 환자 안전사고 및 의료 사고, 그리고 무엇보다도 취약 계층 환자들(행동 및 정신 건강 문제가 있는 환자, 소수 인종과 민족, 시골 거주민이거나 사회경제적으로 열악한 계층)의 필요성을 채워주지 못함에서 도출되었다. 이를 극복하기 위해서는 팀 기반 돌봄 모델, 전문직 간 협력, 돌봄 커뮤니티 형성이 필요하다는 지적이다(Skochelak et al., 2021: 2-4).

이상과 같이 오바마 케어 이후 변화된 의료비 지불 시스템의 개혁과 의료 전달 체계의 변화는 의료 환경의 변화를 촉구하였다. 의료계에서는 ‘3가지 목표(triple aim),’ 즉 “환자들의 진료 경험과 인구 집단의 건강을 향상시키면서 비용을 절감하는 것(improving patient experience and population health, and reducing cost)”을 그 목표로 삼고 있었다(Institute for Healthcare Improvement, 2009; Gonzalo et al, 2016: 35; Gonzalo et al, 2017: 123). 이러한 목표를 달성하기 위해서는 시스템 기반의 의료 환경15)에 노출될 필요가 있었고, HSS등장에도 영향을 미쳤다.

===
15) HSS에서 지적하는 시스템 기반의 의료 환경이란, 일개의 의료는 전체 시스템과 연결되어 있음을 의미한다. 즉 자신의 임상 전문 분야와 관련된 다양한 의료 서비스 제공 환경을 전체 시스템과의 관계 속에서 인식하는 것이 시스템 기반의 의료 환경이다. 이를 위해서 먼저 환자 치료 시 비용 절감에 대한 인식과 위험 편익 분석(risk benefit analysis)을 고려해야 한다. 아울러 양질의 환자 치료와 최적의 환자 치료 시스템을 인식해야 한다. 또한, 환자 안전을 강화하고 환자 치료의 질을 개선하기 위해 전문직 간 협력하여 팀에서 일해야 한다. 이를 통해서 궁극적으로 시스템 오류를 식별하고 잠재적인 시스템 솔루션을 구현해야 하는 것이 필요하다(NEJM Knowledge+ Team, Exploring the ACGME Core Competencies: Systems-Based Practice, 2016). 
===

 

4. 의학 교육 개혁

1910년에서 1960년대까지 이상적인 의사의 모델은 모든 것을 독단적으로 처리할 줄 아는 ‘주도적인 의사(sovereign physician)’였다. 이 시기 동안 의사는 자율적이고 독립적이며 권위적이었고, 모든 의료 행위에 대해서 개인적으로 책임을 져야 했다. 이러한 모델은 주로 전염병 같은 급성질환이 많았던 20세기 중반까지는 매우 유용한 모델이었다. 특히 주치의를 제외한 대다수 대중은 의료정보에 접근할 수 없었고 피라미드형 의료 전달 체계에서 의사는 최고 위치에 있었다. 그러나 20세기 중반 이후 만성 질병이 주를 이루고 질병이 더욱 복합해지면서 의사 혼자가 아닌 협진 및 협력이 필요한 팀으로 의료 체계가 돌아가게 되었다. 환자들 역시 더 많은 의료 정보에 노출되기 시작하면서 이러한 ‘주도적인 의사’ 모델은 더는 유용하지 않게 되었다(Lucey, 2013: 1639-1640). 이러한 의료 체계와 의료과정의 변화는 앞으로 살펴볼 의학 교육에서도 변화를 요구하였고, 20세기 후반에는 새로운 의료와 의사 상이 등장할 필요가 있었다.

1) 1910년부터 1960년대까지의 변화

한편 의학교육에서도 1910년대를 거치면서 큰 변화를 맞이하였다. 현재와 같이 기초의학과 임상의학의 두 개의 기둥을 중심으로 하는 틀을 마련한 것은 1910년 에이브러햄 플렉스너(Abraham Flexner)가 존스 홉킨스 의과대학(Johns Hopkins University School of Medicine) 모델을 의학교육의 표본으로 제시하기 시작하면서부터였다. 155개 미국과 캐나다의 의과대학을 대상으로 조사한 후 작성된 플렉스너 보고서(Flexner Report)가 발간된 후 교육병원의 설립과 인턴십과 레지던트 트레이닝을 확립하는 등 의학교육의 질적 향상을 위한 노력, 즉 동일한 입학규정, 교과 과정 및 졸업 필수조건, 주에 의해 규제되는 면허제도 등을 시행하게 되었다(Flexner, 2005). 1937년에 이르면 92%의 의과대학 입학생들은 최소 3년 이상의 학사 과정을 공부한 후에 의과대학에 입학했고, 반 이상이 학부 학위를 가지고 입학하게 되었다(Bonner, 1995: 328-329). 플렉스너 보고서 이후 전반적으로 의과대학생들의 학력 수준의 상승과 의과대학 교육의 질적 · 양적 향상을 불러왔다.

플렉스너 리포트 출간 이후 1910년대에는 기본의학교육의 개혁에 관심을 두었다면, 제1차 세계대전과 제2차 세계대전 사이에는 압도적인 교육 시간을 보충하기 위해서 졸업 후 교육, 즉 인턴십과 레지던트 과정을 체계화시켰다. 제1차 세계대전 이후 1920년대를 거치면서 1-3년의 인턴십 프로그램과 존스 홉킨스 대학의 레지던트 프로그램이 전국적으로 도입되어 시행되었다(Ludmerer, 2023: 104-113). 이러한 수련은 교육병원을 통해서 이루어졌다. 이 시기부터 의과대학과 부속병원(university-owned or controlled hospital) 혹은 협력병원(affiliated hospital)은 ‘학술적 의학센터(academic medical centers)’로 불리게 되었다. 학술적 의학센터는 막대한 규모의 무료 진료를 제공했고, 국가 의료 시스템의 관점에서 보면 담당하는 자선 진료의 양이 엄청났다. 예를 들어 존스홉킨스 대학병원의 경우, 도시 빈민 외래 환자 진료의 거의 50%를 부담하고 있었다. 이 시기 동안 역사적으로 의학과 의사에 대한 신뢰도가 가장 높았던 시기로 기록되고 있다(Ludmerer, 2023: 129-133; 143; 147-8; 151).

제2차 세계대전은 의학 교육에 큰 변화를 초래하지 못했다. 그러나 의학교육을 받고 졸업한 의사들이 활동할 미국은 전혀 다른 사회로 변화하고 있었다. 뉴딜과 전쟁을 겪으면서 연방과 주 정부의 역할과 재정의 규모가 확대되었고, 의료에 대한 수요는 점점 더 늘어났다. 더불어 의료 서비스에 대한 권리는 모든 시민의 기본권으로 여겨졌다. 특히 제2차 세계대전 동안 연방정부와 미국 의과대학과의 관계에 큰 변화가 생겼다. 즉 연방정부의 막대한 지출을 통해 일반 교육 및 고등 교육뿐만 아니라 의학 교육 역시 성장시켰다. 일부 대학은 연구대학(research university)으로 지정되었고, 재정지원을 받아 국가적 목적을 달성하기 위한 주요한 기관으로 성장하였다. 이와 더불어 국립보건원(National Institute of Health)이 설립되었고, 1950년대를 겪으면서 미국 의학 연구는 양적 · 질적으로 황금기를 맞이하였다. 이 시기 동안 미국의 거의 모든 의과대학은 정부 지원금을 받아 의학과 과학 시설 확충도 더불어 일어났다(Ludmerer, 2023: 171-180).

1950년대 이후 베이비붐 세대(baby boomers)의 등장과 함께 역사상 최대 부를 누렸던 미국 사회에서 의료에 대한 수요는 기하급수적으로 늘어났다. 의료 역시 민권의 기본권이라는 개념이 자리 잡기 시작했다. 전쟁 이후시기에 부속 병원들은 지속해서 많은 수의 가난한 환자들을 담당하고 있었으나, 이러한 무료 환자의 비율은 점차 감소하였다. 대신 유료 환자의 수가 증가하면서 전일제 의과대학 교수진은 진료에 더 많이 관여하게 되었다. 아울러 그에 따른 병원의 수입도 많이 증가했다. 한편으로 치솟는 병원 이용비용으로 무료 환자 수의 감소와 함께 병상에 입원하는 환자 수가 감소하게 되면서, 임상 실습의 대상이 줄어들게 되었다. 이것은 의학교육에 지대한 영향을 미치는 것이었다. 즉 시간을 가지고 질병의 변화를 지켜보고 진단하면서 치료할 수 있었던 병상 환자 수의 감소는 교육적으로 큰 손실이었다(Ludmerer, 2023: 193-199).

이상과 같이 1910년대 이후 ‘임상-기초’의 두 쌍두마차를 기본 틀로 하는 의학교육 체제가 형성되었다. 의학 교육은 제2차 세계대전 이전부터 전문화와 표준화, 체계화 과정을 거쳤다. 의학교육은 제2차 세계대전의 영향으로 큰 변화를 맞이하지는 못했지만, 새롭게 변화된 사회에 걸맞은 의학교육의 필요성은 증가하였다.

2) 1960년대 이후부터 HSS 등장까지의 변화

1960-70년대에 현재의 미국 의학교육 체제가 확정되었다. 즉 4년의 의과대학 교육과 인턴십과 전공의 시험을 치르기 전의 레지던트 수련과정이 보다 체계화되었다. 1965년 이후 메디케어와 메디케이드 법안이 통과된 이후 의료 수요가 늘어나면서 의과대학 교수진들은 더 많은 시간을 임상에 매달렸다. 수백만의 미국인들이 민간 의료 시스템에 편입되면서 의료서비스의 이용이 급증하였고, 의료 기관들은 메디케어를 통해서 막대한 이윤을 벌어들였다. 1970-80년 통계에 의하면 대학의 부속병원에서 얻는 진료 수입이 의과대학 수입의 큰 부분을 차지하게 되었다. 대표적으로 존스 홉킨스 대학의 예를 들어보자면, 1970-71년에 임상 진료에 의한 수입은 1,901,000달러, 1974-5년에는 그 3배가 넘는 6,130,000 달러가 되었다. 10년 후인 1983-34년에는 10배 가까이 되는 6천만 달러에 육박했다(Ludmerer, 2023: 257-260).

1980년대에는 병원의 목표가 환자의 신속한 처리가 되었다. 앞서 언급한 대로 1983년 연방정부가 메디케어 환자들에 대한 병원비의 선불상환제도를 제정하는 법안을 통과시키면서 환자의 진단에 따라 증례당 정해진 비용을 지급하는 포괄수가제가 도입되었다. 이러한 변화는 경쟁적인 시장을 더욱 강화시켰다. 1980년대와 1990년대 HMO와 PPO(Preferred Provider Organization)로 대표되는 관리의료는 의사와 병원에 강력한 통제를 하였다. 관리의료기구로 인해 의학교육과 학술적 의학센터는 부정적인 영향을 받았다. 관리의료기구로 인해 전문화된 의료 서비스에서 일반 의료 서비스로 중심이 이동하였고, 이에 일차 의료에 지원하는 의대생의 수가 증가하였다. 그러나 가격 및 의료의 양도 동시에 제한하는 관리의료 체제에서는 학술적 의학센터는 재정적으로 어려움을 겪게 되었다. 무엇보다 환자들의 병원 체류 기간의 단축과 외래의 증가로 인해 병동의 학습 환경이 침식을 받았다. 결과적으로 의과대학과 학술적 의학센터는 관리의료 체제에 대처하기 위해 자본주의 경영방식을 도입하게 되었다. 궁극적으로는 학술적 의학센터는 사명과 존재 이유를 상실하게 되었다(Ludmerer, 2023: 388-396; 402-403).

관리의료 체제에서 환자와 의사의 면담 시간은 점차 줄어들면서 과소진료의 폐해가 나타났을 뿐만 아니라 의과대학의 책무, 즉 국민의 건강을 책임진다는 책임의식 역시 줄어들었다. 1990년대 들어서 학술적 의학센터는 국가가 필요로 하는 유형의 의사를 배출할 필요성에 따라 비용에 대한 인식, 예방의학, 건강진단, 환자 관리의 심리 사회적 차원 등의 교육을 개선할 필요가 있었다(Ludmerer, 2023: 422-423).

한편 1990년대부터 지속적인 환자 안전 문제와 낮은 효율성, 높은 비용 등 때문에 미국의 의료체제는 불안정한 모습을 보였다. ‘졸업 후 의학교육위원회(COGME)’를 비롯해서 많은 관련 기관에서는 지속 가능한 미국 의료 체제의 회복을 위해서 전문의 교육의 지식과 술기 면에서의 획기적인 개혁을 꾀하였다. ‘졸업 후 의학교육인증위원회(ACGME)’와 각 주의 면허허가기관, 전공의 보드(American Board of Medical Specialities)에서는 1998년부터 이를 개선하기 위한 노력을 시작하였다. 1999년에는 ‘ACGME 성과프로젝트(ACGME Outcome Project)’를 내놓았다. 여기서는 다음과 같은 여섯 개의 성과를 나열하였다: 환자돌봄(patient care), 의학지식(medical knowledge), 실습 중심의 교육과 향상(practice-based learning and improvement), 프로페셔널리즘(professionalism), 대인관계와 의사소통 기술(interpersonal skills and communication), 시스템 중심의 의료(system-based practice, SBP). ‘시스템 중심의 의료’란 일개의 의료는 더 큰 의료시스템과 연결되어 있다는 것을 인식하는 것이다. 예를 들자면, 2002년 미국의 의료체계 내에서 170만의 ‘병원 내 감염(nosocomial infection)’으로 인해 99,000명이 사망했다. 그 주된 이유는 만성적인 시스템 실패와 환자 안전의 문제를 등한시한 것 때문이었다.16)

===
16) 4년의 의과대학 전 대학교육, 4년의 의과대학 교육, 1년의 인턴십과 2-7년의 레지던트 교육과정을 통해서 의사들은 사례 중심의 의사결정과정(case-based decision tree), 즉 “만약-그렇다면(if-then)”의 논리적인 체계적인 의사결정 과정을 거쳐야 한다. 레지던트 프로그램에서는 보드 자격시험을 통과하는 것이 제일 중요한 목표이다. 그러므로 컴퓨터로 치르는 레지던트 보드 시험에서는 레지던트 프로그램의 개선을 위해 제시한 ‘ACGME 성과프로젝트(ACGME Outcome Project)’에서 제시한 6개의 성과 중 ‘의학지식’ 외에는 다른 5개의 성과는 13년이 지난 2013년에도 무용지물이었다. 이런 상황을 극복하기 위해서, 피터 N. 화이트헤드(Peter N. Whitehead)와 윌리엄 T. 쉐어러(William T. Scherer)는 6개의 교육성과 교과 과정은 레지던트 프로그램에서는 2년 차에, 그리고 그 아래 교육 단계인 의과대학 전 교육과 의과대학 교육프로그램에서도 포함해야 한다고 주장하였다(Whitehead & Scherer, 2013: 321-322).
===

2000년부터 환자 안전, 가치 기반 헬스케어 등의 HSS의 기본적인 틀이 구체적으로 제시되었다. 2000년부터 2010년까지 미국과 캐나다의 의학교육계에서 출판된 15개의 보고서를 분석해 보면 다음과 같은 8가지 주제에 관심을 두고 의학교육을 개혁하고자 하였다. 즉

• 의학교육 연속성 통합,
• 평가와 의학 연구의 필요성,
• 재정확충을 위한 새로운 방법 모색,
• 리더십 교육의 중요성,
• 사회적 책무성에 대한 강조,
• 의학교육과 의료에서 새로운 기술의 활용,
• 의료 전달 체제의 변화와의 조응,
• 의료현장에서의 미래 방향성 등이다(Skochelak, 2010).

보고서마다 상이한 특징이 있지만, 그중에서 HSS의 내용과 비슷하거나 그 시초를 보이는 지적들이 있었다. 이 중 가장 큰 특징으로는 리더십, 사회적 책무성, 인구 집단 건강의 중요성, 새로운 기술을 이용한 교육, 그리고 보건 전달 시스템의 변화에 조응하는 교육, 非(비) 병원환경에서의 의학교육, 전문직종간 팀 훈련, 행동과학과 사회과학을 강조하는 교육, 만성 질병 관리, 질 향상, 환자 안전과 관련된 교육을 강조하였다는 점이다(Skochelak, 2010: S230-S232).

2007년부터는 변화하는 의료 체계에 발맞추고자 하는 HSS의 강조점과 더욱 흡사한 지적이 등장하기 시작했다.

• 『의학교육을 변화시킬 발의(Initiative to Transform Medical Education: Recommendations for Change in the System of Medical Education)』 (American Medical Association, 2007)에서는 지속해서 새로운 의료 시스템에서 핵심 역량을 발전시킬 것을 강조하였다.
• 『확장 시기의 의학교육 사명 재검토하기(Revisiting the Medical School Educational Mission at a Time of Expansion)』 (Hager & Russell, 2009)에는 사회적 요구(needs)와 기대에 부응하고자 하는 노력과 전문직종간 교육, 지역사회기반의 교육을 초기부터 시도하려는 노력이 필요하다고 주장하였다. 또한 변화를 위한 강한 학교 차원에서의 리더십, 대중의 건강관리 필요에 부응하는 의과대학의 사명체제, 전문직업성의 향상, 전문직종간 교육 기회, 교과 과정에서의 혁신, 의학교육과 건강관리에서의 새로운 기술 도입 등을 주장하고 있다.
• 『의료 전문직에서의 보수교육 재설계하기(Redesigning Continuing Education in Health Professions)』 (2009)에서는 지금까지 보수교육에서의 단점을 지적하면서 국가 차원의 전문직종간 평생 교육 기관을 세워서 팀 기반(team-based)의 교육 환경을 조성하자는 의견을 제시하였다.
• 『누가 일차 의료를 제공하고 어떻게 그들을 훈련할 것인가(Who Will Provide Primary Care and How Will They Be Trained)』 (Culliton & Russell, 2010)에서는 미국에서의 일차 의료 서비스의 부족에 대해 지적을 하면서 일차 의료는 새롭게 변화하는 의료체계 시스템으로 통합되어야 한다고 지적하고 있다.
• 『의사 교육하기(Educating Physicians: A Call for Reform of Medical School and Residency)』 (Cook, Irby & O’Brian, 2010)에서는 표준화된 교육체계와 다른 의료 종사자들과의 팀 기반 교육체계, 공식적이고 경험적인 교육의 지속성의 필요성 등을 지적하였다. 

앞서 언급된 의학 교육의 변화 요구는 2010년 오바마케어 이후 변화된 의료 체제의 변화에 부합하기 위해 HSS로 구체화되어 제시된 것으로 보인다. 이상과 같이 1960년대 이후 공적 의료 보험의 확대, 관리의료와 관리경쟁, 오바마 케어까지 미국의 의학 개혁 노력은 의학교육에도 변화를 초래하였다. 이러한 변화는 의사를 비롯한 의료인의 역할 역시 새로운 변화를 요구하였다. 의료인은 단순히 기초 및 임상 과학을 익히는 것을 넘어서서 사회적, 환경적, 경제적, 기술적 시스템의 복잡·다양함을 이해하고 이를 전문직업성(professionalism)의 영역까지 확대하는 역할을 담당해야 한다는 인식이 강해졌다. 또한, 1960년대 이후 진행된 일련의 의료체계의 변화는 의과대학과 병원에서의 변화를 요구하였다. 즉 2010년대에 AMA를 중심으로 제시된 HSS는 미국 의료 체제와 미국 의학교육의 당면한 과제를 해결하기 위한 대안으로 출발하였다. 

5. 결론

이 연구에서는 HSS의 등장 배경을 의료 체계 개혁과 의학교육을 중심으로 살펴보았다. 의학교육에서의 HSS 도입과 적용에 관한 연구는 미국에서 증가하고 있으나, 의료 체계의 변화와 의학교육을 연결해 그 역사적 등장 배경을 고찰한 논문은 아직은 없었다. HSS는 미국에서 기초의학과 임상의학 외의 나머지 부문을 포괄하면서 등장한 분야이다. 이것은 7개의 ‘핵심역량,’ 4개의 ‘기반역량,’ 이들을 모두 아우르는 ‘시스템 사고’로 구성되어 있다. 이것은 기본적으로 포괄적인 팀 기반 의사전문직업성 정체성 형성을 위한 교육 모델이다. 2013년 AMA가 제시한 HSS를 많은 의과대학에서 교과 과정에 도입하고 있다. HSS의 콘텐츠를담은 교과 과정을 가르치는 학교들은 전체 일반의과대학과 정골의학대학 전체의 70%를 넘고 있다.

2010년대 HSS의 등장과 유행에는 미국의 의료제공 체제의 큰 변화와 관련이 있었다. 역사적으로 미국의 의료제도는 환자-의사의 양자 관계를 기반으로 한사적 영역으로 규정되어 왔다. 이러한 의료체계에 대응하여 20세기 초부터 전국건강보험제도 도입을 위한 노력들이 있었다. 그러나 2번의 세계대전과 대공황, 매카시즘을 겪으면서 이 논의는 1960년대까지 별 진전이 없었다. 1960년대 중반 의료보장 프로그램인 메디케어와 메디케이드가 신설되면서 국가적 차원의 의료지원 시스템이 일부 미국인들을 위해 운영되었다. 1970년대에는 HMO가 제정되면서 관리의료체제가 자리를 잡아갔다. 1970-80년대를 동안 조용하면서도 꾸준히 논의되어온 의료체제 개선안은 1990년대 클린턴 행정부에서 「건강보장법」을 통해서 열매를 거두는 것처럼 보였으나 결국 실패하고 말았다. 드디어 오바마 행정부에서 ‘오바마케어’로 알려진 의료보험개혁법을 통과시킴으로써—비록 아직까지도 불완전하고 문제점을 안고 있었지만—전국민건강보험체제를 이룩하였다.

1910년부터 1960년대까지 미국 의학 교육의 역사는 표준화(standardization)와 전문화(professionalization) 과정이라고 할 수 있었다. 식민지 시기부터 1910년 의학교육의 패러다임을 변화시킨 플렉스너 보고서가 나오기까지, 의학교육의 역사는 지속적인 의료체계 변화의 필요성과 현실적 이해관계와 한계 속에서 조금씩 변화해 온 것이라 할 수 있었다. 플렉스너 보고서 이후 100여 년간 미국 의학 교육은 ‘기초 의학과 임상 의학이라는 두 기둥’을 중심으로 형성되었다. 의료체계 변화의 역사적 사건들이 쌓이게 되면서 2010년대 HSS의 기본적인 개념과 교육 시스템이 구축되는 결과를 낳게 되었다. HSS는 ‘제3의 의학’이라는 이름으로 2010년 오바마케어의 등장과 함께 의학교육의 한 축을 담당하게 되었다.

이 글을 마치면서 분명히 해야 할 것은 앞서 살펴본 바와 같이 HSS는 미국적인 상황에서 등장한 미국 의학교육의 새로운 흐름이라는 점이다. 미국은 OECD 국가 중 가장 높은 의료비를 지출하는 나라지만, 낮은 의료 혜택때문에 기대수명이 2022년 기준 남성(73)과 여성(79) 모두 OECD 평균인 80.5세에 미치지 못하고 있다(강진욱, 2022). 이는 건강 형평성(equity)을 이루지 못하고 있는 미국의 의료보험 체제의 문제에서 찾을 수 있다. 미국은 오바마 케어가 등장하기 이전에 OECD 주요국 중 전국민건강보험 제도를 도입하지 않은 유일한 나라였다. 이는 미국 의료의 역사에서 의사 중심의 의료가 환자와 국민 중심의 의료로 변화하기 위한 지속적인 노력과 제도의 변화가 있었지만, 아직도 의료보험 체제의 미흡함을 여전히 가지고 있음을 나타낸다. 또한, 전문가들은 미국 보건체제가 불공정하고 비효율적임을 지적하고 있다. 코로나 19를 겪으면서 모든 사회 구성원에게 고른 의료 혜택을 베풀어야 한다는 의식이 팽배해졌다. 2016년 통계에 의하면 현재 미국은 다른 선진국에 비해 질병 부담이 31%나 더 높고, ‘예방 가능한 질병(preventable disease)’으로 인한 병원 입원의 수가 더 많았다(Singh, Gullett, & Thomas, 2021: 1282). 코로나 19 팬데믹은 미국 보건 및 의료 시스템의 열악한 측면을 극명하게 보여주었다. 특히 흑인을 비롯한 非(비) 백인들의 낮은 코로나 19 검사율과 높은 발병률을 보여주며, 높은 사망률로 이어졌다. 이러한 미국 의료의 불공정성과 비효율성은 역사적으로 본문에서 언급한 몇 가지 사건들을 계기로 조금씩 진보되는 모습을 보이기는 하였으나 아직도 개선의 여지가 많음을 보여준다. 

이러한 미국의 의료 공급과 의료체제 측면에서 볼 때 HSS는 미국적인 의학체제에 대응하기 위한 의학교육의 문제를 해결하기 위해 등장했음을 알 수 있다. 최근 일부 학계에서는 HSS를 한국 의학교육에 도입하고자 하는 노력을 하고 있다. HSS가 추구하는 교육 목표는 의료계의 팀 기반 의료체계와 환자 안전에 대한 관심의 증가와 함께, 다인종 · 다문화 사회, 그리고 저출산과 초고령화를 향해 가는 한국 사회에서도 시사하는 바가 없다고는 할 수 없다. 그러나 HSS가 추구하고 달성하고자 하는 교육 목표와 지향점을 역사적으로 고찰해 볼 때, 무분별한 선망이나 모방은 한국 의학교육이나 한국 사회의 당면 문제를 해결하지 못하는 것은 물론이고 혼란만 초래할 것으로 보인다. 그러므로 미국 사회와 의료 체제에 맞게 설계된 HSS는 깊은 숙고 후에 한국적인 상황과 의학교육에 맞는 일부만 선별적으로 조심스럽게 도입하는 것이 바람직하다. 

 

미국 의료시스템과학 교육의 한국 도입과 그 비판(Korean J Med Hist, 2022)
김택중*

의학교육에서 의료인문학의 가치: 의사학을 중심으로 (Korean J Med Hist, 2022)
권복규*

실천을 통한 학습: 의과대학생 리더의 현상학적 연구(Med Educ, 2022)
Learning by doing: A phenomenological study of medical student leaders
Henry G. Annan1,2 | Victor Do3,4 | Anna MacLeod2

1 소개
1 INTRODUCTION

의학교육계는 수년 동안 리더십을 의사의 핵심 역량으로 인식해 왔습니다. 영국 왕립 의과대학 아카데미와 국민보건서비스는 리더십을 '의사의 전문 업무의 핵심 부분'으로 간주합니다.1 마찬가지로 캐나다 의과대학협회(AFMC)는 2010년 및 2012년 캐나다 의학교육의 미래(FMEC) 보고서에서 학부 및 대학원 수준에서 리더십 개발을 촉진할 필요성을 강조했습니다.2, 3 국제적으로 인정받는 CanMEDS 의사 역량 프레임워크는 의사 리더십을 의사직의 맥락에서 정의하고 있습니다. 이 프레임워크는 '리더로서 의사는 임상의, 행정가, 학자 또는 교사로서의 활동을 통해 고품질 의료 시스템의 비전에 기여하고 우수한 환자 치료 제공에 대한 책임을 지기 위해 다른 사람들과 교류한다'고 설명합니다.4 '다른 사람들과 교류'에서 CanMEDS는 의사의 리더십을 협력적인 것으로 강조합니다. 이는 의사를 의료 시스템 개선이라는 환경 속에 위치시킴으로써 환자와 직접 대면하는 것 이상의 일을 요구합니다. 마지막으로, 적어도 일부 상황에서는 의사의 리더십이 관리자나 교육자와 같은 공식적인 역할('책임감')을 맡는 것까지 포함한다고 제안합니다. 
The medical education community has recognised leadership as a core physician competency for many years. The Academy of Medical Royal Colleges in the United Kingdom and the National Health Service consider leadership as ‘a key part of doctors' professional work’.1 Similarly, the Association of Faculties of Medicine of Canada (AFMC) in their 2010 and 2012 Future of Medical Education in Canada (FMEC) reports highlighted the need to foster leadership development at the undergraduate and postgraduate levels.2, 3 The internationally recognised CanMEDS physician competency framework defines leadership in the context of physicianship. It explains that ‘as leaders, physicians engage with others to contribute to a vision of a high-quality health-care system and take responsibility for the delivery of excellent patient care through their activities as clinicians, administrators, scholars or teachers’.4 In ‘engaging with others’, CanMEDS highlights physician leadership as collaborative. It places the physician within the milieu of improving health-care systems—thereby requiring work beyond the face-to-face patient interaction. Finally, it suggests that, at least in some circumstances, physician leadership encompasses taking on a formal role with some associated accountability (‘take responsibility’), for example, as an administrator or an educator.

굿달과 베커가 처음 제안한 전문가 리더십 이론5은 조직의 '핵심 비즈니스 활동에 대한 업계 경험과 전문적 능력'을 갖춘 리더가 조직을 위해 더 나은 결과를 도출할 수 있다고 가정합니다. 기업 세계에서 많은 예시가 제시되었지만, 이러한 현상은 의료 분야에서도 입증되었습니다. 문헌에 따르면 임상의사가 리더십 역할을 맡은 병원이 그렇지 않은 병원에 비해 병원 성과가 더 높을 수 있다고 합니다.6-8 따라서 의사가 조직 리더십 기술을 갖추면 전반적인 인구 건강 결과를 개선하는 등 장기적인 이점을 얻을 수 있습니다. 
The theory of expert leadership, originally proposed by Goodall and Bäker5 postulates that leaders with ‘industry experience and expert ability in the core business activity’ of an organisation may be better positioned to yield better outcomes for their organisation. While many illustrative examples are given from the corporate world, the phenomenon is demonstrated in health care as well. The literature suggests that hospital performance may be higher in hospitals with physicians in leadership roles compared to those without clinicians at the helm.6-8 As such, equipping physicians with organisational leadership skills may have long-term benefits including improving overall population health outcomes.

리더십 기술의 중요성에도 불구하고 의료 학습자들은 최소한의 리더십 개발 교육만 받고 있습니다.9 이러한 리더십 개발의 격차는 의학교육 전반에 걸쳐 존재합니다.10-12 2010년 브라운 등의 연구에 따르면 레지던트들은 의료 시스템 및 기타 관리 측면에 대한 교육이 필요하다고 답했습니다.13 마찬가지로 반즈와 동료들은 의대생들이 임상 리더십 역할을 맡을 준비가 되어 있지 않다고 느끼는 것으로 나타났습니다.14 그러나 의대생 시절 리더십 개발은 임상 실습 중에 리더십 역할을 맡을 수 있도록 의대생을 준비하는 데 효과적입니다.15 
Despite the importance of leadership skills, medical learners continue to receive minimal leadership development training.9 This gap in leadership development spans the medical education continuum.10-12 A 2010 study by Broun et al noted that residents identified a need for training in health systems and other aspects of management.13 Similarly, Barnes and colleagues found that medical students felt unprepared to take on clinical leadership roles.14 Yet, leadership development during medical school can be effective in preparing medical students for taking on leadership roles during their clinical practice.15

효과적인 공식 리더십 개발 교육이 존재하지 않는 경우, 관련 과외 활동에 참여하는 것은 의대생이 리더십 기술을 연마할 수 있는 또 다른 방법을 제공합니다. 의료 기관에서 동료를 대표하거나 건강 옹호 이니셔티브를 주도하는 등, 공식적인 의료 교육 외에도 리더십에 참여할 수 있는 기회는 많습니다. 그럼에도 불구하고 대표적 리더십 역할을 수행하는 의대생 리더의 경험에 대해서는 알려진 바가 거의 없습니다. 따라서 의과대학에서의 전반적인 경험이 리더십 활동에 의해 긍정적으로 또는 부정적으로 영향을 받는지 여부는 불분명합니다. 또한 의대 재학 중 리더십 역할이 리더십의 핵심 기술을 개발하는 데 도움이 되는지에 대한 연구도 부족합니다. 이러한 격차를 해소하기 위해 본 연구에서는 의대생 리더의 경험의 본질을 밝히고자 합니다. 특히 의대 재학 중 지역, 주 또는 국가 차원에서 선출직 대표 역할을 수행한 리더의 생생한 경험을 탐구합니다. 의대생 리더의 경험을 이해하는 것은 교육자가 이러한 역할을 맡는 데 관심이 있는 학습자를 어떻게 격려하고 지원할 수 있는지에 대한 통찰력을 제공하기 때문에 중요합니다. 
Where effective formal leadership development education does not exist, participation in related extracurricular opportunities offers another avenue by which medical students can hone leadership skills. Whether representing peers to medical organisations or leading health advocacy initiatives, there are many opportunities outside of formal medical training to engage in leadership. Despite this, little is known about the experience of medical student leaders who serve in representative leadership roles. Consequently, it is unclear whether their overall experience in medical school is positively or negatively impacted by the leadership activities they undertake. Furthermore, whether leadership roles during medical school enable the development of core skills in leadership is under-researched. In response to this gap, this study seeks to uncover the essence of the experience of medical student leaders. Specifically, we explore the lived experience of leaders who served in elected, representative roles at the local, provincial or national level during medical school. Understanding the experiences of medical student leaders is important because it offers insights into how educators might encourage and support learners interested in taking on these roles.

2 방법
2 METHODS

2.1 연구 설계
2.1 Study design

이 질적 현상학적 연구는 선출된 리더십 역할을 맡은 의대생들의 경험의 본질을 밝히기 위해 반사적 주제 분석을 사용했습니다.16-20 우리는 연구 참여자들의 생생한 경험에 몰입하는 해석학적 현상학적 조사에 참여했습니다.21 우리는 개인의 현실이 그들이 살고 있는 세계의 영향을 받는다는 생각을 탐구하면서 학생 리더로 봉사하는 인간의 경험을 이해하고자 했습니다. 단순히 리더십의 생생한 경험을 설명하는 것을 넘어, 의과대학에서 리더십 업무를 맡는다는 것이 무엇을 의미하는지에 대한 비판적 해석을 제공합니다. 
This qualitative phenomenological study used reflexive thematic analysis to elucidate the essence of the experience of medical students in elected leadership roles.16-20 We engaged in a hermeneutic phenomenological investigation, where we became immersed in the lived experiences of research participants.21 We sought to understand the human experience of serving as a student leader while exploring the idea that an individual's reality is influenced by the world in which they are living. More than simply describing the lived experience of leadership, we offer a critical interpretation of what it means to take on leadership work during medical school.

우리는 연구 참여자들과 연구자로서 우리의 이전 경험과 세계에 대한 기존의 이해를 참조하지 않고는 어떤 현상을 경험할 수 없다는 입장에서 연구를 시작했습니다. 우리는 '존재에 대한 참가자들의 이해의 근본적인 구조와 그것이 개인의 결정을 어떻게 형성했는지를 조명하기 위해' 리더십 경험에 대한 개별적인 내러티브 설명을 듣고 깊이 있게 탐구할 수 있는 공간을 만들고자 했습니다.22
We began with the position that our research participants, and we as researchers, could not experience a phenomenon without referring to our previous experiences and existing understandings of the world. We sought to make the space to hear, and then delve deeply into, individual narrative descriptions of leadership experiences ‘in order to illuminate the fundamental structures of participants' understanding of being and how that shaped the decisions made by the individual’.22

2.2 참여자
2.2 Participants

우리는 의과대학 재학 중 리더십 역할을 수행하도록 동료들로부터 선출된 12명의 개인을 모집했습니다. 참가자들은 2015년부터 2019년까지 어느 시점에 이러한 역할을 맡았습니다. 시간이 지남에 따라 UME 리더십 경험에 상당한 변화가 있을 가능성을 고려하고 참가자들이 과거 경험을 되돌아볼 수 있도록 하기 위해 이 기간을 선택했습니다. 우리는 이론적 포화 상태에 도달하기 위해 현상학적 연구에 일반적으로 사용되는 약 10~15명의 인터뷰 대상자 표본을 미리 선정했습니다.23, 24 우리는 포화 상태가 질적 연구와 현상학적 연구에서 논란의 여지가 있는 개념이라는 것을 알고 있습니다.25, 26 우리는 포화 상태를 더 이상 배울 것이 없다고 판단하는 실용적인 시점으로 개념화하는 대신 다른 접근 방식을 취했습니다. 우리는 이론적 포화 상태를 데이터 수집, 분석 및 해석에 있어 충분히 엄격하여 참가자들은 물론 더 넓은 의학교육 커뮤니티와 공감할 수 있는 풍부하고 독특하며 미묘한 통찰력을 얻을 수 있다고 확신하는 시점으로 간주했습니다. 모든 참가자는 인터뷰 당시 의과대학을 졸업하고 다양한 단계의 레지던트 과정에 있었습니다. 참가자들은 소속 의대 학생회 또는 주 또는 전국 의대 학생 조직에서 봉사한 경험이 있었습니다. 
We recruited 12 individuals who were elected by their peers to serve in leadership roles while in medical school. Participants held these roles at some point between the years 2015 and 2019. We chose this period to account for the possibility of significant variations in the UME leadership experience over time and allow participants to reflect on their past experiences. We preselected a sample size of around 10–15 interviewees, which is typical for phenomenological studies in order to reach theoretical saturation.23, 24 We recognise that saturation is a controversial concept in qualitative research and phenomenological work more specifically.25, 26 Rather than conceptualising saturation as a pragmatic point at which we decided there was nothing new to learn, we took a different approach. We considered theoretical saturation to be the point at which we were confident we had been rigorous enough in our data collection, analysis and interpretation to garner rich, unique and nuanced insights that would resonate with participants as well as the broader medical education community. All participants had completed medical school and were in various stages of medical residency at the time of interview. Participants had served in their medical student societies or in provincial or national medical student organisations.

2.3 데이터 수집
2.3 Data collection

모든 인터뷰는 2020년 말부터 2021년 초까지 HA가 진행했습니다. 반 마넨이 제시한 현상학적 인터뷰 접근법에 따라27 인터뷰는 첫째, 현상에 대한 풍부한 이해를 탐구하고 발전시키는 것, 둘째, 학생 리더십의 의미에 대한 대화에 참여하는 것, 이 두 가지 목적을 가지고 진행되었습니다. 따라서 인터뷰는 반구조화되었지만 대화 형식으로 진행되었으며 전화로 영어로 진행되었습니다. 인터뷰 가이드는 세 명의 공동 저자가 공동으로 작성했습니다. 하지만 참가자들의 의견에 따라 유연하게 진행했습니다. 질문은 참가자들이 의대생 리더로서의 시간을 되돌아보고 그 경험의 본질을 탐구할 수 있도록 구성했습니다. 또한 의사가 되기까지의 전반적인 여정에서 그 경험을 맥락화하기 위한 질문도 있었습니다. 인터뷰는 평균 45분간 진행되었으며, HA와 VD가 오디오를 녹음하고 그대로 필사했습니다.  
All interviews were conducted by HA from late 2020 to early 2021. Following an approach to phenomenological interviewing put forward by van Manen,27 our interviews had two purposes: firstly, to explore and develop a rich understanding of the phenomenon and, secondly, to engage in a conversation around the meaning of student leadership. Thus, the interviews were semi-structured but conversational in nature and were conducted in English over telephone. An interview guide was created collaboratively among the three co-authors. However, we were flexible in following the lead of our participants. Questions sought to allow participants to reflect on their time as medical student leaders and explore the nature of that experience. The questions also aimed to contextualise that experience in their overall journeys to becoming a physician. Interviews lasted 45 min on average, were audio-recorded and transcribed verbatim by HA and VD.

2.4 데이터 분석
2.4 Data analysis

반 마넨의 말을 빌리자면, 우리의 목표는 현상학적 주제를 개발하기 위해 '사려 깊은 사고'를 하는 것이었습니다.28 우리는 현상학적 프레임을 보완하는 '반성적 주제 분석'에 참여했습니다. 이 접근법은 '특정 사회 집단의 '생생한 경험'을 기술'하고 '특정 과정이나 현상에 영향을 미치거나, 뒷받침하거나, 맥락화하는 '요인'을 조사'하기 위해 고안되었습니다.29 
Drawing on van Manen, our goal was to engage in ‘cultivated thoughtfulness’ in order to develop phenomenological themes.28 We engaged in a ‘reflexive thematic analysis’, which complemented our phenomenological frame. This approach was designed to ‘describe the “lived experiences” of particular social groups’ and ‘examine the “factors” that influence, underpin, or contextualize particular processes or phenomena’.29

HA와 VD는 인터뷰 녹취록을 읽고 주제별로 분류했습니다. 두 사람 모두 귀납적 접근법을 사용하여 데이터 자체뿐만 아니라 전직 학생 리더로서 자신의 생생한 경험을 반영하여 녹취록을 독립적으로 코딩했습니다. 이 과정은 정기적으로 발전하는 결과를 토론하고 비교하는 반복적인 과정이었습니다. 코드가 합의되면 데이터 내에서 주제를 식별하고 학생 리더십 현상에 초점을 맞추기 위해 의미론적 접근 방식을 사용했습니다. 도출된 주제는 AM과 논의하여 추가적인 관점을 도입하고 분석의 깊이를 확보했습니다. 이를 통해 데이터의 개별 요소(부분)가 어떻게 결합되어 중요한 현상(전체)을 이해하는 데 도움이 되는지에 초점을 맞추는 해석학적 순환21에 따라 분석 프로세스가 일관성을 유지하도록 했습니다. 최종 해석은 합의를 통해 도출되었습니다. 우리의 전반적인 분석 접근 방식은 홉킨스 등이 제시한 3 + 1 현상학 프레임워크를 따랐습니다.30 이 프레임워크는 연구자가 현상학 연구에서 자신의 위치를 정할 수 있게 해줍니다. 따라서 우리는 참가자들의 이야기의 특수성, 반사성 및 전반적인 경험에 대한 해석에 초점을 맞추었습니다. 
HA and VD read and thematised the interview transcripts. Both coded the transcripts independently, using an inductive approach, reflecting not only upon the data themselves but on their own lived experiences as former student leaders. The process was iterative with discussing and comparing developing findings regularly. Once codes were agreed upon, a semantic approach was used to identify themes within the data and to ensure a focus on the phenomenon of student leadership. The resulting themes were discussed with AM to bring in an additional perspective and ensure depth of analysis. This also ensured our analytical processes were consistent with the hermeneutic circle,21 focusing on how individual elements from the data (the parts) were coming together to help us understand the overarching phenomena (the whole). Final interpretations were arrived at by consensus. Our overall analytic approach adhered to the 3 + 1 phenomenology framework put forward by Hopkins et al.30 This framework allows researchers to position themselves in their phenomenological work. Accordingly, we focused on the particularity of participants' stories, reflexivity and our interpretations of the overall experience.

2.5 반사성
2.5 Reflexivity

해석학적 현상학에 참여하는 사람들은 연구 대상인 현상에 대한 참여자의 경험, 즉 리더십에 미칠 수 있는 영향에 주의 깊게 주의를 기울이고 이를 고려해야 합니다. 그러나 우리의 경험을 제거하거나 '괄호'로 묶으려는 시도 대신, 우리는 우리 자신의 생활 세계를 제거할 수 없음을 인정합니다. 대신, 우리는 의대 학생회와 전국 의료 단체 수준에서 학생 리더였던 우리(VD, HA)의 경험이 우리의 연구에 영향을 준 소중한 자산이라는 것을 인정합니다. 이러한 경험은 주제에 대한 관심에서부터 우리가 선택한 질문, 데이터 해석 방식에 이르기까지 연구 과정에 영향을 미쳤습니다. 노이바우어와 동료들이 지적했듯이, '연구에 데이터에 대한 편견 없는 접근을 요구하는 것은 현상학의 철학적 뿌리와 일치하지 않는다'(95페이지)22). 
Those engaging in hermeneutic phenomenology must carefully attend to, and account for, the influences they may exert on a participant's experience of the phenomenon under study, leadership, in our case. However, rather than attempting to eliminate or ‘bracket’ our experiences, we acknowledge that we cannot be rid of our own lifeworlds. Instead, we acknowledge that our (VD, HA) experiences as former student leaders—at the medical student society and national medical organisation levels—are valuable assets that informed our inquiry. These experiences coloured the research process, ranging from our interest in the topic to the questions we elected to ask, to how we interpreted data. As Neubauer and colleagues noted, ‘To ask the research to take an unbiased approach to the data is inconsistent with phenomenology's philosophical roots’ (p. 95).22

2.6 윤리
2.6 Ethics

본 연구는 캐나다 달하우지 대학교의 연구윤리위원회로부터 연구윤리 승인을 받았습니다.
Research ethics approval was obtained from the Research Ethics Boards at Dalhousie University, Canada.

3 결과
3 RESULTS

우리는 6명의 남성 및 6명의 여성 전 의대생 리더를 인터뷰했습니다. 이들은 각각 다른 캐나다 의과대학에 다녔으며 캐나다 전역에 지리적으로 고루 분포되어 있었습니다. 대부분은 지역 단위에서 선출직 대표 역할을 수행했으며, 약 절반의 참가자는 주 및 전국 단위에서도 경험을 쌓았습니다. 보다 포괄적인 참가자 인구 통계 목록은 표 1에 나와 있습니다. 참가자의 다양성에도 불구하고 의대생 리더로서의 시간을 되돌아본 결과 많은 공통점을 발견할 수 있었습니다.

• 연구 참여자의 관점에서 볼 때 의대생 리더십에는 상당한 행정적 책임이 수반됩니다.
• 의대생으로서 성과를 내야 한다는 부담감과 함께 리더들은 리더십 활동이 학업 및 개인 생활과 상충되는 경우가 많았습니다.
• 의대생 리더가 교수진으로부터 지원이나 가치를 인정받는다고 느끼는지 여부는 리더의 경험에 큰 영향을 미쳤습니다.
• 그러나 인터뷰 참여자들은 힘든 경험에도 불구하고 기회가 주어진다면 다시 리더십 역할을 맡겠다고 한목소리로 말했습니다.
• 그들은 의대생 리더십을 통해 더 나은 의사가 될 수 있었던 여러 가지 가시적인 방법을 언급했습니다.

주제별 분석 프로세스를 통해 다음과 같은 다섯 가지 주제를 확인했습니다. 
We interviewed six male and six female former medical student leaders. Each attended a different Canadian medical school with good geographical spread across Canada. Most served in elected, representative roles at the local level with approximately half the participants having experience at the provincial and national levels as well. A more comprehensive list of participant demographics is provided in Table 1. Despite the diversity of participants, the reflections on their time as medical student leaders yielded many commonalities.

• From the perspective of the study participants, medical student leadership involves significant administrative responsibility.
• Combined with the pressure of performing as a medical student, leaders often found that their leadership efforts came in conflict with their academics and personal lives.
• Whether medical student leaders felt supported or valued by their faculties greatly influenced their experience.
• However, despite the hardships experienced, interviewees were unanimous in saying that they would take on their leadership roles again if given the chance.
• They cited a variety of tangible ways in which medical student leadership had made them better physicians.

Through the thematic analytic process, we identified the following five themes.

3.1 바쁜 생활
3.1 Living with busyness

학생 리더로서의 바쁨은 의대생 리더의 일상을 정의하는 반복되는 주제였습니다. 참가자들은 의대생 리더가 교수진의 기대치와 학생의 기대치를 관리해야 하는 것 외에도, 필요한 지원을 항상 받을 수 없는 상황에서 상당한 행정적 부담을 안고 있다고 설명했습니다. 
The busyness of being a student leader was a recurrent theme that defined the day-to-day life of a medical student leader. In addition to managing the expectations of students against those of faculty, participants described medical student leadership as having significant administrative burdens without always having the necessary support.

과중한 행정 업무로 인해 리더들은 종종 비효율적이고 시간이 많이 걸리는 업무를 처리해야 한다고 느꼈고, 이로 인해 학생을 대변하는 핵심 임무에서 멀어졌습니다. 핵심 임무를 수행할 수 있을 때에도 동료, 교수진 또는 기타 이해관계자와의 많은 회의에 참석해야 하는 일이 많았습니다. 
The heavy administrative burden meant that leaders often felt they had to complete inefficient, time-consuming tasks, which took away from their core mandate of representing students. When they were able to exercise their core mandate, much of this work involved attending many meetings whether with peers, faculty members or other stakeholders.

때때로 어지러울 수도 있지만, 참가자들은 이러한 업무가 반드시 부정적이라고 설명하지는 않았습니다. 실제로 많은 참가자들은 일상적인 경험이 '활기차다' {008}, '재미있다' {010}고 답해, 업무의 성격 자체가 의대생 리더십 경험에 부정적으로 작용하지는 않았음을 시사했습니다. 
While perhaps dizzying at times, participants did not describe these tasks as necessarily negative. In fact, many reflected that the day-to-day experience was ‘invigorating’ {008} and ‘fun’ {010}, suggesting therefore that the nature of the job in of itself did not contribute negatively to the medical student leadership experience.

3.2 교수진의 멘토링과 지원의 역할
3.2 The role of faculty mentorship and support

학습자들이 교수진으로부터 받았다고 느끼는 지원의 정도는 그들이 인식하는 리더십 경험에 큰 영향을 미쳤습니다. 일부 참가자는 의대생 리더가 되는 방법에 대한 체계적인 교수진의 멘토링이 부족하여 의대생 리더로의 전환이 더욱 어려웠다고 경험했습니다. 
The amount of support learners felt they received from their faculty heavily impacted their perceived leadership experience. Some participants experienced a lack of structured faculty mentorship on how to be a medical student leader, which made the transition to medical student leader all the more difficult.

의과대학 행정 정책도 필수 회의 참석을 포함하여 리더십 의무를 수행하는 데 있어 주요 장벽으로 꼽혔습니다. 교수진이 리더십 책임을 수용하는 데 유연성이 부족할 때, 리더십 역할을 맡은 많은 사람들은 의과대학이 자신이 하는 중요한 일을 이해하지 못하거나 중요하게 생각하지 않는다고 느꼈습니다. 
Medical school administration policies were also cited as primary barriers to fulfilling leadership duties, including attending required meetings. When faculties lacked flexibility in accommodating their leadership responsibilities, many in leadership roles felt that their medical programs did not understand or value the important work they did.

반면, 의대 행정부와 긴밀한 협력 관계를 유지한 학생 리더들은 이러한 장벽을 더 성공적으로 극복하여 더 긍정적인 리더십 경험을 할 수 있었습니다. 이러한 경우, 교수진과 학습자 간의 지속적인 커뮤니케이션을 통해 교수진이 학생 리더 역할의 업무를 더 잘 이해하고 더 가치 있게 여길 수 있었을 것입니다. 결과적으로 이러한 리더들은 교수진으로부터 더 나은 평가를 받았다고 느꼈습니다. 
In contrast, student leaders that maintained close working relationships with their medical school administration were more successful at navigating these barriers, leading to a more positive leadership experience. In these instances, a constant flow of communication between faculty and learner may have allowed for faculty to better understand and then better value the work of the student leader role. As a result, these leaders felt better appreciated by their faculty.

이처럼 의과대학은 하나의 단체로서, 그리고 개별 구성원으로서 의대생 리더의 전반적인 경험에 지대한 영향을 미치는 것으로 보입니다. 
As such, there appears to be a profound impact of medical faculties—both as a single entity and as individual members—on the overall experience of medical student leaders.

3.3 리더십에 대한 상반된 요구
3.3 Competing demands of leadership

재임 기간 중 다양한 시기에 리더십 활동은 참가자들의 삶에 상당한 타격을 주는 것으로 나타났습니다. 그들은 학업과 리더십 의무를 완수하기 위해 상충되는 이해관계에 직면했고, 이로 인해 종종 공부할 시간을 찾기가 어려웠습니다. 또한 리더십 활동에 투자하는 시간과 친구 및 사랑하는 사람들과 보내는 시간 사이의 균형을 맞추는 데 어려움을 겪는 경우도 많았습니다. 
At various times during their tenures, leadership activities seemed to take a significant toll on participants' lives. They faced competing interests to fulfil their academic and leadership duties, often leading to difficulty finding time to study. Moreover, many struggled to balance time spent on leadership activities with time spent with their friends and loved ones.

의대생 리더십은 학업 시간을 빼앗았지만, 인터뷰에 응한 모든 리더는 학업 요건을 충족했다고 말했습니다. 그러나 의학교육 커리큘럼에서 '의료 전문가' 역할에 대한 강조가 커지면서 공부 시간이 줄어든 것에 대해 특별한 죄책감을 느낀다고 답했습니다. 
Although medical student leadership took away from study time, all leaders interviewed stated that they still met their academic requirements. However, there was a particular guilt associated with studying less, citing an increased emphasis placed on ‘medical expert’ roles within the medical education curriculum.

3.4 풍요로운 의대생 리더십
3.4 Medical student leadership as enriching

의대생 리더로서 겪는 어려움에도 불구하고 참가자들은 기회가 주어진다면 다시 리더가 되겠다고 말했습니다. 그들은 리더십 활동이 의대 경험을 정의하고, 전국의 동료 네트워크에 연결되며, 의대 경험을 더욱 풍요롭게 해준 여러 가지 방법을 언급했습니다. 
Despite the difficulties associated with being a medical student leader, participants shared that they would do it again if given the chance. They cited many ways in which their leadership activities had come to define their medical school experience, connected them to a network of peers from across the country and facilitated a richer medical school experience.

의대생 리더들은 캐나다 의학교육과 의료 시스템에 대해 더 잘 이해하게 되어 향후 다른 의사 리더십 역할을 맡을 수 있는 준비가 되었다고 느꼈습니다. 
Medical student leaders felt they came out with a better understanding of the Canadian medical education and health-care systems, setting them up to take on other physician leadership roles in the future.

3.5 더 나은 의사 만들기
3.5 Creating better physicians

마지막으로, 참가자들은 의대생 리더로서 습득한 기술이 현재 의사로서 임상적 상호작용에서 어떻게 나타나는지 다양한 방식으로 설명했습니다. 리더십 활동으로 인해 학업 시간을 빼앗기기는 했지만, 참가자들은 의사로서 양질의 진료를 제공할 수 있는 능력이 손상되었다고 생각하지 않았습니다. 오히려 리더십 경험을 통해 옹호, 커뮤니케이션, 협업, 관리 등 다른 역량이 향상되었다고 느꼈습니다. 중요한 점은 참가자들이 정규 의과대학 커리큘럼에서 충분히 습득하지 못했다고 느꼈던 기술들이었다는 점입니다. 
Finally, participants described a variety of ways in which the skills they gained as medical student leaders manifested in their clinical interactions now as physicians. Although leadership activities may have taken away from study time, participants did not believe that their ability to deliver high-quality care as physicians was compromised. In fact, they felt their leadership experiences enhanced other competencies, especially in advocacy, communication, collaboration and management. Importantly, these were skills participants felt they did not adequately gain from the formal medical school curriculum.

의대생 리더십 경험을 되돌아보며 참가자들은 의사가 된 지금, 리더십 활동이 환자를 돌보는 능력에 긍정적으로 기여했음을 인식하는 데 있어 어느 정도 검증을 받았다고 말했으며, 모두 의대생이 리더십에 참여하도록 장려해야 한다고 생각했습니다. 이러한 인식은 의대생 리더십 활동의 부정적인 측면에도 불구하고 전반적으로 가치 있는 경험이었다는 것을 시사합니다. 
Reflecting on their medical student leadership experience, participants expressed a certain validation in their recognising, now as physicians, that their leadership activities had contributed positively to their ability to care for patients, so much so that all felt that medical students should be encouraged to engage in leadership. This sense of validation suggests that despite any negative aspects of having been involved in medical student leadership, the overall experience was worthwhile.

4 토론
4 DISCUSSION

리더십에 대한 다양한 정의가 존재합니다.31 본 연구는 의대생 '리더'의 특정 하위 집합을 표본으로 삼았습니다. 그러나 선출된 대표적 의대생 리더의 업무는 의사 리더십에 대한 CanMEDS의 정의와 일치합니다. 의대생 리더는 콘텐츠 전문성을 자신의 역할에 적용하기 때문에 굿달과 베커의 전문가 리더십 이론과도 일맥상통합니다. 따라서 긍정적인 경험은 의대생 리더가 의사 전문가로서 공식적인 리더십 역할을 맡을 가능성을 높여 고품질 의료 시스템과 환자 치료 제공에 대한 비전을 실현하는 데 크게 기여할 수 있습니다. 이전 연구에서는 의대생 리더로 선출된 학생의 경험을 의학 이외의 분야에서 고려했습니다. 이러한 연구들은 역할의 까다로운 특성, 학생 리더십 참여에 부수적으로 습득한 다양한 기술, 리더십 역할과 개인적 헌신 사이의 균형 잡기 어려움, 멘토링의 중요성을 설명합니다.32-34 이러한 결과는 본 연구에서 논의하는 학생 리더들의 생생한 경험과 일치하지만, 의대생 리더십의 인식된 혜택은 전통적인 리더십 기술을 뛰어넘습니다. 
There exists a variety of definitions for leadership.31 Our study sampled a specific subset of medical student ‘leaders’. However, the work of elected, representative medical student leaders is consistent with the CanMEDS definition of physician leadership. As they bring content expertise to their roles, their work also dovetails with Goodall and Bäker's theory of expert leadership. Thus, positive experiences may make medical student leaders more likely to take on formal leadership roles as physician experts, making poignant contributions to a vision of a high-quality health-care system and patient care delivery. Previous studies have considered the experiences of elected student leaders outside of medicine. These studies describe the demanding nature of the roles, the various skills acquired secondary to student leadership involvement, difficulties balancing leadership roles with personal commitments as well as the importance of mentorship.32-34 While these findings are concordant with the lived experiences of student leaders we discuss in our present study, the perceived benefits of medical student leadership go beyond traditional leadership skills.

많은 참가자가 리더십 활동이 학업에 부정적인 영향을 미쳤는지에 대해 의문을 제기했지만, 의대생 시절의 리더십이 의료 전문가 역할 외의 핵심 의사 자질을 향상시켰다고 주장하기도 했습니다. 인터뷰에 참여한 리더들은 자신의 경험을 바탕으로 팀 관리와 여러 분야 간 협업에 능숙해졌다고 느꼈습니다. 의료 시스템에 대한 고유한 이해를 바탕으로 더 나은 환자 옹호자가 될 수 있었습니다. 또한 의학교육 시스템을 더 잘 이해하게 되어 교육자로서 고유한 기술을 습득할 수 있었습니다. 따라서 의대생의 리더십 참여는 보다 균형 잡힌 역량을 갖춘 의사를 양성하는 데 기여할 수 있습니다. 
Although many participants questioned whether their leadership activities negatively impacted their academics, they also contended that their leadership during medical school enhanced core physician qualities outside of the medical expert role. Drawing on their experiences, the leaders interviewed felt they became proficient in managing teams and collaborating across disciplines. Their unique understanding of the health-care system allowed them to be better patient advocates. They were also able to gain a better understanding of the medical education system affording them unique skills as educators. Involvement in medical student leadership may thus contribute to the development of physicians with more well-rounded competencies.

또한 우리 연구에 따르면 대표적 리더십 역할을 수행하는 의대생은 비교적 긴밀한 커뮤니티의 일원입니다. 따라서 의대생 리더십 경험은 여러 개인적, 직업적 관계가 형성되는 사회적 경험이 될 수 있습니다. 같은 생각을 갖고 열정적인 의대생들로 구성된 네트워크는 사회에 도움이 되는 시스템 차원의 변화를 추진하는 데 효과적일 수 있습니다. 대학 재학 중 학생 조직에서 리더십 역할을 맡은 개인은 졸업 후 사회적으로 책임감 있는 리더십을 발휘할 가능성이 높습니다.35 마찬가지로, 의대생 리더는 전국의 다른 리더들과 협력하여 대학 또는 정부 정책에 상당한 변화를 일으킬 수 있습니다. 이러한 네트워크는 시간이 지나도 지속될 수 있는 잠재력을 가지고 있으며, 의대생 리더가 의료계에서 경력을 쌓는 동안 효과적인 변화를 주도할 수 있는 위치에 설 수 있도록 합니다. 
Our study also showed that medical students who serve in representative leadership roles are part of a relatively tight-knit community. The medical student leadership experience therefore can be a social one—where several personal and professional relationships are established. A network of like-minded, passionate medical students can be effective at pushing forward systems-level change to benefit society. Individuals who take on leadership roles in student organisations while in college are more likely to engage in socially responsible leadership after graduation.35 Likewise, through collaboration with other leaders across the country, medical student leaders can effect significant changes to university or government policy. These networks have the potential to endure over time, positioning medical student leaders to become effective change-makers throughout their careers in medicine.

의대 교수진이 의대생 리더십 경험에 미치는 영향은 특히 주목할 만했습니다. 이 결과는 긍정적인 교수-학생 관계가 미래의 의학계 리더를 양성하는 데 기여한다는 Arnold 등의 연구 결과와 일치합니다.15 또한, 설문조사 참가자들은 공식적인 리더십 교육도 중요하지만 실질적인 리더십 경험도 매력적인 대안이 될 수 있다고 언급했습니다. 이러한 결과는 의학 분야에서 병행 커리큘럼의 이점을 탐구한 연구 결과와 일치합니다. 쿼크와 첨리36는 병행 커리큘럼을 '학생들이 수업이 없을 때 '어울리며 배우는' 공간'이라고 설명합니다. 우리의 경우, 리더들은 행정의 기술, 일과 삶의 균형에 대한 '방법', 의학교육 및 보건 시스템에 대한 자세한 내용 등을 배웠습니다. 병행 커리큘럼은 학습자와 교사 모두 특정 개인의 필요에 맞게 학습 및 교수 접근 방식을 조정하는 적응형 학습의 관문입니다.37 따라서 의과대학은 리더십 개발을 위한 병행 노력을 촉진할 수 있는 좋은 위치에 있으며, 특히 핵심 커리큘럼에 포함시키는 데 어려움이 있을 수 있습니다.38, 39 이 권장 사항은 다른 사람들에 의해 반영되었습니다.40, 41 의대생 리더의 경험에 대한 본 연구에서 제공하는 통찰력은 교수진이 이러한 학습자 집단에게 더 나은 경험을 제공할 수 있는 구체적인 방법을 파악하는 데 도움이 될 수 있습니다(표 2). 
The significant influence medical faculties had on the medical student leadership experience was of particular note. This result is consistent with a study by Arnold et al who found that positive faculty–student relationships contributed to developing future leaders in medicine.15 Furthermore, while formal leadership training is valuable, our participants noted that practical leadership experience may be an attractive alternative. This finding is consistent with work exploring the benefits of parallel curricula in medicine. Quirk and Chumley36 describe the parallel curriculum as a ‘space where students ‘hang out and learn’ when they are not in class’. In our case, leaders learned the art of administration, the “how-to” of work–life balance and the ins and outs of the medical education and health systems, to name a few. The parallel curriculum is a gateway to adaptive learning, where both learner and teacher tailor their learning and teaching approaches to specific individual needs.37 Medical faculties are thus well positioned to facilitate parallel efforts in leadership development, especially given that there can be challenges to its inclusion in core curricula.38, 39 This recommendation has been echoed by others.40, 41 The insight our study provides into the experiences of medical student leaders may help to identify specific ways in which faculties can create better experiences for this population of learners (Table 2).

첫째, 학생들이 수행하는 리더십 역할의 성격에 대한 교수진의 이해도가 높아지면 관리자가 현행 정책이 리더십 활동을 어떻게 방해할 수 있는지 명확히 파악하는 데 도움이 될 수 있습니다. 예를 들어, 교수진은 학생 리더 역할을 수행하려면 급하게 회의에 참석해야 할 수도 있다는 점을 인식하여 시간 통지 요건에 예외를 두는 것을 고려할 수 있습니다. 학생 리더는 학업 요건을 충족하는 것을 우선시해야 하지만, 긍정적인 학습자 경험을 촉진하기 위해 의대생 리더가 리더십 의무도 충족할 수 있도록 교육 기관의 정책을 개발할 수 있습니다. 
Firstly, an improved understanding by faculties of the nature of the leadership roles undertaken by their students may help administrators elucidate how current policies may hinder leadership activities. For example, faculties may consider making exceptions to time notification requirements, recognising that serving as a student leader may require attendance at meetings on short notice. While student leaders must prioritise meeting their academic requirements, in order to promote positive learner experiences, institutional policies could be developed to enable medical student leaders to meet their leadership mandates as well.

멘토링 프로그램은 교수진이 의대생 리더를 지원할 수 있는 또 다른 방법을 제공합니다. 연구 참여자들은 종종 의대생과 리더로서의 역할 사이에서 균형을 잡는 데 어려움을 토로했으며, 리더십 의무를 수행하는 것이 개인 생활에 미치는 비용에 대해 언급했습니다. 젊은 학생 리더 멘토링의 중요성은 간호학 문헌에서도 동일하게 입증되었습니다.42 학술 간호와 학술 의학 모두에서 멘토링은 개인 개발 및 경력 계획의 중요한 부분으로 밝혀졌습니다.43-45 의과대학의 공식적인 멘토링 프로그램은 향후 진로 선택에도 영향을 미칠 수 있습니다.46, 47 교수 멘토는 일과 삶의 통합에 대한 조언을 제공하는 것 외에도 학생 멘티에게 리더십을 임상 경력에 통합하는 방법에 대해 조언할 수도 있습니다. 의과대학은 특히 학술 의학 분야에서 경력을 쌓고자 하는 학습자에게 연구 기술을 개발하는 데 있어 멘토링의 역할을 인정합니다.48-50 의사 리더도 사회에 가치를 제공한다는 점을 인식하고 의대생이 리더십 기술을 연마하도록 멘토링하면 리더십 분야에서 정식 경력을 쌓는 의사를 더 많이 배출하는 데 비슷한 성공을 거둘 수 있습니다. 
Mentorship programming offers yet another avenue by which faculties can support medical student leaders. Study participants often described difficulties balancing their roles as medical students and leaders, noting the cost that performing their leadership duties had on their personal lives. The importance of mentoring young student leaders has been equally demonstrated in the nursing literature.42 In both academic nursing and academic medicine, mentorship has been shown to be an important part of personal development and career planning.43-45 Formal mentorship programmes in medical school can also influence future career choice.46, 47 Beyond offering advice on work–life integration, faculty mentors may also advise student mentees on how to incorporate leadership into their clinical careers. Medical faculties acknowledge the role that mentorship can play in developing research skills, especially for those learners that anticipate a career in academic medicine.48-50 Recognising that physician leaders also bring value to society, mentoring medical students to hone their skills in leadership can have similar success in producing more physicians who take on formal careers in leadership.

4.1 제한점
4.1 Limitations

본 연구에는 몇 가지 한계가 있습니다. 첫째, 연구 결과를 모든 학생 리더를 대표하는 것으로 일반화할 수 없다는 점을 인정합니다. 그러나 본 연구 설계의 강점은 지금까지 연구가 부족했던 의대생 커뮤니티의 생생한 경험의 뉘앙스를 드러냄으로써 그들의 역할에 대한 성공과 도전에 대해 더 깊이 이해할 수 있다는 것입니다. 학습자의 정체성이 의대생 리더십 경험에 어떤 영향을 미치는지에 대한 보다 심층적인 탐구는 교수진이 지원을 맞춤화하고 의대 리더십 내에서 형평성, 다양성 및 포용성을 증진하는 데 기여하는 데 도움이 될 것입니다. 예를 들어, 여성 및 소수계 학생 리더는 인종차별과 성차별을 경험했다고 보고하며, 이는 전반적인 리더십 경험을 백인 및 남성 리더와 다르게 만듭니다.32, 51, 52 본 연구는 캐나다 맥락에서 학생 리더십을 조사했지만, 유사한 의학교육 시스템을 갖춘 다른 국가에도 조사 결과를 추정할 수 있다고 생각합니다. 마지막으로, 이 연구는 학생 대표로 선출된 학생들로 참여 대상을 제한했다는 점에 유의해야 합니다. 리더십은 다양한 형태로 나타나며 리더는 공식적, 비공식적 역할을 모두 수행할 수 있습니다. 리더십 스펙트럼에 따라 의학교육 경험이 어떻게 다른지 알아보는 것도 이 분야에 대한 추가 연구에 도움이 될 수 있습니다. 
Our study has several limitations. Firstly, we acknowledge that the results cannot be generalised as representative of all student leaders. However, the strength of our study design is that it exposes the nuances of the lived experiences of this community of medical students who have thus far been under-researched, leading to a deeper understanding of successes and challenges in their roles. A more in-depth exploration of how learners' identities affect their experience of medical student leadership would also be instrumental in helping faculties tailor their supports and contribute to promoting equity, diversity and inclusivity within medical leadership. For example, female and minority student leaders report experiences with racism and sexism, which make their overall leadership experiences unique to those of their White and male counterparts.32, 51, 52 Although our study examined student leadership in the Canadian context, we believe the findings can be extrapolated to other countries with similar medical education systems. Finally, it is important to note that this study limited participation to those who were elected to represent students. Leadership takes many forms and leaders may take on both formal and informal roles. How the medical education experience differs across the leadership spectrum could also help inform further research into the area.

4.2 결론
4.2 Conclusion

우리가 아는 한, 해석학적 현상학적 접근법을 사용하여 의대생 리더의 경험의 본질을 심층적으로 탐구한 연구는 이번이 처음입니다. 연구 결과에 따르면 캐나다 의대생 리더십 경험은 높은 수준의 행정 업무로 특징지어집니다. 또한 의대생 리더는 리더십과 학업 의무 사이에서 균형을 유지해야 하는 경우가 많습니다. 의대생 리더들은 개인적인 삶에 대한 희생에도 불구하고 전반적인 경험을 가치 있는 것으로 여깁니다. 이번 연구 결과는 이러한 리더십 경험이 보다 균형 잡힌 의사를 양성하는 데 기여할 수 있다는 점을 인식하고 의대 교수진이 의대생 리더를 지원하는 데 보다 적극적인 역할을 해야 한다는 점을 시사합니다. 향후 연구에서는 다양한 학생 리더 집단 간의 리더십 경험의 차이를 더욱 정량화하여 교수진이 리더에 대한 지원을 맞춤화할 수 있도록 할 수 있습니다. 
To our knowledge, this is the first study to take an in-depth exploration into the essence of the experiences of medical student leaders using a hermeneutic phenomenological approach. The results show that the Canadian medical student leadership experience is characterised by a high level of administrative duties. In addition, medical student leaders must often balance between their leadership and academic duties. Despite the sacrifices medical student leaders make to their personal lives, they view their overall experience as worthwhile. Our findings further suggest that faculties must take a more active role in supporting medical student leaders, recognising that these leadership experiences may contribute to the development of more well-rounded physicians. Future research may seek to further quantify the variation of the leadership experience among different student leader populations to enable faculties to tailor their supports for leaders.

© 2023 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

내과의 종단적 코칭 프로그램에서 목표의 공동구성 및 대화(Med Educ, 2022)
Goal co-construction and dialogue in an internal medicine longitudinal coaching programme
Laura Farrell1 | Cary Cuncic1 | Wendy Hartford2 | Rose Hatala1 | Rola Ajjawi3

1 소개
1 INTRODUCTION

코칭은 특히 역량 기반 의학교육(CBME)의 도입과 함께 대학원 의학교육에서 각광을 받고 있습니다. 북미 지역에서는 레지던트 프로그램에서 '학습자가 잠재력을 최대한 발휘할 수 있도록' 종단적 학업 코치 역할을 할 교수진을 배정하기 시작했습니다.1 캐나다 왕립 의사 및 외과의사 대학(RCPSC)은 이러한 '시간 경과에 따른 코칭'2,3 이 임상 환경 밖에서 이루어지며, 여러 프리셉터와 짧고 단편적인 로테이션으로 인해 평가가 수집되지만 반드시 의미 있는 방식으로 집계되지 않는 문제를 해결하기 위해 필요하다고 설명했습니다.4, 5 레지던트와 코치는 평가 데이터를 협력적이고 성찰적으로 검토하여 역량 발전을 돕고, 이상적으로는 레지던트의 자기조절학습(SRL) 기술을 개발합니다.6-9 많은 프로그램이 이러한 종단적 코칭 모델을 채택하고 있지만, 프로그램에서 시행하는 코칭은 일반적으로 보다 지시적인 상호작용인 조언 및 멘토링과 같은 다른 역할과 모호해질 위험이 있습니다.10 종단적 코치는 학습자 목표와 프로그램 요구사항에 모두 초점을 맞추도록 해야 합니다.2 
Coaching has gained prominence in postgraduate medical education, particularly with the introduction of Competency-Based Medical Education (CBME). Within North America, residency programmes have begun to assign faculty to act as longitudinal academic coaches, ‘to facilitate learners achieving their full potential’.1 The Royal College of Physicians and Surgeons of Canada (RCPSC) has described this ‘coaching over time’2, 3 as occurring outside the clinical environment to address the challenges of short, fragmented rotations with different preceptors, where assessments are collected but not necessarily collated in a meaningful way.4, 5 Residents and coaches collaboratively and reflectively review assessment data to aid in progression of competence, ideally developing residents' self-regulated learning (SRL) skills.6-9 Despite many programmes adopting this longitudinal coaching model, coaching that is implemented by the programme risks blurring with other roles such as advising and mentoring, which are generally more directive interactions.10 Longitudinal coaches are challenged to ensure a focus both on learner goals and on programme requirements.2

스포츠, 음악 및 비즈니스에서 배운 것을 모델로 한 다양한 종단 코칭 프로그램의 개발이 설명되었습니다.4, 11, 12 학업 코치는 대부분 프로그램에서 의도적으로 전공의와 짝을 이루어 그들의 전문성을 활용하여 관련 평가 정보를 논의하고, 전공의가 앞으로 나아가는 데 도움이 되는 달성 가능한 목표를 공동 구성하고, 목표 도달 여부를 평가합니다.2, 4, 11 이상적으로는 레지던트가 취약점을 공유하고 이를 통해 지속적인 SRL(목표 설정, 성과 모니터링, 학습 계획 반영 및 조정)에 필요한 기술을 개발할 수 있는 기회가 있습니다.5 코치는 코치가 레지던트 네트워크의 일부가 되어 공동 목표 설정, 성과 모니터링 및 반영에 참여하면서 학습을 공동 조정할 수 있습니다.13 성과 목표 개발에 피드백을 통합하는 것을 명확하게 강조하는 코칭 논의에 대한 다양한 접근법이 제공되었습니다.4, 7, 9, 12 예를 들어, R2C2(관계, 반응, 내용 및 코칭) 모델은 달성 가능한 목표를 설정하고 피드백을 중심으로 학습 변화 계획을 개발하는 코칭의 중요성을 강조합니다.7, 9 
The development of various longitudinal coaching programmes, modelled from what has been learned from sport, music and business, have been described.4, 11, 12 Academic coaches are most often intentionally paired with residents by the programme and draw on their expertise to discuss relevant assessment information, co-construct achievable goals that aid the resident to move forward and assess whether goals have been reached.2, 4, 11 Ideally, there is opportunity for the resident to share vulnerabilities and in doing so develop skills needed for ongoing SRL (goal setting, monitoring performance, reflecting and adapting a learning plan).5 Coaches may co-regulate learning as the coach becomes part of the resident network, engaging the resident in collaborative goal setting, performance monitoring and reflection.13 Various approaches to coaching discussions have been provided that place clear emphasis on the incorporation of feedback into developing performance goals.4, 7, 9, 12 For example, the R2C2 (relationship, reaction, content and coaching) model emphasises the importance of coaching where achievable goals are set and a learning change plan developed around feedback.7, 9

목표 개발에 대한 의도적인 강조에도 불구하고, 현재 종단적 코칭 대화에서 목표가 어떻게 논의되고 목표 공동 구성이 어떻게 진행되는지에 대한 설명은 거의 없습니다. 또한 이러한 대화에서 논의되는 내용이 전공의의 성장을 어떻게 지원할 수 있는지에 대해서는 추가적인 연구가 필요합니다. 따라서 임상 교육에서 피드백 대화에서 목표에 대한 의도적인 대화에 대해 이해한 내용을 바탕으로 코칭 환경에서 목표를 성공적으로 공동 구성하는 데 필요한 요소를 밝히는 것이 유용할 수 있습니다. 피드백 문헌에 따르면, 프리셉터가 목표의 필요성을 역할 모델링하고 학생을 목표에 대한 대화에 참여시키는 초기 목표 설정 및 목표 논의에 중점을 둡니다.14, 15 목표 불일치는 프리셉터와 학습자 간에 단순히 어떤 목표를 우선순위에 둘 것인지뿐만 아니라 학습자가 인지한 필요와 프리셉터의 기대를 모두 충족하는 새로운 목표를 생성하기 위해 협상됩니다. 목표 공동 구성의 원칙을 통합하면 코치와 레지던트가 종단적 코칭에서 목표를 식별하고 우선순위를 정하는 데 도움이 될 수 있습니다.15 그러나 피드백 대화에서 목표 설정과 관련된 문제는 종단적 코칭 관계에서 다르게 나타날 수 있습니다. 
Despite an intentional emphasis on goal development, currently, there is little description of how goals are discussed and how goal co-construction plays out in longitudinal coaching conversations. In addition, how the content of the discussions during these conversations might support residents' growth needs further study. It may, therefore, be useful to draw on what is understood around intentional dialogue of goals in feedback conversations in clinical teaching to shed light on the elements needed to successfully co-construct goals in the coaching setting. From the feedback literature, there is a focus on initial goal setting and discussion of goals, where the preceptor role models the need for goals and engages students in dialogue around their goals.14, 15 Goal mismatches are negotiated between preceptor and learner not merely around which or whose goals to prioritise but also to generate new goals that address both learners' perceived needs and preceptors' expectations. Incorporating tenets of goal co-construction may help coaches and residents identify and prioritise goals in longitudinal coaching.15 However, challenges around goal setting in feedback conversations may manifest differently in the longitudinal coaching relationship.

이 연구에서는 내과 종단 코칭 프로그램에서 코치와 레지던트 간의 실제 코칭 대화를 분석했습니다. 이 연구는 목표 공동 구성을 민감화 개념으로 사용하여 코칭 관계와 공동 피드백에 대한 대화를 탐색함으로써 종단 코칭에 대해 현재 이해되고 있는 내용을 기반으로 합니다. 레지던트의 목표와 그 진화에 대한 분석을 통해 종단적 코칭이 수련 중인 레지던트에게 미칠 수 있는 과정과 효과에 대해 조명합니다. 요약하면, 이 연구는 다음과 같은 질문을 던집니다: 레지던트 의학 교육에서 종단적 코칭 관계에서 목표 공동 구성은 어떻게 전개될까요? 
In this study, we analysed the actual coaching conversations between coach and resident in an internal medicine longitudinal coaching programme. Our research builds on what is currently understood about longitudinal coaching by exploring coaching relationships and dialogue around collated feedback using goal co-construction as a sensitising concept. Through analysis of residents' goals and their evolution, we shed light on the processes and effects longitudinal coaching may have on residents in training. In summary, this research asks: How does goal co-construction unfold in longitudinal coaching relationships in resident medical education?

2 방법
2 METHODS

우리는 내과 종단 코칭 프로그램을 조사하기 위해 구성주의적 탐구 지향에 부합하는 질적 연구 접근 방식인 해석적 기술법16 을 사용했습니다. 간호과학에서 비롯된 해석적 기술법의 인식론적 뿌리는 연구자가 통합된 지식을 식별하고 적용하는 과정을 포함하는 유연한 질적 접근법을 사용하여 이론을 넘어 실천으로 나아갈 수 있도록 합니다.16 해석적 기술법은 개인의 경험과 데이터 전반의 공통 패턴에 주목하고 실천에 적용할 수 있는 지식을 생성하고자 하는 매우 실용적인 접근법입니다.16 
We used interpretive description,16 a qualitative research approach aligned with a constructivist orientation to inquiry, to examine an internal medicine longitudinal coaching programme. Interpretive description's epistemological roots, stemming from nursing science, allow the researcher to move beyond theory into practice using a flexible qualitative approach that includes processes for identifying and applying aggregated knowledge.16 It is a highly pragmatic approach that attends to individual experiences and common patterns across the data and seeks to generate applied knowledge for practice.16

2.1 설정 및 모집
2.1 Setting and recruitment

브리티시 컬럼비아 대학교(UBC)의 내과 레지던트 프로그램은 매년 약 50명의 레지던트를 수용하는 3년 과정의 프로그램입니다. 연구 당시에는 1년차 레지던트만 프로그램에서 학업 코치와 짝을 이루었습니다. 코치는 일반적으로 레지던트에 대한 평가나 평가에 관여하지 않았습니다. 2019년 7월에 수련을 시작한 모든 1년차 레지던트(N = 47명)와 그들의 코치(N = 30명)가 1년 동안 이 연구에 참여하도록 초대되었습니다. 코치와 레지던트는 본질적으로 취약할 수 있는 토론을 녹음하도록 요청받았기 때문에 편의 표본 추출을 사용했습니다. 코치 6명과 레지던트 8명(코치 2명은 레지던트 2명과 각각 짝을 이루었습니다)을 포함한 8쌍의 부부가 참여에 동의하고 사전 동의를 제공했습니다. 코치와 레지던트 모두 1년 동안 4번의 미팅을 오디오 테이프로 녹음하고 개별적으로 오디오 녹음된 퇴소 인터뷰에 참여하도록 요청받았습니다.  
The University of British Columbia's (UBC) internal medicine residency programme is a 3-year programme accepting approximately 50 residents per year. At the time of the study, only first-year residents were being paired by the programme with an academic coach. The coach was not typically involved in assessment or evaluation of the resident. All first-year residents (N = 47) starting training in July 2019 and their coaches (N = 30) were invited to participate in this study for the duration of 1 year. We used convenience sampling as coaches and residents were asked to record discussions that could be inherently vulnerable. Eight dyads including six coaches and eight residents (two coaches were paired with two residents each) agreed to participate and provided informed consent. Both coach and resident were asked to audiotape their four meetings over a 1-year period and participate in individual audiotaped exit interviews.

2.2 코치 교육/레지던트 교육
2.2 Coach training/resident training

모든 코치와 레지던트는 레지던트 프로그램 디렉터, 역량 위원회 위원장 및 연구팀 구성원인 RH, LF, CC가 제공하는 별도의 교육을 받았습니다. 교육은 위에서 설명한 바와 같이, 레지던트가 역량을 발전시키고 평생 학습 기술을 구축할 수 있도록 협력적이고 성찰적으로 코칭하는 '시간에 따른 코칭'에 대한 RCPSC 접근 방식을 기반으로 이루어졌습니다.2 코칭의 틀을 제공하기 위해 R2C2 모델이 도입되었습니다.7, 9 R2C2 모델에 따라 코치는 레지던트와 관계를 구축하고, 평가에 대한 레지던트의 반응을 탐색하고, 평가의 내용을 탐색하고 변화를 위해 코치하도록 권장되었습니다.7, 9 또한 고려해야 할 성찰 프롬프트 등 R2C2에 대한 요약 팜플릿을 제공받았습니다. 이들에게는 위에 명시된 코칭 프로그램의 목적과 코치와 임상 수퍼바이저 또는 멘토의 차이점에 대한 교육이 제공되었습니다. 레지던트들은 코치에게 역량 위원회에 소감을 제출하도록 요청받지만 레지던트 진급에 관한 결정에는 직접 관여하지 않는다는 사실을 들었습니다. 변화를 위한 코칭의 일환으로 코치와 레지던트 모두와 함께 목표 공동 구성의 원칙을 검토했습니다.15 
All coaches and residents underwent separate training delivered by residency programme directors, competency committee chairs and members of the research team, RH, LF and CC. Training was based on the RCPSC approach to ‘coaching over time’ as described above: to collaboratively and reflectively coach residents towards progression of competency and build lifelong learning skills.2 To provide a framework for coaching, the R2C2 model was introduced.7, 9 As per the R2C2 model, coaches were encouraged to build relationships with their residents, explore residents' reactions to the assessments, explore the content of the assessments and coach for change.7, 9 Residents were also provided with a pamphlet outlining R2C2 including reflection prompts to consider. They were educated on the above stated purpose of the coaching programme and the differences between a coach and clinical supervisor or mentor. Residents were told that their coach would be asked to provide an impression to the competency committee but would not be involved directly in the decisions regarding resident promotion. As part of coaching for change, the tenets of goal co-construction were reviewed with both coaches and residents.15

2.3 코치-전공의 회의
2.3 Coach–resident meetings

모든 레지던트는 회의 전에 자신의 최근 평가를 검토하고 강점/약점 및 학습 목표에 대해 언급하는 자기 성찰 양식을 작성하여 제출해야 했습니다. 이 문서는 레지던트의 모든 평가(필기 시험, 관찰된 구조화된 임상 시험 및 직장 기반 평가)와 더불어 코치가 회의 전에 검토하거나 회의 중에 논의했습니다. 코치는 레지던트 1년차에 세 번, 2년차 초에 한 번, 총 세 차례에 걸쳐 1시간 동안 개별 레지던트와 만났습니다. 
All residents were required to complete and submit a self-reflection form involving reviewing their recent assessments and commenting on strengths/weaknesses and learning goals prior to each meeting. This document, in addition to all of the resident's evaluations (written examinations, observed structured clinical exams and workplace-based assessments), was reviewed by the coach before the meeting and/or discussed during the meeting. The coach met with their individual residents for 1 hour three times during their first year and one time during the start of their second year.

2.4 데이터 수집
2.4 Data collection

코치들은 전공의와의 미팅을 오디오 테이프로 녹음하여 연구팀에 제출하도록 요청받았습니다. 모든 코치와 8명의 전공의 중 7명이 반구조화된 퇴사 인터뷰에 참여했으며, 이 인터뷰는 WH에서 Zoom을 통해 오디오 테이프로 진행했습니다. 코칭 세션에서는 논의되는 목표의 유형, 이러한 목표가 어떻게 협상되는지, 시간이 지남에 따라 어떻게 진행되는지에 대한 데이터를 제공했습니다. 인터뷰 데이터는 코칭에 대한 참가자들의 경험을 조사했습니다. 코치에 대한 인터뷰 질문은 코칭 역할에 대한 인식, 레지던트와의 관계, 코칭 세션 중 목표 공동 구성 등을 고려했습니다(부록 S1). 레지던트를 대상으로 한 인터뷰 질문에는 목표 공동 구성 및 관계에 대한 인식 외에도 사전 성찰의 이점과 코칭의 인지된 효과도 고려되었습니다(부록 S2). 코칭 세션과 인터뷰의 오디오 테이프는 필사하고 비식별화했습니다. 8쌍의 부부 중 6쌍만 오디오테이프를 제출했으며(2쌍은 녹음에 기술적 어려움이 있었음), 총 18개의 녹취록을 제출했습니다. 3명의 dyads는 4번의 코칭 세션을 모두 제출했고, 1명은 3번, 1명은 2번, 1명은 1번의 세션만 제출했습니다. 모든 녹음 데이터는 총 894분 분량의 코칭 데이터(세션은 약 30~60분 길이로 다양함)와 총 367분 분량의 출구 인터뷰 데이터(24~34분 범위)로 분석되었습니다. 
Coaches were asked to audiotape meetings with residents and submit these to the research team. All coaches and seven of the eight residents engaged in semi-structured exit interviews, which were conducted by WH via Zoom and audiotaped. The coaching sessions provided data on the types of goals being discussed, how those goals are negotiated and how they progress over time. The interview data sought participants' experiences of coaching. Interview questions for coaches considered their perceptions of the coaching role, their relationship with the resident and goal co-construction during the coaching session (Appendix S1). In addition to perceptions of goal co-construction and relationships, interview questions for residents considered the benefits of pre-reflection and perceived effects of coaching (Appendix S2). Audiotapes of the coaching sessions and interviews were transcribed and de-identified. Of the eight dyads, only six submitted audiotapes (two dyads had technical difficulties with recordings) for a total of 18 recordings. Three dyads submitted all four coaching sessions, one submitted three sessions, one submitted two sessions and one submitted only one session. All recordings were analysed for a total of 894 minutes of coaching data (sessions varied from approximately 30–60 minutes in length) and a total of 367 minutes (range 24–34 minutes) of exit interview data.

2.5 데이터 분석
2.5 Data analysis

해석적 설명 Interpretive description은 연구자가 연구의 도구로서 연구자를 포용합니다.16 분석 전반에 걸쳐 우리는 문헌, 우리 자신의 해석과 경험, 경험적 데이터를 바탕으로 주제를 개발하는 분석 프레임워크를 개발하려고 노력했습니다.

• 연구팀의 두 팀원(LF와 WH)은 모든 녹취록을 읽고 처음에는 연역적 코딩 접근법을 사용하여 코칭 데이터를 분류하고 설명하기 시작했습니다.
  • 이는 R2C2 개념에 대한 코딩으로 시작하여 목표 공동 구성의 원칙(역할 모델링 목표, 목표 관련 대화, 목표 협상 및 프로그램 표준 보장)을 민감화 렌즈로 코딩했습니다.7, 9
• 또한 목표 공동 구성의 증거, 목표의 진화 및 목표 달성 계획을 포함하여 회의가 진행되는 동안 표를 사용하여 목표 유형을 귀납적으로 코딩하고 추적했습니다.
• 예비 아이디어와 주제는 데이터 샘플을 읽은 연구팀과 함께 논의하고 다듬었습니다.
  • 이 단계에서는 어떤 목표가 논의되었는지, 누가(코치 또는 레지던트) 목표를 확인했는지, 목표가 어떻게 구성되었는지, 목표를 달성하기 위한 계획과 시간이 지남에 따라 목표가 어떻게 진화했는지에 특히 주의를 기울였습니다.
  • 이 수준의 코딩은 '의미를 미리 결정하는 데 사용되는 것이 아니라, 식별된 주제에 대한 부분을 한곳에 모아 해석 과정을 완료하는 데 사용됩니다."(14쪽)
• 그런 다음 모든 연구자는 목표 공동 구성을 염두에 두고 출구 인터뷰와 관련하여 코치-레지던트 간 다이애드 대화를 귀납적으로 분석했습니다. 이 단계에서는 다이애드 경험의 해석(유사점과 차이점)과 코칭의 효과에 초점을 맞춰 데이터 간 연결고리를 찾았습니다.
• 팀은 정기적으로 만나 코드를 더욱 세분화하고 의미를 도출하여 참가자 경험에 대한 일관된 그림을 형성하고 데이터에서 누락될 수 있는 부분에 대해 논의했습니다. 두 가지 데이터 수집 방법과 두 참가자 그룹을 통해 강화된 데이터는 연구 질문에 답하기 위한 충분한 이해를 제공한다고 판단했습니다(Dey의 이론적 충분성 개념에서 도출).17 

Interpretive description embraces the researchers as instrumental to the research.16 Throughout the analysis, we sought to develop an analytical framework that draws from the literature, our own interpretations and experiences, and the empirical data to develop themes.

• Two members of the research team (LF and WH) read all of the transcripts and initially employed a deductive coding approach to begin to categorise and describe the coaching data.
  • This began with coding for both R2C2 concepts and then for tenets of goal co-construction as our sensitising lens (role-modelling goals, dialogue around goals, goal negotiation and ensuring programme standards).7, 9 
• In addition, types of goals were inductively coded and tracked using tables over the course of the meetings including evidence of goal co-construction, evolution of goals and plans to meet goals.
• Preliminary ideas and themes were discussed and refined with the research team who read a sample of the data.
  • At this level, we paid particular attention to what goals were discussed, who (coach or resident) identified goals, how goals were constructed, plans to meet goals and how they evolved over time.
  • Coding at this level is not used to ‘predetermine meaning, but to allow for segments about an identified topic to be assembled in one place to complete the interpretative process’.14, p. 340 
• All researchers then inductively analysed one coach–resident dyad conversation in relation to the exit interviews with goal co-construction in mind. At this level, we focused on interpretations of dyad experiences (similarities and differences) and the effects of coaching making connections between the data.
• The team met regularly to further refine the codes and derive meaning and form a cohesive picture of participant experiences, as well as to discuss what might be missing in the data. We judged the data offered a sufficient understanding (drawn from Dey's notion of theoretical sufficiency) for answering the research question, strengthened by the two methods of data collection and the two participant groups.17

연구팀에는 내과 레지던트들과 임상적으로 함께 일하는 의학교육 연구 경력이 있는 세 명의 일반 내과 의사(LF, CC, RH)가 참여했습니다. LF, CC, RH는 모두 코치들을 위한 초기 교수진 개발 세션을 진행했으며 반복적인 코치 회의에 참여했습니다. LF와 CC는 현재 학술 코치이기도 하며, 코치로서의 경험이 분석에 영향을 미쳤습니다. RH는 역량 위원회 위원장을 맡고 있습니다. WH는 재활 과학 프로그램의 박사 과정 학생이며 이 연구의 연구 조교였습니다. RA는 경험이 풍부한 의학교육 연구자(피드백 대화 포함)이자 맥락과 전문 분야에 대한 외부인으로, 프로그램 내에서 당연하게 여겨지는 코칭의 가정에 대한 대화를 유도했습니다. 
Members of the research team included three general internists with backgrounds in medical education research (LF, CC and RH) who all work clinically with internal medicine residents. LF, CC and RH all facilitated the initial faculty development session to coaches and participated in the iterative coach meetings. LF and CC are also current academic coaches, and their experiences as coaches influenced analysis. RH is chair of the competency committee. WH is a doctoral student in the Rehabilitation Science Program and was the research assistant for the study. RA is an experienced medical education researcher (including feedback dialogues) and outsider to the context and specialty, who prompted conversations about the taken for granted assumptions of coaching within the programme.

2.6 윤리
2.6 Ethics

이 연구는 UBC 윤리 심의 위원회(H19-00634)의 승인을 받았습니다. 
This study was approved by UBC Ethics Review Board (H19-00634).

3 결과
3 RESULTS

우리는 두 가지 주제를 개발했습니다:

• (i) 목표의 내용은 레지던트가 되는 방법에 초점을 맞추었으며, 코칭 상호작용은 임상 진료 환경의 문제를 해결하는 방법에 대한 내용은 드물고, 대신 레지던트 과정에서 발생하는 많은 비환자 대면 문제에 초점을 맞추었고,
• (ii) 공동 구성은 주로 목표의 우선순위를 정하거나 새로운 목표를 식별하는 것이 아니라, 목표를 달성하는 방법에 대해 발생했습니다.

We developed two themes:

• (i) The content of the goals focused on how to be a resident, in that coaching interactions were infrequently about how to address challenges in the clinical care environment, but instead focused on many of the non-patient-facing issues that come up in residency, and
• (ii) the co-construction mainly occurred in how to meet goals, rather than in prioritising goals or identifying new goals.

3.1 목표의 내용: 레지던트가 되는 방법
3.1 Content of goals: How to be a resident

초기 레지던트 목표는 주로 내과 1년차 레지던트의 역할에서 배우고 발전하는 것에 관한 것이었습니다(표 1). 여기에는 코치와 레지던트 모두가 시작한 목표가 포함되었습니다. 프로그램에서 코치에게 평가 데이터가 완전하고 검토되었는지 확인하도록 요청했기 때문에 코치는 레지던트가 이 주제와 관련된 목표를 개발하도록 했습니다. 코칭 관계 초기에 레지던트의 목표에는 지식 기반, 효율성 및 절차적 기술 향상과 자신감 개발이 포함되었습니다. 
Initial resident goals were mainly about learning and developing in the role of a first-year internal medicine resident (Table 1). These included goals initiated by both coaches and residents. As the programme had asked coaches to confirm assessment data were complete and reviewed, the coach ensured the resident developed goals related to this topic. Early in the coaching relationship, resident goals included improving knowledge base, efficiency and procedural skills and developing confidence.

첫해 중반에 접어들면서 더 많은 전공의들이 시니어 레지던트 역할로의 전환 준비, 교육 기술 향상, 경력 계획에 도움이 되는 일렉티브 선택에 대해 논의했습니다. 경력 계획과 연구 목표(예: 프로젝트 선정 및 원고 완성)는 모두 일 년 내내 개발되고 발전했습니다.
Towards the middle of the first year, more dyads discussed preparing for the transition to the senior resident role, improving teaching skills as well as elective selection to help with career planning. Both career planning and research goals (e.g. project selection and manuscript completion) were developed and evolved throughout the year.

레지던트들은 한 해 동안 자신의 목표가 발전했음을 인정했지만, 직접적인 임상 환자 치료의 문제 해결과 관련된 목표는 여전히 거의 없었습니다:
Residents acknowledged that their goals evolved over the year, though there were still very few goals around addressing challenges in direct clinical patient care:

어려운 케이스나 어려운 상호작용에 대한 레지던트의 의견을 코치가 조사할 기회가 여러 번 있었습니다. 그러나 대화는 필수 근무지 기반 평가 완료와 같은 레지던트 교육에 초점을 맞춘 주제로 돌아갔습니다. 환자 치료에 대한 제한적인 논의는 대개 특정 환자의 관리에 대해 설명하거나 어려운 케이스에서 큰 그림을 볼 필요성에 대해 논의하는 등 개별적인 사건에 관한 것이었으며, 목표가 개발되지 않는 경우가 많았습니다.  
On several occasions, there was opportunity for a coach to probe a comment made by the resident about a difficult case or challenging interaction. However, often the conversation turned back to topics focused on resident training such as completing the required workplace-based assessments. The limited patient care discussions were usually about isolated incidents (e.g. describing the management of a specific patient or discussing needing to see the big picture in a difficult case), and often no goals were developed.

세션의 종적 측면이 이러한 과제를 논의할 공간을 제공했기 때문에 코칭 토론은 레지던트가 되는 방법(예: 공부하는 방법, 연구 계획, 위탁 전문 활동[EPA] 완료 및 경력 계획)에 더 집중되었을 수 있습니다. 실제로 한 레지던트는 레지던트 학습에 대한 논의가 환자 치료 문제가 주요 초점이 되어야 하는 임상 환경에서는 잘 이루어지지 않는다고 말했습니다: 
Coaching discussions may have been focused more on the logistics of how to be a resident (e.g. how to study, research planning, completing entrustable professional activities [EPAs] and career planning) because the longitudinal aspect of sessions provided the space to discuss these challenges. In fact, one resident stated that discussions about resident learning were less available in the clinical setting where patient care issues need to be a primary focus:

또 다른 레지던트는 임상 환경에서 일상적으로 발생하지 않는 문제에 대해 논의할 수 있다는 점을 장점으로 꼽았습니다:
Another resident brought forward the benefit of discussing issues that do not come up on a day-to-day basis in the clinical setting:

첫 회의에서 여러 전공의가 중요한 임상 환자 치료 목표(예: 환자가 안전하고 필요한 치료를 받을 수 있도록 하는 것)에 대해 논의했지만, 레지던트가 수련을 진행하면서 이러한 중요한 목표는 재검토되지 않았습니다. 흥미롭게도 한 레지던트는 첫 번째 코치-레지던트 미팅에서 수련 첫 해에 예상되는 목표의 진화를 요약했는데, 이 요약은 모든 레지던트가 한 해 동안 발전하는 모습을 반영했습니다: 
Although several dyads discussed overarching clinical patient care goals in the first meeting (such as making sure patients are safe and get the care they need), these overarching goals were not revisited as the resident progressed in training. Interestingly, one resident summarised their expected evolution of goals over the first year of training in their initial coach–resident meeting, and this summary mirrored what we saw develop over the course of the year for all residents:

3.2 각 회의에서 주로 목표 달성을 위한 계획에 초점을 맞춘 공동 구성
3.2 Co-construction in each meeting mainly focused on plans to meet goals

대부분의 경우, 목표가 정해지면 그 목표를 달성하기 위한 계획이 논의되었습니다. 각 세션에서 우선순위를 정할 목표에 대한 논의는 거의 없었습니다. 코치와 레지던트 모두 목표를 제시할 수 있었고, 피드백을 검토하면서 회의 중에 다른 목표가 확인되었습니다. 이렇게 설정된 목표에 따라 목표 달성을 위한 계획에 대한 공동 구성 또는 협상이 자주 이루어졌습니다. 
For the most part, if goals were identified, plans to meet those goals were discussed. Within each session, there was little negotiation around which goals to prioritise. Both the coach and resident were able to bring goals forward, and other goals were identified during the meeting as feedback was reviewed. With these established goals, co-construction or negotiation frequently occurred around the plans to meet them.

일부 목표는 한 번만 제시되었지만(예: 다가오는 로테이션에 대한 목표), 다른 목표는 각 세션에서 레지던트가 1년 동안 목표를 달성하기 위해 계획을 발전시킨 증거와 함께 논의되었습니다.

• 예를 들어, 한 다이애드의 경우, 코치가 첫 번째 회의에서 콘텐츠 지식 향상이라는 목표를 제시하고, 이후 회의에서 다시 언급하고, 레지던트가 최종적으로 목표를 구체화했습니다.
• 미팅 1에서 레지던트는 향후 3개월 동안 100개가 넘는 핵심 내과 주제 중 절반에 대한 접근법을 배우겠다고 말했습니다.
• 미팅 2에서 이 계획은 달성할 수 없다는 것이 분명해졌고 코치는 계획을 수정할 것을 권유합니다. 두 사람은 레지던트가 매주 1~2개의 주제를 학습해야 한다는 데 동의합니다.
• 마지막 세션에서 레지던트는 코치에게 시니어 레지던트 역할로 전환하면서 학습의 초점을 서비스에서 확인된 지식 격차에 맞춰 변경해야 한다고 전달합니다.

코치는 초기에 계획에 대해 상당한 조언을 제공했지만, 마지막 세션에 이르러 레지던트는 코치의 조언 없이도 계획을 조정할 수 있었습니다: 
Though some goals only came up once (e.g. goals for upcoming rotations), other goals were discussed at each session with evidence of evolution of the resident's plan to meet the goal across the year.

• For example, in one dyad, the goal of improving content knowledge was brought up in the first meeting by the coach, returned to in the subsequent meetings and ultimately refined by the resident.
• In Meeting 1, the resident states that they will try to learn an approach to half the over 100 core internal medicine topics in the following three months.
• In Meeting 2, it is clear that this plan was not achievable, and the coach recommends revising the plan. Together, they agree that the resident should attempt to learn one to two topics per week.
• By the last session, the resident relays to the coach that they needed to change the focus of their studies as they transitioned to the senior resident role, to the knowledge gaps identified on service.

The coach provided significant input on the plan early on, but by the last session, the resident was able to adjust their plan without input from the coach:

목표를 달성하기 위한 계획을 함께 세우는 데 도움을 주기 위해 코치들은 광범위한 목표(예: 지식 기반 개선)에 대한 대화에 참여하여 그 목표를 어떻게 달성할 수 있는지에 초점을 맞춥니다. 이러한 토론에서 코치들은 스터디 그룹을 구성하거나 의도적인 학습 습관을 개발하는 것의 이점을 공유하는 등 레지던트로서의 전략을 공유했습니다. 이러한 계획은 종종 종단적으로 재검토되었습니다: 
To help co-construct plans to meet goals, coaches would engage in a dialogue about a broad goal (e.g. improve knowledge base), focusing on how that goal might be met. In these discussions, coaches shared their strategies as residents, including sharing benefits of forming study groups or of developing intentional study habits. These plans were often revisited longitudinally:

코치들은 EPA와 같은 직장 기반 평가를 완료하는 등 프로그램에서 요구하는 목표를 달성하는 데 도움이 되었습니다. 많은 Dyad들이 EPA를 완료하는 데 장애가 되는 요소(예: 질문을 잊어버리는 것, 프리셉터가 완료하는 것을 잊어버리는 것, 기술 문제)에 대해 논의했습니다. 여러 코치들은 이러한 장벽을 극복하는 방법에 대해 논의했으며, 몇몇 코치는 시스템 솔루션을 포함한 프로그램 개선을 옹호하겠다고 밝혔습니다. 예를 들어 
Coaches were helpful in troubleshooting goals required by the programme, for example, completing workplace-based assessments, such as EPAs. There was discussion in many of the dyads around the barriers to completing EPAs (e.g. forgetting to ask, preceptor forgetting to complete and technology issues). The dyad would discuss how to overcome these barriers, with several coaches indicating that they would advocate for programme improvements, including systems solutions. For instance:

드물게 코치는 레지던트에게 (시니어 레지던트의 환자 분류 기술과 같이) 수련 후반기에 더 적합한 목표를 다시 검토해 보라고 권유했습니다. 수련 첫 3개월 차의 주니어 레지던트가 의대생 교육에 대해 우려하며 공식적으로 교육 자료를 준비해야 하는지 논의했을 때 코치는 다음과 같은 통찰력을 제공했습니다: 
Rarely, the coach recommended to a resident that they revisit a goal more suited to later in training, such as senior resident triage skills. When a junior resident in their first 3 months of training was concerned about teaching medical students and discussed whether they should formally prepare teaching material, the coach offered this insight:

4 토론
4 DISCUSSION

본 연구는 목표 공동 구성에 의도적으로 초점을 맞추어 내과 레지던트 수련 프로그램 첫 해의 종단 코칭에서 발생하는 목표 개발에 대해 조명합니다. 이 연구에서 종단 코칭은 코치와 레지던트가 함께 협력하여 레지던트의 요구, 고유한 피드백, 평가 및 경험에 맞는 계획을 맞춤화할 수 있었기 때문에 레지던트가 레지던트 생활의 일부 실제 기술과 관련된 목표를 논의하고 달성할 수 있는 공간을 만들었습니다.
Through an intentional focus on goal co-construction, our study sheds light on the goal development that occurs in longitudinal coaching in a first year of an internal medicine resident training programme. Longitudinal coaching in this study created a space for residents to discuss and achieve goals related to some of the practical skills of being a resident, as coaches and residents were able to work together to tailor plans specific to the residents' needs, unique feedback, assessments and experiences.

연구 결과에 따르면 코칭 논의는 주로 1년차 레지던트로서 기능하는 것과 관련된 목표(예: 학습 기술, 조직 기술, 교육, 연구, 건강, 경력 계획 및 시니어 레지던트로의 전환)에 초점을 맞추었으며, 직접적인 환자 진료 환경과 관련된 임상 역량 개발에는 덜 중점을 두었습니다. 이러한 비환자 진료 관련 영역에 대한 코칭이 학습자의 특정 수련 단계(이 경우 레지던트 1년차)와 관련된 전문직 정체성 개발을 향상시키는 데 핵심이 될 수 있습니다.18 다양한 수련 단계에서 이루어져야 하는 전문직 정체성 개발에 대한 지원은 의사의 전반적인 전문직 정체성 형성의 중요한 측면이지만 연구가 잘 이루어지지 않았습니다.18, 19 레지던트 전환과 같은 전환 시점에 레지던트를 지원하는 것이 중요한 것으로 나타났습니다.20-23 본 연구는 내과 전공의의 수련 전환 단계 이후에도 코칭 관계를 지속하는 것이 유익하다는 것을 보여줍니다. 이를 통해 레지던트들은 1년차 레지던트로서 수련의 기초부터 선임 레지던트로서 수련의 핵심, 그리고 최종적으로 진료 전환에 이르기까지 역량을 발전시키는 동안 전문가로서의 정체성을 개발할 수 있도록 지속적으로 지원받을 수 있습니다.24 
Our study reveals that coaching discussions mainly focused on goals related to functioning as a first-year resident (e.g. study skills, organisational skills, teaching, research, wellness, career planning and transitioning to senior residency), with less emphasis on developing clinical competencies related to direct patient care settings. It is possible that coaching around these non-patient care-related areas may be key to enhancing the professional identity development related to a particular stage of training of a learner, in this case, that of a first-year resident.18 Support for the professional identity development that needs to occur at various stages of training is an important aspect of overall professional identity formation of a physician, though it has been less well studied.18, 19 Supporting residents during transition points such as transitioning to residency has been shown to be important.20-23 Our study demonstrates the benefit for continuing coaching relationships beyond the transition to discipline stage of an internal medicine resident. This ensures that residents continue to be supported as they develop their professional identity during their progression of competencies, from foundations of discipline as a first-year resident, to core of discipline as a senior resident, and eventually to transition to practice.24

레지던트가 되는 방법을 의도적으로 지원하는 공간을 갖는 것은 종단 코칭의 중요한 측면일 가능성이 높으며, 레지던트들이 종단 코칭 관계를 보편적으로 높이 평가하는 이유일 수 있습니다.4, 11, 12 그러나 종단 코칭 환경에서 직접적인 임상 진료 관련 역량에 대한 논의가 현저히 부족하다는 점은 더 고려해야 할 사항입니다. 본 연구에 따르면 종단 코칭은 (바쁜 임상 환경에는 적합하지 않은 대화 유형인) '레지던트가 되기 위한 탐색'에 대해 논의할 수 있는 공간을 제공한다고 합니다. 환자 치료 역량에 대한 논의(예: 환자 상태 변화 인식 및 치료 목표 수립 필요성)는 임상 환경에서 자주 발생하므로 본질적으로 다른 곳에서 다루어질 수 있습니다.25 또는 우리 프로그램의 종단 코치는 임상 환경에서 레지던트를 직접 관찰하는 경우가 거의 없거나 전혀 없었기 때문에, 환자 치료 상호 작용을 공유하는 데 직접 참여하지 않아 논의하기가 더 어려웠을 수 있습니다. 자기 성찰 양식의 사전 제출로 인해 보다 가시적인 주제에 초점을 맞추게 되어 덜 구체적인 주제에 대한 논의에 대한 단서를 놓치거나, 전공의 간 목표의 동질성, 예를 들어 배려심 있고 지식이 풍부한 의사로 성장하는 것과 같은 중요한 목표에 집중하지 못했을 가능성이 있습니다. 마지막으로, 코치들이 레지던트 평가 데이터에 의도적으로 초점을 맞추다 보니 기회를 놓쳤을 수도 있습니다. 이는 자연스럽게 환자 진료 중 레지던트를 직접 관찰하는 즉각성에서 벗어난 코치로서 시간과 다양한 평가 과제에 걸쳐 성과 및 피드백 정보의 의미 결정을 지원하는 것이 얼마나 쉽고 자연스러운 일인지에 대한 의문을 제기합니다.
Having a space that intentionally supports how to be a resident is likely an important aspect of longitudinal coaching and may be why residents universally appreciate longitudinal coaching relationships.4, 11, 12 However, the notable lack of discussion around direct clinical care-specific competencies in the longitudinal coaching setting deserves more consideration. Our study suggests that longitudinal coaching provides the space to discuss navigating being a resident: a type of conversation that does not fit into a busy clinical environment. It may be that discussions around patient care competencies (e.g. recognising changes in patient status and the need to establish goals of care) occur frequently in the clinical setting and so are essentially dealt with elsewhere.25 Alternatively, longitudinal coaches in our programme rarely or never directly observed their residents in clinical settings and, therefore, were not directly part of any shared patient care interactions making it more difficult to discuss. It is possible that the pre-submission of a self-reflection form resulted in targeting topics that were more tangible, perhaps leading to missed cues for the discussion of less concrete topics, homogeneity of goals across dyads and the loss of focus on an overarching goal of, for example, developing into a caring, knowledgeable physician. Finally, there may have been missed opportunities due to the intentional focus of coaches on resident assessment data. This naturally begs the question of how easy or natural is it to support meaning-making of performance and feedback information across time and different assessment tasks, as a coach who is once removed from the immediacy of direct observation of the resident during patient care?

종단 코칭에서는 코치가 직접 관찰에 관여하지 않을 수 있으므로, 평가 '데이터'는 특정 루브릭과 역량 라벨에 맞추기 위해 환자 경험의 세부 사항이 제거된 채 탈맥락화됩니다. 데이터 학자들은 데이터는 표현적인 것이 아니라(즉, 데이터는 맥락과 무관하게 고정된 의미를 갖지 않음) 관계적이고 맥락적이라고 말합니다.26 따라서 코치와 레지던트는 데이터를 재맥락화해야 하며, 코치는 다양한 데이터가 특정 주장을 어느 정도 뒷받침하는지 반복적으로 이해해야 합니다. 코치는 코칭 토론에서 목표 공동 구성을 지원하기 위해 의미 있게 사용하기 위해 레지던트의 주장 및 해석과 관련하여 그렇게 해야 합니다. 코치와 학습자를 위한 특정 임상 성과/피드백 토론을 위해 평가 데이터를 재맥락화하는 것은 어려울 수 있지만, 성과에 대한 토론을 장려하기 위해 종단적 코칭에 직접 관찰 기회를 포함하면 코칭 관계와 대화의 성격이 달라질 수 있습니다. 
In longitudinal coaching, coaches may not be involved in direct observation, so the assessment ‘data’ is decontextualised, stripped of the specifics of the patient encounter, to fit within certain rubrics and labels of competence. Data scholars suggest that data are not representational (i.e. data do not have a fixed meaning independent of context) but, instead, relational and contextual.26 Therefore, the coach and resident were required to recontextualise the data, with the coach repeatedly needing to understand the extent to which various data support particular claims. The coach must do so in relation to the resident's claims and interpretations in order to use them meaningfully to support goal co-construction within a coaching discussion. Although recontextualising assessment data for specific clinical performance/feedback discussions for coach and learners might be a challenge, including direct observation opportunities for longitudinal coaching to encourage discussion around performance would alter the nature of the coaching relationship and dialogue.

4.1 제한 사항
4.1 Limitations

본 연구는 수련 첫 해 동안 피드백을 논의하고 성과 목표를 개발하기 위해 반복적인 코치-레지던트 미팅을 포함하는 종단적 코칭에 대한 단일 레지던트 프로그램의 접근 방식을 연구한 것이므로 연구 결과의 적용 가능성은 제한적입니다. CBME 내에서 종단적 코칭을 시행하는 방식은 시간이 지남에 따라 코칭이 진행되는 방식에 영향을 미칠 수 있으며 코치와 레지던트 간의 논의가 달라질 수 있습니다. 저희 교수진 개발에서는 R2C2와 목표 공동 구성을 강조했는데, 이러한 접근 방식이 코치-레지던트 간 토론에 영향을 미쳐 목표와 관련하여 두 집단 간에 유사성을 보이는 결과를 낳았을 수 있습니다. 이 연구는 코치와 레지던트 간의 실제 토론을 실시간으로 포함함으로써 이점을 얻었지만, 더 큰 데이터 세트를 사용했다면 기록된 대화 유형에서 더 다양한 유형을 발견했을 가능성이 있습니다. 
The transferability of our findings is limited as this was a study of a single residency programme's approach to longitudinal coaching involving iterative coach–resident meetings to discuss feedback and develop performance goals over their first year of training. Within CBME, variations in the implementation of longitudinal coaching may impact how coaching plays out over time and may lead to different coach–resident discussions. Our faculty development emphasised R2C2 and goal co-construction, and this approach may have impacted coach–resident discussions and resulted in the similarities we see across dyads with respect to goals. Though the study benefited from including actual discussions between coach and resident as they occurred in real time, it is possible that with a larger data set, we would have found a greater variety in the types of conversations recorded.

5 시사점
5 IMPLICATIONS

우리는 종단 코칭 프로그램이 1년차 레지던트에게 프로그램 요건을 탐색하는 과정에서 1년차 레지던트가 되는 방법에 대해 이야기할 수 있는 공간과 시간을 제공함으로써 직접적인 환자 진료 외에 레지던트의 직업적 정체성 형성에 도움이 되는 역할을 한다는 것을 보여주었습니다. 또한 레지던트들은 비슷한 수준의 수련 과정에서 비슷한 목표를 가질 수 있지만, 개인마다 이러한 목표를 달성하는 방법은 다릅니다. 코치는 목표 달성을 위한 계획과 관련하여 레지던트별 문제를 해결하는 데 중요한 역할을 할 수 있습니다. 이를 염두에 두고 코치는 레지던트 목표에 대한 코칭이 레지던트의 전문적 정체성 형성에 어떤 영향을 미칠 수 있는지에 대한 추가적인 교수진 개발을 통해 이점을 얻을 수 있습니다.
We have shown that our longitudinal coaching programme provides first-year residents a space and time to talk about how to be a first-year resident as they navigate the programme requirements, thus demonstrating a role in helping to develop professional identity formation of residents outside of direct patient care. What's more, though residents may have similar goals at similar levels of training, how an individual can meet these goals differs. The coach can play an important role in troubleshooting resident-specific challenges around plans to meet goals. With this in mind, coaches may benefit from further faculty development around how coaching around resident goals can impact professional identity formation of a resident.

향후 연구에서는 데이터 과학 렌즈를 통해 종단적 코칭 논의에서 환자 치료 과제가 어떻게 그리고 왜 두드러지게 나타나지 않는지 탐구하는 것을 고려할 수 있습니다. 물론, 특정 임상 성과/피드백 논의를 위해 평가 데이터를 재맥락화하는 문제는 특히 종단 코칭이 학습자가 진정한 환자 치료에 대한 책임이 증가함에 따라 자신의 진척도를 측정하는 종단 통합 수련과는 대조적으로 더 고려할 가치가 있습니다.27 교수진 개발을 고려할 때 코치에게 환자 치료와 관련된 문제를 논의하도록 유도할 수 있는 단서에 특히 주의를 기울이도록 요청하면 논의되는 목표 유형이 더 넓어질 수 있습니다. 즉, 코칭을 위한 스캐폴딩 구조와 개방형 코칭 회의 사이에 균형이 있다고 생각합니다. 종단적 코칭 요건에 더 많은 방향과 지원을 계속 추가하면 다양한 수련 단계에서 레지던트의 정체성 형성을 지원하는 기능이 저하될 위험이 있습니다. 더 많은 교수진 개발이 더 나은 것은 아닐 수도 있습니다. 종단적 코칭 대화가 역량과 전문적 정체성 형성 모두에 대한 공동 규제와 성찰을 개선하는 데 가장 잘 기여할 수 있는 방법에 대한 이해를 높이는 데 집중하는 것이 핵심일 수 있습니다. 
Future studies may consider exploring how and why patient care challenges might not feature prominently in longitudinal coaching discussions, perhaps through a data science lens. Certainly, the challenge of recontextualising assessment data for specific clinical performance/feedback discussions merits further consideration, especially as longitudinal coaching is in contrast longitudinal integrated clerkships, where learners gage their progress by their increased responsibility for authentic patient care.27 In considering faculty development, it is possible that asking coaches to pay particular attention to cues that may lead to discussing issues related to patient care will broaden types of goals discussed. That said, we suspect there is a balance between scaffolding structure for coaching and open-ended coaching meetings. There is a risk of continuing to add more direction and supports to the longitudinal coaching requirements, as this may detract from its ability to support residents in their identity formation at various stages of training. It may be that more faculty development is not better. Focusing on improving our understanding of how longitudinal coaching conversations can best contribute to improving co-regulation and reflection on both competencies and professional identity formation may be the key.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

활동이론을 활용하여 의학 업무와 학습을 변혁하기 (Med Teach, 2021)
Using activity theory to transform medical work and learning
Yrj€o Engestr€oma and Eeva Py€or€al€ab

소개
Introduction

의사는 의료 기관의 복잡한 사회 시스템에서 필수적인 구성원으로 일합니다. 역량 기반 교육 프레임워크는 미래의 의사가 시스템 기반 진료, 옹호 및 협업을 개발할 수 있도록 의료 교육을 요구합니다(Orsino and Ng 2019). 동시에 의료의 전반적인 대상, 즉 환자가 겪고 있고 치료를 원하는 건강 문제의 스펙트럼에 근본적인 변화가 일어나고 있습니다. 장기 치료가 필요한 노인과 만성 질환 환자의 비율이 증가하고 있습니다. 두 가지 이상의 만성 질환을 앓고 있는 다질환 환자는 의료 자원의 상당 부분을 확대하고 활용하고 있습니다(Barnett et al. 2012; Braithwaite 2018). 동시에 의료 전문가들은 빈곤과 열악한 건강이 밀접하게 연관되어 있으며 사회경제적으로 박탈당한 사람들은 의료 서비스에 대한 접근성이 제한되어 있다는 사실을 점점 더 많이 인식하고 있습니다. 
Physicians work as integral members of the complex social systems of healthcare organizations. Competency-based education frameworks require that medical training develop future physicians’ systems-based practice, advocacy, and collaboration (Orsino and Ng 2019). At the same time, a foundational change is going on in the overall object of medicine, namely the spectrum of health problems patients are suffering from and seeking care for. The proportion of elderly people and patients with chronic conditions requiring long-term care is increasing. Patients with multimorbidity, i.e. suffering from two or more chronic conditions, are expanding and utilizing a significant portion of health care resources (Barnett et al. 2012; Braithwaite 2018). At the same time, medical professionals are becoming increasingly aware that poverty and poor health go hand in hand and the socio-economically deprived have limited access to health care.

환자 치료의 파편화는 의료계의 주요 과제입니다. 의료 시스템은 주로 복잡한 장기 질환과 만성 질환, 정신 장애, 빈곤의 동시 발생보다는 환자의 단일 증상과 질병을 치료하도록 설계되어 있습니다(Walker and Druss 2017).  
Fragmentation of patient care is a major challenge for healthcare practice. Healthcare systems are largely designed to treat patients’ single symptoms and diseases rather than complicated long-term disorders and the co-occurrence of chronic conditions, mental disorders, and poverty (Walker and Druss 2017).

다질환과 치료의 파편화에 관한 연구에 따르면 의료 교육은 환자에게 의료 부서 간, 그리고 치료 중인 환자와의 연속성, 조정 및 협업을 제공하는 접근 방식을 채택해야 합니다(Barnett 외. 2012; Braithwaite 2018; Engeström 2018). 그럼에도 불구하고 대부분의 의학 연구는 포괄적인 환자 치료와 1차 의료와 전문의 진료 간의 협력을 희생하면서 질병 중심의 전문의 관점에 초점을 맞추고 있습니다. 
Studies on multimorbidity and fragmentation of care call for medical education to adopt an approach that provides patients with continuity, coordination, and collaboration across healthcare units and with patients under their care (Barnett et al. 2012; Braithwaite 2018; Engeström 2018). Still, most medical studies focus on disease-centred specialist perspectives at the expense of comprehensive patient care and collaboration between primary healthcare and specialist care.

동시에 의료 시스템은 빠른 이직률과 단기적인 수익을 선호하는 시장 중심의 비즈니스 계산과 경영주의에 의해 점점 더 침투하고 있습니다. 의료의 도구는 합리화, 표준화, 상품화라는 측면에서 틀이 잡히고 있으며, 이러한 개념은 수평적으로 공동 구성된 치료 궤적과 장기적인 사회적 영향보다는 선형적이고 미리 포장된 하향식 프로세스와 절차를 선호합니다. 이러한 힘은 의료 대상의 필요한 확장을 매우 어렵게 만듭니다.  
Concurrently, systems of healthcare are increasingly penetrated by market-oriented business calculations and managerialism that favor rapid turnover and short-term profits. The instruments of medicine are becoming framed in terms of rationalization, standardization, and commoditization, notions that favor linear and pre-packaged top-down processes and procedures rather than horizontally co-constructed care trajectories and long-term societal impact. These forces make the needed expansion of the object of medicine very difficult.

환자 치료와 의학교육의 파편화와 장기 질환 및 동반 질환을 가진 환자의 증가로 인해 의료의 대상에 대한 근본적인 확장, 즉 더 긴 시간의 관점, 더 광범위한 협업 및 학제 간 접근 방식, 의료인과 그 조직의 혁신적 에이전시가 필요합니다. 따라서 우리는 변화, 교란, 논쟁을 조사하기 위해 고안된 이론적, 방법론적 접근이 필요합니다. 
Fragmentation of patient care and medical education as well as the increasing number of patients with long term conditions and comorbidities require a radical expansion of the object of medicine: longer time perspectives, broader collaborative and interdisciplinary approaches, and transformative agency from medical practitioners and their organizations. Therefore, we need a theoretical and methodological approach designed to investigate transformation, disturbances, and controversy.

문화-역사적 활동 이론(CHAT)은 역사적으로 형성된 체계적 모순을 분석의 출발점으로 삼습니다. 그림 1은 활동 시스템의 일반 모델(Engeström 2015, 63쪽)을 사용하여 의료 업무에 만연한 모순에 대한 작업 가설을 구성하는 방법을 보여줍니다. 
Cultural–historical activity theory (CHAT) takes historically formed systemic contradictions as the starting point of the analysis. Figure 1 shows how the general model of an activity system (Engeström 2015, p. 63) can be used to construct a working hypothesis of the pervasive contradictions of medical work.

모순은 일상적인 의료 업무에서 혼란과 갈등을 야기합니다. 다른 한편으로는 일상적인 혁신과 지역적 변화를 촉진하기도 합니다(Martin et al. 2017). 따라서 의료 사회 시스템이 복잡성을 이해하고 관리하며, 모순의 역학을 파악하고, 이를 해방적 변화에 활용하도록 도전합니다. 
Contradictions generate disturbances and conflicts in everyday medical work. On the other hand, they also stimulate everyday innovation and local change (Martin et al. 2017). Thus, they challenge the medical social system to understand and manage complexity, to identify the dynamics of contradictions, and to utilize them in emancipatory transformations.

이 글에서는 CHAT의 주요 개념과 확장적 학습 이론을 소개합니다(Engeström과 Sannino 2010, Engeström 2015, 2018). 확장적 학습은 이론, 경험적 연구, 형성적 개입 사이에 강한 연관성이 있는 연구 전통입니다. 따라서 우리는 의료 전문가와 환자가 치료의 파편화와 의료 활동 시스템의 모순을 해결하기 위해 의료 서비스 맥락에서 구현 된 형성적 개입의 구체적인 사례를 통해 활동 이론을 논의합니다. 
This article introduces key concepts of CHAT and the theory of expansive learning (Engeström and Sannino 2010; Engeström 2015, 2018). Expansive learning is a research tradition with strong links between theory, empirical research, and formative interventions. Therefore, we discuss activity theory with the help of concrete examples of formative interventions implemented in the context of healthcare where healthcare professionals and patients tackled fragmentation of care and contradictions in the activity systems of medical work.

의료 업무의 근접 개발 영역: 협력적이고 변혁적인 전문성
The zone of proximal development of medical work: Collaborative and transformative expertise

활동 이론에서 변화는 미리 정해진 종점을 향한 선형적인 움직임으로 간주되지 않습니다. 이는 근위 발달 영역으로 이해됩니다. 이 개념은 원래 비고츠키(1978, 86쪽)가 개인 학습의 맥락에서 제시했습니다. Engeström(2015, 138쪽)은 집단 활동 수준에서 학습과 발달을 다루기 위해 이 개념을 재정의했습니다. 근접 발달 영역은 현재와 미래 사이의 가능성의 지형으로, 당면한 모순에 대한 해결책으로 활동을 집단적으로 변화시킬 수 있습니다. 
In the activity theory, transformations are not seen as linear moves toward pre-fixed end points. They are understood as zones of proximal development. This concept was originally presented by Vygotsky (1978, p. 86) in the context of individual learning. Engeström (2015, p. 138) redefined the concept to address learning and development at the level of collective activities. Zones of proximal development are terrains of possibilities between the present and the future where activities can be collectively transformed as a solution to the contradictions at hand.

의료 업무와 같은 활동의 근접 발전 영역을 묘사하려면 역사적 변화와 발전의 주요 차원을 파악해야 합니다. 그림 2에서는 의료 전문성의 근위 발전 영역을 개인 전문성과 집단 전문성(수직적 차원), 안정을 위한 학습과 변화를 위한 학습(수평적 차원)이라는 두 가지 차원을 통해 설명합니다. 이 두 가지 차원이 합쳐져 네 가지 영역이 형성되는데, 왼쪽 아래에는 역사적으로 가장 오래된 기술 전문 지식이, 오른쪽 위에는 아직 미지의 영역인 협업 및 혁신 전문 지식이 위치합니다. 
To portray a zone of proximal development of an activity such as medical work, we need to identify the key dimensions of historical change and development. In Figure 2, the zone of proximal development of medical expertise is illustrated with the help of two dimensions: namely, between an individual and a collective locus of expertise (the vertical dimension), and between learning for stability and learning for change (the horizontal dimension). Together, these two dimensions form a fourfold field in which the historically earliest craft expertise is located in the lower-left section and the largely uncharted collaborative and transformative expertise is located in the upper right section.

협력적이고 변혁적인 전문성은 의료진이 지속적인 시스템 변화 노력에 참여한다는 것을 의미합니다. 이는 의료진 간의 협업과 의료기관, 환자 및 대상 지역사회, 기타 사회 주체 간의 연합 구축을 통해서만 달성할 수 있습니다. 그림 2에서 설명한 바와 같이, 협력적이고 혁신적인 전문성을 향한 세 가지 선봉은 다음과 같다.

• (1) 전문성을 목적 지향적이고 모순에 기반한 활동 시스템으로 재개념화하기,
• (2) 전문성을 협상된 매듭으로 추구하기,
• (3) 확장적 학습으로 전문성 구축하기

다음 섹션에서는 이 세 가지 선봉에 대해 소개합니다.
Collaborative and transformative expertise implies that medical practitioners are involved in ongoing systemic change efforts. This can only be accomplished by means of collaboration among healthcare practitioners and coalition-building between healthcare units, their patients and target communities, and other societal actors. As described in Figure 2, we may identify three spearheads toward collaborative and transformative expertise:

• (1) reconceptualizing expertise as object-oriented and contradiction-driven activity systems,
• (2) pursuing expertise as negotiated knotworking, and
• (3) building expertise as expansive learning.

We will introduce these three spearheads in the following sections.

객체 지향 활동 시스템으로서의 전문성
Expertise as object-oriented activity systems

CHAT의 기본 아이디어 중 하나는 수명이 짧고 목표 지향적인 활동actions과 지속적이고 집단적인 활동activities을 구분하는 것입니다(Leont'ev 1978). 활동activity은 행동을 생성하는 협력적이고 총체적인 시스템으로 이해됩니다. 활동 시스템은 대상object을 지향합니다. 대상은 활동의 장기적인 목적을 구현하여 가능한 행동의 지평을 생성합니다. 의료 서비스에서 일반적인 대상은 건강과 질병이지만, 특정 불만을 가진 각각의 특정 환자는 대상의 구체적인 표현입니다. 
One of the foundational ideas of CHAT is the distinction between short-lived, goal-directed actions and durable and collective activities (Leont’ev 1978). An activity is understood as a collaborative and holistic system that generates actions. An activity system is oriented toward an object. The object embodies the long-term purpose of the activity, generating horizons for possible actions. In healthcare, the general object is health and illness, whereas each specific patient with a specific complaint is a situated manifestation of the object.

의료와 같은 복잡한 사회 제도에는 각 활동 시스템의 노드 내부와 노드 간, 그리고 상호 연결된 활동 시스템 간에 역사적으로 축적된 체계적 모순이 존재합니다. 오늘날 의료 업무의 주요 과제 중 하나는 진료의 파편화, 또는 활동 이론적 용어로 대상의 파편화이며, 특히 여러 만성 질환을 가진 환자를 진료할 때 두드러집니다(Kerosuo and Engeström 2003; Engeström 2018; Meijer 외. 2020, 언론 보도 중). 그림 3은 핀란드 헬싱키시의 의료 시스템에서 여러 의료 전문 분야와 진료소 사이를 떠돌던 한 환자의 치료가 파편화되는 과정을 보여줍니다.
In complex social institutions such as healthcare, there are historically accumulated systemic contradictions within and between the nodes of each activity system, and among interconnected activity systems. One of the major challenges in medical work today is the fragmentation of care, or in activity-theoretical terms, the fragmentation of the object, especially salient in the care of patients with multiple chronic conditions (Kerosuo and Engeström 2003; Engeström 2018; Meijer et al. 2020, in press). Figure 3 portrays the fragmentation of the care of a patient who drifted between several medical specialties and clinics in the health care system of the city of Helsinki in Finland.

파편화는 다음의 경우에 나타났습니다.

• (a) 서로 다른 전문 간병인이 자신의 제한된 책임과 역량 영역에 '속하는' 증상과 치료에만 집중하고, 
• (b) 서로 다른 간병인 사이에 공통 언어나 이해가 없으며, 
• (c) 환자 치료에 관여하는 여러 당사자 간의 조정, 협력 및 의사소통을 보장하는 효율적인 메커니즘이 없을 때 

파편화는 발췌문 1에 예시된 바와 같이 치료의 공백과 중단 위험을 초래했습니다.
Fragmentation emerged when

• (a) the different specialist caregivers concentrated exclusively on the symptoms and care that ‘belonged’ to their own restricted areas of responsibility and competence,
• (b) there was neither common language nor understanding between the different caregivers, and
• (c) there was no efficient mechanism that guaranteed coordination, cooperation, and communication between the different parties involved in the patient’s care.

Fragmentation led to gaps and risks of disruption in the care, as exemplified in Excerpt 1.

발췌문 1
Excerpt 1

환자: 남편은 암으로 사망했고 딸은 이제 열여섯 살이 되었습니다. 우리 둘만 남았기 때문에 딸을 성인이 되도록 키우기 위해 가능한 모든 수단을 동원해 살아남고 신장을 보호해야 한다고 생각합니다. 그래서 그것이 저에게 스트레스를 주는 원인이죠.
Patient: My husband died of cancer and my daughter is now sixteen. Being just the two of us, I feel I have to stay alive and protect my kidney by all possible means, to bring her up into adulthood. So that’s what causes stress for me.

연구원: 그래서 문제는 급성 상황에서 정보가 한 의사에서 다른 의사로 전달되었는지 여부에 대한 불확실성입니다....
Researcher: So the problem is uncertainty in acute situations, whether or not information has been passed from one doctor to the other…

환자: 네, 최근에 있었던 특정 상황처럼 제가 직접 정보를 전달할 수 없는 경우입니다. 제 상황을 설명할 수 없었어요. 그것은 제가 여러 번 생각했던 것입니다...
Patient: Yes, if I cannot convey the information myself, like it was in that particular situation recently. I was not able to explain my situation. That’s something I have thought about many times…

치료의 파편화는 활동 시스템 간 및 활동 시스템 내부의 모순으로 인해 발생했습니다. 병원의 전문 진료, 일차 의료의 일반 진료, 아픈 환자 자신의 삶이라는 활동 체계는 각각 다른 대상을 가지고 있었고, 이 대상들은 자주 충돌하고 거의 만나지 못했습니다. 분업은 각 의사의 단독 책임을 강조하여 전문의와 일반의의 책임을 효과적으로 캡슐화했습니다. 또한, 여러 만성 질환을 앓고 있는 환자에게는 공유된 도구가 필요했을 텐데, 이 두 가지 활동 체계는 특정한 별도의 도구로 운영되었습니다. 게다가 시장 경제 규칙에 따라 의료 기관은 단기적인 비용 효율성을 우선시해야 했습니다. 이러한 긴장이 가득한 상황은 그림 4에 개략적으로 설명되어 있습니다.

The fragmentation of care was generated by contradictions between and within activity systems. The activity systems of specialist care in the hospital, general practice in primary health care, and the patient’s own life with ill health each had a different object, and these objects frequently collided and rarely met. The division of labor emphasized solo responsibility of each practitioner, effectively encapsulating the responsibilities of the specialist and the general practitioner. Moreover, these two activity systems operated with specific, separate instruments, whereas a patient with multiple chronic conditions would have needed shared instruments. Furthermore, the market economy rules guided the health care units to prioritize short-term cost-efficiency. This tension-laden constellation is schematically illustrated in Figure 4.

폭넓은 학습으로서의 전문성
Expertise as expansive learning

확장 학습은 변화를 위한 학습을 분석하고 촉진하는 독특한 방법을 제공합니다. 확장 학습 이론은 아직 존재하지 않는 새로운 활동 패턴을 학습하는 데 중점을 두며, 설계된 대로 학습합니다(Engeström 2015, 2016). 확장적 학습의 대상은 다양한 관점 사이에서 갈등하고, 협상하고, 혼성화하며, '야생에서' 개념을 종합적으로 형성하는 다중 목소리 학습 과정에 참여합니다(Engeström과 Sannino 2012).
Expansive learning provides a unique way of analyzing and promoting learning for change. The theory of expansive learning focuses on learning of new patterns of activity that are not yet there; they are learned as they are designed (Engeström 2015, 2016). The subjects of expansive learning are involved in a multi-voiced learning process in which they struggle, negotiate, and hybridize between the alternative perspectives and collectively form concepts ‘in the wild’ (Engeström and Sannino 2012).

확장적 학습은 확장적 학습의 주기를 형성하는 학습 행동을 통해 진행됩니다(그림 5). 그림에서 굵어진 화살표는 프로세스에 참여하는 참여자의 수와 헌신적인 노력의 측면에서 증가하는 모멘텀을 나타냅니다. 확장 학습의 주기는 의도적인 개입 없이도 가끔 발생하지만, 이는 드문 경우입니다. 확장적 학습의 주기를 촉발하고, 지원하고, 분석하기 위해 형성적 개입 방법론이 개발되었습니다(Engeström 외. 2014).
Expansive learning proceeds by means of learning actions that form cycles of expansive learning (Figure 5). The thickening arrows in the figure indicate increasing momentum in terms of numbers and commitment of participants involved in the process. Cycles of expansive learning sometimes occur without deliberate intervention, but this is rare. A methodology of formative interventions has been developed to trigger, support, and analyze cycles of expansive learning (Engeström et al. 2014).

변화 실험실이라는 형성적 개입 방법은 1990년대에 주요 변화에 직면한 조직과 직장을 연구하기 위해 개발되었습니다(Engeström 외. 1996, Engeström과 Sannino 2010, Virkkunen과 Newnham 2012, Sannino와 Engeström 2017). 변화 실험실은 광범위한 학습을 촉발하고 지원하는 것을 목표로 합니다. 변화 실험실은 클리닉과 같은 지역 단위에 초점을 맞출 수도 있고, 더 큰 규모의 모순과 긴장을 해결하기 위해 여러 활동 시스템을 한데 모을 수도 있습니다. 
A formative intervention method called Change Laboratory was developed in the 1990s for studying organizations and workplaces facing major transformations (Engeström et al. 1996; Engeström and Sannino 2010; Virkkunen and Newnham 2012; Sannino and Engeström 2017). Change Laboratory is aimed at triggering and supporting expansive learning. A Change Laboratory may focus on a local unit, such as a clinic, or bring together multiple activity systems to resolve larger-scale contradictions and tensions.

변화 실험실 방법을 사용하려면 연구자가 실제 업무 환경에서 인터뷰, 관찰, 비디오 녹화 등 경험적 자료를 수집해야 합니다. 이 자료에는 연구자가 새로운 활동 패턴을 모색하고 설계하기 위해 변화 실험실 세션 참가자들의 참여, 분석 및 협력 노력을 자극하기 위해 '거울'로 삼을 수 있는 중요한 사건, 장애 및 문제가 포함되어 있으며, 연구자는 이 중에서 발췌하여 제공합니다. 
The Change Laboratory method requires that the researchers collect empirical material, e.g. interviews, observation, and video-recordings, from authentic workplace contexts. The material includes critical incidents, disturbances, and problems of which the researcher selects and provides extracts for a ‘mirror’ to stimulate involvement, analysis, and collaborative efforts among participants in Change Laboratory sessions to seek and design new patterns of activity.

일반적인 체인지 랩 개입은 6~10개의 세션으로 진행됩니다.

• 참가자는 먼저 연구자가 선정한 비디오 발췌본을 시청하여 기존 활동 방식에 의문을 제기하는 학습 행동을 유도합니다.
• 그런 다음 참가자들은 역사적, 경험적 분석을 통해 문제와 그 체계적 원인, 가능한 해결책 또는 해결책을 논의합니다. 문제, 원인 및 제안된 해결책은 필자가 화이트보드나 플립 차트에 기록합니다.
• 그런 다음 참가자들은 모델링 학습 활동에 참여하여 근위 개발 영역과 새로운 활동 모델을 공동으로 초안을 작성합니다.
• 새로운 모델의 목표와 내용을 논의하고 모델을 검토하고 테스트하는 활동에 해당하는 세부적인 변경 및 개선 제안이 이루어집니다.
• 참가자는 모델을 실행하는 학습 행동에 해당하는, 활동의 실질적인 변화를 계획하고 실행합니다.
• 프로세스는 프로세스를 반성하는 행동으로 수행한 작업을 검토하여 평가합니다.
• 결과의 통합 및 일반화는 변화 실험실 개입이 끝날 무렵에 시작되며 일반적으로 그 이후에도 계속됩니다.

A typical Change Laboratory intervention proceeds through 6–10 sessions.

• Participants first view video excerpts selected by the researchers to elicit the learning action of questioning the existing mode of activity.
• Next, participants discuss the problems, their systemic causes, and possible remedies or solutions – performing historical and empirical analysis. Problems, causes, and suggested solutions are written up on whiteboards or flip charts by a scribe.
• Then, participants engage in the learning action of modeling, jointly drafting a zone of proximal development and a new model for their activity.
• The aims and contents of the new model are discussed, and detailed changes and improvement suggestions are made, corresponding to the action of examining and testing the model. 
• Participants plan and execute practical changes in the activity, corresponding to the learning action of implementing the model. 
• The process is assessed by examining the work accomplished in an action of reflecting on the process.
• Consolidation and generalization of the outcomes are initiated toward the end of a Change Laboratory intervention and typically continue after it.

헬싱키에서 일차 의료와 전문 병원 진료 간의 협상된 업무 방식 개발에 관한 핀란드 연구(Engeström 외. 2003; Engeström 2018)는 의료 환경에서 변화 실험실을 성공적으로 구현한 풍부한 설명을 제공합니다. 실제 상황에서 일차 진료와 이차 진료 사이의 환자 치료의 세분화에 대한 데이터를 수집하고, 9번의 Change Laboratory 세션을 진행했으며, 환자 및 환자 치료에 관여하는 실무자와 함께 10개의 환자 사례를 연속적으로 분석했습니다. 
A Finnish study on the development of a negotiated way of working between primary health care and specialized hospital care in Helsinki (Engeström et al. 2003; Engeström 2018) provides a rich description of a successful implementation of Change Laboratory in healthcare settings. Data were gathered on the fragmentation of patient care between primary and secondary care in the real-life contexts, nine Change Laboratory sessions were conducted and ten patient cases were jointly analyzed in successive sessions with the patients and the practitioners involved in their care.

여러 차례에 걸친 확장적 학습을 통해 의사와 환자는 여러 만성 질환을 앓고 있는 환자를 치료하는 과정에서 파편화를 발견한 한 의사가 시작한 치료 계약이라는 새로운 도구를 만들어냈습니다(Kerosuo와 Engeström 2003). 계약서의 첫 번째 초안은 시작 의사와 환자 간에 협상이 이루어졌습니다. 그런 다음 초안을 환자의 치료에 관여하는 다른 의료진에게 보내 당사자 간의 협상을 거쳤습니다. 치료 합의서에는 여러 대상자의 진단과 주요 관심사가 요약되어 있고 치료 계획이 설명되어 있습니다. 또한 새로운 상황이 발생하고 변경 사항이 있을 때 서로에게 최신 정보를 제공하는 방법도 설명했습니다. 치료 동의서는 환자를 포함한 주요 당사자가 서명했습니다. 치료 동의서 도구에서 중요한 두 가지 도구, 즉 치료 지도와 환자의 치료 달력이 추가로 개발되었습니다. 두 가지 모두 의사와 환자가 공동으로 작성하고 협상했습니다. 
In multiple cycles of expansive learning, practitioners and patients generated a new instrument called the care agreement initiated by a physician who noticed fragmentation in the care of a patient with multiple chronic illnesses (Kerosuo and Engeström 2003). The first draft of the agreement was negotiated between the initiating physician and the patient. The draft was then sent to other healthcare practitioners involved in the patient’s care and negotiated among the parties. The care agreement summarized the diagnoses and key concerns of the different subjects and outlined their plans of care. It also explicated the ways they kept each other up-to-date when new developments occurred and changes were made. The care agreement was signed by the key parties, including the patient. Two additional instruments, important in the care agreement instrumentality were developed, namely that of a care map and a care calendar of the patient. Both were collaboratively constructed and negotiated by the physicians and the patients.

확장적 학습 주기는 세 가지 수준에서 식별되고 지원될 수 있습니다.

• 환자 치료에서 상호 연결된 활동 시스템 간에 새로운 기본 모델을 생성하고 구현하는 데는 일반적으로 몇 년이 걸립니다(예: Engeström 외. 2007).
• 중간 수준은 변화 실험실 개입의 도움을 받아 집중적인 지역적 변화로 구성되며, 몇 개월이 소요됩니다(예: Engeström 외. 2013).
• 가장 작은 규모의 확장 학습 미니 사이클은 단일 개입 세션 또는 이와 유사한 제한된 에피소드로 구성됩니다(예: 누미조키 외. 2018).

Expansive learning cycles may be identified and supported at three levels.

• To generate and implement a new foundational model between interconnected activity systems in patient care typically takes several years (e.g. Engeström et al. 2007).
• An intermediate level consists of a focused local transformation with the help of a Change Laboratory intervention, requiring several months (e.g. Engeström et al. 2013).
• The smallest scale of mini-cycles of expansive learning consists of single intervention sessions or similar restricted episodes (e.g. Nummijoki et al. 2018).

변화 실험실 중재는 핀란드(Engeström 2018), 덴마크(Skipper 외. 2016), 브라질(Vilela 외. 2020; Grilo Diniz 외. 2020, 보도 중), 영국(Reid 외. 2015; Morris 외. 2020, 보도 중)의 다양한 의료 환경에서 수행 및 보고되었습니다. 
Change Laboratory interventions have been carried out and reported in various medical settings in Finland (Engeström 2018), Denmark (Skipper et al. 2016), Brazil (Vilela et al. 2020; Grilo Diniz et al. 2020, in press), and the United Kingdom (Reid et al. 2015; Morris et al. 2020, in press).

보건의료 업무를 통한 학습: 전제, 기여, 실천(Med Educ, 2016)
Learning through health care work: premises, contributions and practices
Stephen Billett

소개
Introduction

오랫동안 인식되어 온 바와 같이, 업무 환경에서의 경험은 보건의료 종사자의 초기 직업 준비와 직업 생활 전반에 걸친 지속적인 개발 모두에서 학습에 뚜렷한 기여를 할 수 있습니다.1, 2 그러나 이러한 목적을 위해 직장 경험을 효과적으로 활용하고 보건의료 실무의 혁신과 효율성을 증진하려면 이러한 경험의 기여와 한계를 이해하고 실제 행동에 활용해야 합니다.3, 4 이러한 목표를 달성하려면 교육 과학의 많은 가정이 '학교 교육'(즉, 교육 기관에서의 학습 경험)에 기반을 두고 있기 때문에 교육 과학의 정보를 바탕으로 하지만 제약이 없는 학습 설명을 참조할 필요가 있습니다. 
As long recognised, experiences in work settings can make distinct contributions to health care workers’ learning, both in their initial professional preparation and ongoing development across their professional working lives.1, 2 Yet, to effectively utilise workplace experiences for these purposes and advance innovation and efficacy in health care practice requires the contributions and limitations of these experiences to be understood, and used to inform practical actions.3, 4 This goal requires drawing on accounts of learning informed, but not constrained, by educational science as many of its assumptions are founded in ‘schooling’ (i.e. taught experiences in educational institutions).

이러한 우려를 해결하기 위해 직장에서의 학습에 관한 경험적 탐구와 관련 문헌을 바탕으로 의료 업무에서의 일상적인 경험이 미래의 도전 과제 해결을 포함하여 교육적으로 가치 있는 것으로 자리매김할 수 있는 방법을 설명합니다. 항상 의료 직종에서 시작되는 것은 아니지만, 이러한 질문은 다음에 대해 잠재적으로 임상 환경에 적용할 수 있는 통찰력을 제공합니다. 

• (i) 이러한 환경을 통한 학습이 어떻게 발생하는지,
• (ii) 이러한 학습 과정과 결과의 잠재력과 한계는 무엇인지,
• (iii) 업무 내에서 그리고 업무를 통해 학습과 혁신을 촉진할 수 있는 방법은 무엇인지

In addressing these concerns, empirically-based inquiries regarding learning in workplaces and the relevant literature are drawn upon to describe how everyday experiences in health care work can be positioned as educationally worthwhile, including addressing future challenges. Although not always founded in health care occupations, these inquiries offer insights that can potentially be translated to clinical settings about:

• (i) how learning through those settings arises,
• (ii) the potential and limitations of these learning processes and outcomes, and
• (iii) how learning and innovation can be promoted in and through work.

기본적으로, 보건의료 업무를 통한 효과적인 학습은 한편으로는 임상 환경에서 제공되는 활동과 상호작용, 다른 한편으로는 보건의료 종사자가 이러한 활동에 참여하는 방식 사이의 이중성을 통해 발생하는 것으로 설명합니다.5 이는 학습이 일상적인 업무 활동이나 임상 교육과 같은 중재를 통해 발생하는 경우 모두 해당됩니다. 
Foundationally, they explain effective learning through health care work as arising through a duality between the activities and interactions afforded in clinical settings, on the one hand, and how health care workers elect to engage with them, on the other.5 This is the case whether that learning arises through everyday work activities or interventions, such as clinical teaching.

따라서 원칙적으로 교육 기관에서의 경험을 통한 학습과 임상 환경에서의 학습에 대한 설명에는 차이가 없습니다.6 둘 다 경험을 제공하고 개인(즉, 학생과 종사자)은 자신에게 주어진 경험을 어떻게 활용할 것인지를 선택합니다. 그러나 질적으로 보면 임상 환경은 독특한 물리적, 사회적 환경, 활동, 상호작용을 통해 경험에 대한 접근성을 제공하고 학습 보건의료 관행에 부합하는 기여를 합니다. 이러한 환경이 제공하는 단서와 단서, 직업적으로 진정한 목표 지향적 활동과 상호작용은 교실 기반 경험만으로는 불가능한 방식으로 효과적인 보건의료 업무에 필요한 지식에 접근하고 이를 확보하는 데 도움을 줍니다.7 그러나 임상 경험을 통한 학습과 관련된 한계, 단점 및 위험에 대한 명확한 증거가 있습니다.7 따라서 이러한 경험은 한계를 보완하기 위한 노력으로 확장되는 업무 수행에 필요한 학습 결과를 실현하는 잠재력 측면에서 가치를 평가할 필요가 있습니다. 이러한 자질을 정교화하고 현재와 미래의 의료 종사자의 학습을 어떻게 해결할 수 있는지를 발전시키는 것이 이 연구의 핵심입니다. 의료 서비스 실무에서 초기 전문성 준비와 지속적인 개발 모두에서 직장 경험이 차지하는 역할이 커지고 실무에서 혁신과 효율성에 대한 요구가 증가함에 따라 이러한 이해가 특히 중요해지고 있습니다. 
In principle, therefore, there is no difference between accounts of learning through experiences in educational institutions and in learning in clinical settings.6 Both afford experiences and individuals (i.e. students and workers) elect how they engage with what is afforded them. However, qualitatively, clinical settings, with their distinctive physical and social environments, activities and interactions, afford access to experiences and make contributions aligned with learning health care practices. The clues and cues provided by those settings, and their occupationally authentic goal-directed activities and interactions grant access to and assist in securing the kinds of knowledge required for effective health care work, in ways that classroom-based experiences alone cannot.7 There is, however, clear evidence of limitations, shortcomings and risks associated with learning through workplace experiences.7 Hence, these experiences need to be valued in terms of their potential for realising the learning outcomes that are required for workplace performance that extends to efforts to redress its limitations. Elaborating these qualities and advancing how they can address health care workers’ learning now and in the future is the central focus here. The increasing role of workplace experiences in both initial professional preparation and ongoing development in health care practice, and the growing requirement for innovation and efficacy in practice, makes such understandings particularly important.

일을 통한 학습을 이해하기 위한 네 가지 전제
Four premises for understanding learning through work

'학교 교육'의 교훈, 관행 및 초점(즉, 교육 기관 및 관행의 교훈)은 그 자체로 필수적이지만, 현재 효과적인 학습 경험을 구성하는 요소에 대한 고려를 지배하고 왜곡할 수 있습니다. 이는 의도적인 교육 프로그램과 경험 외에서 발생하는 학습을 무시하거나 경시하는 결과를 초래할 수 있습니다.6 따라서 일을 통한 학습을 지원하는 프로세스는 해당 학습이 어떻게 가장 잘 정렬되고, 지원되고, 강화될 수 있는지를 설명할 수 있는 전제를 사용하여 이해해야 합니다. 현재 이러한 네 가지 전제가 발전했습니다. 
The precepts, practices and focuses of ‘schooling’ (i.e. those of educational institutions and practices), although essential in their own right, currently dominate and can distort considerations of what constitutes effective learning experiences. This can lead to the ignoring or downplaying of learning that arises outside of intentional educational programmes and experiences.6 Therefore, processes supporting learning through work need to be understood using premises that can describe how that learning can be best ordered, supported and augmented. Four such premises are now advanced.

첫째, 학습은 항상 일어납니다. 학습은 인간의 사고와 행동의 필연적인 결과입니다.8, 9 실무자가 업무 활동과 상호작용에 참여할 때, 과제를 완료하는 것 이상으로 그들이 알고 있고, 할 수 있고, 가치 있게 여기는 것(즉, 학습)에 변화가 일어나는 것으로 나타났습니다.7 따라서 학습은 의도적인 교육 경험을 위해 예약되거나 반드시 강화되는 것이 아닙니다. 실제로 학습이 이루어지는 장소보다는 일상적인 업무 경험의 유형과 질, 그리고 그에 대한 개인의 반응이 학습 내용을 형성합니다.10 개인에게 새로운 임상 과제나 활동에 참여하는 것은 새로운 학습의 잠재력을 제공합니다. 새로운 경험에 효과적으로 참여하고 적절한 지원을 받으면 임상 역량을 더욱 발전시킬 수 있습니다. 그러나 개인의 기존 역량 또는 준비도(즉, 근위 발달 영역)를 벗어난 활동은 제한적이거나 부정적인 결과(예: 혼란 또는 좌절)를 초래할 수 있습니다.7 따라서 경험이 많은 동료의 지도가 필요합니다. 중요한 것은 일상적이거나 익숙한 임상 활동도 절차를 연마하고 개선하여 임상 추론에 필요한 인과 관계와 연관성을 확립함으로써 보다 효과적인 진료로 이어질 수 있다는 점입니다.12 이러한 점진적 학습은 종종 의식적으로 인식하지 못한 채 발생하며, 실무자가 기억하거나 연구자가 포착하기 어려울 수 있다는 점입니다. 따라서 개인이 알고 있고, 할 수 있고, 가치 있게 여기는 것(즉, 학습)의 변화는 직장 생활 전반에 걸쳐 진행되며 교육 프로그램이나 교사의 개입에 의존하지 않습니다. 
First, learning occurs all the time. It is an inevitable consequence of human thinking and acting.8, 9 When practitioners engage in work activities and interactions, more than completing tasks, changes have been shown to take place in what they know, can do and value (i.e. learning).7 Hence, learning is not reserved for or necessarily enhanced by intentional educational experiences. Indeed, rather than where they occur, it is the type and quality of everyday work experiences and individuals’ responses to them that shape what is learned.10 Engaging in clinical tasks or activities that are novel to individuals offers the potential for new learning. Novel experiences, if effectively engaged with and adequately supported, can lead to development of further clinical capacities. However, activities beyond the scope of individuals’ existing competence or readiness (i.e. their zone of proximal development) 11 can lead to limited or negative outcomes (e.g. confusion or frustration).7 Hence, there is a need for guidance by more experienced co-workers. Importantly, routine or familiar clinical activities can also lead to more effective practice through honing and refining procedures and establishing causal links and associations of the kind required for clinical reasoning.12 This incremental learning often arises without conscious awareness and can be difficult to recall by practitioners and capture by researchers. So, changes in what individuals know, can do and value (i.e. learning) are ongoing across working lives and are not dependent on educational programmes or teachers’ interventions.

둘째, 연구에 따르면 근로자는 업무 활동에 참여하면서 자신의 직업 활동을 재구성하고13 잠재적으로 변화시킵니다.14 따라서 보건의료 종사자는 특정 시점과 특정 상황에서 특정 목표를 향해 임상 업무를 수행하면서 자신의 직업을 재구성하고, 이를 통해 직업을 유지하고 점진적으로 변화시키는 데 관여합니다. 때때로 이러한 리메이킹은 직업적 관행의 변화로까지 확장되기도 합니다. 현재 전 세계 의료 종사자들은 에볼라 바이러스를 억제하기 위해 감염 관리 관행을 바꾸고 있습니다. 기존 프로토콜이 실패함에 따라 새로운 절차가 개발, 시험, 제정되어 의료 관행이 변화하고 있습니다. 따라서 개인에게 발생하는 변화(예: 학습)뿐만 아니라 직종도 근로자의 행동을 통해 변화합니다. 따라서 미래의 임상 절차를 식별, 수행 및 평가하고 혁신을 확보하는 것은 필연적으로 보건의료 업무와 학습의 동시 발생과 관련이 있습니다. 
Second, studies indicate that as workers engage in work activities they also remake,13 and potentially transform, their occupational activities.14 So, as health care practitioners carry out their clinical work at particular moments in time and under particular circumstances, directed towards specific goals, they are engaged in remaking their occupations, thereby sustaining and, incrementally, transforming them. Sometimes, that remaking extends to the transformation of occupational practice. Worldwide, health care workers are currently changing their infection control practices to contain the Ebola virus. As existing protocols fail, new procedures are developed, trialled and enacted, thereby transforming health care practice. So, more than changes arising in individuals (i.e. learning), occupations also change through workers’ actions. Hence, identifying, carrying out and evaluating future clinical procedures and securing innovations are inevitably linked to the co-occurrence of health care work and learning.

셋째, 임상 지식(예: 의학, 방사선 촬영 등)은 역사, 문화, 상황적 요구사항의 산물이기 때문에 근로자가 이를 확보하기 위해서는 접근하고 참여해야 합니다. 직장 환경은 물리적 및 사회적 환경, 실제 직업 사례를 구성하는 활동 및 상호 작용을 통해 이러한 지식의 측면에 대한 접근성을 제공하는 것으로 나타났습니다.8 그러나 개인이 이러한 경험에 접근하는 것 이상으로, 경험한 것의 가치에 대한 평가를 포함하여 효과적인 학습이 이루어지려면 이러한 환경에 대한 적극적인 참여가 필요합니다. 이러한 참여는 업무를 통한 일상적인 사고와 행동을 통해 발생하며, 개인의 학습과 개발이 개인적으로 매개된다는 점을 강조합니다. 
Third, as clinical knowledge (e.g. that for medicine, radiography, etc.) is a product of history, culture and situational requirements, it has to be accessed and engaged with to be secured by workers. Workplace settings have been shown to provide access to aspects of that knowledge through physical and social environments, and activities and interactions that comprise authentic instances of occupations.8 However, more than individuals accessing these experiences, their active engagement with these environments is required for effective learning to take place, including their appraisals of the worth of what is experienced. This engagement arises through everyday thinking and acting through work, and emphasises that an individual's learning and development are personally mediated.

넷째, 학습과 발달은 서로 분리되어 있지만 상호 의존적인 두 가지 과정입니다. 개인은 경험을 통해 학습하면서 순간순간의 학습 또는 미시적 유전적 발달이 지속적으로 일어난다.15 그러나 이러한 학습은 이미 알고 있고, 할 수 있고, 가치 있게 여기는 것, 즉 이전의 경험과 학습의 유산legacies(즉, 온톨로지의 발달)을 전제로 한다.15 따라서 개인의 발달은 '동일한' 경험에서도 다르게 배울 수 있음을 의미한다.6, 16 따라서 학습과 발달 사이의 상호 연계는 어느 정도는 개인에 따라 달라질 수 있다. 이 모든 것은 임상 실습을 통한 학습이 가장 잘 진행되고 지원될 수 있는 방법을 촉진하기 위해서는 개인을 지식의 의미 창조자이자 구성자로 자리매김하는 것이 핵심임을 시사합니다. 
Fourth, learning and development are two separate, but interdependent, processes. Moment-by-moment learning or micro-genetic development continually occurs as individuals learn through their experiences.15 However, this learning is premised on what they already know, can do and value, which are legacies of earlier experiences and learning (i.e. their ontogenetic development).15 So, people's personal development means that they may learn differently from the ‘same’ experience.6, 16 Hence, the interlinking between learning and development is person dependent, to a degree. All this suggests that positioning individuals as meaning-makers and constructors of knowledge is central to promoting how learning through clinical practice might best progress and be supported.

이러한 전제에서 볼 때, 업무를 통한 학습은 직장에서 일상적으로 사고하고 행동하는 정상적인 결과로 간주됩니다. 사회적 및 물리적 환경, 활동 및 상호 작용을 구성하는 요소는 이러한 학습과 그 효과를 형성합니다. 또한 학습자에게 제공되는 경험과 학습자의 참여 방식은 의료 업무를 통해 학습하는 지식의 유형과 범위의 핵심입니다. 직장을 그 자체로 학습 환경으로 간주하기 위한 이러한 전제를 설명했으므로 이제 일을 통한 학습의 특수한 특성을 자세히 설명할 필요가 있습니다. 
From these premises, learning through work is seen as a normal outcome of everyday thinking and acting at work. Factors comprising the social and physical environments, and their activities and interactions, shape that learning and its efficacy. Also, the experiences afforded to learners and how they engage with them are central to the type and extent of knowledge learned through health care work. Having outlined these premises for considering workplaces as learning environments in their own right, it is necessary to elaborate the particular qualities of learning through work.

일을 통한 학습
Learning through work

인류 역사를 통틀어 작업 활동에 참여하는 것이 가장 일반적인 학습 방식입니다.17 대부분 관찰, 모방, 연습(예: 미메시스), 간혹 직접 지도를 통해 이루어졌지만, 가르치는 경우는 거의 없었습니다.8 비교적 최근까지만 해도 대부분의 직업을 배울 수 있는 유일한 수단이 바로 이러한 방식이었습니다. 근대 국민국가가 형성되고 산업화가 진행되면서 생겨난 '학교 교육의 시대' 이전에는 교육적 제공educational provision이 있는 직업(예: 의학)이 거의 없었습니다. 그러나 그러한 직업조차도 실습에 기반한 경험에 의존했습니다. 실제로 그리스에서는 학생들이 실제 의료 경험에 대한 접근성이 부족한 점을 보완하기 위해 해부학 수업과 교과서가 의학교육에 도입되었습니다.17 관찰과 모방의 과정은 직장을 포함하여 개인의 삶에서 일어나는 많은 학습의 중심이며, 이는 대부분 가르치거나 안내하지 않고 진행됩니다.18, 19 이러한 주장은 교육 규정이 보편화되고 정통적인 학교 교육 사회에 사는 사람들에게는 논쟁의 여지가 있는 것처럼 보일 수 있습니다. 그러나 조던은 인류 역사에서 가르침은 항상 부차적인minor 지식 습득 방법이었다고 지적합니다. 그녀는 이렇게 조언합니다:  
Across human history, participating in work activities is the commonest mode of learning.17 Mostly this has taken place through observation, imitation, practice (i.e. mimesis) and occasional direct guidance, but only rarely teaching.8 Until relatively recently, this was the only means by which most occupations were learned. Before the ‘era of schooling’, which arose with the formation of modern nation states and industrialisation, very few occupations (e.g. medicine) had educational provisions. However, even those occupations relied on practice-based experiences. Indeed, in Hellenic Greece anatomy classes and textbooks were introduced into medical education to compensate for a lack of student access to authentic medical experiences.17 Processes of observation and imitation are central to much of the learning that takes place over an individual's life, including that at work, which largely proceeds without being taught or guided.18, 19 Such claims may seem contentious to those living in schooled societies where educational provisions are ubiquitous and orthodox. However, Jordan 19 notes that teaching has always been a minor method of knowledge acquisition in human history. She advises:

따라서 인류 역사를 통틀어 의료 업무와 종사자에게 중요한 의미를 지닌다는 점을 고려할 때,4 이러한 경험의 특징과 기여에 대해 간략히 설명할 가치가 있습니다. 
Therefore, given its significance for health care work and workers across human history,4 the characteristics and contributions of these experiences are worthy of a brief elaboration.

다양한 산업 분야에서 관찰, 인터뷰, 중요 사건에 대한 회상 등을 통해 근로자가 업무를 통해 그리고 업무를 위해 학습하는 방식을 연구한 결과 네 가지 주요 기여 요인이 확인되었습니다.7

• 첫째, 근로자가 목표 지향적인 업무 활동과 상호작용에 참여하여 '그냥 하는 것'을 통해 절차적, 개념적, 성향적 지식을 습득하게 됩니다. 업무 활동에 참여하려면 개인이 알고 있고, 할 수 있고, 가치 있는 것을 활용해야 하며, 이러한 활동을 완료함으로써 개인이 변화할 수 있습니다.
• 둘째, 직장의 사회적, 물리적 환경은 이러한 활동을 수행하고 학습하는 데 필요한 단서를 제공합니다. 다양한 직종에 걸쳐 근로자들은 학습을 위해 관찰과 다른 사람의 이야기를 듣는 것이 중요하다고 일관되게 보고했습니다. 이러한 '간접적' 지침은 업무 및 학습 과정을 모니터링하고 안내하는 목표(즉, 달성해야 하는 목표)를 생성하는 것으로 밝혀졌습니다.
• 셋째, 업무 활동은 연습 기회를 제공하므로 사람들은 과제를 효과적으로 수행하고 임상적 추론과 같은 과제에 필요한 종류의 개념 간에 인과관계와 명제적 연결을 구축하는 능력을 연마할 수 있습니다.12
• 넷째, 경험이 많은 근로자의 밀착 지도는 학습하기 어렵고 시행착오를 통해 가장 잘 배울 수 없는 지식에 접근하고 확보하는 데 도움이 됩니다.7 

Using observations, interviews and recall of critical incidents across a range of industries, studies of how workers learn through and for their work have identified four key contributing factors.7 

• First, through workers engaging in goal-directed work activities and interactions – ‘just doing it’ – procedural, conceptual and dispositional knowledge is acquired. Engagement in work activities requires individuals to utilise what they know, can do and value, and through completing those activities these can change.
• Second, workplaces’ social and physical environments afforded clues and cues about performing and learning those activities. Across a range of occupations, workers consistently reported the importance of observation and hearing others for their learning. This ‘indirect’ guidance was found to generate goals (i.e. what needs to be achieved) that guide and permit monitoring of work and learning processes.
• Third, work activities afford opportunities for practice, so people can hone their abilities to enact tasks effectively and build causal and propositional links amongst concepts of the kind required for tasks such as clinical reasoning.12 
• Fourth, close guidance by more experienced workers assists in accessing and securing knowledge that is difficult to learn and would not be best learned through trial and error.7

이 네 가지 기여 요인 중 세 가지가 주로 학습자의 행동, 주체성, 의도에 기반하고 있다는 점은 주목할 만합니다. 이들은 보다 전문적인 작업자와의 활동을 포함하여 경험한 것에 대한 적극적인 참여를 강조합니다. 종단적 지방 배치 의대생을 대상으로 한 인터뷰 기반 연구에 따르면, 병행 진료를 통해 임상 의사 결정에 참여한 의대생은 교육 병원에서 보다 제한된 활동에 참여한 동료가 확보(즉, 학습)한 지식에 비해 더 풍부하고 적용 가능한 의학 지식을 생성하는 것으로 나타났습니다.20 따라서 진정한 활동과 상호작용, 흥미와 집중적인 의도적 참여의 조합은 효과적인 직장 학습 경험에 핵심적으로 기여하는 것으로 종합적으로 간주됩니다.
It is noteworthy that three of these four contributions are primarily based on learners’ actions, agency and intentions. They emphasise active engagement with what is experienced, including activities with more expert workers. An interview-based study of medical students in longitudinal rural placements found that their engagement with clinical decision making through parallel consultations was held to be generative of richer and more applicable medical knowledge compared with that secured (i.e. learned) by their peers who engaged in more restricted activities in a teaching hospital.20 So, the combination of authentic activities and interactions, interest and focused intentional engagement are held collectively as key contributions to effective workplace learning experiences.

그러나 업무를 통한 학습의 잠재적 한계는 여러 연구에서 분명하게 드러납니다.7 근로자들은 필요한 활동에 대한 접근성이 부족하고, 해당 환경에서 직업 지식을 효과적으로 습득하는 데 필요한 직접적인 지침이 부족하다고 보고합니다. 명시적이거나 접근하기 어려운 경우, 개인은 업무 및 학습 목표와 일부 업무 목표를 달성하는 방법을 이해하는 데 어려움을 느낀다고 보고합니다. 또한 실습을 통해 배운 내용이 부적절할 수 있습니다(예: 좋지 않거나 도움이 되지 않거나 위험한 습관이나 관행). 또한 근로자는 적응 학습을 생성하는 방식에 참여하기를 꺼릴 수 있습니다.7 따라서 의료 환경에서 직장 경험이 학습에 어떻게 도움이 될 수 있는지 평가할 때 이러한 잠재적 한계를 보완할 수 있는 조치가 필요합니다. 그러나 잠재력을 효과적으로 활용하고 한계를 보완하기 위한 아이디어는 교육 프로그램의 정설과 개념을 뛰어넘어야 합니다. 이러한 가정, 관행(예: 교육) 및 담론은 제약이 될 수 있고 도움이 되지 않을 수 있습니다. 
However, the potential limitations of learning through work are evident across these studies.7 Workers report a lack of access to required activities and the direct guidance needed for effectively gaining occupational knowledge in those settings. When they are not explicit or accessible, individuals report difficulty in understanding the goals for their work and learning, and how to achieve some work goals. Also, what is learned through practice can be inappropriate (i.e. bad, unhelpful or dangerous habits or practices). In addition, workers can be reluctant to participate in ways that generate adaptive learning.7 So, in appraising how workplace experiences can assist learning in health care settings, measures to redress these potential limitations are required. However, ideas for effectively utilising their potential and redressing limitations need to go beyond the orthodoxies and conceptions of educational programmes. Their assumptions, practices (i.e. teaching) and discourse can be constraining and unhelpful.

업무에 필요한 전략적이고 구체적인 절차의 대부분은 이러한 기관에서 선호하는 선언적(즉, '상태화 가능한') 형태의 지식으로는 표현할 수 없거나 포착할 수 없습니다.

• 구체화된 앎의 방식(예: 청진 21)도 이러한 형식에 의해 수용되지 않으며,
• 일부 의료 진단 및 치료에 필수적인 촉각적 참여(예: 느낌 및 촉각 능력)도 마찬가지입니다.
• 선언적 형식에 의존하는 이 담론은 윤리적 행위와 같은 성향(예: 가치, 관심, 의도)을 수용하는 데도 어려움을 겪습니다.

교육 담론은 또한 교훈적인 가르침을 강조하기 때문에,19 일을 통한 학습과의 관련성을 제한합니다. 그러나 교육 담론에 대한 이러한 비판은 교육 제공, 교사의 업무 및 교육 기관에서의 경험의 본질적인 기여를 축소하려는 의도가 아닙니다. 대신, 교육 담론에서 선호하는 기준이 아니라 직장에서의 학습 경험이 그 자체로 평가받아야 한다는 것입니다. 이러한 플랫폼을 통해 이러한 학습 경험을 효과적으로 활용하고, 최적화하고, 보강할 수 있는 방법에 대한 새로운 평가를 할 수 있습니다. 

Much of the strategic and specific procedures required for work are not expressible or captured by the declarative (i.e. ‘stateable’) forms of knowledge favoured in those institutions.

• Embodied ways of knowing (i.e. auscultation 21) are also not accommodated by such forms, nor is
• haptic engagement (i.e. feeling and tactile competence), which is essential to some health care diagnoses and treatments.
• With its reliance upon declarative forms, this discourse also struggles to accommodate dispositions (i.e. values, interest and intentionality), for instance ethical conduct.

The educational discourse also emphasises didactic teaching,19 thereby limiting its relevance to learning through work. This critique of the educational discourse is, however, not intended to diminish the essential contributions of educational provision, teachers’ work and experiences in educational institutions. Instead, the concern here is for workplace learning experiences to be appraised on their own terms and not on bases favoured in educational discourse. Such a platform permits fresh appraisals about how these learning experiences can be utilised effectively, optimised and augmented, as advanced below.

의료 업무를 위한 학습: 실습 커리큘럼, 교육학 및 개인적 인식론
Learning for health care work: practice curricula, pedagogies and personal epistemologies

이러한 전제를 바탕으로 직장 내 경험을 효과적으로 활용하고 보강할 수 있는 방법을 이해하는 것이 중요합니다. 일을 통한 학습에 관한 실용적인 탐구와 문헌은 의료 서비스 직장을 효과적인 학습 환경으로 만들기 위한 세 가지 핵심 기반을 제공합니다. 이는 의료 종사자와 직장이 의료 업무에서, 의료 업무를 통해, 의료 업무를 위한 학습을 어떻게 지원할 수 있는지에 대한 해석이 가능한 것으로 간주됩니다. 다음은 다음과 같습니다:

• (i) 실천 커리큘럼 - 보건의료 지식을 습득하는 데 필요한 경험의 유형과 순서,
• (ii) 실천 페다고지 - 보건의료 환경에서 학습을 강화하는 활동과 상호작용,
• (iii) 개인의 인식론적 실천 (즉, 개인이 알고 있고, 할 수 있고, 가치 있게 여기는 것) - 개인이 지식을 해석하고 구성하는 방식을 형성

이제 각각에 대해 차례로 설명합니다.
Following these premises, it is important to understand how workplace experiences can be effectively utilised and augmented. The practical inquiries and literature about learning through work, offer three key bases for making health care workplaces effective learning environments. These are seen as translatable into how health care practitioners and workplaces can support learning in, through and for health care work. These are:

• (i) practice curricula - the types and sequencing of experiences required to gain health care knowledge,
• (ii) practice pedagogies – activities and interactions that augment learning in health care settings, and
• (iii) individuals’ epistemological practices (i.e. what individuals know, can do and value) that shape how they engage in construing and constructing knowledge.

Each is now discussed in turn.

실천 커리큘럼
Practice curriculum

커리큘럼은 '따라야 할 과정' 또는 '진행해야 할 길'을 의미합니다.22 이와 유사하게, 개인이 효과적인 업무에 필요한 직업 기술을 배우기 위해 진행하는 업무 활동의 경로가 있습니다. 이러한 경험에 초점을 맞춘 인류학 연구에 따르면 직업의 일상 업무에 몰입하는 과정에서 많은 학습이 이루어진다고 합니다.18, 19, 23 Lave의 테일러링 견습과정에 대한 설명에 따르면,14 초보자가 필요한 업무 수행(즉, 학습 목표)을 관찰할 수 있는 기회에 점진적으로 참여한 다음, 업무 수행에 필요한 기술을 배우고 개선할 기회를 제공하는 활동을 하는 경험 경로를 확인할 수 있습니다. 그러나 기존 업무 경험을 통해 접할 수 있거나 접하지 못할 업무에 대한 학습을 촉진하기 위해 이러한 연구들은 의도적으로 경험을 구조화하거나 다른 곳에서 경험을 제공할 수 있음을 보여줍니다.18, 24 따라서 실천 교육과정은 업무 환경에서 경험에 접근할 수 있는 기회를 마련하여 효과적으로 실습할 수 있는 기술을 점진적으로 확보하는 것을 포함합니다. 이러한 경로는 종종 실수의 결과가 심각하지 않은 작업에 초보자를 먼저 참여시킨 다음, 실수의 결과가 더 심각한 작업으로 이동하는 것을 전제로 합니다.14, 20, 24, 25
The word curriculum means the ‘course to follow’ or ‘track to progress along’.22 Analogously, there are pathways of work activities along which individuals progress to learn the occupational skills required for effective work. Anthropological studies focusing on such experiences report that much learning arises through immersion in the everyday tasks of an occupation.18, 19, 23 Lave's account of a tailoring apprenticeship,14 identifies a pathway of experiences that engaged novices incrementally in opportunities to observe the required work performance (i.e. goals for learning), then activities that progressively provided opportunities to learn and refine the skills required to perform work tasks. However, to promote learning of tasks that might or will not be encountered through existing work experiences, these studies indicate that there can be the deliberate structuring of experiences or the provision of experiences elsewhere.18, 24 The practice curriculum, therefore, involves arranging access to experiences in work settings to progressively secure the skills to practice effectively. Such pathways are often premised on first engaging novices in tasks where the consequences of making mistakes are not serious, and then moving them on to tasks where the consequences of errors are more severe.14, 20, 24, 25

이러한 경험은 앞서 언급했듯이 의도적으로 순서를 정할 수 있습니다. 조산대학생들을 대상으로 한 연구에 따르면, 두 가지 종류의 실습 중 연속간호 경험에 처음 참여했을 때 산모의 관점에서 출산 과정을 이해하게 되었고, 학생들은 산모가 직면하는 문제와 그들의 우려를 알게 되었습니다.25 즉, 조산대학생들은 임상 배치에 참여하기 전에 전체 출산 과정을 대리 경험함으로써 특정 단계와 총체성을 이해하게 되었습니다. 이러한 통찰력을 통해 학생들은 임상 배치에 참여하고 산모의 우려를 고려한 방식으로 절차(예: 검사)를 수행할 준비가 더 잘 되어 있습니다. 따라서 이 순서는 의도적으로 산모와 아기의 건강을 평가하고 분만을 포함한 절차를 수행하는 데 필요한 기술을 개발하는 데 집중하기 전에 이해와 목표를 생성하는 것을 목표로 합니다. 따라서 앞서 언급한 병행 컨설팅의 예와 마찬가지로,20 이 순서는 조산사 학생들이 실습을 통해 알고, 수행하고, 가치 있게 여겨야 하는 것을 점진적으로 확보하고자 합니다.
These experiences can be deliberately ordered, as noted previously. A study of midwifery students indicated that, of their two kinds of practicums, initial engagement in continuity of care experiences provided understandings about birthing processes from the mother's perspective, and students came to know the issues these women face and their concerns.25 That is, through vicariously experiencing the entire birthing process, these midwifery students came to understand its specific phases and totality, prior to engaging in clinical placements. Through possessing these insights, students are more ready to engage in clinical placements and carry out procedures (e.g. examinations) in ways considerate of birthing mothers’ concerns. So, this sequencing intentionally aims to generate understandings and goals before focusing on developing the skills needed for assessing a birthing mother and her baby's health and undertaking procedures, including delivering babies. Hence, as with the example of parallel consulting raised earlier,20 this sequencing seeks to progressively secure what midwifery students need to know, do and value through practice.

이러한 커리큘럼 원칙은 효과적인 학습 결과를 확보하기 위해 일상적인 업무 활동을 어떻게 순서화하고 조직할 것인지에 대한 지침을 제공합니다. 본질적으로 학습자가 처음부터 끝까지 전체 작업 또는 프로세스를 볼 수 있도록 하면 프로세스의 일부를 숙달하는 데 집중할 때 구조를 제공할 수 있습니다. 또한, 학습자가 프로세스의 어느 부분을 수행할지 제어하면 점진적으로 더 어렵거나 위험에 노출되기 쉬운 활동을 수행할 수 있는 기회를 제공할 수 있습니다. 
These curriculum principles offer guidance on how to order and organise everyday work activities to secure effective learning outcomes. In essence, allowing learners to see the whole task or process from start to finish, can provide a structure when they focus on mastering parts of the process. Furthermore, controlling which parts of the process they undertake provides an opportunity to ensure they undertake progressively more difficult or risk-prone activities.

실천 페다고지
Practice pedagogies

실천 페다고지는 직장 내 학습 경험을 풍부하게 하거나 강화하는 활동 또는 상호 작용입니다. 실천 페다고지는 임상 업무에 필요한 절차적 기술과 개념적 이해를 개발하는 데 도움을 주는 등, 다른 방법으로는 얻을 수 없는 학습에 필요한 지식에 접근할 수 있도록 하여 학생들이 의도적으로 기술을 쌓고 직업에 대한 깊은 이해에 필요한 연결과 연상을 할 수 있도록 합니다.12 이러한 교육법은 강의실에서 사용하는 것과는 다를 수 있습니다. 여기에는

• 전문가가 과제를 수행할 때 스토리텔링과 언어화(예: thinking aloud)를 포함할 수 있으며,17 이를 통해 경험이 적은 관찰자가 사고와 행동에 더 쉽게 접근할 수 있습니다.
• 또한 교육적으로 풍부한 작업 과제(즉, 특정 수업을 지원할 수 있는 잠재력이 있는 과제)에 참여하거나,26 특정 의료 절차를 수행할 때 경험이 많은 파트너가 직접 지시하고 '실습'을 지원하는 것도 있습니다.
• 그런 다음 환자의 상태나 심장 질환 진단을 기억하기 위한 니모닉 사용,21, 24, 27 및 작업 수행 모델을 제공하는 반제품 및 인공물 사용이 있습니다.17

Practice pedagogies are activities or interactions that enrich or augment workplace learning experiences. They can make accessible the knowledge required to be learned, which otherwise might not be obtained, including assisting with developing procedural skills and the conceptual understanding required for clinical work, so that students can intentionally build skills and make the links and associations required for deep understandings about the occupation.12 These pedagogies may be distinct from those used in classrooms.

• They can include experts’ story-telling and verbalisation (i.e. thinking aloud) when performing work tasks,17 which makes their thinking and acting more accessible to less experienced observers.
• There is also engagement in pedagogically rich work-tasks (i.e. those with the potential to support a particular lesson),26 direct instruction and ‘hands on’ assistance by more experienced partners in the performance of specific medical procedures.
• Then there is the use of mnemonics for remembering patients’ conditions or diagnoses of heart conditions,21, 24, 27 and half-finished jobs and artefacts that provide models for work performance.17 

예를 들어, 간호사의 인수인계는 교육적으로 풍부한 활동이 될 수 있습니다. 인수인계 시 (i) 환자, (ii) 환자 상태, (iii) 치료, (iv) 치료에 대한 반응, (v) 예후에 대한 토론에 참여하면 서로 다른 발달 단계에 있는 실무자들이 자신이 알고 있고, 할 수 있고, 가치 있는 것을 더 발견할 수 있는 기회를 제공합니다. 이러한 학습은 주니어 간호사나 학생이 환자의 상태를 이해하는 것에서부터 숙련된 간호사와 예후에 대한 토론을 통해 미묘한 차이에 대한 정보를 얻고 이해를 확보하는 것까지 다양합니다. 이러한 일상적인 업무 활동은 간호사가 환자의 상태, 치료 및 경과와 관련된 복잡한 요인을 이해하는 데 도움이 될 수 있습니다. 의사의 이환율 및 사망률 회의도 비슷한 경험과 잠재적 결과를 제공합니다. 의료진은 이러한 종류의 활동을 일상적인 것으로 간주할 수 있지만, 학습 잠재력은 참가자의 참여를 통해서만 실현될 수 있습니다. 본질적으로 큰 소리로 생각하고, 추론을 설명하고, 다른 숙련된 실무자와 대화에 참여하는 것은 모두 일상적인 업무의 일부이지만 apprentice에게는 높은 교육적 가치를 가질 수 있습니다. 
For instance, nurses’ handovers can be pedagogically rich activities. Participating in discussions during handovers about: (i) patients, (ii) their conditions, (iii) their treatments, (iv) responses to treatments, and (v) prognoses provides opportunities for practitioners at different points of development to discover further what they know, can do and value. That learning can range from junior nurses or students understanding patients’ conditions, through to participants being informed about and securing nuanced understandings through discussions about prognosis with experienced nurses. These daily work activities can assist nurses to understand the complex factors associated with a patient's condition, treatment and progress. Doctors’ morbidity and mortality meetings offer similar experiences and potential outcomes. Although health care practitioners may see these kinds of activities as being routine, their learning potential will only be realised through engagement by participants. In essence, thinking aloud, explaining reasoning and engaging in dialogue with other experienced practitioners are all routine parts of work, but can have high educational value for an apprentice.

이러한 교육적 관행이 신중하게 고려되고 시행되면 의료 환경에서 일상적인 업무 활동의 학습 잠재력을 강화할 수 있습니다.
When carefully considered and enacted, these kinds of pedagogical practices can strengthen the learning potential of everyday work activities in health care settings.

개인의 인식론적 실천
Personal epistemological practices

개인에게 제공되는 경험 너머에는 개인이 경험에 참여하는 방식이 있습니다. 이는 강의실에서의 경험, 임상 교육을 통한 경험, 하급 직원으로 일하는 경험, 임상 배치 중 경험, 일상적인 의료 실무에서의 경험에 관계없이 해당됩니다.3 직장 생활 전반에서 대부분의 학습은 개인이 일상적인 사고와 행동에 적극적으로 참여함으로써 이루어지는데, 이는 개인적으로 매개됩니다. 우리는 업무 활동에서 끊임없이 모방 학습(예: 관찰, 모방, 연습)을 합니다.17 학습자가 학습할 직업 지식을 포착(즉, 장악)28하거나 '훔쳐'29야 하는 도제식 학습의 원래 개념과 실천의 핵심입니다. 실제로 견습생을 뜻하는 일본어 미나라이(見習生)는 관찰을 통해 배우는 사람을 의미하며, 미나라이 큐우이쿠(見習生)라는 용어는 눈에 띄지 않는 관찰을 통한 학습을 의미합니다.30 이러한 참여는 개인의 관심과 의도에 기반을 두고 있으며, 개인의 사고와 행동의 본질과 방향을 안내하고 학습자의 준비성(즉, 능동적 학습에 효과적으로 참여할 수 있는 관심과 역량)을 강조합니다.18 실제로 개인은 의도적으로 성과 향상을 추구하는 등 적극적으로 참여하기를 원해야 합니다.24, 31 이 모든 것은 개인의 인식론(즉, 개인이 알고, 할 수 있고, 가치 있는 것)에 전제되어 있습니다. 이러한 학습 과정은 자기 주도적인 노력뿐만 아니라 사회적 파트너, 사물 및 인공물과 교류하고, 직장의 사회적 및 물리적 환경에서 단서와 단서를 적극적으로 찾고 활용하며, 과제를 완료하는 동안 진행 상황을 모니터링하는 등 상호 의존적인 학습으로 구성됩니다. 따라서 직장 학습에 크게 기여하는 것은 감독자뿐만 아니라 견습생의 동기 부여와 주체성입니다. 
Beyond experiences afforded to individuals is how they elect to engage with them. This is the case regardless of whether it is an experience in the classroom, through clinical teaching, working as a junior staff member, during clinical placements or in everyday health care practice.3 Across working lives, seemingly, most learning takes place through individuals’ active engagement in their everyday thinking and acting: it is personally mediated. We constantly engage in mimetic learning (i.e. observation, imitation and rehearsal) in our work activities.17 It is central to the original concept and practice of apprenticeship, wherein learners have to apprehend (i.e. seize) 28 or ‘steal’ 29 the occupational knowledge to be learned. Indeed, the Japanese word for apprentice is minarai, one who learns by observation, and the term minarai kyooiku refers to learning through unobtrusive observation.30 This engagement is founded on personal interest and intentionality, which guides the nature and direction of individuals’ thinking and acting, and emphasises learners’ readiness (i.e. they have the interest and capacity to engage effectively in active learning).18 Indeed, individuals have to want to engage actively, including deliberately seeking to improve performance.24, 31 All of this is premised on individuals’ personal epistemologies (i.e. what individuals know, can do and value). This learning process is not just self-directed efforts, it comprises interdependent learning: engaging with social partners, objects and artefacts, and actively looking for and drawing on clues and cues from the social and physical environment of workplaces, and then monitoring progress during task completion. Thus, a large contributor to workplace learning is the motivation and agency of the apprentice, not just the supervisor.

실천 커리큘럼과 페다고지, 개인의 인식론이 어떻게 결합될 수 있는지를 설명하기 위해 수(시골 종단 실습 중인 의대 3학년 학생)의 경험을 예로 들 수 있습니다.20 그녀의 실습은 시골 일반 진료소에 배치되어 지역 병원에서 근무하는 것이 포함되었습니다. 처음에는 일반의의 진료를 참관하고 함께 일했으며, 점차적으로 진료에 더 많이 참여했습니다. 6주 후에는 환자들의 동의를 얻어 병력 청취, 검사, 진단을 내리고 의사의 확인을 받는 등 진료를 병행했습니다. 이를 통해 실제 의료 활동과 상호 작용에 참여하고 연습하면서 동료들보다 훨씬 더 발전된 이해와 성향, 절차적 기술을 개발할 수 있었다고 평가받았습니다. 주요 대도시 교육 병원에서의 활동은 실제 임상 의사 결정이 아닌 대리 활동을 통해 이루어지고 참여도가 낮은 것으로 보고되었습니다.

• 따라서 Sue가 겪은 경험의 종류와 순서(예: 실천 커리큘럼)와 풍부한 지원(예: 실천 페다고지)은 그녀가 이러한 진정한 의료 활동을 통해 배우는 데 도움이 되었습니다.
• Sue의 개인적인 인식론도 중요한 역할을 했습니다. 그녀는 이러한 활동에 참여하는 것 외에도 지역 사회와 교류하고(예: 지역 교회와 테니스 클럽에 가입) 학습에 적극적으로 참여했습니다. 예를 들어, 그녀는 일반 진료실에서 배운 방법을 모델로 삼아 효과적으로 채혈하는 방법을 배웠습니다. 병원에서 이 역할을 정기적으로 수행하는 간호사를 확인한 그녀는 먼저 이 간호사가 채혈하는 모습을 관찰한 다음, 그 간호사의 지도를 받아 채혈을 모방하고 연습한 다음, 충분한 횟수 동안 이러한 절차를 수행하여 이를 개선하고 연마했습니다.

이 사례는 실천 커리큘럼(예: 경험의 가용성 및 순서), 페다고지(예: 관찰과 실습을 병행할 수 있는 컨설팅 제공) 및 개인 인식론(예: 지역사회, 수술 및 병원에 적극적으로 참여)에 대한 예를 제공합니다. 

To exemplify how practice curricula and pedagogies and personal epistemologies might come together, the experiences of Sue (a third-year medical student on a longitudinal rural placement) are illustrative.20 Her placement was located in a rural general practice and included engagements at the local hospital. She initially observed and worked alongside the general practitioner, by sitting in on consultations and, incrementally, being more involved in them. After 6 weeks of this, and with patients’ consent she engaged in parallel consultations, with history-taking, examinations and arriving at diagnoses that were subsequently checked by the doctor. So, she engaged in and rehearsed authentic medical activities and interactions, and developed understandings, dispositions and procedural skills that were judged as being far more advanced than those of her peers. Their activities in a major metropolitan teaching hospital were reported as being less engaged, and occurring through substitute activities and not in actual clinical decision making.

• So, the kinds of experiences Sue had and their sequencing (i.e. practice curriculum) and the rich support (i.e. practice pedagogies) assisted her to learn through these authentic medical activities. Sue's personal epistemology also played a key role.
• Beyond participating in those activities, she also engaged with the local community (i.e. joined the local church and tennis club) and acted proactively in her learning. For instance, she learned how to take bloods effectively by modelling how she had learned in general practice. Having identified the nurse who regularly performed this role at the hospital, she first observed this nurse taking bloods, and then proceeded to imitate her and practise taking bloods under guidance, and then engaged in a sufficient number of these procedures to refine and hone them.

This vignette provides an example of a practice curriculum (i.e. the availability and sequencing of experiences), pedagogies (e.g. provisions of parallel consulting, being able to observe and practice) and personal epistemologies at play (e.g. her active engagement in the community, surgery and hospital).

번역을 넘어서
Beyond translation

이 짧은 글은 다른 분야의 개념과 연구 결과를 사용하여 의료 환경에서의 학습을 이해하고 촉진하는 것을 목표로 합니다. 그러나 야들리 등4이 언급한 바와 같이, 이러한 번역이 쉽거나 간단한 경우는 거의 없으며 이 사례도 예외는 아닙니다. 따라서 이 번역을 지원하기 위해 향후 연구, 심의 및 제정을 위해 세 가지 고려 사항을 제시합니다:

• (i) 연구 결과의 적용 가능성,
• (ii) 학습해야 할 지식과 그 학습을 촉진하는 경험과의 연계성,
• (iii) 실무자 참여의 중요성

This brief article aims to use concepts and findings from other fields to understand and promote learning in health care settings. However, as Yardley et al.4 state, few such translations are easy or straightforward and this case is no exception. Hence, to support that translation, three considerations are advanced here for future research, deliberations and enactments:

• (i) the applicability of these findings,
• (ii) the knowledge to be learned and the alignments with experiences that promote that learning, and
• (iii) the importance of practitioner engagement.

첫째, 위에서 설명한 아이디어는 역사적, 인류학적 설명을 바탕으로 한 것으로, 때때로 현대 의료 현장과는 다른 상황을 언급합니다. 따라서 위에서 언급한 커리큘럼과 교육적 관행은 특정 업무 요구와 맥락에서 비롯된 것으로, 현재와 미래의 보건의료 실무에 대한 적용 가능성과 효능을 평가할 필요가 있습니다. 따라서 임상 진료 환경에서 혁신을 촉진하고 실현하는 것과 관련된 효과를 포함하여 효과를 평가하기 위해서는 이미 수행된 것과 같은 보다 근거 있고 근거 있는 경험적 조사가 필요합니다3, 16, 32.
First, the ideas outlined above in drawing upon historical and anthropological accounts, sometimes refer to situations distinct from those in contemporary health care workplaces. Hence, the kinds of curricula and pedagogical practices mentioned above emerged from particular work demands and contexts, and their applicability to and efficacy in contemporary and future health care practices need to be appraised. Therefore, more grounded and situated empirical enquiries, such as those already conducted,3, 16, 32 are required to appraise effectiveness, including that associated with promoting and realising innovation in clinical practice settings.

둘째, 과거에 필요했던 지식과 현재와 미래에 필요한 지식의 종류가 명확하고 점점 더 구분되고 있습니다. 여기에는 개념적이고 상징적인 업무 관련 지식, 특히 기술 사용의 증가와 관련된 지식이 포함됩니다. 적절한 성향(즉, 가치관, 태도, 의도)의 발달에 대해서도 비슷한 우려가 제기됩니다. 특히 개념 발달에 관한 문헌은 이러한 형태의 지식이 불투명하고 접근하기 쉽지 않다는 점에서 지식 개발의 본질적인 어려움을 지적합니다. 따라서 의료 업무와 관련된 이러한 지식을 생성하는 업무 환경의 경험을 보다 심층적으로 이해하기 위해서는 추가적인 연구가 필요할 것으로 보입니다. 특히, 업무 활동을 통해 개념적 지식과 성향적 지식을 증진할 수 있는 커리큘럼과 교육적 관행, 특히 학습자의 개인적 인식론 증진을 포함하는 커리큘럼과 교육적 관행이 중요할 것으로 보입니다. 손 씻기 등 수많은 실습 사례에서 알 수 있듯이 이해와 절차에 대한 지식만으로는 충분하지 않습니다. 그 대신 개인이 절차에 적합한 방식으로 참여하고 학습하기 어려운 지식을 확보하기 위해 노력하는 것이 중요합니다.
Second, a clear and growing distinction is between the kinds of knowledge required previously, and that needed for the present and future. This includes conceptual and symbolic work-related knowledge, particularly that associated with the growing use of technology. Similar concerns are raised about the development of appropriate dispositions (i.e. values, attitudes and intentions). The literature on conceptual development, in particular, points to the inherent difficulty of developing these forms of knowledge, as they are opaque and not always easy to access. Consequently, further work is likely to be required to understand, in greater depth, what kinds of experiences in work settings are generative of this knowledge related to health care work. Specifically, those curricula and pedagogical practices that can promote conceptual and dispositional knowledge through work activities are likely to be important, particularly when they include promoting learners’ personal epistemologies. It is clear from so many instances of practice (e.g. hand washing) that understanding alone and knowledge of procedures is insufficient. Instead, it is how individuals exercise dispositions in engaging in procedurally appropriate ways and make an effort to secure knowledge that is difficult to learn.

셋째, 제안된 내용 대부분이 학습에 관한 것이므로 의료 종사자의 효과적인 참여와 학습을 촉진하기 위한 노력이 핵심 우선 순위가 됩니다. 이러한 홍보는 종사자들의 거부감을 해소하는 것뿐만 아니라, 이를 활용하기 위해 기꺼이 노력하는 실무자들이 사용하고 경험할 수 있는 교육 및 커리큘럼을 마련하는 데에도 필요합니다. 따라서 일상적인 업무 활동에서 이러한 지원을 활용할 수 있는 방법을 파악하는 것이 그 효과의 핵심이 될 것입니다. 앞서 언급했듯이, 일부 일상적인 업무 활동(예: 인수인계, 이환율 및 사망률 회의)은 잠재적으로 교육적으로 풍부한 것으로 확인되었습니다. 그러나 개인이 이러한 활동을 교육적인 것으로 인식하고 의도적으로 참여하지 않는다면 이러한 경험의 잠재력을 충분히 실현할 수 없습니다. 따라서 의료진이 이러한 경험을 보다 최적으로 활용할 수 있도록 참여시키기 위한 노력을 기울여야 합니다. 
Third, given that much of what is proposed is about learning, efforts to promote effective engagement and learning by health care practitioners become a key priority. This promotion needs to address not only the reluctance of workers, but also having pedagogical and curriculum practices that are able to be used and experienced by practitioners willing to make the effort to use them. Hence, identifying ways in which such support can be exercised within everyday work activities is likely to be central to their efficacy. As noted, some everyday work activities have been identified as being potentially pedagogically rich (e.g. handovers, and morbidity and mortality meetings). However, unless individuals view them as such and engage with them intentionally, the potential of these experiences will not be fully realised. Hence, efforts should be made to engage health care practitioners in utilising these experiences more optimally.

결론
Conclusions

보건의료 업무 환경에서의 경험은 현재와 미래를 위해 목적에 맞는 방식으로 직업 기술을 학습할 수 있는 기반을 제공합니다.16, 32 그러나 학교 사회의 정통성과 교육 담론의 특권적 지위를 고려할 때, 직장을 그 자체로 중요한 학습 환경으로 이해할 필요가 있습니다.4 교육 환경과 같은 다른 환경과 마찬가지로 효과적인 업무 수행에 필요한 기술을 배우는 데 중요한 기여를 하지만 잠재적 한계도 있습니다. 따라서 학습 환경으로서 직장workplace의 잠재력을 촉진하는 데 사용할 수 있고 교육 기관에서 제정된 것과는 다른 방식으로 진행되는 커리큘럼과 페다고지 실천이 필요합니다. 또한 학습자의 개인적 인식론과 이러한 인식론이 궁극적으로 실습 경험의 질과 그 결과에 어떻게 핵심적인 역할을 하는지에 대해 특히 강조되었습니다. 이 세 가지 요소는 현재와 미래의 환자 치료의 질을 유지하고 개선하는 데 도움이 될 수 있는 풍부한 학습 경험을 이해하고 확보하는 데 중요한 토대가 됩니다.

Experiences in health care work settings offer bases for the learning of occupational skills in ways that are purposeful now and for the future.16, 32 However, given the orthodoxies of school societies and the privileged status of educational discourses, there is a need to understand workplaces as important learning environments in their own right.4 Like other environments, such as educational settings, they make important contributions to learning the skills required for effective work practice, but also have potential limitations. So, curricula and pedagogical practices are required that can be used to promote the potential of workplaces as learning environments and which occur in ways that are distinct from those enacted in educational institutions. In addition, particular emphasis has been given to learners’ personal epistemologies and how these are ultimately central to the quality of practice experiences and their outcomes. Together, these three elements are held as important foundations for understanding and securing rich learning experiences that can assist in sustaining and improving the quality of patient care now and in the future.

© 2015 John Wiley & Sons Ltd.

졸업후교육 학습자(전공의)의 평가에서 환자참여: 스코핑 리뷰(Med Educ, 2021)
Patient involvement in assessment of postgraduate medical learners: A scoping review
Roy Khalife1 | Manika Gupta1 | Carol Gonsalves1 | Yoon Soo Park2 | Janet Riddle3 | Ara Tekian3 | Tanya Horsley4,5

1 소개
1 INTRODUCTION

역량 기반 의학교육(CBME)이 가져온 광범위한 변화에 대응하여, 졸업후의학교육(PGME) 교육 프로그램(PGME)은 투명하고 사회적으로 책임감 있는 환자 중심 교육을 제공하여 미래의 의사 인력이 사회와 환자의 요구를 충족할 수 있도록 준비시킬 의무가 있습니다.1, 2 PGME가 실제로 이러한 의무를 이행하는 정도는 주로 무감독 실습에 대한 증명을 제공하는 평가 시스템에 의존합니다.3 그러나 졸업후의학교육(PGME) 학습자의 역량과 무감독 실습 준비도를 평가하는 것은 복잡하고 어려운 일입니다.4-6  
In response to broad-sweeping changes brought on by competency-based medical education (CBME), postgraduate medical education (PGME) training programmes are mandated to deliver transparent, socially accountable and patient-centred education that prepares the future physician workforce to meet societal and patient needs.1, 2 The extent to which PGME in fact delivers on this mandate relies predominantly on systems of assessment that provide attestation for unsupervised practice.3 However, assessing postgraduate medical learners' competence and readiness for unsupervised practice is complex and challenging.4-6

일반적으로 평가 시스템은 전적으로 의사의 판단에만 의존하며, 최근 21세기 의료,5,7,8 환자 참여형 의료에 대한 졸업후의학교육(PGME) 의료 학습자의 역량에 대한 총체적인 관점을 제공하지 못한다는 비판을 받고 있습니다. 환자를 의료 서비스에서 보다 동등한 파트너로 장려하는 전 세계적인 움직임을 고려할 때 이는 놀라운 일이 아닙니다.9,10 실제로 의과대학 커리큘럼에서 환자 파트너가 입학 위원회 및 자문 그룹에서 필수적인 역할을 하거나 표준화된 환자 및 교사로서 점점 더 많이 등장하고 있습니다.11-14 하지만 왜 환자를 포함해야 할까요? 교육 전반에 걸친 환자 참여는 진정한 환자 중심 의학교육과 사회적 책임성 증대로 이어질 수 있지만,15 역량에 대한 결정을 내리는 평가 노력에서 환자의 목소리는 눈에 띄게 부재하거나 중요하지 않은 것으로 남아 있습니다.16-18  
Generally, systems of assessment rely solely on physicians' judgements and have recently been criticised for not providing a holistic view of postgraduate medical learners' competence for 21st century care,5, 7, 8 care that is patient-partnered. This should come as no surprise given a global movement promoting patients as more equal partners in health care.9, 10 In fact, patient partners are increasingly present in medical school curricula with integral roles on admission committees and advisory groups and as standardised patients and teachers.11-14 But why include patients? Patient engagement across the educational spectrum can lead us towards true patient-centred medical education and increased social accountability,15 and yet the patient voice remains conspicuously absent, and inconsequential, from assessment endeavours that inform decisions vis-à-vis competence.16-18

최근의 일부 증거에 따르면

• 행정적 어려움(예: 시간 및 인적 자원 제약, 평가 도구의 부족, 사회문화적 및 조직적 장애물)이 평가에 환자를 포함시키는 데 장애가 되는 것으로 나타났습니다.16 이는 어느 정도 놀라운 일이 아니지만, 새로운 증거는 더 복잡한 그림을 그려줍니다.
• 한편으로 환자들은 역량 기반 평가 관행에 자신의 경험적 전문성을 기여할 의향이 있고, 열의가 있으며, 좋은 위치에 있는 것으로 분류되어 왔습니다.17, 19
• 한편, 평가 시스템의 중심 행위자인 의사들의 관점에서는 환자의 관심, 능력, 전문성 부족, 평가에 대한 잠재적 편견에 대해 불확실성과 우려를 표하는 것으로 보입니다.16

이러한 긴장은 환자가 역량 기반 평가에서 적극적인 역할을 하는 맥락을 불러오는 교육 관행의 발전을 방해할 수 있습니다. 
Some recent evidence has positioned

• administrative challenges (e.g. time and human resource constraints, perceived lack of assessment tools and sociocultural and organisational hurdles) as a barrier to patient inclusion in assessment.16 While this is to some extent not surprising, emerging evidence paints a more complex picture.
• On the one hand, patients have been categorised as willing, eager and well-positioned to contribute their experiential expertise to our competency-based assessment practices.17, 19 
• Meanwhile, there appears to be misalignment with physicians' perspectives (the central actor in assessment systems) who express uncertainty and concern towards patients' lack of interest, abilities, expertise and potential biases in assessment.16 

This tension may impede the development of educational practices that invoke contexts where patients have an active role in competency-based assessment.

평가에 대한 환자의 참여에 대한 다양한 의견과 잠재적으로 관련성이 있는 광범위한 문헌을 고려할 때, 우리는 범위 검토 방법론을 사용하여 환자가 졸업후의학교육(PGME) 의학 학습자 평가에 참여했는지 여부와 그 방법을 탐구하고자 했습니다. 구체적으로, '졸업후의학교육(PGME) 의학 학습자 평가에 대한 환자 참여를 탐구하는 문헌의 범위, 성격 및 범위는 어느 정도인가'라는 질문에 답하고, 이어서 '역량 기반 평가에서 환자 참여에 영향을 미치는 요인(예: 어포던스 및 장벽)은 무엇인가'라는 질문에 답하고자 했습니다. 
Given the disparate opinions of patients' involvement in assessment and the breadth of potentially relevant literature, we aimed to explore whether and how patients have partnered in the assessment of postgraduate medical learners using a scoping review methodology. Specifically, we aimed to answer the question ‘What is the extent, nature and range of literature that exists exploring patient involvement in the assessment of postgraduate medical learners?’ and subsequently, ‘what factors influence (e.g., affordances and barriers) patient involvement in competency-based assessment?’

2 방법
2 METHODS

Arksey와 O'Malley의 6단계 방법론 프레임워크가 우리의 범위 검토에 영향을 미쳤습니다.20 우리는 또한 Levac 외와 Thomas 외의 업데이트된 방법론 권고사항도 고려했습니다.21,22 구체적으로, 우리는 Levac 외의 제안대로 선택 과정과 데이터 차트 작성 단계에서 여러 차례 회의와 토론을 진행했으며,21 그리고 Thomas 등이 권고한 대로 대상 집단과 중재의 초점을 좁혔습니다.22 20개 항목으로 구성된 체계적 문헌고찰 및 범위 설정을 위한 메타분석의 선호 보고 항목(PRIMA-Scr)이 연구 보고의 지침이 되었습니다.23 
Arksey and O'Malley's six-stage methodological framework informed our scoping review.20 We also considered updated methodological recommendations by Levac et al. and Thomas et al.21, 22 Specifically, we conducted multiple meetings and discussions at the selection process and data charting stages as suggested by Levac et al.,21 and we narrowed the focus of our target population and intervention as recommended by Thomas et al.22 The 20-item, Preferred Reporting Items for Systematic reviews and Meta-Analyses extension for Scoping Reviews (PRIMA-Scr) guided our reporting of our research.23

2.1 1단계: 연구 질문 파악하기
2.1 Stage 1: Identifying the research question

범위 검토 프레임워크의 첫 번째 단계에서 정의한 대로, 4명의 저자(RK, CG, YSP, AT)는 보건 전문직 교육(HPE) 문헌에서 평가자로서의 환자를 광범위하게 논의했습니다. 이러한 논의를 통해 연구 질문에 대한 정보를 얻고 정의했습니다: 
As defined by the first step of the scoping review framework, four authors (RK, CG, YSP and AT) broadly discussed patients as assessors within the health professions education (HPE) literature. These discussions informed and defined our research questions:

주제의 복잡성과 식별할 수 있는 문헌의 폭(환자 중심 문헌과 의료 전문직 교육의 교차점)을 고려하여 검토의 초점을 졸업후의학교육(PGME) 의료 학습자(예: 레지던트 및 펠로우)로 좁혔습니다. 의학 교육은 하나의 연속체이지만, 학부 학습자와 졸업후의학교육(PGME) 학습자는 학습자를 평가하는 이유와 방법이 근본적으로 다릅니다. 이러한 이유로, 우리는 졸업후의학교육(PGME) 학습자만을 분석 단위로 포함하도록 모집단을 합리적으로 분리했습니다. 학부생과 졸업후의학교육(PGME)생이 혼합된 모집단(예: 학부생과 졸업후의학교육(PGME)생 의학 학습자)이 포함된 연구의 경우, 졸업후의학교육(PGME)생 데이터가 별도로 제시된 경우에만 연구에 포함시켰습니다. 
Given the complexity of the topic and the breadth of literature that might be identified (intersection of patient-oriented literature and health professions education), we narrowed the focus of our review to postgraduate medical learners (e.g. residents and fellows). Although medical education is a continuum, why and how learners are assessed are fundamentally different between undergraduate and postgraduate learners. For this reason, we rationalised segregating our population to include only postgraduate learners as a unit of analysis. When studies included mixed populations (e.g. undergraduate and postgraduate medical learners), we included studies only when graduate learners data were presented separately.

Thomas 등22 의 영향을 받아 대상 집단(졸업후의학교육(PGME) 의학 학습자)에 초점을 좁혔을 뿐만 아니라, HPE 프로그램의 이질성과 관련된 잠재적인 보급 및 실행 문제를 최소화하기 위해 개입(평가 도구의 환자 완료)의 우선순위를 정하고 집중적으로 포함시켰습니다. 
Influenced by Thomas et al.,22 not only did we narrow our focus on a target population (postgraduate medical learners), we prioritised and focused inclusion of the intervention (patient completion of assessment tools) to minimise potential dissemination and implementation challenges related to the heterogeneity of HPE programmes.

2.2 2단계: 관련 연구 식별
2.2 Stage 2: Identifying relevant studies

반복적인 접근 방식과 숙련된 의학 사서의 안내에 따라 날짜 제한 없이 MEDLINE과 EMBASE에 대한 검색 전략을 개발했습니다(부록 S1). 검색의 정확도와 회상률을 높이기 위해 미리 식별된 관련 기록에 대해 검색을 테스트했습니다. 검색은 2019년 11월 18일에 시행되었으며 2021년 2월 25일에 제출하기 전에 업데이트되었습니다. 원래 PubMED©는 진행 중인 기록과 초기 릴리즈 기록을 포착하기 위한 목적으로 검색되었으며, 초기에는 낮은 수율로 인해 후속 검색은 적용되지 않았습니다. 모든 기록은 독점적인 체계적 문헌고찰 소프트웨어 도구로 다운로드되었습니다(Covidence 체계적 문헌고찰 소프트웨어, 베리타스 헬스 이노베이션, 호주 멜버른. http://www.covidence.org 에서 사용 가능). 주제의 복잡성과 검색의 알려진 어려움을 감안하여, 포함된 모든 연구의 참조 목록을 확인하여 원래 검색에서 포착되지 않은 관련 기록을 식별했습니다.24 
Using an iterative approach and guided by an experienced medical librarian, we developed a search strategy for MEDLINE and EMBASE without date restrictions (Appendix S1). Searches were tested against pre-identified relevant records as a measure of improving precision and recall of the search. The search was implemented on 18 November 2019 and was updated prior to submission on 25 February 2021. Originally, PubMED© was searched with the intent to capture in-process and early-release records; given the low yield initially, no subsequent searches were applied. All records were downloaded to a proprietary systematic review software tool (Covidence systematic review software, Veritas Health Innovation, Melbourne, Australia. Available at www.covidence.org). Given the complexity of the topic and known challenges with searching, we checked reference lists of all included studies to identify any relevant records not captured by the original search.24

2.3 3단계: 연구 선택
2.3 Stage 3: Study selection

2.3.1 적격성 기준
2.3.1 Eligibility criteria

검토를 위한 포함 기준을 충족하기 위해, 기록은 (i) 환자를 능동적 평가자로 다루고(예: 완성된 평가 도구), (ii) 졸업후의학교육(PGME) 의학 학습자(예: 레지던트 및 펠로우)를 평가하는 데 초점을 맞추고, (iii) 영어 또는 프랑스어 출판물이어야 하며, (iv) 전체 텍스트 기록으로 제공되어야 합니다. 회색 문헌과 논평, 논문, 사설 또는 의견서는 제외되었습니다. 
To meet the threshold of inclusion for our review, records had to (i) address patients as active assessors (e.g. completed assessment tool), (ii) focus on assessing postgraduate medical learners (e.g. residents and fellows), (iii) be English- or French-language publications and (iv) be available as full-text records. Grey literature as well as commentaries, dissertations, editorials or opinion pieces were excluded.

2.3.2 선정 과정
2.3.2 Selection process

정의된 적격성 기준을 사용하여 표준화된 양식을 개발하고 파일럿 테스트를 거쳐 기록의 포함 및 제외 결정을 내리는 데 사용했습니다. 두 명의 저자(RK와 MG)가 검토 소프트웨어 내에서 각 제목과 초록을 독립적으로 검토하고 프로젝트 시작, 중간, 종료 시점에 만나(Levac 외.21의 권고에 따라) 합의점을 논의하고 그에 따라 적격성 결정을 구체화했습니다. 의견 불일치는 각 단계의 적격성 평가 후 토론을 통해 해결했습니다. 다른 복잡한 주제와 마찬가지로, 이는 검토 개념을 구체화하고 졸업후의학교육(PGME) 의학 학습자 또는 환자 자체를 정의할 때 보고가 부실하거나 이질적이기 때문에 발생하는 갈등을 해결하는 데 도움이 되었습니다. 이를 위해 검토자 간의 일치도는 코헨 카파를 사용하여 0.54로 평가되었으며, 이는 중간 수준의 일치도로 해석됩니다. 
Using a defined eligibility criterion, we developed and pilot-tested a standardised form that was then used to guide decisions for inclusion and exclusion of records. Two authors (RK and MG) reviewed each title and abstract independently within the review software and met at the project start, midpoint and end (as recommended by Levac et al.21) to discuss agreement and refine eligibility decisions accordingly. Disagreements were resolved by discussion after each level of eligibility assessment. As with any complex topic, this proved helpful in refining review concepts and resolving conflicts, for example, that were due to either poor reporting or heterogeneity in defining postgraduate medical learners or patients themselves. To this end, agreement between reviewers was assessed at 0.54 using a Cohen's kappa, interpreted as a moderate level of agreement.

2.4 4단계: 데이터 차트 만들기
2.4 Stage 4: Charting the data

범위 검토 프레임워크의 4단계에 따라 미리 정의된 데이터 차트 양식을 만들었습니다. 처음에 한 명의 저자(RK)가 기록 수준의 우선순위 항목을 개괄적으로 설명하기 위해 개발한 이 양식은 더 광범위한 팀(RK, CG, YSP 및 AT)의 의견을 수렴하여 검토 및 수정되었습니다. 데이터 차트 항목에는 환자의 특성, 연구 환경, 평가 개입, 사전 지정된 질문에 따른 주요 결과가 포함되었습니다(부록 S2). 그런 다음 양식의 유용성과 포괄성에 대해 파일럿 테스트를 거쳐 팀의 승인을 받았습니다. 한 명의 저자(RK)가 초기 데이터 차트 작성을 수행했고, 두 번째 저자(MG)가 각 대상 연구를 검토하고 차트 작성된 데이터의 정확성을 확인했습니다. Levac 등이 제안한 대로,21 두 저자는 처음 10개의 연구에서 차트화된 데이터에 대해 논의한 후 데이터 차트 양식을 더욱 구체화했습니다. 이 양식에 추가된 항목에는 환자 배제 또는 거부, 환자 익명성 및 기밀성, 환자 참여율, 다중 출처 피드백과 관련된 추가 세부 정보에 관한 데이터가 포함되었습니다. 그런 다음 데이터 차트 작성 프로세스가 끝날 때 저자들이 다시 만나 토론을 통해 모든 이견을 해결했습니다. 
In keeping with Stage 4 of the scoping review framework, we constructed a predefined data-charting form. Initially developed by one author (RK) to outline record-level, priority items, the form was then reviewed and revised with input from the broader team (RK, CG, YSP and AT). Data charting items included the characteristics of patients, study settings, assessment interventions and primary outcomes based on our prespecified questions (Appendix S2). The form was then pilot-tested for usability and comprehensiveness and approved by the team. One author conducted initial data charting (RK), and a second author (MG) reviewed each eligible study and verified the charted data for accuracy. As suggested by Levac et al.,21 both authors met to discuss the charted data from the first 10 studies and then further refined the data-charting form. Items added to the form included data pertaining to patient exclusion or refusal, patient anonymity and confidentiality, patient participation rates and additional details related to multi-source feedback. The authors then met again at the end of the data charting process and resolved all disagreements through discussion.

2.5 5단계: 결과 집계, 요약 및 보고
2.5 Stage 5: Collating, summarising and reporting results

아크시와 오말리의 5단계 접근 방식에 따라, 차트화된 데이터는 엑셀 파일에 간결하게 요약되어 저자 간의 토론과 해석을 알리는 데 사용되었습니다. 연구 설계, 출판 유형, 출판 국가, 개입 세부 사항, 분석 인구 단위(예: 전문 분야) 및 관련 결과 측정값을 포함한 인구통계학적 특성을 보고하기 위해 정량적 서술적 분석을 완료했습니다. 한 명의 저자(RK)가 앞서 언급한 연구 질문에 따라 선택된 모든 연구의 내용을 분류했습니다. 추출된 모든 데이터는 두 번째 저자(MG)가 검토했으며, 두 사람이 만나서 합의점을 논의하고 분류를 수정했습니다. 그런 다음 두 저자는 데이터를 해석하여 연구팀에게 설명적으로 제시했습니다. 그런 다음 연구팀은 가상으로 만나 데이터를 어떻게 제시하고 맥락화할지 논의했습니다. 이후 세 명의 저자(RK, JR, TH)가 세 차례에 걸쳐 만나 해석 분석을 추가로 비교, 대조, 수정했습니다. 
In keeping with Step 5 of Arksey and O'Malley's approach, charted data were summarised succinctly within an excel file and used to inform discussions and interpretations between authors. Quantitative descriptive analysis was completed to report on demographic characteristics including study design, publication type, country of publication, intervention details, population unit of analysis (e.g. specialty) and relevant outcome measures. One author (RK) categorised the content of all selected studies based on the aforementioned study questions. All extracted data were reviewed by a second author (MG), and both met to discuss agreement and revise the categorisation. The data were then interpreted by the two authors and presented descriptively to the study team. The team then met virtually to discuss how the data were presented and contextualised. Three authors (RK, JR and TH) then met on three subsequent occasions to further compare, contrast and revise the interpretative analysis.

2.6 6단계: 협의 연습
2.6 Stage 6: Consultative exercise

아크시와 오말리 프레임워크의 6단계(이해관계자 자문)는 '소비자 및 이해관계자가 참여하여 추가 참고 문헌을 제안하고 문헌에 없는 통찰력을 제공할 수 있는 기회'를 제공합니다.20 이 단계는 아크시와 오말리의 프레임워크에서는 선택 사항으로 설명되지만 레박 외의 업데이트에서는 필수 사항으로 간주됩니다.20, 21 이를 고려하여 연구팀은 적절한 연구 윤리 승인 및 자금 지원을 통해 향후 연구를 통해 이 작업을 해결하는 것이 가장 좋다는 결론을 내렸습니다. 
Stage 6 of the Arksey and O'Malley framework (consulting stakeholders) provides ‘opportunities for consumer and stakeholder involvement to suggest additional references and provide insights beyond those in the literature’.20 This step is described as optional in Arksey and O'Malley's framework, but deemed essential in Levac et al.'s update.20, 21 Given this, the study team concluded that this work may be best addressed through future research with appropriate research ethics approval and funding.

3 결과
3 RESULTS

검색 결과 821개의 기록이 발견되었습니다. 적격성 평가 결과, 41개의 전체 텍스트 연구가 포함 기준을 충족했습니다. 적격성 평가의 각 단계에 대한 자세한 내용은 그림 1에 나와 있습니다. 포함된 연구의 인구통계학적 특성은 표 1에 요약되어 있습니다. 대부분의 연구는 최근 10년(2010~2020년) 동안 미국 출신 저자에 의해 발표되었으며, 단일 기관에서 수행되었습니다. 포함된 연구는 내과와 가정의학 등 여러 분야에서 발표되었으며, 환자는 여러 임상 환경(대부분 외래 진료소)을 대표하는 경우가 많았습니다(표 1). 부록 S4에는 연구 설계, 출판 국가, 졸업후의학교육(PGME) 학습자의 특성, 환자 평가 횟수, 주요 연구 결과 등 41개 연구 전체에 대한 자세한 설명이 나와 있습니다. 
Our search yielded 821 records. Following eligibility assessment, 41 full-text studies met the inclusion criteria. Details outlining each stage of eligibility assessment are depicted in Figure 1. Demographic characteristics of included studies are outlined in Table 1. Most studies were published by authors originating from the United States, during the most recent decade (2010–2020), and form a single institution. Included studies were published within several disciplines, most commonly internal and family medicine, with patients representing multiple clinical settings, most frequently out-patient clinics (Table 1). Appendix S4 provides a detailed description of all 41 studies including study design, country of publication, characteristics of postgraduate learners, number of patient assessments and the main study findings.

3.1 환자 대표성
3.1 How patients are represented

포함된 41개의 연구 중 18개(43.9%)만이 환자의 성별을 보고했습니다.25-27, 37, 41-49, 58, 59, 61-63 부모와 보호자를 대표하는 소아 환자 집단을 대상으로 한 3개의 연구에서 여성은 학습자 평가의 일부로 피드백 수집의 82-87%에 기여했습니다.44, 45, 49 여러 연구에서 인구학적 특성을 보고했지만, 성별이 평가에 미치는 영향을 탐구한 연구는 거의 없었습니다. 외과 레지던트의 의사소통 능력에 대한 다중 소스 피드백(MSF)의 타당성을 조사한 한 연구에서는 성별에 기반한 접근 방식을 사용하여 여성 레지던트가 통계적으로 유의하게 높은 평가를 받은 것으로 보고했습니다.41 
Of the 41 included studies, only 18 (43.9%) reported patients' gender.25-27, 37, 41-49, 58, 59, 61-63 In three studies with a paediatric patient population representing parents and guardians, women contributed to 82–87% of feedback collection as part of learners' assessments.44, 45, 49 While several studies reported demographic characteristics, few explored the effect of gender on assessment. One study that explored the feasibility of multi-source feedback (MSF) for surgical residents' communication skills used a gender-based approach to report as women as providing statistically significantly higher ratings of residents.41

환자의 인종과 민족은 13개 연구(31.7%)에서 확인되었습니다. 보고된 용어에 따르면, 환자는 주로 '백인' 또는 '백인'으로 식별되었으며, 13개 연구 중 9개 연구에서 가장 큰 코호트(>50%)를 차지했습니다.25-27, 41, 46, 48, 49, 59, 62 실제로 두 연구에서 '백인' 환자 참가자 비율이 90%까지 보고되었습니다.26, 62 소수 인종 또는 소수 민족의 대표성은 다양했으며 그 이유를 명확하게 파악하기 위한 설명 정보가 거의 없었습니다. 샘플링이 수행된 이유와 대표성을 추구했는지에 대한 이유는 보고되지 않았습니다. 기타 환자 인구통계학적 특성(예: 사회경제적 지위)에 대한 보고는 공통성과 일관성이 부족하여 연구 간 비교가 어려웠습니다.
Patient race and ethnicity were identified in 13 studies (31.7%). Using the reported terminology, patients predominantly identified as ‘White’ or ‘Caucasian’ representing the largest cohort of participants (>50%) in nine of the 13 studies.25-27, 41, 46, 48, 49, 59, 62 In fact, two studies reported rates of ‘White’ patient participants as high as 90%.26, 62 Representation of racial or ethnic minorities was variable, with little explanatory information to succinctly determine why. Reasons for how sampling was carried out, and whether representation was sought, was not reported. Reporting of other patient demographics (e.g. socio-economic status) lacked commonality and consistency making comparisons across studies challenging.

3.2 환자 포함(및 제외)
3.2 Patient inclusion (and exclusion)

환자 포함 및 제외는 포함된 연구 전반에 걸쳐 다양한 방식으로 나타났습니다. 포함된 연구의 절반 미만(18/41, 43.9%)에서 특정 환자가 학습자 평가에서 제외된 이유를 명확하게 설명했습니다(부록 S5).25, 26, 28-32, 41, 43, 44, 47-50, 59, 61, 62, 64 가장 빈번한 제외 이유는 언어 능력(예: 제한된 영어 능력)이었는데, 이는 발표된 연구의 대부분이 영어 교육이 주를 이루는 국가에서 시작되었음을 고려할 때 놀라운 일이 아닙니다. 평가 도구를 여러 언어로 제공함으로써 평가 도구의 접근성을 보장하기 위한 조치를 고안한 연구는 Tamblyn과 동료들의 연구 한 건에 불과했습니다.58 반대로 환자가 평가에 참여하지 않기로 선택한 경우는 5건(12.8%)에서 보고되었으며, 여기에는 관심 부족, 경쟁 치료 계획, 전반적인 건강(예: 신체적 또는 정신적으로 건강하지 않음) 및 언어 장벽(예: 개인적으로 의사소통이 불가능하다고 느낌)의 예가 포함됩니다(부록 S5).25, 28, 31, 59, 65 
Patient inclusion and exclusions were represented in a variety of ways across included studies. Less than half of included studies (18/41, 43.9%) clearly described reasons for why certain patients were excluded from learner assessment (Appendix S5).25, 26, 28-32, 41, 43, 44, 47-50, 59, 61, 62, 64 The most frequent reasons for exclusion was language proficiency (e.g. limited proficiency in English), perhaps unsurprising given the majority of published studies originated in countries where English-language instruction predominates. Only one study by Tamblyn and colleagues devised measures to ensure accessibility of their assessment tool by making it available in multiple languages.58 Conversely, patients' choice to not engage in assessment was reported in five studies (12.8%) and included examples lack of interest, competing care plans, overall well-being (e.g. physically or psychologically unwell) and language barriers (e.g. personally felt unable to communicate) (Appendix S5).25, 28, 31, 59, 65

진행성 암 환자,25 중증 만성 질환을 앓고 있는 환자,62 사회경제적 지위가 낮은 환자,62 교육 수준이 낮은 환자 등 다양한 환자 집단이 대표되었습니다.26, 58 그러나 미성년자, 수감자, 중환자 또는 임종기 환자 등 특정 환자 집단을 체계적으로 배제한 연구는 거의 보고되지 않았습니다.25, 29, 32, 47, 62 
There was diverse patient populations represented including those living with advanced-stage cancers,25 suffering from severe chronic diseases,62 from lower socio-economic status,62 and lower educational attainment.26, 58 That said, few studies reported systematically excluding specific patient population such as minors, prisoners or patients critically ill or at the end-of-life.25, 29, 32, 47, 62

3.3 환자 신원 보호(기밀 유지)
3.3 Protecting patient identify (confidentiality)

학습자 평가에 환자를 참여시키는 것은 위험을 수반하는 것으로 인식될 수 있습니다. 학습자가 평가 데이터를 해당 맥락과 연결할 수 없을 때 환자의 평가 및 서술적 의견에 대한 인식에 부정적인 영향을 미칠 수 있습니다.30, 33 이러한 이유로 사용된 절차에 대한 추가 정의 없이 환자 기밀성 및 익명성이 7건(17.9%)의 연구에서만 보고되었습니다.27, 32, 46, 47, 49, 51, 52. 8건(19.5%)의 연구에서는 수집된 환자 설문지가 익명화되었다고 명시했습니다.31, 33-35, 37, 44, 48, 65 비밀이 보장된 피드백 수집을 보장한 9개 연구(23.1%) 중26, 36, 38, 50, 53, 59, 60, 64 Reinders 등만이 특정 환자를 생년월일을 통해 추적할 수 있어 익명성을 보장할 수 없다고 설명했습니다.50 환자의 비밀 유지 및 익명성은 중요한 고려사항이 되며 프로그램의 환자 피드백 요청 목적에 따라 달라질 수 있습니다. 환자-연수생 관계의 유지가 기밀성 및 익명성 보장을 지지하는 주요 논거였습니다.  
Involving patients in assessment of learners may be perceived as carrying some risk. There may be a signal that this could adversely influence learners' perceptions of patient ratings and narrative comments when they were unable to link the assessment data to the context in question.30, 33 To this end, patient confidentiality and anonymity were reported in only seven studies (17.9%) without further defining the procedures used.27, 32, 46, 47, 49, 51, 52 Eight studies (19.5%) stated that the collected patient questionnaires were anonymised.31, 33-35, 37, 44, 48, 65 Of the nine studies (23.1%) that assured confidential feedback collection,26, 36, 38, 50, 53, 59, 60, 64 only Reinders et al. explained how they could trace certain patients back through their date of birth and therefore could not guarantee anonymity.50 Maintaining patient confidentiality and/or anonymity becomes an important consideration and dependent on the purpose for which a programme is seeking patients' feedback. Preserving the patient–trainee relationship was the main argument in favour of confidentiality and anonymity.

3.4 환자 평가 수집 방법
3.4 How patient assessments are collected

환자 평가는 다양한 심리측정 도구를 통해 수집되었습니다(표 2). 의사소통 평가 도구(CAT)는 지난 10년간 발표된 총 9건의 연구(22.0%)에서 가장 많이 사용되었습니다.27-30, 41, 43, 45-47 환자의 평가 참여는 14건의 연구에서 보고되었습니다.33, 34, 36-39, 44, 49, 51-54, 59, 61 이 연구들 중 MSF 프로세스는 교수진 의사,33, 34, 36, 38, 39, 44, 49, 52-54, 59, 61 간호사,33, 34, 36, 38, 44, 49, 51, 53, 54, 59, 61 수련생/동료,36-39, 53, 54 사무직원,36, 38 연합 보건 전문가53 및 프로그램 디렉터가 중심이 되었습니다.59 
Patient assessments were captured by a variety of psychometric tools (Table 2). The Communication Assessment Tool (CAT) was most frequently used in a total of nine studies (22.0%) published within the last decade.27-30, 41, 43, 45-47 Patients' engagement in assessment as a component of MSF was reported in 14 studies.33, 34, 36-39, 44, 49, 51-54, 59, 61 Of these studies, the MSF process centred on faculty physicians,33, 34, 36, 38, 39, 44, 49, 52-54, 59, 61 nurses,33, 34, 36, 38, 44, 49, 51, 53, 54, 59, 61 trainees/peers,36-39, 53, 54 office staff,36, 38 allied health professionals53 and programme directors.59

23개 연구(51.2%)에서 환자 참여 또는 작업장 상황을 지원하기 위해 원래 도구를 수정한 것으로 보고되었으며 표 2.25-28, 30, 33, 34, 37, 41, 42, 45-51, 58, 59, 62, 64 두 연구에서 수정된 도구를 시행하기 전에 시범적으로 사용했다고 보고했습니다.34, 43 양적 및 질적 평가 접근법이 포함된 연구들에서 모두 보고되었습니다. 환자가 질적 의견을 제공하는 기능은 11개 연구에서 보고되었으며, 일반적으로 환자에게 전반적인 의견(예: '이 레지던트의 의사소통에 대해 어떤 점이 좋았습니까?'30 또는 '레지던트가 제공하는 진료에 대해 무엇을 바꾸겠습니까?'51)을 묻거나 레지던트의 성과와 관련하여 인지된 강점 및 개선할 부분에 대해 구체적으로 언급하도록 요청했습니다.26, 28, 30, 32, 33, 43, 44, 49, 51, 52, 54 
Modifications to adapt the original tool to support patient involvement or the workplace context were reported in 23 studies (51.2%) and listed in Table 2.25-28, 30, 33, 34, 37, 41, 42, 45-51, 58, 59, 62, 64 Two studies reported piloting their modified tool prior to its implementation.34, 43 Both quantitative and qualitative assessment approaches were reported across the included studies. The ability for patients to provide qualitative comments was reported in 11 studies and generally asked patients for either global comments (e.g. ‘what did you like about this resident's communication?’30 or ‘what they would change about the care provided by the residents?’51) or to comment specifically on perceived strengths and areas for improvement in relation to resident's performance.26, 28, 30, 32, 33, 43, 44, 49, 51, 52, 54

3.5 환자 모집 방법
3.5 How patients are recruited

환자는 주로 연구 조교에 의해 모집되었습니다(16/41, 39.0%).25, 26, 28, 30, 31, 34, 39, 41, 44, 45, 49, 51, 58, 59, 62, 64 대상 연구의 거의 1/3에서 수련의의 이름과 사진 신분증이 사용되었습니다.26, 28, 30-32, 34, 39, 41, 44, 45, 49, 51, 54, 59 이 방법을 사용한 환자들은 88%의 비율로 훈련생을 인식했습니다.26 표 3은 환자 설문지를 수집하는 데 사용된 다른 방법에 대한 추가 세부 정보를 제공합니다. 프로그램 관리자, 사무 직원 또는 병원 자원봉사자와 같은 제3자를 통해 환자 참여를 요청하면 보고된 교육생들의 불편함과 환자 선택에 대한 편견을 최소화할 수 있습니다.30 
Patients were recruited primarily by research assistants in our sample of studies (16/41, 39.0%).25, 26, 28, 30, 31, 34, 39, 41, 44, 45, 49, 51, 58, 59, 62, 64 Trainees' name and photo identification were used in nearly one-third of eligible studies.26, 28, 30-32, 34, 39, 41, 44, 45, 49, 51, 54, 59 Using this method, patients recognised trainees at rates of 88% as shown by McKinley et al.26 Table 3 provides additional details on other methods used to collect patient questionnaires. Soliciting patient participation through a third party, such as programme administrators, clerical staff or hospital volunteers, may minimise reported trainees' discomfort and bias in patient selection.30

환자 피드백을 수집하는 데 필요한 평균 시간은 4개의 연구에서 몇 분(1~10 범위)에서31, 32, 43, 52, 한 연구에서는 25분 이상까지 다양했습니다.28 인적 자원 필요성은 6개의 연구에서만 기술되었습니다.28, 34, 52, 55, 59, 65 Mahoney 등은 12개의 환자 설문지를 수집하는 데 입원 환자의 경우 평균 6.36시간, 외래 환자의 경우 10.14시간의 연구 보조(RA) 시간을 보고했습니다.28 울리스크로프트의 연구에서는 8명의 RA가 20개월 동안 70명의 레지던트를 위해 625명의 환자로부터 피드백을 수집하는 데 도움을 주었습니다.59 Wood 등은 지원 직원(유방 영상 기술자)의 업무량이 증가하지는 않았지만 레지던트가 시술을 수행할 것이라는 사실을 미리 알지 못한 경우 환자에게 평가 양식을 배포하는 것을 잊는 경향이 있었다고 보고했습니다.52 
The average time commitment required to collect patient feedback varied from a few minutes (range 1–10) in four studies,31, 32, 43, 52 to over 25 minutes in one study.28 Human resource needs were described in only six studies.28, 34, 52, 55, 59, 65 Mahoney et al. reported an average research assistant (RA) time of 6.36 hours for in-patients and 10.14 hours for out-patients to collect 12 patient-questionnaires.28 In Woolliscroft's study, eight RAs helped collect feedback from 625 patients for 70 residents over a 20-month period.59 Wood et al. reported no increased workload for support staff (technologist in breast imaging), but they tended to forget distribution of the evaluation form to patients if they did not know ahead of time that residents will be performing the procedures.52

환자 설문지 수집 기회를 놓치는 데 기여한 몇 가지 물류 문제를 논의한 연구는 거의 없습니다. Tamblyn 등은 시간 제약으로 인해 외래 환자의 11.1%가 모집되지 않았다고 보고했습니다.58 입원 환자의 경우, Dine 등과 Mahoney 등의 두 연구에 따르면 레지던트를 인식하지 못하는 것이 설문지 미작성 이유의 각각 8%와 13%를 설명했습니다.28, 31 Jagadeesan 등은 설문지 관리를 담당하는 사람이 한 명뿐이어서 적격 환자의 36%는 모집되지 않았다고 설명했습니다.48 
Few studies discussed some of the logistical issues that contributed to missed opportunities for the collection of patient questionnaires. Tamblyn et al. reported that 11.1% of their out-patients were not recruited due to time constraints.58 In the in-patient context, two studies by Dine et al. and Mahoney et al. showed that the inability of recognising residents explained 8% and 13% of patients' reasons for non-completion of questionnaires, respectively.28, 31 Jagadeesan et al. explained that 36% of eligible patients were not recruited since only one person was responsible for the administration of their questionnaire.48

3.6 환자 참여 및 평가 횟수
3.6 Patient participation and number of assessments

환자의 참여율은 14개 연구에서 보고되었으며, 두 연구를 제외한 모든 연구에서 60% 이상의 참여율을 보였다.25, 26, 28, 31, 36-38, 41, 48, 49, 58, 59, 63, 64 Mahoney등과 McKinley등은 모두 레지던트 교육에 대한 환자의 의견에 대한 기관의 관심과 과정에 만족하는 경향이 있다고 보고하였다.26, 28 Olsson의 연구는 가정의학과 전공의를 대상으로 6개월 동안 평가를 수집한 외래 환자의 경우 25%로 가장 낮은 참여율을 보였다고 보고하였다.37 Newcomb 등은 일반외과 레지던트를 대상으로 12개월 동안 환자 피드백을 수집한 결과 입원 환자의 참여율은 28%, 외래 환자의 참여율은 72%로 보고했습니다.41 다중 소스 피드백(MSF) 도구의 심리측정 특성을 평가하기 위해 유사한 설계를 적용한 두 연구에서는 모든 참가자의 참여율이 100%로 보고되었습니다.36, 38 
Patients' participation rates were reported in 14 studies with rates over 60% in all but two studies.25, 26, 28, 31, 36-38, 41, 48, 49, 58, 59, 63, 64 Mahoney et al. and McKinley et al. both showed that patients tend to be satisfied with the process and the institution's interest in their input towards residents' education.26, 28 Olsson's study reported the lowest participation rate at 25% for out-patients over a 6-month period of assessment collection for family medicine residents.37 Newcomb et al. reported a 28% participation rate for in-patients compared with 72% for out-patients over a 12-month period of collected patient feedback for general surgery residents.41 Two studies with similar designs to assess the psychometric properties of a multi-source feedback (MSF) tool reported 100% participation rates from all participants.36, 38

4건의 연구에 따르면 수용 가능한 평가자 간 신뢰도를 달성하기 위해서는 많은 수의 환자를 모집해야 합니다.31, 56, 58, 59 집계된 EVGP 도구를 사용하여 Tamblyn 등은 0.75에서 0.80 사이의 신뢰도를 위해 30-40명의 환자를 제안했습니다.58 Murphy 등은 CARE 도구의 신뢰도 0.80을 위해 40명 이상의 환자를 추천했습니다.56 반면, 연구 저자들이 개발한 설문지의 경우 울리스크로프트 등은 100명 이상의 환자를, 다인 등은 이상적인 평가자 간 신뢰도 수준인 0.80을 위해 165명의 환자 평가를 권고했습니다.31,59 한편, 소아과 입원실에 입원한 아동의 보호자를 대상으로 ABIM 환자 만족도 설문지를 사용한 Byrd 등은 레지던트 1인당 7명의 환자 피드백에 대해 0.97의 Cronbach α 계수로 높은 수준의 내적 신뢰도를 보고했습니다.44 
Recruitment of a high number of patients is required to achieve acceptable inter-rater reliability based on four studies.31, 56, 58, 59 Using the aggregated EVGP instrument, Tamblyn et al. suggested 30–40 patients for reliability between 0.75 and 0.80.58 Murphy et al. recommended over 40 patients for a reliability of 0.80 with the CARE instrument.56 On the other hand, for questionnaires developed by the study authors, Woolliscroft et al. proposed over 100 patients, and Dine et al. advised for 165 patient-ratings for an ideal inter-rater reliability level of 0.80.31, 59 On the other hand, using the ABIM Patient Satisfaction Questionnaire with caregivers of children admitted on paediatric in-patient units, Byrd et al. reported high degree of internal reliability with a Cronbach α coefficient of 0.97 for seven patient feedback per resident.44

3.7 환자가 학습자를 평가하고 피드백을 제공하는 방법
3.7 How patients rate and give feedback to learners

학습자를 평가하는 것은 일반적으로 환자에게 새로운 경험입니다. 24개 연구(58.5%)에서 보고된 바와 같이 환자들은 학습자를 높게 평가했습니다.26-29, 31, 34-38, 41, 43-49, 56-59, 63, 64 그러나 환자에게 선험적 지침을 제공하면 평가 점수의 변동이 개선되고 높은 평가의 비율이 낮아졌습니다.41 MSF 기반 도구를 사용한 연구에서 레지던트에 대한 환자의 평가는 다른 환자의 평가와 잘 일치했지만 의사와는 일치하지 않았습니다44, 53, 61; 두 평가자에게 동일한 도구를 사용한 경우는 Byrd 등이 유일했습니다.44 
Rating learners is generally a new experience for patients. Patients were described as rating learners highly as reported in 24 studies (58.5%).26-29, 31, 34-38, 41, 43-49, 56-59, 63, 64 However, providing patients with a priori instructions improved variation in rating scores and lowered the proportion of high ratings.41 In studies using MSF-based instruments, patient ratings of residents correlated well with those of other patients but not with physicians44, 53, 61; only Byrd et al. used the same instrument for both raters.44

그들의 피드백에서 환자 또는 간병인은 관찰된 전문적 행동, 옹호 및 의사소통 기술을 중요시하고 집중하는 것으로 보고되었습니다.33, 40, 49, 62 이에 비해 의사는 의학 지식을 우선시했으며33, 49 간호사는 리더십, 협업 및 의사소통에 대해 보고했습니다.33 가정의학 프로그램의 후향적 데이터를 사용하여 환자 평가는 면허 시험 성적 및 어려움에 처한 레지던트의 수련 연장과 상관관계가 있습니다.42 마지막으로, 맥킨리는 환자 평가가 실제로 주니어와 시니어 레지던트를 차별할 수 있음을 입증했습니다.26 그러나 이러한 결과는 포함된 다른 연구들에서 반복되지 않았습니다.32, 35, 44-46, 63 
In their feedback, it was reported that patients and/or caregivers valued and focused on the observed professional behaviours, advocacy and communication skills.33, 40, 49, 62 In comparison, physicians prioritised medical knowledge,33, 49 and nurses reported on leadership, collaboration and communication.33 Using retrospective data from a family medicine programme, patient ratings correlate with performance on licensing examinations and extensions of training for residents in difficulty.42 Lastly, McKinley demonstrated that patient ratings could in fact discriminate between junior and senior residents.26 These findings were not replicated however across other included studies.32, 35, 44-46, 63

3.8 환자 평가의 인식 및 수용 방법
3.8 How patient assessments are perceived and received

13개 연구에서 수집된 환자 평가와 피드백이 학습자에게 제공되었습니다(부록 S6).30, 32, 33, 36, 39, 45, 47, 51, 52, 54, 60, 64, 65 졸업후의학교육(PGME) 학습자들은 일반적으로 환자 평가가 자신의 행동과 술기가 환자 치료에 미치는 영향을 더 잘 이해하는 데 도움이 되고, 수용 가능하며, 유용하다고 인식했습니다.30, 33, 44, 52, 56, 65 두 연구에서 일부 수련의는 환자 피드백을 받아들이는 데 어려움을 겪었으며, 심지어 스스로 인지한 역량과 일치하지 않거나 피드백을 환자 또는 임상 상황과 연관시킬 수 없는 경우 무효화하기도 했습니다.30, 33 몇몇 연구에서는 수련의에게 수집된 환자 피드백에 대해 토론할 기회를 제공했습니다. 이러한 연구에서는 프로그램 디렉터,47, 51, 54, 64 다른 교수진 의사,39, 45, 52 수련의가 선택한 의학 교육자33 또는 행동 과학에 대한 전문적 배경을 가진 비의사가 레지던트를 위한 코치 역할을 수행했습니다.65 
Collated patient ratings and feedback was provided to learners in thirteen studies (Appendix S6).30, 32, 33, 36, 39, 45, 47, 51, 52, 54, 60, 64, 65 Graduate medical learners generally perceived patient assessments as helpful, acceptable and useful to better understand how their behaviours and skills influence patient care.30, 33, 44, 52, 56, 65 In two studies, some trainees struggled to accept and even invalidated patient feedback if not aligned with self-perceived competence, or if they could not associate the feedback with the patient or clinical context.30, 33 Several studies offered trainees the opportunity to discuss collated patient feedback. In these studies, programme directors,47, 51, 54, 64 other faculty physicians,39, 45, 52 a medical educator chosen by the trainee33 or a non-physician with a professional background in behavioural science served as coach for residents.65

환자 참여가 행동 변화에 기여했는지 또는 환자 결과에 영향을 미쳤는지 평가한 연구는 거의 없습니다(7/39; 15.4%).25, 33, 39, 45, 51, 54, 64 MSF와 기존의 교수진만 평가하는 무작위 연구에서 환자 평가자로부터 피드백을 받은 레지던트는 대인관계 및 의사소통 기술이 크게 향상되는 것으로 나타났습니다.54 Bylund 등은 종양학 학습자를 위한 의사소통 기술 프로그램을 연구하고 프로그램 완료 전후에 환자 피드백을 수집한 결과, 기준 점수가 낮은 학습자에서 유의미한 개선이 나타났지만 의사소통 기술에는 큰 변화가 없는 것으로 나타났습니다.25 마찬가지로, Cope 등은 기준 점수가 낮고 코칭 피드백을 받은 학습자가 시간이 지남에 따라 개선되어 이후 약간 더 나은 환자 평가를 받았음을 보여주었습니다.64 그러나 다른 4개의 연구에서는 환자 설문조사에서 수집된 피드백을 기반으로 학습자를 코칭하는 것이 레지던트의 성과에 대한 후속 환자 평가에 영향을 주지 않았습니다.39, 45, 51, 64 그럼에도 불구하고 환자 피드백을 반영하고 맥락화하는 코칭은 학습자의 신뢰를 방해하지 않고 수용을 향상시키는 데 도움이 되었습니다.45, 51 
Few studies (7/39; 15.4%) evaluated whether patient involvement contributed to changes in behaviours or impacted patient outcomes.25, 33, 39, 45, 51, 54, 64 In a randomised study comparing MSF and traditional faculty-only evaluations, residents who received feedback from patient raters showed significant improvement in interpersonal and communication skills.54 Bylund et al. studied a communication skills programme for oncology learners and collected patient feedback before and after completion of the programme showing no significant change in communication skills, although there was significant improvement seen in learners with lower baseline scores.25 Similarly, Cope et al. demonstrated that learners who had low baseline scores and who received coaching feedback improved over time with subsequent slightly better patient ratings.64 However, in four other studies, coaching learners based on collated feedback from patient surveys did not influence subsequent patient ratings of resident's performance.39, 45, 51, 64 Nevertheless, coaching to reflect on and contextualise patient feedback helped improve its acceptance without hindering their learners' confidence.45, 51

4 토론
4 DISCUSSION

우리의 범위 검토는 졸업후의학교육(PGME) 학습자 평가에 환자의 참여를 최대한 촉진하고, 종종 환자 참여의 장애물로 언급되는 행정적 부담이 실제로는 극복할 수 없는 것이 아니라는 다른 학자5,66의 의견과 일치합니다. 환자는 여러 전문 교육 분야, 임상 환경 및 환자 집단에 걸쳐 효율적으로 참여할 수 있으며, 환자의 참여는 사용 가능한 행정 자원에 달려 있습니다. 환자 모집은 일반적으로 큰 어려움이 없는 것으로 보이며, 다른 연구에서 설명한 바와 같이 적극적으로 참여하고 경험을 공유하려는 환자의 의지와 관련이 있을 수 있습니다12, 17, 19; 대부분의 연구에서 상대적으로 높은 참여율이 보고되었습니다. 환자는 전공의의 대인관계 기술 및 행동 수행과 밀접하게 연관되어 있기 때문에 전통적인 평가 접근법을 보강하고 의사소통, 옹호, 전문성 등 잘 드러나지 않는 역량을 조명할 수 있는 잠재력을 가지고 있으며,19, 66 따라서 학습자의 역량에 대한 보다 전체적인 그림을 제공합니다.5 다양성과 포용성을 보장하고 이러한 요소가 환자의 평가와 의견, 학습자의 환자 중심 진료에 대한 수용에 미치는 영향에 대한 이해를 더욱 향상시키기 위해 모국어 및 기타 사회 문화적 고려사항과 평가를 일치시키는 데 더 많은 주의가 필요합니다. 
Our scoping review highlights, and aligns with other scholars,5, 66 that promote patient involvement in postgraduate learner assessment as possible and that administrative burdens, often cited as barriers to patient involvement, are in fact not insurmountable. Patients can be engaged efficiently across a number of specialty training areas, clinical settings and patient populations and their involvement hinges on available administrative resources. Patient recruitment appeared to be generally without major challenges and may tie into patients' willingness to actively participate and share their experiences as described in other studies12, 17, 19; relatively high participation rates were reported in most studies. By virtue of being intimately coupled to performances of residents' interpersonal skills and behaviours, patients hold the potential to augment traditional assessment approaches and shed light on less represented competencies such as communication, advocacy and professionalism,19, 66 thus provide a more holistic picture of learners' competence.5 Greater attention is required to align assessments with native language and other sociocultural considerations to ensure diversity and inclusion and further improve our understanding of how these factors influence patient ratings and comments and learners' uptake into their patient-centred practice.

환자 참여의 본질은 다양한 형태로 나타날 수 있습니다. 우리의 종합 결과, 환자는 개별 작업장 기반 평가뿐만 아니라 다중 소스 피드백 프로세스(의사가 풍부한 평가 데이터를 받아 정기적으로 상호 작용하는 다양한 개인 그룹으로부터 얻은 평가와 비교하여 환자 치료를 개선할 수 있는 핵심 역량을 알려주는 방법)의 구성 요소에도 관여하는 것으로 확인되었습니다.67, 68 환자의 평가와 의견을 수집하기 위해 다양한 구성을 측정하는 여러 평가 도구가 연구되었습니다. 그러나 이러한 도구에 대한 타당성 증거는 주로 신뢰도 측정에 초점을 맞추었으며, 신뢰도 높은 판단을 위해 필요한 환자 평가 횟수에 대한 권장 사항은 대부분 가변적이었습니다. 그러나 CBME 프레임워크에서 '학습을 위한 평가'에 대한 강조가 증가함에 따라,69 환자 평가의 유용성은 학습자의 역량 달성 및 전문성 개발에 정보를 제공하고 혜택을 주는 방법에 따라 결정되어야 합니다.5 따라서 다른 평가 방법과 결합할 경우 많은 수의 환자 평가를 수집하는 것이 필요하지 않을 수도 있습니다. 
The nature of patient involvement can take many forms. Our synthesis identified patients have been involved in individual workplace-based assessments as well as a component of a multi-source feedback process (a method by which physicians receive rich assessment data to compare self-assessment to those obtained from different groups of individuals with whom they interact regularly and thereby inform on key competencies that can improve patient care).67, 68 Several assessment tools measuring various constructs have been studied to capture patients' ratings and comments. However, validity evidence for these tools focused primarily on reliability measures with largely variable recommendations in the number of patient assessments needed for highly reliable judgements. However, with the increased emphasis towards ‘assessment for learning’ in CBME frameworks,69 utility of patient assessments need to be driven by how it informs and benefits learners' competency attainment and professional development.5 Therefore, collecting a high number of patient assessments may arguably not be necessary when coupled with other assessment methods.

샘플 조사에서 코칭과 성찰을 통한 피드백 촉진이 환자 평가 데이터의 수용과 이해를 개선하는 것으로 나타났습니다. 그러나 코칭 피드백 개입 후의 결과는 역량 달성에 가장 큰 혜택을 경험한 것으로 보이는 낮은 등급의 학습자를 제외하고는 모호한 결과를 보여주었습니다. MSF 문헌은 코치 또는 동료와의 성찰과 대화가 임상 실습에서 의미 있는 변화를 채택하는 데 중요한 역할을 한다고 제안합니다.70, 71 코치의 지도 아래 수련생이 받은 피드백을 분석하고 반영하여 목표를 파악하고 목표 달성을 위한 계획을 개발하는 코칭 피드백은 의학 교육에서 점점 더 많이 사용되고 있지만,72 종단 데이터가 부족하여 환자 평가와 관련된 연구는 미흡한 실정입니다. 환자의 의견을 바탕으로 한 코칭 피드백이 어떻게 학습, 전문성 개발 및 진료 변화를 유도하여 궁극적으로 환자 치료와 결과를 개선할 수 있는지에 대한 보다 완전한 이해는 앞으로의 과제입니다. 
In our sample, we found that feedback facilitation through coaching and reflection improved acceptance and understanding of patient assessment data. However, outcomes following coaching feedback interventions demonstrated equivocal results except for learners with lower ratings who seemed to experience the most benefit to competency attainment. The MSF literature does suggest an important role for reflection and conversations with a coach or peer to adopt meaningful changes in one's clinical practice.70, 71 Coaching feedback whereby trainees analyse and reflect on the received feedback to identify goals and develop a plan to reach them under the guidance of a coach is increasingly used in medical education,72 but under-studied in relation to patient assessments with lack of longitudinal data. Understanding more fully how coaching feedback based on patient input can drive learning, professional development and practice changes that ultimately improve patient care and outcomes is an area of future.

4.1 격차 및 향후 연구에 대한 시사점
4.1 Gaps and implication for future research

양질의 진료와 환자 중심주의는 CBME 프레임워크의 중요한 결과이므로,1, 7 역량 기반 평가에서 환자가 더 큰 역할을 할 수 있도록 평가 대화를 전환하는 것이 우선순위가 됩니다.5, 66 우리의 연구 결과는 환자가 효과적인 평가자가 될 수 있음을 시사합니다. 그러나 수집된 데이터를 역량 성취와 관련된 결정을 위해 요약 수준에서 어떻게 사용할 수 있는지에 대해서는 표본에서 논의되지 않았으며, 이는 역량 기반 평가의 중요한 요소로서 학술적 관심이 필요합니다. 
Since quality care and patient-centeredness are important outcomes to CBME frameworks,1, 7 shifting our assessment conversations to provide patients a larger role in competency-based assessment becomes a priority.5, 66 Our findings suggest that patients can be effective assessors. However, how their collated data may be used at a summative level for decisions related to competency attainment was not discussed in our sample and is an important element of competency-based assessment in need of scholarly attention.

환자의 피드백이 교육생의 성과 및 행동 변화에 미치는 영향은 여전히 모호하며, 이를 해결하기는 어렵지만 불가능하지는 않습니다. 수련의에 대한 환자 평가를 조사한 다른 리뷰에서도 비슷한 결론에 도달했습니다.50, 73 교육 성과 측정과 연결된 환자 보고 성과 척도(PROM)는 평가 시스템에서 교육적 역할로 인해 PGME에서 주목받고 있습니다.74-76 PROM과 연결된 환자 피드백이 성과 평가에 정보를 제공하고 추가하는 방법을 탐구하면 교육 개입, 의미 있는 진료 변화, 진료의 질, 환자 결과 사이의 격차를 해소하는 데 유용할 수 있습니다.
The effect of patient feedback on trainees' performance and behavioural changes remains equivocal and will be challenging, but not impossible, to address. Other reviews investigating patient assessments of practicing physicians reached similar conclusions.50, 73 Patient reported outcome measures (PROMs) linked to educational outcome measures are gaining attention in PGME for their educational role in our systems of assessment.74-76 Exploring how patient feedback tied to PROMs informs and adds to performance assessment may prove useful to bridge the gap between education interventions, meaningful practice change, quality of care and patient outcomes.

PGME 프로그램이 점점 더 어려워지는 경제적 제약 속에서 유능한 의사를 졸업시키기 위해 노력함에 따라,77,78 환자 참여, 평가 데이터 수집 및 학습자 전달의 경제적 영향을 다루는 비용 효과성 연구는 우리가 선택한 연구에는 없었지만 많은 PGME 프로그램이 직면한 중요한 장벽이 될 수 있으므로 추가로 고려할 필요가 있습니다. 
As PGME programmes strive to graduate competent physicians in ever-growing economical restrictions,77, 78 cost-effectiveness studies that address the economic implications of patient involvement, assessment data collection and delivery to learners need to be further considered as this was absent from our selected studies yet may be a critical barrier facing many PGME programmes.

마지막으로, 더 중요한 것은 유능한 의사에 대한 총체적인 관점에 기여하고 안전하고 효과적인 환자 중심 진료로 나아가는 데 기여할 수 있는 환자의 목소리를 방해하는 PGME의 사회문화적 및 제도적 장애물을 즉시 해결해야 한다는 점입니다.7, 66 
Lastly, and perhaps more importantly, we need to promptly address the sociocultural and institutional roadblocks in PGME that impede the patient voice which can contribute to a holistic view of the competent physician and drive us towards safe, effective patient-centred care.7, 66

4.2 제한점
4.2 Limitations

검색을 위해 포괄적으로 검색하고 숙련된 사서와 협력했지만, 보건 전문직 교육은 검색이 어려운 것으로 확인되었습니다.79 관련 연구가 확인되지 않았을 가능성이 있습니다. 모든 전자 데이터베이스를 검색하지는 않았으며 영어 또는 프랑스어가 아닌 언어는 제외했습니다. 또한 '환자'라는 검색어는 의료 분야에서 모호하지 않기 때문에 포함시켰으며, 고려할 수 있었던 다른 용어로는 '사용자', '소비자', '클라이언트'가 있으며, 이는 앞서 언급한 문헌 검토의 복잡성을 반영한 것입니다.12 검토의 맥락이 레지던트에 대한 평가임을 감안하여 이러한 용어가 '환자'보다 우선순위가 높지 않을 것이라는 가설을 세웠지만 이 가설을 테스트하지 않았습니다.  
Although we searched comprehensively and collaborated with an experienced librarian for our search, health professions education is identified as difficult to search.79 It is possible that relevant studies were not identified. We did not search all electronic databases and excluded non-English or French languages. We also included the search term ‘patients’ as it is unambiguous for the medical field; other terms that could have been considered include ‘user’, ‘consumer’ and ‘client’ and speaks to the previously documented complexities in reviewing this literature.12 Given the context of the review was assessment of residents, we hypothesised that these terms were unlikely to be prioritised over ‘patient’ in this context but we did not test this hypothesis.

5 결론
5 CONCLUSION

전공의에 대한 보다 총체적인 관점을 확보하려면 평가에 다양한 관점, 특히 환자를 포함시키는 것이 도움이 될 수 있습니다. 검토 결과, 평가에 환자의 참여는 여러 학문 분야와 임상 환경에서 가능한 것으로 나타났습니다. 또한, 환자는 평가에서 의사 중심의 전통적인 관점을 보완할 수 있는 다양한 관점과 전문성(예: 경험적 관점)을 제공합니다. 학습자의 전문성 개발과 환자 중심 관행을 알리기 위해 환자 수준의 데이터를 가장 잘 활용할 수 있는 방법, 특히 평가 시스템에 대한 환자의 참여가 사회적 요구에 더 많이 기여할 준비가 된 의사를 배출하는 데 의미 있게 기여하는지 여부와 그 방법에 대해서는 향후 연구가 필요합니다. 이를 위해 환자가 의학교육 전반과 특히 평가에 점점 더 많이 참여함에 따라, 총체적인 평가가 완전히 실현될 수 있도록 공평하고 다양한 참여를 보장하는 것이 우선시되어야 합니다. 
Achieving a more holistic view of postgraduate learners may benefit from including diverse perspectives in their assessments and specifically patients. In our review, patient engagement in assessments was viewed as feasible across multiple disciplines and clinical settings. Further, patients contribute different perspectives and expertise (e.g. experiential) that can augment more traditional, physician-focused, perspectives in assessments. How patient-level data can best be used to inform learners' professional development and patient-centred practices remains in need of future research, in particular if and how patient involvement in assessment systems contribute meaningfully to producing physicians that are ready to contribute more fully to societal needs. To this end, as patients increasingly engage in medical education generally and assessment specifically, ensuring equitable, diverse inclusion should be prioritised to ensure holistic assessments are to be fully realised.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

어떻게 근무현장-기반 평가가 졸업후교육에서 학습을 가이드하는가: 스코핑 리뷰 (Med Educ, 2023)
How workplace-based assessments guide learning in postgraduate education: A scoping review 
Leslie Martin1 | Sarah Blissett2 | Bronte Johnston3 | Michael Tsang1 | Stephen Gauthier4 | Zeeshan Ahmed5 | Matthew Sibbald1 

1 서론
1 INTRODUCTION

평가 전략은 수련의가 학습하는 방식에 분명한 영향을 미칩니다.1-3 역량 기반 의학교육(CBME)4-6 에서 작업장 기반 평가(WBA)를 늘리려는 전 세계적인 변화는 학습자7, 8 와 피드백 추구와 같은 학습 행동에 긍정적인 영향을 미쳤습니다.9, 10 CBME 내 프로그램 평가의 가장 중요한 희망은 WBA를 사용하여 작업장에 학습 평가를 포함시키는 동시에 강력한 고부담 승진 결정(학습의 평가)을 최적화하고 프로그램 개선을 위한 정보를 제공하고자 하는 것입니다.11, 12 안타깝게도 예비 문헌에 따르면 각 평가의 형성적 의도와 총괄적 의도가 혼재되어 있어 프로그램 평가를 통해 학습 목표를 달성하는 데 어려움이 있음을 보여줍니다.13-15 임상 환경에서 WBA를 사용하여 낮은 부담의 학습 목표와 높은 부담의 진급 결정을 모두 달성할 때 연수생이 성과와 학습 목표 사이의 갈등을 인식함에 따라 유사한 긴장이 발생했습니다.16, 17 이러한 긴장의 핵심은 사회적으로 구성되고 고도로 맥락적인 직장에서 임상 성과를 '객관적으로 평가'해야 한다는 과제입니다.18 임상 업무 환경에서는 이러한 맥락적 전문성을 '실천 속에서 아는 것'이라고 합니다.19 
Assessment strategies clearly impact how trainees learn.1-3 The worldwide shift to increase workplace-based assessment (WBA) within competency-based medical education (CBME)4-6 in postgraduate medical education (PGME) has no doubt positively impacted learners7, 8 and learning behaviours, such as seeking feedback.9, 10 The overarching hope of programmatic assessment within CBME is to embed learning assessments in the workplace using WBA, while optimizing robust high-stakes promotion decisions (assessment of learning), and providing information for programme improvement.11, 12 Unfortunately, preliminary literature illustrates challenges in achieving learning goals through programmatic assessment, due to conflation of the formative and summative intent of each assessment.13-15 Similar tensions have arisen when using WBA in the clinical environment to achieve both low-stakes learning goals and high-stakes promotion decisions, as trainees perceive conflict between performance and learning goals.16, 17 Integral to these tensions is the challenge of ‘objectively assessing’ clinical performance in the socially-constructed and highly contextual workplace.18 In the clinical workplace, this contextual expertise is referred to as ‘knowing in practice’.19

현재 우리는 강력한 평가 프로그램을 직장으로 전환하는 것이 수련의 학습에 미치는 영향에 대해 명확하게 이해하지 못하고 있습니다. 또한 현재 WBA를 사용하여 학습을 위한 평가를 성공적으로 달성하는 방법에 대한 포괄적인 프레임워크가 없습니다. 최근의 해석학적 검토에 따르면 학습을 위한 평가를 달성하기 위해서는 별도의 평가자 그룹을 정의하여 평가의 요약적 역할과 형성적 역할을 명확히 구분해야 한다는 결론을 내렸습니다20. 이러한 제안은 문헌의 다른 부분에도 반영되어 있습니다.9 그러나 다른 사람들은 평가의 명확한 긴장을 관리하기 위해 '양자택일적 사고'를 넘어 '양립적 사고'로 나아가야 한다고 주장합니다.21 따라서 직장 환경에서 학습을 위한 WBA를 성공적으로 달성하는 길은 아직 불분명합니다. 
We currently do not have a clear understanding of the implications of shifting a robust programme of assessment into the workplace on trainee learning. Furthermore, there is currently no comprehensive framework for how to successfully achieve assessment for learning using WBA. A recent hermeneutic review concluded that a clear distinction be drawn between the summative and formative role of assessment by defining separate group of assessors20 in order to achieve assessment for learning. This suggestion is also reflected elsewhere throughout the literature.9 However, others have argued that we need to move beyond ‘either-or thinking’ in order to manage the clear tensions in assessment, and rather towards a ‘both-and’ approach.21 Thus, the path to successfully achieve WBA for learning in the workplace environment remains unclear.

초기 직장 기반 학습(WBL) 모델은 CBME 내에서 구현된 것과 유사하게 직접적인 관찰과 피드백에 중점을 두고 의도적으로 학습을 발판으로 삼는 결과 중심 직장 모델로 전환할 것을 요구했습니다.20 WBL에 관한 후속 모델 또는 이론은 CBME가 널리 구현되기 전에 만들어졌거나,22, 23 공식화된 평가 또는 WBA에 기반한 문헌을 특별히 제외했습니다.24, 25 CBME 맥락에서 프로그램적 WBA가 구현된 이후 WBL 모델을 재검토한 적은 없습니다. 
Early models of workplace-based learning (WBL) called for the movement towards a outcomes-driven workplace model to intentionally scaffold learning, with an increased focus on direct observation and feedback, similar to what was implemented within CBME.20 Subsequent models or theories regarding WBL were created prior to widespread implementation of CBME,22, 23 or specifically excluded literature based on formalised assessment or WBA.24, 25 Models of WBL have not been revisited since the implementation of programmatic WBA in the CBME context.

WBA가 이러한 프레임워크에 어떤 영향을 미치는지 더 잘 이해하지 못한 상태에서 WBL의 이론적 프레임워크를 현재의 CBME 맥락에 적용해서는 안 됩니다. 보다 완전한 프레임워크가 없다면 의학전문대학원 교육에서 학습과 평가를 모두 최적화하기 위한 노력은 계속될 것입니다. 현재의 복잡한 학습 환경에서 WBL과 평가를 이해하기 위해서는 대안적인 이론이 필요하다는 주장이 제기되고 있습니다.26 이 분야에서 이론을 개발하면 CBME 맥락에서 학습을 위한 평가라는 궁극적인 목표를 달성하는 방법을 조명할 수 있는 대안적인 관점을 제공할 수 있을 것입니다.
Theoretical frameworks of WBL should not be applied in current CBME contexts without a better understanding of how WBA impacts these frameworks. Without a more complete framework, it is likely that the struggle to optimize both learning and assessment will continue in postgraduate medical education. It has been argued that alternative theories are required to understand WBL and assessment in the current complex learning environment.26 Developing theory in this space will provide an alternative perspective to shed light on how to achieve the ultimate goal of assessment for learning in the CBME context.

첫 번째 단계로, 이 범위 검토를 통해 우리는 PGME 내에서 이 공간에 대한 이해를 넓히기 위해 WBA와 WBL 사이의 특정 교차점을 다루는 주요 문헌 기반의 폭과 깊이를 탐구하고자 했습니다. 분석은 빌렛의 보건의료 업무를 통한 학습 모델의 네 가지 전제에 따라 진행되었습니다.25 이 모델은 전통적인 '교실' 교육 밖에서 보건의료 분야의 학습이 어떻게 이루어지는지 이해하기 위한 명확하고 간결한 프레임워크와 잘 정리된 원칙을 제공합니다. 이는 평가가 이러한 원칙에 의도적 또는 비의도적으로 영향을 미칠 수 있는 방법을 탐구하는 데 강력한 발판을 제공합니다. 간단히 말해, 네 가지 전제는 각각 다음을 강조합니다.25

• (1) 학습은 항상 일어나고,
• (2) 직장 참여는 직장 환경과 직원의 위치를 변화시키고,
• (3) 직장의 물리적, 사회적 측면은 임상 지식과 학습을 제공하며,
• (4) 학습과 개인 개발은 다르지만 상호 의존적인 과정이다.

As a first step, through this scoping review we sought to explore the breadth and depth of the primary literature base that addresses the specific intersection between WBA and WBL in order to expand our understanding of this space within PGME. The analyses were guided by the four premises of Billett's model of learning through health care work.25 This model offers a clear and concise framework with well-articulated principles for understanding how learning in healthcare occurs outside of traditional ‘classroom’ education. This provided a strong scaffold to explore how assessment may intentionally or unintentionally influence these principles. Briefly, the four premises respectively highlight

• (1) how learning is always happening;
• (2) workplace engagement transforms the workplace environment and staffs' positions;
• (3) the physical and social aspects of a workplace provide clinical knowledge and learning; and
• (4) learning and personal development are different, but interdependent processes.25 

이 틀을 사용하여,25 우리는 WBA를 통한 학습을 설명할 때 깊이 강조되고 탐구된 영역과 1차 문헌 기반에서 덜 주목된 다른 영역을 강조하고자 했습니다. WBL의 렌즈를 통해 이러한 문헌 기반을 종합함으로써, WBA가 빈번하게 사용되는 시대에 WBL 모델을 업데이트하기 위한 향후 연구를 통해 해결될 수 있는 문헌의 격차를 발견할 수 있기를 바랍니다. 
Using this framework,25 we sought to highlight areas that have been deeply emphasized and explored in describing learning through WBA, and others that have been less attended to across the primary literature base. In synthesizing this literature base through the lens of WBL, we hope to uncover gaps in the literature that can be addressed through future studies aimed at updating models of WBL within the era of frequent WBA.

2 방법
2 METHODS

저희는 WBA가 대학원 의학교육에서 학습을 어떻게 안내하는지에 대한 문헌의 범위 검토를 수행했습니다. 
We conducted a scoping review of literature exploring how WBA guide learning in postgraduate medical education.

2.1 검토 유형
2.1 Type of review

범위 검토는 광범위하고 이질적인 잠재적 문헌 기반과 명확하게 정의된 연구 질문을 고려할 때 이용 가능한 문헌의 범위를 매핑하는 이상적인 방법으로 선택되었습니다.27, 28 이 방법론은 질적, 양적 및 미발표 문헌을 포함할 수 있으며 레지던트 교육에서 WBA를 사용하는 기존 문헌의 상태를 파악하는 데 중점을 둡니다.29 
A scoping review was selected as an ideal method to map the extent of available literature given the broad and heterogeneous potential literature base, and clearly defined research question.27, 28 This methodology allows for the inclusion of qualitative, quantitative and unpublished literature, and focuses on capturing the state of existing literature the use WBA in residency training.29

2.2 관련 연구 식별 및 선택
2.2 Identifying and selecting relevant studies

이 범위 검토는 이전에 발표된 프레임워크를 따랐다.28, 30-32 PRISMA-ScR 체크리스트는 출판에 앞서 참고하였다.33 연구팀은 먼저 일차 문헌에 근거하여, WBA가 대학원 의학교육에서 WBL을 어떻게 안내하는가라는 집중 연구 질문을 개발했다.
This scoping review followed previously published frameworks.28, 30-32 The PRISMA-ScR Checklist was references in advance of publication.33 The research team first developed a focused research question: based on the primary literature, how do WBA guide WBL in postgraduate medical education?

연구 질문의 범위에 검색을 포함하기 위해 명확한 포함 및 제외 기준을 선험적으로 정의했습니다. 특히, 해당 분야에서 새롭게 떠오르는 주요 관점과 의견을 알려주는 데이터의 범위를 이해하고 종합하기 위해 1차 문헌만 포함하기로 결정했습니다. 이 주제에 대한 수많은 의견, 논평 및 리뷰가 있다는 것을 잘 알고 있습니다. 이러한 자료는 연구팀에게 해당 분야의 지배적인 관점을 알리는 데 도움이 되도록 충분히 검토되었지만, 1차 데이터의 폭과 깊이를 이해하고자 하는 연구 목표를 고려하여 범위 검토에 공식적으로 포함되지는 않았습니다.
Clear inclusion and exclusion criteria were defined a priori in order to contain the search to the scope of our research question. Of note, the decision was made to only include primary literature because we wanted to understand and synthesize the scope of data that informs the predominant emerging perspectives and opinions in the field. We recognize that there are numerous opinions, commentaries and reviews on the subject. These were reviewed in full to help inform the research team on prevailing perspectives in the field, but not formally included in the scoping review given our research aim to understand the breadth and depth of primary data.

2.3 포함 기준
2.3 Inclusion criteria

논문은 대학원 의학교육 내 모든 이해관계자(예: 감독자, 수련의, 환자 및 관련 의료 전문가)의 관점에서 직장 및 WBA에서의 학습에 대한 인식 또는 기타 측정을 포착한 경우 포함되었습니다.
Papers were included if they captured perceptions or other measures of learning in the workplace and WBA from the perspective of any stakeholder (e.g., supervisors, trainees, patients and allied health professionals) within Postgraduate Medical Education.

본 연구의 목적을 위해, 우리는 학습이 임상 환경에서의 활동과 상호작용, 그리고 수련의의 참여에 의존하는 직장 내 학습(WBL)에 대한 빌렛의 정의를 사용했습니다.34 WBA는 관찰이 필요하고 피드백의 기회를 창출하는 임상 환경에서 수행되는 평가로 정의했습니다.35 영어로 제공되고 1차 데이터(양적, 질적 또는 혼합 방법)가 포함된 논문만 포함했습니다.
For the purposes of our work, we used Billett's definition of learning in the workplace (WBL) where learning is reliant on both the presence of activities and interactions in clinical settings, and the engagement of trainees.34 WBA was defined as an assessment performed in the clinical environment that requires observation and creates the opportunity for feedback.35 Only papers that were available in English and contained primary data (quantitative, qualitative or mixed-methods) were included.

2.4 제외 기준
2.4 Exclusion criteria

제외 기준에는 다른 보건 전문직 분야, 학부 의학교육과 관련된 논문 및 전문을 볼 수 없는 논문이 포함되었습니다.
The exlusion criteria included papers related to other health professions fields, undergraduate medical education and those unavailable in full text.

검색 전략은 사서의 도움을 받아 의학교육 대학원 교육, 직장 학습, 평가 또는 평가를 포착하기 위해 핵심 용어를 사용하여 개발되었습니다(전체 검색 전략은 부록 S1 참조). 이 전략은 OVID Medline, Web of Science, ERIC 및 CINAHL 데이터베이스에 적용되었습니다. 2020년 9월까지 출판된 논문이 이 검토에 포함되었습니다.
The search strategy was developed with the assistance of a librarian using the core terms to capture medical education postgraduate training, workplace learning and assessment or evaluation (see Appendix S1 for the complete search strategy). The strategy was applied in OVID Medline, Web of Science, ERIC and CINAHL databases. Papers published until September 2020 were included in this review.

검색 전략에 의해 포착된 모든 논문의 제목과 초록은 연구팀원 두 명(LM과 SB)이 독립적으로 선별하고 포함 및 제외 기준과 비교하여 적절성을 결정했습니다. 검토 과정에서 소프트웨어 Rayyan QCRI가 사용되었습니다.36 연구자들은 검색 전략과 포함 기준이 적절한지 확인하기 위해 심사 과정의 시작, 중간, 마지막 단계에서 만났습니다.31 포함 여부에 대해 이견이 있는 경우 초록을 다시 검토하여 합의에 도달할 수 있는지 확인했습니다. 심사 과정이 끝나면 연구팀원 2명이 각 논문의 전문(LM 및 SB)을 검토하여 포함 기준을 더 이상 충족하지 못하는 경우 해당 논문을 삭제했습니다. 이견이 있는 경우 연구팀의 세 번째 구성원이 참여하여 합의에 도달할 때까지 토론을 진행했습니다. 연구 흐름도는 그림 1을 참조하세요. 
The titles and abstracts of all papers captured by the search strategy were screened by two members of the research team independently (LM and SB) and compared against the inclusion and exclusion criteria to determine their appropriateness. The software Rayyan QCRI was used during the review process.36 Researchers met at the beginning, midpoint and final stages during the screening process to ensure the search strategy and inclusion criteria were appropriate.31 If there was disagreement regarding inclusion, the abstract was re-reviewed to see if a consensus could be reached. After the screening process, two members of the research team reviewed the full text of each paper (LM and SB), and if inclusion criteria were no longer met, it was removed. If disagreements were raised, a third member of the research team was involved, and a discussion held until consensus reached. Please see Figure 1 for the study flow chart.

2.5 데이터 추출
2.5 Data extraction

데이터 추출을 안내하기 위해 엑셀 스프레드시트를 선험적으로 개발하여 반복적으로 업데이트했습니다. 연구팀 전체가 데이터 추출에 참여했으며, 추출은 포함된 모든 논문에 대해 중복으로 수행되었습니다. 추출된 데이터에는 논문 번호, 제목, 저자, 학술지, 출판 연도, 국가, 주요 방법론, 주요 연구 결과 및 검토자가 포함되었습니다. 질적 데이터의 경우, 연구 결과를 단순히 요약하는 것을 피하기 위해 서술적 분석 방법을 사용했습니다.31 연구자들은 선별 과정의 시작, 중간, 최종 단계에서 만나 데이터 수집이 합리적이고 의미 있는지 확인했습니다.31 검토 과정에서 각 논문은 포함된 양적 연구에 대해서는 의학교육 연구 품질 도구(MERSQI)37 를, 질적 연구에 대해서는 Cote 등이 발표한 질적 연구 그리드를 사용하여 품질을 평가했습니다.38 품질 검토 과정은 연구팀과 독자에게 포함된 연구의 품질에 대해 정보를 제공하기 위한 것이며 포함 또는 제외를 안내하기 위해 사용되지는 않았습니다. 
An excel spreadsheet was developed a priori to guide data extraction, and updated iteratively. The entire research team participated in data extraction, and extraction was done in duplicate for every included paper. The extracted data included the papers' assigned number, title, authors, journal, year of publication, country, primary methodology, key findings and reviewers. For qualitative data, a descriptive-analytical method was employed to avoid simply summarizing the findings.31 Researchers met at the beginning, midpoint and final stages of the screening process to ensure the data collection was both reasonable and meaningful.31 During the review, each paper was also assessed for quality, using the Medical Education Research Study Quality Instrument (MERSQI)37 for included quantitative studies, and a qualitative study grid as published by Cote et al.38 The quality review process was meant to inform the research team and readers regarding quality of the included studies and was not used to guide inclusion or exclusion.

2.6 데이터 분석
2.6 Data analysis

각 논문의 서술적-분석적 요약을 검토한 후, 각 팀원이 개별적으로 질적 주제를 생성했습니다. 그런 다음 팀원들 간에 합의에 도달할 때까지 논의하여 다음 기준을 충족하는 프레임워크를 개발했습니다: (1) 기초 문헌을 반영하고, (2) 연구팀의 면밀한 검토를 견뎌내고, (3) 해당 분야와 관련성이 있을 만큼 충분한 깊이와 폭을 포함해야 합니다. 빌렛의 네 가지 전제는 직장 기반 평가 이전의 의료 환경에서의 WBL에 대한 명확하고 전체적인 관점을 제공하기 때문에 분석의 틀을 구성하기 위해 선택되었습니다.25 데이터 분석의 마지막 단계로, 연구팀은 연구 및 실무에 대한 연구 결과의 향후 함의를 탐색했습니다. 
Upon reviewing the descriptive-analytical summaries of each paper, qualitative themes were generated individually by each team member. These were then discussed amongst the team until consensus was reached, and a framework was developed, which met the following criteria: (1) reflected the underlying literature; (2) withstood scrutiny of the research team and (3) included sufficient depth and breadth to have relevance to the field. Billett's four premises were selected to frame the analysis because they provide a clear and holistic perspective on WBL in the healthcare setting which pre-dated workplace-based assessment.25 As the final step of data analysis, the research team explored future implications of our findings on research and practice.

2.7 자문 단계
2.7 Consultation phase

검토 완료 후 결과의 타당성을 높이기 위해 외부 이해관계자에게 전문가 의견을 구하여 연구 결과가 WBA 및 WBL에 대한 그들의 경험에 공감할 수 있도록 했습니다.32 
To improve the validity of our results upon completion of the review, expert opinion was sought from external stakeholders to ensure our results resonated with their experience in WBA and WBL.32

2.8 연구팀
2.8 Research team

연구팀은 교육 설계, 평가 및 임상 추론에 대한 전문성을 갖춘 캐나다의 3개 대학(맥마스터 대학, 웨스턴 대학, 퀸즈 대학)의 다양한 임상의 및 의학교육자 그룹으로 구성되었습니다. 저자들은 CBME 구현의 여러 단계에서 다양한 환경에서 WBA 및 CBME에 대한 다양한 행정 및 실무 경험을 보유하고 있습니다. 이 팀은 학습에 대한 사회적 구성주의 철학과 CBME의 목표에 대한 공통된 이해를 공유합니다. 
The research team consisted of a diverse group of clinicians and medical educators at three academic Universities in Canada (McMaster University, Western University and Queens University), with expertise in instructional design, assessment and clinical reasoning. The authors have diverse administrative and practical experience with WBA and CBME across a breadth of settings at various stages of CBME implementation. The team shares a social constructivist philosophy on learning, and a common understanding of the goals of CBME.

3 결과
3 RESULTS

문헌 검색을 통해 692개의 초록이 생성되었으며, 이 중 51개의 논문이 전체 텍스트 검토 기준을 충족했습니다(그림 1). 51개 논문 중 33개 논문이 포함 기준을 충족했습니다. 전체 텍스트를 검토한 결과, 직장에서의 학습과 평가의 교차점에 대한 이해를 돕는 1차 데이터가 상대적으로 부족하다는 점이 강조되었습니다. 
The literature search generated 692 abstracts, of which 51 papers met criteria for the full text review (Figure 1). Of the 51 papers, 33 met the inclusion criteria. The full text reviewed highlighted that there is a relative paucity of primary data informing our understanding regarding the intersection between learning and assessment in the workplace.

3.1 포함된 논문의 특징
3.1 Characteristics of included articles

표 1은 이 검토에 포함된 논문의 특징을 요약한 것입니다. 포함된 각 논문에 대한 자세한 요약은 부록 S2에서 확인할 수 있습니다. 논문은 외과 및 의학 전문 분야에 걸쳐 있으며 주로 북미와 유럽에서 수행되었습니다. 포함된 논문의 대부분은 질적 방법론을 사용했으며, 세부적으로는 23건의 질적 연구, 5건의 혼합 방법, 5건의 정량적 연구가 포함되었습니다. 정성적 연구는 대부분 인터뷰(43%) 또는 포커스 그룹(39%)을 사용했습니다. 이러한 정성적 연구 중 상당수가 구성주의적 근거 이론을 분석에 사용했으며(36%), 대부분 WBA 도구(미니 임상 평가 연습[CEX], 사례 기반 토론 등)를 사용하는 데 중점을 두었습니다. 정량적 연구 또는 혼합 방법 연구의 구성 요소는 Q 방법론 연구39 및 평가 점수의 후향적 비교를 사용한 두 연구를 제외하고는 설문조사 기반이었습니다.40 
Table 1 summarizes the characteristics of the included articles in this review. A more detailed summary of each included paper is available in Appendix S2. The papers spanned both surgical and medical specialities and were predominantly conducted in North American and European contexts. The majority of the included papers employed qualitative methodology: the specific breakdown included 23 qualitative, five mixed methods and five quantitative studies. Qualitative studies mostly employed interviews (43%) or focus groups (39%). A significant proportion of these qualitative studies employed constructivist grounded theory for the analyses (36%), and most of them focused on the employment of a WBA tool (mini-clinical evaluation exercise [CEX], case-based discussion, etc.). The quantitative studies, or components of mixed-method studies, were survey-based with the exception of two studies, which used a Q methodological study39 and retrospective comparison of assessment scores.40

모든 연구는 교육생(36%), 교수진(6%) 또는 둘 다(58%)의 관점에서 WBA를 통한 학습에 대한 인식에 초점을 맞추었습니다. 논문 중 12편(36%)만이 사회적 정체성이나 상황적 학습 이론과 같은 기존의 심리학 또는 교육 이론을 명시적으로 언급했습니다. 분석에 이론을 참조한 논문에서는 사회 인지 이론이 가장 많이 사용되었습니다(15%). 
All studies focused on the perception of learning through WBA, from the perspective of either trainees (36%), faculty (6%) or both (58%). Only 12 of the papers (36%) made any explicit reference to an existing psychological or education theory, such as social identity or situated learning theory. In the papers that did reference a theory in their analyses, social cognitive theory was the most common (15%). 

3.2 주제별 분석
3.2 Thematic analysis

이 문헌고찰의 주제별 분석은 빌렛(Billett) 등이 설명한 의료 업무를 통한 학습의 네 가지 전제에 따라 구성되었습니다.25
The thematic analysis for this review was framed by the four premises of learning through healthcare work described by Billett et al.25

3.2.1 전제 1: 학습은 항상 일어난다
3.2.1 Premise one: Learning occurs all the time

업무를 통한 학습에 관한 빌렛의 논문에서 논의된 바와 같이, 학습은 의도적인 교육 경험만을 위한 것이 아니라 수련생이 업무에 적절히 참여하고 감독자의 지원을 받는다면 일상적인 경험 중에 발생합니다.25 전통적인 직장 학습의 단점은 수련생이 모든 임상 활동에 대한 접근을 보장받지 못하고 간접적인 지도에 의존하기 때문에 학습 목표가 불분명할 수 있다는 위험입니다.25 일부 맥락에서 WBA는 중요한 업무 기반 기술과 역량을 묘사함으로써 학습 목표를 명확하게 개선해 왔습니다.7
As discussed in Billett's paper on learning through work, learning is not reserved for intentional educational experiences but rather occurs during everyday experiences if trainees adequately engage in work and are supported by supervisors.25 A shortcoming of traditional workplace learning is the risk that trainees will not be guaranteed access to all clinical activities, and that learning goals may remain unclear because of reliance on indirect guidance.25 In some contexts, WBAs have improved clarity around learning goals by delineating important workplace-based skills and capabilities.7

이 검토에서 여러 연구에서 강조된 WBA의 주요 장점 중 하나는 WBL에서 피드백이 개선되었다는 점입니다. 많은 교육생들은 WBA를 직접 관찰과 피드백을 '강제'할 수 있는 기회로 여겼으며, WBA 도구를 사용하지 않는 한 피드백은 드문 경험이라는 인식을 보고했습니다.10, 64 이러한 도구는 피드백의 구조와 구체성을 향상시키고 전통적으로 간과되는 비기술적 직접 관찰 기술에 대한 피드백을 장려하는 것으로도 인정받았습니다.48, 49, 52, 54, 63 여러 연구에서 훈련생들은 일관되게 WBA와 관련된 수치적 척도보다 서술적 피드백에서 더 많은 의미를 발견했습니다.7, 49, 51 주목할 점은 WBA가 피드백 과정을 개선했다는 인식이 모든 연구에서 모든 참가자에게 보편적으로 공유되지는 않았다는 것입니다: WBA의 규정된 구조가 활동의 강제적이고 형식적인 특성으로 인해 실제로 피드백의 질을 저하시킨다는 상반된 인식이 존재했습니다.8, 25, 53, 63
One key advantage of WBA that was highlighted across the studies in this review was an improvement in feedback in WBL. Many trainees viewed WBA as an opportunity to ‘force’ direct observation and feedback, and reported the perception that feedback was a rare experience outside of the use of WBA tools.10, 64 These tools have also been credited with enhancing the structure and specificity of feedback, as well as encouraging feedback on non-technical directly observed skills which are traditionally overlooked.48, 49, 52, 54, 63 Across studies, trainees consistently found more meaning in narrative feedback than in the numeric scales associated with WBA.7, 49, 51 Notably, the perception that WBA improved the feedback process was not universally shared by all participants across the studies: there was a contradictory perception that the prescribed structure of WBAs actually led to a deterioration in the quality of feedback due to the compulsory and form-filling nature of the activity.8, 25, 53, 63

3.2.2 전제 2: 개인이 자신의 업무에 참여할 때, 그들은 또한 직장과 직업의 지속적인 변화에 기여한다.
3.2.2 Premise two: As individuals engage in their work, they also contribute to the ongoing transformation of the workplace and their occupation

수련생이 임상 학습 환경에 참여할 때, 그들은 직장 프로세스와 문화의 적극적인 변화에 기여합니다.25 직장 피드백의 증가는 수련생과 감독자 모두의 일상적인 업무 흐름의 변화를 나타냅니다. 또한, 일부 연구에서 WBA 도구를 사용하면 수련생이 인지된 기존 숙련도의 범위를 넘어서는 과제를 완료하도록 장려하는 것으로 나타났습니다.49, 65 '근위 발달 영역'으로의 이러한 추진은 새로운 숙련도의 개발 또는 개선을 촉진하고 수련생이 직장에서 특정 학습 경험을 추구하려는 노력을 변화시킬 수 있습니다.49 
As trainees engage with the clinical learning environment, they contribute to an active change in workplace processes and culture.25 Increased workplace feedback represents a change in the day-to-day workflow of both trainees and supervisors. In addition, the use of WBA tools was found to encourage trainees to complete tasks beyond the scope of their perceived existing skillset in some studies.49, 65 This push towards the ‘proximal zone of development’ could facilitate the development or refinement of novel skills and change efforts by trainees to seek particular learning experiences in the workplace.49

안타깝게도 현재 임상 업무 환경은 다양한 학습 환경에서 WBA를 쉽게 이수할 수 있도록 체계적으로 변화하지 않았습니다. 연수생과 트레이너 모두 직접 관찰, 피드백 제공, WBA 완료에 필요한 시간8, 41, 49, 63 을 장애물로 일관되게 강조했습니다. 이러한 시간 압박은 임상 환경에서 교육과 환자 치료에 대한 경쟁적인 책임으로 인해 악화되는 것으로 나타났습니다.57 업무량, 분절된 업무 패턴, 업무 분배와 같은 의료 시스템 변수가 WBL에 영향을 미치는 것으로 잘 알려져 있습니다.24 개인이 임상 및 교육 업무에 계속 종사하면서 의무적으로 WBA를 이수해야 하는 경우, 관찰, 피드백을 위한 시간을 확보하고 수련의의 학습 목표 수립에 의도적으로 피드백을 통합하기 위해서는 업무 공간 혁신이 이루어져야 할 것입니다.58 
Unfortunately, at this time the clinical workplace has not systematically changed to facilitate the completion of WBAs across different learning environments. Time was consistently highlighted by both trainees and trainers as a barrier for direct observation, provision of feedback, and completion of a WBA,8, 41, 49, 63 each of which are necessary to achieve learning. This time pressure was felt to be exacerbated by competing responsibilities for both education and patient care in the clinical environment.57 Health systems variables such as workload, fragmented work patterns, and distribution of work are well recognized to influence WBL.24 As individuals continue to engage in both their clinical and educational work, which includes the compulsory completion of WBAs, workplace transformation will need to occur in order to create time for observation, feedback, and deliberate integration of feedback into the formulation of trainees' learning goals.58

WBA의 인지된 가치에 관한 직장 내 변화는 시간이 지남에 따라 발생할 수 있습니다. 한 연구에 따르면 마일스톤이 도입된 지 10년이 지난 후 수련의들은 성과와 성적에 덜 집중하게 되었고, 수치 평가보다는 직접적인 관찰과 즉각적인 피드백이 학습에 미치는 긍정적인 영향에 감사를 표하는 것으로 나타났습니다.66 임상 학습 환경 내에서 WBA를 광범위하게 시행하는 초기 단계인 지금, 우리는 WBA의 시행으로 인해 지속적인 변화가 일어날 것으로 예상할 수 있습니다. 
Workplace transformation regarding the perceived value of WBAs can occur with time. In one study, it was shown that 10 years after the rollout of milestones, trainees became less focused on performance and grades, and expressed appreciation for the positive learning implications of direct observation and in-the-moment feedback rather than numerical assessments.66 At this early stage of widespread implementation of WBA within the clinical learning environment, we can anticipate ongoing transformations to take place as a result of the implementation of WBAs.

3.2.3 전제 3: 직장은 물리적 및 사회적 환경에 의해 구성된 임상 지식을 제공합니다. 이러한 실제 환경에 대한 적극적인 참여는 개인적으로 매개되며 의미 있는 학습을 위한 필수 조건입니다.
3.2.3 Premise three: Workplaces provide clinical knowledge framed by the physical and social environments. Active engagement with these authentic environments is personally mediated and a requisite for meaningful learning

이러한 전제는 학습이 이루어지는 문화와 맥락의 핵심적인 중요성과 실제 환경에 대한 교육생의 적극적인 참여의 필요성을 강조합니다.20 따라서 WBA를 사용하는 감독자와 교육생 모두 이러한 도구의 워크플로와 목적에 대한 이해를 공유하는 것이 중요합니다. WBA가 이중 목적(형성 또는 학습을 위한 평가 vs 요약 또는 학습의 평가)으로 사용되기 시작했다는 점을 감안할 때,11 연수생과 감독자 모두의 관점에서 볼 때 목적이 명확하지 않은 것은 이해할 수 있습니다.7-9, 49, 50, 56, 57 WBA의 목적에 대한 이해의 다양성은 '총괄 대 형성'이라는 이중 목적에 대한 인식을 넘어선 것으로 나타났습니다.

• de Jonge 등의 연구에 따르면 참가자들 사이에서 WBA에 대한 다섯 가지 관점이 발견되었습니다.39 예를 들어, 이 연구에서 한 관점은 학습자가 능동적이고 자기 주도적인 역할을 수행해야 하며 '학습할 내용을 결정'해야 하는 WBA 과정을 통해 학습자의 주체성을 강조합니다.39 이는 객관성과 같은 일부 다른 관점과는 대조적이었는데, WBA가 고도로 구조화되고 기준 기반이며 '개별 학습 목표에 맞춰지지 않는 것'에 가치를 두었습니다.39
• 다른 연구에서도 많은 교육생이 기준 기반 성과 기준이 평가 데이터 해석과 학습 목표 개발에 어떻게 도움이 되는지 유사하게 설명했습니다.7, 46, 53, 67 명확하게 정의된 성과 기준은 연수생과 감독자가 WBA 과정에 참여하고, 주어진 역량을 달성하는 것이 무엇을 의미하는지 이해하고, CBME 맥락에서 피드백을 촉진하는 데 도움이 될 수 있습니다.46, 48, 52, 53, 55, 67 
• 드 존지 연구39 에서 언급된 다른 관점으로는
  • 임상 환경에서 양질의 환자 치료를 보장하기 위해 WBA가 중요하다고 느낀 책무성과
  • 응답자가 WBA가 감독자와 연수생 간의 합작 투자라고 느낀 상호성이 있습니다.
  • 학습자와 수퍼바이저 간에 WBA를 완료할 책임이 어디에 있는지에 대한 '논쟁'은 문헌의 다른 곳에서도 볼 수 있습니다.10
• 직장에서의 의료 교육의 사회적, 문화적 맥락은 자율성과 효율성을 모두 중시하는 것으로 알려져 있습니다.47 이러한 효율성 중시는 수련생이 직장에서 수퍼바이저에게 평가를 완료하도록 요청하는 것을 특히 어렵게 만듭니다.47 주요 이해관계자들 사이에서 WBA의 목적과 실행에 대한 공유된 이해가 부족하여 프로세스의 구매와 참여에 영향을 미치고, 불행히도 수련생의 전반적인 학습 가치를 약화시킬 수 있습니다. 

This premise highlights the core importance of the culture and context where learning takes place, and the need for active engagement of trainees in the authentic environment.20 As this stands, it is critical that both supervisors and trainees using WBAs share an understanding of the workflow and purpose of these tools. Given that WBAs have begun to serve a dual purpose (formative or for-learning versus summative or of-learning),11 there remains an understandable lack of clarity of purpose from the perspective of both trainees and supervisors.7-9, 49, 50, 56, 57 The diversity of understanding regarding the purpose of WBAs has been shown to go beyond the perception of the dual ‘summative versus formative’ purpose.

• A study by de Jonge et al. uncovered five different perspectives on WBA amongst their participants.39 For example, one perspective in this study emphasizes learner agency through the WBA process, where trainees should play an active, self-directed role and ‘decide what is to be learnt’.39 This was in contrast with some of the other perspectives, such as objectivity, where value was placed on WBA being highly structured, criterion-based and ‘not be tailored to individual learning goals’.39 
• Across other studies, many trainees similarly described how criterion-based performance standards helped guide their interpretation of assessment data and the development of learning goals.7, 46, 53, 67 Clearly defined performance standards can help trainees and supervisors engage in the WBA process, understand what it means to achieve a given competency, and facilitate feedback in the CBME context.46, 48, 52, 53, 55, 67 
• Other perspectives noted in the de Jonge study39 included
  • accountability, where WBA was felt to be important in the clinical setting to ensure high-quality patient care, as well as
  • mutuality, where respondents felt WBA should be a joint venture between supervisor and trainee.
  • The ‘debate’ about where the responsibility falls to complete WBAs between learners and supervisors is seen elsewhere throughout the literature.10 
• It is known that the social and cultural context of medical training in the workplace values both autonomy and efficiency.47 This focus on efficiency makes it particularly challenging for trainees to ask supervisors to complete an assessment in the workplace.47 The lack of shared understanding regarding the purpose and implementation of WBA amongst key stakeholders has impacted the buy-in and engagement with the process, which can unfortunately undermine the overall learning value for trainees.

이러한 문제에 기여하는 것은 PGME 교육생 교육에서 개별 슈퍼바이저가 수행하는 역할의 다중성입니다. 예를 들어, 한 명의 수퍼바이저가 개별적인 순간 평가, 종단적 종합 평가, 연수생 그룹에 대한 승진 관련 결정에 대한 가중치 부여를 동시에 담당할 수 있습니다.49 수퍼바이저들은 교사와 평가자의 역할을 겸하고 있기 때문에 비판적인 피드백을 제공하는 것이 어렵다고 말했습니다.52 WBA를 시행할 때, 평가가 수퍼바이저와 학습자 간의 대인 관계 및 신뢰 관계 구축에 미치는 영향을 고려하는 것이 어려웠습니다.57 또한, 수련생은 수퍼바이저가 직면한 이러한 문제에 민감하며, 이러한 공유된 역할이 WBA 후 제공되는 피드백의 신뢰성에 미칠 수 있는 영향을 인식하고 있습니다.8, 9, 45 이에 대응하여, 수퍼바이저와 수련생이 직접 관찰의 역할에 대해 공개적으로 논의할 것을 권장하고 있습니다.45 이는 WBA 중 양측의 요구를 명확히 하기 위한 것입니다. 수퍼바이저와의 종적, 지지적 관계는 학습자가 평가 순간의 학습 가치에 기여한다고 느꼈기 때문에 학습을 촉진하도록 권장됩니다.8, 9, 57, 61 이는 수퍼바이저가 시간이 지남에 따라 실제 임상 실습을 반복적으로 관찰할 수 있게 해주기 때문에 의미 있는 피드백을 향상시킬 수 있습니다.57 

Contributing to this challenge is the multitude of roles an individual supervisor may play in the education of PGME trainees. For example, one supervisor may be simultaneously responsible for completing individual in-the-moment assessments, longitudinal summative assessments and weighing in on decisions regarding promotion for a group of trainees.49 Supervisors have spoken about the difficulty in providing critical feedback, given their combined role of teacher and assessor.52 In the implementation of WBAs, it has been difficult to account for the impact of assessment on the interpersonal relationship between supervisors and learners and the establishment of a trusting relationship.57 In addition, trainees are sensitive to this challenge facing supervisors and recognize the impact this shared role can have on the authenticity of feedback provided after a WBA.8, 9, 45 In response to this, it has been recommended that supervisors and trainees openly discuss the role of direct observation,45 in order to clarify the needs of both parties during a WBA. Longitudinal, supportive, relationships with supervisors were felt by learners to contribute to the learning value of the assessment moments and therefore are encouraged to facilitate learning.8, 9, 57, 61 This can enhance meaningful feedback, as it allows supervisors to repeatedly observe authentic clinical practice over time.57

3.2.4 전제 4: 경험 전반에 걸친 학습과 개인 개발은 서로 연관되어 있지만 별개의 과정이며, 개인은 한 경험에서 동일한 것을 배우지 않는다.
3.2.4 Premise four: Learning and personal development across experiences are related but separate processes, and individuals will not learn the same thing from one experience

두 개인은 한 경험에서 같은 것을 배우지 않을 것입니다.25 이는 '학습을 위한' WBA를 구현하는 데 있어 잘 문서화되어 있으며 학습 목표와 성과 목표 사이의 긴장으로 설명되어 온 도전 과제에 대한 강력한 틀을 제공합니다. 예를 들어, 연구에 따르면 학습자는 다음 두 가지 목표 중 하나를 달성하기 위해 WBA 사례 또는 평가자를 찾는 것으로 나타났습니다:

• (1) 역량 입증(성과 지향) 또는
• (2) 학습 극대화(성장 또는 숙달 지향) .9, 67

Two individuals will not learn the same thing from one experience.25 This provides a powerful framing of the challenges which have been well-documented in the implementation of WBA ‘for-learning’ and has been described as the tension between learning versus performance goals. For example, studies illustrate that learners specifically seek WBA cases or assessors to achieve one of two goals:

• (1) demonstrate competence (performance orientation) or
• (2) maximize learning (growth or mastery orientation).9, 67 

Castanelli 등은 WBA에서 역량을 입증하려는 학습자의 동기를 '선순환 또는 악순환'으로 설명합니다.49 악순환에 빠진 학습자의 경우 WBA가 '틱 박스' 연습이 되어 평가의 진정성과 전반적인 학습 가치에 영향을 미칠 위험이 있습니다.8, 10, 49, 51, 53, 55, 56 한 연구에 참여한 연수생들은 전문성 개발을 지원하는 데 있어 이러한 피드백이 중요한 요소임을 인식하면서도 비공식적인 피드백이 자존감에 덜 위협적이라고 느꼈기 때문에 WBA의 맥락 밖에서 부정적이거나 건설적인 피드백(즉, '진정한 학습')을 구체적으로 추구하는 것으로 나타났습니다.9 WBA를 시행함으로써 학습자에게 도움이 되도록 평가를 조작하는 '게임'의 문화를 의도하지 않게 조성한 것은 아닌지 의문이 제기되었습니다.9
Castanelli et al. describe learners' motivation to demonstrate their competence in WBAs as the ‘Virtuous or Vicious Cycle’.49 For those in the Vicious Cycle, there is a risk that WBAs could become ‘tick-box’ exercises, impacting the authenticity of the assessment and overall learning value.8, 10, 49, 51, 53, 55, 56 Trainees in one study identified specifically seeking negative or constructive feedback (i.e., ‘real learning’) outside of the context of a WBA, as they recognized the critical element of such feedback in supporting their professional development but felt informal feedback was less threatening to their self-esteem.9 The question has been raised whether, through the implementation of WBA, we have unintentionally created a culture of ‘gaming’—manipulating assessments to benefit the learner.9

일부 교육생이 성과 목표를 중심으로 학습하는 경향은 전통적인 WBA 이외의 영역에서도 나타났습니다. 이 검토에 포함된 다른 연구에서는 공식적인 WBA를 동시에 완료하지 않더라도 모든 관찰이 평가처럼 느껴진다는 인식을 바탕으로 직접 관찰하는 것만으로도 수행 불안에 대한 유사한 설명이 발견되었습니다.41, 42 이에 따라 교수진은 비공식적이고 직접적인 관찰 순간이 최종 요약 평가에 영향을 미친다고 지지했습니다.41 자기 평가를 조사한 또 다른 연구에서는 학습자가 피드백을 얻고 통합하려고 노력하지만 확인되지 않은 정보를 두려워하고 자신의 자기 평가와 불일치를 조정하는 데 어려움을 겪는 유사한 긴장이 강조되었습니다.43 이러한 평가의 '위협'은 훈련생의 성과 지향적 조정 행동으로 이어질 수 있으며,42, 58 이는 비공식 직접 관찰의 학습 가치를 훼손할 수 있습니다. 이러한 결과를 바탕으로 일부 교육자들은 구조화된 평가와 엄격하게 분리된 관찰 기반 코칭 문화를 제안했습니다.42, 57 
The inclination for some trainees to orient themselves around performance goals has been shown in spheres outside of traditional WBA. Other studies captured in this review found a similar description of performance anxiety simply from being directly observed, based on the perception that any observation felt like an assessment, even without the concurrent completion of a formal WBA.41, 42 In keeping with this, faculty endorsed that informal and direct observation moments did impact their final summative assessments.41 In another study looking at self-assessment, similar tensions were highlighted43 where learners sought to obtain and integrate feedback, but feared disconfirming information and struggled to reconcile inconsistencies with their own self-appraisal.43 This ‘threat’ of assessment can lead to a performance-oriented adjustment trainees' behaviour,42, 58 which will undermine the learning value of informal direct observation. Based on this finding, some educators have proposed a culture of observation-based coaching that is strictly separated from any structured assessment.42, 57

그러나 포함된 연구들은 평가의 '위협'이 보편적이지 않다는 것을 보여줍니다. 연수생 개개인은 직접 관찰로 인한 정서적 스트레스에 대한 반응이 다양하며,58 WBA에 대한 선호도도 다양합니다.63

• 한 연구에서, 피드백 및 평가에 대한 일반적인 접근 방식에 WBA가 보완적이라고 생각한 슈퍼바이저나 연수생은 더 쉽게 도구를 통합할 수 있었습니다.63
• 같은 연구에서, WBA가 일반적인 접근 방식에 적합하지 않지만 그 과정의 가치를 인정하여 도구를 통합하려고 노력한 개인도 있었습니다.63
• WBA의 역할을 이해하지 못하는 개인은 그 과정이 특히 부담스럽고 교육적 가치가 낮다고 느꼈습니다.63
• 적극적인 슈퍼바이저는 자주 관찰하고 피드백을 제공함으로써 교육생들의 평가 회피 행동을 극복할 수 있는 것으로 나타났습니다.58
• 종종 전체 교육 그룹이 관점을 공유하는데, 이는 사회적 맥락의 중요성을 더욱 강조합니다.58
• 이에 발맞춰 Balmer 등의 후속 연구에 따르면 교수진과 교육생 모두 CBME 맥락에서 10년 후 성과 지향에서 학습 지향으로 전환할 수 있었습니다.66
• 성과에서 학습 지향으로의 전환은 이해관계자들이 성과 기준, 과정 및 목적을 포괄적으로 지향하고 결국 공유 정신 모델을 달성하기 위해 시간이 더 필요하다는 것을 시사할 수 있습니다.

이 범위 검토에 포함된 연구 전반에서 사회적 학습 이론이 가장 일반적으로 적용된 이론이었습니다.9, 43, 47, 57, 61 이는 이 분야의 연구자들 사이에서 WBA를 통한 학습을 이해하는 데 있어 사회적 맥락의 중심 역할에 대해 어느 정도 동의한다는 것을 시사합니다. 

Yet the included studies illustrate that the ‘threat’ of assessment is not universal. Individual trainees have variable responses to the emotional stress of direct observation,58 and variable affinity towards WBA.63 

• In one study, supervisors or trainees that found WBA complimentary to their usual approach to feedback and assessment were able to incorporate their use with greater ease.63 
• In this same study, there were individuals who did not find that WBA fit with their usual approach, but ascribed to the value of the process, and thus worked to incorporate the tools.63 
• It was individuals who did not understand the role of WBA that found the process particularly burdensome and the educational value to be low.63 
• Active supervisors have been shown to be able to overcome avoidant assessment behaviour by trainees by offering frequent observation and feedback.58 
• Perspectives are often shared by the whole training group, which further highlights the importance of the social context.58 
• In keeping with this, a follow-up study by Balmer et al. found that both faculty and trainees were able to shift from a performance orientation to a learning orientation after 10 years in a CBME context.66 
• The transition from performance to learning orientation could suggest that we simply need more time to comprehensively orient stakeholders to the performance standards, process and purpose, and eventually achieve a shared mental model.

Across the included studies in this scoping review, social learning theories were the most commonly applied theories.9, 43, 47, 57, 61 This suggests some agreement regarding the central role of social context in understanding learning through WBA amongst researchers in this field.

WBL 문헌 기반에서 수퍼바이저와 연수생 행동의 개인차는 학습의 조절자로서 광범위하게 설명되어 왔습니다.24, 25 Wiese 등의 모델에서는

• 수퍼바이저 스타일의 차이가 학습에 미치는 영향(전문적 대 비전문적 행동 모델링, 마이크로 매니지먼트 대 미니멀리스트 수퍼바이저 스타일)과
• 연수생 간의 차이(자신의 학습에 대한 연수생의 주체성, 부적절한 지원 추구에 대한 인식 및 두려움, 피드백 추구 행동)를 강조했습니다.24

WBL에 대한 Billett의 논문에서도 마찬가지로 개인이 사회적 맥락에서의 참여, 환경 단서의 흡수 및 자신의 진행 상황 모니터링을 포함하여 제공되는 학습 경험에 참여할 수 있는 다양성을 강조하고 있습니다.25 따라서 다양한 교육생 목표 지향성은 WBA 시대에 새로운 것은 아니지만 임상 환경에서 직접 관찰, 피드백 및 평가의 요구 빈도와 인식이 증가함에 따라 더 큰 관심을 받고 있습니다.  
In the WBL literature base, individual differences in supervisor and trainee behaviours have been extensively described as modulators of learning.24, 25 In the Wiese et al. model,

• differences in supervisory styles were highlighted for their impact on learning (professional versus unprofessional behaviour modelling, micromanaging versus minimalist supervisor styles) as were
• differences between trainees (trainee agency over their own learning, perceptions and fears of inappropriate support seeking, feedback-seeking behaviours).24 

Billett's paper on WBL similarly emphasizes the variance through which individuals will engage in the provided learning experiences, including their engagement in the social context, uptake of environmental clues and monitoring of their own progress.25 Thus, the different trainee goal orientations are not new in the era of WBA but have received greater attention given the increased required frequency and perceived stakes of direct observation, feedback and assessment in the clinical environment.

4 논의
4 DISCUSSION

이 범위 검토를 통해 연수생과 교수진의 관점에서 WBA를 통한 학습을 탐구하는 광범위한 1차 문헌 기반을 확인했습니다. 이전 리뷰와 관점에서는 WBA의 실행,6,68 수용성, 효과 및 유용성을 검토한 바 있지만,20 본 연구는 WBA가 대학원 의학 학습에 미치는 영향을 총체적으로 탐구한 최초의 연구입니다. 긴장과 도전 과제를 재구성하기 위해 이 분석은 빌렛의 기존 WBL에 따라 진행되었습니다.25  
This scoping review identified a broad primary literature base exploring learning through WBA from the perspective of trainees and faculty members. While prior reviews and perspectives have examined the implementation,6, 68 acceptability, effectiveness, and utility of WBA,20 our study is the first to holistically explore how WBA impacts postgraduate medical learning. In order to re-frame tensions and challenges, the analysis was guided by Billett's existing WBL.25

우리는 학습을 '알고, 할 수 있고, 가치 있는 것'으로 변화하는 과정으로 정의합니다.25 이 광범위한 정의를 적용하면 학습이 항상 어떻게 발생하는지 명확해집니다. 임상 업무 환경에서는 교육생의 가치 체계 변화와 같이 모든 형태의 학습을 포착하거나 측정하기 쉬운 것은 아닙니다. 학습을 안내하기 위해 WBA를 사용할 때, 감독자가 직접 관찰하고 피드백을 제공하고 평가를 완료하는 능력에 따라 우선순위가 정해지는 특정 유형의 학습이 있습니다. 그 외의 관찰, 상호 작용 및 비공식적인 피드백은 체계적으로 포착할 수 없습니다. 이러한 점을 염두에 두고, 이 범위 검토에서는 WBA와 WBL 사이의 가장 강력한 연결고리로서 피드백을 강조합니다. 보건 전문직 교육에서 피드백은 '교육생의 성과를 개선하기 위한 의도로 주어진 교육생의 관찰된 성과와 표준 간의 비교에 대한 구체적인 정보'로 정의되었습니다.69 위에서 설명한 바와 같이, WBA는 이러한 객관적인 표준을 정의하고48, 49, 52, 54, 63 피드백 빈도의 증가를 유도함으로써 피드백의 구체성과 구조를 강화했습니다.10, 64 그러나 이러한 도구가 교육생에게 제공되는 피드백의 질을 확실하게 개선하지는 못했습니다.8, 53, 63 의미 있는 피드백은 종종 교수진에서 교육생에게 피드백이 선형적으로 전달되는 것이 아니라 교수진과 교육생 간의 공동 구성으로 설명됩니다.24 WBA는 이러한 논의의 출발점이 될 수 있지만,45 이러한 평가가 학습과 역량 평가라는 이중 목적을 달성하는 경우 교수진과 교육생 모두에게 기대치와 목표를 공동 구성하는 것은 실질적으로 어려운 일이 됩니다.7, 48  
We define learning as the process of change to what someone ‘knows, can do and values’.25 Applying this broad definition, it becomes clear how learning occurs all the time. In the clinical workplace, not all forms of learning are easy to capture or measure, such as changes to a trainees' value system. When we hone in on the use of WBA to guide learning, there are certain types of learning that become prioritized based on a supervisor's ability to directly observe, provide feedback and complete an assessment. Other observations, interactions and informal pieces of feedback cannot be systematically captured. With that in mind, this scoping review highlights feedback as the strongest link between WBA and WBL. Feedback within health professions education has been defined as ‘specific information about the comparison between a trainee's observed performance and a standard, given with the intent to improve the trainee's performance’.69 As described above, WBA has enhanced feedback specificity and structure by defining those objective standards,48, 49, 52, 54, 63 and prompting an increase in the frequency of feedback.10, 64 However, these tools have not reliably improved the quality of feedback provided to trainees.8, 53, 63 Meaningful feedback is often described as a co-construction between faculty and trainees, rather than the linear transmission of feedback from faculty to trainee.24 A WBA can act as a starting point for this discussion,45 but co-construction of expectations and goals becomes practically challenging for both faculty and trainees when these assessments serve the dual purpose of learning and assessment of competence.7, 48

4.1 향후 연구를 위한 격차 확인
4.1 Identified gaps for future study

4.1.1 연구 결과의 확장
4.1.1 Expanding research outcomes

이 범위 검토에서 수집한 문헌은 일반적으로 교수진과 연수생의 관점과 WBA 도구의 실행에 대한 반응에 초점을 맞추었습니다. 평가 도구에 대한 인식이 효능에 영향을 미치고,70 태도와 문화가 도구의 수용 가능성과 학습 가치에 영향을 미친다는 것은 분명하지만,63,71 인식을 넘어서는 연구를 시작하는 것이 중요합니다. WBL 이론에서 향후 조사해야 할 관심 있는 결과로는 WBA가 직장의 변화에 미치는 영향,25 전문가 정체성 형성, 안전한 의료행위 참여, 미래 의료행위 준비 등이 있습니다.24 이는 의료 학습 모델을

• 전통적인 자격 지표(지식, 기술 및 태도)를 넘어
• 사회화(전문가 그룹의 일원이 됨) 및
• 주체화(사려 깊고 성찰적이며 책임감 있는 의사 되기)로 확장하려는 최근 제안과 일치합니다.72

사회화 및 주체화를 탐구하는 미래의 학문적 작업은 신중하게 설계된 이론 기반 종단 질적 연구를 통해 추구할 수 있습니다. 
The literature captured in this scoping review generally focused on faculty and trainee perspectives and reactions to the implementation of WBAs tools. While it is clear that perception of an assessment tool will impact the efficacy,70 and attitudes and culture will impact the acceptability and learning value of any tool,63, 71 it is important that we start to move beyond perceptions. Future outcomes of interest to investigate in WBL theory could include the impact of WBA on transformation of the workplace,25 professional identity formation, safe participation in practice and preparation for future practice.24 This aligns with a recent proposal to expand the medical model of learning beyond

• traditional qualification metrics (knowledge, skills and attitudes) to include
• socialization (becoming a member of a professional group) and
• subjectification (becoming a thoughtful, reflective and responsible physician).72 

Future scholarly work to explore socialization and subjectification could be pursued through carefully designed theory-informed longitudinal qualitative studies.

4.1.2 평가 어휘집
4.1.2 Lexicon of assessment

프로그램적 WBA에 적용된 어휘집은 감독자와 훈련생이 공유된 정신 모델을 개발하는 능력을 의도하지 않게 방해했을 수 있습니다. 최근 사용자의 공유된 이해를 개선하기 위해 WBA의 설계와 위임 언어를 최적화해야 한다는 주장이 제기되었습니다.73 언어는 평가의 인지된 부담에도 영향을 미칠 수 있습니다.14 자율성과 유연성을 강화하는 언어로 WBA를 설계하면14, 15 학습자의 주체성을 촉진하고 다양한 교육 상황 및 문화와의 조율을 지원할 수 있습니다.73 이러한 변화는 학습 결과를 설명하기 위해 고안된 도구가 대화, 여러 이해관계자의 관점, 학습이 이루어지는 시스템의 복잡성을 통합해야 한다고 제안하는 경험적 학습 이론 및 문화역사 활동 이론과 일치합니다.23 이는 직장에서의 사회적 학습을 의도적으로 통합하는 훈련생에 대한 성과 관련 피드백으로의 전환을 강화하는 역할을 할 것입니다.74 WBA 프로그램을 재설계할 때 우리는 질문을 할 수 있습니다:

• 학습을 보다 효과적으로 안내하기 위해 WBA 중에 발생하는 복잡하고 상황에 기반한 상호 작용을 포착하도록 도구를 최적화할 수 있을까요?

이러한 재설계에는 이러한 평가의 객관성 부족에 대한 불만을 지속하기보다는 직장 기반 평가에서 '공유-주관성'을 포용하고 중요하게 여길 기회가 있습니다.18 향후 작업에서는 설계 반복에 정보를 제공하기 위해 직장 학습에 관한 지표를 사용하여 WBA를 운영하는 품질 개선 접근법을 채택할 수 있습니다.
The lexicon applied to programmatic WBA may have unintentionally impeded the ability for supervisors and trainees to develop a shared mental model. It was recently argued that the design of WBA, and the language of entrustment, needs to be optimized in order to improve the shared understanding of the users.73 Language is likely to also have an impact on the perceived stakes of an assessment.14 Designing WBA with language that enhances autonomy and flexibility14, 15 could promote learner agency and support alignment with different training contexts and cultures.73 This shift would align with both experiential learning theory and cultural historical activity theory, which suggest that tools designed to describe learning outcomes need to integrate dialogue, perspectives from multiple stakeholders, and the complexity of the system in which the learning takes place.23 This would serve to reinforce the shift towards performance-relevant feedback for trainees, which intentionally integrates social learning in the workplace.74 In re-designing our programmes of WBA could we ask the question: 

• Can the tools be optimized to capture the complex and situationally-rooted interactions that occur during WBA in order to guide learning more effectively? 

There is opportunity in this re-design to embrace and value ‘shared-subjectivity’ in workplace-based assessment rather than perpetuating the frustration about the lack of objectivity of these assessments.18 Future work could adopt a quality improvement approach in operationalizing WBA using metrics around workplace learning to inform design iterations.

4.1.3 범위 확장: 문화적, 이론적, 철학적 토대
4.1.3 Expanding the scope: Cultural, theoretical and philosophical underpinnings

임상팀, 지역 문화, 임상 업무의 성격은 모두 WBL 환경에서 감독자, 수련생, 환자 간의 관계와 상호작용에 영향을 미칩니다.24 이 백서에서는 WBA의 실행이 직장을 어떻게 변화시킬 것인지에 대해 논의합니다. 여러 논문에서 (조직 수준에서) 문화적 변화의 필요성과 CBME 내에 WBA를 통합하기 위한 광범위한 동의에 대해 언급하고 있지만,48 다음은 여전히 불분명합니다.

• (1) 이를 어떻게 배양해야 하는지,
• (2) 임상 작업장의 변화(의도적이든 비의도적이든)를 어떻게 모니터링해야 하는지

The clinical team, local culture, and nature of clinical tasks all influence the relationship and interactions between supervisors, trainees and patients in the WBL environment.24 In this paper, we discuss how the implementation of WBA will transform the workplace. While papers speak to the need for cultural change (at the organizational level) and widespread buy-in for integrating WBA within CBME,48 it remains unclear

• (1) how this should be cultivated and
• (2) how we should monitor the transformation of our clinical workplaces (both intentional and unintentional).

이 리뷰에 포함된 대부분의 연구는 귀납적 질적 방법론, 주로 구성주의 근거 이론(CGT)을 적용했습니다. 완전 귀납적 연구 설계인 CGT의 경우, 연구팀은 데이터로부터 자체 이론을 생성합니다.75 현 단계에서 우리는 WBA 맥락에서 '긴장'으로 나타나는 행동과 정서적 반응을 이해하기 위해 향후 연구에서 사회문화 및 학습 이론이 필요하다고 주장합니다. 링가드와 클라센은 임상 수퍼비전의 복잡한 차원을 지속적으로 이해하는 것의 중요성에 대해 언급하며, 이는 WBA를 통해 수련생과 수퍼바이저의 행동을 평가하는 비선형 매트릭스를 포함합니다.76 우리는 이 렌즈를 통한 추가 연구가 학습을 위한 평가가 언제, 어떻게 이루어질 수 있는지에 대해 더 가까이 다가갈 수 있기를 바랍니다. 
Most studies included in this review applied inductive qualitative methodologies, predominantly constructivist grounded theory (CGT). In the case of CGT, which is a fully inductive study design, the research team generates their own theory from the data.75 At this stage, we argue that sociocultural and learning theories are required in future studies in order to understand the behaviour and emotional reactions presenting as ‘tensions’ within the WBA context. Lingard and Klasen comment on the importance of continuing to understand the complex dimensions of clinical supervision, a non-linear matrix that contains evaluating trainees' and supervisors' behaviours with WBAs.76 We hope that further research through this lens could move closer to if, when and how assessment-for-learning can be achieved.

이 백서에서는 임상 학습 환경에서 WBA를 사용하는 사람들이 공유하는 멘탈 모델의 부재와 이것이 교육생의 참여에 미치는 영향을 강조합니다. 한 걸음 물러서서 생각해보면 이러한 구현 문제는 CBME의 철학적 기원에 대해 생각해 볼 때 예측할 수 있었던 문제일 수도 있습니다. 타바레스 등이 주장한 바와 같이, 평가 문헌에는 역량의 철학적 토대에 대한 일관된 정신 모델이 부족하며, 일부 모델은 실증주의 또는 포스트 실증주의에 부합하고 다른 모델은 구성주의 또는 해석주의에 부합합니다.77 이러한 다양한 철학적 관점은 평가 설계, 실행, 교수진 개발 및 연수생과 WBA의 상호작용에 영향을 미치며, 이는 의심할 여지없이 학습에 영향을 미칠 것입니다.

• 실증주의적 관점은 일부 기준 기반 성과 표준에 초점을 맞출 가능성이 높으며,7, 39, 77 이는 성과 지향에 대한 긴장을 고조시킬 위험이 있습니다.
• 반면 구성주의적 관점은 강력한 심리측정의 필요성을 덜 강조하고, 유연성 향상과 학습자 선택권 확대를 통해 상황 및 문화적 요인을 포착하는 것을 수용합니다.77

우리는 WBA 및 학습 분야에서 연구자들이 다양한 철학적 입장을 계속 유지할 것임을 인식하며, 향후 작업에서 이러한 대화의 일관성과 명확성을 높이기 위해 연구자들이 자신의 철학적 입장을 명시적으로 공개할 것을 촉구합니다.77 연구자의 철학적 입장은 연구 결과와 얽혀 있으며 WBA를 통한 학습 결정의 기본이 될 것입니다.77 
This paper highlights the absence of a shared mental model by those using WBA in clinical learning environments and the impact of this on trainees' engagement. Taking a step back, perhaps this implementation challenge could have been predicted when we think about the philosophical origins of CBME. As argued by Tavares et al., there is lack of a consistent mental model around the philosophical underpinnings of competence within assessment literature, with some models aligning with positivism or post-positivism, and others with constructivism or interpretivism.77 These different philosophical perspectives will impact assessment design, implementation, faculty development and trainee interaction with WBA, which will undoubtedly impact learning.

• Positivist perspectives are more likely to focus on some of the criterion-based performance standards,7, 39, 77 which risks contributing to the rising tensions around performance orientation.
• Alternatively, a constructivist perspective de-emphasizes the need for robust psychometrics, and embraces capturing situational and cultural factors through enhanced flexibility and greater learner agency.77 

We recognize that there will continue to be a variety of philosophical positions held by researchers in the space of WBA and learning, and echo the call for researchers to explicitly disclose their philosophical position in order to enhance alignment and clarity of these conversations in future work.77 Researchers' philosophical positions are intertwined with research outcomes and will be fundamental to determining learning through WBA.77

4.2 요약
4.2 Summary

빌렛의 네 가지 전제의 렌즈를 사용하여 WBA를 통한 학습의 과제를 재구성하면 관찰을 상황화하고 표준화하여 앞으로 나아갈 길을 명확하게 제시하는 데 도움이 됩니다.

• 학습은 WBA 획득 여부와 관계없이 WBL 내에서 항상 발생한다는 것이 분명해집니다. 지나치게 규범적이지 않다면, WBA는 WBL에서 학습 목표의 명확성을 높이고 덜 일반적으로 관찰되지만 진정한 임상 술기에 대한 직접적인 관찰과 피드백을 장려하는 역할을 할 수 있습니다.
• 또한, WBA에 대한 우리의 지속적인 참여는 우리의 업무 환경을 변화시키고 있으며, 우리는 이러한 영향을 파악하고 이해하는 초기 단계에 있습니다. WBA가 학습이나 목표 지향성에 미치는 영향에 대해 '모든 것에 맞는' 하나의 정의를 내릴 수는 없다는 점을 인식하는 것이 중요합니다. 즉, 부분적으로는 WBL 환경 내에서 WBA 프로세스에 대한 참여가 개인적, 사회적으로 매개되기 때문입니다.
• 마지막으로, 우리는 WBA와 WBL 모두에서 학습의 조절자를 이해함으로써, 교육 프로그램이 다양한 사회적 환경 내에서 개별 학습자의 요구에 맞게 평가 전략을 조정하고 '실천 속에서 아는 것'에 필요한 주관성을 포용하는 시스템을 만들 수 있다고 제안합니다.

Re-framing the challenges of learning through WBA using the lens of Billett's four premises helps to provide clarity on a path forward by situating and normalizing our observations.

• It becomes clear that learning occurs all the time within WBL, irrespective of whether WBAs are obtained. If not overly prescriptive, WBA can serve to enhance clarity of learning goals in WBL and to encourage direct observation and feedback on less commonly observed, yet authentic, clinical skills.
• Furthermore, our ongoing engagement with WBA is transforming our workplace, and we are early stages of capturing and understanding this impact. It is important to recognize that we cannot seek to define a ‘one size fits all’ understanding of the impact of WBA on learning or goal orientation. That is, in part, because engagement in the WBA process within the WBL environment is both personally and socially mediated.
• Finally, we propose that understanding the modulators of learning in both WBA and WBL may allow educational programs to tailor their assessment strategies towards individual learner needs within different social environments, and to create a system that embraces subjectivity required for ‘knowing in practice’.

4.3 한계
4.3 Limitations

범위 검토의 좁은 초점 때문에 직장 내 평가와 학습을 모두 다룬 주요 연구 논문만 포함되었습니다. WBA를 사용하여 학습을 위한 평가를 달성하는 방법에 대한 관점과 논쟁이 증가하고 있지만, 우리의 의도는 이 분야를 알려주는 주요 데이터를 종합하는 것이었습니다. 또한 실제 임상 환경에서의 학습 및 평가에 대한 광범위한 개념에 초점을 맞추었기 때문에 통제된 환경에서 개별 WBA 도구를 실험적으로 검증하는 동안 학습 결과의 개발 및 측정에 관한 모든 1차 문헌을 수집하려고 하지는 않았습니다. 검색 전략은 포괄적이었지만, 연구팀은 검색 전략을 추가 데이터베이스에 적용했다면 추가 연구를 포착할 수 있었을 것이라는 점을 인지하고 있습니다.
Given the narrow focus of a scoping review, only primary research papers that captured both assessment and learning in the workplace were included. While there are growing perspectives and debates regarding how to achieve assessment for learning using WBA, our intention was to synthesize the primary data that informs this space. Furthermore, given the focus on the broader concepts of learning and assessment in the authentic clinical environment, we did not seek to capture all primary literature regarding the development and measurement of learning outcomes during the experimental validation of individual WBA tools in controlled settings. While the search strategy was inclusive, the research team recognizes that additional studies may have been captured if the search strategy was applied to additional databases.

4.4 교육자 및 연구자를 위한 시사점
4.4 Implications for educators and researchers

이용 가능한 문헌에 따르면 WBA는 '학습을 위한 평가'와 '학습에 대한 평가'라는 두 가지 목적을 달성하기 위해 활용되고 있지만, 실제로 이러한 상호 목표가 달성되었음을 아직 입증하지 못했습니다. 현재 우리는 평가와 학습에 대한 가정 사이에서 교착 상태에 빠져 있습니다. 이 백서에서는 WBL 이론에 주목하여 이 논의를 재구성하고자 했습니다. 우리는 학습과 사회문화 이론을 연구 설계에 더 많이 통합하고, WBA를 통해 학습에 관한 모델을 업데이트할 때 연구자의 철학적 입장에 명확히 맞출 것을 제안합니다. 실질적으로, CBME 교육 맥락에서 리더와 교육자들은 현재의 WBL 환경에서 교육생들 사이에 존재할 다양한 관점을 잘 설명하는 것이 중요합니다. 
The available literature suggests that although WBAs are being utilized to serve the dual purpose of ‘assessment-for-learning’ and ‘assessment-of-learning’, we have yet to demonstrate achievement of these mutual goals in practice. We are currently in a stalemate between assessment and learning assumptions. In this paper, we have sought to re-frame this conversation by attending to WBL theory. We propose that learning and sociocultural theory be more heavily integrated into research design, with clear alignment to the researchers' philosophical position when updating models on learning through WBA. Practically speaking, it is critical that leaders and educators in a CBME training context come to recognize the well-described variety of perspectives that will exist amongst their trainees in the current WBL environment.

5 결론
5 CONCLUSION

결론적으로, 빌렛의 네 가지 전제25에 따라 WBA와 WBL의 중첩에 초점을 맞춘 문헌을 종합하여 중요한 격차를 강조하고 CBME의 궁극적인 목표인 직장 내 학습을 위한 평가를 달성할 가능성을 높이기 위한 주요 탐구 방법을 확인했습니다. In conclusion, by bringing together the literature that focuses on the overlap between WBA and WBL framed by Billett's four premises,25 we have highlighted critical gaps, and identified key avenues for exploration to increase our chances of achieving the ultimate goal of CBME: assessment for learning in the workplace.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.