새로운 의료인문학(들)과 한국 의료인문학의 자리* (Philosophy of Medicine 2023)
최은경(경북대학교 의과대학 의료인문·의학교육학교실)

 

1. 서론

의료인문학은 아한국에서 생소한 학문이다. 한국에서 의료인문학을 설명할 때 대부분은 이 학문이 설고 지의 학문에 가깝다는 반. 하지만 한국에서 의료인문학 중 중요한 분과학문으로 여겨지는 의사학(醫史學, history of medicine)이 의과대학 내에 자리 잡은 것은 만 75년 전인 1947년이다.1) 방 후 를 정비하는 의 상황에서도 의학의 역사를 설명하고 탐색하는 것이 의학교육에서 설다고 여겨지지 않았다는 것이다

의학이 한국에서 새로운 형태로 형성되어야 할 이 시기에 의사학 (醫史學)학문이 의학 아카데입된 식은 여러 가지로 미롭. 아마도 대다수 의사에게도 의학의 역사를 배워야 하는 물음에 대해 명이 나지는 을 것이다. 의과대학에서 소화해야 한다고 여겨지는 은 과과 비해서는 더욱더 그러하다. 그럼에도 의사학 과목이 오늘날까지 한국 의과대학에서 많이 가르쳐지고, 일종의 중요한 교양과목과 같이 남겨져 있게 된 까닭은 무엇일까.2) 그것은 인문학이 의학이학문에 영향바와 여러모로 관지어 생각하지 을 수 없다. 서양에서는 중세 대학 때부고전과 문구하는 기이 모학문 연구에서 필수였다. 의학 역시 갈스를 비롯한 위대한 이론가들의 원전을 우는 것이. 과거에는 역사학적 문을 고하는 것과 의학은 개가 아니. 역사적 리는 다르나 한의과대학에서 고전 원전을 는 것이 으로 아 있는 것 한 이러한 관적으로 이해수 있다.

의학에서 과학적 법론과 임상 증례 방법론이 부상하기 시작한 19세기 이에도 문화와 문의 비구는 의학의 한 법론으로 남았. 르나르를 중심으로 실험의학 법론이 등장하고 실험실 내 구가 지식 생산 법론이 되으나 질병의 과거 모이 어하였는 지는 실험실에서 재현되기어려. 헌의 비판적 검토를 통해서 질병의 역사 지리적 분포를 탐구하는 것은 초기 의학사의 방법론이었고, 이후 학제로서의 의학사가 되었다.3) 한국에서 의학사는 제국대학 의 영향을 받은 식민지 의학 엘리트들의 교양으로 처음 시작되었다고 볼 수 있다. 일제강점기 제국대학에서 학부와 사를 마친 윤은 해방 후 두종함께 대학의과대학에 의사학실을 설립 하고 대한의사학회 창립을 이하면서 의사학이 의학교육의 분과로 는 데 기여하였다. 여기에는 그가 토제국대학에서 형성한 양주의적 관심이 영향을 것으로 작된다.4)

그럼에도 불구하고 한국 의료인문학의 역사에서 오래된 의사학의 역사는 곧잘 누락된다. 이는 학문으로서의 의료인문학이 의과대학 내에서 등장한 이와 이전의 역사가 절된 . 그러나 으로 한국 의학의 역사에서 의료인문학을 소거시으로써 한국 의학의 성장과 의료인문학을 개로 간주하는 경과도 관없지 . 이러한 경은 한국 의학의 맥락에서 한국 의료인문학의 위치를 사유하기 어게 만. 나아가 의학의 주요한 요소로서 의료인문학의 위상과 역할을 고려하기 난망하게 만.

본 글은 다양한 의료인문학의 맥락과 갈래 속에서 한국 의료인문학의 역할을 탐색하는 것을 적으로 한다. 이를 위해 우‘인문학으로서의 의학’, 의료인문학이 의과대학에서 하나의 학제로 형성되어 온 과정을 추적한다. 특히 전인적 인간 형성을 표로 하는 인문학 부 가 타인에 대한 연공감 등을 요청하는 의과학 반성의 요구와 으면서 의학교육에 강조되는지를 살펴본다. 1990대 이국내에 부상한 의료인문학 도입 경으로서 의학교육의 글로라이제이을 살, 이를 의학을 인문학적 요청이라는 측면에서 비적으로 검토한다. 마지으로 한국 의료인문학의 위상과 역할을 ‘전문성’과 ‘’이라는 역을 로 들며 제하고자 한다.

1) 1947년 서울대학교 의과대학에서 수립된 의사학교실이 수립된 해방 후 최초로 설립된 의사학 전담 부서이다.
2) 2014년 예방의학회에서 전국 의과대학 의료법규와 인문사회의학 교육현황을 조사한 데 에 따르면 60% 이상의 대학에서 해당 명칭으로 개설되어 있다. 의료법규 및 인문사회 의학 교육개선 특별위원회(2014).
3) 최초의 근대적 의미로 의학의 역사에 관한 서적을 남긴 사람은 커트 스프랭글(Kurt Polycarp Joachim Sprengel, 1766-1833)이었다. 그는 실용적 문헌 고찰을 통해 문 화의 역사로부터 의학의 이론을 추론해 낼 수 있다고 믿었다.
4) 홍종욱(2018), 185-204. 홍종욱은 윤일선이 교육을 받은 구제 고등학교와 제국대학 이 ‘교양주의’의 산실이었고, 그 ‘교양주의’는 ‘학력엘리트의 신분문화’를 낳았다고 설명 한다. 윤일선은 해방 후 서울대학교 의과대학 교수이자 초대 대학원장을 역임하며 서울대학교 의과대학에 의사학교실이 설치·운영하는 데에 기여하였다.

2. 의학교육에서의 의료인문학

“인문학으로서의 의학”은 달리 말하면 ‘의생명과학으로서의 의학’이 급부상한 후 만들어진 거울상이다. 과거 의학은 이론과 의학 간의 연결고리가 강하였다. 하지만 과학적 법론이 부상하고 주화되면서 문헌 탐구와 은 의학의 래된 인문학적 법론은 일의 그, 여물로 남았. 우가 '문화'에서 지한 상호 이해 불능한 문화처럼 의과학과 인문학은 상호 다른 두 문화의 지칭처럼 여겨지기도 하였다.5) 그러나 의학에서 인문학적 요소가 완전히 배제된 적은 없다. 도리어, 인문학적 법론이 과학적 법론으로 대체되면 록 오히려 인문학과 의과학은 어더욱 더 긴장된 관계에 여 있다고 수 있다. 1919년 오슬러가 마지대중 강연에서 의과학과 인문학의 ''을 비을 때 그는 과거를 히포크스와 갈스를 아는 것만으로 진료하기에 했던 시간으로 상한다.6) 주의 시대에 접어 과학 법론이 더욱 많성하면서 의과학 법론은 인문학적 위와 무게가 받아들일 만한지, 과학 이론에 비어 효과적인지 물. 반면 인문학은 도리어 의과학의 법론에 비어 인문학의 효용을 고 되리고자(revival) 하였다. 의학 지식이 점차 세분화되고 교육제도가 격하고 과학적 법론이 기를 잡았던 20세기 전반, 도리어 오슬러와 같은 의사들은 의과학에 대비되는 의학의 오랜 이상은 인문학에 있으며, 의학교육의 핵심에 자리를 잡아야 한다고 보았.7) 그것은 질병과 병리로 환원되지 는 인간에 대한 은 이해를 바으로 한 동정과 공감이 인간을 치유할 수 있다는 이상을 전제로 한 것이. 오슬러가 보기에 과학은 상대적으로 냉혹하고, 인간을 전체적인 존재로 간주하지 않으며, 비인간화할 가능성이 높아서 인문학을 갖춘 의학은 이러한 과학의 독성을 치유할 수 있는 해독제와 같은 것이었다.

오슬러 등의 우려 이'의료인문학'이 하나의 별도 영역이자 학제 로서 등장한 것은 1990년대로 접어들고 나서이다. 의료를 형용사로 조합어인 '의료인문학(medical humanities)'이 하나의 간-학문적인 학제로서 와 유을 중심으로 의학교육의 새로운 물결로 도입되 기 시작하였다. 의학의 인문학은 의학의 '비인간화'에 대한 우려, 고령화로 인한 만성 질병 중심의 의료 이용의 시대의 도래 등에 힘입어 의과학에 대한 환희가 잦아든 이후에 본격적으로 중래하기 시작하였다. 물론 1960-70대에도 인문학에 가운 학문으로 생명리학이학제가 새게 등장하였다. 이 학제는 주로 기존에는 생각하지 못했 던 생과 음의 리적 문제를 다루으며, 의료 자원 분와 인간 대상 연구의 리적 이등 주제를 . 한 에드문드 그리나 에은 명망 높은 의사-학자들은 오슬러의 이상을 이어받아 생명리학 학제 내외에서 교류하며 '인문적 의사' 에 대한 이상을 논의해 나. 문학 전공자들을 중심으로 개별적인 의료인문학 교육들이 조금씩 이루어지고 서사의학에 대한 관심이 생 겨난 것도 이때라 할 수 있다.

다면, 의료인문학이학제가 본격 등장하기 이전인 이 시기에서 다의학 내 휴머니즘, 또는 인간학이란 무엇일까. 그리는 르상스와 계주의에서 비롯된 휴머니즘의 이상이 의학의 인간적 가치에서도 숨쉬어야 한다고 보고 합리적이고 과학적인 요소로 자하면 이를 러서는 안 된다고 보.8) 그가 보기에 은 문학적 교육학적 이상이, 교육적 인식론적 이상(그리스 어원으로 paideia)과에 대한 공감''(그리스 어원으 로 philantropia) 가지 요소를 것이. 의학 내 휴머니즘 (humanism in medicine)은 의사가 인식론적으로 언어와 기예를 갖춤과 동시에, 인간으로서의 환자에 대해 의사가 정념적인 감정을 가지는 것 둘 다를 의미하였다. 전자는 자유게 계된 인간이라면 갖추어야 할 기다면 자는 관적 치료라는 위를 어서 인격으로서의 환자가 가지는 유일을 마주하는 것이. 그리전자의 표를 위해 고전 언어의 습득과 문헌의 독해 등 전통적인 인문학 훈련에 반드시 기댈 필요는 없다고 보았. 하지만 구에게도 속되지 교육받은 자유인으로서의 의사는 비판적으로 현상을 바라보고 사고하는 훈련을 거쳐야 했고, 단지 기술자인 동시대인으로 부터 자신을 구분할 수 있어야 하였다. 

5) Snow(1959)/ 오영환 역(2001).
6) Osler(1919), pp.1-7.
7) Osler et al.(2002).
8) Pellegrino(1974), pp.12881294.

그리가 의학교육의 인문학 필요성을 강조한 데에서 수 있 , 의학 내 인문학 전통의 재소환은 20세기 들어서 과학적 기술의 독점과 방법론의 강화에 대한 반발로 제시되었. 의과학 법론의 대는 주로 가지 차원에서 기존의 의사상에 대한 위협처럼 여겨. 과학기술에 대한 으로 인해 한기능인으로 전할 것에 대한 우려의 한으로 환자를 지 기술의 대상으로 소외시킬 것에 대한 우려가 존재. 기간 의학 내 '인문학'용어가 지하는 바는 때로는 교양인으로서 의사가 지녀야 할 품성이었고, 의사가 가져야 할 인간에 대한 이해였다. 의 비적 해을 통한 인 문학적 법론은 전자를 위한 방편자는 고통을 이해하고 동정과 공감을 나는 인문학적 치유 이상이. 그러나 두 가지가 꼭 '인문학'이란 용어로 통합되어야 하는 것인지에 대해서는 불분명한 채로 남아 있었. 왜냐하면 인문학적 법론과 인문학적 치유 이상이 일치하는 것이 아니며, 때로는 갈등적일 수 있기 때문이다. 그리역시 인문학의 특성에서 'paideia'의 요소와 'philantropia' 의 요소를 구분하여 제시으로써 다 의학에서 필요을 설하였 으나, 적은 똑같않았. 하나는 의사가 교육받은 젠틀맨이자 사회의 주요 구성원으로서 지녀야 할 역량과 품성을 위해 필요한 것이었고, 다른 하나는 의사가 환자를 대할 때 발휘해야 할 덕목에 가까웠다.

의사가 기능인 이상의 직업인이 되기 위해서 인문학은 우초 교교육으로서 의사로서의 성장에 기여해야 . 의학교육 영향보고서를 작성하면서 과학적 구 능력을 양하는 것을 강조한 한 인문학은 기초 교교육으로 필수적으로 전제되어야 한다고 보.9) 

9) Doukas(2010), pp. 318–323. 플렉스너는 자신의 보고서를 통해 과학 커리큘럼 중심 으로 미국 의학교육을 재편하는 데에 큰 영향을 끼쳤으나 15년 후 '의학은 오늘날 문화적 철학적 배경을 잃어 가고 있다'라며 후회하였다고 한다. 플렉스너는 의사는 환자 돌봄의 영역에서 특히 인문학적 역량을 갖추어야 한다고 보았다.

그러나 인문학은 양인으로서의 의사를 비하는 기반에만 국한된 것이 아니. 1984년 펠레그리노는 의학 내에서 인문학을 가르쳐야 하는 이유에 대해 더욱 강조하면서 다음과 같은 이유를 들었다. 10) 의사는 인문학을 동반자적 구로 면서

  • 1) 환자와의 관계에서 그리고 과학자 사회에서 언어를 읽고 이해하고 판단하는 사고 능력을 교육하는 교양을 얻고 마음을 자유롭게 할 수 있고
  • 2) 과학적으로 설명 하거나 측정하기 어려운 현상의 심상(imagination)을 자유롭게 하며
  • 3) 인간으로서의 '영혼의 즐거움'을 함양할 수 있었다.

, 초교양인 뿐만 아니라 임상의로 성장하는 데에도 인문학은 임상의로 성장하는 데에 없어서는 안 되는 지속적인 자양분이 될 수 있었, 그 성장 과정에서 더욱 성해질 수 있. 세 가지 모환자의 고통이라는 미망 한가운데에서 의사가 한 명의 계된 자유로운 으로 살아갈 수 있는 해결.

인문학이 의사의 성장에만 도거라 믿은 것은 아니. 초기 의료인문학자들은 실천적 영역에서 인문학은 환자를 단지 기술의 대상으로 축소하지 않고 환자의 고통의 의미를 해석하고 포용하는 것을 도울 거라 보았. 인문학적 양에 대한 강조가 환자에 대한 이해를 이리라는 것에 대해 의문을 제기할 수 있다. 특히 인문학적 양에 대한 강조가 지 자들만의 리트주의적 취향과 이해로만 결된다면 공감 등의 성을 강조하는 것이 무의할 것이다. 이것은 '인문학(humanities)' '인문주의(humanism)'란 단어에 내장이기도 하다. 래전 로마의 시세로(Cicero)가 인문과 부라 는 용어를 결합한 소위 liberal arts, "studia humanities"라는 인문학 을 설한 이래 인문학은 교육의 이상으로 자리 잡았. 하지만 paideia와 philantropia가 같은 인문학(humanities)에 묶일 수 있을지에 관해서는 고대부터 의문의 여지가 있었.

  • 이를테면 로마 저술가 아 울루스 겔리우스(Aulus Gellius)는 humanitas와 philanthropia의 결합이 잘못된 해석이라고 주장했다.11)
  • 독일 교육철학자 프리드리히 니데 머(Friedrich Niethammer) 역시 시세로의 인문학 개념을 재발견하면 서 제2의 인문주의(humanism)운동을 불러일으켰으나 동료 시민의 교양을 부흥시키는 박애주의 교육(philanthropic education)에는 반대했다.12)
  • 그럼에도 불구하고 교양으로서의 인문학의 특징이 희석되면서 오늘날 인문주의는 로크와 루소의 교육의 이상, '인간에 대한 사랑', 즉 박애주의적 교육의 의미에 더 무게를 두는 것으로 이해된다.

서구의 역사에서 교육과 의술은 박애주의라는 전통을 공유한다. 특히 의료에서 각인간에 대한 아가페적 헌신, 주의적 전통에 대 한 강조는 의사-환자 관계치유(healing)라는 이상을 소환한다. 인으로서의 의사가 이러한 치유의 이상과 마나 밀하게 결합할 수 있을지는 운 물음은 아니다. 궁극적으로 신으로부터만 가능하다고 여긴 치유의 이상을 세속 인간의 몫으로 넘기는 순간 긴장은 피할 수 없을지도 모른. 그리를 비롯한 의학-인문학의 구자들은 이 사라진 시대 의술의 모은 의사-환자 관계 속에 있다고 보. 은 치유하는 관계로서 환자-의사 관계가 내하는 본질적 구속에 가, 의과학만으로는 히기 어려운 성질을 고 있.13) 의과학 방법론에 대한 지나친 강조는 치유하는 관계로서의 환자-의사 관계가 소외될 가능성이 있는데, 특히 고통에 대한 적절한 이해력이 훼손될 수 있었. 고통은 지 생물학적 지에서 한 사람의 유기체로서의 조화가 실하는 것만이 아니. 유기체로서의 조화에 별 이상이 없더라도 고통은 겪을 수 있었다. 체적 고통을 어 고통은 한 사람의 자의 인생에서 상실과 훼손의 위협에 을 의하기 때문이. 은 의학교육에서 인문학의 장소를 물으면서 과학으로 국소적이고 제한된 이해만으로는 환자가 가져오는 기대, 이해, 판타지, 의미, 공포, 두려움을 직면할 수 없고 온전히 이해하기 어렵다고 보았다.14) 의료인들은 계속 환자의 고통과 음을 마주할 수에 없다. 이를 받아들이는 법은 인간의 어를 다루고 소화하고 어 이면을 다수 있는 능력을 통해서이다. , 인문학적 이해와 능력은 고통에 관한 과학적 구와 개념화를 지하고 고하 는 데에 도것으로 기대되. 

10) Pellegrino(1984), pp. 253-266
11) Adler(2020).
12) Becker and Becker(1992). p.801.
13) 펠리그리노는 임상의학의 내재적 모럴(internal morality)는 아리스토텔레스식의 ‘좋음’의 목적 속에 내포되어야 하며, 결과주의적 목적과는 구분된다고 본다. 그리고 이것이 의료전문직 윤리의 근간이라고 주장한다. Pellegrino(2011a), p.63 참조.
14) Cassell(1984).

3. 서구의 의료인문학 교육 등장과 글로벌 의료인문학, 한국 의료인문학

국과 등지에서 1990대 들어 의료인문학이 일의 새로운 물결처럼 등장하였을 때 에서 언급한 의료인문학 교육제 모를 다루고 있다고 보.

  • 1972년 문학 전공자가 펜실베이니아 의과대학 교수로 처음 임명된 이후 북미에서는 문학 전공자들 이 주도하여 <문학과 의학> 붐을 주도하였고 의료인문학을 대표하는 흐름으로 자리 잡았. 이 당시 의료인문학은 의사들의 감성적 성장과 환자의 질환과 고통을 하나의 스토리로서, 서사로서 이해하는 것을 목적으로 하였고, 사회적 변화와 그 속의 의사의 위상 변화는 좀 더 다른 이야기였다.
  • 1990년대 들어 환자 중심 권리의 등장과 의료의 시장화, 관료화 등의 변화 속에서 의료계에서도 기존의 견고했던 교육받은 젠틀맨이라는 의사의 위상이나 그의 가부장적인 권위가 쇠퇴하기 시작하였다. 의사라는 전문직업성 교육이 새롭게 등장하였고, 변화하는 사회에 능동적으로 대응하는 전문가 형성을 목표로 하였다. 펠레그리노 등이 덕 공동체로서의 의사 직업공동체를 강조하고 전문직 관계의 덕목을 촉구하였을 때 이는 의료인문학 교육의 얘기에만 국한된 것이 아니었다.15) 미국의 전문직업성 교육 주창은 전미 의과대학 학장협의회, 졸업 후 의학교육 인증위원회, 미국 내과의사회 등 에서 이루어졌으며, 근본적으로 이들 의료계가 사회와 맺고 있는 책무와 깊게 관련지었다.

국내의 맥락좀 더 다르다고 보아야 할 것이다. 한국 의과대학에 서 의료인문학 교육이 어떻게 서구와 다른 영역들을 포괄하게 되는 지에 관해서는 복규, 중의 글에서 잘 다루고 있다.16) 의사학이란 오래된 학제가 있었지만, 한국에서 의료인문학 교과목이 본격 소 개된 것은 2000년 의사 파업 이후였다. 처음으로 단체 행동에 나서면서 의사들은 소위 '사회화'의 과정을 겪었고, 전문직으로서의 의사의 힘을 각성하였다. 인문학 교육은 사회와의 '소통'의 측면에서 강조되었. 이는 의료계가 사회로부터 고립된 측면을 탈피하고 사에서 재차 리을 발하는 데에 도수 있을 것으로 기대하였다. 과거 국에서 교육득한 학생들이 의과대학에 진입으로써 전문으로서 지위를 고히 하는 데에 도수 있을 것이라는 기대가 있다면, 다시 인문학 교육을 통해 사회에 대한 이해와 의사 소통 능력이 향상될 수 있을 것으로 여겼다.

그러나 인문학적 이해와 교육의 토대 위에 분히 이지 한국 의학교육에 도입된 의료인문학 교육, 그동안 생소했던 윤리와 인문학에 관한 갖가지 교육과정이 의과대학에 난무하는 결과로 이어졌. 의료인문학은 기존의 의료와 사에 관한 교육당해 왔예방의학, 의료관리학 등의 학제와의 구분이 불분명한 채로 '인문사회의학'이란 용어로 뭉뚱그린 채 회자되었. 그리고 20년 후 또 의 거대한 의사 이 일어나고 의료시스과학이새로운 교 육과정들을 도입하려는 움직임이 지면서 인문학 교육다시 자의 존재 의를 물어야 할 필요에 . , 주지하다시서구와 한국의 의료인문학교육은 의과학에 대한 반성과 그걸로 소급되지 않은 의학의 가치를 강조하는 일환으로 도입된 것이 아니었. 인문학적 요소가 개화되지 않았던 과거 의학교육에 대한 래된 기을 가지고 도입된 것도 아니. 그것을 도입한 이들은 '' 인재이자 전문인으로서의 의료인이 수 있기를 하였다. 한국 의사들은 노동자성, 즉 일종의 노동자 정체성으로서 파업을 수행하였으나 그 결과로 노동자성과 다른 전문직업인 교육으로서 의료인문학 교육을 도입하였다. 그래서 한국의 의료인문학 교육은 의과학 방법론 강화에 따른 인간 가치의 소외라는 서구의 테제보다는 주로는 의료계에 대한 정부의 인정과 리더십에 대한 불만에 초점을 둔. 그리고 과학 이후 또는 과학 외부에서 학문으로서의 의료인문학이 지니는 특수성-즉, 환자의 관심사나 환자의 이해를 고려하며 의사-환자 관계의 가치를 다루는 특수성이 그다지 많지 않. 한국 의학과 의료계에서는 소위 의과학 중심성에 대한 반성과 한계라는 서구 의료인문학의 주요한 테제가 주류가 되지 못한다.

하지만 이를 한국 의료계의 협소한 이해 때문이라고 국한하는 것은 구조적 측면을 소거한 타자화의 식에 지나지 을 것이다. 해야 할 점은 의생명과학이 글로벌가 된 한으로 의료 인문학 역시 글로가 되다는 점이다. 글로화된 의생명과학의 지식 생산과 환시스에서 의료인문학은 게 논외가 아니며, 전세계적 의학교육인증 시스에서 의료인문학은 "관련 행동 및 사회과학 영역(relevant behavioural and social sciences)"으로 다소 애매하나 주요한 인증 기준으로 자리잡고 있다.17) 여기서 인문학이라고 명시되어 있지 는 데에는 의료인문학의 가치에 대해서는 인정되나 그것이 글로의학교육의 표이자 역으로 정의되기에는 모호과 어려이 있기 때문이 아닌지 의심된다. 의학교육의 글로화의 움직임은 의생명과학 기술이 글로화되고 그에 따른 보건·의료인력 환자, 자원의 이동이 심화하면서 글로벌 보건(global health)이 중요한 화두로 제시되는 데에 비롯된다.

  • 다양한 자원의 환경 속에서 보건인력들은 기존의 의사, 간호사, 기타 치료사 등의 인력 양성 구분을 넘어선 역량 중심 양성에 기반을 둔 협력을 요구받으며 의사소통 및 문화적 역량, 윤리적 행동능력 등을 키울 것을 요구받는다.18)
  • 그리고 글로벌 보건 인력들이 개발되어야 할 역량으로 "유연성, 적응성, 문화적 감수성, 간-문화적 소통 역량" 등이 제시되면서 글로벌 보건 인문학 영역 또한 탐색에 들어서기 시작한다.19)
  • 최근에 한센(Narin Hassan) 등은 COVID-19를 계기로 글로벌 보건 인문학이 전환기에 들어섰다고 주장하며 20) 글로벌 보건의 하위 개념으로 글로벌 보건 인문학이 위치하는 것이 아니라 보건 인문학의 하위 개념으로 글로벌 보건 인 문학이 위치해야 한다고 주장한다.

그러나 개념적인 바람직함개로 오늘날 의료인문학 또는 보건인문학(health humanities)이 글로벌 보건만큼 영향력 있는 개념이 되었다고 보기는 어렵. 의료인문학의 글로화는 필연적으로 의과학기술을 수하고 적용되는 식과 지식 생산식이 이상 하나의 전통과 양태에 국한되지 음을 보여. 전세계적으로 기능인으로서 인으로서 글로보건을 하는 의사 "행동 과학 지식" 역시 득하며 글로세계시으로서 일차의료 역을 수행할 수 있어야 한다. 글로벌화의 지평에서 대두된 의료인문학의 가치는 오늘날 모두에게 건강을 추구하며 초국가적 협력을 강조하는 글로벌 건강 레짐과 별개로 사고하기는 어렵. 그것은 각국의 의학교육의 전통과 인문학교육의 전통이 어떠했는지, 전문직업성의 전통이 어떠했는지와는 큰 관련이 없다. 의 특수성은 자원의 격차와 문화적 차이 속에서 주로 거론되며, 의료인문학 교육의 비전은 글로벌 건강 세계 속 시민으로서의 비전과 좀 더 관련이 있다.

15) Pellegrino(2011b).
16) 권복규(2022); 김택중(2022).
17) World Federation for Medical Education(2020).
18) Frenk(2010), pp.19231958.
19) Stewart & Swain(2016), pp.25862587.
20) Hassan & Howell(2022), pp.133137.

그러므로 국내 의료인문학 교육의 현황을 논하면서 서구의 의료인 문학의 전통에 가음을 논하는 것은 일할 만하나 맥락바르게 이해한 것이라고 보기는 어. 주지하다시, 한국 의과대학이 공고한 기존의 교실 기반 의학교육을 넘어서 의료인문학 교육을 대대적으로 도입한 데에는 1990년대 중반부터 본격화된 한국 의학교육인증원의 의과대학 인정 평가, CanMEDs, 세계의학교육연합회 (World Federation of Medical Education, WFME)를 위시한 글로벌 보건의료교육기관 인증 체계의 도입에 있다.21) 의학교육이 글로스 체계에 입되면서 의료인문학의 도입 역시 강화되. 그러므로, 오늘날 건강 레짐 속에서 로컬의 의료인문학은 글로벌 의료인 문학의 일부로 기능할 수 있기를 기대받는다. 글로건강 속에서 오늘날의 의사는 로컬의 '현장 속에서(in)' 근무할 수 있는 인력으로서 로컬의 '옆에서(by) 로컬의 요구를 다룰 수 있는' '글로벌 관점' 으로 훈련받기를 요구받는다. 글로건강 속 의학교육은 경제성과 이타성을 재할 것을 요구받는다. 22) 그러므로, 한국 사회를 주도하는 인문학적 소양을 갖춘 고급의 의사 인력을 양성할 필요가 있 다는 엘리트주의적인 기대는 글로벌화된 의학교육의 맥락에서는 실현되기 어렵. 한국 의료계가 응당 한국의 의료 전통을 이해해야 하고 새로운 의료인문학 전통, 어쩌면 새로운 의학교육 및 교육의 전통을 쌓아가야 한다는 부름은 존재할 수 있으나, 적어도 최근 한국 의과대학에 도입된 의료인문학은 그런 맥락에서 도입된 것은 아니다. 그것은 한국 의사가 한국의 현장이란 전통 속에서, 그리고 전통을 비판적으로 사유하며 전통 옆에서 일할 수 있기를 요구하나 한국의 전통을 새롭게 창의적으로 건설할 것을 요구하지는 않는다. 글로세계화의 요구가 그러하, '의적으로' 되는 바는 글로의료 시이며, 한국의 의료 전통이 아니다.

21) 2000년대 이후 의과대학 의학교육 평가인증을 주도해 온 한국의학교육평가원에서는 세계의학교육연합회의 2015년 기준을 참고하여 2017년 ASK2019(Accreditation Standards of KIMEE 2019)를 개발, 평가 인증에 활용하기 시작하였다. 이 때 세계 의학교육연합회의 2015년 기준에 걸맞게 평가항목에 의료인문학 항목을 별도 삽입하 여 ‘의과대학은 의료인문학 교육과정을 운영한다’를 평가하고 있다. 다만 의료인문학 은 “행동과학, 사회과학, 의료윤리, 의료법규 등을 포함”한다고 정의하여 의료인문학 의 본래적 의미와 맞지 않는다는 비판이 존재한다.
22) Prideaux(2019), pp.2531.

 

4. 글로벌/로컬의 긴장과 비판적 의료인문학의 가능성

되어 의료인문학이 꼭 글로벌화의 요구에 복무해야 할 것인지에 대해 물음을 질 수 있을 것이다. 를 중심으로 시작된 CanMEDs 이나 World Federation of Medical Education (WFME)의 의학교육 인증 흐름은 정확하게는 의학교육의 경제적 비용 절과 분산적 , 그리고 각국의 의사 지망 엘리트들의 국적 을 가능하게 한다.23) 보건의료의 세계화라는 시대적 흐름은 거스를 수 없다 하더라도 그것이 초래할 결과가 글로벌 복지의 증진일지는 물음을 던질 수 있다. 그것은 로의 의료 수요를 논하지만 그를 통해 받은 로리트가 그에 무하지 게 만들 수 있으며, 과거의 서구 의학교육 전파의 예처럼 광범위한 두뇌 유출로 이어질 수 있다. 무성 교육이 글로의학교육 인증의 주요 기이나 그 결과 양성된 의사는 컬의 의료 수요에 복무하는 책무성 있는 의사가 되기보다는 해외의 의료 수요의 흐름에 따르기 쉽다. 더 나아가 이들은 더 의료 취약 지역의 수요에 따른 인력 배치에 저항한다. 이는 공공의대 설립 움직임에 격히 저항했던 한국의 의사 에서도, 스트일리아의 의료인력 치 문제에서도 전세계가 반적으로 면하고 있는 문제이다.

의학교육의 글로벌화에 직면해서 그것이 과연 현재 의료가 봉착한 문제를 해결하고 로컬의 의료 수요를 충족할 수 있을지에 관해서는 다양한 비판을 할 수 있을 것이다. 한 가지는 현재 의학교육을 주도 하는 역기반 교육이나 표화된 글로교육 방식이 과연 의료가 한 문제의 해결에 바람한지 비하는 것이다. 마가이 가 잘 지적하, 역량 기반 교육(competency-based learning)은 의과학 기술에 대한 단순한 기술 전달(technical knowledge) 에서 벗어나 있다는 점에서 더 우월한 것처럼 여겨지나, 사실상은 지식 습득의 한 가지 방법만을 고수하는 방법이다.24)

  • 역량 기반 교육은 역량을 결과 이자 성과로 객관적으로 측정하고, 계량화하고, 표준화하는 것을 목표로 한다. 이 교육은 전문직의 이해와 행동의 복잡성과 미묘함, 개개인 의 고유함과 독특함을 무시하고 그 결과를 수치로 환원한다고 비판받는다.
  • 그뿐 아니라 의료, 그리고 의료인이 사회와 맺어 온 관계를 알고, 이해하고, 관계를 새로이 맺고자 할 때 필수적인 개별 개체들과의 무수한 상호작용의 맥락과 과정들을 소거한다. 단순한 상처의 봉합이나 술기의 재현은 객관적으로 측정 가능하다. 환자를 대할 때 공감의 표현을 하고 위기 상황을 해결할 수 있는 능력 역시 가능할 수 있다.25)
  • 그러나 복잡한 사회적 환경 속에서 조건을 숙고하고 자신의 가치를 실천적으로 지켜나가는 방법, 한 사람의 전문가이자 시민으로서 의 삶을 영위하고 관계를 맺는 방법을 글로벌의 관점에서 객관적으로 측정하는 것은 어렵거나 불가능하다.
  • 쿠마가이는 역량 기반 학습이 의료인이 될 수 있는 다양한 앎의 방법(ways of knowing)들을 담아 내지 못한다고 주장한다. 26) 이는 오늘날 의학교육이 자율적으로 스스로를 성찰하고 규제하며 가치를 적용할 수 있도록 전문직업성과 윤 리를 함양하는 것을 목표로 함에 있어 치명적이다.
23) Prideaux(2019). pp.25–31.
24) Kumagai(2014), pp.97883.

하나는 글로벌화된 시선이 로컬의 의료 수요를 충족하고 글로벌 건강 평등에 기여할 수 있을지를 질문하는 것이다. 리가 잘 지적하, 글로의학교육에서 가하는 문제 중심 득법, 성과 중심 교육 등의 교육방법론은 자적 개인을 고로 하는 서구의 개인주의를 한다. 그리고 그것이 컬의 의료 문제를 해결할 수 있을지 거의 질문하지 않는다.27) 때때로 이러한 서구식 교육 문화는 이러한 교육 방법을 체내화한 컬의 상층 계급 시민들에게 더 부합하며의 의료 갈등을 더욱 심각하게 착 계급-빈민들의 문화를 타자화한다. 로컬의 의료 질 문제 이면의 의료 자원 교환의 불평등과 의료 붕괴의 양상을 질 좋은 인력 개발의 문제로 가린. 그리고 의학교육의 질이 은 것으로 받는 국의 의료 질이 그다고 치부되는 일본, 한국 등의 나라의 의료보다 효과적이고 효적이지 은지 질문하지 는다. 그 결과 신자유주의 이후 남미, 중앙 아시아 국가들에서는 다양한 의료 붕괴의 현장과 높아진 의료 질 인증 기준이 공존하는 모순을 경험한다. WHO-의 의학교육 인증 기구 등 다양한 국제 체들이 의료 붕괴 과정에 관여 하며, 의 의료와 의학교육이 글로인력 기맞추어 재편될 수 있기를 기대한다.

한국의 의료인문학의 도입은 의학교육의 글로맥락 도입과 무관하지 .28) 그러나 의료인문학 자체가 이들 문제를 무비판적으로 수용할 수 있을? 은 의생명과학이 환자의 증상과 고통을 관화되고 표화된 과학기술의 어로 치환으로써 의사가 환자의 고통 문제를 수 없게 만다고 비하였다. 유사하게, 로컬의 의료 부족과 고통을 글로벌 기준에 따라 평가하고 재단하는 것은 이들 문제 이면의 사회 문화적 맥락들을 소거하고 이해할 수 없게 만들 수 있다. 의학교육의 글로벌화 요구는 로컬의 의료 문화를 외부의 기준에 맞추고 순응하게 만든. 그것은 로의 의료들이 마나 스스로의 요구와 고통에 민감하게 반하고 해결하고자 하였는지를 아내지 으며 인식론적으로 소거한다. 의료 속에 존해 왔으되 지표화 되기 어려운 더더욱 포착하지 는다.

25) 하지만 『병든 의료』의 저자 오마호니는 의료인문학의 공감력 강조를 비판하며 의료인문학이 의사-환자 관계 사이의 소통 기술 등을 평가하고 가르칠 수 있다고 주장하나 실제로는 사적이고 신비스러워서 가르칠 수 없다고 주장한다. 그의 공감 교육 비판 은 경청할 만한 부분이 많다. O'Mahony(2020)/ 권호장 역(2022), 281-299쪽.
26) Kumagai(2014), pp.978983.
27) Bleakley(2008), pp. 266
270.
28) 물론, 글로벌화 흐름이 거세지기 이전에 한국 의료의 모순 속에서 의료인문학의 움직 임을 미리 찾고 희구했던 한국 의료계 주체들을 삭제해서는 안 된다. 그들의 고민은 소중한 씨앗이 되었다.

의료 속의 의료인과 환자들의 주체성을 탐색하고 ''를 지하는 의료인문학은 이러한 경을 비적으로 는다. 물론 의료 인문학이 내재적으로 적 요청에 부한다고 기는 어. 전술하였이 의료인문학은 의료가 보다 환자 중심적으로 환자의 요구에 민감하게 반할 수 있어야 한다는 요청에 라 도입되. 그러나 한국 사회에서 어떠한 행위가 환자 중심적으로, 민감하게 반응하는 행위인지에 대한 내용적 이해는 아직 불충분하다.

  • 현재 한국 에서 의과대학 의료인문학 교육 내용 대부분을 채우는 의료윤리는 서구의 기준인 4원칙-자율성 존중의 원칙, 선행과 악행 금지의 원칙, 정 의의 원칙 등을 제시하며 이들 원칙에 부응하는 것이 보다 윤리적이거나 환자 중심적이라고 믿는다.29) 그러나 이는 환자 중심성을 환자/ 가족의 의사를 형식적으로 확인하는 절차로 치환하는 경향으로 나타난다.30)
  • 또한 초기에 서구의 의료인문학 학자들이 이상으로 생각했던 인간적인 의사상이 서구의 교육받은 중산층 엘리트에 가깝다는 점 역시 무시할 수 없다. 고전적 의료인문학은 인간 중심적 전통에 기대면서 전인성(全人性)을 희구하는 근대 인문학을 유산으로 삼는 경향이 있다.31) 이는 오늘날 인류세 시대를 맞이하여 동물, 무생물 등 비인간 의 존재를 적극 포용하려는 최근의 인문학의 반성(탈식민주의 이론, ANT, 신유물론 등)을 도외시하기 쉽.
  • 이러한 양상을 보면 의료인 문학의 도입은 서구에서 출발한 이상적인 인간상-인문학적 질문과 규 범을 추종하는 것처럼 보인다.
29) 정의의 원칙은 환자중심성 보다는 의료자원 분배 원칙과 관련이 있어 결이 다르다.
30) 강지연(2021), 144-169.
31) 국내에 의료인문학을 종합적으로 소개한 황임경은 현재 의료인문학이 의학의 호르몬 역할을 하며, 그것은 의학의 휴머니즘 전통에 기댄다고 설명한다. 황임경(2021), 482 . 이 경우 의학의 본래성이란 무엇인가에 대해 고민하지 않을 수 없을 것이다.

과연 의료인문학은 외부의 규범에 대한 부응 이상의 것이 될 수 있을? 서구에서는 그간 의과대학 내에 성적으로 안한 의료인문학을 새로운 의료인문학의 흐름이 제기되고 있다.32) 현재 제기 되고 있는 판적 의료인문학(critical medical humanities)/건강 인문학(health humanities) 등의 새로운 의료인문학들은 이러한 의료인문학 내부의 장을 인식한다.

  • 비판적 의료인문학은 주로 의료의 현장 을 다양한 주체들의 얽힘으로 확장시킨다. 의료인문학이 과거 인간중 심적으로 정립해 온 전통적인 구분에 대한 비판적 탐구가 비판적 의료인문학의 주요한 테마가 된다.33) 비판적 의료인문학이 최근의 비판 이론, 퀴어 이론, 장애학 연구, 신유물론 등의 흐름에 기대어 전통적인 의료/비의료/의생명과학의 구분과 규범성에 좀 더 집중한다면,
  • 건강인문학의과대학의 의료인문학을 넘어선 확장을 시도하는 학문이다. 그것은 그간 의사 양성에 초점을 둔 의과대학 의료인문학이 다양한 영역의 건강 관련 주제와 관련된 인문학으로 확장되길 시도한다. 건강과 보건의료를 둘러싼 다양한 학제들의 시도들을 민주적으로 담아내고자 한다.34) 건강인문학의 초점은 그간 의료인문학의 테마였던 인문학적 의사-됨을 넘어서 건강/의료의 인문학적 의제를 확장하고자 하는 데에 있다.
32) 물론, 이들 '새로운' 의료인문학(들)은 주로 영국, 유럽을 중심으로 의과대학 밖에서 진행 중이란 점은 언급해야겠다. 의료인문학을 삽입한 커리큘럼의 전범이 된 미국에서도 의료인문학은 의과대학 커리큘럼을 둘러싼 거대한 전쟁 가운데에 자신들의 효용성을 입증하기 위해 분투 중이다.

33) 비판적 의료인문학을 적극 제기한 비니(Viney) 등은 학문의 특징을 다음과 같이 정의 한다.
(i) '
의료'의 현장과 범위를 임상적 만남 이상의 것으로 넓힌다.
(ii) 
단순히 건강과 질병의 경험과 맥락에만 집중하는 것이 아니라 다층적 차원의 구성을 인지한다.
(iii) 
비판 이론, 퀴어 이론, 장애학 연구, 액티비스트 및 연관 분야와 밀접하게 연관을 맺는다.
(iv) 
예술, 인문학, 그리고 사회과학이 임상 그리고 생명과학의 대척점이 아니라 '의생명과학 문화'와 생산적으로 얽혀 있는 지점을 인식한다 
(v) 
새로운 형태의 간학문적, 부문교차적 협력에 기여한다. Viney(2015), p. 2-7.

34) 건강인문학의 흐름을 주도하는 크로포드(Crawford) 등은 건강인문학이 예술과 인문 학에 대한 간학문적, 포괄적, 응용적, 민주주의적, 그리고 액티비스트적 접근을 채 택하는 학문이며 ‘의료인문학’에서 주변화된 기여들을 적극 수렴한다고 설명한다. Crawford(2010), pp.410.

이들 '새로운' 의료인문학이 제기된 경과 지하는 바는 조다르다. 하지만 이들 의료인문학이 그간 의과대학 내에서 좁은 의미의 규범화된 의사 양성과 그들의 역량 상승에 목표를 두었던 기존의 한계를 넘어서고자 함은 분명하다. 전지구적인 의과학기술 전영 향력 강화, 그리고 건강 의 형성 속에서 건강과 의료는 모, 그리고 인간-의 문제에 접적 관는다. 건강과 의료는 각 개인들이 세계와 관계 구이며 인식론적 토대이다. 지능기술과 과학기술의 발전에서 보이 전통적으로 인간의 것으로 여겨진 역 역시 의과학기술의 대상이 되고 있어 이를 계기로 몰락, 네오, 스트의 부상이 점지기도 한다. 이에 대해 새로운 인문학은 '인간'을 위기로부구원하고 재설 정하는 것을 표로 는다. 건강과 의료를 둘러싼 의사/일반인, 건강/비건강, 인간/기술 등의 전통적인 위계화된 구분이 흔들리 는 시점에 서서 그간의 인식론적 위계에 저항한다. 그것은 의과학기술이 비인간적이라는 그간의 인문학자들의 투덜거림과는 거리를 둔. 그동안 글로건강 에 관계, 협상하며 저하는 소리들을 고 사유의 자원으로 는다. 의사 중심의 의료와 임상 중심 적용을 선 민주적 관계 기의 탐색한다.

를 들어 건강 문해력(health literacy)의 문제를 생각해 보자. 건강 문해력은 날 공중보건과 건강증진정에서 핵심적인 결정 요인으로 이해된다. 히들 건강 정책 담당자들은 건강 문해력의 증진이 어 능력과 의사소통 능력, '무지(illiterate)'로 인한 장고 대중들을 건강 증진을 위한 로 인도할 것을 기대한다. 그러나 건강 문해력은 의사가 생각하기에 바람직한 방향으로 정보를 이해할 능력으로 환원될 수 없다. 혹은 기적인 의료 서비스를 이용하는지 여부로 단될 수 없다. 무지한 대중이 극복해야 할 으로 치부수 없다. 건강 문해력은 의학 관련 정보들을 자신의 상황을 고려하여 맥락화하고 자신의 결정으로 만드는, 자기 성찰력을 갖추어야 한다. 정보가 콘텍스트를 고려하고 수은 정보의 력을 검증하며 그것을 의사, 그리고 건강 정보의 세계와 소통할 수 있어야 한다. 그리고 자의 역한계 내에서 선택할 수 있어야 한다. 루비 (Rubinelli)는 건강 문해력이 아리스토스의 지식 분따른 실용적 지(practical wisdom), 즉 실(, phronesis)여야 한다고 주장한다.35) 그에 르면, 건강 문해력은 외부의 평가에 따라 건강 목 표-준수 여부로 평가되지 않는, 주체의 정보에 관련된 태도로 이해될 필요가 있다. 이러한 건강 문해력의 문제는 의료에 관한 지식들을 이해하고 역량을 갖추고 결정, 행동하는 문제가 더 이상 의사만의 것이 아님을 보여준. 건강의 자기 관리, 자기실현이 더욱 중요해진 의료는 일반인들에게도 하나의 기술이자 실이 된다. 인문학적 능력 함양과 주체적 해방은 일반인에게서도 중요한 과제가 된다. 의료인문학이 좋은 의사-되기에만 국한시키지 않아야 한다는 새로운 의 료인문학(들)의 요청이 설득력을 얻는다. 

물론 은 의사-되기에 의료인문학이 마나 기여할 수 있는지도 분히 검토되지 은 한국 사에서 이들 새로운 의료인문학()마나 유의할 수 있을지 의적일 수 있다. , 한국에서 의료 인문학을 도적으로 탐색한 황임경 등은 이들 건강인문학 적 의료인문학이 질문하는 문제들의 유의미함정하지만 해외 의료인 문학 소개의 일부로 국한시.36) 오랫동안 한국 사회는 이공계의 공부는 단지 지식-기술의 것으로, 인문계의 공부와는 별개로 여겨져 온 탓에, 의료인문학은 여전히 낯선 조합이다. 인성 교육 등 태도에 대한 교육양은 동안 교육이 도구적 단편적 지식의 득에 치중한 현실에서 부차화되어 왔다.37) 의대생 부에 대한 의적인 시각 한 의과대학 내에서 여전히 어야 할 제이다. 지식적 요소만 아니라 실적 요소가 의학교육에서 중요하게 자리매해야 한다는 요청도 아상황에서 태도를 교육을 통해 양한다는 것은 교육에 대한 기존의 위의 붕괴물려 더욱 진다.

35) Rubinelli(2009), p.307-311.
36) 황임경(2021), 30-32.
37) 정창우(2010), 1-33.

그럼에도 한국 사에서 기존의 의료인문학 만 아니라 새로운 의료인문학()이 기여할 수 있는 바는 존재한다. 새로운 의료인문학 (들)은 한국의 식민주의적∙후기 식민주의적 발전국가 경험을 직시한다. 그것은 한국 사회의 의료가 놓인 맥락들-예를 들어, 과도하게 기 중심적이고 침습지향적이며 단기 효과 중심적인 맥락들을 인식하게 해준. 한국 사의 의료가 서구로부이식되다는 단순한 이해, 그리고 서구와 비서구를 단순히 이분화하는 이분법을 지양 할 수 있게 도와. 그리고 한국의 의료가 한국의 물질 문화를 배경으로 하는 부분을 살피며, 한국의 의료 문화를 발전주의적 성공 신 화에서 벗어나 낯설게 보도록 촉구한다. 이를 통해 환자와 의사 등 다양한 의료 주체들이 의생명과학 문화와 비적으로 관계 을 수 있도는다. 은 의사-되기 규범콘텍스트를 통해 비적으로 적용할 수 있게 만. 그것은 동시에 지한국 의료가 여 있는 자리를 는 것이다.

한국 의료에서는 소아청소과의 전의 지원제로 사건 등 에서 수 있위기 론이 발 중이다. 소아청소붕괴에 대한 우려와 함께 필수 의료가 무질 것이라는 소리가 . 의과학 기술의 격한 발전과 성장한 의료 시장 , 은 수의 치료 성등의 화려한 한국 의료의 성공 신화 이면을 지하는 것은 무? 소아청소년과의 붕괴는 한국 사회의 의료적 필요와 의료 산업의 성공과 똑같지는 않을 수 있다는 점이 적나라하게 드러난 것에 가깝다. 마치 과거에 작동해 왔던 (좋은) 의사 되기를 위한 여러 시스템은 더 이상 작동하기를 거부하는 것 같다. 이것은 정로 한국 의료의 위기일? 혹은 이러한 위기에서 의료인문학은 도수 있을? 위기는 일반적으로 정상 상태를 전제로 한다. 그러나 한국의 의료 문화에서 정상 상태(혹은 시스)는 과도한 병원의 전동 의존도에서 수 있, 래를 보로 한 력에의 의존에 가깝다. 위기 론은 한국 의료가 것을 반성하라는 구로 이어질 수 있 으나, 반성은 한국 의료의 만이 되. 여기에는 저출생과 한국 사에서 ''를 유하는 , 숙련 구조의 붕괴, 그리고 과학기술적 성동 가능한 상태로 회복 외의 의료 가치에 대한 경시 등이 겹겹이고 얽혀 있다. 이러한 위기를 견디어 나가는 법은 서구의 인문학 독본이나 교양주의적 이상에 있지는 않다. 그것은 지금 이 자리에서 현재의 위기들을 서로에 대한 이해와 상상의 힘에 빗대 정직하게 보고 살펴나가는 데에 있다. 

5. 한국에서 의료인문학(들)의 질문과 자리들

다시, 한국에서 의료인문학(들)의 자리는 어디일까? 이 글의 서에 한국의 의료인문학은 의사학의 형태로 일본의 제국대학과 일 의학의 경을 경험으로 한 의학 리트들의 양주의적 관심에서 도입되 다고 밝혔. 그것은 어면 문해를 위주로 했던 과거 의학의 전통이 의학 리트들의 관심을 끌었던 것인지도 모. 이러한 전통이 1990대 의학에 대한 역사학적 관심을 지닌 이들에 의해 발 되기 전지 여전히 의학 리트들의 양주의적 관심에 . 1990년대는 본격적으로 의료인문학이 발돋움한 시기이며, 한국 의료가 발전 신화를 넘어 직종 간 갈등에 부딪히기 시작한 시기이다. 한국 의료의 정체성에 대한 탐색이 시작된 이때 의료리 등의 서구 의료인문학 론도 도입되기 시작하였다. 의과대학 인증평가제도의 도입과 2000년 의사 파업은 본격적으로 한국 의학교육이 '사회지향적' 으로 전환해야 한다는 요청에 부응하도록 만들었. 한국 의료 위기의 론들은 의료 외부에서 중요한 해법들을 , 임없이 도입하도록 견인차가 되으며 나름의 으로 이끌었. 이러한 위기 론과 , 그리고 기의 상이 해왔역할을 부정할 수 없을 것이다. 교육이 결국 의과대학 내 의료인문학의 양적 을 가져 왔기 때문이다. 그러나 한국 의료인문학이 제대로 생각하고 질 문할 수 있는 자리를 제대로 찾고 있는지, 비판, 창조로 나아가고 있는지에 대해서는 긍정적으로 응답하기 망설여지는 것도 사실이다.

전술했듯이 한국 의료인문학의 도입 배경이 서구의 의료인문학 도입 배경과 같지 않기에, 의료인문학이 응답할 수 있는 몫 또한 같지 않다. 그럼에도 불구하고 의료인문학을 다에 있어 가장 이 다루 어지는 가지 주제를 한국 의료인문학의 과 관지어 보고자 한다.

  • 하나는 의학교육 개혁과 의료인문학 도입의 직간접적 계기가 된 한국 의사들의 전문직업성 문제이다.
  • 두 번째는 의료인문학 본연의 몫으로 보다 논해지는 환자의 삶과 고통을 이해함으로써 이루어지는 치유이다.

이들 모환자, 의사, 그리고 자를 비롯한 한국 의료와 관계는 다양한 주체들이 얽혀 있는 주제이다. 한 한국 사의 법 제도 역사와 물질 문화적 토대를 함께 살펴보지 을 수 없 다. 그것은 의료인문학의 기원과 역할을 분명하게 구분해내는 것은 아니다. 그것은 한국 의료에서 '인문학적 필요'를 일푸코 식으로 계보학적으로 살펴보는 작이다. , 의료인문학 도입을 의학교육 따른 결과로 역사화하는 것, 는 한국 의료인문학을 서양 고전의 전통으로부기원화하는 것과 다르게 한국 의료에서 인문학적 필요에 대한 무수한 요청들을 어내는 것이다.

1) 전문직업성

한국 의사는 어떻게 정체화하는가? 집단으로서의 의사는 과연 존재 하는가? 이는 2000의사 (혹자에 르면, 권 쟁)에서 경험한 이후 줄곧 제기되는 질문이기도 하다. 발표 원고에서 필자는 의사들 스스로가 의료 시장과 보건의료체계를 스스로 결정 하지 못하고 있다는 의 정동이 '수호'라는 구호 속에서 출로를 정체성이 되, 으로 나원동력이다고 적.38) 잘 알려져 있듯이, 서구의 전문직업성은 중세부터 비롯된 직업 길드의 역사, 질 관리와 훈련의 역사에 기대어 있다. 지식의 습득과 전달이 스스로 외에는 허용되지 않기 때문에 부여된 일종의 독점권이라 할 수 있다. 이는 대에 들어와서 국가와 시장의 력으로부스스로의 한을 보호하기 위한 토대가 되으며, 전문리의 간이 되.

그러나 한국 의사들은 길드에 근간을 둔 자율적 통제의 역사를 갖고 있지 않. 서구 전문역사에서 리 강리트로서 스스로 를 다치유자들과 구분하며 도적 우위를 강제하는 역할을 수행. 그러나 한국 의사들은 식민지 시기 형성된 엘리트이자 기술 테크니션이며, 개항 이후 근대화 이데올로기에 따라 위로부터 형성된 직업군에 가깝다. 기술로부터 분리된 별개의 아카데미즘을 갖지 못하고 국가의 이해에 따라 균점되어왔고, 의사를 위한 자율적 공간이 많지 않. 서구의 의사들이 전통적으로 아카데미즘 정체성에 가까운 내과의테크니션에 가까운 외과의들이 존하다가 일정 시점에 타협한 것과 한국의 의사들에게는 아카데미즘과 테크니션이 혼종의 정체성으로 공존하며, 별개의 것이 아니다. 그리고 병원의 이해에 스스 로를 속시키기 때문에 한국 의사의 정체성은 국가의 이해에 라 계도화된 유사-조합주의 정체성에 가운 측면이 . 한국 의사들은 기술자본이 적된 병원의 이익과 한 보호를 일의 자으로 이해하며, 서구의 의사들처럼 은 분을 통한 조합의 한 행세를 자으로 이해하지 못한다. 이는 1995대한의학협가 대한 의사협로 명이 전환된 시점부강화된 현상이라 할 수 있다. 1990년대 중반부터 한국 의사들은 의료보험제도 도입 이후 보장된 의료시장과 확대된 병원의 이익 속에서 소수의 엘리트 정체성에서 조합주의적 정체성으로 전환하기 시작하였다.39)

38) 이러한 집단의 정동이 집단의 이익에 도움이 되었을지, 유리한 결과를 낳았을지는 또 다른 평가를 필요로 하는 문제이지만 말이다. 캐나다의 역량 기반 교육 CanMED framework 역시 1986년 온타리오 의사 파업을 기점으로 한 의사들에 대한 신뢰 하락에 대한 대응으로 도입되었다. Butt and Duffin(2018), pp.196–98. 2000년대 한국의 의료인문학 도입이나 의학교육개혁도 의사 파업의 영향력을 제외하고는 설명하기 어렵다.

39) 파슨스의 설명에 따르면 노동조합이나 전문가 조직 모두 구성원의 이해를 추구하나 전문가 조직은 한 사회에 규칙을 가져오기 때문에 행동 강령, 자율 분업화 등의 특징을 지니며 노동조합과 구분된다. Parsons(1969). 한국의 경우 길드의 역사 없이 행동 강령, 자율 분업화 등의 요소가 발생하기 전에 조합주의적 정체성을 먼저 갖춘 경우라 할 것이다.

이러한 한국 의료전문의 정체성을 서구 전문의 자적 통제와 질 관리의 역사와 등치시키는 것은 콘텍스트를 무시하는 것에 가깝다. 우리는 한국 의사의 전문직-됨에 대한 이해를 넓힐 것을 요청받는다. 율적 통제의 불/가능성은 한국 의사가 처한 독특한 딜레마이다. 고도로 발달한 의생명과학 지식과 기술을 습득하고 적용할 권한은 갖추었으되 그것을 통제하지 못함에서 오는 이상과 현실의 괴리이다. 시장 경이 격화되면서 과거와 만기술에 대한 을 유지하지 못하는 상황에 여 있음에 라 위기이 자연스라 온다. 그것은 의료를 운용하는 인력보다 관기술 도입에 중해 온 한국 의료의 현주소이기도 하다.

한국 의사들은 외형적으로는 기술을 독점하는 전문직이나 실제로는 내외적으로 그렇게 존중받지 못한다. 여기서 한국 의사들의 전문- 존재론을 다시 구할 필요가 있다. 의 기대와 개인의 도적 정체성이 일치되지 못에서 는 도적 아역시 살펴보아야 한다.40) 산재된 도적 위기은 필수의료 위기에서 수 있한국 사곳곳에서 '의료의 붕괴', '의료의 모라토리'은 재으로 이어지고 있다. 그에 비해 의사 개인을 도적 개인으로 보호할 수 있는 제도는 현재로서는 전무하다. 의사의 윤리를 단지 개인의 윤리가 아닌 집단 도덕의 윤리 가능성, 의협으로 대표되는 조합의 윤리 이상의 가능성을 텍스트와 콘텍스트를 통해 탐색해야 한다.

40) 여기서 의사의 도덕적 위기감, 아노미는 기타 직역들의 생존의 위기감과 구분한다. 뒤르켐은 『직업윤리와 시민도덕』에서 길드가 쇠퇴하면서 자유시장경제 하에서는 과거 길드와 같은 연대와 협동 없이는 직업적 결속감 없이는 도덕적 아노미 상태에 빠지고 만다고 설명한다. 권오상(2021), 1-22쪽. 의사 파업은 강력한 직업적 결속감을 보이는 것 같지만, 이면에는 그러한 연대가 없음이 오히려 드러난 현상에 가깝다.

 

2) 치유와 돌봄

전술하였서구의 의료인문학에서는 테크놀로지에서 소외된 환자-의사 관계라는 테제를 공유한다. 그것은 의과학기술이 개입되기 이전 환자에 대한 치유를 전인적으로 담당했던(또는 한다고 여겼던) 과거의 기억과 무관하지 않. 그리고 의과학기술이 의사들을 지 기능인으로 전시킬 것에 대한 우려와도 관있다. 기에 서사의학처럼 환자에 대한 콘텍스트를 으면서 환자에 대한 해력을 이고 시각을 시키는 법이 은 각을 받을 수 있.

그러나 근대화 과정에서 과학기술의 독점을 통해 스스로를 한의사들과 구분지었던 한국의 의사들에게 있어 의과학기술에 따른 소외라는 주제는 크게 와닿지 않는다. 적어도 이 주제는 통상의 '환자-의사 관계'에는 영향치지 는다. 이것은 의과학기술을 대하는 다수의 환자들에게도 마찬가지이다. 과도한 의과학기술이 스스로의 존엄함을 침해할 것이라는 서구 환자들의 우려에 비해 다수의 한국 환자들은 의과학기술에 열려 있다.41) 사체의 부검에는 부정적이나 체에 을 대는 성형수술 등의 기술에 규범적으로 려 있는 모에서 확인된다. 적어도 고통이 없는 일반인이 의사/의과학기술을 대면하거나 선망하는 간에는 소위 치유보다 자본주의 시장 경제 속 소비의 양상에 실하다. '3분 진료'로 대표되는 공장식 진료 시스템 역시 치유나 공감에 대한 공감대를 넓히기 어렵게 만든. 진료 결과에 대한 환자의 불만은 나은 의료를 위한 인차가 되거나 의과학기술의 불확실성에 대한 인정보다는 의사들에게 공포어 진료로 이어지는 결과를 .

지만 이것을 한국 의료에서 치유나 공감제가 공감받기 어다는 것으로 이해해서는 하다. 한국 의과학기술의 권위는 그것이 더 화려한 시술로 회복가능한 영역에서는 유지된다. 그러나 기술이 회복을 약속할 수 없거나 그 정도가 제한적인, 일례로 장애와 노년의 경우에는 이미 치명적으로 '치유'나 공감이 부재하다. 한국 사에서 장회복을 통해 환할 수 있는 장밋빛 래 자본이 부재하기에, 상상할 수 있는 사역의 여 있다. 그 리고 그 고통은 로지 개인과 가, 그리고 일부 의료진이 당하도 . 한국 병원의 3분 진료를 질타하는 담론은 많으나 3 분 진료에도 오지 못하는 사람들은 담론에서 거론되지 않는다. 이것 은 모사람들이 3분 진료에 접가능해야 한다는 기가 아니다. 의료의 공급이 지처럼 수도의 대형합병원 중심의 일루전에만 치중치는 부분이 훨씬 다는 기이다.

한국에서는 치유라는 제에 대해 논할 때 해당 어에 대한 그간 의 모호한 의들도 고려할 필요가 있다. 영어권에서 "heal"은 오래된 영어 단어 haelen으로부터 왔는데, "전체(wholeness)"라는 의미를 갖고 있으며 상처를 딛고 다시 하나가 된다는 의미를 갖고 있으며, 오늘날에는 심리적 정신적 영적 차원의 통합하는 회복을 의미한다. 반면 "cure" care은 어원인 라어 어원 curare로부온 것으로 주로는 체적 차원의 의학적 치료를 지한다. 일반적으로 영어권에 서 cure는 신체적 질병을 뿌리 뽑는 "근치"의 의미를 가지며 오늘날에는 heal과 대비되는 경우가 많. 그러므로 질병의 cure는 불가능하라도 더 높은 차원의 heal이 가능하다. 그러나 한국에서는 cure나 heal이나 둘 다 완치, 치유로 번역된다. 완치나 치유의 치()가 다스다는 의로서 단순한 질병이 아닌 질서로의 회복을 의하는 이다. 로 한국 사회 회복의 서사가 그사이에 여 있는 장의 고통을 마나 대속해야 할 로 환원하는지를 잘 기술하고 있는 은정(2019)의 원제는 Curative Violence이나 한국어로는 『치유라는 이름의 폭력』이라고 번역하고 있다. 여기서 다시 하나로 회복되는 것은 개인의 이나 전체성이 아니라, 라는 상처와 고통이 가의 생으로 대속된 하나의 가이다. 이 경우 "치유"는 그것에 도하지 못하는 이들에게 력이 된다.42)

한국의 대형종합병원들은 하나의 테크노 산업체로서 보험과 의과학 기술의 독점을 통해 발전해 왔다. 병원과 환자, 기술의 연결체의생명과학기술의 개발과 도입, 적용으로 지속가능하다고 여기는 상상체에 가까웠. 의생명과학기술의 치유 가능성을 하나의 화적 정점으로 은 일의 동맹이라 할 수 있다.43)

  • 여기에는 현재보다 더 저렴한 비용을 들여 영위할 만한 삶을 지탱하는 방법을 묻지 않는다.
  • 기술 이후의 공감, 돌봄 관계의 틈들을 상상에서 배제한다.
  • 기술을 적용한 후 살아가는 신체들을 돌보는 힘에 대해서는 고려하지 않는다.
  • 원하는 방식으로 삶을 마무리하는 방법은 의료 외부의 과제가 된다.

테크놀로지의 적용 자체가 환자를 소외시다는 것이 아니다. 테크놀로지의 적용과 살만한 위하는 것 사이에는 은 연결과 의 과정이 필요하며, 간 다양한 고려가 필요하다. 의사가 병원 밖 환자의 삶에 대한 상상과 이해를 넓혀내지 않는 한, 이러한 과정을 고려하며 의술을 제공하지 않는다. 중요한 의학적 의사결정을 환자의 의 이해를 합적으로 고려하며 할 수도 없다.

41) 이것에 대한 역사적 분석은 DiMoia(2013) 참조.

42) Kim(2017)/ 
강진경, 강진영 역(2022). 김은정은 심청전, 영자의 전성시대 등 근대 한국의 장애 관련 텍스트를 독해하며 이들 서사에서 가족이 젠더 구조 속에서 어떻 게 희생을 통해 장애인의 상처를 치유하는 것으로 나타나는지를 그려낸다. 여성 가 족은 희생을 감당하며 장애 남성을 치유하게 되는데, 이때 회복의 지향은 정상가족 이라 할 수 있다.

43) 김상현과 자사노프는 사회기술적 상상체(sociotechnical imaginaries)를 “과학 기술 의 진전을 통해, 사회적 삶과 질서를 달성할 수 있다는 공유된 믿음으로 움직이는 집 단적으로 가지는, 제도적으로 안정된 바람직한 미래 수행 비젼”으로 정의한다. 김상 현과 자사노프는 이 개념을 한국에만 국한시키지 않으며, 한국의 경우에는 황우석 의 줄기세포 연구가 주로 다루어진다. 연구-기술-병원의 복합체에서 회복을 정점으 로 추구된다는 점에서 한국 상급종합병원 일반으로도 확장 가능할 것이다. Jasanoff & Kim(2015).  

한국 의사들에게 의과학기술 외의 '전체로의 회복'이라는 치유의 이상을 설하거나 공감 커교육리는 것으로 이 문제를 해결할 수 있을? 적어도 한국 사회가 의과학기술을 이용한 질병 치유 이상의 것을 상상하지 못한다면 무의미한 일일 수밖에 없다. 에 질병을 비롯한 다양한 기가 자되면서 질병 치유 이상의 서사를 만들어내는 것은 고무적이다. 히려 환자를 온전한 주체로 만드는 치료의 전인성(全人性)을 논하는 것은 치유보다 논의에서 이루어지는 하다. 에 관한 이야기 역시 새게 한국 사가 경청해야 할 이야기가 되고 있다. 의과대학에서는 이들 서사를 적극 끌어들이지 못하고 있지 못한 이다. 하지만 의료전문가가 질병의 소리를 경청하고 기 위해 필요한 도 있을 것으로 생각된다.

6. 나가며

한국 사에서 의료인문학은 무, 이어야 할? 혹은 그것이 한국 의료에 필요한 실(phorenesis)수 있을 ? 한국의 의료인문학은 한국 의료가 새롭게 갱신되어야 한다는 부름에 따라 과거의 것이 복원되고 유입되었다. 그것은 크게는 전세계적으로 질병 패턴의 변화, 새로운 질병의 등장, 의료 서비스 주체의 다변화, 유전자 시대의 돌입 등에 따라 의생명과학 패러다임이 전환 되기 시작한 것과 흐름을 같이 한다. 의학이 과학기술학, 인문학, 술 등 새로운 학문들과 관계 으면서 간학문적으로 치유와 건강에 기여할 수 있을 것이기대가 존재한다. 물론 전세계적 의생명과학 의 전환과 한국 의료의 위기가 기에, 한국 의료인문학 에는 도의 과제가 있다. 해외의 의료인문학 흐름을 익히고 배우는 것만으로는 충분하지 않다. 한국 의료의 주체와 맥락들을 두껍게 읽어내 야 할 몫이 있다면, 그건 한국 의료인문학의 몫이다.

본 글에서는 전세계적 차원의 의료인문학의 제가 한국의 그것과 을 수 있음을 설명하고자 하였다. 의 이해를 부하게 다는 역할 속에서 한국 의료인문학의 제 역시 다을 필요가 있다. 지정학적 차원의 이해를 사리 증발시키하는 한국 의학의 발전 동력을 생각을 때 한국 차원의 도 과제를 상정하는 것은 운 일이 아니다. 빠르게 리는 기차 안에서는 경을 제대로 관하기 들 수 있다. 위기와 제의 진에 동의하지 을 수도 있으며, 한 가지 차원의 해만 있을 필요도 없다. 다만 격한 의 흐름 속에서도 다양한 소리들에 려 있기를 실적으로 지해야 할 것이 다. 

 

 


【주요어】의료인문학, 로컬의 관점, 글로벌 의학교육, 전문직업성, 치유와 돌봄
【요약문】한국 사회에서 의료인문학은 무엇이었고, 무엇이어야 할까? 본 글은 전 세계적 의료인문학의 역사와 부흥의 맥락 속에서 한국의 의료인문학의 역할과 위상을 점검한다. 한국의 의료인문학은 한국 의료가 새롭게 갱신되어야 한다는 부름에 따라 과거의 것이 복원되고 유입되었다. 그것은 크게는 전세계적으로 질병 패턴의 변화, 새로운 질병의 등장, 의료 서비스 주체의 다변화, 유전자 시대의 돌입 등에 따라 의생명과학 패러다임이 전환되기 시작한 것과 흐름을 같이 한다. 그러나 전세계적 의생명과학의 전환과 한국 의료의 위기가 같지 않으며, 전세계적 차원의 의료인문학 테제가 한국의 그것과 꼭 같지 않을 수 있다. 이를 위해 다양한 의료인문학의 맥락과 갈래 속에서 한국 의료인문학의 역할을 탐구할 필요가 있다. 또한 지정학적 차원의 이해와 로컬의 이해를 풍부하게 다듬는 속에서 한국 의료인문학의 테제 역시 다듬을 필요가 있다. 본 글은 우선 ‘인문학으로서의 의학’, 의료인문학이 의과대학에서 하나의 학제로 형성되어 온 과정을 추적한다. 특히 전인적 인간 형성을 목표로 하는 인문학 공부가 타인에 대한 연민과 공감 등을 요청하는 의과학 반성의 요구와 맞닿으면서 의학교육에 강조되었는지를 살펴 본다. 이후 1990년대 이후 국내에 급부상한 의료인문학 도입 배경으로서 의학교육의 글로벌라이제이션을 살피고, 이를 의학을 둘러싼 인문학적 요청이라는 측면에서 비판적으로 검토한다. 마지막으로 한국 의료인문학의 위상과 역할을 ‘전문직업성’과 ‘돌봄’이라는 영역을 예로 들며 제언하고자 한다.

근거중심의학과 공유의사결정의 연결(JAMA, 2014)
The Connection Between Evidence-Based Medicine and Shared Decision Making

Tammy C. Hoffmann, PhD1,2; Victor M. Montori, MD, MSc3; Chris Del Mar, MD, FRACGP1

 

근거 기반 의학(EBM)과 공유 의사 결정(SDM)은 모두 양질의 의료 서비스를 제공하는 데 필수적이지만, 이 두 접근법 간의 상호 의존성은 일반적으로 잘 알려져 있지 않습니다. 근거 기반 의학은 환자로부터 시작하여 환자로부터 끝나야 합니다. 임상의는 근거를 찾아 평가하고 그 추론을 자신의 전문 지식과 통합한 후 환자의 가치와 상황을 반영한 결정을 내립니다. 환자의 가치, 선호도, 상황을 통합하는 것은 아마도 가장 어렵고 제대로 매핑되지 않은 단계일 것이지만, 가장 적은 관심을 받고 있습니다.1 이로 인해 EBM이 환자의 가치와 선호도를 무시한다는 비판이 제기되었는데, 이는 명백히 의도가 아닙니다.2 
E
vidence-based medicine (EBM) and shared decision making (SDM) are both essential to quality health care, yet the interdependence between these 2 approaches is not generally appreciated. Evidence-based medicine should begin and end with the patient: after finding and appraising the evidence and integrating its inferences with their expertise, clinicians attempt a decision that reflects their patient’s values and circumstances. Incorporating patient values, preferences, and circumstances is probably the most difficult and poorly mapped step—yet it receives the least attention.1 This has led to a common criticism that EBM ignores patients’ values and preferences—explicitly not its intention.2

공유 의사 결정임상의와 환자가 옵션, 이점과 해로움에 대해 논의하고 환자의 가치, 선호도, 상황을 고려한 후 공동으로 건강 결정에 참여하는 과정입니다. 이는 환자 중심의 의사소통 기술과 EBM의 교차점이며, 좋은 환자 치료의 정점입니다(그림).
Shared decision making is the process of clinician and patient jointly participating in a health decision after discussing the options, the benefits and harms, and considering the patient’s values, preferences, and circumstances. It is the intersection of patient-centered communication skills and EBM, in the pinnacle of good patient care (Figure).

 

 
 

하나만으로는 부족할까요?
One Without the Other?

이러한 접근 방식은 대부분 병행하여 발전해 왔지만, 어느 쪽도 다른 쪽 없이는 그 목표를 달성할 수 없습니다. SDM 없이는 진정한 EBM이 이루어질 수 없습니다.3 SDM은 근거를 상담에 명시적으로 가져와 환자와 논의할 수 있는 메커니즘입니다. 임상의가 환자의 선호도를 의사 결정에 반영하려고 해도 때때로 잘못 추측하는 경우가 있습니다. 그러나 근거에 기반한 숙고를 통해 환자는 정보에 입각한 선호도를 구축할 수 있습니다. 결정을 실행하고 그 결과를 감당해야 하는 환자의 입장에서는 이 과정을 통해 임상의의 근거와 전문성, 그리고 자신의 가치와 선호도를 의사 결정에 통합한다는 점을 인식하는 것이 더 적절할 수 있습니다. SDM이 없으면 EBM은 증거 폭압으로 변질될 수 있습니다. SDM이 없으면 근거가 실제 진료와 개선된 결과로 제대로 이어지지 않을 수 있습니다.
These approaches, for the most part, have evolved in parallel, yet neither can achieve its aim without the other. Without SDM, authentic EBM cannot occur.3 It is a mechanism by which evidence can be explicitly brought into the consultation and discussed with the patient. Even if clinicians attempt to incorporate patient preferences into decisions, they sometimes erroneously guess them. However, it is through evidence-informed deliberations that patients construct informed preferences. For patients who have to implement the decision and live with the consequences, it may be more pertinent to realize that it is through this process that patients incorporate the evidence and expertise of the clinician, along with their values and preferences, into their decision-making. Without SDM, EBM can turn into evidence tyranny. Without SDM, evidence may poorly translate into practice and improved outcomes.

마찬가지로, EBM의 원칙에 주의를 기울이지 않으면 SDM의 여러 단계가 근거와 불가분의 관계에 있기 때문에 한계가 있습니다. 예를 들어, 질환의 자연력, 가능한 옵션, 각각의 이점과 해로움에 대해 환자와 논의하고 이를 정량화할 때는 반드시 최상의 연구 증거를 기반으로 해야 합니다. SDM에 이러한 근거가 포함되지 않은 경우, 환자가 표현하는 선호도는 옵션의 위험과 이점에 대한 신뢰할 수 있는 추정치에 근거하지 않을 수 있으며, 그 결과 진정한 정보를 바탕으로 한 결정이 이루어지지 않을 수 있습니다.
Likewise, without attention to the principles of EBM, SDM becomes limited because a number of its steps are inextricably linked to the evidence. For example, discussions with patients about the natural history of the condition, the possible options, the benefits and harms of each, and a quantification of these must be informed by the best available research evidence. If SDM does not incorporate this body of evidence, the preferences that patients express may not be based on reliable estimates of the risks and benefits of the options, and the resulting decisions not truly informed.

단절이 있는 이유는 무엇인가요?
Why Is There a Disconnect?

EBM과 SDM 사이에 존재하는 단절의 원인 중 하나는 EBM의 리더, 연구자, 교사와 SDM의 리더, 연구자, 교사가 서로 다른 클러스터 출신이며, 역사적으로 서로 다른 클러스터에서 진료, 연구, 출판, 협업하는 경향이 있기 때문일 수 있습니다. 일부 형태의 SDM은 환자 커뮤니케이션에서 비롯되었으며, 이 분야의 컨퍼런스와 저널에서 많은 연구가 발표되었습니다. 1997년에 발표된 한 중요한 논문에서는 SDM을 치료 의사 결정의 모델이자 환자-임상의 간 의사소통 기술로 개념화했습니다. 그러나 이 논문은 EBM과 아무런 연관성이 없었는데, 그도 그럴 것이 EBM은 초기 단계였기 때문입니다.2
A contributor to the existing disconnect between EBM and SDM may be that leaders, researchers, and teachers of EBM, and those of SDM, originated from, and historically tended to practice, research, publish, and collaborate, in different clusters. Some forms of SDM have emerged from patient communication, with much of its research presented in conferences and journals in this field. A seminal paper in 19974 conceptualized SDM as a model of treatment decision making and as a patient-clinician communication skill. However, it did so without any connection to EBM—perhaps not surprisingly, because EBM was in its infancy.2

반대로 임상 역학에서 시작된 EBM은 증거를 찾고, 평가하고, 종합하는 것을 용이하게 하는 방법과 리소스에 중점을 두었습니다. 이러한 근거를 환자와 논의하고 그 사용에 환자와 함께 참여하는 것에는 훨씬 덜 집중해 왔습니다 (때로는 '소프트' 기술이라고 폄하되기도 함) . EBM에 대한 대부분의 관심은 스캔들(예: 미공개 데이터, 결과 '스핀', 이해관계 충돌)과 첨단 기술(예: EBM을 더 쉽고 편리하게 만드는 시스템)에 관한 것이었습니다. 환자와의 의사 결정에 근거를 사용하는 것에 대한 정보는 부족합니다.
Conversely, with its origins in clinical epidemiology, much of the focus of EBM has been on methods and resources to facilitate locating, appraising, and synthesizing evidence. There has been much less focus on discussing this evidence with patients and engaging with them in its use (sometimes even disparagingly referred to as “soft” skills). Most of the EBM attention has involved scandals (eg, unpublished data, results “spin,” conflicts of interest) and the high technology milestones (eg, systems to make EBM better and easier). Information about using evidence in decision-making with patients has been scant.

두 접근법 사이의 단절은 임상의와 학생에게 제공되는 교육에서도 분명하게 드러나며, 이 역시 교사의 배경을 반영하는 경우가 많습니다. EBM 교육을 수강할 수 있는 기회는 주로 질문을 형성하고 근거를 찾아 비판적으로 평가하는 데 초점을 맞춘 내용으로 가득합니다.5 근거를 적용하고 통합하는 방법을 배우는 것은 일반적으로 없거나 기술 훈련 없이 통과하는 과정으로 언급됩니다.
Disconnect between the 2 approaches is also evident in, and maintained by, the teaching provided to clinicians and students, again often reflecting the backgrounds of their teachers. Opportunities to attend EBM teaching abound with content largely focused on forming questions and finding and critically appraising evidence.5 Learning how to apply and integrate the evidence is usually absent, or mentioned in passing without skill training.

EBM과 SDM의 연결성 실현하기
Realizing the Connection Between EBM and SDM

논리적으로 시작할 수 있는 방법은 SDM 스킬 트레이닝을 EBM 트레이닝에 통합하는 것입니다. 이는 앞서 언급한 EBM 교육의 결함뿐만 아니라 현재 이용 가능한 SDM 교육 기회의 부족을 해결하는 데 도움이 될 것입니다. 또한 SDM의 활용을 촉진하고 더 넓게는 증거 번역을 촉진할 수 있습니다. 최근 의학교육에 SDM을 일상적으로 통합해야 한다는 요구는 두 접근법을 밀접하게 연계하여 활용할 수 있는 즉각적인 기회를 제공합니다. 
A logical place to start is by incorporating SDM skill training into EBM training. This will help to address not only the aforementioned deficits in EBM training but also the lack of SDM training opportunities presently available. Additionally, it may facilitate the uptake of SDM and, more broadly, evidence translation. Recent calls for SDM to be routinely incorporated into medical education present an immediate opportunity to capitalize on closely aligning the approaches.

EBM과 SDM을 통합하기 위한 또 다른 시작점은 임상 진료 지침의 개발과 실행입니다. 대부분의 가이드라인은 권고안을 수립할 때 환자의 선호도를 고려하지 않는 반면,6 일부 가이드라인은 임상의에게 환자와 옵션에 대해 이야기하라고 조언하지만, 이를 수행하는 방법과 환자가 이해할 수 있는 방식으로 근거를 전달하는 방법에 대한 지침은 제공하지 않습니다. 다음의 경우에 가이드라인에서 공동 의사 결정을 강력히 권장할 수 있습니다.

  • 옵션의 장단점이 거의 대등한 경우,
  • 근거의 불확실성으로 인해 명백히 우월한 접근법을 결정하기 어려운 경우,
  • 환자의 행동에 따라 혜택과 위험의 균형이 달라지는 경우(와파린을 사용하는 환자의 복약, 모니터링, 식이요법 준수 등)


Another place to start to bring EBM and SDM together is the development and implementation of clinical practice guidelines. Whereas most guidelines fail to consider patients’ preferences in formulating their recommendations,6 some advise clinicians to talk with patients about the options but provide no guidance about how to do this and communicate the evidence in a way patients will understand. Shared decision making may be strongly recommended in guidelines

  • when the options are closely matched in their advantages and disadvantages,
  • when uncertainty in the evidence impairs determination of a clearly superior approach, or
  • when the balance of benefits and risks depends on patient action, such as adherence to medication, monitoring, and diet in patients using warfarin.

결론
Conclusions

최근까지 EBM과 SDM 간의 연관성은 거의 없거나 기껏해야 암시적인 수준이었습니다. 그러나 상호 작용의 고무적인 징후가 나타나고 있습니다. 예를 들어, 두 접근법을 일부 통합하여 가르치거나,7 가이드라인을 SDM을 촉진하기 위해 어떻게 조정할 수 있는지에 대한 탐구,8,9 두 접근법을 모두 인정하는 연구 및 리소스 도구가 등장하고 있습니다. 후자의 예로는 의사결정에 적절한 근거를 제공하기 위해 환자 및 임상의와 협력하여 연구 의제 및 우선순위 설정, 체계적으로 수집된 최신 근거를 인용하고 그 신뢰성을 평가하는 국제 환자 의사결정 지원 표준의 새로운 근거 기준 등이 있으며,10 이를 통해 SDM 도구의 개발이 근거 기반 가이드라인의 수립에 대한 현대적 요구사항에 부합하도록 조정하고 있습니다. 또한, 근거 기반 의료의 실천과 공유 의사 결정의 과학에 초점을 맞춘 독립적인 대표 학회들이 공동 회의를 소집하고 있습니다.
Links between EBM and SDM have until recently been largely absent or at best implied. However, encouraging signs of interaction are emerging. For example, there has been some integration of the teaching of both,7 exploration about how guidelines can be adapted to facilitate SDM,8,9 and research and resource tools that recognize both approaches. Examples of the latter include research agenda and priority setting occurring in partnership with patients and clinicians to help provide relevant evidence for decision making; and a new evidence criterion for the International Patient Decision Aids Standards requiring citation of systematically assembled and up-to-date bodies of evidence, with their trustworthiness appraised,10 thus aligning the development of SDM tools with contemporary requirements for the formulation of evidence-based guidelines. Also, independent flagship conferences focused on the practice of evidence-based health care and on the science of shared decision making are now convening joint meetings.

의학은 최신 근거 없이 시행될 수 없고, 시행되어서도 안 됩니다. 또한 정보에 입각한 환자의 선호도를 파악하고 존중하지 않고 의학을 시행할 수도 없습니다. 임상의, 연구자, 교사, 환자는 이러한 접근법의 상호 의존적 관계를 인식하고 적극적으로 촉진해야 합니다. EBM에는 SDM이 필요하고, SDM에는 EBM이 필요합니다. 환자에게는 이 두 가지가 모두 필요합니다.
Medicine cannot, and should not, be practiced without up-to-date evidence. Nor can medicine be practiced without knowing and respecting the informed preferences of patients. Clinicians, researchers, teachers, and patients need to be aware of and actively facilitate the interdependent relationship of these approaches. Evidence-based medicine needs SDM, and SDM needs EBM. Patients need both.


JAMA. 2014 Oct 1;312(13):1295-6. doi: 10.1001/jama.2014.10186.

The connection between evidence-based medicine and shared decision making

Affiliations collapse

1Centre for Research in Evidence-Based Practice, Faculty of Health Sciences and Medicine, Bond University, Queensland, Australia2University of Queensland, Brisbane, Australia.

2Knowledge and Evaluation Research (KER) Unit, Mayo Clinic, Rochester, Minnesota.

3Centre for Research in Evidence-Based Practice, Faculty of Health Sciences and Medicine, Bond University, Queensland, Australia.

PMID: 25268434

DOI: 10.1001/jama.2014.10186

데이터로서 스토리, 스토리로서 데이터: 임상교육에서 내러티브 탐구의 의미찾기(Med Educ, 2005)
Stories as data, data as stories: making sense of narrative inquiry in clinical education* 
Alan Bleakley

숫자를 넘어서는 통찰력
Getting beyond the numbers

마크 해든의 소설 '밤에 일어난 개들의 기이한 사건'은 자폐 스펙트럼에 속하는 아스퍼거 증후군을 앓고 있는 소년의 마음을 들여다볼 수 있는 통찰력을 제공합니다. '수학에 대해서는 아주 많이 알지만 인간에 대해서는 거의 알지 못한다'는 소년의 세계는 사람이 아닌 숫자입니다. 주인공 크리스토퍼는 자신의 욕망에 대한 메시지를 담고 있는 타인의 이야기에 공감하지 못하는 놀라운 능력을 보여줍니다. 이와 같은 내러티브 통찰력의 부족은 의학계에서 체계적으로 배양된 것으로 볼 수 있는데, 의료 사례 연구의 특징적인 평면적이고 분리된 설명2은 의료 행위가 '이야기 속에 자리 잡고 있는' 현실을 감추는 역할을 합니다.3 또한 이러한 이야기는 연구를 위한 풍부한 소스를 제공합니다. 이야기의 중요성을 부정하는 의학계의 자폐증에 대한 도전이 제기되면서 임상 교육 연구자들은 '숫자가 아니라 환자를 치료하라'는 격언을 실천하기 위해 이야기 탐구 방법론을 연마한 인류학,4 심리학5 및 사회학6과 같은 학문을 활용하기 시작했습니다. 이는 숫자 치료의 가치를 부정하는 것이 아닙니다. 해든의 소설에서 크리스토퍼가 말했듯이 '많은 것이 미스터리입니다. 하지만 그렇다고 해답이 없다는 뜻은 아닙니다. 단지 과학자들이 아직 답을 찾지 못했을 뿐입니다. 
Mark Haddon's1 novel The Curious Incident of the Dog in the Night-Time offers an insight into the mind of a boy suffering from Asperger's syndrome, a condition on the autistic spectrum. The boy's world is numbers, not people: ‘he knows a very great deal about maths and very little about human beings’. The central character, Christopher, shows a striking inability to empathise with the narrative accounts of others that carry messages about their desires. An equivalent lack of narrative acumen can be seen to have been systematically cultivated in medicine, where the telling symptom is the characteristically flat, detached account of the medical case study2 serving to conceal the reality that medical practice is ‘entrenched in stories’.3 Further, such stories afford rich sources for research. As a challenge emerges to medicine's self-imposed institutional autism that is a denial of the importance of story, clinical education researchers are beginning to draw on disciplines such as anthropology,4 psychology5 and sociology6 that have honed their narrative inquiry methodologies, to address the maxim: ‘treat the patient, not the numbers’. This is not to deny the value of treating numbers. As Christopher, in Haddon's novel, says: ‘Lots of things are mysteries. But that doesn’t mean there isn't an answer to them. It's just that scientists haven't found the answer yet.'

이전에는 인문학의 영역으로 여겨졌던 건강과 질병에 대해 정서적, 관계적, 윤리적, 상상력적인 측면에 초점을 맞춘 질적 연구 형태가 등장했습니다. 일부 내러티브 연구자들은 질병에 대한 환자의 이야기와 같은 이야기를 데이터로 수집하고 분석하는 데 관심이 있으며,6,7 다른 연구자들은 삶의 경험 데이터를 내러티브 형식으로 재구성하여 연구 결과물로 제시합니다.8,9 데이터로서의 이야기, 이야기로서의 데이터 - 내러티브 탐구의 세계에 오신 것을 환영합니다. 
Qualitative forms of research have come to engage with health and illness in ways that were considered previously the province of the humanities, focusing upon affective, relational, ethical and imaginative aspects of experience. Some narrative researchers are interested in taking stories, such as patients' accounts of illness, and analysing them as data,6,7 while other researchers re-present the data of life experience in narrative form as a research product.8,9 Stories as data and data as stories − welcome to the world of narrative inquiry.

단일 사례에 초점을 맞춘 '내러티브 기반 의학'10은 인구 연구에서 도출되고 정량적이며 일반화 가능성을 추구하는 지배적인 증거 기반 접근법을 보완할 수 있습니다. 후일러9는 뉴멕시코 대학교 시체 안치소에서 감사 연구 프로젝트를 수행한 사례를 소개합니다. 그는 사망 연도별로 정리된 법정 크기의 마닐라 봉투 더미를 뒤지며 '자동' 모드로 전환하여 컴퓨터에 데이터를 입력하고 '잔여물을 증류'하는 작업을 했습니다. 하일러는 '숲속의 여인이 저지른 행위'라는 범죄 현장 사진에 적나라하게 드러난 비극에 마취된 듯 눈앞에 펼쳐진 비극에 빠져들었습니다. 자살로 의심되는 숲속의 죽은 여인의 사진이 주는 감정적 충격은 그의 '감사' 사고방식과 냉정하게 일치하는 객관적인 의학적 설명과 극명한 대조를 이룹니다: '받은 시신은 진행 단계에있는 중년 백인 여성의 시신입니다 ...'. 갑자기 하일러는 자살한 할머니를 떠올립니다. 그는 이를 떨쳐버리고 당면한 과제에 집중합니다: '그만해, 이건 설명적 통계, 역학이야...'라고 스스로에게 말했습니다.
A ‘narrative-based medicine’10 focused on the single case can complement the dominant evidence-based approach that draws from population studies, is quantitative and seeks generalisability. Huyler9 describes carrying out an audit research project at the morgue of the University of New Mexico. Working through a pile of legal-sized manila envelopes arranged by year of death, he would go into ‘automatic’ mode, typing data into a computer, ‘distilling them to a residue’. Huyler found himself anaesthetised to the tragedies that spread out before him, explicit in the photographs of crime scenes: ‘the act done … the woman in the woods’. The emotional impact of the photograph of the dead woman in the woods, a suspected suicide, contrasts starkly with the concurrent, objective medical description that chillingly correlates with his ‘audit’ frame of mind: ‘The body received is that of a middle-aged Caucasian woman in the advanced stages of…’. Suddenly Huyler thinks of his grandmother, who also committed suicide. He shrugs this off and stiffens to the task at hand: ‘Enough of that, I told myself …This is descriptive statistics, epidemiology …’.

질적 연구는 종종 '하드' 과학과 달리 '소프트'하다는 고정관념이 있지만,11 내러티브 조사의 소프트 데이터는 하드한 현실을 조명할 수 있습니다. 예를 들어, 리치와 그레이(Rich와 Grey)12는 '숫자를 넘어서'라는 부제가 붙은 연구에서 '관통 폭력'을 당한 48명의 젊은 흑인 생존자에게 외상 수술이 미친 영향을 고려했습니다. 심층 인터뷰를 통해 사회적으로 소외된 환자들의 삶에 대한 극적인 통찰력을 제공하는 내러티브 스토리를 발굴했으며, 참가자들은 그들의 세계에 진정한 관심을 보이는 연구자들을 통해 힘을 얻었습니다. 객관적인 이환율과 사망률 데이터는 특징적으로 얼굴이 드러나지 않지만, 내러티브 조사는 사람을 대상으로 하는 연구가 아니라 사람에 대한 연구로서 의도적인 개입을 통해 연구 대상자를 개인화할 뿐만 아니라 능동적으로 참여시키려고 노력하는 경우가 많습니다. 
Qualitative studies are often stereotyped as ‘soft’, in contrast to the ‘hard’ sciences11 but narrative inquiry's soft data can illuminate hard realities. For example, Rich and Grey,12 in a study subtitled ‘getting beyond the numbers’, consider the impact of trauma surgery on 48 young, black survivors of ‘penetrating violence’. In-depth interviews stimulated narrative accounts that give dramatic insight into the lives of these socially marginalised patients, while the participants are empowered through researchers showing a genuine interest in their worlds. While objective morbidity and mortality data characteristically remain faceless, narrative inquiry often seeks not only to personalise but also to engage proactively with its research population through deliberate intervention, as research with, not on, people.

양적 대 질적 논쟁을 넘어, 두 가지 질적 접근법 사이의 명백한 긴장을 다룸으로써 임상 교육에서 내러티브 탐구 분야를 이해할 수 있습니다.

  • 첫 번째는 내러티브의 구조를 분석하고 분류를 도출하는 방법입니다.
    • '이야기에 대해 생각하기'6를 하는 이 접근법은 연구자가 분석적 사고방식을 채택해야 하며, 원시 데이터에서 귀납적으로 범주를 도출하거나 설명 또는 조명을 위해 내러티브에 다시 범주를 적용하는 것을 포함합니다.
  • 두 번째는 내러티브에 대한 보다 총체적이고 통합적인 이해를 추구하는 방법으로, 주어진 내러티브에 공감적으로 '들어가거나' 구조적 분석에서 놓칠 수 있는 요소를 포착하기 위해 연구 결과물로서 스토리를 만드는 것입니다.
    • 이러한 '이야기로 사고하기'6의 접근 방식은 수사학과 같은 문학적 장치에 대한 응용 지식으로서 '내러티브 역량'13을 종합하고 개발할 수 있는 연구자를 필요로 합니다. 이야기에 대한 분석적 접근이 환자를 객관화할 수 있다면, 종합적 접근은 이야기라는 매체를 통해 연구자와 실무자를 환자의 세계에 더 가까이 다가가게 하고, 은유적으로 청진기 역할을 한다고 주장합니다. 

Beyond the quantitative vs. qualitative debate, we can make sense of the field of narrative inquiry in clinical education by addressing an explicit tension between two qualitative approaches.

  • First are methods that analyse the structure of narratives and derive classifications. This approach of ‘thinking about stories6 requires a researcher to adopt an analytical mindset and involves deriving categories inductively from raw data, and/or applying such categories back to narratives for explanation or illumination.
  • Second are methods that seek a more holistic and integrative understanding of narratives, either empathically ‘entering’ a given narrative, or creating a story as research product as a way of capturing elements otherwise lost to a structural analysis. This approach of ‘thinking with stories6 requires a researcher who can synthesise and has developed ‘narrative competence’13 as applied knowledge of literary devices such as rhetoric. Where analytical approaches to stories may lead to objectifying the patient, approaches of synthesis claim to bring researchers and practitioners closer to the patient's world through the medium of story, acting − metaphorically − as stethoscope.

내러티브 연구에 대한 이러한 서로 다른 접근 방식 사이의 긴장은 의학에서 분석의 수준으로서 집단과 단일 사례 사이의 익숙한 구분을 반영합니다. 의학교육이 주로 과학적 방법을 지향하는 경우, 이야기에 대한 사고가 이야기로 생각하는 것보다 특권을 누릴 수 있습니다. 실제로 모리스14는 내러티브 탐구에서 이야기를 통한 사고는 '철저하게 무시'된다고 말합니다. 예를 들어, 의대생들은 자신이 들은 환자의 이야기를 분석적이고 양식화된 설명2으로 변환하는 방법을 빠르게 배우는데, 이는 객관화된 임상적 시선과 청각적으로 동등한 것입니다. 이러한 편향에 대응하기 위해 '균형 잡힌' 의학 교육은 임상 전문 지식내러티브 통찰력, 즉 전자는 과학에 기반하고 후자는 인문학에 기반한 통찰력을 종합적으로 제공할 수 있습니다.
The tension between these differing approaches to narrative research echoes the familiar distinction in medicine between population and the single case as levels of analysis. Where medical education is orientated primarily to scientific method, thinking about stories may be privileged over thinking with stories. Indeed, Morris14 suggests that thinking with stories is ‘thoroughly neglected’ in narrative inquiry. For example, medical students rapidly learn to translate the patients' stories they hear into analytical and stylised accounts2 as an aural equivalent of the objectifying clinical gaze. To counter this bias, a ‘rounded’ medical education could synthesise clinical expertise and narrative acumen − the former based on science, the latter on the humanities.

내러티브란 무엇인가요?
What is a narrative?

브루너15는 과학적 앎내러티브적 앎은 근본적으로 다르다고 주장합니다. 과학이 진리를 규명하는 데 관심이 있다면, 내러티브는 경험에 의미를 부여하는 데 관심이 있습니다. '내러티브'(L. narrare)는 '알다'라는 뜻으로, 스토리텔링은 단순히 사건의 투명한 서술이 아니라 지식 생산과 경험의 형성을 포함합니다.3 현대의 내러티브 탐구는 1980년대 사회과학에 대한 재고가 활발했던 시기에 사빈16이 과학의 지배적인 기계 은유에 도전하면서 내러티브를 인간 활동의 근본 조직 원리라고 설명하면서 공고화되었습니다. 내러티브에 대한 정통적인 견해는 '일련의 사건에 대한 조직화된 해석'이라는 Murray의 정의17를 따릅니다. 이야기무질서한 사건의 시리즈로 경험될 수 있는 것에 시간적 질서를 부여합니다.18 플롯사건을 시퀀스로 배치하여 내러티브를 구성하지만, 일반적으로 주체, 의도, 수단, 목표 및 설정과 같은 이야기 요소 간의 불일치를 통해 긴장감을 조성합니다. 따라서 내러티브는 종종 기대에 반하여 익숙한 것을 낯설게 만들며, 어떤 이야기도 단일한 읽기나 의미를 갖지 않습니다.3 Strawson19은 내러티브 연구에서 모든 경험을 이야기로 취급하는 경향에 대해 경고하며, 일부 개인은 삶을 '통시적'(시간)이 아닌 '에피소드적'(공간)으로 경험할 수 있다고 말합니다.
Bruner15 argues that scientific and narrative ways of knowing are fundamentally different. Where science concerns itself with the establishment of truth, narrative's concern is to endow experience with meaning. ‘Narrative’ (L. narrare) means ‘to know’ and storytelling involves knowledge production and shaping of experience, not simply transparent recounting of events.3 Contemporary narrative inquiry was consolidated in the 1980s, during a fertile period of rethinking the social sciences, where Sarbin16 challenged the dominant machine metaphor of science, describing narrative as a root organising principle of human activity. The orthodox view of narrative follows Murray's17 definition: ‘an organized interpretation of a sequence of events’. Story brings temporal order to what would otherwise be experienced as a series of chaotic events.18 Plot structures narrative by putting events into a sequence, but tension is usually created through misfit between the elements of story such as agency, intention, means, goal and setting. Narratives thus often run counter to expectations, making the familiar unfamiliar, and no story has a single reading or meaning.3 Strawson19 warns against a tendency in narrative studies to treat all experience as story, where some individuals may experience life as ‘episodic’ (in space) rather than ‘diachronic’ (in time).

  • 내러티브에 대한 초기 학문적 연구는 내러티브의 내용, 즉 내러티브의 내적 구조에 관심을 두어 '내러톨로지'라는 용어를 탄생시켰습니다.18 내러톨로지스트들은 시간 속에서 전개되는 이야기의 패턴이나 인물과 행동 사이의 관계를 분석하여 이야기를 일련의 형식적 규칙과 전형적인 구조로 축소시켰습니다. 라보프20는 '장면 설정'과 같은 내러티브 요소의 기능에 따라 내러티브를 기능적으로 분류하면서 이러한 전통을 발전시켰습니다.
  • 그러나 다른 이론가들은 이야기의 구조에 대한 추상적 분석에는 관심이 적었고, 내러티브를 사회적 맥락에서 이야기가 수사학적으로 사용되는 방식과 같은 담론으로 취급하는 것을 선호했습니다. (수사학은 은유와 같은 장치를 통해 언어를 표현적이고 설득력 있게 사용하는 것을 말합니다.) 이러한 담론적 접근 방식은 스토리의 내용보다는 방식, 즉 사건보다는 스토리의 의미가 연구의 초점을 제공하는 것으로 생각할 수 있습니다.
  • 구조적 접근이 이야기를 투명하고 설명적인 것으로 취급하는 경향이 있다면, 현대 담론적 접근은 이야기를 사회적 의미를 구성하는 것으로 봅니다.3,21,22 앞서 소개한 이야기에 대해 생각하는 것이야기로 생각하는 것 사이의 긴장, 즉 내용으로서의 이야기(구조) 대 과정으로서의 이야기(담론) 사이의 긴장을 '이야기의 이중 논리'라고 부릅니다.22
  • Early academic work on narratives concerned itself with story content − the what, or internal structure, of narrative − giving rise to the term ‘narratology’.18 From analyses of patterns of stories unfolding in time, or the relations between characters and actions, narratologists reduced stories to a set of formal rules and typical structures. Labov20 refined this tradition, categorising narratives functionally according to what an element of narrative does, such as ‘scene-setting’.
  • Other theorists, however, were less interested in abstract analysis of the structure of story, preferring to treat narrative as discourse − for example, how stories are used rhetorically in social contexts. (Rhetoric is the expressive and persuasive use of language through devices such as metaphor.) This discursive approach can be thought of as the way, rather than the what, of stories, where the meaning of a story offers the focus for research, rather than events.
  • Where structural approaches tend to treat story as transparent and descriptive, contemporary discourse approaches see narratives as constructing social meanings.3,21,22 Echoing the tension, introduced earlier, between thinking about a story and thinking with a story, story as content (structure) vs. story as process (discourse) has been termed the ‘double logic of narrative’.22

에드워즈21은 '내러티브에 대한 연구는... 특정 이야기 내용이... 이야기 속에서 어떻게 사회적 행동을 수행하는지를 다루기보다는... 내러티브 구조의 일반화된 유형과 범주를 추구하는 경향이 있다'는 분석 중심의 연구로 인해 내러티브의 수사학적 목적의 중요성이 놓치고 있다고 지적합니다. 분석적 접근 방식은 이상화 경향이 있어 연구자들이 이야기를 미리 설정된 범주에 억지로 끼워 맞추도록 부추기며, 대안에 대응하여 자신의 신뢰성을 수사학적으로 관리하는 텍스트와 같이 특정 사회적 상황에서 특정 내러티브가 어떻게 작동하는지를 놓치게 됩니다. 예를 들어, 서로 다른 전문 분야의 의사들이 작성한 의뢰서 및 상담서의 수사학에 대한 연구에서 링가드 등은23 정신과 의사가 전문직 협회의 육성을 선호하는 의료-법적 문제에 대한 외과 의사의 편견과 같이 특정 관점을 홍보하는 데 사용되는 내용과 스타일의 차이에 주목했습니다. 이러한 편지는 중립적인 문서가 아니라 입장을 가정하고 저항을 예측하며 협력을 촉진하는 텍스트입니다. 의학교육에서 수사학은 세 가지 주요 영역에서 그 역할에 대해 연구되어 왔습니다.26,27

  • 상호작용 관리,24 
  • 은유를 사용한 임상적 판단,25 
  • 정체성 구축이라는 

Edwards21 suggests that the importance of narrative's rhetorical purpose is missed by analytically orientated research where ‘studies of narrative… have tended to pursue generalized types and categories of narrative structure, rather than dealing with how specific story content… may perform social actions in-the-telling’. Analytical approaches tend to idealisation, encouraging researchers to force stories into preset categories, again missing how specific narratives work for specific social occasions, such as a text rhetorically managing its own credibility by countering alternatives. For example, in a study of the rhetoric of doctors' referral and consultation letters from differing specialties, Lingard et al.23 note differences in content and style used to promote certain favoured perspectives, such as surgeons' biases to medico-legal issues where psychiatrists favoured the cultivation of professional associations. Such letters are not neutral documents, but texts assuming positions, predicting resistance and promoting collaboration. In medical education, rhetoric has been studied for its role in 3 main areas:

  • management of interactions,24 
  • clinical judgements employing metaphor25 and
  • identity construction.26,27

내러티브 방법
Narrative methods

이 섹션에서는 내러티브 조사에 대한 주요 방법론적 접근법을 비판적으로 살펴봅니다. 폴킹혼28은 연구 데이터를 수치, 짧은 형식, 내러티브의 세 가지 유형으로 구분합니다. 연구 질문이 공식화되면 연구자는 연구 질문을 다루기 위한 적절한 방법론을 결정해야 합니다. 내러티브 방법은 만성 질환과 같이 시간에 따른 경험을 연구하는 데 특히 적합합니다. 
This section examines critically the main methodological approaches to narrative inquiry. Polkinghorne28 distinguishes between three kinds of research data: numerical, short form and narrative. Once a research question has been formulated, the researcher must then decide on the appropriate methodology to address the research question. Narrative methods are particularly appropriate for researching experiences through time, such as chronic illness.

데이터 생성
Data generation

데이터는 비디오 또는 오디오 녹취록, 자연스러운 형태의 의사소통에 대한 현장 기록, 자극 회상과 같은 다양한 형태의 인터뷰, 사례 노트와 같은 인공물을 포함한 글쓰기 사례를 통해 생성할 수 있습니다. 확장 인터뷰는 내러티브 데이터를 생성하는 데 정기적으로 사용되지만 인터뷰 자체가 비판적으로 고려되는 경우는 드물며, 연구자들은 인터뷰가 어떻게 계획되고 수행되었는지 또는 효과적인 인터뷰에 필요한 자질에 대해 언급하지 않습니다.29,30 인터뷰는 너무 자주 목적을 위한 수단으로 취급되며, 지식(데이터 생성)을 적극적으로 구성하기 위한 사회적 매체가 아니라 정보 수집(데이터 수집)의 투명한 과정으로 취급됩니다. 미슬러30는 인터뷰의 몇 가지 잠재적 문제점으로 피험자의 이야기 흐름을 방해하여 내러티브가 단절되고, 인터뷰의 어떤 부분을 보고할지 선택할 때 편견이 생길 수 있다는 점을 지적합니다. 
Data can be generated through video or audio transcripts; field notes of naturalistic forms of communication; differing forms of interview such as stimulated recall; and examples of writing, including artefacts such as case notes. Extended interview is employed regularly in generating narrative data, but the interview itself is rarely considered critically, where researchers fail to comment on how the interview was planned and conducted, or on the qualities needed for effective interviewing.29,30 Interviewing is too often treated as a means to an end, and as a transparent process of information-gathering (data collection), rather than a social medium for active construction of knowledge (data generation). Mishler30 notes several potential problems with interviewing, such as stemming the flow of the subject's talk so that the narrative is fractured, and bias in selection of which parts of the interview are reported.

데이터 분석
Data analysis

후투넨 등31은 '내러티브 연구는 하나의 방법이 아니라 오히려 아메바처럼 느슨한 참조 프레임'이라고 도발적으로 제안합니다. 이와는 대조적으로, 내러티브 연구를 체계화한 설득력 있는 설명들이 많이 있습니다.6,7,32,33 내러티브 방법론은 '연구라기보다는 예술'이며 '거의 가르칠 수 없다'고 제안하지만, Lieblich 등은 내러티브 분석을 위한 명확한 틀을 제시하면서 전체론적 대 범주적, 내용 대 형식의 두 차원을 격자로 결합하여 네 가지 접근법을 형성할 수 있다고 말합니다(그림 1).

  • 전체론적 접근법은 문화와 역사에 맥락을 둔 전체로서의 이야기를 취하고 전체적인 패턴이나 지도적 은유를 파악하려고 시도하는 반면,
  • 범주적 접근법은 특정 에피소드를 분석합니다.
  • 내용은 내러티브에서 일어나는 일이고
  • 형식은 어떤 일이 일어나는 방식입니다. 

 

Huttunen et al.31 suggest, provocatively, that ‘narrative research is not a method… Rather, it is a loose frame of reference… amoeba-like’. In contrast, a number of eloquent accounts systematise narrative research.6,7,32,33 Despite suggesting that narrative methodology is ‘more art than research’ and ‘can hardly be taught’, Lieblich et al.33 proceed to offer a clear framework for narrative analysis, invoking two dimensions − holistic vs. categorical and content vs. form − that can be combined as a grid to form four approaches (Fig. 1). Holistic approaches take a story as a whole, contextualised in a culture and history, and attempt to grasp the overall pattern or guiding metaphors, where categorical approaches dissect particular episodes. Content is what happens in a narrative, form is how something happens.

폴킹혼28은 '내러티브의 분석'과 '내러티브적 분석'을 구분합니다. 내러티브적 분석은 실제로 내러티브를 통해 경험과 아이디어를 종합하는 과정이며, 여기서는 '내러티브를 통한 종합'으로 재구성합니다('내러티브 종합'은 무작위 대조 시험 이외의 방법으로 생산된 연구 데이터를 종합하는 방법으로 특정한 의미를 획득한 용어입니다). 내러티브의 복잡한 분야를 분석과 종합의 접근 방식 간의 단순한 대립으로 축소할 수는 없습니다. 그러나 이 관계를 생산적인 긴장으로 표현하면 내러티브 방법에 관심이 있는 의학교육자가 채택된 접근법의 한계를 비판적으로 고려하고, 거부된 경쟁 접근법도 제공할 수 있는 것을 참조하는 데 도움이 될 수 있습니다. 자물쇠와 열쇠의 비유를 통해 분석과 종합의 접근 방식은 서로 다른 것처럼 보이지만 함께 하나의 단위를 구성하며 혼합 방법론의 가치를 시사합니다. 
Polkinghorne28 distinguishes between the ‘analysis of narratives’ and ‘narrative analysis’. Narrative analysis is actually a process of synthesis of experience and ideas through narrative, and is reconfigured here as synthesis through narrative’ (rather than ‘narrative synthesis’ − a term that has acquired a particular meaning as a way of synthesising research data produced by methods other than randomised controlled trials). The complex field of narrative cannot be reduced to a simple opposition between approaches of analysis and synthesis. However, articulating this relationship as a productive tension could help medical educators interested in narrative methods to critically consider the limitations of an adopted approach by reference to what the rejected, competing approach can also offer. Drawing on the analogy of lock and key, approaches of analysis and synthesis look different apart but constitute a unit together, suggesting the value of mixed methodologies.

내러티브의 분석: 스토리에 대해 생각하기
The analysis of narratives: thinking about a story

원시 내러티브 데이터에서 귀납적으로 카테고리 생성하기
Inductively producing categories from the raw narrative data

원시 내러티브에서 귀납적으로 범주를 도출하여 추가 조사를 위한 관리 가능한 데이터를 제공할 수 있으며, 종종 프레임워크 또는 유형학을 다시 적용하여 단일 사례를 조명할 수 있습니다. 그 예로 Frank가 제시한 '질병 내러티브'의 세 가지 유형인 '회복', '혼돈', '탐구'를 들 수 있습니다. 회복 이야기는 질병을 일시적인 것으로 합리화하고, 혼돈 이야기는 상황에 압도당하는 것을 묘사하며, 탐구 이야기는 질병을 변화의 기회로 받아들이는 것을 묘사합니다. 프랭크는 '지저분하게' 이야기되는 질병 이야기는 이러한 범주에 깔끔하게 속하지 않으며, 한 사람의 account에서 세 가지 범주가 모두 작용할 수 있다고 경고합니다. 만약 그렇다면 프랭크의 방식은 그저 유용한 휴리스틱에 지나지 않을 수 있다. 그리고 그는 개별 사례의 특수성이 유형학에 포함될 수 있다는 점을 최초로 지적한 사람이다. 그러나 그는 개인이 복잡한 이야기를 제시하는 경우, 실무자와 연구자가 어떤 종류의 틀 없이는 '실타래를 정리'하기 어렵다고 주장합니다. 중요한 것은 '(유형학의) 장점은 아픈 사람들이 말하는 이야기에 세심한 주의를 기울이게 하고, 궁극적으로는 아픈 사람들의 이야기를 경청하는 데 도움을 준다는 점'이라고 프랭크는 주장합니다. 그러나 이야기에 직접적으로 몰입하는 것이 아니라 추상적인 분석 프레임이 어떻게 더 공감적으로 경청할 수 있도록 준비시키는지는 알기 어렵습니다.
Categories may be drawn inductively from the raw narratives to provide manageable data for further investigation − often a framework or typology that can then be applied back to illuminate single cases. An example of this is Frank's6 three types of ‘illness narratives’: ‘restitution’, ‘chaos’ and ‘quest’. Restitution stories rationalise illness as transitory; chaos stories describe being overwhelmed by the situation; and quest stories describe acceptance of illness as opportunity for change. Frank warns that ‘messy’ recounted illness stories do not fall neatly into such categories and all 3 categories may be at work in any one person's account. Frank's scheme may then offer no more than a useful heuristic, and he is the first to note that particularity of the individual story may be subsumed in the typology. However, he argues that where individuals present messy stories, it is difficult for practitioners and researchers to ‘sort out the threads’ without some kind of framework. Importantly, Frank claims that ‘The advantage (of typologies) is to encourage close attention to the stories ill persons tell; ultimately, to aid listening to the ill.’ It is, however, difficult to see how an abstract analytical frame, rather than direct immersion in a story, prepares one to listen more empathically.

Bal18은 '분류, 유형화... 모두 혼돈-불안에 대한 치료법으로서 매우 좋지만, 과연 어떤 통찰력을 얻을 수 있을까요? '라고 경고합니다. 분류 방법은 여전히 '다루기 힘든' 데이터를 정리할 때 자연과학에서 영감을 얻습니다. 일반적으로 내러티브는 시간에 따라 전개되는 통시적으로 나타납니다. 통시적 내러티브 데이터는 범주 분석을 거치면 역사적 또는 발전적 차원이 없는 공시적 데이터로 축소됩니다. 예를 들어, 내러티브 인터뷰 데이터에 대한 Crossley의5 분석은 HIV 양성 판정을 받고 5년 이상 살아온 38명이 사용한 생존 전략을 자세히 설명합니다. 데이터에서 '현재에 대한 철학을 가지고 살기'(낙관적), '미래에 대한 철학을 가지고 살기'(거짓 낙관적), '공허한 현재에 살기'(비관적)라는 세 가지 전략이 '시간적 지향성'의 뚜렷한 범주로 나타났습니다. 이러한 범주는 위에서 설명한 Frank6의 범주와 매우 유사합니다.
Bal18 warns that ‘classification, typology… is all very nice as a remedy to chaos-anxiety, but what insights does it yield?’. Categorisation methods still look to the natural sciences for inspiration in organising otherwise ‘unruly’ data. Typically, narrative presents diachronically, unfolding in time. When subjected to category analysis, the diachronic narrative data is collapsed into synchronic data with no historical or developmental dimension. For example, Crossley's5 analysis of narrative interview data details the survival strategies used by 38 people who had been living with HIV positive diagnosis for at least 5 years. Three strategies emerged from the data as distinct categories of ‘temporal orientation’: ‘living with a philosophy of the present’ (optimistic); ‘living in the future’ (falsely optimistic); and ‘living in the empty present’ (pessimistic). These categories conveniently resemble those of Frank6 described above.

원시 내러티브 데이터에 카테고리 적용하기
Applying categories to the raw narrative data

원시 데이터에서 귀납적으로 도출된 범주는 이제 설명력을 주장할 수 있지만 종종 단순한 설명에 불과한 새로운 사례에 적용되는 프레임워크가 됩니다. 위의 Crossley의 범주는 Gergen과 Gergen의34 만성 질환의 시간적 모델과 수렴하여 퇴행성, 진행성, 안정성의 세 가지 내러티브를 다시 설명합니다. Murray17는 이 체계를 유방암 생존자의 이야기에 적용하여 세 가지 전략을 설명합니다:

  • '안정적/퇴행적': 암을 고난의 삶에서 또 다른 좌절로 구성하는 이야기,
  • '진보적': 질병을 기회로 여기고 종종 믿음을 찾거나 현재에 새롭게 집중하는 이야기,
  • '안정적': 질병을 금욕적으로 받아들이고 통합하여 삶을 이어나가는 이야기입니다.

이러한 이야기는 절망, 희망, 수용이라는 핵심적인 은유를 드러냅니다. 머레이는 다발성 경화증 환자에게서도 같은 패턴을 볼 수 있다고 주장합니다. 작은 연구 영역 내에서 이러한 세 가지 분류 체계가 반복되는 것은 연구자들이 데이터에서 작동하는 어떤 원형적 패턴을 발견하는 것이 아니라 (모델의 교차 감염을 통해) 유형학을 구성하고 있을 수 있음을 시사합니다. 
Categories inductively derived from raw data now become frameworks applied to new cases that may claim explanatory power but are often merely descriptive. Crossley's categories, above, converge with Gergen and Gergen's34 temporal model of chronic illness, again describing three kinds of narratives: regressive, progressive and stable. Murray17 applies this scheme to stories of breast cancer survivors to delineate three strategies:

  • ‘stable/regressive’, where stories configure cancer as yet another setback in a life of difficulties;
  • ‘progressive’, where illness is seen as an opportunity and people often find faith, or a renewed focus upon the present; and
  • ‘stable’, where illness is accepted stoically and integrated, in getting on with life.

These stories reveal central guiding metaphors: despair, hope and acceptance. Murray claims that the same pattern can be seen in people suffering from multiple sclerosis. The recurrence of such triple classificatory systems within a small arena of research suggests that researchers may not be uncovering some archetypal pattern at work in the data, but constructing typologies through cross infection of models.

내러티브를 통한 종합: 스토리로 사고하기
Synthesis through narrative: thinking with a story

내러티브 분석은 환자의 경험에 공감하는 강력한 방법을 제공할 수 있는 객관적인 주제에 스토리의 정서적 영향력을 잃는 경향이 있습니다. 내러티브를 통한 종합에는 두 가지 기본 접근법이 있습니다: 

  • 첫째, '질병 내러티브'35 또는 '병리학'36,
  • 둘째, 사회 현실주의 회고록입니다.8,9,37 

전자는 종종 연구자의 해석이 수반되는 경우가 많습니다. 후자는 일반적인 연구 장치를 버리고 저자가 서사적 라이선스를 최대한 활용하여 일관성 있고 자기 참조적인 사회 현실주의 소설을 제공합니다.
Narrative analysis tends to lose the affective impact of the story to objective themes, where such impact may offer a powerful way of empathising with the patient's experience. There are two basic approaches to synthesis through narrative:

  • first, the ‘illness narrative35 or ‘pathography’;36 and
  • secondly, the social-realist memoir.8,9,37 

The former is often interpreted, with an accompanying gloss from the researcher. The latter abandons the usual research apparatus, where the author provides a coherent, self-referencing, social-realist fiction enjoying the full use of narrative licence.

질병 내러티브
Illness narratives

질병 내러티브 데이터는 일반적으로 공동 인터뷰를 통해 수집되며, 자서전적 글쓰기로 보완되며, 독자의 공감을 불러일으키기 위해 당사자의 목소리를 포착하려고 시도합니다. 이러한 내러티브는 특징적으로 의료 사례로 환원되는 것을 피하고 더 넓은 심리사회적 맥락에 해당 인물을 배치합니다. 예를 들어, 쿠저38는 '암은 의학적인 이야기가 아니라 감정의 이야기'라고 말하며 유방암 생존자의 내러티브에 나타나는 특징적인 '플롯마크'로 혹을 발견하고 진단을 받은 순간, 유방 절제술과 재건술을 포함한 치료법 선택의 어려움, 탈모, 식은땀, 조기 폐경 등 화학요법의 부작용, 성에 대한 혼란, 미래에 대한 결심 등을 제시합니다. 
Illness narrative data are usually collected through collaborative interviewing, supplemented by autobiographical writing, attempting to capture the voice of the person to invoke empathy in the reader. Such narratives characteristically avoid reduction to a medical case, situating the person in a wider psychosocial context. For example, Couser38 suggests that ‘cancer is more than a medical story, it's a feeling story', and notes characteristic ‘plotmarks’ to narratives of breast cancer survivors, such as the moments of discovery of a lump and diagnosis; difficulties of choice about treatments including mastectomy and reconstruction; the side effects of chemotherapy such as loss of hair, night sweats and early menopause; confusion over sexuality; and resolutions about the future.

이러한 내러티브는 자칫 자기만족적일 수 있는 고백적 이야기에 국한되지 않고39 질병을 안고 살아가는 데 있어 지적, 영적, 실제적 측면은 물론 정서적, 관계적 측면에 대한 통찰력을 제공합니다. 질병 내러티브를 통한 현대 연구는 상호작용과 정체성 형성의 수사학적 관리에 대한 명시적인 관심을 보여줍니다. Riessman40은 최근 이혼한 다발성 경화증을 앓고 있는 한 백인 노동계급 남성의 이야기를 들려줍니다. 이 남성은 강한 남성적 정체성을 유지하는 데 중점을 둔 자신의 삶을 이야기하면서 주요 사건을 선택적으로 수사학적으로 이야기함으로써 좌절에도 불구하고 자신의 정체성을 재구성합니다. 그가 청중을 대하는 방식은 우리가 그에 대한 인상을 형성하는 데 영향을 미칩니다. 
Such narratives are not limited to confessional accounts, that can be self-indulgent39 but give insight into the intellectual, spiritual and practical, as well as the emotional and relational, aspects of living with illness. Contemporary research through illness narratives shows explicit interest in rhetorical management of interaction and identity formation. Riessman40 offers an account of a recently divorced white working class male with advanced multiple sclerosis. The man reconfigures his identity, despite his setbacks, by selectively and rhetorically recounting key incidents in a narrative retelling of his life that centres on maintaining a strong masculine identity. The way he addresses the listener guides the impressions we form of him.

사회 현실주의 문학 작품
Social-realist literary accounts

이야기를 통한 사고의 더 강력한 버전은 회고록과 같은 사회현실주의적 '소설'을 쓰는 것입니다.8,9,37 이러한 기록은 체계적이고 엄격한 방식으로 데이터를 수집 및 분석하거나, 결론이나 권고에 도달하거나, 가설을 옹호하거나 위조하거나, 귀납적으로 테스트할 모델을 생성하거나, 타당성 및 신뢰성 점검을 유도하지 않기 때문에 기존의 정의에 따르면 '연구'로 분류되지 않습니다. 내러티브는 문학적 라이선스를 사용하여 이러한 엄격함을 노골적으로 과시할 수도 있지만, 도덕적 상상력을 명시적으로 다루는 중요한 '증인' 문서를 제공합니다. 
A stronger version of thinking with a story is to write a piece of social-realist ‘fiction’, as memoir.8,9,37 These accounts do not count as ‘research’ by conventional definitions, because they do not collect and analyse data in a systematic and rigorous way; reach conclusions or recommendations; uphold or falsify hypotheses; inductively generate models to be tested; or invite validity and reliability checks. While they may explicitly flaunt such rigour through employment of literary licence, such narratives offer important ‘witness’ documents explicitly addressing the moral imagination.

내러티브 연구자에게 필요한 속성
Attributes needed by narrative researchers

연구자의 특성은 내러티브 조사의 품질을 좌우하는 핵심 요소입니다. 내러티브 연구는 높은 수준의 윤리적, 비판적 참여와 사람과 유물을 모두 텍스트로서 면밀히 관찰하고 '읽는' 내러티브 감수성의 배양을 요구합니다.13 반사성모호성에 대한 관용은 이러한 집중적인 읽기에 매우 중요합니다.39 Gherardi와 Turner11는 '진짜 남자들은 부드러운 데이터를 수집하지 않는다'는 말을 뺨에 혀를 깨물며 상기시켜 줍니다. 이야기는 어린이(또는 여성)를 위한 것이 아닐까요? 내러티브 연구자의 가장 중요한 덕목은 아마도 연구 참여자뿐 아니라 데이터에 대해서도 여성 특유의 감수성을 발휘하는 것일 것입니다. 연구 대상이 숫자와 사물로 변할 수 있듯이, '부드러운' 질적 데이터도 무딘 상상력을 통해 쉽게 뭉개지거나 함부로 다룰 수 있습니다.  
The attributes of researchers are central to the quality of narrative inquiry. Narrative research demands high levels of ethical and critical engagement and the cultivation of a narrative sensibility, in which both people and artefacts are witnessed and ‘read’ closely, as text.13 Reflexivity and tolerance of ambiguity are critical to such intensive reading.39 Gherardi and Turner11 remind us, tongues firmly in cheeks, that ‘Real men don’t collect soft data'. Are stories not for children (or women)? Perhaps the most important virtue of a narrative researcher is the stereotypically feminine attribute of sensitivity − not simply to research participants, but also to data. As research subjects can be turned into numbers and objects, so ‘soft’ qualitative data can be readily squashed or treated in a ham-fisted way through a blunt imagination.

결론
Conclusion

이 글은 내러티브 탐구를 이해함에 있어 분석 접근법종합 접근법 사이의 명백한 분열을 비판적으로 다루었으며, 이를 생산적인 긴장으로 재구성하고 두 접근법 간의 동등성을 높일 것을 촉구했습니다. 내러티브 연구에 대한 접근 방식의 유형론을 제시하고, 이러한 프레임워크가 복잡한 탐구 분야를 이해하는 데 도움이 된다는 점을 인정합니다. 이야기의 구조(내용)를 강조하는 접근 방식이야기의 의미(담론)를 강조하는 접근 방식 사이의 긴장을 다루고 있습니다. 이는 두 가지 예를 통해 설명할 수 있습니다. 긴즈버그 외.41는 의대생들이 직업적 갈등을 해결하는 과정을 묘사합니다. 학생들은 직업적 실수를 보고할 때 특정 추론 전략을 통해 실수를 '다시 이야기'하는데, 그 중 하나가 바로 '내러티브 태도'입니다. 어떤 학생들은 중요한 사건을 다시 이야기하면서 책임을 회피deflect하는 반면, 다른 학생들은 반성reflect하는 모습을 보이기도 합니다. Good42는 의대생들이 사례 발표라는 장르를 학습함으로써 환자의 특이한 이야기를 의학적인 설명으로 바꾸고, 현상학적 묘사를 구체적인 병태생리학적 분석으로 전환하는 과정을 설명합니다. 이 과정은 진단과 치료에 대한 과학적 고려에 필요한 집중을 유도하고 의사를 불필요한 친밀감으로부터 보호하는 역할을 하지만, '사람을 의학적 문제로 공식화'하는 관행으로 이어집니다. 
In making sense of narrative inquiry, this article has critically addressed the apparent split between approaches of analysis and synthesis, reframing this as a productive tension and calling for greater parity between the two approaches. A typology of approaches to narrative research is offered, acknowledging that such a framework helps to make sense of a complex field of inquiry. A further tension is addressed − between approaches that emphasise the structure of a story (content) and those emphasising the meaning of a story (discourse). This can be illustrated by two examples. Ginsburg et al.41 describe medical students resolving professional conflicts. As they report professional lapses, students ‘re-story’ the lapse through certain reasoning strategies, one of which is ‘narrative attitude’. Some students characteristically deflect responsibility through re-storying critical incidents, where others reflect. Good42 describes how, through learning the genre of case presentations, medical students come to transform patients' idiosyncratic stories into medicalised accounts, where phenomenological description is translated into specific pathophysiological analysis. While this process encourages necessary focus upon scientific consideration of diagnosis and treatment, and also serves to protect the doctor from unnecessary intimacy, it results in a practice where ‘persons are formulated as… medical problems’.

첫 번째 예에서 의학교육자가 직면한 과제는 편향적 전달이 아닌 성찰적 전달 전략을 촉진하는 방법입니다. 두 번째 예에서 의학교육자의 역할을 하는 의사가 전통적으로 학생과 후배를 표준 사례 발표의 구조와 내용에 익숙하게 만드는 경우, 환자의 이야기를 변형하는 과정에서 공감을 저해할 수 있는 담론과 수사학적 관행 같은 사례 발표에 대해 어느 정도 인식하고 있을까요? 또한, 의학교육자들은 이야기를 매개로 민감한 경청을 교육하여 다시 공감을 이끌어낼 수 있는 종합적인 접근 방식보다 이야기에 대한 수렴적이고 분석적인 접근 방식을 선호하는 경향이 있을까요? 내러티브는 실습의 우연한 부산물로 여겨지기보다는 체계적인 임상 학습을 위한 강력한 매체가 될 수 있습니다. 의학교육의 또 다른 과제는 이러한 주장을 평가하는 것입니다. 

In the first example, the challenge to medical educators is how to promote reflective, rather than deflective, strategies of telling. In the second example, where doctors, in the role of medical educators, traditionally socialise students and juniors into the structure and content of the standard case presentation, to what extent are they aware of such case presentation as discourse and rhetorical practice that, in transforming the patient's story, may compromise empathy? Further, will medical educators tend to privilege convergent and analytical approaches to story over divergent approaches of synthesis that may educate sensitive listening through story as a medium, again leading to empathy? Rather than being seen as an accidental by-product of practice, narratives can offer a potent medium for structured clinical learning. A further challenge for medical education is to evaluate such a claim.

 


Med Educ. 2005 May;39(5):534-40. doi: 10.1111/j.1365-2929.2005.02126.x.

Stories as data, data as stories: making sense of narrative inquiry in clinical education

Affiliation

1Peninsula Medical School, University of Exeter, Knowledge Spa, Royal Cornwall Hospital, Truro, UK. alan.bleakley@pms.ac.uk

PMID: 15842721

DOI: 10.1111/j.1365-2929.2005.02126.x

Abstract

Background: Narrative inquiry is a form of qualitative research that takes story as either its raw data or its product. Science and narrative can be seen as two kinds of knowing, reflected in the distinction between evidence-based medicine derived from population studies and narrative-based medicine focused upon the single case. A similar tension exists in the field of narrative inquiry between cognitive-orientated analytical methods and affective-orientated methods of synthesis.

Aims: This paper aims to make sense of narrative inquiry in clinical education through definition of 'narrative', articulation of a typology of narrative research approaches, and critical examination in particular of analytical methods, the dominant approach in the literature. The typology is illustrated by research examples, and the role of medical education in developing expertise in narrative inquiry is discussed. An argument is made that the tension between analysis of the structure of stories and empathic use of stories can be seen as productive, stimulating expertise encompassing both approaches.

Discussion: Analytical methods tend to lose the concrete story and its emotional impact to abstract categorizations, which may claim explanatory value but often remain descriptive. Stemming from discomfort with more integrative methods derived from the humanities, a science-orientated medical education may privilege analytical methods over approaches of synthesis. Medical education can redress this imbalance through attention to 'thinking with stories' to gain empathy for a patient's experience of illness. Such an approach can complement understanding of story as discourse - how narratives may be used rhetorically to manage both social interactions and identity.

미국 의료시스템과학 교육의 한국 도입과 그 비판(Korean J Med Hist, 2022)
김택중*

 

“하나의 유령이 한국의 의학교육계를 떠돌고 있다, 의료시스템과학이라는 유령이.”

1. 들어가는 말

의학은 과학이기에 앞서 인간학이다.1) 의(醫, medicine)의 중심에는 치유의 주체이자 치료의 객체인 환자, 곧 아픈 ‘사람’이 있기 때문이다. 이 논문에서 논의하고자 하는 미국의 의료시스템과학(health systems science) 역시 표면적으로는 그 중심에 아픈 ‘사람’이 있음을 강조한다. 의료시스템과학 교육과정의 이른바 핵심 기능 영역(core functional domains)에 속한 7개 요소 가운데 단연 첫 번째로 꼽고 있는 요소가 다름 아닌 ‘환자, 가족, 지역사회’라는 사실이 바로 이를 말해 준다. 그러나 미국의 의료시스템과학은 ‘시스템’을 부각시킨 조어로도 짐작할 수 있듯이 사람보다는 그를 둘러싼 의료적 구조를 더 강조한다. 나머지 6개의 요소가 전부 의료시스템과 관련된 항목들로 채워져 있는 것은 우연이 아니다.2)

===
1) 이 논문에서 말하는 인간학이란 인간의 본질과 과제를 규명하는 엄밀한 학으로서의 철학적 또는 신학적 인간학(anthropology)을 의미하지 않는다. 글자 그대로 인간에 대한 관심 또는 사랑을 가리킨다. 

2) 핵심 기능 영역의 7개 요소를 순서대로 나열하면 다음과 같다.

  • 1. 환자, 가족, 지역사회(patient, family, and community),
  • 2. 의료 구조와 프로세스(Health care structure and process),
  • 3. 의료 정책과 경제(Health care policy and economics),
  • 4. 의료정보과학과 의료 기술(Clinical informatics and health technology),
  • 5. 인구, 공중, 건강의 사회적 결정 요인(Population, public, and social determinants of health),
  • 6. 가치 기반 의료(Value in health care),
  • 7. 의료시스템 개선(Health system improvement)(Skochelak 외, 2021: 8-10).

===

1910년 이후 확립된 미국 의학교육의 핵심 모형은 시스템 중심 교육이 아닌 의사 중심 교육(physician-centric education) 모형이었다. 이는 전통적인 도제식 교육과도 일맥상통하는 것으로서 기본적으로 의료를 선배 의사(들)에게 배우고 터득하는 방식이다. 따라서 의학교육의 정중앙을 차지하고 있는 것은 다름 아닌 의사이다. 즉, 의사가 의료의 주체이자 교육의 주체가 된다. 반면 근래 부상한 의료시스템과학 교육은 환자 중심의 시스템적 정체성(patient-centered systems identity)을 강조한다. 그에 따라 의사는 정중앙에서 주변부로 밀려나 의료시스템을 구성하는 일개 요소로서 탈중심화되고 탈주체화된다(Skochelak 외, 2021: 13-15).

문제는 이러한 움직임이 의사 대신 시스템의 정중앙에 자리하게 된 환자라 해서 예외로 작용하지 않는다는 점이다. 비록 의료시스템과학이 환자 중심을 천명하고 있다지만 이는 어디까지나 의료‘시스템’을 전제로 한 것이다. 요컨대 시스템/구조의 강조가 거꾸로 의료의 핵심인 환자/사람을 소외시키는 역설을 드러낼 수 있다는 의미이다. 즉, 의료시스템과학은 이미 일상이 되어 버린 환자의 의료 소외 현상을 오히려 가속화시킬 위험성을 내포하고 있다. 이른바 구조주의의 자장 안에서 의료시스템과학은 인간 주체를 중심으로 한 근대주의를 지양하려는 소위 탈근대적 움직임을 보이고 있는 것이다.3)

===
3) 이 논문에서는 구조주의를 보다 포괄적으로 확대하여 해석하기로 한다. 즉, 구조조의를 철학사적 맥락에서 언어학적인 면에 한정하지 않고 실존주의의 대척점에 서 있다는 점에서 탈근대, 탈주체의 시작을 알리는 한 흐름으로 보았다.
===

그럼에도 의(醫)에 관한 한, 여전히 사람은 구조에 선행할 수밖에 없다. 탈근대적인 시스템적 정체성을 수용하는 것도 결국은 그 시스템을 움직이는 사람(들)이기 때문이다.4) 따라서 의학교육의 근본 목표 또한 결국은 환자/사람을 잘 치료하는 좋은 의사/사람의 양성에 있을 수밖에 없다. 이러한 점에서 “의사의 가장 핵심적인 자질 중 하나는 인간에 대한 관심이다. 왜냐하면 환자를 잘 치료할 수 있는 비결은 바로 환자를 염려하는 데 있기 때문”이다(토버, 2003: 56에서 재인용). 의학이 근본적으로 시스템과학이 아닌 인간학인 이유다.

===
4) 구조주의적 관점은 이와 정반대이다. 즉, 인간중심주의를 철저히 배격하면서 인간이 사회구조/시스템을 만들고 움직이는 것이 아니라, 거꾸로 사회구조/시스템이 인간을 만들고 움직인다고 본다.
===

구조를 강조하면서 구조로써 사람을 대치하려는 의료시스템과학에는 이러한 인간의 모습이 잘 포착되지 않는다. 지식 교육이라는 측면에서 의료시스템과학은 인간을 진열대의 장식품으로만 활용할 뿐, 그 이면을 들여다보면 이내 과학이라는 이름의 차가운 구조만 노출시키고 있을 따름이다. 의사에게 의료시스템과의 적극적이고 공생적인 관계성을 촉진시키면 시킬수록 반대로 그 시스템에 매몰되어 의사도 실종되고 환자도 실종되어 버리는 역설적 현상이 벌어지는 것이다. 이러한 이유로 미국식 의료시스템과학 교육을 단기간에 직수입하려는 공학적 시도는 많은 무리가 뒤따를 수밖에 없다. 

물론 의료시스템과학 교육의 도입 자체를 거부할 이유는 없다. 통속적 맥락의 러다이트가 되어 두려워할 필요도 없다. 어차피 한국의 의학교육은 많은 부분 미국 의학교육에 빚지고 있고, 앞으로도 그러할 것이기 때문이다. 가령 미국식 역량바탕교육(competency based education)의 경우 본격적으로 도입된지 10여 년 만에 의학교육 평가인증 제도의 강제력에 힘입어 국내 의과대학 교육체계의 근간을 이루게 되었다.5) 이런 점만 보더라도 미국 의학교육의 영향력이 얼마나 큰지를 짐작해 볼 수 있다. 그러나 이런저런 미국식 교육방식이 과연 면밀한 검토를 거쳐 도입되었는가를 질문해 본다면 회의적일 수밖에 없다. 우리 실정에 맞는 착종 과정을 충분히 거쳤다고 보기 어렵다는 얘기다. 사회적 합의 없이 성급하게 도입된 미국식 의학전문대학원 제도가 결국 완전한 실패로 끝난 것이 이를 방증한다.6) 이렇듯 착종의 진지한 고민이 없는 미국식 관점의 일방적 이식은 안착이 아니라 거부반응으로 귀결될 가능성이 상존한다. 이는 의료시스템과학 교육의 도입 과정에도 예외일 수 없다.  

===
5) 미국에서 역량바탕교육의 역사는 멀리는 1949년까지 거슬러 올라갈 수 있으며, 1950-60년대에 행동주의 심리학의 영향 아래 이론화되기 시작했다. 그러나 미국에서 역량바탕교육이 의학교육에 본격적으로 적용되기 시작한 것은 1999년에 이르러서였다(Morcke, Dornan, Eika, 2013: 852-853). 한국의 의학교육 평가인증 제도에 역량바탕교육이 성과(outcomes)라는 이름으로 강제화된 것은 한국의학교육평가원이 2010년도 『의학교육 평가인증 기준 및 규정』에 학습성과와 졸업성과를 구체적으로 명시한 동년의 일이다(한국의학교육평가원, 2010: 21-23). 

6) 4년제 의학전문대학원(이하 의전원) 제도는 김대중 정부 시기였던 2002년 1월 교육인적자원부가 제도 도입의 기본계획을 발표하면서 본격적으로 시작되었다. 그 이전까지는 모든 의과대학이 의예과 2년과 의학과 4년의 6년제 학부 과정으로 운영되었다. 노무현 정부 시기였던 2005년 첫 입학을 시작으로 2011년까지 의전원으로 전환한 의과대학은 당시 전국 41개교 중 65.9%에 해당하는 27개교(의과대학과 의전원 병행 대학 포함)였다. 그러나 의학계 내부의 지속적인 반대 목소리, 사회적 부작용에 따른 찬반 논란 등이 맞물리면서 2010년 교육부가 각 대학에 학제 선택의 자율권을 주기 위한 계획을 발표하기에 이른다(한국의학교육학회, 2014: 4-6). 이후 2015년-2017년 사이 대부분 의전원이 6년제 의과대학 체제로 복귀하였으며, 2022년 현재 의전원 체제를 계속 유지할 계획인 대학은 1개교뿐이다(이영환 외, 2022: 38-40). 
===

이 논문에서는 우선 미국에서 의료시스템과학이 출현한 사회적, 사상적 배경을 살펴본 뒤 한국에 도입된 배경과 그 이유들을 살펴본다. 그리고 의료시스템 과학이 착종 과정 없이 직수입되었을 때의 문제점을 기존 인문사회의학(의료인 문학)과의 비교 분석을 통해 논한 다음, 바람직한 착종의 형태를 제시해 보는 것으로 글을 마무리하고자 한다. 

 

2. 미국의 의학교육, 그리고 의료시스템과학의 출현

1) 프래그머티즘과 미국

미국의 의학교육은 필자가 보기에 현재 한 가지 거시 원리에 의거하여 작동하고 있다. 그 거시 원리란 다름 아닌 미국 유일의 고유 철학인 프래그머티즘(Pragmatism)으로서 그 가운데 특히 효용성을 중시하는 공학적 특성이 두드러진다. 19세기 후반부터 20세기 초에 걸쳐 미국에서 자생적으로 발현된 사상 체계인 프래그머티즘은 여러 이질적인 경로의 조합과 파생 과정을 거쳐 오늘날 미국 의학교육의 실천적, 실험적 특성을 강화시키고 있다. 비록 20세기 후반에 접어들면서 다양한 철학 사조가 영미권 교육철학의 방법과 관점에 변화를 가져왔으나(한기철, 곽덕주, 김상섭, 2010: 183-184), 의학교육 분야는 20세기 전반에 확립된 프래그머티즘 및 그 영향력으로 형성된 진보주의 교육철학의 자장 안에 여전히 머물러 있는 것으로 보인다.

이러한 판단을 하는 근거는 1999년 미국의과대학협회(Association of American Medical Colleges, AAMC)가 역량바탕교육을 옹호하는 보고서를 작성하여 제출한 이래 10년도 지나지 않아 역량바탕교육이 미국뿐 아니라 전 세계적으로 채택되어 널리 이용되고 있는 데서 비롯한다(Morcke, Dornan, Eika, 2013: 852-853). 이 역량바탕교육의 사상적 뿌리는 가위 미국식 프래그머티즘이라 할 만하다. 그것은 프래그머티즘이 의료 현장 등 실세계 문제해결에 도움이 되는 실용적 지식이나 비판적 태도 및 능력 함양의 이론적 근거가 되며, 프래그머티즘의 영향력으로 형성된 진보주의 교육철학이 교수자 중심의 학습목표가 아닌 학습자 중심의 학습성과를 더 중시하는 역량바탕교육의 이론적 근거로 작용하기 때문이다.7) 

프래그머티즘은 미국이라는 국가의 발전 과정과 불가분의 관계를 갖는 사상 체계이며, 원래 남북전쟁 후 급속한 산업화의 과정에서 발생한 갖가지 사회적 갈등을 점진적으로 해결하기 위한 온건한 대응책으로 마련된 것이었다. 또한 신생 합중국 미국의 새로운 환경에 적응하기 위해 다양한 전통의 이주민들이 기존의 원칙들에 구애받지 않아야 했다는 점을 상기한다면 프래그머티즘이 구체적인 상황에서의 문제해결, 곧 행동에 더 비중을 둘 수밖에 없었음을 어렵잖게 짐작할 수 있다. 이는 프래그머티즘의 어원인 고대 그리스어 프라그마( )가 행동, 행위, 실천, 실험 등을 의미한다는 것으로도 뒷받침된다. 결국 프래그머티즘이란 미국인들의 행동 지향적이고 결과를 중시하는 생활관이 반영된 미국적 정서에 기반한 사상 체계인 것이다(신일철, 1987: 160-165; 엄정식, 1996: 77-82).8)

신생 합중국 미국인들에게 이러한 ‘행동과 그에 따른 결과’는 인내와 근면을 기반으로 한 개인의 노력에 달린 것이었으며, 그 가시적이고도 구체적인 성과측정 가능한 업적으로 치환되어 개인의 존재 가치를 드러낸다고 보았다. 이러한 태도는 프래그머티즘의 경험론9), 실증주의, 과학주의 전통 속에 반영되어 있다. 그리고 이에 의거하여 프래그머티즘을 종합 정리하면 “이론보다는 실험을 강조하고 추상적 진리보다는 실천적 지혜를 선호하며 이것을 체계적 분석을 통해서가 아니라 실증적 경험을 통해서 확인하고 문제의 상황에 실용적으로 적용하는 입장”이라 할 수 있다(엄정식, 1996: 82). 이러한 까닭에 프래그머티즘을 가리켜 “모든 기존 사유 습관을 철폐하려는 행동주의”라는 평가가 나올 수 있는 것이다(듀이, 2020b: 6).

러나 신생 합중국 미국의 사회적 갈등의 해결책으로서 제시된 프래그머티즘은 경험과 행동과 그에 따른 가시적 결과를 중시한다는 바로 그 이유로 인하여 가치론적 차원에서는 절대성을 부정하고 실제 문제해결에 유용한 상황적 효용성을 강조하게 되며, 따라서 이는 언제든 기계적인 공학적 효용성으로 변질될 위험성을 내포하고 있다. 즉, “미국인들의 가시적 성과에 대한 관심은 경험 개념을 공학화하고 통계적 수량화의 경향을 강화시킨다.” 요컨대 프래그머티즘에 의해 표현된 실제적 결과란 실증주의적으로 통제된 경험에 불과할 수 있다는 것이다. 이는 ‘이성의 도구화’라 할 만한 것으로서 그 이면의 보다 근본적인 가치에 대한 통찰을 방해할 위험이 있다(신일철, 1987: 182-183).

===
7) 프래그머티즘과 진보주의 교육관의 대계(大系)에 대해서는 다음을 참조하였다(서재복, 황혜연, 김양자, 2018: 215-228).

8) 프래그머티즘에 관한 가장 최근의 국내 종합 연구서 저자인 김동식에 따르면 프래그머티즘이란 “유럽의 지적인 유산을 미국의 사회ㆍ문화ㆍ역사적 조건에 부합하게 개변하려는 노력의 일환으로 나온 것”이다(김동식, 2002: 376).

9) 고전적 프래그머티즘을 종합한 존 듀이(John Dewey)에 따르면 프래그머티즘이 말하는 경험은 전통적 경험론이 말하는 감각으로서의 경험이 아니다. 오히려 자연에서 일어나는 모든 것이라 할 만한 것으로, 유기체가 자연과 교섭하는 일련의 상호작용(interaction)과 상호교섭(transaction)의 과정을 경험이라 본다. 여기서 상호작용이란 유기체와 환경 간 맺어지는 통일된 행동의 작용이고, 상호교섭이란 상호작용이 완전히 처리되어 통합된 인식의 과정을 의미한다(듀이, 2020a: 227; 김동식, 2002: 162). 이렇게 보면 듀이는 기존의 인식론적 관점을 완전히 폐기했다고 볼 수 있다. 즉, 인식의 대상인 지식(객관적 실재)이 먼저 존재하는 것이 아니라 상호작용과 상호교섭에 따른 유기체의 활동, 곧 행동의 결과로 지식이 획득된다는 것이다.
===

2) 프래그머티즘과 미국의 의학교육: 타일러와 플렉스너

프래그머티즘의 집대성자이자 이를 교육학과 교육철학으로 확대 발전시킨 듀이(John Dewey, 1859-1952)에 따르면 교육이란 “환경에 대한 개인의 적응을 가능하게 하는 습관(habit)을 획득하는 일”로 정의할 수 있다(듀이, 2007: 100). 이는 역으로 말하면 교육을 통해 개인의 습관을 바꿀 수 있다는 것이고, 습관이 바뀌면 그 개인의 본성(nature)도 바뀐다는 것을 의미한다. 실제로 듀이는 습관이 자아를 구성한다고 보았다. 나아가 인간은 이성도 본능도 아닌 습관의 동물이며, 습관이 실제 욕구를 형성하고 활동 능력을 부여한다고 보았다. 이는 곧 인간의 자아가 행동(행위) 과정에서 만들어진다는 것을 의미하며, 역으로 행동에 앞서 미리 정해진 자아 같은 것은 없다는 것을 의미한다(듀이, 2020a; 김동식, 2002: 169-170). 이러한 점에서 프래그머티즘은 이미 데카르트적인 불변의 이성 주체를 거부하는 탈근대성의 맹아를 내포하고 있다고 볼 수 있다.

행동을 강조하는 프래그머티즘의 이러한 반(反)사변적 성격은 현대 의학교육의 주류가 된 역량바탕교육의 기원이라 할 수 있는 미국의 교육학자 타일러(Ralph W. Tyler, 1902-1994)에게서도 그대로 드러난다. 그의 주저에서 타일러는 “교육은 인간의 행동 패턴(behavior patterns)을 변화시켜 가는 과정”(Tyler, 1949: 5-6)이며, “학습은 학생의 능동적인 행동을 통해 발생하는 것, 즉 그가 행한 행동에 의한 것이지 교사의 교수 행동에 의한 것이 아니다”(Tyler, 1949: 63)라고 말함으로써 듀이의 철학적 자장 안에 있음을 공개적으로 드러냈다. 실제로 타일러는 듀이의 영향력 아래 형성된 미국 진보주의 교육 운동을 이끌었던 교육학자들의 영향을 많이 받았으며 그들과 깊이 교류하였다(김은정, 2018: 15-18).

타일러가 의학교육 분야에서 중요한 이유는 국내 교육학계의 반복되는 비판에도 불구하고 그의 교육과정 모형이 의학교육계에서는 사실상 무비판적으로 전면 수용되고 있기 때문이다.10) 이는 타일러 모형이 교육과정학 분야에서 바이블로 통할 만큼 지금도 여전히 강한 영향력을 행사하고 있다는 사실과 무관치 않다. 실제로 의학교육에 처음 발을 디디게 되면 누구나 타일러가 처음 공식화한 교육과정에 대한 주장, 즉 ‘교육목표의 설정 → 학습경험의 선정 → 학습경험의 조직 → 평가 → 평가 결과를 반영한 교육목표 재설정 및 학습경험 재선정’이라는 순환 구조 모형을 자연스럽게 익히고 당연시하게 된다.11) 그러나 교육목표를 절대시하고 학습자의 학습경험을 신성시하는 이러한 타일러 모형의 기본 입장은 그간 많은 비판을 받아 왔다.

===
10) 국내 교육학계의 비판으로는 다음과 같은 예를 들 수 있다(박채형, 2008김학준, 2013김은정, 2018이홍우, 2018). 심지어 교육과정철학 전공자인 이홍우는 자신의 저서에서 타일러의 교육과정 모형을 가리켜 “미국 교육학의 저주와 재앙”이라는 극한 용어로써 비판하고 있다. 그리고 ‘미국 교육학’이란 “타일러의 ‘교육과정 이론’과 그것을 철학적으로 뒷받침하고 있는 존 듀이의 교육철학, 그리고 양자를 다양한 방면으로 연장 발전시킨 학자들로 구성된 이론적 집합체”라고 규정하고 있다(이홍우, 2018: 1-49).

11) 이 네 가지 요소의 순환 구조를 타일러는 자신의 저서 첫머리에서 교육과정 개발 시의 네 가지 근본적인 질문이라 하여 다음과 같이 공식화하였다.

  • 1. 학교는 어떤 교육목표(educational purposes)를 달성하고자 노력해야 하는가?
  • 2. 이 목표를 달성하기 위하여 어떤 교육경험(educational experiences)이 제공될 수 있는가?
  • 3. 이 교육경험을 효과적으로 조직하는 방법은 무엇인가?
  • 4. 이들 목표가 달성되었는지 여부를 결정하는 방법은 무엇인가?(Tyler, 1949: 1).

그리고 유감스럽게도 타일러는 저서에서 이 네 가지 질문에 대한 자신의 대답을 제시하지도, 그것에 대해 어떠한 대답이 있는지도 예시하지 않는다(이홍우, 2018: 9).
===

무엇보다도 타일러 모형은 교육을 수단과 목적의 관계로 도식화하였다는 문제가 있다. 즉, 교육이 사전 결정된 교육목표에 의해 주도되어야 한다면 수업은 그 교육목표를 달성하기 위해 동원되는 수단에 불과하게 된다는 의미이다. 현재 주류를 점한 역량바탕교육 역시 수업이 사전 결정된 역량(competency)이라는 교육목표를 달성하기 위한 수단이 되고 있다는 점에서 공통된 전제를 공유하고 있다. 물론 타일러나 그의 후계자들이 수업 무용론을 주장한 것은 아니나, 이들의 논리대로라면 효율성의 측면에서 수업보다 우위의 다른 수단이 등장할 경우 수업은 그 대안적인 다른 수단으로 대치될 수밖에 없다(박채형, 2008: 38). 교육목표란 수업의 결과로 달성되는 최종 결과일 뿐인데, 사전 결정된 교육목표가 수업 자체를 압도하고 도구화하는 주객전도의 촌극이 벌어지는 것이다.

그 연장선상에서 학습자의 학습경험을 신성시하는 입장 역시 많은 문제점을 안고 있다. 수업이 교육목표를 달성하기 위한 수단이라고 보는 한, 수업에서 다루어지는 수업내용 역시 수단으로 전락하여 학문적 교과 또는 지식에 내포된 아름다움이 묵살될 위험이 있기 때문이다(박채형, 2008: 44). 현재의 의학 지식이 한시적이라는 지식 자체에 대한 부정적 시각은 교육 내용의 무게 중심을 쉽사리 교수의 지식/학문적 교과에서 학습자의 경험/학습자의 특성으로 이동시킨다. 사실 의과대학에서 어렵게 배운 지식이 졸업 후 의료 현장에서 제대로 활용되지 못하고 있다거나 나아가 쓸모없게 된다는 관점이 의학교육계에 과도하리만큼 팽배해 있다. 이는 자연스레 교수자의 전문성과 중요성을 훼손시키고, 교육목표의 재설정도 교수자가 아닌 외부 전문가에게 넘기는 이른바 ‘교사배제 교육과정(teacher-proof curriculum)’으로 이어질 수밖에 없다.

‘교사배제 교육과정’이란 타일러 모형에 입각한 것으로 “교사라는 변수―교사 개개인의 역량이나 자질, 신념 같은 것―들이 작용할 만한 여지를 배제할 수 있을 정도로 구체적이고 세세하게 계획, 기술되어 있어서 신참이든 경력자든 그 것을 적용하기만 하면 애초 의도했던 대로 동일한 결과가 나올 수 있을 것으로 기대되는 교육과정”을 의미한다(김학준, 2013: 2). 이는 실제 수업뿐 아니라 교육과정 개발 차원에서도 이루어지는 복잡한 정치적, 사회적, 문화적, 인간적 상호작용을 의도적이든 아니든 도외시한 것이라는 점에서 분명한 한계를 안고 있다. 교수자와 수업 및 그 내용이 아닌 교육목표에 입각한 전체 교육과정의 설계라는 행동 절차에 초점을 맞추고 있다는 점에서, 타일러 모형은 학계에서도 ‘통제이론’이라 하여 “실제(practice)에 초점을 두며 교육의 과정(process)에서 효율성을 강조하고 기술공학적인 합리성에 기초하는 이론”이라는 평가를 받고 있다(김은정, 2018: 26).

이는 결과적으로 앞서 말한 미국 프래그머티즘의 부정적 유산, 곧 문제해결을 위한 상황적 효용성이 기계적인 공학적 효용성으로 변질된 결과라 보아야 할 것이다. 그리고 이러한 경향을 그대로 수입한 한국의 현 의학교육계는 그 사상적 뿌리에 대한 천착 없이 교육과정과 관련한 무질서한 공학적 설계만 난무하는 양상을 드러내고 있다. 행동과 실천의 강조가 곧잘 공학적 성과로 귀결되어 버리는 이러한 미국적 현상은 현대 미국 의학교육계에서 가장 중요한 사건으로 꼽는 일명 『플렉스너 보고서(Flexner Report)』의 출간과 그에 따른 사회적 파장에도 그대로 나타난다. 

카네기교육진흥재단(The Carnegie Foundation for the Advancement of Teaching)의 위임을 받고 1910년 일명 『플렉스너 보고서』를 작성하여 출간한 플렉스너(Abraham Flexner, 1866-1959)는 타일러와 마찬가지로 교육학자였다. 보고서의 원제인 『미국과 캐나다의 의학교육(Medical Education in the United States and Canada)』이 가리키듯 이 보고서는 미국과 캐나다에 산재한 155개 의학교의 실태를 조사한 것이었다. 플렉스너는 이를 위해 155개 의학교 전부를 직접 현장 방문하여 샅샅이 조사하였고, 그 결과를 담은 보고서의 출간은 놀라운 결과를 가져왔다. 이미 1904년 미국의사협회가 의학교육위원회를 설치하여 의학교 개혁을 최우선 과제로 삼으면서 미국의 의학교 상당수가 폐교되는 조짐을 보이기 시작했으나, 이후 의학교육위원회가 카네기교육진흥재단에 의뢰함으로써 시작된 플렉스너의 조사는 보고서 출간을 계기로 기준 미달의 소규모 상업적 의학교 폐교의 기폭제가 되었던 것이다. 그리하여 1906년 162개였다가 1910년 131개로 감소한 미국의 의학교는 5년 뒤인 1915년에는 95개로 감소했고, 1922년에 이르면 81개로까지 감소했다. 그러나 이는 플렉스너가 보고서에서 31개로의 감축을 건의했던 것에 비하면 한참 못 미치는 결과였다(스타, 2012: 180-186).

의학교 설립 기준이 강화되고, 교육 기간이 연장되고, 교과과정의 일관성이 유지되면서 의사의 질과 수준이 높아졌으나, 급격한 개혁은 그만큼의 부작용도 초래하였다. 우선 의학교육비가 상승했고, 면허를 취득하기 위한 자격조건이 까다로워졌다. 그 결과, 하층 및 노동계급 출신에서 이전과 비교하여 의사가 되기 위한 진입 장벽이 대폭 높아졌다. 또한 이전의 개방적이었던 환경과 달리 여성과 흑인, 유대인에 대한 차별정책으로 의사들의 출신 계층이 백인 남성 부르주아지로 한층 단일화되어 갔다. 이에 더하여 의학교의 감소로 졸업생이 줄어들면서, 플렉스너의 예상과 달리, 빈민촌과 농촌에서 의사가 부족해지는 지역 불균형이 심화되었다. 이에는 의학교육비의 상승도 한몫하였다. 의사가 되기 위한 전체 비용이 상승하자 졸업 후 이를 충당하기 위해 의사들은 진료비를 인상하였고, 인상된 진료비를 감당하기 어려운 지역에서는 의사들이 개원을 회피하였기 때문이다(스타, 2012: 189-192).

의사 사회 내부에서의 비판도 이어졌다. 그것은 기존의 임상의학을 과학적 환원주의를 앞세운 독일식 실험실 의학(laboratory medicine)으로 변환시키려는 데 대한 저항이었다. 플렉스너는 보고서에서 자신이 졸업한 존스홉킨스대학교의 의학교를 의학교육 개혁을 위한 표준으로 삼았는데, 존스홉킨스의학교는 바로 그 연구 중심의 독일식 모형을 채택한 대학이었기 때문이다.12) 놀랍게도 당장 존스홉킨스의학교 내부에서 비판의 목소리가 터져 나왔다. 존스홉킨스병원 설립에 기여하였으며 ‘현대 의학의 아버지’라 불리는 오슬러(William Osler, 1849-1919)는 “과학을 의학에 적용하는 데는 결코 반대하지 않았으나, 과학적 정신이 의사와 환자 사이에 끼어드는 것에는 강하게 저항했다.” 또한 의학교 교수진을 연구 성과에 따라 임명하면 교수들이 학생과 환자들로부터 멀어질 것이라 경고하면서 플렉스너의 보고서에 근본적으로 반대하였다(토버, 2003: 47-50).

===
12) 플렉스너는 자서전에서 각 의학교 방문 조사에 착수하기에 앞서 이미 자신의 마음속에 의학 교육의 분명한 원형으로서 존스홉킨스 모형이 자리하고 있었다는 점을 밝히고 있다(Cooke, Irby, O’Brien, 2010: 5).
===

그러나 이러한 소수의 반대 목소리는 이내 묻혀 버렸고, 미국의 의학교육 개혁은 독일식 실험실 의학을 근간으로 한 연구 중심 대학의 추구로 귀결되면서 결국 의사와 과학자의 잡종인 의사과학자(physician scientist) 양성으로 이어졌다. 실증주의와 과학적 환원주의의 물결이 개혁이라는 이름으로 임상의학의 전통적인 인도주의를 압도해 버린 것이다. 플렉스너의 보고서가 이후 미국 의학교육과 의학의 발전에 기여한 부분을 인정하더라도, 이러한 점에서 앞서 타일러 모형의 예에서도 보았던 문제해결을 위한 상황적 효용성이 기계적인 공학적 효용성, 나아가 획일성으로 변질된 프래그머티즘의 부정적 결과를 목도하게 된다. 실제로 플렉스너가 견지한 교육철학 또한 학생들이 기계적인 암기보다는 행동이나 문제해결을 통해 배운다는 듀이의 진보주의 교육철학과 유사한 것이었으며, 이러한 그의 철학이 훗날 미국 의학교육을 변혁시키는 데 적용되었다고 할 수 있다(Duffy, 2011: 270).

3) 프래그머티즘과 미국의 의료시스템과학

지금까지 논의한 바를 토대로 의료시스템과학의 성격과 출현 배경을 검토해 보면, 의료시스템과학의 대두는 지난 한 세기 동안 단단히 유지되어 온 미국의 플렉스너 체제 및 의사과학자 양성 체제를 부정 또는 개혁하려는 의도가 아닌 일개 보완이라는 사실을 깨닫게 된다. 물론 플렉스너 전통의 기존 질병 및 장기 계통별 교과목 중심의 교육과정으로부터 임상 표현 중심, 자기 주도적 문제해결 중심의 통합 교육과정으로의 전환이 미국뿐 아니라 국내에서조차 급속하게 진행되고 있는 상황에서 한 세기 전에 구축된 플렉스너 체제가 현재도 여전히 유효한가라는 질문이 제기될 수 있다. 그러나 플렉스너 체제의 성립부터 이후 현재의 역량바탕교육의 확립에 이르기까지 이 모든 것의 기저에 프래그머티즘의 실리 추구를 위한 공학적 속성이 부정적 유산으로서 자리하고 있다는 것을 알게 된 이상, 이러한 질문은 이제 타당하지 않다. 오히려 앞으로도 플렉스너 체제가 유지, 확장될 수밖에 없는 이유가 무엇인가를 묻는 것이 올바른 질문이 될 것이다.

실례로 2010년 『플렉스너 보고서』 출간 100주년을 맞이하여 카네기교육진흥재단에서는 ‘제2의 플렉스너 보고서’라 할 만한 보고서를 출간하였다.13) 이 보고서에서 저자들은 플렉스너 체제를 빛나는 과거라 칭하고 이 빛나는 과거가 탁월한 미래를 위한 충분한 안내자가 될 수 있을 것이라면서(Cooke, Irby, O’Brien, 2010: 1) 도입부를 플렉스너 체제의 전개 과정에 대한 역사적 설명에 할애하고 있다. 그러나 이 새 보고서를 살펴보면 플렉스너 체제의 근본적인 폐기를 주장하고 있지 않다. 오히려 반대로 플렉스너 체제의 재조정과 이에 따른 확대 발전을 말하고 있을 뿐이다. 요컨대 새 보고서는 플렉스너 체제의 폐기와 단절이 아닌 성숙한 플렉스너 체제로의 이행을 얘기하고 있다고 보아야 한다. 즉, 빛나는 과거가 곧 탁월한 미래인 셈이다.

이러한 측면에서, 2017년 미국의사협회 교육컨소시엄(AMA Education Consortium)에 의해 공식적으로 첫 모습을 드러낸 의료시스템과학 역시 플렉스너 체제와의 단절이 아닌 심화ㆍ성숙을 의미한다.14) 이를 단적으로 보여주는 예가 2017년 출간된 『Health Systems Science』 초판의 5쪽에 실린 두 가지 도식이다(Skochelak 외, 2017: 5). 첫 번째 도식을 가리켜 저자들은 의학교육의 전통적인 ‘두 기둥 모형(two-pillar model)’이라 칭하면서 그 두 기둥을 기초과학(basic science)과 임상과학(clinical science)으로 설정해 놓았다. 이는 곧 과학적 의학을 추구한 현재의 2+2 플렉스너 체제에 해당한다.15) 다음으로, 두 번째 도식에 대해서는 의학교육의 새로운 ‘세 기둥 모형(three-pillar model)’이라 칭하면서 기존 두 기둥에 한 기둥을 의료시스템과학(health systems science)이라 하여 새로이 ‘추가’해 놓았다. 기존의 과학적 의학을 그대로 유지한 채 여기에 시스템적 사고(systems thinking)를 연결 고리로 한 의료시스템에 대한 교육과 훈련을 ‘과학’이라는 이름을 붙여 한 축으로 덧붙인 것이다. 의학의 과학화를 추구한다는 점에서는 기존 플렉스너 체제와 전혀 다를 바가 없는 것이다. 의료시스템과학을 가리켜 저자들이 기초과학, 임상과학에 이은 ‘제3의 의과학(the third medical science)’이라 부르고 있는 것이 이를 단적으로 말해 준다(Skochelak 외, 2017: 10). 

===
13) Molly Cooke, David M. Irby, Bridget C. O’Brien, Educating physicians: a call for reform of medical school and residency (Jossey-Bass, 2010).

14) Susan E. Skochelak et al. eds., Health Systems Science (Philadelphia: Elsevier, 2017). 2017년 출간된 이 도서는 미국에서 의료시스템과학의 시작을 알리는 신호탄이 되었다. 4년 뒤인 2021년 벌써 2판이 출간되었으며, 국내에는 2018년에 서평을 통해 초판의 전반적인 내용이 소개된 바 있다(전우택, 2018: 60-61).

15) 미국의 2+2 체제란 의과대학 입학 후 첫 2년간 기초과학과 임상과학을 공부한 뒤 이를 토대로 나머지 2년간 병원에서 임상 실습을 하는 교육 시스템을 가리키며, 미국뿐 아니라 한국의 의학과 4년 역시 이와 같은 시스템으로 운영되고 있다.
===

앞서 필자가 제기한 질문, 앞으로도 플렉스너 체제가 유지ㆍ확장될 수밖에 없는 이유가 무엇인가로 되돌아가 보자. 왜인가? 플렉스너가 19세기 후반의 독일식 의과학 모형을 제시하면서 확립한 ‘의학의 과학화’가 앞으로도 지속될 수밖에 없다는 것이 그 한 가지 답변이다. 19세기까지 의학은 치료라는 측면에서 다른 과학 분야와 비교했을 때 사실상 발전이 없었다. 독일식 실험실 의학의 유산은 그러한 의학의 치료적 비효용성을 실제 효과가 있는 것으로 바꾸어 놓았다는 데에 있다. 구체적으로는 19세기 후반 세균학에서의 혁명적 변화를 가리켜 의학적 지식의 진보가 실제적인 치료적 진보로 이어진 역사적 출발점이라 부를 만하다(우튼, 2007: 9-40). 플렉스너 체제는 그 직후 구축되었다.

치료적 진보라는 측면에서 의학의 진보는 이제 불과 한 세기의 시간이 경과한 데에 불과하다고 할 수 있다. 의학의 인도주의적 요소를 불필요할 정도로 희생시켜 가면서 확립한 과학화, 그리고 그에 기반한 의학교육 체제를 되돌리거나 전환해야 할 확실한 이유를 찾기에는 아직 이른 시간에 해당한다. 그렇다면 의료시스템‘과학’이 희생당한 인도주의의 불씨를 되살릴 수 있을 것인가? 

3. 의료시스템과학의 한국 도입 배경과 의도의 정치적 함의

미국의 의료시스템과학이란 “의료시스템 내에서 환자와 인구 집단에 대한 의료 서비스 전달의 질, 결과 및 비용을 개선하는 원리, 방법 및 실행”으로 정의할 수 있다(Skochelak 외, 2017: 11). 그리고 이를 기초과학, 임상과학에 이은 제3의 의과학이라 하여 조직적이고 체계적인 형태로 학생들에게 교육시키겠다는 것이다. 이러한 교육과정이 대두된 이유에 대해 Skochelak 등은 진단 및 치료와 연계된 기초과학 지식의 양적 폭발과 복잡화, 건강과 질병의 생물-정신-사회-환경 모형에 대한 이해의 극적 진전, 그리고 사회적-경제적-정치적 압력 등이 엄청난 데이터와 정보 시스템의 뒷받침 하에 미국 의료의 풍경을 그 사이 극적으로 변화시켰기 때문이라고 설명하고 있다(Skochelak 외, 2017: 5). 간단히 말해서 기존 의사-환자-연구 중심의 과학적 의학 모형, 곧 플렉스너 체제가 의료와 사회의 다변화 및 복잡성 증가로 한계에 봉착하게 되자 이를 보완 또는 타개할 목적으로 특히 사회과학적(예방의학, 사회의학, 의료관리학, 의료사회학 분야를 아우르는) 측면을 도입하고 이를 체계적으로 조직화하여 교육시킴으로써 의사의 전문성을 한층 강화해 나가겠다는 취지이다.

이는 미국 의료의 특성상 이른바 공공성이 사회적으로 한국의 의료 체제보다 뒤떨어져 있는 현실을 감안하면 자연스러운 귀결이라 할 수 있다. 한국은 이미 국가 주도의 전국민의료보험 체제가 갖추어져 있을 뿐 아니라, 의료 자체에 대한 국가의 개입이 미국과는 비교도 할 수 없을 만큼 강력하다. 더욱이 한국의 의과대학은 통칭 예방의학 분야에서 의료시스템과학과 많은 부분 중복되는 영역을 이미 교육하고 있어 의료시스템과학의 풍경이 그리 낯설지 않다. 그럼에도 불구하고 학제(學制)도 상이한 한국의 의학교육계가 미국의 급변하는 의료 현실과 4년제 학제에 맞추어 설계된 의료시스템과학을 서둘러, 그것도 본격적으로 도입하려는 이유는 무엇인가?

프래그머티즘적인 보완재로서의 성격이 강한 의료시스템과학을 도입하려는 이유에 대해 앞서 미국의 저자들이 제시한 복합적인 설명은 미국 의료계의 정황으로선 거의 필연에 가까운 성격의 것이었다면, 한국에서의 설명 방식은 매우 당위적이며 단선적이고 또 정치적이기까지 하다. 가령 의료시스템과학 교육체제 구축 사업을 위해 한국의과대학ㆍ의학전문대학원협회(이하 KAMC)가 제출한 최근의 연구보고서를 살펴보면 연구의 필요성으로 든 첫 번째 이유가 “공공ㆍ지역의료 인력 양성 및 관리를 위한 정부의 다양한 정책 추진이 소기의 목적을 효과적으로 달성하기 위해……”로 서술되어 있다. 그리고 두 번째로 든 이유가 “2020년 의정 사태”이다. “기초의학 및 임상의학 지식, 술기, 태도를 강조하는 전통적인 의학교육 모델에 근거하여 의료와 사회를 통합적 관점에서 이해하고 실천하는 역량과 노력이 정부, 의료계 및 국민 모두 미흡”했음이 이 “의정 사태”(이하 2020년 의사 파업)를 통해 드러났다는 것이다.16) 정부의 연구용역보고서임을 감안하더라도 정치적 편향성이 상당한 편이다(한국의과대학ㆍ의학전문대학원협회, 국민건강보험공단, 2021: 3).

2020년 의사 파업은 2000년 의사 파업 이후 20년 사이 발생한 가장 큰 의사와 정부 간 대립이었다. 2000년 의사 파업이 의약분업 시행 여부를 둘러싼 의사ㆍ약사ㆍ정부 간 대립이었다면, 코로나19 팬데믹 와중에 발생한 2020년 의사 파업은 당시 대한의사협회가 규정한 이른바 의료 4대 악법 척결을 명분으로 발생한 의사ㆍ정부 간 대립이었다.17) 전자가 개원의 중심의 중년층 의사들 주도로 벌어졌다면, 후자는 전공의 중심의 청년층 의사들 주도로 확대되었다. 쟁점을 둘러싼 이해관계가 서로 달랐기 때문이다.

===
16) 2020년의 의사 파업을 의료계와 정부가 대립했다는 이유로 흔히 ‘의정 사태’라고 부르나, 전면 파업이라는 점에서는 20년 전 의사 파업 때와 본질이 서로 같다. 따라서 이후 ‘의정 사태’ 대신 ‘2020년 의사 파업’으로 통일해서 칭하고자 한다.

17) 대한의사협회가 규정한 의료 4대 악법이란 한방 첩약 급여화, 원격 의료 추진, 공공의대 신설 추진, 의대 정원 확대 정책을 말한다(김보규 외 70인, 2020: 82-106). 이 가운데 2020년 의정 사태의 핵심 쟁점이 되었던 것은 공공의대 신설 추진과 의과대학 정원 확대 정책이었다(김장한, 김현아, 박형욱, 2021: 32-33)
===

결과적으로 2020년 의사 파업은 의사들이 여론과 언론의 지지를 받지 못한 상태에서, 파업을 주도했던 전공의들이 배제된 채 대한의사협회와 여당인 더불어민주당의 합의로 일단락되었다. 합의서에 따르면 핵심 쟁점이었던 “의대 정원 확대와 공공의대 신설 추진은 코로나19 확산이 안정화될 때까지 관련 논의를 중단하며, 코로나19 안정화 이후 협의체를 구성해 법안을 중심으로 원점에서 모든 가능성을 열어놓고 재논의하기로” 했다. “또한 논의 중에는 관련 입법 추진을 강행하지 않”기로 했다(김장한, 김현아, 박형욱, 2021: 82).

문제는 그 다음부터였다. 정책의 완전 철회나 중단을 요구했던 전공의들과 의대생들 가운데 전공의들은 불가피하게 업무에 복귀한 반면, 의대생들은 의사국가시험 거부라는 단체 행동을 고수했기 때문이다. 국가시험 미응시에 따른 대량 결원 사태는 코로나19 팬데믹 와중에 최전선 의료인력인 인턴의 대량 공백으로 이어짐을 의미하는 것이므로 부담을 느낀 정부도 결국 재응시 기회 부여라는 방식으로 한발 물러났고, 학생들도 우여곡절 끝에 국가시험에 응시하는 것으로 마무리되었다. 그러나 그 과정에서 의사들에 대한 사회적 이미지는 이전보다 더 부정적이 되었고, 특히 청년 의사들과 의대생들의 대사회적 이미지는 세대 논쟁과 연결되면서 한층 부정적이 되어 버렸다.

이를 계기로 의학교육계 내부에서는 상반된 목소리가 터져 나왔다. 하나는 소위 MZ세대 학생들과 전공의들의 이른바 ‘이기주의’에 대한 비판과 불만의 목소리였고, 나머지 하나는 지금까지의 교육이 학생들의 사회화에 도움을 주지 못했으니 새로운 전환을 시도해야 한다는 자성의 목소리였다. 이 가운데 후자를 주장하는 사람들의 시각에 포착된 것이 다름 아닌 의료시스템과학이었다. 이와 동시에 지금까지의 인문사회의학(의료인문학) 교육이 의사의 사회화라는 측면에서 기대에 못 미쳤다는 부정적 시선 및 성급한 재단과 함께 의료시스템, 의료정책, 의료사회학, 리더십 등 사회과학 교육의 필요성에 대한 목소리가 대두되기 시작했다. 그리고 이 모든 것이 코로나19 팬데믹으로 인한 사회적 재난 앞에서 의료의 공공성 및 의과대학 교육의 사회적 책무성 확보를 이유로 합리화 내지 정당화되고 있다.

한편, 더불어민주당 정부는 정부대로 의료의 공공성을 강화한다는 명분으로 2020년 7월 23일 공공의대 신설, 의과대학 정원 확대 정책을 발표하고 시행하려다 곧바로 의사 파업에 부딪혀 정책 추진이 좌절된 바 있다.18) 이 실패는 정부가 ‘의사 집단’에 대해 다시 생각해 보게 하는 계기를 마련해 주었을 것이다. 이렇게 보면 미국의 의료시스템과학은 의료의 공공성 확보라는 정부의 입장과 의사에게 결여된 사회적 책무성 함양이라는 의학교육계의 입장 양쪽 모두를 담아낼 수 있는 편리한 그릇이었던 셈이다. 이러한 점에서 국민건강보험공단/정부의 의뢰로 2021년 12월 KAMC/의학교육계 연구팀이 제출한 연구용역보고서 『의료와 사회의 통합적 이해와 실천을 위한 보건의료시스템과학 교육체제 구축 사업』은 그러한 양자의 이해관계가 제대로 부합한 결과물이라 할 수 있다.19)

===
18) 당정, 의대정원 4,000명 증원ㆍ공공의대 설립 확정」, 『의사신문』, 2020.7.23.

19) 한국의과대학ㆍ의학전문대학원협회, 국민건강보험공단, 『의료와 사회의 통합적 이해와 실천을 위한 보건의료시스템과학 교육체제 구축 사업』 (2021).
===

의료시스템과학의 한국 도입 배경을 살펴보면서 그 정치적 함의가 불순함을 깨닫는 데는 긴 시간이 걸리지 않는다. 또한 그로부터 의료시스템과학이 사그라든 인도주의의 불씨를 되살리기에는 역부족이라는 사실도 깨닫게 된다. 그렇다면 의료시스템과학은 기존 인문사회의학(의료인문학) 분야를 대신할 명실상부한 제3의 의과학이 될 수 있을 것인가? 

4. 의료시스템과학과 인문사회의학20)

한국에서 의료시스템과학이 2020년 의사 파업이라는 정치적 사건을 계기로 급부상했다면, ‘인문사회의학’은 20년 전에 벌어진 한국 최초 의사 파업인 ‘2000년 의사 파업’에 대한 반성적 성찰이 그 직접적 계기가 되어 부상했다. 인문사회의학이라는 용어가 처음으로 공론화된 것도 그즈음으로 의사 파업 3년 뒤인 2003년의 일이다(전우택, 양은배, 2003: 99-103). 그러나 처음부터 명확한 개념 정의가 있었던 것은 아니었다. 다만 그 이전부터 의학계에서 꾸준히 논의되어 왔던 인문학과 사회과학을 배경으로 한 ‘인성교육’ 개념을 확장시켜 “의학과 인문사회과학의 연계 교육 강화”를 통해 “의학 전문가로서 인간과 사회에 대한 깊고 폭넓은 이해를 할 수 있는 능력을 가지도록 교육”하고, “의료가 가진 독특하고도 어려운 문제에 대한 윤리적 고민과 지적인 이해, 그리고 행동에 들어갈 수 있도록 교육”하는 것 등을 인문사회의학 교육 도입의 목적이라 보는 선에서 정리가 되었다(전우택, 양은배, 2003: 36-37, 119).

이러한 최초의 공론화는 2000년대 초 서구 의학계에서 의사의 전문직업성(professionalism)에 대한 논의가 본격적으로 이루어지면서 그 담론의 국내 소개와 더불어 심화되기 시작했다.21) 이후 국내 의학교육계는 과학적 의학 모형, 즉 플렉스너 체제를 극복하고자 ‘좋은 의사(good doctor) 만들기’를 의학교육의 궁극적인 목표로 제시하였다(전우택, 김상현, 오승민, 2010: 62). 이에 따라 인문사회의학 교육의 중요성 또한 한층 부각되었으며, 이는 2010년 의학교육 평가인증 기준에까지 반영되어 의과대학의 교육과정을 크게 ‘기초의학, 임상의학, 의료인문학’의 세 영역으로 구성하게 되기에 이르렀다.

===
20) 4장의 인문사회의학 관련 서술 부분은 2019년 내부 자료로서 발간한 『인제대학교 의과대학 교육요람』 제3판에 실린 필자의 글 가운데 일부의 내용을 보완하고 오류를 수정한 것이다.

21) 이 시기 서구 의학계의 관련한 주요 결과물로는 다음과 같은 것을 예로 들 수 있다(Medical Professionalism Project, 2002: 520-522).
===

그러나 2010년도 의학교육 평가인증 기준에 포함된 ‘의료인문학’이라는 명칭은 개념 정의상 오해와 혼란을 초래할 소지가 다분하였다. 모호하게 “어문학, 사학, 철학, 윤리학, 사회학, 법학, 경영학, 인류학, 심리학, 예술 등의 전공을 의미”한다고만 기술해 놓았기 때문이다(한국의학교육평가원, 2010: 29). 다만 한국에서 인문학이라 하면 대개 협의의 문학, 사학, 철학이 아닌, 자연과학과 대비된다는 의미에서 흔히 사회과학까지 포함하는 광의로 보기도 하므로 이를 반드시 잘못된 정의라 하기는 어려울 것이다(전우택, 김상현, 오승민, 2010: 61).

이상의 기조는 2017년 최초 공개되고 2018년 개정 시행된 최신 의학교육 평가인증 기준(이하 ASK2019)에도 이어져 의료인문학이라는 명칭이 그대로 사용되었다. 그러나 용어상의 혼란을 의식한 까닭인지 의료인문학 교육과정을 다시 “의료인문학, 행동과학, 사회과학, 의료윤리, 의료법규 등”으로 세분화하였다(한국의학교육평가원, 2018: 22). 이는 2015년 세계의학교육연합회(World Federation for Medical Education, 이하 WFME)가 제시한 기본 의학교육 국제 기준(Basic Medical Education WFME Global Standards for quality improvement)을 직접 반영한 결과이다.22) WFME 역시 한국과 마찬가지로 의과대학의 교육과정을 크게 세 영역으로 구분해 놓았는데, 기초의학과 임상의학 영역은 한국과 사실상 동일하지만, 나머지 의료인문학 영역은 한국과 달리 “행동과 사회과학, 의료윤리와 법규(Behavioural and Social Sciences, Medical Ethics and Jurisprudence)”라는 용어 및 내용으로 대신하고 있다. 그리고 행동과학, 사회과학, 의료윤리, 의료법규 이 네 분야가 교육과정에 반드시 포함되어야 한다고 명시하고 있다(World Federation for Medical Education, 2015: 22). 

이러한 흐름으로 인해 현재 한국 의과대학의 인문사회의학 교육은 기초의학에 포함시킬 수도 없고 임상의학에 포함시킬 수도 없는 의학의 나머지 전 영역을 포괄하는 것으로 보는 경향이 형성되었다. 심지어 기존 행동과학과 예방의학 관련 교과목까지도 인문사회의학 교육에 포섭되는 결과를 초래하였다. 이러한 경향은 인문사회의학이라는 영역의 모호성을 한층 배가시키는 한편, 삶의 의미를 추구하는 전통적이면서 보다 본질적인 인문학 교육을 의과대학 내에서 더욱 약화시키는 부작용을 낳았다. 더욱이 각 의과대학마다 사용하는 해당 영역의 용어조차 인문사회의학, 인문의학, 의료인문학, 의인문학 등으로 제각각이다 보니 이러한 난맥상이 가중된 상황이다. 이에는 인문사회의학에 대한 개념적 합의가 학계에서든 교육 현장에서든 제대로 이루어져 있지 않은 점도 한몫하였다.

사실 ASK2019에서 사용하고 있는 의료인문학이라는 용어는 ASK2019가 WFME 기준을 본격 도입한 이상, 이제 더는 적절치 못한 것이 되었다고 할 수 있다. 용어와 내용에 따른 이러한 개념적 혼란은 2017년 KAMC가 개발하여 출간한 『기본의학교육 학습성과: 사람과 사회 중심』, 그리고 KAMC가 이를 토대로 현재 출간 준비 중인 가칭 『인문사회의학 교과서』로써 상당 부분 정리될 것으로 보인다. 이 두 책자는 공통으로 의료인문학이 아닌 인문사회의학이라는 용어를 채택하고 있고, 다루는 내용 역시 ASK2019가 제시하는 전 범위를 아우르고 있기 때문이다. 이로써 의학교육계에서 생각하는 인문사회의학은 인문학에 방점을 찍은 의료인문학과는 성격이 다른 것이라는 사실이 아주 분명해졌다. 그 결과 인문사회의학과 의료시스템과학 사이에는 교집합이 형성되었고, 나아가 의료시스템과학 교육이 인문사회의학 교육을 대체할 수 있는 명분이 생기게 되었다.23)

===
22) ASK2019 자체가 WFME의 기본 의학교육 국제 기준 2015년도 개정판을 근간으로 국내 상황을 고려하여 제작된 것이다(한국의학교육평가원, 2018: ①).

23) 가령 ASK2019가 제시하는 의료인문학 교육과정의 ‘행동과학과 사회과학’에 대한 정의를 보면 WFME의 정의를 그대로 번역한 것으로서 “지역의 요구, 관심과 전통에 따라 공중보건의학, 사회의학, 생물통계학, 국제보건의료, 사회역학, 의료사회학, 의료심리학, 의료인류학, 위생학, 지역사회의학을 포함한다”로 되어 있어 상당 부분 의료시스템과학과 그 내용이 중첩됨을 알 수 있다(한국의학교육평가원, 2018: 22; WFME, 2015: 22).
===

현재 국내외 의과대학의 인문사회의학 교육을 종합 정리하면 크게 두 가지 경향으로 대별할 수 있다. 하나는 직접 의학과 접목한 전문직교육(직업교육) 중심의 경향이고, 다른 하나는 교양과 인성을 강조하는 인문교육 중심의 경향이다. 이 가운데 국내 의학교육계의 주된 경향은 전자로서 미국과 WFME가 주도하고 있으며, 기존 의사의 전문직업성 담론을 확장함으로써 이미 앞서 논한 대로 의사의 역할을 강조하던 이전 관점을 벗어나 환자를 둘러싼 의료환경, 즉 시스템의 역할을 강조하는 쪽으로 크게 선회하였다. 국내 의학교육계에서 인문학보다 사회과학의 중요성이 부각되고 있는 것도 이러한 추세와 무관하지 않다. 그리고 이러한 경향의 정점에 서 있는 것이 바로 미국의 의료시스템과학이다.

그러나 의료시스템과학 교육은 의사로서의 전문직교육의 충실성을 높이는 데는 기여할 수 있겠으나, 한국 의과대학의 교육 실정에는 잘 맞지 않는다는 큰 문제가 있다. 그 이유는 바로 의과대학 학제의 상이함에서 비롯된다. 한국의 의학전문대학원 제도처럼 4+4 학제가 보편화된 미국의 의과대학에서는 의학과 직접 접목된 이러한 의료시스템과학 교육으로의 직행이 타당성을 가질 수 있다. 그러나 이제 거의 모든 의과대학이 6년제로 회귀하여 학제가 의예과 2년과 의학과 4년으로 사실상 단일화된 한국에서는 전문직교육만으로는 부족하다. 미국과 달리 고등학교 졸업 후 바로 의과대학에 진학하는 학생들에게 교양을 중심으로 한 인문학과 사회과학 교육의 제공은 필수일 수밖에 없기 때문이다.24) 6년제 학제가 대부분인 유럽의 의과대학들이 미국과 달리 교양 중심의 인문사회의학 교육과정을 운영하고 있는 점이 이를 뒷받침한다(전우택, 김상현, 오승민, 2010: 71).

===
24) 일제강점기 동안 식민지 조선의 유일한 대학이었던 경성제국대학의 의학부를 예로 들어 보자. 4년제였던 경성제국대학 의학부는 진학 전 반드시 예과 2년 과정을 수료해야 했다(1924년 경성제국대학 설립과 함께 개설된 예과 과정은 1934년부터 3년제로 변경되었고, 1941년에는 2년 반으로 단축되었으며, 1943년부터 다시 2년제로 환원되었다). 즉, 2+4 학제로서 현 한국의 의과대학 6년제 학제와 동일했던 셈이다. 예과 2년 동안 학생들은 외국어 중심의 교양 교육을 이수해야 했다. 구체적으로는 수신, 국어 및 한문, 제1외국어(독일어), 제2외국어(영어), 라틴어, 수학, 물리, 화학, 식물 및 동물, 심리, 도화, 체조 등의 과목을 1학년과 2학년에서 각각 34시간씩 이수했다(기창덕, 1995: 228-229). 요컨대 일제의 식민지 제국대학조차도 의사가 되고자 하는 사람에게는 의학 지식 습득에 앞서 기본적인 교양 지식을 요구했다는 것이다.
===

따라서 한국 의과대학의 인문사회의학 교육은 교양교육 중심의 의예과 교육과정, 그리고 의학과 직접 접목한 전문직교육 중심의 의학과 교육과정 이렇게 두 가지로 개념적인 이원화를 시도할 필요가 있다. 그리고 이러한 추구를 통해 의사라는 직업인이 되기 이전에 삶의 가치와 목적을 찾고 사회 및 세상과 바람직한 관계를 맺을 수 있는 사람과 시민이 되는 데 도움이 되는 전통적인 인문교육의 부활을 기대할 수 있을 것이다. 이는 향후 의예과를 폐지하고 통합 6년제로 의과대학 학제가 개편되었을 때도 유지되어야 함이 마땅하다. 고등교육기관인 대학의 존재 이유는 직업전문학교의 추구 및 단순 기술직의 양산에 있지 않기 때문이다. ASK2019가 WFME 기준을 그대로 차용했음에도 불구하고 WFME 기준에는 없는 별도의 ‘의료인문학’ 분야를 계속 유지한 데에는 이러한 이유도 작용했을 것이라 사료된다(한국의학교육평가원, 2018: 22).

20여 년 전 발생한 의사 파업의 결과에 대한 고민에서 비롯된 인문사회의학 분야가 이제야 비로소 자리를 잡아가고 있는 가운데, 불과 2년 전 발생한 제2의 의사 파업에 대한 의ㆍ정 이해관계의 일치에 따라 선택된 의료시스템과학, 그것도 미국식 4+4 학제에 최적화되어 있는 의료시스템과학 교육을 착종 과정 없이 그대로 수입하여 기존 인문사회의학 분야를 대체하고자 했을 때 과연 어떠한 부작용이 발생할지는 그 누구도 섣불리 예단할 수 없다.

5. 나오는 말: 어떻게 해야 하는가?

플렉스너의 과학적 의학 체제에서 의학은 곧 과학이다. 한국에서 기초의학이 사실상 몰락하다시피 한 현 상황에서도 미국보다 50여 년이나 뒤진 의사과학자 양성을 위해 근래 이와 관련한 공론화의 바람이 불고 있는 것만 보아도 알 수 있는 일이다. 서구 의학이 과학의 힘을 빌려 주류 의학의 위치를 점한 것은 역사적 사실이며, 과학의 힘을 빌려 질병 치료 분야에서 크나큰 진전을 보인 것 역시 분명한 사실이다. 그러나 과학적 의학의 질병 중심주의가 환자/사람 소외 현상을 초래한 것 또한 부정할 수 없는 사실이다. 그리고 이를 보완할 목적으로 의학의 역사, 철학, 윤리, 법, 문학, 예술 등을 교육하고 연구하는 통칭 인문사회의학 분야가 국내에도 등장하기에 이르렀다.

다시 처음으로 돌아가 보자. 의학은 단순하게 과학으로만 볼 수 있는 영역이 아니다. 감각이 없는 물질을 대상으로 한 수학과 물리학 중심의 일반적인 자연과학 분야가 아니라, 희로애락과 생로병사의 생명현상을 가진 환자/사람을 대하는 분야이기 때문이다. 직접 사람/생명을 대하는 분야이므로 과학만으로 해결할 수 없는 영역과 지점이 돌출하는 분야이다. 이러한 까닭에 고전적인 히포크라테스의 ‘선서’ 역시 원문을 확인해 보면 의(醫)에 접근할 때 학문이나 지식으로서의 의학(醫學, medical science) 외에 기술이나 행위로서의 의술(醫術, medical art), 그리고 덕목이나 윤리로서의 의덕(醫德, medical virtue)이라는 삼중적인 차원에서의 접근을 취하고 있다. 이 가운데 의학은 이론적 측면이, 의술은 실천적 측면이, 의덕은 도덕적 측면이 강하다(반덕진, 2006: 62-67). 의과대학에서 역량바탕교육에 따른 학습평가를 시행할 때 흔히 지식(knowledge), 술기(skill), 태도(attitude)라는 세 가지 측면을 모두 고려하여 학생의 역량을 평가하고자 하는 것도 이러한 의학의 전통적인 삼중적 측면 때문이 아니겠는가?

그럼에도 의학은 곧 과학이라는 편견이 지금도 강하게 작용하고 있는 이유는 적어도 한국에서는 의학이 소위 이과 학문이라는 선입견 때문일 것이다. 그러나 의학이 이과 학문이라는 근거는 사실 그 어디에도 없다. 인문ㆍ사회과학과 자연과학을 문과, 이과라는 프레임으로 양분하는 작위적 방식은 그 제도를 메이지(明治) 시기에 처음 시행한 일본과 그 영향을 직접 받은 식민지 조선 및 한국 등 동아시아에서 주로 통용되는 방식이기 때문이다.25) 그렇다고 플렉스너 체제에서 의학이 과학을 기반으로 하고 있다는 사실이 곧 의학이 이과 학문이어야 할 근거가 되지도 못한다. 앞서 ‘선서’의 예를 들지 않더라도 굳이 분류를 하자면 오히려 의(醫)로서의 의학이야말로 애초 이과, 문과 구별이 불가능한 타고난 융합학문이기 때문이다.

===
25) 메이지 44년인 1911년 7월 제정된 고등중학교령(칙령 제217호) 제4조를 보면 “고등중학교의 학과를 나누어 문과 및 이과로 한다(高等中學校ノ學科ヲ分チテ文科及理科トス)”라고 나온다. 김성근은 이것이 고등중학교 과정을 문과와 이과라는 큰 범주로 나눈 최초의 칙령이었던 것으로 보인다고 하였다(김성근, 2021: 209).
===

의학은 중세 유럽의 대학에 의학부가 설치되면서 항구적인 학문으로서의 길을 열게 되었다. 대학에 제도적 기반을 마련하게 된 의학은 타 학문 분과들과도 긴밀히 연결될 수 있었다. 이는 대학 출신 의사 공동체의 영향력을 오늘날까지 제도적으로 보장해 주는 결과를 가져왔으며, 사회적 신분 상승의 계기 또한 마련됨으로써 전문직으로 나아가는 토대를 구축할 수 있었다(린드버그, 2009: 529-536). 그러한 역사적 토대 위에서 의학은 플렉스너 체제 등의 과학화를 통해 치료적 학문으로서 실질적인 진보를 이룩해낼 수 있었고, 이로써 의사들은 전문화와 함께 더 높은 신분 상승도 이루어낼 수 있었다. 현대 의학은 과학이라는 학문을 토대로 실제적인 치료적 효과를 발휘하는 좋은 의학이다. 이 좋은 의학을 앞으로도 계속 유지하고자 한다면 과학 이외에 인간학으로서의 의료와 그 의료를 행하는 좋은 의사라는 존재가 반드시 요구된다. 의료시스템과학은 적어도 한국에서는 이러한 의(醫)의 통합적 측면을 달성하기에는 여러 가지로 부족한 ‘과학’이다.

한국에서 현재 의료시스템과학이란 실체 없는 유령이나 다름없다. 그것도 어느 날 갑자기 출현한 뿌리 없는 유령이다. 한국의 의료시스템을 이해하는 데 미국의 의료시스템‘과학’ 전부를 이식해 올 필요는 없다. 정치적 이해관계에 따라 무조건 이식부터 하고 보자는 식의 성급함보다는 한국화된 학문적, 교육적 시스템에 대한 역사적 선이해와 함께 이에 따른 면밀한 보완이 더 시급한 것 아닐까 싶다. 이러한 점에서 의료시스템과학이 미국처럼 제3의 의과학으로서 전면에 나서 거대 프레임을 구축하려 하기보다는 기존 인문사회의학 분야의 성숙을 보완하는 보완재로서의 역할을 담당하는 것이 더 타당한 수순일 것이다. 그리고 이것이 프래그머티즘의 부정적 자장에 포섭된 한국의 미국식 의학교육이 보여주는 교육과정의 공학적 설계에 대한 강박에서 벗어날 수 있는 하나의 길이라 생각한다.

 


Korean J Med Hist 2022; 31(3): 519-546.

Published online: December 31, 2022

DOI: https://doi.org/10.13081/kjmh.2022.31.519

미국 의료시스템과학 교육의 한국 도입과 그 비판

*인제대학교 의과대학 인문사회의학교실 부교수 및 인제대학교 인문의학연구소 소장, 의학사 전공

Introduction of America’s Health Systems Science Education and Its Criticism

*Associate Professor, Department of Humanities and Social Sciences in Medicine, College of Medicine, Inje University

인제대학교 의과대학 인문사회의학교실 부교수 및 인제대학교 인문의학연구소 소장, 의학사 전공 / 이메일: cenobite@inje.ac.kr
Received December 14, 2022       Revised December 18, 2022       Accepted December 19, 2022

© 대한의사학회

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted noncommercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Recently, Korean medical education circles have proposed a fullscale introduction of America’s health systems science to replace the existing medical humanities education in Korea. The so-called Flexner education system, formed in the early 20th century, was centered on basic and clinical sciences. America’s health systems science education was introduced to supplement the system. The full-scale introduction of health systems science has been promoted, mainly by the Korean Association of Medical Colleges. However, it does not fit into the current circumstance of Korean medical education circles. It is deemed that there are political reasons behind the push – the alignment of interests between the medical education circles and the government.
This study first examined the social and cultural circumstances behind the emergence of health systems science in America, focusing on pragmatism, a native American ideology, to critique the background of the introduction of the American system. It also discussed the negative aspects of pragmatism in American medical education in the cases of American educators Ralph Tyler and Abraham Flexner. Then, it specifically examined the background and reasons for introducing America’s health systems science to Korea and discussed the problems of directly introducing the health systems science to Korea without any adaptation process through a comparative analysis with existing medical humanities. Finally, it suggested a more desirable adaptation form of health systems science that can be considered for its implementation in Korea.

색인어: 의료시스템과학, 인문사회의학, 의학교육, 프래그머티즘, 랠프 타일러, 에이브러햄 플렉스너

Keywords: Health Systems Science, Medical Humanities and Social Science, Medical Education, Pragmatism, Ralph Tyler, Abraham Flexner

의학교육에서 의료인문학의 가치: 의사학을 중심으로 (Korean J Med Hist, 2022)
권복규*

들어가는 말

의학교육, 특히 기본의학교육(Basic Medical Education)에서 인문학, 또는 의료인문학(medical humanities)의 가치는 무엇인가? 이 질문에 대해 답하려면 실은 “우리나라에서 의사의 존재는 무엇인가? 그리고 그런 의사는 어떻게 양성해야 하는가?”의 질문에 대한 답을 우선 해야 한다. 어떤 의사를 양성해야 하는지, 한국 사회는 어떤 의사를 필요로 하는지가 우선 규명되어야 의료인문학이 이를 위해 어떠한 기여를 할지, 또는 그러한 기여를 할 수나 있는지를 논할 수 있기 때문이다. 

서양, 특히 근대 미국에서는 의사를 교양 있는 전문직(learned profession)이라 부른다. 전문직은 전문직인데, 왜 “교양 있는(learned)”이 붙었을까? 사실 이는 “플렉스너 리포트(Flexner Report)”1)로 표상되는 미국 의학의 혁명과 무관하지 않다. 플렉스너 리포트 이전에 미국의 의사는 “교양 있는 신사”라고는 볼 수 없었다. 애초 자조(self help)와 개인과 상업의 자유를 중시했던 미국 사회는 특정 집단이 의술의 실천을 독점하는 것을 인정하기를 꺼려했고, 19세기 서양의학의 수준은 전반적으로 낮았고 실제 환자 치료에 별 도움이 되지 않았기에 고등교육을 받은 의사와 그렇지 못한 다종다양한 치유전문인(healers) 간의 차이도 그다지 분명하지 않았다(Shryock, 1936: 특히 제8장 “Public Confidence Lost”). 한 개인이 농부와 목수, 목사와 교사를 겸임할 수 있다면 의사는 왜 겸할 수 없는가? 19세기, 특히 막 개척 중이었던 서부를 중심으로 일반인이 참조할 수 있는 쉬운 의학서적인 “가정의학(domestic medicine)”의 제호가 붙은 책들이 인기를 얻고 널리 보급된 것은 당대의 이러한 풍조와 무관하지 않다.2) 플렉스너 리포트의 등장은 19세기 중엽 이후 파스퇴르와 코흐, 피르코프 등의 연구를 통해 의학이 놀라운 발전을 하여 유효한 의학적 실천을 위해서는 적절한 수련을 받아야 한다는 시대적 인식과 무관하지 않다. 플렉스너 리포트가 불러일으킨 혁명을 통과함으로써 미국은 신사(gentleman)가 담당하는 교양 있는 전문직으로 의학의 위상을 정립한 것이다. 

===
1) 우리나라에서는 “플렉스너 보고서”라는 이름으로 번역되었지만, 이런 문서는 단순한 “보고서”는 아니기 때문에 리포트라는 표현을 그대로 썼다(에이브러햄 플렉스너, 2005).

2) 예컨대 1830년에 출간된 John C. Gunn의 “Domestic Medicine”은 200판 이상을 거듭했다(Gevitz, 1990: 51).
===

한편 유럽에서는 중세 이후 대학이 발달하면서 의학부를 두어 교양 있는, 즉 고등교육을 받은 전문가인 의사를 양성했다. 그러나 주로 내과의사(physician)인 이들의 숫자는 전체 의료 수요를 감당하기에는 택도 없이 부족했고, 또 대부분이 일반적인 진료 행위에 종사할 생각도 없었다. 이들의 주요한 역할은 왕이나 귀족과 같은 상류층에게 상담과 조언(consultation)을 제공하는 것이었고, 실제 의료 실무는 이발사-외과의(barber-surgeon)와 같은 다종다양한 치유종사자에게 맡겨져 있었다. 물론 이발사-외과의, 약제사, 약종상, 산파 등을 포괄하는 다종다양한 치유종사자들은 교양 있는 전문직과는 거리가 멀었으며, 이들의 교육은 주로 견습과 도제 교육을 통한 실무 교육을 통해 이루어졌다. 엘리트 내과의사와 이들의 경계는 주로 그리스-라틴어 원전을 해득할 수 있느냐의 여부였고, 당연히 어릴 때부터 그러한 교육을 받을 시간과 여력이 없었던 이들 다양한 치유종사자들의 사회적이고 경제적인 지위는 엘리트 내과의사에 비해 낮을 수밖에 없었다(Bonner, 2000: 특히 제2장 “Changing Patterns of Medical Study before 1800”). 

엘리트 (내과) 의사와 그보다 신분이 낮은 외과의사 및 다양한 치료종사자의 구분은 중국과 우리나라에서도 나타난다. 우리나라도 고려 시대에는 의과에 의업(醫業)과 주금업(呪噤業)을 두었는데, 이는 대체로 내과와 외과에 해당한다(이경록, 2001). 내과는 주로 텍스트 해득에 능할 것이 요구된 반면, 외과는 손으로 하는 술기에 능숙할 것이 요구되었고 이는 서양의학사에서도 별반 다르지 않다. 19세기 중반 이후 이러한 내과/외과의 구분이 사라지고 통합이 되면서 오늘날 우리가 알고 있는 근대 서양의학의 모습이 생겨난 것이다. 그렇다면 이러한 구분은 왜 필요했을까? 여기서는 의(醫)의 본질, 혹은 존재론을 생각해 보아야 한다. 

1. 의(醫)의 존재론-테오리아와 프락시스, 테크네

의(醫)란 결국은 질병-건강 현상에 대한 하나의 시선이다. 그 시선은 해석적이고 다양하고 복잡하기 짝이 없는 증상과 증후의 복합체에 대한 일련의 설명을 제시해야 한다. 그러므로 아무리 조잡하다 해도 이론(theoria)이 없는 醫란 있을 수 없다. 醫에 대한 그러한 이론적 설명의 체계를 우리는 의학(醫學)이라 부를 수 있을 것이다. 동서양을 막론하고 그러한 의학은 인식론과 존재론으로 구성되어 있다. 즉 “질병이란 무엇인가?”와 “우리는 그러한 질병을 어떻게 인식하는가?”이다. 때로 이 존재론과 인식론은 구별하기 어려울 정도로 혼재되어 있기도 하다. 이는 매우 복잡한 의철학의 주제이지만 본 논문에서는 그것을 다루지 않을 것이다. 다만 의학은 언제나 모종의 이론 체계를 전제로 한다는 것을 언급하는 것으로 충분하다.

이러한 이론 체계는 해당 문명의 근본 철학, 특히 자연철학 및 윤리학과 깊은 관련을 맺고 있다. 인간의 몸을 다른 동물과 유사한 일종의 자연물로 볼 때 거기서 발생하는 제반 현상들은 자연철학의 대상이다. 물론 이 자연철학이 훗날 해부학과 화학, 생리학 등으로 분화되면서 오늘날 우리가 알고 있는 의학의 모습을 갖추게 되지만 고대 문명에서는 이러한 구분 없이 오로지 자연에 대한 전반적 이해로서의 자연철학, 혹은 자연학이 존재했다. 그리고 이러한 자연학은 광의의 철학이라 부를 수 있는 지식체계의 일부였다.

  • “대학(大學)”의 격물(格物)-치지(致知)-성의(誠意)-정심(正心)-수신(修身)-제가(齊家)-치국(治國)-평천하(平天下)에서도 볼 수 있는 것처럼 학문의 목적은 자연에 대한 이해로부터 자신에 대한 이해를 거쳐 윤리적인 삶의 실천과 정치로 나아가는 것이다.
  • 이는 아리스토텔레스의 학문에서도 비슷하게 나타나는데 논리학수사학을 거쳐 자연학으로, 그리고 윤리학으로, 나아가서 정치학으로 확장되는 것이 학문의 길인 것이다.

사물에 대한 이해-자신에 대한 이해-타인에 대한 이해로 확장되어 가는 것이 고대 엘리트들이 추구했던 학문의 목적이었다.

이러한 학문은 대개 엘리트들의 몫이었으며, 일반 백성들은 이를 배울 여유도, 그래야 할 이유도 찾지 못하였다. 아리스토텔레스의 학문은 그리스 도시국가 시민들을 위한 것이었으나 그 시민이란 노예제 국가에서 소수에 불과한 자유민으로 오늘날과 같은 시민의 의미는 아니었다. 즉 철학 내지 학문(大學)으로 일컬어지는 고급 교양이란 국가를 이끌어야 할 소수 엘리트 계층을 위한 것이었고, 대부분의 사람들은 농경이나 직조 등 생산 업무에 종사하면서 그에 필요한 한정된 지식이나 기술을 배우면 족할 따름이었다. 고대 중국에서 엘리트들을 위한 학문이었던 육예(六藝)는 예(禮)-악(樂)-사(射)-어(御)-서(書)-수(數)인데 이는 각각 예절, 음악, 활쏘기, 말타기, 글쓰기, 산수에 해당한다. 즉 귀족 계층이 갖추어야 할 기본적인 능력이고 공자의 시대에 이르러 예악을 통한 마음 다스리기, 그리고 역사 연구를 통한 리더십의 발양이 덧붙여진다. 

그렇다면 동서양을 막론하고 엘리트 계층에게는 왜 “실생활에 별로 쓸모가 없어 보이는” 교양 학문이 강조되었을까? 이는 엘리트 계층은 하위 계층에게는 별로 필요가 없는 능력, 즉 불확실성에 대처하며 미래를 창조하고 다른 이들을 이끄는 능력이 필요했기 때문이다. 미국대학협회(American Association of Colleges and Universities, AAC&U)는 교양교육(liberal education)의 가치에 대해 이렇게 말한다.

교양교육복잡성, 다양성, 변화를 다룰 수 있는 능력을 부여하고 그에 대처할 수 있는 학습이다. 그것은 학생에게 특정 관심 영역뿐 아니라 과학과 문화, 사회라는 광범위한 세계에 대한 폭넓은 지식을 제공한다”(AAC&U, 2005).

개인이든 조직이든 국가든 생존을 위해서는 이 불확실한 세계에서 결정을 하고, 미래에 대한 투신을 해야 하며, 또한 변화하는 세계에 맞추어 과거의 규범과 관행을 끊임없이 해석하고 재해석해야 할 필요성이 있다. 그렇지 못하다면 개인이건 혹은 국가건 미래를 장담할 수 없다. 이를 할 수 없는 개인, 혹은 집단은 마치 정글에 고립된 원시부족처럼 과거의 관행을 그대로 답습하다가 환경이 바뀌면 멸종할 수 밖에 없는 운명에 처해졌다.  

아리스토텔레스의 용어를 빌면 의(醫)는 인간의 활동인 테오리아(theoria)와 포이에시스(poiesis)사이에 있는 프락시스(praxis)에 해당한다.

  • 테오리아인간의 최고급 활동이라 할 수 있는 관조(觀照)의 삶을 의미한다. 이는 철학의 최고봉이며 이를 통해 인간은 우주와 인간에 대한 진리의 핵심에 닿게 되며 삶의 의미를 깨우친다.
  • 포이에시스평범한 사람들이 하는 생산 활동, 즉 목수나 도공의 일이며, 이는 기술의 숙달을 요한다.
  • 하지만 프락시스그 가운데 있는 활동으로 한편으로는 테오리아에, 다른 한편으로는 포이에시스에 걸쳐져 있다.

각각의 덕은

  • 테오리아는 학문적 인식인 에피스테메(episteme),
  • 프락시스실천적 지혜(phronesis),
  • 포이에시스기예(techne)이다.

아리스토텔레스는 이렇게 말한다.

실천적 지혜는 에피스테메도, 테크네도 아니다.
에피스테메가 아닌 까닭은 프락시스를 통해 성취되는 것은 달리 존재할 수 있음을 허용하기 때문이고,
테크네가 아닌 까닭은 프락시스와 포이에시스가 서로 다른 종에 속하기 때문이다(아리스토텔레스, 이창우 외 역, 2006:1140a31-1140b4).

즉 에피스테메는 “영원한 것”을 대상으로 하지만 프락시스는 그렇지 아니하며, 또 애초 포이에시스와는 다른 성격이라는 것이다.

실천적 지혜가 필요한 프락시스에 해당하는 대표적인 활동은 경제, 입법, 정치, 그리고 의(醫)이다.

  • 입법과 정치 등은 고대로부터 지배 엘리트들의 몫이었다.
  • 하지만 의(醫)는 이중적인 성격을 지닌다.3) 즉
    • 복잡한 질병-건강 현상의 해석은 엘리트 의사의 몫이지만
    • 종기를 째거나 상처를 봉합하는 등의 일은 보다 단순한 교육을 받은 이발사-외과의의 몫이었다.

주지하다시피 의(醫)에는 이론적 성격과 실천적 성격이 공존한다. 어떤 의학 체계든 그것이 의학체계가 될 수 있으려면 어떤 이론이든 있어야 한다. 4체액설이든, 음양론이든, 혹은 통계적인 정상-비정상 이론이든 그 무엇이든 있어야 한다. 그리고 그러한 이론은 당대의 자연학(또는 자연철학이나 과학)의 산물이다. 하지만 의(醫)는 이론만으로는 존재하지 않는다. 어떤 교육을 받았고 무슨 이론을 신봉하든 의사는 환자를 만나야 하며 다종다양한 문제들을 해결해야 한다.

  • 이론이 무엇이든 칼로 베어 출혈을 일으키는 상처는 지혈을 하고 봉합을 해야 한다. 갑신정변 당시 칼에 맞은 민영익을 구한 의사는 미국인 알렌(Horace N.Allen, 1858-1932)이었는데 그것은 당시 알렌이 신봉한 의학 체계가 당시 조선의 한의사들이 신봉한 의학 체계에 비해 이론적으로 월등하게 우수해서라기 보다는 그들 중 외과적 처치를 배우고 경험해 본 사람이 없었던 데 기인한다. 향약구급방과 같은 전통 의서에는 상처를 봉합하는 법이 나와 있기는 하지만, 이는 책으로 얻어질 수 있는 능력이 아니다. 오히려 이는 경험과 숙달을 통한 일종의 기예(techne)에 더 가까운 것이라 할 수 있다.
  • 불명열(Fever of Unknown Origin) 환자가 왔을 때 범용 항생제를 우선 쓸 것인가, 혹은 의심이 가는 조직과 체액의 균 배양 결과를 기다리면서 해열제를 우선 쓸 것인가는 그때그때 개별적인 환자의 상태와 증상의 중증도, 예상되는 예후 등에 따라 모두 다른 실천적 지혜의 영역이지만, 당장 칼에 베어 가벼운 열상을 입은 환자에 대해 5cm 정도를 봉합해야 하는 것은 별다른 이론이나 고민이 필요 없는 기예의 영역이다. 전자는 이론과 경험과 임상적 지혜가 모두 필요하지만 후자는 숙련과 경험으로 족하다. 현대의 의사는 이 둘을 모두 아울러야 한다. 그런데 그러한 능력이 있는 의사를 어떻게 양성해야 하는가는 해결이 쉽지 않은 문제다.

===
3) 툴민(Stephen Toulmin)과 펠레그리노(Edmund Pellegrino) 등은 아리스토텔레스의 의도를 해석하여 의술을 실천적 지혜가 필요한 프락시스의 영역으로 본다(Toulmin, 1997Pellegrino, 1997). 그러나 웨어링(Duff Waring)은 툴민 등이 아리스토텔레스의 의도를 확대했다고 비판한다. 그는 “능숙하고 양심적인 의사의 판단은 실천적 지혜의 추론에 가깝지만, 그것의 예시는 아니다”고 하면서 아리스토텔레스는 의술을 기예의 일종으로 보고 실천적 지혜를 설명할 때 이를 활용했을 뿐이라고 주장한다(Waring, 2000). “니코마코스 윤리학”의 의술을 언급한 원문은 그렇게 해석될 수도 있지만, 전체적인 아리스토텔레스의 의도는 툴민/펠레그리노의 뜻에 더 가깝다고 필자는 생각한다. 하지만 이는 별개의 논의가 필요한 분야이며, 이 글에서는 단지 의술이 그러한 이중적인 면이 있음을 지적하고자 한다. 즉, 의술은 이론(theory)과 기예(technic)가다 필요한 실천(practice)의 영역이라서 이러한 논쟁이 발생할 수 있음을 지적하는 것만으로 이 글에서는 충분하다.
===

 

2. 아카데믹 메디신 vs. 프랙티컬 메디신

같은 의(醫)이지만 어떤 醫의 영역은 아리스토텔레스의 용어를 빌면 이론에 더 치중하고, 어떤 영역은 기예에 더 치중한다. 물론 실제 의료행위(medical practice)는 이 둘이 혼재되어 있지만 이 글에서는 그 상대적인 비중을 이야기하는 것이다. 한때는 아예 이 둘이 다른 직군이었던 때도 있었다.

  • 즉 서양에서는 내과의사(physician)와 외과의사(barber-surgeon)가 구분되었고,
  • 우리나라의 고려시대에는 의(醫)와 주금의(呪噤醫)가 구별되었다.
  • 고대인들의 눈으로 볼 때 이 둘은 어쩌면 전혀 다른 영역일 수도 있었을 것이다.

하지만 18세기 계몽주의 시대 이후 서양에서 근대 의학의 탄생은 이 둘의 거리가 좁혀지면서, 하나의 직군이 된 것에서 비롯된다. 물론 영국 등 몇몇 나라에서는 여전히 이 구분의 일부 유산이 지속되고 있기도 하지만 그곳에서도 기본의학교육(basic medical education)에서는 내과와 외과가 당연히 함께 교육되고 있다.

전통적으로는 내과가 이론에, 외과가 실무(혹은 기예)에 더 가깝다고 인식되었지만 오늘날에는 꼭 그렇지도 않다. 해부학과 생리학, 면역학, 신경학 등에 대한 깊은 지식과 이론은 오히려 외과 영역에서 더욱 필요로 할 때가 있으며, 내과 영역에서도 다종다양한 각종 기구들을 활용한 프랙티스가 번성하고 있다. 하지만 근대 이전에는 손으로 하는 일의 가치보다는 이론과 학문의 가치가 더 높게 평가되었는데 아마도 지배 엘리트들이 손으로 하는 노동을 기피했기 때문이었을 것이다. 그래서 대개의 경우 학문적 지식을 배경으로 삼았던 내과의사의 지위가 외과의사보다 더 높았으며, 내과의사는 주로 대학에서 양성하였고, 외과 의사는 군의나 선의학교 포함하여 다양한 실무학교에서 교육을 받거나 도제 교육을 받았다(Bonner, 2000). 후자는 주로 지역사회에서 일차진료의사로 일을 했는데 영국의 외과의-약종상(surgeon-apothecary), 프랑스의 오피시에 드쌍떼(officiér de santé), 독일의 란트아르쯔트(landarzt)와 같은 이들이 그들이다. 이들과 대학교육을 받은 의사의 가장 큰 차이점은 당시 학문어로 간주되었던 라틴어, 혹은 그리스어-라틴어의 숙달 여부였다(Bonner, 2000). 대학교육은 주로 라틴어 텍스트를 읽는 것으로 이루어진 반면, 실무 의료인들의 양성은 모국어로 된 텍스트와 현장 경험 및 실무로 이루어졌다. 전자의 교육은 견고한 이론적 바탕을 요구하였지만, 후자의 교육은 풍부한 실무 경험을 요구하였다. 이론과 실무 간의 이러한 긴장은 내과와 외과가 자연스럽게 융합되어 현대 의학을 형성한 20세기까지도 이어지게 된다. 

플렉스너 리포트는 주로 실무형 의사를 단기간에 양성했던 미국과 캐나다의 의학교육 현실을 폭로하여 미국 의학교육의 기폭제가 되었다. 이후 북미 영리의학교(proprietary medical school)의 상당 부분은 문을 닫았으며4), 의학교는 대학(university)과 연계하여 전통적인 학문 세계의 일부가 되었다. 유럽에서는 이미 오랜 역사를 지닌 의과대학들이 존재하였지만 미국에서는 아카데미즘보다는 경험과 숙달을 높이 평가하는 자조(自助)의 문화, 그리고 독점에 반대하는 시장주의적 경향으로 인해 양질의 학문적 바탕을 가진 엘리트 의사들을 찾아보기 어려웠다. 주로 유럽에서 공부한 소수의 엘리트 의사들이 미국의사협회(American Medical Association, AMA)를 결성하고 돌팔이들과의 투쟁을 벌였으며, 이들의 노력과 이를 옹호했던 플렉스너 리포트의 결과 미국 의학교육의 아카데미즘은 1910년 이후 전례 없이 강조되었다. 즉 견고한 기초과학의 이론 교육을 받아야만 의사가 되는 임상교육을 받을 수 있는 토대가 마련된다고 생각한 것이다. 이후 미국 의사의 사회적 경제적 수준은 그 이전에 비해 압도적으로 올라가게 되었지만, 이 나라에서는 유럽 각국에서 존재했던 이급(secondary level) 의사의 전통을 뿌리 뽑았기 때문에 결과적으로 지역사회에서 일차진료에 종사할 의사 인력이 부족해졌다. 1차 세계대전 이후 미국 의학은 경이적으로 발전하였으나, 의학교육이 엘리트 의사 양성 교육에 치중하다 보니 일차진료 의사가 부족하게 된 것이다. 

===
4) 155개의 의학교가 76개로 감소하였다.
===

탄탄한 이론적, 학문적 기반을 갖춘 의사와 실무에 바로 적용할 수 있는 의사 중 어떤 의사를 양성할 것인가는 그 나라가 가지고 있는 의료시스템과 문화, 교육 환경 등의 영향을 받는다.

  • 의학교육 연구가 활발하게 이루어지는 영국과 캐나다, 오스트레일리아 등의 의학교육은 그들의 NHS 의료제도를 지탱하기 위한 일차진료 의사의 양성에 초점이 맞추어져 있고, 그러다 보니 조기 임상 노출, 임상과 연계한 기초의학 교육과정, 문제해결능력과 역량(competence)의 강조 등을 특징으로 하고 있다.5) 그러나 이들 나라에서도 의학의 연구와 발전은 소수 엘리트 의학교육기관의 몫이며 전문의(consultant) 양성 또한 그 의료시스템에서 필요한 정도로 국한되어 있다. 이러한 의학교육 시스템 하에서는 의료인문학 또한 커뮤니케이션 능력 등 실무의사로서의 일개 역량에 한정되는 것으로 족하다.
  • 하지만 미국의 의학교육시스템은 이미 대학을 졸업한 학사 학위자를 대상으로 하는 전문학교(professional school) 시스템을 가지고 있다. 여기서는 이미 고등교육을 받은 엘리트들이 교육 대상이기 때문에 보다 전문화된 의학교육에 충실할 수 있다. 

===
5) 예컨대 2022년 10월 현재 영국의 총 의사 수는 164,000명인데 전문의(consultants)는 53,000명이다. 이는 전문의 비율이 79%를 상회하는 우리나라와는 큰 대비를 이룬다. 물론 최근에 영국도 전문의 비율은 급증하고 있다(Nuffield Trust, 2022).
===

아카데미즘을 중시하는 엘리트 의사를 양성할 것인가, 혹은 실무에 능한 일차진료 의사를 주로 양성할 것인가는 의학교육의 근본적인 고민이며, 이는 각국의 의료시스템의 영향을 크게 받을 수밖에 없다. 우리나라는 의과대학이 일차진료의사를 양성한다는 표방을 하고 있지만, 실제 의료시스템에서 일차진료의사의 역할은 미미하다. 그러다보니 기본의학교육은 이후 수련을 위한 준비 과정에 지나지 않게 된다. 하지만 그렇게 수련을 받는다 해도 개업을 하게 되면 대부분은 자신이 받은 수련과 크게 관련 없는 진료에 종사하게 된다. 전문의의 양산은 미국과 마찬가지지만 한때의 의학전문대학원 제도의 실험이 실패로 돌아가면서 기본의학교육은 여전히 고교 졸업생을 대상으로 하게 되었다. 즉 기본의학교육은 미국과 달리 고등교육을 받은 지식인의 배출의사의 양성이라는 이중의 임무를 달성해야 하는 것이다. 차라리 미국처럼 학사학위자를 대상으로 의학교육을 한다면 지식인의 배출이라는 임무는 일단 접어둘 수도 있지만 현재의 교육시스템에서는 그렇지 못하다. 

여기서 의사는 왜 교양 있는 전문직(learned profession)이어야 하느냐는 물음을 다시 물을 수밖에 없다. 아무리 일차진료에 종사한다고 해도 현대의 의사는 리더이자 책임을 지는 사람이자 불확실성(uncertainty)을 다루는 사람이자 변화에 적응하고 창조를 해야 하는 사람이다. 이를 위해서는 합당한 교양과 상식을 갖출 것이 기대된다. 그런데 우리나라의 중등 교육이 현대 사회에 필요한 교양인을 길러내지 못하고 있음은 주지의 사실이며 이는 매우 높은 수준의 사고력과 판단능력, 표현능력을 요구하는 선진국의 중등 교육 시스템과 큰 차이가 난다. 때문에 의과대학은 이러한 교육 기능까지도 떠맡아야 하는 형편이며, 의사학을 포함한 의료인문학 교육은 의대생에게 교양을 갖춘 리더로서의 역량을 길러주기 위해서도 필요하다. 이는 이미 충분한 교양을 갖춘 대졸자에게 의학교육을 하는 미국이나, 대부분의 의학교육이 지역사회에서 활동하는 일차진료의사 양성을 지향하는 유럽과는 또 다른 우리나라의 골칫거리이다.

3. 의사학 및 의료인문학 교육의 역사

의사학 연구 및 교육의 역사는 각국이 서로 다른 의료제도를 가지고 있는 만큼이나 상이하다. 즉 의사학과 같은 과목을 연구하고 교육하는 것은 일반적인 진료의사(practitioner)를 양성하는 것 이상의 목표를 추구하는 곳에서 더욱 두드러진다. 의사학 교육의 역사는 1920년 파리에서 세계의사학회(International Society of the History of Medicine)가 결성되었을 때로 거슬러 올라간다. 물론 그 이전에도 여러 나라에서 의사학에 관심을 가진 의사와 의학 교수들은 있었고 이들은 정규 교육과정뿐 아니라 세미나나 클럽, 혹은 희귀도서 소개와 같은 방식으로 산발적인 의사학 교육을 하였다.

  • 하지만 이 학회의 결성 이후 각국의 의과대학에 정규 교수직과 강좌가 만들어지기 시작하였는데 그 시작은 폴란드였다. 폴란드는 당시 5개 의과대학 전체에 의사학 및 의철학연구소를 두고 정규 교수를 임명하였다(Sigerist, 1939).
  • 지거리스트의 이 논문에 의하면 1939년 당시 미국의 77개 의과대학 중 70% 이상이 어떠한 형태로든 의사학 교육을 실시하고 있었고, 60%는 정규 강좌를 가지고 있었다(Sigerist, 1939: 649) 사실 미국 의과대학에서 의사학과는 의사학에 깊은 관심과 조예가 있었던 웰치(William Welch, 1850-1934)와 오슬러(William Osler, 1849-1919)의 영향 아래 세워졌던 존스 홉킨스 의과대학(Johns Hopkins University)에서 1929년 처음으로 독립 학과로 설립되었다. 존스 홉킨스의 의사학 연구소(Institute of the History of Medicine)는 오늘날까지 가장 권위 있는 의사학 연구 및 교육기관 중 하나로 남아 있다.
  • 전통적으로 의사학 연구의 전통이 강했던 독일은 거의 모든 의과대학에 의사학과를 설치할 것을 권고하였으며 1967년에는 자브뤼켄(Saarbrücken)과 뷔르츠부르크(Würzburg)를 제외한 모든 의과대학에 의사학과가 존재하였다(Cassedy, 1969: 281). 독일은 19세기 이후 의학이 실무 의학교, 또는 병원 부설 의학교가 아닌 대학에 연계된 의과대학을 중심으로 발전하여 학문중심의학(academic medicine)의 전통이 강한 곳이고, 폴란드 역시 독일의 영향을 많이 받았던 것으로 보인다.
  • 영국은 1860년대에 BMJ의 편집인이었던 알렉산더 헨리(Alexander Henry, 1822-1893)가 이미 의사학이 “의사 전문직의 학문적인 추구를 고취”한다며 그 필요성을 역설하였지만, 의과대학의 정식 교수 자리는 1962년 웰컴 재단(Wellcome Trust Foundation)의 지원을 받아 런던 유니버시티 칼리지 의과대학에 의사학과가 만들어졌을 때 처음 생겨났다(Metcalfe and Stuart, 2014).
  • 프랑스는 우수하고 풍성한 의사학 전통을 가지고 있는 나라이지만 의과대학에 정식 학과는 파리 의대(Université de Paris) 한 곳에만 설립되었다(Cassedy, 1969: 273). 하지만 1998년 이래 이 교수좌는 사라졌으며 의사학 연구는 고등연구학교(Ecole pratique des hautes étude, EPHE) 위주로 수행되고 있고, 리옹과 릴, 아미엥, 몽펠리에, 마르세이유, 렌 등지의 의대에서 의사학은 선택 과목으로 교육되고 있다(Bouchet and Charlier, 2008: 145-148).

1960년대 후반 이후 이들 의사학 전임 교수, 혹은 학과들은 광의의 의료인문학(medical humanities)를 함께 표방하는 것으로 진화하였고, 1980년대 이후에는 의료윤리학(medical ethics) 또는 생명윤리학(bioethics)를 포괄하거나 경우에 따라서는 이러한 새로운 과목과 교육과정 내에서 경쟁을 하게 되었다(Fox, 1985). 새로운 의학교육 이론과 개념이 확산됨에 따라 전통적인 강단식(didactic) 의사학 교육은 학생들에게 별다른 관심을 받지 못하고 그러한 교육에 대한 회의주의(skepticism)가 확산되었기 때문이다. 새로운 의료인문학은 의료윤리학과 더불어 의료 의사소통(medical communication), 의학과 문학, 의학과 영성, 의료사회학 또는 의료인류학 등을 포함하게 되었으며 이는 의사의 전문직업성(professionalism)과 의사로서의 덕성을 증진시킬 수 있다는 기대를 가지고 기본의학교육 교육과정 안에 들어오게 되었다. 

전통적으로 기본의학교육에서 의사학 교육의 필요성은 다음과 같이 주장되었다.

  • 1) 의사학 교육은 의학의 인문학적 측면을 이해할 수 있도록 해 준다. 의학은 단지 응용 생명과학이 아니며 살아있는 인간을 다루는 일종의 기예이므로 의학의 역사를 공부하는 것은 각 시대에 따라 인간의 건강/질병 현상에 어떻게 의학이 대처하였는지를 알려주기 때문에 일종의 인간학으로서 의학의 특징을 이해하게 해 준다.
  • 2) 의사학 교육은 의사의 전문직업성(professionalism) 증진에 도움이 된다. 의업은 히포크라테스 시대까지 거슬러 올라가는 오랜 전통을 가진 직업이며, 의사로서의 인테그러티는 그러한 전통을 이해하고 숙지할 때 생겨날 수 있다.
  • 3) 의사학 교육은 의학의 한계와 불확실성을 인식하게 해 주어 오늘날의 의료적 실천(practice)을 개선하는 데도 도움이 된다. 우리가 현재 가지고 있는 이론과 진료지침 등이 단지 한시적인 효용만을 지닐 역사적, 사회적 구성물임을 알게 될 때 이를 개선하고자 하는 거시적인 노력도 가능할 것이다.
  • 4) 의사학 교육은 질병의 역사적 변천과 추이를 인식하게 함으로써 소멸하거나 새롭게 등장하는 질병들을 이해하고 이에 대해 적절한 대응을 하는 데 도움이 된다. 최근 Coronavirus Disease 2019(COVID-19)의 등장과 같은 현상은 질병의 역사를 연구하는 이들은 이미 오래 전부터 예측했던 것이었다.
  • 5) 의사학 교육은 의대생, 나아가 의사들이 교양을 갖추고 지식인으로서 필수적인 역량-예컨대 글쓰기-을 함양하는 데 도움이 된다. 마지막으로 의사학 교육은 자신의 전공이나 자신이 교육을 받고 속한 기관의 역사를 파악하여 전통을 유지해 가면서 미래를 예측하고 새로운 비전을 제시하는 데 도움이 된다(David et al., 2015).

사실 필자는 이 글에서 의과대학에서 교수되는 “의사학”과, 역사학의 일부로서 전문 역사학의 영역인 “의학사”를 의도적으로 구분하였다. 이러한 구분은 연구의 측면에서는 큰 의미가 없는 것이지만 기본의학교육 과정의 측면에서라면 상당한 의미가 있다. 역사학의 일부로서 의학사는 굳이 그 가치를 따로 논해야 할 이유가 없으며, 역사학 자체의 학술적인 가치가 충분하기 때문이다. 의학과 그 실천은 인류 문화의 중요한 부분이며 우리가 과거의 역사 자체를 이해하기 위해서도 빼놓고 생각할 수 없는 부분이기 때문이다. 다만 과목 간에 가뜩이나 치열한 경쟁이 벌어지는 기본의학교육과정 내에서 별도의 시간을 할애하여 교육하기 위해서는 이 교육이 의사 양성 과정에 어떤 도움을 줄 것이라는 근거가 있어야 하기 때문에 굳이 이러한 구별을 하였다. 이러한 근거들은 의사가 아닌 사람들이 역사학으로서의 의학사를 연구, 교수하는 것과는 큰 관련이 없을 수도 있다. 

기본의학교육에서 의사학을 가르쳐야 한다는 당위그것을 어떻게 잘 가르칠 수 있는가, 그것도 매우 빽빽한 교육과정 속에서 단지 몇 시간에 불과한 교육 시간을 가지고 그러한 교육이 가능한가는 별개의 문제이다. 그러나 이는 의사학만이 아닌 거의 모든 의학 관련 교과목이 겪고 있는 문제이므로 이를 함께 논의하지 않으면 큰 의미가 없다. 역사적으로 어떤 교과목들은 기본의학교육과정에서 사라졌고, 오늘날에도 사라지고 있는 중이다. 그 중에는 중세 시대의 점성술이나 근대의 본초학, 혹은 질병분류학(nosology)과 같은 것이 있을 것이다. 이들이 교육과정에서 사라진 데는 그만한 이유, 즉 더 이상 그런 과목을 교수할 의미와 필요가 없어졌다는 이유가 있다. 그런데 의사학도 그러할까? 우리가 과거 의학의 역사를 공부하는 것은 의사가 되기 위해 더 이상 필요한 일이 아니게 되었는가? 우리가 지나온 길을 알지 못하는데, 어느 미래로 가야 할지를 어떻게 알 수 있는가? 이 문제에 답하기 위해서 필요한 것은 역시 역사적 통찰이다.  

4. 우리나라의 의사학과 의료인문학 교육

우리나라에서 의료인문학의 개념이 등장한 것은 1999년 한국의과대학학장협의회(KAMC)가 발간한 “21세기 한국교육계획-21세기 한국의사상”이다. 여기서 “제안4”가 “의료에 영향을 주는 인문, 사회과학 분야 지식과 의료관리 능력을 갖춘 의사를 양성한다”이며 “제안5”가 “도덕적이고 이타적이며 지도자적인 의사를 양성한다”이다. 사실 이 보고서는 영국의 제너럴메디칼카운슬(General Medical Council, GMC)이 1993년에 영국의 기본의학교육을 재구성해야 한다며 내놓은 보고서인 “내일의 의사(Tomorrow’s Doctors)”를 연상하게 한다(GMC, 1993). “21세기 한국의사상”에서 제시한 설명은 다음과 같다.

의사의 전문지식에 의해 의료의 모든 부분이 결정되는 시대는 지나갔다. 의사의 의료행위는 의사의 전문지식 이외에도 보험제도, 국가 및 병원의 정책 등 여러 분야 등 여러 관련 분야의 영향을 받는다...의학교육은 의료에 영향을 미치는 이런 제도와 정책에 대한 지식 교육을 포함해야 할 뿐 아니라, 이런 제도와 정책이 결정되는 과정, 관련된 인문 및 사회과학 분야 지식 등에 대하여도 지식을 가져야 한다...또한 의학의 발전은 인간 복제, 안락사 등 의학 윤리적인 문제를 가져왔다. 이런 문제는 윤리적인 차원에서 끝나는 것이 아니라, 법적인 문제로까지 연관된다. 따라서 의사는 생명윤리에 관한 윤리적・법적인 문제를 잘 이해하고 숙지해야 한다(한국의과대학학장협의회, 1999)

의사는 “건강과 관련된 의료지식 외에 다양한 지식과 기술을 갖추어야 한다”고 한 것은 이전에 비해 진일보한 태도이지만 그 내용이 보험제도와 국가정책 등 의료시스템과 정책에 관한 지식, 그리고 임상윤리가 아닌 “인간복제, 안락사” 등 생명윤리 쟁점으로 의료윤리를 국한시킨 것은 이 보고서의 당시의 한계를 반영한다. 이후 이러한 권고사항은 2003년 “한국의학교육평가원”이 설립되면서 “의과대학 평가인증 기준”에 반영되어 각 의과대학의 교육과정 개편과 교육의 수행에 지대한 영향을 미쳤다.

하지만 가장 최근의 평가인증 기준인 “의학교육 평가인증 기준(ASK 2019, 2022.1.20.)”을 보아도 의료인문학에 관한 내용은 매우 혼란스럽고 애매하게 되어 있다. 즉 이 가이드는 “의료인문학, 행동과학, 사회과학, 의료윤리, 의료법규 등의 교육과정을 적절하게 운영하고 있다”고 되어 있으며 행동과학과 사회과학에 공중보건학, 사회의학, 생물통계학, 국제보건의료, 사회역학, 의료사회학, 의료심리학, 의료인류학, 위생학, 지역사회의학을 포함한다고 하였으며 의료인문학이 무엇인지 등에 대한 구체적인 언급은 없다. 사실 ASK 2019의 모태가 되는 세계의학교육연맹(World Federation of Medical Education, WFME)의 2015년 기본의학교육(Basic Medical Education, BME) 기준(standards) 에는 단지 “행동과학과 사회과학, 의료윤리와 의료법(Behavioral and Social Sciences, Medical Ethics and Jurisprudence)”만 언급하고 있다. 2020년 새로 개발된 기준은 “행동과학과 사회과학은 지역의 맥락과 문화와 관련되며, 윤리를 포함한 전문직 실무의 원칙을 포함한다”고 되어 있다. 여기서 의료인문학이 언급되어 있는데 여기에는 “문학, 드라마, 철학, 의사학, 예술, 그리고 영성”이 포함될 수 있다고 하였다.6) 

===
6) WFME. BME Standards 2015, BME Standards 2020.
===

사실 이러한 기준은 우리 의료계의 “철학과 전통의 부재”를 잘 보여준다. 근대 서양의학 자체가 근대화와 더불어 외국에서 들어온, 혹은 강제로 이식된 것이었기 때문에 오랜 전통을 지닌 전문직 공동체(professional community)에 속한다는 의식이 희박하다. 이것은 곧 전문직업성의 미발달이나 부재로 나타나기 마련이다. 근대의학의 원조인 서양에서도 이미 지나친 과학화에 몰두한 의사직의 탈전통화(detraditionalization)에 대한 비판이 등장하고 있지만7), 사실 우리는 탈전통화할 전통 자체가 없다. 체계화된 의료시스템이 없으니 기본의학 교육을 마친 의사가 어떤 역량을 가져야 하는지에 대한 합의도 불확실하다. 물론 “의학교육 평가인증기준”과 같은 것이 그러한 합의 혹은 기준을 제시하고 있다고 주장되고 있으나, 그것이 의료계, 혹은 의학교육계의 보편적인 공감을 이끌어 냈다고 보기는 어려우며, 각 의과대학은 대부분 형식적인 기준을 맞추어 인증평가를 통과하는 데에만 관심을 가지고 있다. 무엇보다 의료인문학에 관한 위 기준에서 보듯 예컨대 “국제보건의료”나 “의료심리학”과 같은 과목이 기본의 학교육과정에서 필수적으로 교수되어야 하는지, 그러한 과목은 의사로서의 임상적 역량(clinical competence)이나 혹은 전문직업성 역량(professionalism competence)에 어떤 형태로 기여를 할 수 있다는 것인지 등에 관해서는 많은 다양한 논의가 가능할 것이다. 

===
7) “문화적 가치의 탈전통화는 의학뿐 아니라 다른 곳에서도 새로운 불안을 야기한다. 우리는 임상 의료를 형성한 개념의 역사, 그 텍스트적 관점을 상실할 위험을 안고 있다. 의학의 고전은 과거 학문의 중요성을 강조할뿐더러 공동체를 묶어주고 우리에게 정체성을 부여하며 의사들로 하여금 현재의 프랙티스가 어떻게 현재의 프랙티스가 되었을 뿐 아니라 오늘날 우리가 행하는 것이 미래를 어떻게 변화시킬 것인지를 알려준다”(Horton, 1997: 872).
===

그런 의미에서 의사학 교육은 이미 언급한 것처럼 충분한 가치가 있다. 광의의 의료인문학에 속한 다른 분야인 의료윤리학에 대해서는 이미 평가인증기준도 그 필요성을 확인하였으니 굳이 언급하지 않을 것이다. 어쩌면 의사학은 의료윤리학보다 직접적인 의료실무(clinical practice)에는 관련을 맺지 않을 수도 있다. 의료윤리학은 당장 합법적이고 올바른 진료 의사결정(legitimate and right clinical decision making)을 위해서도 필요하지만 의사학 교육의 목적은 보다 크고 먼 곳을 지향한다. 

의사학 교육의 일반적인 필요성에 대한 주장은 이미 서술한 바와 같다. 그러나 우리나라에서는 두 가지 요점이 더 추가된다. 첫 번째는 현행 의학교육과정에서 의학의 역사, 또는 의사학에 수반될 수밖에 없는 철학을 빼어 버린다면 미래의 의사를 지도자이자 지성인으로 만들 길은 요원하다는 것이다. 최근 고교 교육과정의 추이는 과목을 다양화하면서 세계사와 같은 과목을 예전과 달리 중시하지 않고 있다. 의과대학 입시는 가장 경쟁이 치열하므로 학생들은 가장 좋은 성적을 올릴 수 있는 과목 위주로 자신의 포트폴리오를 형성하며, 암기할 것이 많은 세계사와 같은 과목은 선택하지 않는다. 지성인의 역할을 하기 위해 필요한 준비 작업인 풍부한 독서, 역사와 세계에 대한 지식, 그리고 제2외국어 학습은 의과대학 진학을 위해서는 뒤로 밀리고 있는 것이 현실이다. 우리는 이러한 학생들을 신입생으로 받고 있는데 이들에 대한 교육은 가시화되고 측정될 수 있는 “졸업역량”으로 국한되어 있다. 더구나 “의사과학자”에 대한 최근의 강조는 그나마 있던 인문적 요소들을 의학교육과정에서 박탈해버릴 우려가 있다. 하지만 노벨상을 수상한 많은 과학자들의 예에서 보듯 이들을 세계 최고 수준의 과학자로 만든 것은 어릴 때부터의 랩 훈련이라기 보다는 자연에 대한 궁극적인 호기심과 탐구를 오랜 시간 일관되게 유지한 데서 비롯된다. 이들의 연구는 어느 수준에서는 결국 철학과 맞닿게 되는데 우리나라에서 노벨상 수상자가 나오지 않는다는 한탄은 어릴 때부터의 수학이나 과학 훈련 부족이 아니라 자연에 대한 궁극적 관심을 이어갈 수 있는, 근본적 문제를 질문할 수 있는 능력의 부족에서 기인한다. 의사가 단순한 기능인(technician)이 아니라 지성인이자 리더로서 기능하기 위해서는 역사와 철학과 같은 인문학은 선택이 아닌 필수가 될 수 밖에 없다. 기본의학교육과정에서 그것을 전부 달성하기는 불가능하더라도 적어도 그를 위한 동기부여는 해 주어야 한다. 

두 번째는 우리 의학의 전통 부재이다. 우리는 유럽이나 미국처럼 근대 서양의학을 자기의 뿌리로부터 발전시킨 경험도, 일본처럼 수백 년에 걸쳐서 서양의 의학을 자기 것으로 내재화 시킨 경험도 없다. 우리의 의학은 일부 분야에서는 세계 최고의 진단과 치료기술을 자랑하지만 그것은 어디까지나 진료의 영역일 뿐, 세계 의료를 선도해나갈 역량이 부족하다. 미래 의료는 어떤 형태로 전개되어야 하며, 의료시스템은 어떻게 구성되어야 할 것인가? 그에 필요한 기술과 역량, 혹은 제도와 정책은 무엇이어야 하는가? 유전체학과 빅데이터, 인공지능, 글로벌 팬데믹 등 다시 수많은 불확실성이 의료에 산재해 있는데 우리는 미국이나 유럽의 길을 그저 답습하지 않고 우리 자신의 길을 개척할 능력이 있는가? 그러한 능력은 역사적 통찰 외에 어디서 얻어진다는 것일까? 뿌리가 잘린 꽃은 잠시 화려할 수는 있어도 결코 오래 지속되거나 새로운 씨앗을 만들어 낼 수는 없다. 제대로 된 전통이 없기 때문에 더욱 개항 이래 지난 일백여 년의 역사라도 돌아볼 필요가 있으며, 전통의학의 존속 등 우리 사회가 안고 있는 여러 의료 문제들을 풀기 위해서라도 역사적 감각을 기를 필요가 있다. 

5. 맺는 말

한국의 의사들은 스스로를 고등지식인이라 생각하지만 의사 아닌 다른 사람들은 그다지 동의하지 않고 있는 것처럼 보인다. 즉 근대화가 되었다고 하지만 전통 시대를 철저하게 주체적으로 극복하였다고 보기 어려운 한국 사회는 의사를 보는 시각 또한 의관이나 역관 등 중인을 바라보는 수준에 머물러 있는 것 같다. 즉 전문 기술을 통해서 부는 축적하였지만, 사회를 이끌어가는 리더라고는 보기 어려운 집단, 그것이 일반인이 생각하는 의사가 아닐까? 그렇지 않다면 2001년 의약분업 사태 이후 2020년의 COVID-19 사태에 이르기까지 의사들이 보건의료문제에 있어서 이니시어티브를 거의 가질 수 없었던 이유가 어떻게 설명될 수 있을까? 일반 국민에게 이전의 과거라 할 수 있는 사법고시나 행정고시에 합격하여 국가를 이끌어가는 엘리트 관료 또는 법조인에 비해 의사들의 리더십이나 사회에 대한 인식의 수준은 한참 부족해 보인다. 아니 그러한 입증이 없어도 많은 인문학자들은 말과 글로써 사회의 오피니언 리더 역할을 하고 있는데 비해 의사에 대한 요구는 그저 특정 질병에 대한 전문가적 판단 이상이 아닌 것 같다. 심지어 COVID-19와 같은 글로벌 팬데믹 사태에 대해서도 대한의사협회나 전문학회의 주장은 정부에 의해 쉽사리 무시되었다.8)

===
8) “37일만에 1261명...감염학회 4가지 경고, 현실이 됐다”. 조선일보. 2020.2.27.
===

이러한 상황에서 의학교육의 목적이 다만 “환자 잘 보는 의사의 양성”에 머무른다는 것은 어떤 함의를 지니고 있는 것일까? 물론 기본적으로 임상 역량이 탁월한 의사의 양성은 의학교육의 기본적인 책무이겠지만 2번이나 개정된 General Medical Council의 Tomorrow’s Doctors도9), 미국 AAMC의 보고서 “의학교육에서 예술과 인문학의 기초적 역할(The fundamental role of the arts and humanities in medical education)”10)도 모두 미래 의사의 역량으로 사회성과 협동성, 리더십을 강조하고 있다. 그렇다면 그러한 역량은 단지 우리가 익히 알고 있는 의료시스템에 대한 지식 등을 통해서 획득할 수 있는 것인가?

===
9) 2002년과 2009년에 개정되었다.
10) AAMC. The Fundamental Role of the Arts and Humanities in Medical Education. 2020.
===

모두에서 말한 바와 같이 엘리트 의사는 기본적으로 고등 지성인이어야 한다. 모든 의사가 엘리트 의사가 될 필요는 없겠지만 적어도 의료계를 이끌고 미래를 준비하고 사회와 소통해야 할 의사들은 충분한 교양과 지성, 그리고 통찰력을 갖추어야 한다. 우리가 어디서 왔는지도 모르는데, 어디로 가야 할지를 어떻게 알겠는가. 오늘날 한국 의학교육의 한계는 어쩌면 그 시야의 비좁음, 즉 현재의 문제에만 골몰하고, 그 해결책을 당대의 소위 선진국들의 해법에서 찾는 나머지 그들의 해결책들이 어떤 역사적 맥락에서 도출되었고 그들의 시스템 안에서 어떠한 함의를 지니는가에 대한 무지에서 비롯된 것 같다. 즉 국내외를 가리지 않는 역사적 지식과 통찰의 부재에서 말이다.

의료인문학 교육, 특히 의사학 교육이 모든 문제에 대한 해결책이 될 수도 없고, 또 적절한 맥락과 유용한 해석 없이 인명과 사실을 나열하는 기존 의사학 교육은 이를 이수하는 거의 대부분의 의대생들에게 오로지 괴로움의 원천이었음을 부정하지 않는다. 그러한 교육을 어떻게 개선하면 좋을지는 의사학 전공자들의 몫이겠지만, 그러나 그 필요성 자체를 부정하면 그 결과는 참혹할 것이 분명하다. 즉 현재의 의학교육 시스템이 지속된다면 가뜩이나 부족하기 짝이 없는 의과대학에서 의사학 전문 연구자나 연구기관의 맥이 끊기게 될 것이며, 의학의 전통을 수호하고 계승하는 업무도 이어지지 못하게 될 것이다. 역사학의 일부로서 의학사는 존속하겠지만, 의학의 전통으로서 의사학은 소멸하게 될 것이다. 그 결과는 당장 눈에 보이지는 않겠지만 장기적인 영향은 절대 작지 않을 것이다.

 


The Value of Medical Humanities in Medical Education : Focusing on the History of Medicine

*Professor, Department of Medical Education, Ewha College of Medicine

이화여자대학교 의학교육학교실 교수. 의사학, 의료윤리학 전공 / 이메일: kivo@ewha.ac.kr

Received December 16, 2022       Revised December 18, 2022       Accepted December 19, 2022
 

© 대한의사학회

 

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted noncommercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

The history of medicine has been continuously devaluated in medical education but its importance should not be ignored as for other medical humanities. The educational value of the history of medicine could be summarized as follows ; it allows the students 1) to understand the humane aspect of medicine by telling them how medicine has dealt with human health-disease phenomena in each era of the human history. 2) to improve the professionalism by recognizing that medicine is a profession with a long tradition that dates back to the Hippocratic era 3) to improve current medical practice by understanding the limitations and uncertainties of medicine. 4) to understanding the historical changes of the disease phenomena 5) to develop the basic competence of learned intellectual. 6) to integrate the tradition of their own institutions with themselves.

 

평가 프로그램에서 학생의 진급 결정: 임상적 의사결정과 배심원 의사결정을 외삽할 수 있을까? (BMC Med Educ, 2019)
Student progress decision-making in programmatic assessment: can we extrapolate from clinical decision-making and jury decision-making? 
Mike Tweed1* and Tim Wilkinson2

 

배경
Background

평가 의사 결정의 문제점
The problem with decision-making in assessment

학생에 대한 개별 평가에서 생성되는 데이터의 견고성을 확보하기 위해 많은 노력을 기울여 왔습니다. 점수 신뢰도, 청사진 작성, 표준 설정 등 개별 시험 또는 평가 이벤트 수준에서 평가 데이터의 견고성을 확보하는 데 관한 광범위한 문헌이 있습니다[1,2,3]. 이는 특히 수치 데이터[4]에 해당하지만, 텍스트/내러티브 데이터[5]에 대해서도 점점 더 많이 요구되고 있습니다. 그러나 의사 결정은 여러 평가 이벤트의 증거를 종합적으로 고려하여 내리는 경우가 더 많습니다. 이는 평가에 대한 보다 프로그래밍적인 접근 방식을 취함에 따라 점점 더 많아지고 있습니다[6]. 예를 들어, 한 해의 합격 여부에 대한 결정은 연말 시험 합격 여부에 대한 결정이 아니라 한 해 전체의 평가 결과를 종합하여 내리는 결정이 되고 있습니다. 이러한 변화에도 불구하고, 개별 학생에 대한 강력한 결정을 내리기 위해 여러 가지 이질적인 개별 평가의 정보를 종합하는 데 따르는 함정과 개선 방법에 대한 간극이 존재합니다[7]. 
Much effort has been put into the robustness of data produced by individual assessments of students. There is an extensive literature on achieving robustness of assessment data at the individual test or assessment event level, such as score reliability, blueprinting, and standard setting [1,2,3]. This is especially so for numerical data [4], but increasingly also for text/narrative data [5]. However, decisions are more often made by considering a body of evidence from several assessment events. This is increasingly the case as a more programmatic approach to assessment is taken [6]. For example, the decision on passing a year is becoming less about a decision on passing an end of year examination and more about a decision based on synthesising assessment results from across an entire year. Despite these changes, there is a gap regarding the pitfalls and ways to improve the aggregation of information from multiple and disparate individual assessments in order to produce robust decisions on individual students [7].

이 백서에서는 학생의 진급 의사 결정과 임상 의사 결정 사이의 유사점을 도출한 다음, 그룹이 내리는 의사 결정의 맥락에서 진급 의사 결정과 배심원의 의사 결정 사이의 유사점을 도출할 것입니다. 마지막으로, 이러한 유사점을 살펴봄으로써 진급 의사 결정과 관련된 정책, 실무 및 절차에 대한 실질적인 요점을 제안합니다. 사용할 수 있는 의사결정의 예는 많지만, 의료 교육 기관에 익숙한 임상 의사결정과 집단이 증거를 평가하여 중대한 결정을 내리는 방법과 관련된 사례인 배심원 의사결정을 선택했습니다.  
In this paper we draw parallels between student progression decision-making and clinical decision-making, and then within the context of decisions a made by groups, we will draw parallels between progression decision-making and decision-making by juries. Finally, exploration of these parallels leads to suggested practical points for policy, practice and procedure with regard to progression decision-making. There are many examples of decision-making that could be used but we chose clinical decision-making as it is familiar to healthcare education institutions, and jury decision-making as it is a relevant example of how groups weigh evidence to make high-stakes decisions.

진급 의사 결정: 임상 의사 결정의 유사점
Progression decision-making: parallels in clinical decision-making

학생이 진급 진행(합격) 또는 불합격(불합격) 여부에 대한 의사 결정은 환자 진단과 많은 유사점이 있습니다[8].

  • 평가 진도 결정과 환자 진단 결정 모두 여러 가지 정보(다양한 수준의 견고성을 가진 수치와 서술/텍스트가 혼합되어 있음)를 종합적으로 고려해야 합니다.
  • 환자 진단 결정과 후속 관리 결정은 환자 및/또는 의료기관에 미치는 영향 측면에서 중대한 사안일 수 있습니다.
  • 마찬가지로 진급 상황 결정과 그 결과도 학생, 교육 기관, 의료 기관, 환자 및 사회에 큰 영향을 미칩니다.

The decision-making around whether a student is ready to progress (pass) or not (fail) has many parallels with patient diagnosis [8].

  • For both assessment progression decisions and patient diagnosis decisions, several pieces of information (a mix of numerical and narrative/text with varying degrees of robustness), need to weighed up and synthesised.
  • Patient diagnosis decisions and subsequent decisions on management can be high-stakes in terms of impact on the patient and/or healthcare institution.
  • Likewise progression decisions and the consequences carry high-stakes for students, educational institutions, healthcare institutions, patients, and society.

의사 결정을 위한 정보 취합
Aggregating information to make decisions

임상의와 임상팀은 휴리스틱을 사용하여 다양한 정보를 효율적이고 정확하게 결합하지만[9,10,11,12,13,14], 환자 진단에 관한 임상 의사 결정은 편견과 부정확성에 취약할 수 있습니다[12,15,16,17,18]. 이러한 편견과 오류에 대한 메타인지적 인식[15,16]이 임상 의사 결정을 개선하는 것으로 가정되는 것처럼[19,20,21], 평가 정보를 결합할 때 이러한 편견에 대한 인식과 이를 해결하는 방법도 진행 상황 결정의 견고성을 개선할 수 있다고 제안합니다. 
Clinicians and clinical teams combine various pieces of information efficiently and accurately using heuristics [9,10,11,12,13,14], however clinical decision-making regarding patient diagnoses can be prone to biases and inaccuracies [12, 15,16,17,18]. Just as metacognitive awareness of such biases and errors [15, 16] is postulated to lead to improved clinical decision-making [19,20,21], we suggest that an awareness of such biases in combining assessment information, and ways to address this, could also improve the robustness of progression decisions.

정보 수집
Gathering information

임상 환경에서 환자 진단에 대한 의사 결정을 내리는 데 사용되는 데이터는 상담 및 관련 조사에서 얻을 수 있습니다. 병력은 거의 전적으로 서술형/텍스트, 임상 검사는 대부분 서술형/텍스트와 일부 수치 데이터, 조사는 서술형/텍스트와 수치 데이터가 혼합된 형태로 이루어집니다. 진단으로 이어지는 임상 의사 결정은 빠르고 효율적일 수 있지만[15], 때로는 더 어렵고 임상의는 더 많은 정보를 얻고, 다양한 옵션을 평가하고, 상충되는 증거를 평가해야 할 수도 있습니다. 
In the clinical setting, data used to inform the decision-making of a patient diagnosis may come from the consultation and associated investigations. The history is almost entirely narrative/text, the clinical exam is mostly narrative/text with some numerical data, and investigations are a mixture of narrative/text and numerical data. Clinical decision-making leading to a diagnosis can be quick and efficient [15], but sometimes it is more difficult and the clinician may need to obtain more information, weigh up different options, and/or weigh up conflicting pieces of evidence.

추가 정보를 얻는 과정에는 상담 및 조사 재방문과 같이 데이터 수집을 반복하거나, 일반 방사선 사진을 보완하기 위해 컴퓨터 단층 촬영 스캔을 얻는 등 다른 관점에서 문제에 접근하거나, 생검과 같이 완전히 새롭고 다른 정보 출처를 찾는 것 등이 포함될 수 있습니다[15]. 이러한 추가 정보의 성격은 지금까지 얻은 정보에 따라 달라지며, 이미 알려진 것과 관계없이 모든 환자에게 동일한 추가 검사를 실시하는 것은 좋은 임상 관행이 아닙니다. 또한 제기된 임상적 질문에 답하기 위해 효율성, 위험/편익, 비용 측면에서 가장 적절한 조사를 고려합니다[22, 23]. 
The process of obtaining additional information may include repeating data collection, e.g. revisiting the consultation and investigations; approaching the issue from a different perspective, e.g. obtaining a computerised tomography scan to complement a plain radiograph; and/or looking for an entirely new and different source of information, e.g. getting a biopsy [15]. The nature of this additional information will depend on the information obtained so far, as doing the same extra tests on all patients regardless of what is already known is not good clinical practice. Consideration is also given to the most appropriate investigations in terms of efficiency, risk/benefit, and cost [22, 23], to answer the clinical question posed.

임상 의사 결정에서 진단이 확정된 후에도 데이터를 계속 수집하거나 조사를 수행하는 것은 비효율적이며 때로는 해로울 수 있습니다. 진급 의사결정 측면에서도 이와 유사한 점이 있는데, 진급 의사결정에 필요한 추가 정보를 얻기 위해 충분한 정보가 수집되면 개별 학생에 대한 검사를 중단하는 순차적 검사가 포함될 수 있습니다[24]. 이는 진급 결정의 근거가 될 충분한 정보가 확보되면 평가를 중단하는 평가 프로그램에도 적용될 수 있습니다. 결정의 부담stake은 충분한 정보에 필요한 정보의 강도와 가중치를 알려줄 것입니다. 임상 의사 결정과 마찬가지로, 같은 유형의 평가를 더 많이 한다고 해서 진도 의사 결정이 개선되지 않을 수 있으며, 새로운 관점이나 완전히 새로운 데이터 소스가 필요할 수 있습니다. 학생에게 평가를 반복하도록 요청하는 대신, 필요한 충분한 정보를 제공하기 위해 목표 관찰 기간, 면밀한 감독 또는 다른 평가를 실시하는 것이 더 바람직할 수 있습니다. 필요한 추가 정보의 성격은 개인에 대해 이미 알려진 내용에 따라 달라지며 학생마다 다를 수 있습니다. 결과적으로 가변 평가는 공정성에 대한 우려를 불러일으킬 수 있습니다. 이에 대해 저희는 공정성이란 모든 학생이 동일하게 평가되었는지 여부보다는, 진급 결정의 견고성과 방어 가능성에 더 많이 적용된다고 주장합니다. 
In clinical decision-making it is inefficient, and sometimes harmful, to keep collecting data or undertaking investigations once a diagnosis is secure. There are parallels with this, in terms of progression decision-making: obtaining additional information to inform progression decision-making may include sequential testing, whereby testing ceases for an individual student when sufficient information has been gathered [24]. This could be extrapolated to programmes of assessment whereby assessments cease when sufficient information is available on which to base a progress decision. The stakes of the decision would inform the strength and weight of the information required for a sufficiency of information. Just as for clinical decision-making, more of the same type of assessment may not improve progress decision-making, and a new perspective or an entirely new data source may be required. Instead of asking a student to repeat an assessment, a period of targeted observation, closer supervision or different assessments might be preferable to provide the required sufficiency of information. The nature of the extra information required will depend on what is already known about the individual, and may vary between students. The resulting variable assessment may generate concerns over fairness. In response, we would argue that fairness applies more to the robustness and defensibility of the progression decision, than to whether all students have been assessed identically.

상충되는 정보 취합
Aggregating conflicting information

임상 의사 결정에서는 상충되는 증거를 종합적으로 검토해야 하는 경우가 많습니다. 병력, 검사 및 조사에서 수집한 정보를 개별적으로 고려하면 가장 가능성이 높은 진단 목록이 여러 개 생성될 수 있으며, 각 목록은 불확실성을 내포하고 있습니다. 그러나 모든 정보를 종합하면 가장 가능성이 높은 진단 목록이 더 명확해지고 점점 더 확실해집니다[25]. 진도 의사 결정에서도 마찬가지로, 독립적인 평가 이벤트에서 생성된 단일 정보를 고려하면 학생의 진도 준비 상태에 대한 해석이 달라질 수 있지만, 이러한 단일 정보를 종합하면 더 강력한 그림이 구성됩니다.  
In clinical decision-making it is often necessary to weigh up conflicting pieces of evidence. Information gathered from history, examination, and investigations might, if considered in isolation, generate different lists of most likely diagnoses, each of which is held with uncertainty. However, when all the information is synthesised, the list of most likely diagnoses becomes clearer, and is held with increasing certainty [25]. Likewise in progression decision-making, considering single pieces of information generated from independent assessment events might generate different interpretations of a student’s readiness to progress, but when these single pieces are synthesised, a more robust picture is constructed.

의료 정책 입안자와 실무자는 여러 출처의 데이터를 종합할 수 있습니다[26,27,28]. 일부 데이터 합성은 개별 임상의보다 기계적으로 또는 알고리즘에 의해 더 잘 수행되지만[29], 빠르고 검소한 휴리스틱을 보험 계리 방법과 결합하면 더 나은 결과를 얻을 수 있습니다[30]. 진행 의사 결정에서 알고리즘을 사용하여 점수를 결합하는 것은 가능하지만[31], 똑같이 그럴듯한 알고리즘도 다른 결과를 초래할 수 있습니다[32, 33]. 검사 결과를 단순히 합산하는 것은 쉬울 수 있지만, 그 결과가 반드시 의사결정 목적에 가장 적합한 정보를 제공하지는 않을 수 있습니다[31]. 
Synthesising data from multiple sources is possible for healthcare policy makers and practitioners [26,27,28]. Some data synthesis is done better mechanically or by algorithms than by individual clinicians [29], but better results may be achieved if fast and frugal heuristics are combined with actuarial methods [30]. In progression decision-making, combining scores using algorithms is possible [31], but equally plausible algorithms can lead to different outcomes [32, 33]. It may be easy simply to add test results together, but the result may not necessarily contribute the best information for decision-making purposes [31].

임상 의사 결정의 경우, 의사 결정을 개선하기 위한 전략에는 진단 의사 결정 지원의 가용성, 이차 의견, 감사 등 의료 시스템에 대한 고려가 포함됩니다[12]. 확인 및 안전장치가 부족하면 오류가 발생할 수 있습니다[34]. 이를 진행 의사 결정에 적용하면 모든 평가 결과를 맥락에서 고려하고 의사 결정 지원 및 의사 결정 검토 프로세스를 사용해야 합니다. 
For clinical decision-making, strategies to improve decision-making include consideration of the health systems, including the availability of diagnostic decision support; second opinions; and audit [12]. A lack of checking and safeguards can contribute to errors [34]. Extrapolating this to progression decision-making, all assessment results should be considered in context, and decision support and decision review processes used.

선별 검사 및 진단 검사
Screening tests and diagnostic tests

임상 진료에서 질병 검사에는 선별 검사와 확진 검사 등 검사를 결합해야 하는 선별 검사 프로그램이 포함될 수 있습니다[35]. 이는 특히 데이터가 희박한 경우[36] 진행 의사 결정으로 추정될 수 있습니다[8]. 일반적으로 임상 검사 및 교육 평가를 통한 의사 결정은 민감도와 검사의 특이도 간의 균형을 유지하여 의사 결정에 도움을 주어야 합니다. 이는 개별 평가의 목적과 평가 검사 프로그램의 목적에 따라 영향을 받습니다[8]. 일반적으로 질병 선별 검사는 특이도가 낮고 민감도가 높으며, 확진 검사는 민감도가 낮고 특이도가 높습니다[35]; 검사의 예측 값은 질병 유병률에 따라 달라집니다. 따라서 겉으로 보기에 민감도와 특이도가 우수하더라도 유병률이 매우 높거나 낮으면 검사 프로그램이 기여도가 없거나 더 심하면 잠재적으로 해로울 수 있습니다[8]. 교육 평가와 관련된 이러한 편견은 나중에 논의합니다. 
Testing for disease in clinical practice can include a screening programme which requires combining tests, such as a screening test followed by a confirmatory test [35]. This can be extrapolated to progression decision-making [8], especially when data are sparse [36]. Generally, decision-making from clinical tests and educational assessments has to balance the sensitivity with the specificity of a test to help inform the decision. This is influenced by the purpose of the individual assessment and by the purpose of the assessment testing programme [8]. A screening programme for a disease will generally have a lower specificity and higher sensitivity, and a confirmatory test a lower sensitivity and higher specificity [35]; the predictive value of the test will be dependent on disease prevalence. Hence despite apparently excellent sensitivity and specificity, if the prevalence is very high or low, a testing programme can be non-contributory, or worse still, potentially harmful [8]. Such biases associated with educational assessment are discussed later.

결정과 관련된 위험
Risks associated with decisions

잘못된 임상적 결정 또는 최적의 진료에서 벗어난 결과와 위험은 임상적으로 유의미한 결과가 없는 것부터 사망에 이르기까지 크게 다를 수 있습니다[37]. 최적의 진료에서도 부작용과 위험은 발생할 수 있습니다. 약물은 적절하게 사용하더라도 부작용이 있으며, 때때로 이러한 위험은 임상 진료에서야 드러납니다[38]. 
The consequence and risk of incorrect clinical decisions, or deviation from optimal practice, can vary significantly from no clinically significant consequence to fatality [37]. Adverse consequences and risks occur even with optimal practice. Drugs have side effects, even when used appropriately, and sometimes these risks only come to light in clinical practice [38].

의료 교육 기관은 학생에 대한 진급 결정을 내릴 때 학생[39]과 사회[40]의 이익을 모두 고려해야 할 주의 의무가 있습니다. 개인뿐만 아니라 사회에도 영향을 미치는 개인을 위한 결정을 내릴 때의 이러한 딜레마는 배심원 의사 결정 섹션에서 자세히 살펴봅니다. 
Healthcare educational institutions have a duty of care to take the interests of both students [39] and society [40] into account when making progression decisions on students. This dilemma of making decisions for individuals which have an impact not only on that individual, but also society, is explored further in the section on jury decision-making.

결정이 어려울 때
When the decisions get tough

임상에서 시간에 쫓기는 의사 결정[41] 및 고위험 의사 결정[42]과 같이 상황에 따라 의사 결정이 더 어려워지는 경우도 있습니다. 정답을 알고 있더라도 시간 압박은 의사 결정의 불확실성과 부정확성을 증가시킵니다. 교육 기관은 의사 결정자에게 올바른 결정을 내릴 수 있는 충분한 시간을 제공하는 것이 중요합니다.
Some decisions are made more difficult by the context, such as time-pressured decision-making in clinical practice [41] and high-stakes decision-making [42]. Even when correct answers are known, time-pressure increases uncertainty and inaccuracy in decision-making. It is important that educational institutions provide decision-makers with sufficient time to make robust decisions.

또한 개인이 해결할 수 없는 질문도 있습니다[34]. 결정이 중대한 결과를 초래할 수 있고 최적의 치료를 조언하기 위해 여러 전문 정보 또는 관점을 결합해야 할 수 있기 때문에 진단이 간단하지 않을 수 있습니다. 이러한 상황에서는 2차 소견을 요청할 수 있습니다[12]. 사용 가능한 데이터를 고려하는 사람의 수를 늘리는 것이 실용적이거나 안전하지 않은 경우 사용 가능한 데이터를 늘리는 것보다 더 나은 방법이 될 수 있습니다. 다학제 팀, 다학제 회의, 사례 회의는 여러 사람의 도움을 받아 집계된 정보를 바탕으로 의사 결정을 내림으로써 환자 치료를 개선할 수 있습니다. 특정 상황에서는 이러한 집단 의사 결정이 환자의 치료 결과를 개선하기도 합니다[43].
In addition, there are some questions that are impossible for an individual to resolve [34]. The diagnosis may not be straightforward because decisions may have significant consequences, and multiple specialised pieces of information or perspectives may need to be combined in order to advise optimal care. In these circumstances a second opinion may be requested [12]. Increasing the number of people considering the available data can be a better method than increasing the available data where this is not practical or safe. Multi-disciplinary teams, multi-disciplinary meetings, and case conferences can enhance patient care by using multiple people help to make decisions on aggregated information. In certain situations such group decision-making improves outcomes for patients [43].

의료 전문직 학생에게 가장 중요한 진급 결정 중 하나는 졸업입니다. 교육기관은 개인이 의료 전문직에 진출할 준비가 되었으며, 최소한 유능하고 안전한 의료인이 될 것임을 규제 기관과 사회에 권고해야 합니다. 고려해야 할 정보의 잠재적 위험과 복잡성을 고려할 때, 패널은 종종 프로그램 평가에서 의사 결정의 일부가 됩니다[6]. 패널은 서로 다른 관점을 가지고 있으며, 집단이 구성 요소 개인보다 낫다는 오랜 주장이 있습니다[44]. 
One of the highest-stakes progression decisions on healthcare professional students is at graduation. The institution needs to recommend to a regulatory authority, and thereby society, that an individual is ready to enter the healthcare profession, and will be at least a minimally competent and safe practitioner. Given the potential high-stakes and complexity of the information to be considered, a panel is often part of decision-making in programmatic assessment [6]. The panellists bring different perspectives, and the longstanding assertion is that the collective is better than the component individuals [44].

개인과 집단의 의사 결정 비교
Comparing decision-making by individuals and groups

정보를 취합할 때, 개인의 추정치가 다양하고 현실과 거리가 멀더라도 많은 개인의 추정치의 평균은 현실에 가까울 수 있습니다[44, 45]. 이러한 '군중의 지혜' 효과가 모든 상황에서 적용되는 것은 아닙니다. 사람들이 개별적으로 일하지 않고 집단적으로 일할 때는 사회적 상호작용과 집단 내에서 인지된 권력 차이가 개인의 추정치에 영향을 미치기 때문에 이 효과가 덜 분명할 수 있습니다. 결과적으로 도출된 합의는 더 이상 정확하지 않지만, 그룹 구성원은 자신이 더 나은 추정을 하고 있다고 인식할 수 있습니다[45]. 또한, 평균이든 중앙값이든 이 효과를 입증하기 위해 평균을 사용하는 것은 이 효과가 서술형 데이터가 아닌 수치 데이터에서 작동하는 방식, 즉 수학적 효과의 강점을 반영합니다[45]. 집단이 개인보다 더 나은 의사 결정을 내린다는 명백한 안심은 예방 조치를 취하지 않는 한 내러티브 데이터나 집단적 의사 결정에 있어서는 잘못된 판단일 수 있습니다
When aggregating information, the average of many individuals’ estimates can be close to reality, even when those individual estimates may be varied and lie far from it [44, 45]. This ‘wisdom of the crowd’ effect may not be true in all situations. When people work collectively rather than individually, this effect may be less apparent, as social interactions and perceived power differentials within groupings influence individual estimates. The resulting consensus produced is no more accurate, yet group members may perceive that they are making better estimates [45]. Further, the use of average, whether mean or median, to demonstrate this effect reflects the strength of how this effect works for numerical rather than narrative data, it is a mathematical effect [45]. The apparent reassurance that groups make better decisions than individuals may be misplaced when it comes to narrative data or collective decisions, unless precautions are taken.

의사 결정의 오류는 지식, 데이터 수집, 정보 처리 및/또는 검증의 결함으로 인해 발생할 수 있습니다 [46]. 개인의 의사 결정에는 편견과 오류가 존재하며[10, 12, 15, 17, 18, 47], 그 중 일부는 집단 의사 결정에서도 나타납니다[48,49,50]. 개인이 내린 의사 결정의 편견과 오류를 집단이 내린 의사 결정과 비교할 때, 일부는 약화되고 일부는 증폭되며 일부는 재생산되며 분류별로 일관된 패턴이 없습니다 [48]. 이러한 편견과 오류는 개인 및 그룹 진급 의사 결정과 관련하여 표 1에 나와 있습니다. 
Errors in decision-making can arise due to faults in knowledge, data gathering, information processing, and/or verification [46]. There are biases and errors in individual’s decision-making [10, 12, 15, 17, 18, 47], some of which are also evident in group decision-making [48,49,50]. In comparing biases and errors in decisions made by individuals with those made by groups, some are attenuated, some amplified, and some reproduced, with no consistent pattern by categorisation [48]. These biases and errors, as they relate to individual and group progression decision-making, are shown in Table 1.

개인과 마찬가지로 그룹도 의사결정을 내릴 때 여러 과정을 거칩니다. 개인이 그룹으로 모이는 과정은 정보 회상 및 처리에 영향을 미칠 수 있습니다[48]. 개인이 의사 결정을 내리는 것에 대한 문헌이 훨씬 더 많지만, 의사 결정을 내리는 그룹도 편견에 빠지기 쉬우며[63] 이는 여러 출처에서 발생할 수 있습니다[43]. 진행 의사결정의 맥락에서, 그룹의 초기 선호도는 이용 가능하거나 이후에 공개된 정보에도 불구하고 지속될 수 있으며[64], 이는 진단 의사결정의 조기 종결 편향과 유사합니다[15]. 그룹 구성원은 지배적인 성격의 과도한 비중과 같은 의사 결정 그룹 내 대인 관계를 인식할 수 있으며, 이러한 인식은 개인의 기여와 정보 토론에 영향을 미칠 수 있습니다[48]. 설득과 영향력은 후보자 평가에 대한 토론 중에 발생합니다. 처음에 후보자의 점수를 높게 매긴 이상값은 점수를 낮출 가능성이 높고, 처음에 후보자의 점수를 낮게 매긴 이상값은 점수를 높일 가능성이 낮기 때문에 합의된 토론은 후보자의 점수를 낮추어 합격률을 낮출 가능성이 높습니다[65].
Groups, like individuals, undertake several processes in coming to a decision. The process of individuals gathering into a group can influence information recall and handling [48]. Although there is a significantly greater literature on individuals making decisions, groups making decisions can also be prone to biases [63] and this can arise from many sources [43]. In the context of progression decision-making, a group’s initial preferences can persist despite available or subsequently disclosed information [64], a bias similar to premature closure in diagnostic decision-making [15]. Group members may be aware of interpersonal relationships within the decision group, such as the undue weight of a dominant personality, and these perceptions can influence an individual’s contribution and discussion of information [48]. Persuasion and influence occur during discussion of a candidate assessment. Outliers who initially score candidates higher are more likely to reduce their score, while outliers who initially score the candidates lower are less likely to increase their score, with the result that consensus discussion is likely to lower candidate scores and therefore reduce the pass rate [65].

집단에 의한 고위험 의사 결정의 예로서 배심원단
A jury as an example of high-stakes decision-making by a group

배심원 의사결정은 그룹이 고위험 의사결정을 내리는 예로서[48], 광범위하게 연구되어 왔으므로 진급 의사결정에 대한 통찰력을 제공할 수 있습니다. 배심원 및/또는 배심원의 의사 결정, 편견, 오류에 관한 중요한 문헌[49, 50, 66,67,68,69,70,71, 72,73,74,75,76]이 있으며, 여기에는 요약 리뷰[77]도 포함되어 있습니다. 모든 증거를 고려하는 배심원 그룹의 주된 목적(유죄 또는 무죄라는 이분법적인 평결에 도달하는 것을 목표로 함)과 모든 평가 데이터를 고려하는 의사 결정자 그룹의 주된 목적(합격 또는 불합격이라는 고위험 평결에 도달하는 것을 목표로 함) 사이에는 유사성이 있습니다. 배심원 의사 결정은 진도 의사 결정과 비슷하지만, 앞서 설명한 다른 그룹 의사 결정과 달리 정답이 알려진 문제를 다루지 않습니다[48, 66]. 
Jury decision-making is an example of a group making a high-stakes decision [48], that has been extensively researched and therefore could offer insights into progression decision-making. There is significant literature on decision-making, biases, and errors by jurors and/or juries [49, 50, 66,67,68,69,70,71,72,73,74,75,76], including a summarising review [77]. There are similarities between the main purpose of the group of jurors considering all the evidence (with the aim of reaching a high-stakes verdict which is often a dichotomous guilty or not guilty verdict) and the main purpose of a group of decision-makers to consider all the assessment data (with the aim of reaching a high-stakes verdict of pass or fail). Jury decision-making, like progression decision-making, but unlike other group decision-making described, does not address a problem with a known correct answer [48, 66].

배심원과 배심원이 내린 결정에 대한 상대적 기여도는 과제에 따라 다릅니다 [50]. 임상 의사결정의 경우 의사결정의 정확성과 효율성을 향상시킬 수 있는 휴리스틱이 있지만, 이러한 휴리스틱이 정확도가 떨어지거나 효율성이 떨어지는 결과를 낳으면 편견으로 간주됩니다. 시뮬레이션 배심원 및/또는 일부 실제 배심원의 경우 편견과 편향에 대한 취약성이 보고되었으며, 그 요인으로는 [49, 50, 66,67,68,69,70,71,72,73,74,75,76,77] 등이 있습니다: 
The relative contribution to the decision brought about by jurors and juries varies with the task [50]. As for clinical decision-making, there are heuristics which can improve the accuracy and efficiency of decisions, but when these produce less accurate or less efficient results, they are seen as biases. Susceptibility to variation and bias has been reported for simulated jurors and/or for some real juries, with factors that include [49, 50, 66,67,68,69,70,71,72,73,74,75,76,77]:

  • 피고 및/또는 피해자/원고 요인. 여기에는 성별, 인종, 외모, 경제적 배경, 성격, 부상, 재판 전 홍보, 피고인의 전과 기록 공개, 자기 모욕죄로부터의 자유, 개인 또는 법인 여부, 법정 행동과 같은 개인적 요인이 포함됩니다;
    Defendant and/or victim/plaintiff factors. This includes personal factors such as gender, race, physical appearance, economic background, personality, injuries, pre-trial publicity, disclosure of defendants prior record, freedom from self-incrimination, being individual or corporation, courtroom behaviour;
  • 배심원 요인. 여기에는 권위주의, 유죄 또는 무죄 판결에 찬성하는 성향, 나이, 성별, 인종, 사회적 배경, 증거의 기억력, 증거에 대한 이해도, 지시된 정보를 무시하는 정도, 배심원 경험 등이 포함됩니다;
    Juror factors. This includes authoritarianism, proneness to be pro-conviction or pro-acquittal, age, gender, race, social background, recall of evidence, understanding of evidence, ignoring information as instructed, prior juror experience;
  • 대표성 요인. 여기에는 성별, 서면/언어적 표현, 명확성, 스타일 및 프레젠테이션의 효율성과 같은 법적 대표성 요인이 포함됩니다;
    Representative factors. This includes legal representation factors such as gender, written/verbal representation, clarity, style and efficiency of presentation;
  • 증거 요인. 여기에는 증거의 이미지(더 시각적이거나 시각적으로 상상할 수 있는 것), 제시 순서, 증거의 성격이 포함됩니다;
    Evidence factors. This includes imagery of evidence (the more visual or more visually imaginable), order of presentation, nature of evidence;
  • 범죄 요인. 여기에는 범죄의 심각성 또는 유형이 포함됩니다;
    Crime factors. This includes the severity or type of crime;
  • 판사 요인. 여기에는 주어진 지침 또는 안내의 내용이 포함됩니다;
    Judge factors. This includes the content of the instructions or guidance given;
  • 배심원단 구성 요소. 여기에는 사회적 배경 혼합, 인종 혼합과 같은 여러 측면이 포함됩니다.
    Jury membership factors. This includes the mix of aspects such as social background mix, racial mix.

이러한 요인 중 일부는 진행 상황 결정과 관련하여 유사점이 있습니다. 스토리 구축의 용이성은 결정과 그 결정의 확실성 모두에 영향을 미치며[71], 이는 가용성 편향과 유사합니다. 첫인상으로 인한 배심원 편향[67, 75, 77]은 앵커링과 유사합니다. 사람들은 비슷한 사람들과 동일시할 수 있으며, "우리와 같은 사람들" 효과가 존재할 수 있습니다[78]. 진급 의사 결정의 경우 이러한 영향 중 일부는 가능한 한 학생을 익명화하여 완화할 수 있습니다. 
There are similarities in some of these factors in relation to progression decision-making. The ease of building a story influences both the decisions and the certainty in those decisions [71], akin to the availability bias. The juror bias due to initial impression [67, 75, 77] is akin to anchoring. People may identify with similar people; a “people like us” effect may be present [78]. For progression decision-making some of these effects can be mitigated by anonymisation of students, as far as possible.

배심원과 진도 결정을 내리는 패널의 한 가지 차이점은 배심원은 동료 배심원에게 정보를 제공하지 않는다는 점입니다. 이와는 대조적으로 진급 결정 패널의 구성원은 학생을 관찰하고 정보를 제공할 수 있습니다. 의사 결정권자의 관찰 부족은 편견의 잠재적 원인을 제거하기 때문에 의사 결정에 도움이 될 수 있습니다. 하나의 일화가 강력한 증거와 부적절하게 모순될 수 있기 때문입니다[57]. 또한, 잘못된 증거 회상으로 인한 편견은 심의를 위해 패널에 제출된 증거보다 덜 문제가 됩니다. 
One difference between a jury and a panel making a progression decision, is that a juror does not provide information to their co-jurors. In contrast, a member of a progression decision panel might also have observed the student and can provide information. Lack of observation by the decision-makers can be a benefit in decision-making, as it removes a potential source of bias: a single anecdote can inappropriately contradict a robust body of evidence [57]. Additionally, bias produced by incorrect evidential recall is less of an issue than evidence presented to the panel for deliberation.

프로그램 평가 패널은 일반인 및 동료 배심원단보다는 대법원 판사 패널에 더 가까울 수 있지만, 비공개 회의로 진행되는 대법원 판사 패널의 의사 결정 및 심의에 대한 연구는 거의 없습니다. 
The programmatic assessment panel may be closer to a Supreme Court panel of judges rather than a jury of lay-people and peers, but there is little research on the decision-making and deliberations of panels of Supreme Court judges, which are conducted in closed-door meetings.

배심원단의 의사 결정 스타일
Jury decision-making style

배심원단의 심의 스타일은 정보 수집을 통한 증거 중심 또는 평결 투표로 시작하는 평결 중심[68]으로 나타났습니다. 증거 중심 심의는 시간이 오래 걸리고 더 많은 합의를 이끌어내는 반면, 평결 중심 심의는 적대적인 방식으로 반대 의견을 이끌어내는 경향이 있습니다. 증거 중심 심의에서 의견이 크게 바뀌는 경우, 이는 판사의 지시에 대한 토론과 관련이 있을 가능성이 높습니다[68]. 결정 규칙이 합의 없이 다수결로 평결을 내릴 수 있도록 허용하는 경우, 작지만 실질적인 효과를 볼 수 있습니다. 배심원단이 필요한 정족수에 도달하면 심의를 중단하는 것입니다 [77]. 평결 투표는 사람들이 투표 순서에 따라 투표를 변경하는 투표 순서와 같은 추가적인 편견의 영향을 받을 수 있습니다[77]. 그룹 토론은 극단적인(보다 정직한) 입장을 도출할 수 있다는 점에서 잠재적인 문제가 없는 것은 아닙니다. 전체 배심원 평결의 90%는 1차 투표 과반수[66]의 방향으로 이루어지지만, 적지 않은 수의 배심원들이 숙의에 의해 흔들립니다. 개인이 개별적인 결정과 근거를 진술하면 그룹 내에서 책임이 분산되어 더 위험한 의견이 진술되고 따라서 더 위험한 결정이 내려질 수 있습니다[66]. 
Jury deliberation styles have been shown to be either evidence-driven, with pooling of information, or verdict-driven, which start with a verdict vote [68]. Evidence-driven deliberations take longer and lead to more consensus; verdict-driven deliberations tend to bring out opposing views in an adversarial way. When evidence-driven deliberations lead to a significant change of opinion, it is more likely to be related to a discussion of judge’s instructions [68]. If the decision rules allow a majority vote verdict without consensus, a small but real effect is seen [77]: juries will stop deliberating once the required quorum is reached. Verdict voting can be subject to additional biases such as voting order where people alter their vote depending on the votes given to that point [77]. Group discussions are not without potential problems, in that they can generate extreme (more honest) positions. Ninety percent of all jury verdicts are in the direction of the first ballot majority [66], but a small and not insignificant number are swayed by deliberation. Once individuals state their individual decisions and rationales, diffusion of responsibility within a group may lead to riskier opinions being stated, and therefore riskier decisions being made [66].

이를 진급 의사 결정의 맥락으로 확장하면, 최적의 접근 방식정책과 프로세스의 규칙과 실행에 주의를 기울이면서, 증거에 기반하는 합의 결정입니다.
Extrapolating this to the context of progression decision-making, an optimal approach is consensus decisions that are based on evidence, whilst attending to the rules and implementation of policy and process.

배심원 리더십
Jury leadership

배심원 의사결정 프로세스에 대해 우리가 알고 있는 바에 따르면, 평가 진행 패널 위원장에 해당하는 배심원 단장은 의사결정에서 좋은 프로세스를 유지하면서 열린 담론을 보존할 수 있는 기술이 필요합니다. 배심원단장은 영향력이 있을 수 있으며[77], 개별 배심원들은 극단적인 견해를 가질 수 있지만, 배심원단 선정 과정이 일반적으로 극단적인 견해를 가진 사람들의 선정 가능성을 낮춰준다[66]. 
Based on what we know about jury decision-making processes, the jury foreperson, the equivalent of the assessment progress panel chair, needs the skills to preserve open discourse, whilst maintaining good process in decision-making. The jury foreperson can be influential [77], and individual jurors can hold extreme views, though the process of jury selection usually mitigates against the selection of people with extreme views [66].

진행 의사결정자를 선정할 때는 임상 진료와 관련된 기술 및 지식보다는, 정보를 종합하여 중대한 결정을 내리는 데 필요한 기술을 고려해야 합니다.
In choosing progress decision-makers, consideration should be given to the skills that are required to make high-stakes decisions based on aggregating information, rather than skills and knowledge relating to clinical practice.

배심원단의 관용과 실패하지 않기
Jury leniency and failure to fail

피고인에 대한 관용과 failure to fail 현상 사이에 유사점이 있습니까[55]? 배심원단은 무죄를 추정하도록 지시받습니다[67]: 평결에 오류가 있을 경우 관용을 베푸는 것이 바람직합니다[79]. 법적 의사 결정에는 결정을 지지할 확률과 해당 결정을 지지하는 데 필요한 임계값이라는 두 가지 요소가 있습니다[66]. 결정을 지지하면서도 어느 정도의 의심은 남아있을 수 있습니다. 배심원 및 배심원 결과에 요구되는 증명 기준(합리적 의심)의 영향은 상당합니다[69, 77]. 의심스러운 경우 배심원은 무죄를 선호합니다[48, 63]. 배심원단의 심의는 관용을 베푸는 경향이 있으며[72, 75], 대부분의 관용은 증명 기준의 요건에 의해 설명됩니다[72]. 
Is there a parallel between leniency towards the defendant and the failure to fail phenomenon [55]? Juries are instructed to presume innocence [67]: if one is to err in a verdict, leniency is preferred [79]. Legal decision-making has two components: the probability of supporting a decision, and threshold required to support that decision [66]. It is possible to support a decision but still retain a degree of doubt. The effect of standard of proof (reasonable doubt) required on juror and jury outcomes is significant [69, 77]. If in doubt, a jury will favour acquittal [48, 63]. Jury deliberations tend towards leniency [72, 75], with most leniency is accounted for by the requirement of standard of proof [72].

진급 의사 결정에서도 비슷한 효과가 관찰되었는데, 의심스러운 경우 일반적으로 학생을 합격시키는 결정을 내립니다[55]. 유죄가 입증되지 않는 한 무죄를 추정할 책임은 배심원단에게 있지만, 학생의 유능함을 입증할 책임은 진행 패널에게 있습니까? 이 책임은 무능력이 입증되지 않는 한 능력이 있다고 추정하는 것으로 잘못 해석되는 경우가 너무 많습니다. 이는 능력이 아직 입증되지 않았음을 시사하는 여러 가지 작은 증거를 무시하는 것으로 나타날 수 있습니다[36]. 
A similar effect has been observed in progression decision-making where, if in doubt, the decision is usually to pass the student [55]. The onus is on the jury to presume innocence unless finding guilt proven, but is the onus on the progress panel to find student competent proven? Too often this onus is erroneously misinterpreted as presuming competence unless finding incompetence proven. This can manifest as a discounting of multiple small pieces of evidence suggesting that competence has not yet been demonstrated [36].

학생 진급과 관련된 의사 결정의 견고성을 높이기 위해 주의해야 할 제안 사항
Suggestions to attend to in order to promote robustness of decisions made relating to student progression

이제 진급 결정권자가 사용할 수 있는 몇 가지 모범 사례 팁과 원칙을 제안합니다. 이는 앞서 설명한 임상 의사 결정 및 배심원단 의사 결정의 증거와 추가 관련 문헌에 근거한 것입니다. 
We now propose some good practice tips and principles that could be used by progression decision-makers. These are based on the previously outlined evidence from clinical decision-making and jury decision-making, and from additional relevant literature.

교육 기관, 의사 결정 패널, 패널리스트는 진행 상황 결정에 편견과 오류가 있을 수 있음을 인지해야 합니다.
Educational institutions, decision-making panels, and panellists should be aware of the potential for bias and error in progression decisions

편견의 가능성을 의식적으로 인식하는 것이 편견을 완화하기 위한 첫 번째 단계입니다[19,20,21]. 이러한 편향은 의사 결정을 내리는 개인과 의사 결정을 내리는 집단 모두에서 발생할 수 있습니다. 임상 의사 결정에서 추론해 보면, 의사 결정자의 오류 가능성에 대한 인식을 높이는 것이 과제입니다[12]. 임상의가 임상 의사 결정에서 불확실성을 인식하고 공개하지 않는 것은 심각한 문제입니다 [47, 80]. 그러나 학생 성과에 대한 불확실성이 있더라도 의사 결정 패널은 여전히 결정을 내려야 합니다
Being consciously aware of the possibility of bias is the first step to mitigate against it [19,20,21]. Such biases can occur both for individuals making decisions and for groups making decisions. Extrapolating from clinical decision-making, the challenge is raising awareness of the possibility of error by decision-makers [12]. Clinicians failing to recognise and disclose uncertainty in clinical decision-making is a significant problem [47, 80]. However, even when there is uncertainty over student performance, decision panels still need to make a decision.

의사 결정은 적절하게 선정된 의사 결정 패널에 의해 이루어져야 합니다.
Decisions should be made by appropriately selected decision-making panels

임상 의사 결정에서 추론해 볼 때, 개인의 의사 결정을 개선하기 위한 전략에는 전문 지식과 메타인지 연습을 증진하는 것이 포함됩니다. 전문성 부족은 오류의 원인이 될 수 있으므로[34], 평가 내용보다는 학생 결과 의사결정에 대한 적절한 전문성을 갖춘 패널을 선정해야 하며, 의사결정의 질에 대한 반영에는 의사결정에 대한 피드백 및 의사결정 훈련 방식의 질 보증이 포함되어야 합니다. 따라서 패널은 지위/연공서열, 평가 내용에 대한 친숙도 또는 학생과의 친밀도보다는 편견을 인식하는 메타인지 능력을 기준으로 선정해야 합니다.
Extrapolating from clinical decision-making, strategies to improve individual decision-making include promotion of expertise and metacognitive practice. A lack of expertise can contribute to errors [34], hence panel members should be selected with appropriate expertise in student outcome decision-making, rather than assessment content, and reflections on decision quality should include quality assurance in the way of feedback on decisions and training for decision-making. As such, the panel should be chosen on the basis of its ability to show metacognition in recognising bias, rather than status/seniority, familiarity with assessment content, or familiarity with the students.

숙련된 의사결정자들로 구성된 패널도 편견의 가능성이 없는 것은 아니지만[81], 정책, 절차 및 실무 수준에서 구현할 수 있는 가능한 해결책이 있습니다. 학생과 교직원 간의 직업적, 사회적 상호 작용의 가능성을 고려할 때 잠재적 이해 상충에 대한 정책, 절차 및 실무 문서가 있어야 합니다. 의사 결정자가 한 명 이상의 학생과 이해관계가 충돌하는 경우 의사 결정에서 물러나야 합니다. 잠재적 이해 상충은 개별 의사 결정자 및 개별 학생과 관련될 가능성이 훨씬 높으므로 적절한 정책에 따라 사례별로 처리해야 합니다. 갈등의 예로는 가족 구성원과의 보다 명백한 관계뿐만 아니라 멘토/멘티, 학생과 복지 역할을 하는 사람과의 관계도 포함될 수 있습니다.  
Even a panel of experienced decision-makers is not without the potential for bias [81], but there are possible solutions that can be implemented at the policy, procedure and practice levels. Given the potential for professional and social interactions between students and staff, there should be policy, procedure, and practice documentation for potential conflicts of interest. If a decision-maker is conflicted for one or more students, then they should withdraw from decision-making. Potential conflicts of interest are far more likely to relate to individual decision-makers and individual students, and should be dealt with on a case-by-case basis guided by an appropriate policy. Examples of conflict might include more obvious relationships with family members, but also with mentors/mentees and those with a welfare role with students.

교육 기관은 평가 이벤트 및 관련 의사 결정과 관련된 정책, 절차 및 실무 문서를 공개적으로 이용할 수 있어야 합니다.
Educational institutions should have publicly available policies, procedures, and practice documentation related to assessment events and the associated decision-making

배심원단의 성과를 개선하는 것은 절차적 문제를 개선함으로써 달성할 수 있습니다[77]. 여기에는 다음 등이 포함되고 다른 것도 있을 수 있습니다.

  • 증거 사실에 대한 철저한 검토,
  • 판사의 지시에 대한 배심원단의 정확한 이해,
  • 모든 배심원의 적극적인 참여,
  • 규범적 압력이 아닌 토론을 통한 이견 해소,
  • 다양한 평결 옵션의 요건에 대한 사건 사실의 체계적 일치 

마찬가지로 진행 패널 결정의 관점에서 보면, 이는 다음에 해당합니다.

  • 제공된 정보의 철저한 검토,
  • 정책에 대한 정확한 이해,
  • 모든 패널 구성원의 적극적인 참여,
  • 토론과 합의를 통한 이견 해소,
  • 평가 목적 및 결과에 대한 요건에 대한 정보의 체계적 매칭

이러한 요소들이 이미 많은 의사결정 과정에 내재되어 있다고 주장하는 사람들도 있지만, 이러한 요소들을 보다 명시적으로 만들면 의사결정의 질이 향상될 수 있습니다. 
Improving jury performance can be achieved through improving procedural issues [77]. These include, but are not necessarily limited to, the following:

  • a thorough review of the facts in evidence,
  • accurate jury-level comprehension of the judge’s instructions,
  • active participation by all jurors,
  • resolution of differences through discussion as opposed to normative pressure, and
  • systematic matching of case facts to the requirements for the various verdict options.

Likewise, from the perspective of a progression panel decision, these would equate to:

  • a thorough review of the information provided,
  • accurate comprehension of the policy,
  • active participation by all panel members,
  • resolution of differences through discussion and consensus, and
  • systematic matching of information to the requirements for the assessment purpose and outcomes.

While some might argue that these components are already implicit in many decision-making processes, the quality of decision-making may be improved if such components are made more explicit.

패널과 토론자에게 필요한 의사결정을 위한 충분한 정보를 제공해야 합니다.
Panels and panellists should be provided with sufficient information for the decision required

그룹 토론은 정보 기억력을 향상시킬 수 있으며[48], jurors과 달리 juries의 이점 중 일부는 개인에 비해 그룹이 기억력을 향상시키는 것과 관련이 있습니다[66, 67, 74]. 다수의 배심원은 개별 배심원보다 덜 완전하지만 더 정확한 보고서를 작성합니다[66].
Group discussions can improve recall of information [48], and some of the benefit of juries, as opposed to jurors, relates to improved recall by a group compared to individuals [66, 67, 74]. Multiple jurors produce less complete but more accurate reports than individual jurors [66].

진급 의사 결정에서 패널리스트가 결정을 내릴 때 정보 또는 정책의 세부 사항에 대한 회상에 의존해야 할 가능성은 낮지만, 패널은 개별 학생에 대한 결정에 도달하기 위해 충분한 정보(질과 양)를 가지고 있는지 결정해야 할 것입니다. 정보가 불충분하지만 더 많은 정보가 입수될 수 있는 경우, 이를 구체적으로 구하고[36] 결정을 연기해야 합니다. 추가 정보가 제공되지 않을 경우, 입증 책임이 어디에 있는지에 대한 질문으로 전환해야 합니다. 
In progression decision-making, it is unlikely that panellists will have to rely on recall for specifics of information or policy when making decisions, but the panel will need to decide if they have sufficient information (quality and quantity) in order to reach a decision for an individual student. Where there is insufficient information, but more may become available, this should be specifically sought [36], and a decision deferred. Where further information will not become available, the question should then turn to where the onus of the burden of proof lies.

패널과 토론자는 정보 종합을 최적화하고 편견을 줄이기 위해 노력해야 합니다.
Panels and panellists should work to optimise their information synthesis and reduce bias

표 1에 요약된 바와 같이 그룹 내 심의 및 토론 행위는 개인의 많은 편견과 오류를 줄여줍니다[48]. 증거 외 편향과 같은 일부 편향은 그룹 의사 결정에서 증폭될 수 있으며, 일화 제공이 그룹의 결정에 부당하게 영향을 미칠 수 있는 경우를 예로 들 수 있습니다[57]. 
The act of deliberation and discussion within groups attenuates many of the biases and errors of individuals [48], as outlined in Table 1. Some biases, such as extra-evidentiary bias, can be amplified in group decision-making, an example being where provision of an anecdote could unduly influence a group’s decision [57].

의사 결정은 의사 결정 지원 및 의사 결정 검토와 함께 모든 정보와 맥락을 고려해야 합니다. 외부 검토는 단순히 의사 결정에 대한 검토를 넘어 기본 패널 프로세스, 절차 및 관행에 대한 외부 검토로 확장될 수 있습니다. 모든 패널 토론에 외부 검토가 필요한 것은 아니지만, 정기적인 외부 참관과 관련된 정책 검토는 적절할 수 있습니다. 
Progression decision-making requires consideration of all information and the context, with decision support and decision review. External review might extend beyond just reviewing the decisions, to an external review of the underlying panel process, procedures, and practices. Not every panel discussion needs external review, but policy review associated with regular external observation would be appropriate.

패널은 합의를 통해 결정에 도달해야 합니다.
Panellists should reach decisions by consensus

투표가 아닌 합의에 의한 의사결정은 적대적인 의사결정을 피할 수 있습니다. 법정에서는 공정성을 확보하기 위해 사실관계가 적대적인 방식으로 밝혀지고 제시되며, 반대 측 법률 대리인이 정보를 문제 삼습니다[67]. 그 결과 증거의 신뢰성이 떨어지고 논쟁의 여지가 있는 것처럼 보입니다. 마찬가지로, 적대적인 방식으로 제시된 정보에 직면한 경우, 진급 의사결정 패널은 해당 정보의 신뢰성이 떨어지고 따라서 확고한 결정을 내리기에는 불충분하다고 생각할 수 있습니다. 
Consensus decision-making rather than voting avoids adversarial decision-making. In an attempt to produce fairness within a courtroom, facts are uncovered and presented in an adversarial manner, with information being questioned by opposing legal representation [67]. This results in the appearance of evidential unreliability and contentiousness. Similarly, when faced with information presented in an adversarial way, progression decision-making panels might view the information as being less reliable, and therefore insufficient to make a robust decision.

입증 책임은 입증된 역량 입증자에게 있어야 합니다.
The burden of proof should lie with a proven demonstration of competence

합격/불합격이 중요한 의사 결정의 경우, 입증 기준은 학생의 역량이 진도에 만족할 만한 수준이라는 것을 증명하는 것이어야 합니다. 그렇지 않다는 것이 증명되기 전까지는 학생이 유능하다고 가정하는 경우가 많습니다. "유죄가 입증될 때까지 무죄"와는 대조적으로, 우리는 보건의료 교육 기관이 사회를 보호해야 할 의무를 반영하여 유능한 것으로 입증될 때까지 학생을 무능력한 것으로 간주해야 한다고 제안합니다[40]. 
For high-stakes pass/fail decision-making, the standard of proof should be proof that the student’s competence is at a satisfactory standard to progress. The assumption is often that the student is competent, until proved otherwise. In contrast to “innocent until proven guilty”, we suggest students should be regarded as incompetent until proven competent, reflecting the duty for healthcare educational institutions to protect society [40].

검사 결과의 예측값은 민감도와 특이도는 변하지 않더라도 검사 전 확률 또는 유병률의 영향을 받습니다. 시험 전 합격 확률 또는 유병률은 코호트가 과정을 진행하면서 능력이 떨어지는 학생이 제거됨에 따라 증가해야 합니다. 따라서 잘못된 합격/불합격 결정은 잘못된 합격(진정한 불합격)보다 잘못된 불합격(진정한 합격)일 가능성이 상대적으로 더 높으며, 평가가 모호한 경우에는 학생이 괜찮을satisfactory 가능성이 안괜찮을 가능성보다 더 높습니다. 그러나 학생이 코스를 진행하면서 추가 평가의 기회가 줄어듭니다. 졸업이 가까워질수록 잘못된 합격/불합격 결정의 위험과 영향이 커집니다. 시험 전 확률이나 유병률을 고려하면 학생의 pass할 가능성이 높아질테지만, 사회의 요구와 기대를 충족해야 하는 교육기관의 의무가 이를 우선시해야 합니다. 
The predictive value of a test result is affected by the pre-test probability or prevalence, even though sensitivity and specificity may not change. This pre-test probability or prevalence of passing should increase as a cohort progresses through the course, as less able students are removed. Therefore, incorrect pass/fail decisions are relatively more likely to be false fails (true passes) than false passes (true fails), and when an assessment is equivocal, it is more likely that the student is satisfactory than not. However, as a student progresses through the course and the opportunities for further assessment are reduced. As graduation nears, the stakes and impact of an incorrect pass/fail decision increases. Although pre-test probability or prevalence considerations would favour passing the student, the duty of the institution to meet the needs and expectations of society should override this.

결론
Conclusion

우리는 진급 의사 결정에 메타인지를 요구합니다. 우리는 학생에 대한 정확한 그림을 구성하기 위해 여러 정보를 결합하는 것의 강점을 염두에 두어야 하지만, 결정을 내릴 때 편견의 근원에 대해서도 염두에 두어야 합니다. 많은 교육기관이 이미 모범 사례를 보여주고 있다는 점을 인정하지만, 편견에 대한 인식과 이 백서에 요약된 제안 프로세스는 숨겨진 편견과 의사 결정 오류를 최소화하기 위한 품질 보증 체크리스트의 일부로 활용될 수 있습니다. 임상 의사결정 경험과 배심원단의 의사결정에 대한 이해가 도움이 될 수 있습니다.
We provide a call for metacognition in progression decision–making. We should be mindful of the strengths of combining several pieces of information to construct an accurate picture of a student, but should also be mindful of the sources of bias in making decisions. While we acknowledge that many institutions may already be demonstrating good practice, awareness of biases and the suggested process outlined in this paper can serve as part of a quality assurance checklist to ensure hidden biases and decision-making errors are minimised. Drawing on one’s experience of clinical decision-making and an understanding of jury decision-making can assist in this.


 

BMC Med Educ. 2019 May 30;19(1):176. doi: 10.1186/s12909-019-1583-1.

Student progress decision-making in programmatic assessment: can we extrapolate from clinical decision-making and jury decision-making?

Affiliations 

1Department of Medicine, University of Otago Wellington, Wellington, New Zealand. mike.tweed@otago.ac.nz.

2University of Otago Christchurch, Christchurch, New Zealand.

PMID: 31146714

PMCID: PMC6543577

DOI: 10.1186/s12909-019-1583-1

Free PMC article

Abstract

Background: Despite much effort in the development of robustness of information provided by individual assessment events, there is less literature on the aggregation of this information to make progression decisions on individual students. With the development of programmatic assessment, aggregation of information from multiple sources is required, and needs to be completed in a robust manner. The issues raised by this progression decision-making have parallels with similar issues in clinical decision-making and jury decision-making.

Main body: Clinical decision-making is used to draw parallels with progression decision-making, in particular the need to aggregate information and the considerations to be made when additional information is needed to make robust decisions. In clinical decision-making, diagnoses can be based on screening tests and diagnostic tests, and the balance of sensitivity and specificity can be applied to progression decision-making. There are risks and consequences associated with clinical decisions, and likewise with progression decisions. Both clinical decision-making and progression decision-making can be tough. Tough and complex clinical decisions can be improved by making decisions as a group. The biases associated with decision-making can be amplified or attenuated by group processes, and have similar biases to those seen in clinical and progression decision-making. Jury decision-making is an example of a group making high-stakes decisions when the correct answer is not known, much like progression decision panels. The leadership of both jury and progression panels is important for robust decision-making. Finally, the parallel between a jury's leniency towards the defendant and the failure to fail phenomenon is considered.

Conclusion: It is suggested that decisions should be made by appropriately selected decision-making panels; educational institutions should have policies, procedures, and practice documentation related to progression decision-making; panels and panellists should be provided with sufficient information; panels and panellists should work to optimise their information synthesis and reduce bias; panellists should reach decisions by consensus; and that the standard of proof should be that student competence needs to be demonstrated.

Keywords: Decision-making; Policy; Programmatic assessment.

 

강의평가는 가르침의 질 저하와 성적 인플레이션을 조장한다: 이론적 및 실증적 분석(BASIC AND APPLIED SOCIAL PSYCHOLOGY, 2020)
Student Evaluations of Teaching Encourages Poor Teaching and Contributes to Grade Inflation: A Theoretical and Empirical Analysis 
Wolfgang Stroebe

학생 교수 평가(SET)는 1920년대에 퍼듀 대학교의 교육 심리학자 Herman H. Remmers(예: Remmers & Brandenburg, 1927)와 워싱턴 대학교의 학습 심리학자 Edwin R. Guthrie(예: Guthrie, 1953)에 의해 독자적으로 개발되었습니다. Remmers와 Guthrie는 대학 교사에게 자신의 강의가 학생들에게 어떻게 인식되고 있는지에 대한 정보를 제공하여 필요한 경우 개선하는 데 도움을 주고자 했습니다. 그들은 이러한 강의 평가에 대한 접근 권한을 강의 교사에게만 제한하려고 했습니다. 1953년 거스리는 "이 정보를 궁극적인 능력의 척도로 받아들이는 것은 심각한 오용이 될 것"(221쪽)이라고 경고했지만, SET는 곧 대학 관리자들에게 중요한 정보원이 되었고, 이들은 이를 능력 향상 및 승진에 대한 결정의 근거로 사용했습니다. 
Student Evaluations of Teaching (SETs) were independently developed in the 1920s by the educational psychologist Herman H. Remmers at Purdue University (e.g., Remmers & Brandenburg, 1927) and the learning psychologist Edwin R. Guthrie (e.g., Guthrie, 1953) at the University of Washington. Remmers and Guthrie wanted to provide university teachers with information about how their teaching was perceived by students and thus help them to make improvements, where necessary. They intended to limit access to these course evaluations to course teachers. Even though Guthrie warned in 1953 that “it would be a serious misuse of this information to accept it as ultimate measure of merit” (p. 221), SETs soon became valued sources of information for university administrators, who used them as a basis for decisions about merit increases and promotion.

일반적인 SET

  • 학생들에게 코스 교사에 대한 인식을 묻는 양식으로 구성되며,
  • 보통 매우 동의함부터 매우 동의하지 않음까지 5점 리커트 척도로 평가하도록 되어 있습니다
  • . 학생은 교수자와 코스에 대한 전반적인 평점을 매기도록 요청받습니다.
  • 또한 강사의 특정 특성(예: 지식, 공정성, 도움됨)과 코스의 특정 특성(예: 조직, 난이도, 유익함)을 평가하도록 요청받습니다.
  • 그런 다음 모든 학생과 각 평가 항목 및 모든 평가 항목에 대해 평균 평점이 계산됩니다.
  • 이러한 평균 평가는 종종 학과 또는 학부의 다른 교수들이 받은 평가와 비교하여 교수의 교육 효과를 평가하는 데 사용됩니다(Uttl 외., 2017).

The typical SET

  • consists of forms that ask students to rate their perception of course teachers,
  • often on 5-point Likert scales, ranging from strongly agree to strongly disagree.
  • Students are asked to give overall ratings of both their instructor and their course.
  • In addition, they are asked to rate specific characteristics of the instructor (e.g., knowledge, fairness, helpfulness) and of the course (e.g., organization, difficulty, informative).
  • Mean ratings are then computed across all students and for each rated item, as well as across all rated items.
  • These mean ratings are often used to evaluate a professor’s teaching effectiveness by comparing them with ratings received by other professors in the department or in the faculty (Uttl et al., 2017).

1973년에는 29%의 대학만이 SET를 수집했지만, 1983년에는 68%, 1993년에는 86%로 증가했습니다(Seldin, 1998). 2010년에 실시된 설문조사에 따르면 94%의 대학에서 SET를 수집하고 있으며, 거의 모든 학장이 강의실 수업이 교수진 성과 평가의 주요 부분이라고 답했으며, 일반적으로 강의실 수업의 질에 대한 주요 정보 출처는 SET라고 답했습니다(Miller & Seldin, 2014). 
Whereas in 1973 only 29% of colleges collected SETs, this practice increased to 68% in 1983 and to 86% in 1993 (Seldin, 1998). A survey conducted in 2010 indicated that SETs were collected in 94% of colleges, that nearly all deans declared that classroom teaching was a major part of the performance evaluation of their faculty, and that SETs were usually their main source of information about the quality of classroom teaching (Miller & Seldin, 2014).

승진 및 임기 결정의 근거로 SET를 사용하는 것은 SET가 교수 효과와 학생 학습의 유효한 척도인 경우에만 정당화됩니다. 그러나 그렇지 않은 경우도 있습니다(예: Boring et al., 2016; Uttl et al., 2017). 이는 코스에 대한 학생의 만족도를 반영하는 것일 가능성이 높으며, 이는 교육 효과와 무관한 여러 요인에 의해 영향을 받을 수 있습니다(Freishtat, 2016). 이 글의 

  • 첫 번째 섹션에서는 SET가 학생 학습의 유효한 척도가 아니라는 증거를 제시합니다.
  • 두 번째 섹션에서는 SET가 어떻게 부실한 교수를 조장하고 성적 인플레이션을 유발하는지 보여주는 프로세스 모델을 제안합니다.
  • 세 번째 섹션에서는 과정 모델에서 가정하는 과정에 대한 증거를 검토합니다.
  • 네 번째 섹션에서는 성적 인플레이션의 정도를 설명하고 이러한 인플레이션 과정의 어두운 측면에 대해 논의합니다.
  • 마지막으로, SET의 책임감 있는 사용에 대한 결론을 논의합니다.

The use of SETs as a basis for decisions on promotion and tenure is justified only if SETs are a valid measure of teaching effectiveness and student learning. But they are not (e.g., Boring et al., 2016; Uttl et al., 2017). They are most likely a reflection of students’ satisfaction with a course, which can be influenced by many factors that are unrelated to teaching effectiveness (Freishtat, 2016).

  • In the first section of this article, evidence is presented that SETs are not a valid measure of student learning.
  • In the second section a process model is proposed, showing how SETs encourage poor teaching and cause grade inflation.
  • The third section reviews evidence for the processes assumed by the process model.
  • The fourth section illustrates the extent of grade inflation and discusses the dark side of this inflationary process.
  • Finally, conclusions about a responsible use of SETs are discussed.

 

교수에 대한 학생 평가의 타당성에 대해
On the validity of student evaluations of teaching

SET는 안면 타당성이 매우 높습니다. 결국, 학생들은 많은 코스를 수강하므로 특정 강사가 효과적인 강사인지 판단할 수 있어야 합니다. 이러한 가정을 뒷받침하는 증거는 학생의 코스 평가가 해당 코스에서 받은 성적과 양의 상관관계가 있다는 것입니다. 다음의 가정을 하면 이 가정을 뒷받침하는 것으로 해석할 수 있습니다.

  • (a) 학생은 좋은 교사로부터 더 잘 배울 것이다
  • (b) 코스 성적은 학습의 좋은 척도이다
  • (c) 학생은 강사의 강의 품질을 평가할 수 있다.

그러나 한 수업의 모든 학생이 동일한 강사에게 노출되기 때문에 더 많이 배우는 학생이 그 강사를 더 나은 교사로 인식하는지에 대해 의문을 가질 수 있습니다. 또 다른 근본적인 비판은 학생의 코스 성적과 교수자에 대한 평가 사이의 상관관계가 편견을 반영할 수 있다는 것입니다. 학생은 코스 종료 시점에 코스 성적을 받지만, 일반적으로 이미 예상되는 성적을 잘 알고 있습니다. 편향 해석은 좋은 성적을 받을 것으로 예상하는 학생이 나쁜 성적을 받을 것으로 예상하는 학생보다 교사를 더 긍정적으로 평가한다고 가정할 수 있습니다.

SETs have a great deal of face validity. After all, students take many courses and should therefore be able to judge whether a particular instructor is an effective teacher. Supporting this assumption is the evidence that students’ course evaluations are positively correlated with the grades they received in those courses. This can be interpreted as supportive if we make the following assumptions:

  • (a) Students learn more from good teachers,
  • (b) course grades are a good measure of learning, and
  • (c) students are able to evaluate the quality of the teaching of their instructor.

However, because all students in a class are exposed to the same instructor, one could wonder if students who learn more also perceive him or her as a better teacher. Another more fundamental critique is that the correlation between students’ course grades and their evaluation of a teacher might merely reflect bias. Although students receive their course grades at the end of a course, they typically already have a good idea what to expect. A bias interpretation would assume that students who expect to receive a good grade evaluate a teacher more positively than students who expect to receive a poor grade.

교수에 대한 학생 평가에 대한 여러 섹션 연구
Multisection studies of student evaluations of teaching

이 두 가지 해석을 구분하는 한 가지 방법은 한 수업 집합의 평균 SET 점수가 해당 수업의 평점 평균(GPA)과 상관관계가 있는 경우 코스 성적과 SET 간의 관계가 유지되는지 테스트하는 것입니다. SET가 편향성이 아닌 교수 효과를 반영하고 코스 성적이 학습을 반영하는 경우, 수업 집합의 평균 SET는 해당 수업의 평균 GPA와 양의 상관관계를 가져야 합니다. 이 예측은 다중 섹션 코스에서 테스트되었습니다. 다중 섹션 코스는 각각 다른 교수자가 가르치는 여러 개의 병렬 섹션으로 분할된 코스입니다. 최적의 다중 섹션 코스는 다음 요구 사항을 충족해야 합니다:

  • (a) 동일한 자료를 가르치는 여러 섹션이 있어야 하고,
  • (b) 각 섹션은 다른 교수자가 가르쳐야 하며,
  • (c) 학생이 스스로 선택하지 않도록 섹션에 무작위로 배정되어야 하고,
  • (d) 모든 섹션은 동일한 중앙 관리 시험으로 평가되어야 하며,
  • (e) 시험 직전 또는 시험과 함께 SET를 시행해야 합니다.

One way to distinguish between these two interpretations is to test whether the relationship between course grades and SETs would be maintained if the correlation of the average SET scores of a set of classes were correlated with the grade point average (GPA) of those classes. If SETs reflect teaching effectiveness rather than bias, and if course grades reflect learning, then the average SET of a set of classes should be positively correlated with the average GPA of these classes. This prediction has been tested with multisection courses. These are courses that are split into a number of parallel sections, each taught by a different instructor. An optimal multisection course should meet the following requirements:

  • (a) It should have many sections in which the same material is being taught,
  • (b) each section should be taught by a different instructor,
  • (c) students should be randomly assigned to these sections to avoid self-selection,
  • (d) all sections should be assessed with the same centrally administered exam, and
  • (e) SETs should be administered either just before or with the exam.

나중에 설명할 Boring 등(2016)의 연구에서 모든 1학년 학생들은 동일한 필수 과목을 수강했습니다. 각 과목에서 한 명의 교수가 약 900명의 학생을 대상으로 주요 강의를 진행했습니다. 과목은 10~24명의 학생으로 구성된 섹션으로 나뉘어 강사가 가르쳤습니다. 모든 학생이 치르는 기말 시험은 코스 교수가 출제했습니다. 학생들이 학습한 양이 많은 섹션을 학습한 양이 적은 섹션보다 더 긍정적으로 평가한 경우(그리고 시험이 학생 학습의 유효한 척도인 경우), 섹션 평균 세트는 섹션 평균 성적(GPA)과 양의 상관관계가 있어야 합니다. 학생을 무작위로 섹션에 배정하는 것이 불가능한 경우가 많으므로 일부 다섹션 연구에서는 사전 학습 또는 능력의 지표(예: 전체 GPA, SAT 점수)에 따라 최종 성적을 보정합니다. 다중 섹션 설계는 SET의 유효성에 대한 연구에서 가장 표준적인 방법으로 간주됩니다(예: Abrami et al., 1990; Cohen, 1981, 1983; Feldman, 1989).  
In a study by Boring et al. (2016) to be described later, all 1st-year students took the same mandatory courses. In each course, main lectures were given by a professor to approximately 900 students. Courses were divided into sections of 10–24 students taught by instructors. The final exam, taken by all students, was written by the course professor. If students rated sections in which they learned a great deal more positively than sections in which they learned little (and if the exam was a valid measure of student learning), average-section SETs should correlate positively with average-section grades (GPA). As it is often impossible to assign students randomly to sections, some multisection studies correct final grades by indicators of prior learning or ability (e.g., overall GPA, SAT scores). The multisection design is considered the gold standard in research on the validity of SETs (e.g., Abrami et al., 1990; Cohen, 1981, 1983; Feldman, 1989).

이러한 다중 섹션 연구에 대한 초기 메타 분석(예: Cohen, 1981; Feldman, 1989)에서는 SET 평균과 GPA 사이에 중간 정도의 양의 상관관계가 있다는 결론을 내렸습니다. 가장 영향력 있는 메타 분석은 68개의 다중 섹션 연구를 기반으로 한 Cohen의 메타 분석으로, 이 중 67개 연구에서 유용한 데이터를 제공했습니다. 전체 강사 평점과 GPA 간의 평균 상관관계는 r = .43으로, 중간 정도의 큰 효과를 보였습니다. Cohen(1981)의 메타 분석과 이후 Feldman(1989)의 메타 분석에 대한 비판에서 Uttl 등(2017)은 대부분의 다중 섹션 연구에 포함된 섹션 수가 다소 적고 이러한 소규모 연구는 종종 상관관계가 매우 높았다고 지적했습니다. 예를 들어, 코헨의 다중 섹션 연구 중 1/3 이상이 섹션 수가 10개 이하였습니다(Uttl 외, 2017). 이러한 저자들이 표본 크기를 보정했다면 이 문제는 덜 심각했을 것입니다. 그러나 Uttl 등(2017)이 비판한 것처럼, 이러한 메타 분석은 표본의 크기와 관계없이 모든 연구에 동일한 가중치를 부여했습니다. Cohen(1981)은 최소 20개 이상의 섹션을 사용한 연구를 분석한 결과 평균 상관관계가 .37로 더 낮았다고 보고했지만, 이것이 문제가 될 수 있다고 부인했습니다. Uttl 등(2017)은 30개 이상의 섹션을 사용한 다중 섹션 연구만을 기준으로 분석할 경우 상관관계는 r = .27로 감소한다고 덧붙였습니다. 
Early meta-analyses of such multisection studies (e.g., Cohen, 1981; Feldman, 1989) concluded that there was a moderately positive correlation between SET averages and GPAs. Most influential was the meta-analysis of Cohen, which was based on 68 multisection studies of which 67 provided useful data. The average correlation between overall instructor ratings and GPA was r = .43, a moderately large effect. In a critique of Cohen’s (1981) meta-analysis, as well as the later meta-analysis by Feldman (1989), Uttl et al. (2017) pointed out that the number of sections included in most of their multisection studies was rather small and that these small studies often had extremely high correlations. For example, more than one third of Cohen’s multisection studies had 10 or fewer sections (Uttl et al., 2017). This would have been less of a problem if these authors had corrected for sample size. However, as Uttl et al. (2017) criticized, these meta-analyses gave the same weight to all studies, independent of their sample size. Cohen (1981) denied that this could be a problem, even though he reported that an analysis of studies that used at least 20 or more sections resulted in a lower average correlation of r = .37. As Uttl et al. (2017) added, the correlation is reduced to r = .27 if one bases one’s analysis only on multisection studies with 30 or more sections.

Clayson(2009)의 최근 메타 분석에 따르면 SET와 학습 간의 가중치 없는 평균 상관관계는 r = .33인 반면, 표본 크기에 따라 가중치를 둔 상관관계는 r = .13에 불과하다고 보고했습니다. 흥미롭게도 클레이슨은 SET-학습 상관관계와 출판 연도 간에 r = .48의 상관관계가 있으며, 초기 연구에서 효과가 가장 높다고 보고했습니다. 또한 그는 섹션 수와 SET 학습 상관관계 사이의 상관관계는 r = -.37이었으며, 섹션 수가 적은 연구에서 상관관계가 더 높았다는 사실을 발견했습니다. 그러나 클레이슨의 메타 분석은 SET-학습 상관관계가 r = .41이고 섹션 수가 35개인 코헨의 메타 분석을 다중 섹션 연구 중 하나로 포함했기 때문에 문제가 있습니다. Uttl 등(2017)이 언급했듯이, "메타분석에서 추정된 r을 다 중 섹션 연구의 r과 혼합하여 다중 섹션 r에 대한 또 다른 메타분석을 수행할 이유를 생각할 수 없습니다."(31페이지).
A more recent meta-analysis by Clayson (2009) reported that the unweighted average correlation between SETs and learning was r = .33, whereas the correlation weighted by sample size was only r = .13. Of interest, Clayson also reported a correlation of r = .48 between the SET–learning correlation and the year of publication, with effects being highest in early studies. He also found that the correlation between number of sections and the SET–learning correlation was r = −.37, with studies having few sections achieving higher correlations. However, Clayson’s meta-analysis is problematic, because he included Cohen’s meta-analysis as one of his multisection studies with a SET–learning correlation of r = .41 and 35 sections. As Uttl et al. (2017) remarked, “We cannot think of any reason mixing the meta-analysis estimated r with multisection studies’ r to conduct another meta-analysis of multi-section rs” (p. 31).

Uttl 등(2017)은 체계적인 문헌 검색을 통해 51개 논문에서 보고된 97개의 다중 섹션 연구를 기반으로 대규모 메타분석을 수행했습니다. 다시 말하지만, 섹션 수가 적은 연구는 종종 매우 높은 상관관계를 보고했습니다.

  • 실제로 섹션 수와 SET 학습 상관관계의 상관계수는 r = -.35였습니다.
  • 소규모 연구 효과를 통제했을 때 추정된 SET-학습 상관관계는 r = .12였습니다.
  • 사전 지식/능력을 통제한 연구만 포함하면 SET-학습 상관관계는 r = -.06으로 감소했습니다.

Uttl 외(2017)는 "여러 섹션의 연구는 학생들이 높은 평가를 받은 교수로부터 더 많이 배운다는 주장을 뒷받침하지 않는다"고 결론지었습니다(35페이지).
Uttl et al. (2017) conducted a larger meta-analysis based on 97 multisection studies reported in 51 articles, which they identified after a systematic literature search. Again, studies with few sections often reported extremely high correlations.

  • In fact, the correlation between number of sections and SET–learning correlation was r = −.35.
  • When they controlled for small study effects, the estimated SET–learning correlation was r = .12.
  • Including only studies that controlled for prior knowledge/ability reduced the SET–learning correlations to r = −.06.

Uttl et al. (2017) concluded that “multisection studies do not support the claims that students learn more from highly rated professors” (p. 35).

Web of Science 및 Scopus(검색어: "학생의 교수 평가")에서 문헌을 검색한 결과, Uttl 등(2017)이 문헌 검색을 중단한 이후에 발표된 최근의 다중 섹션 연구는 단 한 건뿐이었습니다(Boring 등, 2016; Boring, 2017에서도 논의됨). 이 연구는 유럽(즉, 프랑스) 학생의 데이터를 사용하며 379명의 강사가 가르치는 1,177개 섹션의 1학년 학생 4,423명의 23,000세트에 기반합니다. 이 데이터는 특히 흥미로운데, 섹션에 대한 자율 선택이 없었고 SET에 대한 응답이 의무적이었기 때문에 응답률이 거의 100%에 달했습니다. SET와 최종 시험 점수 간의 평균 상관관계는 r = .04였습니다. 
A literature search on Web of Science and Scopus (search term: “student evaluation of teaching”) revealed only one recent multisection study published after Uttl et al., (2017) stopped their literature search (Boring et al., 2016; also discussed in Boring, 2017). This study uses data from European (i.e., French) students and is based on 23,000 SETs from 4,423 first-year students in 1,177 sections taught by 379 instructors. The data are particularly interesting because there was no self-selection into sections and responses to SETs were compulsory so that there was a near 100% response rate. The average correlation between SETs and final exam scores was r=.04.

SET가 학생의 학습과 관련이 없다는 사실을 발견하는 데 40년이 걸렸다는 것이 어떻게 가능한 일인가요? 한 가지 이유는 대부분의 연구가 1981년 이전에 수행되었기 때문일 수 있습니다. Clayson(2009)이 보고한 바와 같이, SET-학습 상관관계의 크기는 출판 연도와 밀접한 상관관계가 있었습니다. Uttl 등(2019)이 이 연관성을 자세히 살펴본 결과, 1981년 이전에 발표된 69개 연구의 평균 상관계수는 .31인 반면, 1981년 이후에 발표된 28개 연구의 평균 상관계수는 .06으로 나타났습니다.
How is it possible that it took 40 years to discover that SETs are unrelated to student learning? One reason could be that the majority of studies had been conducted before 1981. As Clayson (2009) reported, the size of SET–learning correlations were strongly correlated with year of publication. When Uttl et al. (2019) looked in more detail at this association, they found that the 69 studies published prior to 1981 yielded an average correlation of r = .31, whereas the 28 studies published in or after 1981 had an average correlation of r = .06.

이는 상당한 차이이며, 이러한 차이를 어떻게 설명할 수 있을지 궁금해집니다. Uttl 등(2019)은 이해 상충(COI)을 설명으로 제시했습니다: 초기 연구의 대부분은 SET 시스템을 판매하는 기업에서 근무하거나 소유한 연구자들이 발표했으며, 따라서 상당한 SET-학습 상관관계를 찾는 데 (재정적) 이해관계가 있었습니다. 제약 연구에서도 자금 출처가 연구 결과에 영향을 미친다는 충분한 증거가 있습니다(예: Bekelman et al., 2003; Lundh et al., 2018). Vartanian 등(2007)은 설탕 함유 청량음료가 체중에 미치는 영향에 대한 연구 결과가 자금 출처의 영향을 받았다고 보고하기도 했습니다: 설탕 함유 청량음료는 중립적인 출처가 아닌 생산자가 연구 비용을 지불했을 때 체중에 미치는 영향이 적었습니다. 
This is a substantial difference, and one wonders how such a difference can be explained. Uttl et al. (2019) offered conflict of interest (COI) as an explanation: Many of the early studies were published by researchers who either worked for or owned corporations that sell SET systems and thus had a (financial) interest in finding substantial SET–learning correlations. There is ample evidence from pharmaceutical research that funding sources influence research outcomes (e.g., Bekelman et al., 2003; Lundh et al., 2018). Vartanian et al. (2007) even reported that findings of the effects of sugar-containing soft drinks on body weight were influenced by the funding source: Sugar-containing soft drinks had less impact on weight when the study was paid for by the producer rather than a neutral source.

이러한 COI의 영향은 잘 알려져 있지만, COI가 교육의 질을 측정하는 척도인 SET의 효과에 대한 연구에도 영향을 미친다는 사실은 새로운 발견입니다. 그러나 이는 놀라운 일이 아닙니다. 결국, SET 시스템을 판매하는 회사에서 일하거나 소유하고 있는 연구자는 SET와 교육 효과 사이의 상관관계가 낮기보다는 높기를 선호할 것이라고 가정할 수 있습니다. 업튼 싱클레어(1934/1940)는 "어떤 사람이 무언가를 이해하지 못해야 월급을 받는 상황에서, 그 사람이 무언가를 이해하도록 하는 것은 어렵다"(109쪽)고 말한 적이 있습니다. Uttl 등(2019)이 제시한 증거는 설득력이 있습니다. 그들은 연구 저자 중 적어도 한 명 이상이 SET 기업과 연관된 경우 SET-학습 상관관계가 훨씬 더 크다는 것을 발견했습니다. 기업 COI가 있는 15개 연구의 상관관계는 r = .58인 반면, 기업 이해관계가 없는 저자의 82개 연구의 상관관계는 r = .18이었습니다(그림 1).
Although these effects of COI are well known, the finding that COI also influenced research on the effectiveness of SETs as measure of teaching quality is new. However, it is not surprising. After all, it can be assumed that a researcher who either works for or owns a firm that sells SET systems would prefer to find a high rather than a low correlation between SET and teaching effectiveness. As Upton Sinclair (1934/1940) once wrote, “It is difficult to get a man to understand something, when his salary depends on his not understanding it” (p. 109). The evidence presented by Uttl et al. (2019) is persuasive. They found that SET–learning correlations were much larger when at least one author of a study was associated with an SET corporation. Whereas the correlation was r = .58 for the 15 studies with a corporate COI, the correlation was r = .18 for 82 studies of authors without corporate interests (Figure 1).

시스몬도(2008)는 제약 연구 결과에 대한 COI의 영향 분석에서 이러한 갈등이 의식적인 수준에서는 작동하지 않을 수 있지만, 업계로부터 자금을 받으면 연구자와 의뢰자 사이에 선물 관계가 형성되어 의뢰자가 보답해야 할 필요성을 느낄 수 있다고 제안했습니다. 심리학 연구에서는 COI로 인한 연구자의 동기가 알게 모르게 연구 결과에 영향을 미칠 수 있는 미묘한 방식이 있습니다. 연구자는 일관성이 없는 연구 결과보다 자신의 가설을 뒷받침하는 결과를 면밀히 조사할 동기가 떨어질 수 있으며, 따라서 가설을 뒷받침하는 결과를 면밀히 조사할 가능성이 낮아질 수 있습니다. 불일치를 면밀히 조사하려는 동기가 부족하다는 것을 보여주는 예로, Uttl 외(2017)이 언급한 Abrami 외(1988)의 논문을 들 수 있습니다. 이 저자들은 초기 메타분석을 비교하면서 Cohen(1981)과 McCallum(1984)이 같은 연구에서 추출한 데이터 간의 불일치를 관찰했지만 이를 추적하지는 않았습니다. Uttl 등(2017)은 추출된 데이터의 정확성을 확인하기 위해 원래 연구에서 추출한 데이터를 점검한 결과, McCallum 데이터의 상당 부분이 단순히 부정확하다는 사실을 발견했습니다. 
In an analysis of the effect of COI on outcome of pharmaceutical research, Sismondo (2008) suggested that such conflicts might not operate on a conscious level but that accepting funds from industry creates a gift relationship between the investigator and the sponsor, in which the sponsor might feel a need to reciprocate. In psychological research, there are subtle ways in which a researcher’s motivation due to COI can unknowingly influence study findings. Researchers may be less motivated—and therefore less likely—to scrutinize results that support their hypotheses than findings that are inconsistent. An example that suggests lack of motivation to scrutinize inconsistencies—mentioned by Uttl et al. (2017)—is in an article by Abrami et al. (1988). In comparing early meta-analyses, these authors observed disagreements between data extracted by Cohen (1981) and McCallum (1984) from the same studies but did not follow this up. When Uttl et al. (2017) checked the extracted data for accuracy in the original studies, they discovered that a large proportion of the McCallum data was simply incorrect.

 

교수와 무관한 요인이 학생의 교수 평가에 미치는 영향
The influence of teaching-irrelevant factors on student evaluations of teaching

SET는 성별, 인종 등 교육 효과와 무관한 수많은 변수의 영향을 받습니다. 교수자의 호감도와 같이 교수 효과와 관련이 없어 보이는 다른 변수도 효과와 관련이 있을 수 있습니다. 예를 들어, 강사가 학생에게 접근하기 쉽고 도움이 되기 때문에 호감을 가질 수 있습니다. 안타깝게도 이러한 특성에 대한 연구는 주로 코스 평점 또는 강사 평점과의 (직접적인) 관계를 입증하는 데만 집중되어 왔습니다. 이러한 요소와 강사 또는 코스의 전반적인 평가 사이의 연관성을 매개할 수 있는 이론적으로 그럴듯한 변수를 평가하려고 시도한 연구자는 거의 없었습니다. 코스 교사는 커뮤니케이터이므로 커뮤니케이터의 효율성을 높이는 것으로 알려진 변수(예: 인지된 전문성, 호감도, 권력)는 강사의 교수 효과를 높일 가능성이 높습니다. 따라서 교수 효과와 직접적인 관계가 없어 보이는 특성도 교수 효과와 관련된 프로세스를 통해 간접적인 영향을 미칠 수 있습니다.
SETs are influenced by numerous variables that are unrelated to teaching effectiveness, such as gender and race. Other variables, such as likeability of an instructor—which seem to be irrelevant—could be related to effectiveness. For example, the instructor may be liked because he or she is accessible and helpful to students. Unfortunately, research on these characteristics has exclusively focused on demonstrating the (direct) relationship with course ratings or instructor ratings. Rarely have researchers tried to assess theoretically plausible variables that might mediate the association between such factors and overall ratings of instructors or courses. Because course teachers are communicators, variables known to increase the effectiveness of a communicator (e.g., perceived expertise, likeability, power) are likely to increase an instructor’s teaching effectiveness. Thus, characteristics that seem to have no direct relationship with teaching effectiveness might have indirect effects through related processes that are associated with teaching effectiveness.

SET와 강한 연관성이 있는 것으로 반복적으로 밝혀진 가장 노골적으로 관련성이 없는 특성 중 하나는 강사의 신체적 매력입니다. 교육기관 SET에서는 신체적 매력을 평가하지 않기 때문에, 매력이 교수자에 대한 학생의 평가에 영향을 미친다는 대부분의 증거는 RateMyProfessors.com(RMP) 웹사이트를 사용한 연구에서 제공되었습니다. RMP의 또 다른 장점은 기관별 SET와 달리 이 정보를 공개적으로 이용할 수 있다는 것입니다. RMP 평점과 기관별 SET의 일치 여부에 대한 의문이 종종 제기되어 왔기 때문에(예: Legg & Wilson, 2012; Murray & Zdravkovic, 2016), 몇 가지 RMP 결과를 검토하기 전에 이 문제를 먼저 논의합니다.
One of the most blatantly irrelevant characteristics that has been repeatedly shown to be strongly associated with SETs is the physical attractiveness of instructors. Because institutional SETs do not assess physical attractiveness, most of the evidence that attractiveness influences students’ evaluation of teachers has been provided by studies using the RateMyProfessors.com (RMP) website. An added advantage of RMP is that, unlike institutional SETs, this information is publicly available. Because the correspondence of RMP ratings to institutional SETs has often been questioned (e.g., Legg & Wilson, 2012; Murray & Zdravkovic, 2016), I discuss this issue before reviewing some RMP findings.

RMP 등급과 기관 SET의 대응 관계
The correspondence of RMP ratings to institutional SETs

1999년에 설립된 RMP는 학생이 교수를 유용성, 명확성, Easiness 및 "인기도"의 네 가지 측면에서 평가할 수 있는 인기 있는 웹사이트입니다. 유용성과 명확성은 강의의 질을 나타내는 지표로 결합됩니다.1 RMP의 교수자 평가와 교육기관 SET를 비교한 대부분의 연구에서 상당한 상관관계가 발견되었으며(예: Brown et al., 2009; Colardarci & Kornfield, 2007; Sonntag et al., 2009; Timmerman, 2008), 이는 상당한 수준의 동등성이 있음을 시사합니다. 예를 들어, 

  • 캘리포니아 대학교 샌디에이고의 1,002명의 교수를 대상으로 RMP 및 SET 등급을 모두 받은 Timmerman(2008)은 강사를 추천할 학생의 비율과 전반적인 품질에 대한 RMP 등급 간의 상관관계가 r = .66임을 확인했습니다. RMP 전반적인 품질과 학생의 수업 추천 비율 간의 상관관계는 r = .51이었고, RMP와 자기 보고 학습 간의 상관관계는 r = .57이었습니다.
  • Sonntag 등(2009)은 랜더 대학교 교수 104명의 RMP 평점을 바탕으로 비슷한 결과를 보고했습니다. 사용된 SET 평가는 5점 척도로 교수와 수업에 대해 우수하다고 평가한 것입니다. RMP 전체 품질 평가와 교수자 우수성에 대한 SET 평가의 상관관계는 r = .69, 수업 우수성과의 상관관계는 r = .60이었습니다.
  • Brown 등(2009)은 312명의 Brooklyn College 강사를 대상으로 한 연구에서, Colardarci와 Kornfield(2007)는 메인 대학의 283명의 강사를 대상으로 한 연구에서 유사한 상관관계를 보고했습니다.

이러한 상관관계의 크기는 일반적으로 RMP 평가가 SET 평가에 참여한 학생보다 훨씬 적은 수의 학생을 대상으로 한다는 점을 고려하면 특히 놀랍습니다. 
Established in 1999, RMP is a popular website where students can evaluate their professors on four dimensions: helpfulness, clarity, easiness, and “hotness.” Helpfulness and clarity are combined into an indicator of quality of teaching.1 Most studies comparing evaluations of instructors on RMP to institutional SETs have found substantial correlations (e.g., Brown et al., 2009; Colardarci & Kornfield, 2007; Sonntag et al., 2009; Timmerman, 2008) suggesting a fair degree of equivalence. For example,

  • Timmerman (2008), who identified 1,002 professors at the University of California, San Diego, with both RMP and SET ratings, found a correlation of r=.66 between the percentage of students who would recommend an instructor and RMP ratings of overall quality. The correlation between RMP overall quality and the percentage of students’ recommending a class was r=.51 and between RMP and self-reported learning was r=.57. S
  • imilar findings were reported by Sonntag et al. (2009) based on RMP ratings of 104 Lander University professors. The SET ratings used were ratings of professors and of classes as excellent on 5-point scales. The correlation of RMP overall quality ratings with SET ratings of instructor excellence was r=.69 and with class excellence was r=.60.
  • Similar correlations were reported by Brown et al. (2009) in a study based on 312 Brooklyn College instructors and by Colardarci and Kornfield (2007) in a study based on 283 instructors at the University of Maine.

The size of these correlations is particularly surprising, if one considers that RMP ratings are typically based on much smaller numbers of students than those who participated in the SET evaluations.

레그와 윌슨(2012)이 "RateMyProfessors.com은 편향된 평가를 제공한다"라는 자극적인 제목의 논문을 발표했으므로, 그들의 연구를 간략히 검토해 볼 필요가 있습니다. 이들은 연구에 기꺼이 참여한 25명의 교수에 대한 세 세트의 RMP 평점을 수집했습니다. 첫 번째 세트는 해당 교수의 이전 수업에 대한 평가로 구성되었습니다. 두 번째 세트는 수업 중에 시행된 세트에 포함된 RMP 항목에 대한 평가로 구성되었습니다. 이 학생들은 나중에(아마도 학기 말에) RMP에서 수업을 평가하도록 요청받았습니다. 주요 결과는 수업 중 및 학기말에 평가한 명확성 평가가 이전 수업에서 수집한 명확성 평가보다 약 0.5점 정도 더 높았다는 것입니다. 또한 교수들은 연구 전에 진행된 수업에서 덜 도움이 되고 더 쉬웠다고 평가했습니다. 이러한 차이에 대한 한 가지 설명은 이러한 교수자가 연구 기간 동안 최상의 컨디션을 유지하고 있었기 때문일 수 있습니다. 
Since Legg and Wilson (2012) published a paper with the suggestive title “RateMyProfessors.com Offers Biased Evaluations,” a brief review of their study is warranted. They collected three sets of RMP ratings of 25 professors willing to participate in the study. The first set comprised ratings of previous classes given by those professors. The second comprised ratings of RMP items embedded in an SET administered during classes. These students were later (probably at the end of the semester) asked to rate the class on RMP. The main finding was that in-class and end-of-semester evaluations of clarity were slightly higher (by approximately 0.5 points) than clarity ratings collected on previous classes. Professors were also rated less helpful and easier in classes given before the study. One explanation for these differences could be that these instructors were on their best behavior during the study.

Murray와 즈드라브코비치(2016)의 비판적 연구도 마찬가지로 설득력이 떨어집니다. 이 저자들은 교수자의 RMP 등급을 12개 항목으로 구성된 척도로 비교했습니다.
A critical study by Murray and Zdravkovic (2016) is similarly unconvincing. These authors compared RMP ratings of instructors with a 12-item scale that

교수자가 (a) 가르치는 것을 즐기는지, (b) 잘 정리되어 있는지, (c) 친절하고 학생을 배려하는지, (d) 도전적인 과제를 내주는지, (e) 추가 도움을 제공할 수 있는지, (f) 강의 자료에 열정적인지 여부와 관련된 교수자 및 코스 측면을 다루었습니다. (p. 141)
addressed instructor and course aspects related to whether the professor (a) enjoys teaching, (b) is well organized, (c) is friendly and considerate of students, (d) makes challenging assignments, (e) is available to provide extra help and (f) is enthusiastic about the course material. (p. 141)

이러한 항목은 각 연구 참여자가 인지한 중요도에 따라 개별적으로 가중치를 부여했습니다. 저자들은 RMP 척도(M = 3.56)가 아닌 6항목 척도로 측정했을 때 강의에 대한 평가가 더 높았다(M = 3.80)고 보고했습니다. 저자들은 그들의 복합 지수가 RMP보다 더 유효한 교수 효과 척도라는 증거를 제시하지 않았습니다. 또한, 다소 복잡한 척도와 단순한 RMP 평가의 차이도 미미합니다.
These items were individually weighed by each study participant according to perceived importance. The authors reported that the evaluation of teaching was higher (M=3.80) when measured with the six-item scale rather than the RMP scale (M=3.56). The authors present no evidence that their complex index constituted a more valid measure of teaching effectiveness than the RMP. Furthermore, the difference between their rather complex measure and the simple RMP ratings is minor.

신체적 매력
Physical attractiveness

신체적으로 매력적인("섹시한") 강사는 덜 매력적인 동료 강사보다 더 긍정적인 교수 평가를 받았습니다(예: Boehmer & Wood, 2017; Felton 외., 2008; Fisher 외., 2019; Freng & Webber, 2009; Hamermesh & Parker, 2005); Johnson & Crews, 2013; Riniolo 외., 2006; Rosen, 2018; Wolbring & Riordan, 2016). 학생 평가가 20개 이상인 미국과 캐나다의 모든 교수(369개 기관의 교수 6,851명)에 대한 데이터를 사용한 초기 RMP 연구에서 Felton 등(2008)은 "인기도"와 "품질" 간의 상관관계가 r = .64로 나타났다고 보고했습니다. 
Physically attractive (i.e., “hot”) instructors receive more positive teaching ratings than their less attractive colleagues (e.g., Boehmer & Wood, 2017; Felton et al., 2008; Fisher et al., 2019; Freng & Webber, 2009; Hamermesh & Parker, 2005); Johnson & Crews, 2013; Riniolo et al., 2006; Rosen, 2018; Wolbring & Riordan, 2016). In an early RMP study that used data for all the professors in the United States and Canada who had at least 20 student ratings (6,851 professors from 369 institutions), Felton et al. (2008) reported a correlation of r=.64 between “hotness” and “quality.”

미국 4522개 대학의 190,006명의 교수에 대한 7,882,980개의 평가(최소 20개 평가)를 기반으로 한 Rosen(2018)의 최근 RMP 연구에서도 인기도와 자질 간의 강력한 연관성이 반복적으로 나타났습니다. 품질 평가가 2.5점 미만인 교수는 거의 없었으며, 품질 평가가 만점인 교수의 70%가 인기 있는 교수로 간주되었습니다. Riniolo 외(2006)의 연구에서도 이와 비슷한 강력한 효과가 보고되었습니다. 다른 RMP 연구에서는 이보다 약한 연관성을 발견했습니다. 예를 들어, Freng과 Webber(2009)는 r = .37의 상관관계를, Johnson과 Crews(2013)는 r = .16의 상관관계를 보고했습니다. 
A more recent RMP study by Rosen (2018), which was based on 7,882,980 ratings of 190,006 professors from 4522U.S. colleges and universities, who had a minimum of 20 ratings, replicated the strong association between hotness and quality. Hardly any professor with a quality rating below 2.5 was considered hot, compared to 70% of professors with a perfect quality rating. Similarly strong effects were reported by Riniolo et al. (2006). Other RMP studies found weaker associations. For example, Freng and Webber (2009) reported a correlation of r=.37 and Johnson and Crews (2013) of r=.16.

이러한 신체적 매력의 영향이 RMP 평가에만 국한되지 않는다는 사실은 강사의 인지된 매력(웹사이트의 사진 평가에 기반)과 학기말 SET를 연관시킨 두 가지 연구에서 입증되었습니다. 

  • 94명의 강사를 대상으로 한 연구에서 Hamermesh와 Parker(2005)는 "표본에서 가장 외모가 좋지 않은 강사와 가장 외모가 좋은 강사 간에 강의 평가가 거의 두 표준 편차만큼 차이가 났다"고 보고했습니다(372페이지). 
  • 독일에서 125명의 강사를 대상으로 실시한 연구에서 Wolbring과 Riordan(2016)은 신체적 매력과 SET의 연관성이 다소 약하다는 것을 발견했습니다. 

그러나 SET 등급은 수업 결석률도 예측했습니다: 학생들은 신체적으로 매력적인 강사의 수업에 결석하는 횟수가 약간 적었습니다. 학생과 강사의 성별이 동성인지 이성인지는 아무런 차이가 없었습니다.
The fact that these effects of physical attractiveness are not limited to RMP ratings has been demonstrated in two studies that related perceived attractiveness of instructors (based on ratings of photographs from websites) to their end-of-semester SETs.

  • Based on a study of 94 instructors, Hamermesh and Parker (2005) reported that “the instructional rating varies by nearly two standard deviations between the worst- and best-looking instructors in the sample” (p. 372).
  • In a study conducted in Germany with 125 instructors, Wolbring and Riordan (2016) found a somewhat weaker association of physical attractiveness with SETs.

However, SET ratings also predicted absenteeism from class: Students missed slightly fewer classes of physically attractive instructors. It made no difference whether students and instructors were of the same or opposite sex.

Wolbring과 Riordan(2016)은 학생들이 매력적인 남성 또는 다소 덜 매력적인 남성 또는 여성의 사진(이력서에 첨부)에 노출되는 실험 연구를 통해 신체적 매력과 교수 평가의 연관성을 재현했습니다. 그런 다음 학생들은 이 자극을 준 사람이 하는 것으로 가정한 강의를 듣고 평가해야 했습니다. 다시 말하지만, 신체적 매력은 강의의 질에 대한 평가에 영향을 미쳤습니다. 마지막으로 Ambady와 Rosenthal(1993)은 두 명의 여대생이 13명의 대학 교수의 신체적 매력에 대해 평가(30초 무성 영화 클립 기준)한 결과, 해당 강사가 가르친 강의의 질에 대한 학생들의 학기말 평가와 상관계수가 r = .32로 나타났다고 보고했습니다. 
Wolbring and Riordan (2016) replicated their association of physical attractiveness and teaching evaluation in an experimental study in which students were exposed to pictures (attached to a CV) of either an attractive or a somewhat less attractive man or woman. Students then had to listen to—and evaluate—a lecture supposedly given by this stimulus person. Again, physical attractiveness influenced ratings of the quality of that lecture. Finally, Ambady and Rosenthal (1993) reported that ratings (based on a 30-s silent film clip) of the physical attractiveness of 13 college teachers by two female undergraduates correlated r=.32 with students’ end-of-term ratings of the quality of courses taught by these instructors.

강사에 대한 호감도
Likeability of instructor

신체적 매력이 강사의 인지된 효과를 높일 수 있는 한 가지 방법은 호감도와의 연관성을 통해서입니다. 호감도는 더 넓은 개념이지만, 신체적 매력은 호감도를 결정하는 주요 요인입니다. 미국 대학의 학생 861명을 대상으로 현재 수강 중인 수업의 두 강사의 신체적 매력을 평가하도록 한 연구에 따르면 호감도와 r = .47의 상관관계가 있는 것으로 나타났습니다(Gurung & Vespia, 2007). 강사에 대한 호감도와 수업의 즐거움 사이의 상관관계는 r = .80이었습니다. 출석과의 상관관계도 양의 상관관계(r = .30)를 보였는데, 이는 학생이 강사를 좋아하면 수업에 더 자주 출석한다는 것을 의미합니다. 
One way that physical attractiveness might increase the perceived effectiveness of an instructor is through its association with likeability. Although likeability is a broader concept, physical attractiveness is a major determinant of likeability. A study that asked 861 students from a U.S. university to rate the physical attractiveness of two instructors of classes they were currently taking reported a correlation of r=.47 with liking (Gurung & Vespia, 2007). The correlation between liking their instructor and enjoyment of the class was r=.80. The correlation with attendance was also positive (r=.30), suggesting that students will attend a class more regularly if they like an instructor.

Feistauer와 Richter(2018)는 독일 대학에서 심리학 강의 또는 세미나를 가르친 26명의 강사를 평가한 260명의 학생 표본을 바탕으로 비슷한 결과를 보고했습니다. Feistauer와 Richter는 학생들이 수강한 심리학 세미나 또는 강의의 강사에 대한 평가와 호감도의 연관성을 연구했습니다. 호감도는 첫 번째 세션의 첫 10분 동안과 학기가 끝나기 전에 단일 항목 측정으로 두 번 평가했습니다. 강사의 전반적인 성과는 학기 말에 단일 항목 척도로 평가했습니다. 두 가지 호감도 평가는 중간 정도의 상관관계(.55-.58)를 보였습니다. 학기 초에 측정된 '좋아요'는 강의에 대한 강사 전체 평점의 총 분산 중 9.4%를 차지했으며, 세미나에 대한 평점의 총 분산 중 20.5%를 차지했습니다. 학기 말(즉, 평가 시점)의 호감도는 강의의 경우 36.5%, 세미나의 경우 54.7%의 분산을 차지했습니다. 
Similar findings were reported by Feistauer and Richter (2018) based on a sample of 260 students rating 26 instructors who taught psychology lectures or seminars at a German university. Feistauer and Richter studied the association of likeability with the evaluation of instructors, whose seminars or lectures on psychology the students had attended. Likeability was rated twice with a single-item measure administered during the first 10min of the first session and before the end of the semester. The overall performance of instructors was assessed with a single-item scale toward the end of the semester. The two liking ratings were moderately correlated (.55–.58). Liking measured at the beginning of the semester accounted for 9.4% of the total variance in overall ratings of the instructor for lectures and 20.5% of the variance for seminars. Liking at the end of the semester (i.e., at the time of the evaluation) accounted for 36.5% of the variance for lectures and 54.7% for seminars.

Delucchi(2000)의 연구는 호감도에 영향을 미치는 강사의 특성에 대해 몇 가지 시사점을 제공합니다. Delucchi는 SET 평가에 대한 요인 분석을 기반으로 다음과 같은 평가로 구성된 호감도 지수를 확인했습니다. 호감 가는 강사는 학생들과 좋은 관계를 맺고, 대화하기 쉬우며, 주제에 대해 열정적으로 보이고, 학생들 사이에 공동체 의식을 형성하는 것으로 나타났습니다. 이러한 결과는 단일 항목 측정의 타당성을 입증하기 위해 시간 1에서 Reysen(2005) 호감도 척도를 시행한 Feistauer와 Richter(2018)가 보고한 결과와 일치합니다. 레이센 척도는 학생이 강사를 친근하고, 호감이 가고, 마음이 따뜻하고, 접근하기 쉽고, 지식이 풍부하고, 신체적으로 매력적이며, 자신과 비슷하다고 인식하는지를 평가했습니다. 레이센 척도는 강의에서 r = .98, 세미나에서 r = .89의 상관관계를 보였으며, 같은 시기에 주어진 단일 항목 측정과 학기 말에 주어진 단일 항목 측정의 상관관계는 r = .46, r = .45였습니다. 첫 수업 모임의 첫 10분 동안 평가된 호감도는 주로 외모에 기반할 가능성이 높기 때문에, 이러한 (초기) 높은 상관관계는 레이센 척도가 사람들이 신체적으로 매력적인 타인에 대해 가지고 있는 고정관념을 완벽하게 포착하고 있음을 시사합니다. 초기 호감도 평가가 학기 말 호감도와 중간 정도의 상관관계만 있고, 학기 말 강사에 대한 전체 평가에서 초기 호감도가 후기 호감도보다 훨씬 적은 변수를 차지한다는 결과는 개인이 개별적인 정보를 받을 때 그 효과가 약해진다는 매력 고정관념에 대한 고전적인 메타 분석의 결론과 일치합니다(Eagly et al., 1991). 한 학기가 진행되는 동안 학생들은 강사가 첫인상을 바탕으로 기대했던 것만큼 따뜻하고 친근하며 지식이 풍부하지 않다는 사실을 발견했을 수 있습니다. 
A study by Delucchi (2000) provides some indications about the characteristics of instructors that influence likability. Based on a factor analysis of SET ratings, Delucchi identified a likeability index that consisted of some of the following evaluations. A likeable instructor had good rapport with students, was easy to talk to, seemed enthusiastic about the subject matter, and created a feeling of community among students. These findings are consistent with findings reported by Feistauer and Richter (2018), who had also administered the Reysen (2005) Likability Scale at Time 1 to establish the validity of their single-item measure. The Reysen scale assessed whether the instructor is perceived by students as friendly, likeable, warmhearted, approachable, knowledgeable, physically attractive, and similar to them. The Reysen scale correlated r=.98 in lectures and r=.89 in seminars with the single-item measure given at the same time and r=.46 and r=.45 with the single-item measure given at the end of the semester. Because likability assessed during the first 10 min of the first class meeting is likely to be mainly based on physical appearance, these (initially) high correlations suggest that the Reysen scale perfectly captures the stereotype people hold of physically attractive others. The finding that initial ratings of liking were only moderately correlated with liking at the end of the semester and that initial liking accounted for much less variance than later liking in the end-of-semester overall rating of instructors is consistent with the conclusions of the classic meta-analysis of the attractiveness stereotype that the effect is weakened when individuals receive individuating information (Eagly et al., 1991). In the course of the semesters, students might have discovered that their instructors were not quite as warmhearted, approachable, and knowledgeable as they had expected them to be based on their first impression.

호감도는 접근성, 친근함, 지식과 같이 좋은 강의의 일부인 특성의 결과인 것으로 보입니다. 신체적 매력이 이러한 특성과 상관관계가 있다는 발견은 후광 효과의 가능성을 시사합니다: 학생들은 신체적으로 매력적인 강사가 이러한 특성도 가지고 있다고 가정합니다. 이러한 해석은 신체적 매력이 수업 출석과 관련이 있는 이유 또는 RMP 연구에서 '섹시함'이 항상 인지된 도움과 높은 상관관계가 있는 이유를 설명할 수 있습니다. 마지막으로 Feistauer와 Richter(2018)의 연구에서 학생들이 10분간 친분을 쌓은 후 강사가 따뜻하고 친근하며 지식이 풍부하고 자신과 비슷하다고 판단한 이유를 설명할 수 있습니다.
Likeability appears to be the result of characteristics that are certainly part of good teaching, such as approachability, friendliness, and knowledgeableness. The finding that physical attractiveness is correlated with these characteristics suggests the possibility of a halo effect: Students assume that a physically attractive instructor also possesses these traits. This interpretation would explain why physical attractiveness is related to class attendance, or why “hotness” in RMP studies is always highly correlated with perceived helpfulness. It would finally explain why, in the study of Feistauer and Richter (2018), students decided after being acquainted for 10min that their instructor was warmhearted, approachable, knowledgeable, and similar to them.

사전 과목 관심도
Prior subject interest

학생들은 관심이 적은 과목보다 관심이 있는 과목의 강의를 더 긍정적으로 평가할 것이라고 예상할 수 있습니다. 놀랍게도 증거는 엇갈립니다. Olivares(2001)는 첫 수업 모임이 시작될 때 측정한 사전 관심도는 코스에 대한 전반적인 평가와 관련이 없다는 사실을 발견했습니다. 이와는 대조적으로 Griffin(2004)은 초기 관심도와 교사 평가 간에 중간 정도의 상관관계(r = .37)가 있으며 코스 평가와는 훨씬 더 높은 상관관계(r = .50)가 있다고 보고했습니다. Feistauer와 Richter(2018)도 약하지만 통계적으로 신뢰할 수 있는 연관성을 보고했습니다. 
One would expect that students rate courses on topics in which they are interested more positively than courses of little interest. Surprisingly the evidence is mixed. Olivares (2001) found prior interest—measured at the beginning of the first class meeting—unrelated to global rating the course. In contrast, Griffin (2004) reported a moderate correlation between initial interest and teacher ratings (r=.37) and an even higher correlation with ratings of a course (r=.50). Feistauer and Richter (2018) also reported a weak but statistically reliable association.

학생은 종종 코스 콘텐츠와 자료가 자신에게 얼마나 흥미로울지에 대해 잘못된 기대를 갖게 됩니다. 특히 심리학 과목에서 이러한 현상이 두드러지게 나타나는데, 심리학을 처음 배우는 학생들은 학습 내용에 대해 비현실적인 기대를 하는 경우가 많습니다. 많은 사람들이 사람들을 아는 방법과 그들을 돕는 방법을 배울 것이라고 기대하지만, 이론과 통계 학습에 노출되는 것을 발견합니다. 따라서 강사 평가와 관련된 초기 관심도를 찾지 못한 Olivares(2001)가 학기 말에 평가한 관심도 변화가 강사에 대한 학생 평가와 중간 정도의 상관관계가 있다는 것을 발견한 것은 흥미롭습니다(r = .42). 초기 관심도와 관심도 변화 간의 상관관계가 r = .21에 불과한 것으로 보아 이 수업에서는 상당한 변화가 있었을 것입니다. 강의 내용에 대한 관심이 강의의 즐거움에 영향을 미치고, 따라서 강사에 대한 평가에도 영향을 미친다는 것은 그럴듯해 보입니다. 코스에 전혀 관심이 없는 학생은 강사에 대해 매우 긍정적인 평가를 내릴 가능성이 낮습니다. 가르치는 과목에 대한 학생의 흥미를 불러일으키는 것은 분명 교수 능력의 특징입니다. 불행히도 통계학보다는 사회 심리학을 가르치는 것이 더 쉽습니다. 
Students will often have false expectations about the content of a course and how interesting the material will be to them. This is particularly likely in psychology courses, in which beginning students often have unrealistic expectations of what they will learn. Although many expect that they will learn how to know people and how to help them, they find themselves exposed to learning theories and statistics. It is therefore interesting that Olivares (2001), who failed to find initial interest related to instructor ratings, found that interest change assessed at the end of the semester moderately correlated with student ratings of their instructors (r=.42). There must have been quite a bit of change happening in these classes, as the correlation between initial interest and interest change was only r=.21. It seems plausible that interest in the content of a course influences enjoyment of the course and therefore also ratings of the instructor. Students who are totally uninterested in a course are unlikely to give an instructor very positive ratings. Arousing students’ interest in the subject that one is teaching is certainly a characteristic of teaching ability. Unfortunately, it is easier if one teaches social psychology rather than statistics.

소수자 지위
Minority status

소수 집단에 속하는 교사가 일반적으로 다수 집단에 속하는 교사보다 능력이 떨어진다는 것은 믿을 수 없으므로, 소수 집단에 속하는 교사의 지위는 SET에 영향을 미치지 않아야 합니다. 그럼에도 불구하고 대부분의 연구에 따르면 비백인 강사는 백인 동료 강사보다 낮은 SET 등급을 받습니다(예: McPherson & Jewell, 2007; Reid, 2010; Smith, 2007). 22명의 강사가 가르친 280개의 대학원 수업으로 구성된 24개 학기 연속 데이터를 기반으로 한 연구에서 백인 강사는 비백인 동료보다 더 높은 SET 점수를 받았습니다(McPherson & Jewell, 2007). 미국 남부에 위치한 한 교육대학의 소수 교수진 표본을 대상으로 한 Smith(2007)의 연구에서도 비슷한 결과가 보고되었습니다. 역시 흑인 교수진은 백인 교수진보다 교수 효과성에 대해 낮은 평가를 받았으며, 다른 소수계 교수진(라틴계, 아시아계, 아메리카 원주민)의 평가는 그 사이에 머물렀습니다. Hamermesh와 Parker(2005)도 소수 교수진과 영어가 모국어가 아닌 교수진이 다수 교수진과 영어가 모국어인 교수진보다 훨씬 낮은 강의 평가를 받았다고 보고했습니다. 
Because it is implausible that teachers belonging to a minority are generally less able instructors than majority teachers, minority status should have no impact on SETs. And yet, most studies show that non-White instructors receive SET ratings that are lower than that of their White colleagues (e.g., McPherson & Jewell, 2007; Reid, 2010; Smith, 2007). In a study based on data from 24 consecutive semesters, comprising 280 graduate classes taught by 22 instructors, White instructors received higher SET scores than their non-White colleagues (McPherson & Jewell, 2007). Similar results were reported by Smith (2007) based on a much larger sample of minority faculty members from a college of education situated in the southern United States. Again, Black faculty members received lower evaluations of teaching effectiveness than their White colleagues, with ratings of other minority faculty (Latinos, Asians, Native Americans) falling in between. Hamermesh and Parker (2005) also reported that minority faculty members and non-native English speakers received substantially lower teaching ratings than majority faculty members and native English speakers.

5,630개 인문대학 교수진에 대한 평가를 기반으로 한 RMP 연구에서도 비슷한 패턴이 나타났습니다(Reid, 2010). RMP에는 교수진의 인종이 기재되어 있지 않기 때문에 Reid는 다인종 학생 그룹에게 교수진의 사진을 보고 인종을 결정하도록 했습니다. 소수 인종 교수진은 백인 교수진에 비해 강의의 질, 유용성, 명확성에서 덜 호의적인 평가를 받았습니다. 그러나 Easiness에서는 더 긍정적인 평가를 받았습니다. 이러한 차이는 주로 흑인 교수진의 품질 평가가 낮았기 때문이었습니다. 소수자 신분인 교사가 낮은 평점을 받은 가장 큰 요인은 편견입니다. 편견을 가진 사람들은 소수자 교직원을 덜 똑똑하고 전문성이 떨어진다고 인식하는 경향이 있습니다. 
A similar pattern emerged from an RMP study based on ratings of 5,630 faculties of liberal arts colleges (Reid, 2010). Because RMP does not list race of instructors, Reid had a multiracial group of students decide on race based on photographs of these faculty members. Racial minority faculty members were rated less favorably than White faculty members on quality, helpfulness, and clarity. However, they received more positive ratings on easiness. These differences were mainly due to lower quality ratings received by Black faculty members. The most likely determinant of the lower ratings received by minority status teachers is prejudice. Prejudiced individuals would tend to perceive minority faculty members as less intelligent and possessing less expertise.

성별
Gender

성별 차이에 대한 증거는 일관성이 떨어집니다. 그러나 성별 차이가 발견되는 경우 대부분 여성 강사가 강의 품질에 대해 더 낮은 평가를 받았습니다. Rosen(2018)의 RMP 연구에 따르면 여성은 강의의 질에서 약간 낮은 점수를 받았습니다. 이러한 성별 차이는 Boehmer와 Wood(2017)의 RMP 연구와 Arceo-Gomez와 Campos-Vazquez(2019)의 멕시코 인터넷 사이트(MisProfesores.com)를 기반으로 한 연구에서도 보고되었지만 Reid(2010)와 Stuber 외(2009)의 RMP 연구에서는 나타나지 않았습니다. 
Evidence for gender differences is less consistent. However, if gender differences are found, it is mostly female instructors, who receive lower ratings on teaching quality. The RMP study of Rosen (2018) found that women received slightly lower scores on quality. Such gender differences were also reported in an RMP study of Boehmer and Wood (2017) and by Arceo-Gomez and Campos-Vazquez (2019) in a study based on a Mexican internet site (MisProfesores.com) but not in RMP studies of Reid (2010) and Stuber et al. (2009).

기관 SET를 기반으로 한 세 개의 대규모 다집단 연구에서도 남성에 유리한 성별 차이가 보고되었습니다(Boring, 2017; Hamermesh & Parker, 2005; Mengel et al., 2019). 앞서 설명한 Boring 등(2016)의 데이터 세트를 사용하여 Boring(2017)은 남학생과 여학생 모두 전반적인 만족도에서 남교수에게 약간 더 높은 점수를 주었으며, 여학생의 경우 그 차이가 다소 덜 두드러진다는 것을 발견했습니다. 그러나 이러한 차이는 미미했습니다. 이와는 대조적으로 Hamermesh와 Parker(2005)는 여성 강사가 남성 동료보다 거의 절반 표준편차 낮은 평가를 받았다고 보고했습니다. 마지막으로 네덜란드 마스트리흐트 대학교 경영경제학부에서 실시한 약 20,000명의 학생 평가를 기반으로 한 연구에서 Mengel 등(2019)은 성적이나 학생의 학습 시간이 강사의 성별에 영향을 받지 않았음에도 불구하고 여성이 남성 동료보다 체계적으로 낮은 평가를 받는다는 사실을 발견했습니다. 이러한 성별 차이는 특히 수학적 내용이 포함된 강의에서 두드러졌습니다. 
Three large multisection studies based on institutional SETs also reported gender differences favoring men (Boring, 2017; Hamermesh & Parker, 2005; Mengel et al., 2019). Using the dataset of Boring et al. (2016) described earlier, Boring (2017) found that both male and female students gave male professors slightly higher ratings on overall satisfaction, with the difference somewhat less marked for female students. However, these differences were minimal. In contrast, Hamermesh and Parker (2005) reported that female instructors received ratings that were nearly half a standard deviation lower than those of their male colleagues. Finally, in a study based on nearly 20,000 student evaluations conducted at the School of Business and Economics of Maastricht University (Netherlands), Mengel et al. (2019) found that women received systematically lower ratings than their male colleagues, even though neither grades nor students’ study hours were affected by the gender of their instructor. These gender differences were particularly marked for courses with mathematical content.

이 마지막 결과는 학문 분야(예: 과학 대 인문학)에 따라 성별 차이가 조정될 수 있다는 가능성을 제기합니다. 그러나 증거는 일관성이 없습니다. 피셔 외(2019)의 RMP 연구에 따르면 영어, 역사, 철학보다 공학, 경영/경제학, 컴퓨터 과학과 같은 분야에서 성차별이 더 많이 발견되었으며, 이러한 부서의 여성 직원 비율을 통제한 경우에도 마찬가지였습니다. 그러나 Stuber 등(2009)은 이러한 차이를 발견하지 못했습니다. 이 연구자들은 하드 과학, 공학, 수학, 경영을 전통적으로 남성의 영역으로, 예술과 인문학은 전통적으로 여성의 영역으로 정의했습니다. 이들은 전통적으로 남성 분야 교수자가 인문이나 예술을 가르치는 교수자보다 더 부정적인 평가를 받는다는 일반적인 결과를 반복했지만, 성별에 따른 상호작용은 발견되지 않았습니다: 여성이 남성보다 더 많은 불이익을 받지 않았습니다. 
This last finding raises the possibility that gender differences could be moderated by discipline (e.g., science vs. humanities). However, the evidence is inconsistent. An RMP study by Fisher et al. (2019) found more gender discrimination in fields such as engineering, business/economics, and computer science than in English, history, and philosophy—even when they controlled for percentage of female staff in these departments. However, Stuber et al. (2009) did not find such differences. These authors defined the hard sciences, engineering, mathematics, and business as traditionally male areas and arts and humanities as traditionally female. Although they replicated the typical finding that instructors teaching in those traditionally male fields were rated more negatively than those teaching humanities or arts, there was no interaction with gender: Women were not more penalized than men.

여성 강사가 일반적으로 더 낮은 평가를 받는 것은 교수 능력이 낮기 때문일까요? 많은 인용을 받은 MacNell 등(2015)의 연구는 이러한 해석을 배제하는 것으로 보입니다. 이 연구자들은 강사의 인지된 성별을 조작하는 실험을 실시했습니다. 온라인 수업에 두 명의 보조 강사(남성 1명, 여성 1명)가 각각 다른 두 가지 성 정체성으로 활동했습니다. 실제 성별에 관계없이 남성 정체성을 가진 강사가 전문성, 신속성, 공정성, 존중, 칭찬, 열정에서 더 높은 평가를 받았습니다. 그러나 Uttl과 Violo(2020)는 여러 가지 측면에서 이러한 결과에 의문을 제기했습니다: 그들은 두 사람만을 대상으로 한 조사 결과를 모든 남성 또는 여성 강사에게 일반화하기 어렵다고 주장했습니다. 또한 각 조건의 학생 표본이 8명에서 12명으로 다소 적었습니다. 그러나 가장 중요한 것은 세 가지 이상값이 있었는데, 두 명의 여성 조건에서 모든 세트 항목에서 가장 낮은 평점을 받았다는 점입니다. 이러한 이상값을 제거하면 성별 차이가 사라졌습니다. 대신 학생들은 인지된 성별에 관계없이 실제 여성 강사를 남성 강사보다 더 높게 평가했습니다.  
Could the lower ratings typically received by female instructors reflect lower teaching ability? A highly-cited study by MacNell et al. (2015) appeared to rule out this interpretation. These authors conducted an experiment in which they manipulated the perceived gender of instructors. Two assistant instructors (one male and one female) in an online class each operated under two different gender identities. Regardless of actual gender, male-identity teachers received higher evaluation on professionalism, promptness, fairness, respectfulness, giving praise, and enthusiasm. However, Uttl and Violo (2020) questioned these findings on several accounts: They argued that one could hardly generalize to all male or female instructors based on findings with only two individuals. Furthermore, the sample of students in each condition was rather small, ranging from eight to 12 individuals. But most critically, there were three outliers; they gave the lowest ratings on all SET items in the two female conditions. If one removed these outliers, the gender difference disappeared. Instead, students rated the actual female instructor higher than the male instructor, regardless of perceived gender.

성별에 따른 또 다른 연구는 Mitchell과 Martin(2018)에 의해 수행되었습니다. 서로 다른 대학의 교수진인 크리스티나 미첼 박사와 조나단 마틴 박사가 각자의 대학에서 동일한 내용의 온라인 강의를 진행했습니다.2 이 강의는 여성 강사가 아닌 남성 강사가 맡았을 때 더 긍정적인 평가를 받았습니다. 각기 다른 학생 집단에게 강의가 제공되었기 때문에 강사의 성별이 강의에 대한 학생 집단의 평가와 혼동을 일으켰습니다. 또한 미첼 박사와 마틴 박사는 학생들에게 잘 알려져 있었을 가능성이 높았기 때문에 단순한 성별 정보보다는 강사에 대한 기존의 태도가 이러한 평가에 영향을 미쳤을 가능성이 있습니다. 이 가설을 배제할 수 없다고 해서 이 가설이 타당하다는 의미는 아니라는 점을 서둘러 덧붙이고 싶습니다.  

Another study that varied gender was conducted by Mitchell and Martin (2018). Dr. Kristina Mitchell or Dr. Jonathan Martin, who are faculty members at different colleges, gave an online course of identical content at their respective colleges.2 The course was rated more positively when attributed to a male instructor rather than a female instructor. Because the courses were given to different student populations, gender of instructor was confounded with the student population rating the courses. Furthermore, because Drs. Mitchell and Martin were likely to be known to their students, it seems possible that preexisting attitudes toward these instructors rather than mere gender information could have influenced these ratings. I hasten to add that the fact that we cannot rule out this hypothesis does not mean that it is plausible.

훈련
Discipline

신체적 매력, 인종, 성별에 대해서는 선택의 여지가 없는 반면, 전공 분야는 일반적으로 선택할 수 있습니다. 가르치는 것에 대해 긍정적인 평가를 받고 싶다면 수학, 공학 또는 컴퓨터 과학보다는 인문학이나 언어를 선택해야 한다는 충분한 증거가 있습니다. Centra(2009)는 238,471개 학급의 교육 시험 서비스 데이터를 사용하여 인문학(영어, 역사, 언어) 학급에 비해 자연과학(수학, 공학, 컴퓨터 과학) 학급이 0.30 표준편차 더 낮은 평가를 받았다는 사실을 발견했습니다. 이와 일관되게 Felton 등(2008)은 RMP 연구에서 가장 높은 평가를 받은 학과는 언어학, 사회학, 정치학이었고 공학, 컴퓨터 과학, 화학이 가장 낮은 평가를 받은 학과였다고 보고했습니다. 뉴욕대학교의 영어 및 수학 수업의 SET를 비교한 Uttl과 Smibert(2017)의 연구에서도 비슷한 차이가 발견되었습니다. 영어 수업의 평균 SET는 4.29, 수학 수업의 평균은 3.68이었습니다. SET가 인사 결정에 사용된다는 사실과 일관되게, Uttl과 Smibert(2017)는 정량적 과목을 가르치는 교수가 영어과 동료 교수보다 종신 재직, 승진 또는 성과급을 받을 가능성이 낮다는 사실을 발견했습니다. 
Whereas people have no choice regarding their physical attractiveness, race, or gender, they typically can choose their discipline. There is ample evidence that if they want to receive positive ratings for their teaching, they should choose humanities or languages rather than mathematics, engineering, or computer science. Using Educational Testing Service data from 238,471 classes, Centra (2009) found that compared with classes in humanities (English, history, languages), natural science classes (mathematics, engineering, and computer science) were rated 0.30 standard deviations lower. Consistent with this, Felton et al. (2008) reported from their RMP study that the departments with the highest quality ratings were languages, sociology, and political science, with engineering, computer science, and chemistry as the lowest ranking departments. A similar difference was found by Uttl and Smibert (2017) in a comparison of SETs of English and Math classes at New York University. The average SET of English classes was 4.29; the math average was 3.68. Consistent with the fact that SETs are used for personnel decisions, Uttl and Smibert (2017) found that professors teaching quantitative courses were also less likely than their colleagues in English departments to be tenured, promoted, or given merit pay.

결론
Conclusion

강의에 대한 학생 평가는 강의 효과를 측정하지 않습니다. 또한 강사의 소수자 여부, 외국 억양 및 성별, 가르치는 분야 등 강의의 질과 무관한 여러 요인에 의해 영향을 받습니다. 따라서 대학 관리자가 채용, 급여 인상 및 승진에 관한 결정에 이러한 요소를 사용하는 것은 불공정하고 잠재적으로 불법일 수 있습니다. 실제로 최근 캐나다 라이어슨 대학교와 교수 협회 간의 갈등에 관한 중재 결정(Ryerson University v Ryerson 교수 협회, 2018, CanLII 58446)에서 한 중재인은 "교육 효과성 평가에 관한 한, 특히 임기 및 승진에 관한 한-SET는 기껏해야 불완전하고 최악의 경우 완전히 편향되어 신뢰할 수 없다"고 주장했습니다. 그는 대학이 더 이상 승진 및 임기 결정에서 교수 효과성의 척도로 SET를 사용해서는 안 된다고 선언했습니다. 
Student evaluations of teaching do not measure teaching effectiveness. Furthermore, they are influenced by several factors unrelated to teaching quality such as minority status, foreign accent and gender of instructors, and the discipline they are teaching. This makes their use by university administrators in decisions about hiring, salary increases, and promotions unfair and potentially illegal. In fact, in a recent arbitration decision regarding a conflict between the Canadian Ryerson University and its faculty association (Ryerson University v Ryerson Faculty Association, 2018, CanLII 58446), an arbitrator argued that “insofar as assessing teaching effectiveness is concerned – especially in the context of tenure and promotion—SETs are imperfect at best and downright biased and unreliable at worst.” He decreed that the university should no longer use SETs as a measure of teaching effectiveness in promotion and tenure decisions.

교수에 대한 학생 평가의 편향 효과: 프로세스 모델
The biasing effects of student evaluations of teaching: a process model

이 섹션에서는 채용, 급여 인상, 승진 결정에 SET를 오용하는 것이 부실 교육과 성적 인플레이션의 원인이 될 수 있다고 주장합니다. 대학 관리자는 좋은 SET를 매우 중요하게 생각하기 때문에 교수자에게는 좋은 SET를 얻는 것이 매우 중요합니다. 이는 학생에게 자신이 받는 강의 유형에 영향을 미칠 수 있는 효과적인 도구를 제공합니다. SET가 교육 효과의 유효한 지표이고 학생들이 학습에 대한 필요성에 의해서만 동기를 부여받는다면 이는 문제가 되지 않을 것입니다. 그러나 SET는 교수 효과와 관련이 없고, 앞서 살펴본 바와 같이 상당수의 학생이 열심히 공부하고 많은 것을 배우려는 동기가 없는 것으로 보이며(예: Chiu 외, 2019; Felton 외, 2008; Rosen, 2018), 쉬운 코스와 관대한 채점을 선호하기 때문에 이러한 피드백을 수용하면 교육의 질이 떨어질 가능성이 높습니다. 이 과정을 설명하기 위해 대다수 학생의 동기에 대한 경험적으로 뒷받침되는 가정을 기반으로 한 모델을 제시합니다. 모델을 제시한 후에는 모델에서 가정하는 각 과정을 뒷받침하는 증거를 검토합니다. 
In this section, I argue that this misuse of SETs in decision about hiring, salary increases, and promotions could be the cause of bad teaching and grade inflation. University administrators place great emphasis on good SETs, which makes getting good SETs highly important for instructors. This provides students with an effective tool to influence the type of teaching they receive. This would be no problem if SETs were a valid indicator of teaching effectiveness and if students were motivated only by a need to learn. However, because SETs are unrelated to teaching effectiveness and because—as I show—a sizeable proportion of students does not seem motivated to work hard and to learn a great deal (e.g., Chiu et al., 2019; Felton et al., 2008; Rosen, 2018) and prefers easy courses and lenient grading, their feedback—if accepted—is likely to reduce the quality of teaching. To describe this process, a model is presented that is based on empirically supported assumptions about the motivation of a majority of students. After presenting the model, I review evidence that supports each of the processes assumed by the model.

이 분석은 모든 학생이 좋은 코스 성적을 받는 것을 좋아한다는 가정에서 시작합니다. 또한 이러한 학생들 중 다수는 읽기, 쓰기 및 기타 수업 준비에 너무 많은 시간을 소비하지 않기를 원합니다(그림 2, Chiu 외., 2019, Felton 외., 2008, Rosen, 2018). 일반적으로 상충되는 이러한 목표를 달성하는 한 가지 방법채점을 관대하게 하고 과제를 너무 많이 요구하지 않는 것으로 알려진 교사와 함께 수업을 듣는 것입니다(Johnson, 2003; Sabot & Wakeman-Linn, 1991). 그 결과, 많은 학생들이 노력이 필요하고 좋은 성적이 확실하지 않은 도전적인 과목보다 좋은 성적이 보장되는 쉬운 수업을 선호합니다(예: Bar et al., 2009; Johnson, 2003; Sabot & Wakeman-Linn, 1991). 따라서 학생은 관대하게 채점하고(예: Anderson et al., 1975; Greenwald & Gillmore, 1997a; Griffin, 2004; Olivares, 2001) 너무 많은 노력을 요구하지 않는 교사에게 좋은 SET의 보상을 제공합니다(예: Felton et al., 2008; Rosen, 2018). 

This analysis starts with the assumption that all students like getting good course grades. Many of these students would also prefer not to spend too much time on reading, writing, and other class preparation (Figure 2; Chiu et al., 2019; Felton et al., 2008; Rosen, 2018). One way to achieve these normally conflicting goals is to take classes with teachers who are known to grade leniently and not require too much coursework (Johnson, 2003; Sabot & Wakeman-Linn, 1991). As a result, many students prefer easy classes that promise good grades to challenging courses, where hard work is required and good grades are not a certainty (e.g., Bar et al., 2009; Johnson, 2003; Sabot & Wakeman-Linn, 1991). The students therefore give the reward of good SETs to teachers who grade leniently (e.g., Anderson et al., 1975; Greenwald & Gillmore, 1997a; Griffin, 2004; Olivares, 2001) and do not require too much work (e.g., Felton et al., 2008; Rosen, 2018).

교사는 자신의 코스에서 좋은 점수를 받기를 원할 뿐만 아니라 좋은 점수가 승진 및 성과급 상승에 중요하다는 것을 알고 있기 때문에 쉬운 코스를 제공하고 관대하게 채점하려는 인센티브가 생깁니다(Birnbaum, 2000; Keng, 2018; Moore & Trahan, 1998; Ryan et al., 1980; Simpson & Siguaw, 2000). 인센티브가 강할수록 부서에서 사용하는 비교 수준이 더 엄격해집니다(예: 강사는 부서 평균 이상의 점수를 받아야 하는가, 아니면 70번째 백분위수 이상의 점수를 받아야 하는가?). 비교 그룹은 학과입니까, 교수진입니까, 아니면 대학 전체입니까?). 이 과정의 가장 근거리적인 결과는 SET가 종종 부실한 강의와 관대한 채점에 대해 보상한다는 것입니다. 이러한 하위권 경쟁의 보다 원초적인 효과는 성적 인플레이션입니다. 
Teachers not only like their courses to receive good SETs but also know that good SETs are important for promotion and merit increases, which creates an incentive to offer easy courses and to grade leniently (Birnbaum, 2000; Keng, 2018; Moore & Trahan, 1998; Ryan et al., 1980; Simpson & Siguaw, 2000). The stronger the incentive, the stricter the comparison levels used in a department (e.g., Are instructors required to score above the mean of the department, or even above the 70th percentile? Is the comparison group the department, the faculty, or the whole university?). The most proximal result of this process is that SETs often reward poor teaching and lenient grading. The more distal effect of this race to the bottom is grade inflation.

이 모델은 미국 대학교육의 가장 큰 역설, 즉 GPA는 수십 년 동안 증가했지만(Rojstaczer, 2015) 대학생들이 더 열심히 일하거나 대학에 더 적합한 자격을 갖추지 못했다는 사실에 대한 설명을 제공합니다.3 반대로 SAT 점수는 하락 추세를 보이고 있으며(예: Adams, 2015; Washington Post, 2015) 오늘날 학생들은 수십 년 전보다 학업에 더 적은 시간을 소비하고 있습니다(예: Arum & Roksa, 2011; Babcock & Marks, 2011). 심지어 대학 교육이 수십 년 전보다 오늘날 비판적 사고, 복잡한 추론, 작문 능력의 향상을 저해한다는 증거도 있습니다(Arum & Roksa, 2011; Pascarella 외., 2011). 여기에 제시된 간단한 프로세스 모델에 따르면, SET의 광범위한 사용은 이러한 효과의 주요 원인입니다. 
This model offers an explanation for the great paradox of American university education—namely, that GPAs have increased for decades (Rojstaczer, 2015), yet university students have not become more hardworking or better qualified for college.3 On the contrary, SAT scores show a downward trend (e.g., Adams, 2015; Washington Post, 2015), and students spend less time on academic pursuits today than they did a few decades ago (e.g., Arum & Roksa, 2011; Babcock & Marks, 2011). There is even evidence to suggest that a college education results in a lower gain in critical thinking, complex reasoning, and writing skills today than it did several decades ago (Arum & Roksa, 2011; Pascarella et al., 2011). According to the simple process model suggested here, the widespread use of SETs is a major cause of these effects.

편향의 원인: 증거
Causes of bias: the evidence

이 섹션에서는 좋은 성적과 쉬운 코스에 대한 학생의 선호가 어떻게 SET를 편향시키고 코스 선택에 영향을 미치는지에 대해 설명합니다. Stroebe(2016)의 연구를 바탕으로 다음의 네 가지 명제에 대한 증거가 제시됩니다. 

  • (a) 학생은 좋은 성적에 긍정적인 SET를 보상한다,
  • (b) 학생은 쉬운 코스에 긍정적인 SET를 보상한다,
  • (c) 학생은 좋은 성적을 약속하는 코스를 선택한다,
  • (d) 교수자는 좋은 SET를 원한다(필요로 한다)

This section discusses how students’ preference for good grades and easy courses biases SETs and influences course choices. Building on Stroebe (2016), evidence for four propositions is presented:

  • (a) Students reward good grades with positive SETs,
  • (b) students reward easy courses with positive SETs,
  • (c) students choose courses that promise good grades, and
  • (d) instructors want (need) good SETs.

학생은 좋은 성적에 대해 긍정적인 SET로 보상합니다.
Students reward good grades with positive SETs

Anderson 등(1975)은 간단한 연구를 통해 이러한 편향을 입증했습니다. 그들은 한 수업에서 두 번, 즉 수업의 첫 번째 세션이 끝날 때와 마지막 세션이 끝날 때, 그리고 기말 시험 전에 기대 성적과 SET를 모두 평가했습니다. 그런 다음 참가자들을 성적 기대치가 더 나빠진 그룹, 좋아진 그룹, 동일하게 유지된 그룹으로 나누었습니다. 편향 해석을 뒷받침하는 결과, 강사와 코스에 대한 전반적인 평가는 성적 기대치가 높아질수록 향상되었고, 성적 기대치가 낮아질수록 크게 감소했습니다. 학부 경영학 과정 학생 499명을 대상으로 한 Clayson 등(2006)의 연구에서도 동일한 패턴이 보고되었습니다. 10주차에 그리고 16주차에 학생들은 강사와 기대 성적을 평가하도록 요청받았습니다. Anderson 등의 연구 결과와 마찬가지로, Clayson 등은 기대 성적의 변화가 강사에 대한 학생의 평가 변화와 연관되어 있음을 발견했습니다. 
Anderson et al. (1975) demonstrated this bias with a simple study. They assessed both grade expectations and SET twice in a class, once at the end of the first session of a class and again in the last session, but before the final exam. They then divided their participants into those whose grade expectations became worse, improved, or remained the same. In support of a bias interpretation, the overall ratings of instructor and course improved with improving grade expectations and decreased substantially with decreasing grade expectations. The same pattern was reported by Clayson et al. (2006) in a study of 499 students of undergraduate business courses. At Week 10 and again at Week 16, students were asked to evaluate their instructors and their expected grades. In line with the findings of Anderson et al., Clayson et al. found changes in expected grades to be associated with corresponding changes in students’ evaluation of their instructor.

웰슬리 대학이 관대한 학점을 부여하는 학과에 성적 상한선을 도입했을 때도 비슷한 패턴이 관찰되었습니다(Butcher 외., 2014). 2000년대 초, 웰슬리의 교수진과 행정부는 성적 인플레이션으로 인해 학교의 신뢰도가 위협받고 있다고 판단했습니다. 일반적으로 학점 인플레이션은 주로 인문사회과학 분야에서 문제가 되었지만 이공계 학과에는 영향을 미치지 않았습니다. 이 대학은 입문 및 중급 과정에서 평균 학점이 B+(3.33)를 넘지 않아야 한다는 규칙을 제정했습니다. 성적 상한제는 평균 학점을 낮추는 데는 효과적이었지만 교수 평가도 낮아지는 예상치 못한 부작용을 낳았습니다. 교수를 강력 추천하는 학생의 비율이 5% 감소하고, 중립 및 추천하지 않음 항목이 증가했습니다. Butcher 등(2014)은 "채점 정책으로 인해 평균 학점이 낮아지자 학생들이 교수에 대한 만족도가 낮아졌다는 결과가 강력하게 나타납니다."(200페이지)라고 결론지었습니다. 2019년에 이 대학은 이 채점 정책을 폐지했습니다 (https://www.wellesley.edu/registrar/grading/grading_policy). 

A similar pattern was observed when Wellesley College introduced a grade ceiling for lenient-grading departments (Butcher et al., 2014). In the early 2000s, the faculty and administration at Wellesley decided that the credibility of the institution was threatened by grade inflation. As is generally the case, grade inflation was mainly a problem in the humanities and social sciences but did not affect science departments. The college instituted the rule that the average grade must not exceed a B+ (3.33) in introductory and intermediate courses. Although the grade ceiling was effective in lowering average grades, it had the unexpected side effect that it also lowered faculty ratings. The percentage of students strongly recommending their professor decreased by 5%, and there was an increase in neutral and do not recommend categories. As Butcher et al. (2014) concluded, “The results strongly indicate that students were less pleased with their instructors, when the grading policy lowered average grades” (p. 200). In 2019, the college rescinded this grading policy (https://www.wellesley.edu/registrar/grading/grading_policy).

경영대학원 필수 수업에 성적 상한선을 도입한 한 대형 주립대학에서 실시한 연구에서도 비슷한 결과가 보고되었습니다(Gorry, 2017). 성적 상한선은 입문 과정에서는 2.8점, 중급 과정에서는 3.2점으로 설정되었습니다. 두 상한선 모두 평균 성적을 낮추는 데 효과적이었습니다. 그러나 상한선을 2.8로 설정하면 코스 평가가 크게 낮아지고 자퇴 횟수도 증가한 반면, 상한선을 높게 설정하면 코스 평가에 미치는 영향은 훨씬 작았습니다. 
Similar findings were reported from a study conducted at a large state university where grade ceilings were introduced in required business school classes (Gorry, 2017). The grade ceiling was set at 2.8 in introductory courses and at 3.2 in intermediate courses. Both ceilings were effective in lowering average grades. But while the 2.8 ceiling significantly lowered course evaluations and also increased the number of withdrawals, the effect of the higher ceiling on course evaluation was much smaller.

SET가 성적 기대치에 의해 편향된다는 가설에 대한 추가 지원은 Greenwald와 Gillmore(1997a)의 연구에서 나옵니다. 이 연구자들은 교수의 질과는 관련이 없는 세 가지 항목을 SET에 추가했습니다. 학생들은 강사의 필체의 가독성, 목소리의 명료성, 강의실 시설의 질을 평가해야 했습니다. 편향 해석에 따라 연구진은 기대 성적과 이러한 항목에 대한 평가의 긍정성 간에 양의 상관관계가 있음을 발견했습니다. 모든 학생이 같은 목소리를 듣고, 같은 글을 읽고, 같은 교실에서 수업을 들었기 때문에 이러한 학급 내 상관관계가 발견되었다는 것은 성적에 대한 기대치가 이러한 평가에 편향성을 가졌음을 시사합니다. 또한 학급 간 분석에서는 이러한 상관관계를 관찰할 수 없었으며, 이는 이러한 자질이 교수 효과와 관련이 없다는 가정을 더욱 뒷받침합니다. 
Further support for the hypothesis that SETs are biased by grade expectations comes from a study by Greenwald and Gillmore (1997a). These researchers added three items to an SET that were fairly unrelated to teaching quality. Students had to rate the legibility of the instructor’s handwriting, the audibility of his or her voice, and the quality of classroom facilities. In line with a bias interpretation, they found a positive correlation between expected grades and the positiveness of ratings on these items. Because all students heard the same voice, read the same writing, and worked in the same classroom, the finding of this within-class correlation suggests that grade expectations biased these evaluations. Furthermore, this correlation could not be observed for between-class analyses, which further supports the assumption that these qualities were unrelated to teaching effectiveness.

편향성 설명에 대한 보다 직접적인 증거는 올리바레스(2001)에 의해 제공되었는데, 그는 채점에 대한 관대함을 SET와 연관시켰습니다. 149명의 학생과 동일한 강사가 가르치는 두 학부 과정의 7개 섹션을 대상으로 한 연구에서 다음과 같은 질문을 통해 인식된 채점 관대함을 직접 측정했습니다: "지금까지 수강한 다른 모든 대학 강사와 비교했을 때, 이 강사의 채점을 어떻게 평가하시겠습니까?" 응답 척도는 매우 엄격함/엄격함부터 매우 쉬움/관대함까지 다양했습니다. 학기 말에 실시한 측정에서 채점 관용도는 교수자의 전체 평점(r = .45)과 여러 항목으로 구성된 SET 척도(r = .45) 모두와 상관관계가 있는 것으로 나타났습니다. 그리핀(2004)은 39개 교육 과정에 등록한 754명의 학부생을 대상으로 한 연구에서 이보다 다소 낮은 상관관계를 보고했습니다. 채점 관대함은 "이 교수자는 관대하거나 쉬운 채점자이다(매우 동의함부터 매우 동의하지 않음까지)"라는 문항으로 평가되었습니다. 모든 SET 평점의 평균과의 상관관계는 r = .23으로 Olivares(2001)의 연구보다 낮았습니다. 그러나 두 연구에서 모두 채점에 대한 관대함이 교수자 평가와 양의 상관관계를 보였으며, 이는 교수자가 관대하게 채점함으로써 강의 평가를 개선할 수 있어야 함을 시사합니다. 
Even more direct evidence for a bias explanation has been provided by Olivares (2001), who related perceived grading leniency to SETs. In a study based on 149 students and seven sections of two undergraduate courses taught by the same instructor, perceived grading leniency was measured directly with the following question: “Compared to all other college instructors you have had, how would you rate this instructor’s grading?” The response scale ranged from much harder/strict grader to much easier/lenient grader. In measures taken at the end of the semester, grading leniency correlated with both the global rating of the instructor (r=.45) and the multiple-items SET scale (r=.45). A somewhat lower correlation was reported by Griffin (2004) in a study based on 754 undergraduate students enrolled in 39 education courses. Grading leniency was assessed with the statement, “This instructor is a lenient/easy grader (strongly agree to strongly disagree).” The correlation with the average of all SET ratings was r=.23 and thus lower than in the study of Olivares (2001). However, in both studies, perceived grading leniency was positively correlated with instructor evaluation, suggesting that instructors should be able to improve their teaching ratings by grading leniently.

교수자가 관대하게 채점하거나 코스 요구 사항을 낮추고 싶지 않은 경우 다른 전략을 사용하여 SET를 개선할 수 있습니다. Youmans와 Jee(2007)의 연구에 따르면, 한 세트의 수업 중 절반은 세트에 응답해야 하는 날 초콜릿 바를 받았습니다. 초콜릿 바를 제공한 사람은 수업 강사와는 무관한 사람으로, 다른 기능에서 초콜릿 바를 가져온 것으로 추정됩니다. 초콜릿을 받은 학급의 평균 SET 점수가 더 높았습니다(4.07점 대 3.85점). 수업의 절반에게 첫 번째 세션에서 쿠키를 제공한 후 해당 세션의 강의 품질을 평가하도록 한 연구에서도 비슷한 평가 차이가 관찰되었습니다(Hessler et al., 2018). 
If instructors do not want to grade leniently or lower their course requirements, they can use other strategies to improve their SETs. In a study by Youmans and Jee (2007), half of a set of classes were treated with chocolate bars on the day they had to respond to the SET. The person giving the chocolate bars was independent of the class instructor and (allegedly) had these bars over from another function. The average SET score was higher for the classes receiving chocolate (4.07 vs. 3.85). A similar difference in ratings was observed in a study where half of the classes were given cookies during a first session and then had to evaluate the teaching quality of that session (Hessler et al., 2018).

학생들은 쉬운 코스에 좋은 SET로 보상
Students reward easy courses with good SETs

이 제안에 대한 지지는 주로 앞서 설명한 RMP 웹사이트의 연구에서 비롯됩니다. 이 웹사이트에서는 관대한 채점이라는 측면에서 '쉬움'이 명확하게 정의되어 있습니다. 학생들은 스스로에게 "이 교수가 가르치는 수업이 얼마나 쉬운가? 많은 노력 없이도 A를 받을 수 있는가?"라고 질문하도록 되어 있습니다. Easiness은 RMP 연구에서 교수 효과 평가의 강력한 예측 인자로 일관되게 밝혀졌습니다(Boehmer & Wood, 2017; Felton et al., 2008; Johnson & Crews, 2013; Rosen, 2018). 앞서 설명한 Felton 등(2008)의 연구에서 품질과 Easiness은 r = .62의 상관관계를 보였습니다. 학생들은 많은 노력 없이도 우수한 성적을 받을 수 있는 코스를 많은 시간과 노력이 필요한 코스보다 더 긍정적으로 평가했습니다. 뛰어난 교사가 아무리 어려운 내용도 쉽게 이해할 수 있도록 가르친다면 난이도가 교육의 질에 따른 결과일 수 있다고 주장할 수도 있지만, 이러한 해석은 난이도를 정의하는 방식과 일치하지 않을 수 있습니다. 또한 RMP에서는 학생이 교수에 대한 코멘트를 작성하여 자신의 평가를 정당화할 수 있으며, "'Easiness' 점수가 높은 교수는 일반적으로 업무량이 적고 학점이 높다는 코멘트를 받았습니다."(Felton 외., 2008, 40쪽). 이러한 결과는 Rosen(2018)에 의해 전반적인 품질과 Easiness 간의 상관관계가 r = .61로 나타나 펠튼 등이 보고한 상관관계와 거의 동일하게 재현되었습니다. Boehmer와 Wood(2017)와 Johnson과 Crews(2013)의 RMP 연구에서도 유사한 상관관계(각각 .66 및 .62)가 보고되었습니다. 앞서 설명한 RMP 연구에서 Timmerman(2008)이 보고한 난이도 평가와 교수자를 추천하는 학생의 비율 간의 상관관계는 r = .35로 다소 낮았습니다. 
Support for this proposition comes mainly from studies of the RMP website described earlier. On that website, easiness is clearly defined in terms of lenient grading. Students are instructed to ask themselves, “How easy are the classes this professor teaches? Is it possible to get an A without much work”? Easiness is consistently found to be a strong predictor of the evaluation of teaching effectiveness in RMP studies (Boehmer & Wood, 2017; Felton et al., 2008; Johnson & Crews, 2013; Rosen, 2018). In the study by Felton et al. (2008), described earlier, quality and easiness correlated at r = .62. Students rated courses that enabled them to get excellent grades without doing much work more positively than courses that required a great deal of time and effort. Although one could argue that easiness might be a consequence of quality, with brilliant teachers making even the most difficult material easy to understand, this interpretation would be inconsistent with the way easiness is defined. Furthermore, RMP allows students to write comments about a professor to justify their ratings and “professors with high ‘Easiness’ scores usually received comments regarding a low workload and high grades” (Felton et al., 2008, p. 40). These findings were replicated by Rosen (2018) with a correlation between overall quality and easiness of r = .61 that is practically identical to the correlation reported by Felton et al. RMP studies by Boehmer and Wood (2017) and Johnson and Crews (2013) reported similar correlations (.66 and .62, respectively). A somewhat lower correlation of r=.35 between easiness ratings and the percentage of students recommending an instructor was reported by Timmerman (2008) in the RMP study described earlier.

3,799개 대학의 교수 85,306명의 데이터를 사용한 또 다른 RMP 연구에서는 상위권 대학에서 Easiness과 품질 간의 상관관계가 다소 약한 것으로 나타났습니다(Chiu et al., 2019). 이 연구자들은 2016년 Forbes의 미국 상위 200개 대학 분류(http://www.forbes.com/top-colleges)를 사용하여 표본의 대학을 상위 또는 비상위 기관으로 분류했습니다. 연구진은 쉬운 코스가 더 높은 수준으로 평가된다는 강력한 주 효과를 재현했지만, 대학 분류와 상호작용하기 쉬운 정도도 발견했습니다: 상위권 대학의 학생들은 비 상위권 대학의 학생들보다 쉬운 코스의 질에 대해 약간 덜 긍정적으로 평가했지만(각각 4.0점 대 4.13점), 어려운 코스는 약간 더 긍정적으로 평가했습니다(각각 3.37점 대 3.27점). 이러한 (소소한) 효과에 대한 가장 그럴듯한 해석은 상위권 대학이 더 열심히 노력하려는 학생들을 끌어들여 더 어려운 과목에 더 잘 대처할 수 있게 한다는 것입니다. 
The association between easiness and quality was found to be somewhat weaker at top universities in another RMP study using data of 85,306 professors from 3,799 colleges and universities (Chiu et al., 2019). These researchers used the 2016 Forbes classification of top 200 U.S. colleges and universities (http://www.forbes.com/top-colleges) to classify the colleges and universities of their sample into top or nontop institutions. Although they replicated the strong main effect that easy courses were rated as having a higher quality, they also found easiness to interact with their college classification: Students at top colleges evaluated easy courses slightly less positively on quality than students from nontop colleges (4.0 vs. 4.13, respectively) but rated difficult courses slightly more positively (3.37 vs. 3.27, respectively). The most plausible interpretation of these (minor) effects is that top colleges attract students who are more willing to work hard, which enables them to cope better with more difficult courses.

일부 연구자들은 RMP 등급이 대학 SET 등급과 동등한지 의심하기 때문에(예: Legg & Wilson, 2012; Murray & Zdravkovic, 2016), 이러한 동등성이 여기에 제시된 주장에 필수적인 것은 아니라는 점에 유의하는 것이 중요합니다. 학생 평가에서 'Easiness'이 코스의 '품질'에 대한 평가와 높은 상관관계가 있는 것으로 나타났다는 사실은 이 두 가지 차원이 학생들의 마음속에 밀접하고 긍정적으로 연관되어 있다는 충분한 증거입니다. 
Because some researchers doubt that RMP ratings are equivalent to ratings on university SETs (e.g., Legg & Wilson, 2012; Murray & Zdravkovic, 2016), it is important to note that this equivalence is not essential for the argument presented here. The fact that “easiness” has been found to be highly correlated with evaluations of the “quality” of a course in students’ ratings is sufficient evidence that the two dimensions are closely and positively associated in the minds of these students.

학생들은 좋은 성적을 약속하는 코스를 선택합니다.
Students choose courses that promise good grades

경제학자 새뮤얼슨(1948)이 개척한 공개 선호 이론에 따르면 소비자의 선호도는 구매 행동으로 드러날 수 있습니다. 이 이론은 코스 선택에도 적용되어야 하므로, 관대하게 채점하는 교사의 코스에 대한 학생의 선호도는 코스 선택을 통해 드러나야 합니다. 초기 연구에서 Sabot과 Wakeman-Linn(1991)은 학생들이 한 학과에서 두 번째 과목을 수강할 가능성을 첫 번째 과목에서 받은 성적의 함수로 평가했습니다. 경제학을 전공할 의향이 없었지만 해당 학과의 과목을 수강한 적이 있는 학생 중 경제학 입문 과목에서 A가 아닌 B를 받은 경우 두 번째 과목을 수강할 확률이 18% 낮았고, C를 받은 경우 28% 낮았습니다. 
According to the revealed preference theory pioneered by the economist Samuelson (1948), the preferences of consumers can be revealed by their purchasing behavior. Because this theory should also apply to course choices, the preference of students for courses of teachers who grade leniently should be revealed by their course choice. In an early study, Sabot and Wakeman-Linn (1991) assessed the likelihood that students took a second course in a department as a function of the grades they received in their first course. Of students who did not intend to major in economics but had taken a course in that department, the probability of taking a second course was 18% lower if they received a B rather than an A and 28% lower if they received a C in an introductory course in economics.

마찬가지로 Johnson(2003)은 이전 학기에 수강한 과목의 평균 성적에 대한 정보를 제공한 종단 연구에서 이러한 정보가 학생의 향후 선택에 영향을 미친다는 사실을 발견했습니다. 한 학생이 두 명의 강사가 가르치는 과목 중 한 과목의 평균 학점이 A-이고 다른 과목의 평균 학점이 B인 경우, 학생이 두 번째 과목보다 첫 번째 과목을 선택할 확률은 2대 1이었습니다. 마지막으로, 물리 및 생명 과학 분야의 졸업에 대한 지속성에 대한 연구에서 Ost(2010)는 과학 과목보다 비과학 과목에서 더 높은 성적을 받은 학생이 선택한 과학 분야에서 더 높은 성적을 받은 학생보다 과학을 전과할 가능성이 더 높다는 것을 발견했습니다.
Similarly, in a longitudinal study that provided information about the extent to which students informed themselves about the average grade of courses taught in the previous semesters, Johnson (2003) found that this information influenced students’ future choices. If a student had a choice between courses taught by two instructors, one course having a GPA of A– and the other having a GPA of B, the odds that a student would choose the first course over the second were 2 to 1. Finally, in a study of persistence toward graduating in the physical and life sciences, Ost (2010) found that students who received higher grades in their nonscience courses than their science courses were more likely to transfer out of the sciences than were students who received higher grades in their chosen science field.

관대하게 채점된 코스에 대한 학생들의 "드러난 선호도"에 대한 추가 증거는 코넬 대학교의 연구에서 나옵니다(Bar 외., 2009). 이 대학은 1998년부터 모든 과목의 중간 성적을 웹사이트에 게시하고 학생의 성적표에 이를 기재하기로 결정했습니다. 이 대학은 "성과에 대한 정확한 인식을 통해 학생들이 중간 성적이 상대적으로 낮은 과목을 수강하도록 장려할 수 있을 것"이라고 기대했습니다(94페이지). 하지만 이 희망은 실현되지 않았습니다. 실제로 이 웹사이트를 도입한 후 중앙값이 A인 과목의 비율이 16% 증가했습니다. 그러나 더욱 놀라운 것은 이러한 강좌에 등록한 학생의 비율이 42% 증가했다는 것입니다. 그러나 이러한 증가는 주로 평균 이하의 학생들 때문이었습니다. SAT 점수 기준 상위 20%에 해당하는 고능력 학생은 이러한 관대한 채점 방식의 강좌에 매력을 느끼지 못했습니다. 
Further evidence for students’ “revealed preference” for leniently graded courses comes from a study at Cornell University (Bar et al., 2009). This university decided as of 1998 to publish median grades for all courses on a website and to mention them in students’ transcripts. The university hoped that a more “accurate recognition of performance may encourage students to take courses in which the median grade is relatively low” (p. 94). This hope was not supported. In fact, the proportion of courses with an A median increased by 16% after the introduction of this website. But even more striking, the proportion of students who enrolled in such courses increased by 42%. However, this increase was mainly due to students of average or lower ability. High-ability students—in the top 20% according to their SAT scores—were less attracted by these leniently graded courses.

교수자가 좋은 SET 점수를 원한(필요로 한)다
Instructors want (need) good SETs

좋은 성적과 적은 학습량을 약속하는 코스에 대한 학생의 선호가 코스 성적에 영향을 미치려면 교수자가 이러한 선호를 채택하여 교수자의 선호로 전환해야 합니다. 앞서 언급했듯이 이러한 전환의 매개체는 바로 SET입니다. 학생과 교수진은 암묵적인 협상 상황에 놓여 있으며, 양측 모두 상대방에게 가치 있는 '좋은 것'을 가지고 있습니다. 교수진은 좋은 성적과 쉬운 코스를 제공할 수 있고, 학생은 긍정적인 SET를 제공할 수 있습니다. 교육의 질은 교수 평가의 중요한 측면이며, 앞서 언급했듯이 SET는 종종 교육의 질을 나타내는 주요 지표로 사용됩니다. 학생들이 좋아하고 많은 것을 배울 수 있는 코스를 만들기 위해 최선을 다했을 가능성이 높은 교사에게 낮은 평가를 받는 것은 불쾌한 경험이 될 수 있습니다. 낮은 SET는 교사의 종신 재직 또는 성과급 인상 기회를 감소시킬 수 있다는 사실 때문에 이러한 경험을 더욱 불쾌하게 만듭니다. 따라서 바람직한 행동에 대한 보상과 바람직하지 않은 행동에 대한 처벌이라는 SET의 분배 권한은 학생들이 교사의 행동을 형성할 수 있도록 합니다. 
For students’ preferences of courses that promise good grades and low workloads to influence course grades, these preferences must be adopted by faculty members and transformed into faculty preferences. As mentioned earlier, the medium of this transfer is the SET. Students and faculty are in an implicit negotiation situation, where each side has a “good” that is valuable to the other side. Faculty can provide good grades and easy courses, and students can provide positive SETs. Teaching quality is an important aspect of faculty evaluation and, as mentioned earlier, SETs are often used as major indicator of teaching quality. Receiving poor ratings is an unpleasant experience for teachers who are likely to have done their best to produce courses that students enjoy and in which they learn a great deal. The fact that poor SETs might decrease a teacher’s chance of tenure or of a merit salary increase makes this experience even more unpleasant. Thus, the power of dispensing SETs—to reward desirable and to punish undesirable behavior—enables students to shape faculty behavior.

불안정한 지위에 있는 교수진(예: 젊은 테뉴어 트랙 교수진)은 특히 관대한 채점을 통해 자신의 강의에 대한 평점을 개선하려는 동기를 갖게 된다는 증거가 있습니다. 한 중형 주립대학의 연구에 따르면 종신직과 비종신직이 가르치는 수업의 평점 차이는 0.5점 정도였으며, 비종신직이 더 좋은 성적을 받은 것으로 나타났습니다(Moore & Trahan, 1998). 대만 대학에서 실시한 연구에서 Keng(2018)도 비슷한 결과를 보고했습니다. 
There is evidence that faculty members in precarious positions (e.g., young tenure track faculty) will be particularly motivated to improve the ratings they receive for their course by grading leniently. A study at a medium-sized state university showed a difference in the GPA of classes taught by tenured versus untenured staff of half a grade point, with untenured staff giving better grades (Moore & Trahan, 1998). Similar results were reported by Keng (2018) in a study conducted at a Taiwan university.

긍정적인 SET에 대한 교수진의 선호도는 의도적 경로와 비의도적 경로라는 두 가지 경로를 통해 교수자의 교육에 영향을 미칠 수 있습니다. 교수자를 대상으로 한 설문조사에 따르면 많은 교수자가 학생들이 관대하게 채점되고 쉬운 코스를 선호한다는 사실을 알고 있습니다(예: Birnbaum, 2000; Ryan et al., 1980; Simpson & Siguaw, 2000). 예를 들어, 캘리포니아 주립대 풀러턴 캠퍼스에서 Birnbaum(2000)이 실시한 소규모 설문조사에 응답한 교수진의 65%는 기준을 높이고 내용을 늘리면 교수 평가가 낮아진다고 생각했지만, 45%는 학생 학습이 향상될 것이라고 생각했습니다. 심지어 일부는 SET를 개선하기 위해 전략적으로 업무량을 줄이고 채점에 관대함을 사용했다고 인정했습니다. 72%는 SET를 사용하면 교수진이 강의 내용을 축소할 것이라고 생각했습니다. 
Faculty preference for positive SETs can influence faculty teaching by two routes—namely, a deliberate and a nondeliberate route. Surveys of instructors indicate that many teachers are aware of students’ preference for leniently graded, easy courses (e.g., Birnbaum, 2000; Ryan et al., 1980; Simpson & Siguaw, 2000). For example, 65% of the faculty members who responded to a small survey conducted by Birnbaum (2000) at the California State University, Fullerton, believed that raising standards and increasing content lowered teaching evaluation, even though 45% thought that it would increase student learning. Some even admitted using strategic workload reduction and grading leniency to improve their SETs. Seventy-two percent believed that the use of SETs would encourage faculty members to water down the content of their course.

실제로 위스콘신대학교 라크로스 캠퍼스에서 실시한 소규모 설문조사에 응답한 교수진의 22%는 SET의 도입으로 인해 코스에서 다루는 자료의 양을 줄이게 되었다고 답했으며, 38%는 난이도를 낮췄다고 인정했습니다(Ryan et al., 1980). 마지막으로, 안타깝게도 응답률이 매우 낮았던 마케팅 과학 아카데미 회원을 대상으로 한 웹 기반 설문조사에서는 응답자에게 동료가 SET에 영향을 미치기 위해 사용한 전략의 이름을 말하도록 요청했습니다. 가장 자주 언급된 전략은 관대한 채점이었습니다. 시험 당일에 쿠키, 스낵, 피자를 제공하는 것도 자주 언급되었습니다. 앞서 설명한 것처럼 이러한 전략은 모두 효과적일 가능성이 높습니다. 교사들이 자신의 평가를 높일 수 있는 기법을 충분히 알고 있다면, 특히 낮은 평가를 받은 교사들 중 일부는 이러한 전략을 채택하고 싶은 유혹을 받을 것입니다. 
In fact, 22% of faculty respondents to a small survey conducted at the University of Wisconsin–La Crosse indicated that the introduction of SETs had induced them to decrease the amount of material covered in their course, and 38% admitted to lowering the difficulty level (Ryan et al., 1980). Finally, a web-based survey of members of the Academy of Marketing Science, which unfortunately had an extremely low response rate, asked respondents to name strategies that their colleagues had used to influence SETs. The most frequently mentioned strategy was grading leniency. Another frequently mentioned technique was serving cookies, snacks, or pizza on the day of the exam. As discussed earlier, all of these strategies are likely to be effective. If teachers are fully aware of techniques that could raise their evaluations, some of those receiving poor evaluations will be tempted to adopt these strategies, particularly if they are still untenured.

또한 학생은 교수자와 학생 중 어느 한쪽이 완전히 인식하지 못하는 사이에 원하는 방향으로 교수자의 행동을 변화시킬 수 있습니다.

  • 코스에 대한 낮은 평가를 받은 교수자는 평가를 개선하기 위해 어떻게 해야 하는지 몇 명의 학생에게 물어볼 수 있습니다. 학생은 너무 많은 자료가 제시되고 토론 시간이 너무 짧았다고 불평할 수 있습니다. 또한 수강 중인 다른 수업에 비해 이 특정 코스에 너무 많은 독서가 필요하다고 언급할 수도 있습니다.
  • 교수진은 '올해의 교사상'을 받은 동료가 이론과 연구 결과를 생생하게 보여주기 위해 몇 편의 영화를 보여준다는 사실을 더 알아차릴 수도 있습니다. 따라서 교수진은 자신의 SET를 개선하기 위해 강의에 제시되는 자료를 줄여 토론 시간을 만들고, 읽기 요구 사항을 줄이며, 강의를 더 매력적으로 만들기 위해 영화를 상영하기로 결정할 수 있습니다.

이러한 모든 변화는 학생들의 작업량을 상당히 줄여주고 훨씬 적은 양의 자료를 다루는 시험에서 좋은 성적을 거둘 가능성을 높여줍니다. 
Students can also shape the behavior of faculty members in a desired direction without either side being fully aware of doing so.

  • After receiving poor evaluations for a course, a faculty member might ask a few students what he or she should do to improve ratings. Students might complain that too much material was presented and there was too little time for discussion. They might also mention that too much reading was required for this particular course compared with other classes they were taking.
  • The faculty member might further realize that colleagues who receive “Teacher of the Year” awards show a few films to bring theories and findings to life. To improve his or her SETs, the faculty member might therefore decide to reduce the material presented in lectures to create time for discussion, to reduce reading requirements, and to show films to make lectures more attractive.

All of these changes will considerably reduce students’ workload and increase the chances that they will do well in exams that will cover much less material.

Uttl 등(2017)이 논의한 것처럼, 실제로 일부 SET 지지자들이 염두에 두고 있던 것이 바로 이 점이라는 점이 흥미롭습니다. 아브라미와 아폴로니아(1990)가 주장했듯이,
It is interesting to note that, as Uttl et al. (2017) discussed, this is actually what some proponents of SETs had in mind. As Abrami and Apolonia (1990) argued,

너무 높은 학업 기준은 너무 낮은 학업 기준만큼이나 학생의 학습에 해로울 수 있습니다. 좋은 교수법의 과학적 기술은 학생들이 배울 수 있는 것과 학생들이 기대할 수 있는 것 사이의 균형을 찾는 것입니다. 평가는 이를 잘 수행하는 강사를 식별하는 데 도움이 된다고 믿습니다. (p. 520) 
academic standards that are too high may be as detrimental to the learning of students as academic standards that are too low. The art of science of good teaching is finding the balance between what students might learn and what students are capable of leaning. We believe that ratings help identify those instructors who do this well. (p. 520)

따라서 한 과목에서 가르쳐야 할 양을 결정해야 하는 것은 대학의 학문적 수준이나 학문을 습득하는 데 필요한 지식이 아니라 학생들이 과목에 기꺼이 노력을 투자하려는 의지와 그 내용을 습득할 수 있는 능력입니다. 그리고 이러한 지침을 기꺼이 따르는 교사만이 좋은 교수 평가를 받을 수 있습니다. 
So it is not the academic standard of a university or the knowledge that is required for mastering a discipline that should determine the amount that needs to be taught in a course but students’ willingness to invest effort in a course and their ability to master the material. And only teachers, who are willing and able to follow these guidelines will be rewarded with good teaching evaluations.

성적 인플레이션: 증거
Grade inflation: the evidence

대규모 사립 및 공립 대학 표본의 GPA 변화에 대한 광범위한 연구에서 Rojstaczer(2015; Rojstaczer & Healy, 2010)는 1930년대와 1940년대 이후 성적이 서서히 상승하고 있다는 사실을 발견했습니다. 그러나 1960년대에 가파른 상승세를 보이다가 1970년대에 평준화되었습니다(그림 3). 이러한 증가는 베트남 전쟁과 성적이 저조한 학생들이 징집되지 않도록 보호하고자 하는 바람 때문인 경우가 많았습니다(Rojstaczer & Healy, 2010). 1980년대에는 SET가 교수 평가의 주요 정보원이 되면서(Seldin, 1998), 10년에 0.10~0.15점의 비율로 성적이 다시 상승하기 시작했습니다. 이러한 증가는 공립 대학보다 사립 대학에서 훨씬 더 가파르게 나타났습니다. 로이스타처는 이러한 증가의 원인을 세 가지로 꼽았습니다:

  • (a) 수업에 대한 학생 평가가 의무화되었고,
  • (b) 학생들이 점점 더 진로에 집중하게 되었으며,
  • (c) 등록금 상승률이 가계 소득을 앞질렀습니다.

In an extensive study of changes in GPAs of a large sample of private and public universities, Rojstaczer (2015; Rojstaczer & Healy, 2010) found that grades have been slowly rising since the 1930s and 1940s. However, there was a steep increase in the 1960s that leveled off in the 1970s (Figure 3). This increase has often been attributed to the Vietnam War and the wish to protect poorly performing students from being drafted (Rojstaczer & Healy, 2010). In the 1980s, the time when SETs became major information sources in faculty evaluations (Seldin, 1998), grades began to rise again at a rate of 0.10 to 0.15 GPA points per decade. These increases were much steeper for private than for public universities. Rojstaczer attributed this increase to three factors:

  • (a) Student evaluation of classes became mandatory,
  • (b) students became increasingly career focused, and
  • (c) tuition rises outpaced family incomes.

학생들은 고객이 되었고, (돈을 지불하는) 고객으로서 좋은 최종 결과물, 즉 취업 시장에서 경쟁력을 갖출 수 있는 성적을 받은 기말고사를 기대했습니다. 이러한 해석은 높은 등록금을 부과하는 유럽 국가 중 하나인 영국에서 고등 교육에 성적 인플레이션이 발생하는 이유도 설명할 수 있습니다(Bachan, 2017). 
Students became customers and, as (paying) customers, expected a good end product—namely, a final exam with a grade that would allow them to be competitive on the job market. This interpretation would also explain why there is grade inflation in higher education in the United Kingdom (Bachan, 2017), the one European country that charges high tuition rates.



최근 수십 년 동안 학생들이 더 똑똑해지거나 더 열심히 일하게 되었다는 증거는 없습니다. 오히려 증거는 반대 방향을 가리키고 있습니다. 1969년과 1993년 사이에 SAT 평균 총점은 5% 감소했습니다(Rosovsky & Harley, 2002). 이러한 추세가 계속되고 있다는 것은 워싱턴 포스트(2015)에 실린 SAT 점수의 하락 추세가 계속되고 있다는 보고서에 의해 시사됩니다. 또한 학생들이 공부하는 데 더 많은 시간을 소비한다는 증거도 없습니다. 오히려 1960년에는 학생들이 학업에 주당 40시간을 투자했지만, 2003년에는 27시간, 2008년에는 15시간을 투자했습니다. 공부하는 시간, 실험실 시간, 수업 시간을 모두 합쳐도 오늘날 학생들은 학업에 보내는 시간은 16%에 불과합니다(Arum et al., 2011). 
 
There is no evidence that students have become more intelligent or hardworking in recent decades. If anything, the evidence points in the opposite direction. Between 1969 and 1993, the average combined score on the SAT declined by 5% (Rosovsky & Harley, 2002). That this trend has continued is suggested by a report in the Washington Post (2015) that SAT scores had continued their downward trend. There is also no evidence that students spend more time studying. On the contrary, whereas students spent 40hr per week on academic work in 1960, they devoted 27hr in 2003 and 15hr in 2008. Combining time for studying, for labs, and in classes, students today spend only 16% of their time on academic pursuits (Arum et al., 2011).

금전적 인플레이션에 비해 성적 인플레이션의 문제점은 성적이 5점 응답 척도로 표시된다는 점입니다. 성적이 상향 평준화되면 곧 상위권으로 쏠림 현상이 심해집니다. 성적 인플레이션은 주로 A의 증가에 의해 주도되었습니다. 2006년에는 전체 문자 성적 중 43%가 A였으며, 이는 1960년 이후 28% 포인트, 1988년 이후 12% 포인트 증가한 수치입니다(Rojstaczer & Healy, 2010). 성적 인플레이션의 가장 강력한 영향은 사립 대학에서 발생했으며, 사립 대학은 공립 대학보다 A와 B가 훨씬 더 많았습니다. 하버드 대학교에서는 학부 과정의 A 비율이 1966년 22%에서 1996-1997년 46%로 증가했습니다(B.P. Wilson, 1998). 가장 놀라운 점은 2013년에는 학부생의 평균 학점이 A-가 되었다는 점입니다(Bernhard, 2014). 
The problem with grade inflation as compared with monetary inflation is that grades are expressed on a 5-point response scale. With the upward shift in grading, it soon becomes very crowded at the top. The grade inflation was mainly driven by an increase in As. In 2006, 43% of all letter grades were As, an increase of 28 percentage points since 1960 and of 12 percentage points since 1988 (Rojstaczer & Healy, 2010). The strongest effect of grade inflation occurred for private universities, where As and Bs became even more prevalent than at public universities. At Harvard, the percentage of As for undergraduate courses increased from 22% in 1966 to 46% in 1996–1997 (B.P. Wilson, 1998). Most striking, by 2013, A– had become the median grade for undergraduates (Bernhard, 2014).

성적 인플레이션은 주로 인문학과 사회과학(경제학 제외)에 영향을 미친 것으로 보입니다. 물리학, 화학, 수학에서는 성적 인플레이션이 훨씬 적은 것으로 보입니다. 그 이유는 명확하지 않습니다. 앞서 보고된 바와 같이, 이러한 "어려운 과학" 분야의 학생들이 좋은 성적을 받는 데 관심이 없다는 징후는 확실히 없습니다(Uttl & Smibert, 2017). 그렇다면 왜 이러한 교수들은 코스 부하를 완화하고 더 관대하게 채점하지 않을까요? 한 가지 설명은 어려운 과학과 수학 수업의 교육 목표가 훨씬 더 명확하게 정의되어 있기 때문일 수 있습니다. Lodahl과 Gordon(1972)은 이러한 차이를 설명하기 위해 Kuhn(1964)의 패러다임 개념을 사용합니다: "패러다임 개념의 본질은 이론, 방법론, 기술 및 문제에 대한 과학 분야 내 신념의 합의 또는 공유 정도입니다."(Lodahl & Gordon, 1972, 58쪽). 따라서 패러다임이 높은 분야일수록 코스 내용에 대한 합의가 더 높습니다. 교수자는 심리학 입문 수업에서 학생의 학습량을 자유롭게 결정할 수 있지만 수학, 물리학 또는 화학을 가르치는 수업에서는 그렇지 않을 수 있습니다. 
Grade inflation appears to have mainly affected the humanities and social sciences (with the exception of economics). There appears to be much less grade inflation in physics, chemistry, and mathematics. It is not clear why this is the case. As reported earlier, there certainly is no indication that students in those “hard science” areas are uninterested in receiving good grades (Uttl & Smibert, 2017). So why do these professors not ease course loads and grade more leniently? One explanation could be that classes in hard sciences and mathematics have much more clearly defined teaching goals. Lodahl and Gordon (1972) use Kuhn’s (1964) concept of paradigm to describe this difference: “The essence of a paradigm concept is the degree of consensus or sharing of beliefs within a scientific field about theory, methodology, techniques and problems” (Lodahl & Gordon, 1972, p. 58). High paradigm fields will therefore have greater agreement about the content of a course. Whereas instructors have a great deal of freedom in deciding how much a student has to learn in an introductory psychology class, this might not be the case in a class teaching mathematics, physics, or chemistry.

성적 인플레이션의 어두운 면
The dark side of grade inflation

학점 인플레이션이 서로 윈윈하는 상황이라고 주장할 수도 있습니다. 학생은 좋은 성적을 받고 강사는 좋은 SET를 받으니 모두가 만족할 수 있습니다. 안타깝게도 성적 인플레이션에는 어두운 면이 있으며 실제 효과는 훨씬 덜 긍정적입니다. 성적 인플레이션은 우수한 성과를 내거나 합리적으로 열심히 일하려는 인센티브를 감소시킵니다. 모두가 A를 받는다면 학생이 왜 수업에 많은 시간을 투자해야 할까요? 따라서 성적이 관대하게 매겨진 수업에서 학생들이 덜 열심히 노력하는 것으로 밝혀진 것은 놀라운 일이 아닙니다(Babcock, 2010; Greenwald & Gillmore, 1997b). 
One could argue that grade inflation is a win-win situation. Students receive good grades and instructors receive good SETs and everybody is happy. Unfortunately, there is a dark side to grade inflation and the actual effects are much less positive. Grade inflation reduces the incentive to excel, or even to work reasonably hard. Why should a student invest a great deal of time in working for a class, if everybody gets an A? It is therefore not surprising that students have been found to work less hard in leniently graded classes (Babcock, 2010; Greenwald & Gillmore, 1997b).

예를 들어, Greenwald와 Gillmore(1997b)는 표준 SET에 코스에서 예상되는 성적과 작업량(학생이 코스에 투자한 시간 수)에 관한 질문을 추가했습니다. 학생이 코스에서 좋은 성적을 기대하는 경우 더 열심히 노력할 것이라고 생각할 수 있지만, 이러한 성적 기대가 채점 관용에 대한 지식에 기반한 것이라면 이는 적용되지 않을 것입니다. 이 후자의 가설과 일치하는 Greenwald와 Gillmore(1997b)의 연구에 따르면 작업량과 기대 성적 간에 음의 상관관계가 있는 것으로 나타났습니다. 이 효과는 상대적 기대 성적을 상관관계로 사용했을 때 더욱 강해졌습니다. 학생들이 평소 성적과 비교하여 현재 코스에서 더 나은 성적을 기대할수록 코스 활동에 투자하는 시간이 줄어드는 것으로 나타났습니다. 이 결과는 2003년부터 2007년까지 약 8,000개의 수업을 대상으로 한 Babcock(2010)에 의해 재현되었습니다. Babcock은 기대 성적이 1점 상승하면 주당 학습 시간이 0.94시간 감소할 것으로 추정했습니다.
For example, Greenwald and Gillmore (1997b) added questions about expected grades in a course and about workload (numbers of hours students spent on a course) to a standard SET. Whereas one would think that students would work harder if they expected a good grade in a course, this should not apply if this grade expectation is based on knowledge about grading leniency. Consistent with this latter hypothesis, Greenwald and Gillmore (1997b) found a negative correlation between workload and expected grades. This effect became even stronger when relative expected grade was used as a correlate. The better students expected to do in the present course compared with their usual performance, the less time they invested in coursework. This finding was replicated by Babcock (2010) with nearly 8,000 classes covering the years 2003 to 2007. Babcock estimated that a 1-point increase in expected grade would reduce weekly study time by 0.94hr.

학생들이 성적이 관대할수록 과목을 더 긍정적으로 평가하지만(예: Griffin, 2004; Olivares, 2001), 동시에 그러한 과목에서 더 적게 학습한다면, 학생들이 더 긍정적으로 평가하는 과목에서 더 적게 학습할 것으로 예상할 수 있습니다. 이는 적어도 '나쁜 강의'를 학생이 많이 배우지 못하는 강의로 정의한다면 좋은 강의 평가가 실제로는 나쁜 강의에 대한 보상일 수 있음을 시사합니다(Stroebe, 2016). 코스 성적이 더 이상 학습의 유효한 지표로 간주될 수 없다는 사실은 교수 효과를 측정할 수 없게 만듭니다. Johnson(2003)은 후속 과정에서의 학생의 성과를 학습의 척도로 삼는 훌륭하지만 간단한 해결책을 제안했습니다. 즉, 학생들이 통계 입문 과목에서 학습한 양은 입문 과목에서 습득한 지식을 기반으로 하는 고급 통계 과목에서 받는 성적과 관련이 있어야 한다는 것입니다. 
If students evaluate a course more positively the more leniently they are graded (e.g., Griffin, 2004; Olivares, 2001), but at the same time work less in such courses, one could expect that students learn less in their more positively evaluated courses. This would suggest that good teaching evaluations may, in fact, reward bad teaching, at least if one defines “bad teaching” as courses in which students do not learn a great deal (Stroebe, 2016). The fact that course grades can no longer be considered a valid indicator of learning leaves us without a measure of teaching effectiveness. Johnson (2003) suggested the brilliant but simple solution to take students’ performance in follow-up courses as a measure of learning. Thus, the amount students learned in an introductory statistics course should be related to the grades they receive in an advanced statistics course that builds on the knowledge acquired in the introduction.

이 패러다임을 사용한 6개의 연구가 수행되었습니다(Braga et al., 2014; Carrell & West, 2010; Johnson, 2003; Keng, 2018; Weinberg et al., 2009; Yunker & Yunker, 2003). 대부분은 많은 수의 코스 섹션에 의존할 수 있습니다. 이는 SET가 익명으로 처리되고 개별 학생에 대한 평가가 알려지지 않기 때문에 중요합니다. 따라서 SET와 동시 코스의 성적 간의 연관성은 일반적으로 한 섹션의 평균 SET와 해당 섹션의 평균 성적의 상관관계로 계산됩니다. Yunker와 Yunker(2003)의 연구는 12명의 교수자가 가르치는 46개 섹션만을 대상으로 한 것이지만, 미국 공군사관학교에서 수행된 Carrell과 West(2010)의 보다 일반적인 연구는 421명의 교수자가 2,820개의 개별 코스 섹션에서 가르치는 10,534명의 학생을 대상으로 표본 크기를 설정했습니다. 이 연구와 Braga 등(2014)의 연구 역시 학생들이 무작위로 섹션에 배정되었다는 장점이 있습니다. 6개의 연구 모두에서 SET는 동시 수강한 과목의 학생 성적과 양의 상관관계가 있었습니다. 그러나 후속 심화 과정의 성적을 기준으로 삼았을 때 5개의 연구에서 코스 평가는 음의 상관관계를 보였습니다(Braga et al., 2014; Carrell & West, 2010; Johnson, 2003; Keng, 2018; Yunker & Yunker, 2003).4 Weinberg 등(2009)의 연구에서는 현재 코스에 대한 학생 평가가 후속 코스에서의 성과와 무관한 것으로 나타났습니다. 
Six studies that used this paradigm have been conducted (Braga et al., 2014; Carrell & West, 2010; Johnson, 2003; Keng, 2018; Weinberg et al., 2009; Yunker & Yunker, 2003). Most of them could rely on large numbers of course sections. This is important, because SETs are anonymous and ratings are not known for individual students. Therefore, the association of SETs to grades in concurrent courses is typically computed as correlation of the average SET of a section with the average grades of that section. Although the study by Yunker and Yunker (2003) is based on only 46 sections taught by 12 faculty members, the more typical study of Carrell and West (2010)—conducted at the U.S. Air Force Academy—had a sample size of 10,534 students taught in 2,820 separate course sections by 421 faculty members. This study and the study by Braga et al. (2014) also have the advantage that students were randomly assigned to sections. In all six studies, SETs were positively correlated with students’ grades in the concurrent course. However, when performance in subsequent—more advanced—courses was used as criterion, course ratings were negatively correlated in five of the studies (Braga et al., 2014; Carrell & West, 2010; Johnson, 2003; Keng, 2018; Yunker & Yunker, 2003).4 In the Weinberg et al. (2009) study, student evaluations of the current course were found unrelated to the performance in a subsequent course.

요약하면, Weinberg 등(2009)의 연구를 제외하고 이 연구들은 학생들이 많은 것을 배우지 못한 코스를 더 긍정적으로 평가하는 경향이 있다는 증거를 제시합니다. 또는 Braga 등(2014)의 결론처럼 "미래의 성과를 촉진하는 데 더 효과적인 교사가 학생들로부터 더 나쁜 평가를 받는다"(81쪽)는 결론을 내릴 수도 있습니다. 
In summary, then, with the exception of the study by Weinberg et al. (2009), these studies present evidence that students tend to evaluate more positively the courses in which they did not learn a great deal. Or, as Braga et al. (2014) concluded, “teachers, who are more effective in promoting future performance receive worse evaluations from their students” (p. 81).

일반적인 결론
General conclusion

이 글에서 검토한 증거를 통해 도출할 수 있는 주요 결론은 SET가 교수 효과성의 유효한 측정 기준이 아니므로 학장이나 학과장이 교수진을 평가하는 데 사용해서는 안 된다는 것입니다. 여전히 SET의 증거에 근거하여 인사 결정을 내리는 대학 관리자는 법정에서 자신의 결정에 이의를 제기할 수 있는 위험을 감수해야 합니다. 교수 효과성의 척도로서 SET가 무효라는 증거가 있고, Ryerson 대학의 사례에서 알 수 있듯이 이러한 법정 소송에서 승소할 가능성은 그리 높지 않습니다. 
The main conclusion to be derived from the evidence reviewed in this article is that SETs are not valid measures of teaching effectiveness and should therefore not be used by deans or chairpersons to evaluate faculty members. University administrators, who still base personnel decisions on evidence from SETs, run the risk that their decisions could be challenged in court. Given the evidence that SETs are invalid as measures of teaching effectiveness—and as the example of Ryerson University suggests—the chances of winning such court cases are not very good.

교수 능력은 성과급 인상이나 승진에 대한 결정에 중요한 요소이므로 대학 관리자는 다른 정보원을 사용할 수 있습니다. SET를 사용하는 대신 교사에게 강의 개발 방법과 강조하는 문제에 대한 자세한 설명을 담은 강의 포트폴리오를 작성하도록 요청할 수 있으며, 포트폴리오에는 권장 도서 목록과 시험 문제도 포함되어야 합니다. 이렇게 하면 적어도 특정 영역에 대한 강좌가 해당 영역의 핵심으로 간주되는 콘텐츠(예: 이론, 연구)를 다루고 최신 문헌에 기반하고 있음을 보장할 수 있습니다. 또한 이러한 포트폴리오에는 일부 주요 강의의 파워포인트 프레젠테이션이 포함될 수 있습니다(예: Goss & Bernstein, 2015). 테뉴어 결정의 경우, 선배 동료의 평가를 위해 몇 개의 강의를 비디오로 녹화할 수 있습니다. 강의에 대한 결정은 매우 저조한 성과를 확인하는 것만 포함하므로 이러한 평가에서 합의에 도달할 수 있어야 합니다. 
Because teaching ability is an important factor in decisions about merit increases or promotions, university administrators could use alternative sources of information. Instead of using SETs, they could ask teachers to compile teaching portfolios in which they give detailed descriptions of how they develop their courses and which issues they emphasize; the portfolio should also contain lists of recommended reading and exam questions. This would at least ensure that a course on a given area covers the content (i.e., theories, research) considered central to that area and is based on up-to-date literature. In addition, such a portfolio could include the PowerPoint presentations of some of the main lectures (e.g., Goss & Bernstein, 2015). In the case of tenure decisions, one could video record a few lectures for evaluation by senior colleagues. Because the decision about teaching would only involve identifying a very poor performance, it should be possible to reach agreement in such evaluations.

SET 정보는 평가를 받는 교수자에게만 제공되어야 합니다. 이렇게 하면 교수자가 SET에서 높은 점수를 받아야 한다는 압박을 크게 줄일 수 있습니다(예: 기준을 낮추고 채점을 관대하게 함). SET가 편향되어 있기는 하지만, 이를 완전히 폐지하면 학생뿐만 아니라 교수자가 유용하게 활용할 수 있는 정보를 얻을 수 있는 기회를 박탈당하게 됩니다. 그러나 교수자는 SET에 영향을 미치는 다양한 편향의 원인을 인식하고 자신의 강의 평가를 평가할 때 이를 고려해야 합니다. 채점을 까다롭게 하고, 많은 독서를 요구하며, 학생에게 열심히 노력하는 모습을 보이는데도 최고 평점을 받는 영감을 주는 교사가 있습니다. 그러나 대부분의 교수자에게 이러한 전략은 적어도 학부 과정을 가르칠 때는 일반적으로 최적의 세트에 미치지 못하는 결과를 초래합니다. 그러나 대학 캠퍼스의 학부 학습에 대한 대규모 연구를 바탕으로 Arum과 Roksa(2011)는 "상당한 양의 읽기(일주일에 40페이지 이상)와 쓰기(한 학기 동안 20페이지 이상)가 모두 필요한 과목을 수강한 학생들의 학습률이 더 높았다"(205페이지)고 결론지었습니다. 
SET information should be provided only to the instructors who are evaluated. This would substantially reduce the pressure on faculty members to receive top SET scores (e.g., by lowering standards and lenient grading). Although SETs are biased, totally abandoning them would deprive not only students of their voice with regard to teaching quality but also instructors of information they might find useful. However, instructors should be aware of the various sources of bias that affect SETs and take them into account when assessing the evaluation of their own teaching. There are some inspired teachers who receive top ratings even though they are tough graders, require a lot of reading, look for hard work from their students. However, for most instructors such strategies will typically result in less-than-optimal SETs, at least when they teach undergraduate courses. Yet, based on a large study of undergraduate learning at college campuses, Arum and Roksa (2011) concluded “that students, who took courses requiring both significant reading (more than 40 pages a week) and writing (more than 20 pages over the course of the semester) had higher rates of learning” (p. 205).

적어도 사회과학과 인문학에서는 학생들이 좋은 학점을 받는 데 익숙해져 있기 때문에 학점 인플레이션을 없애기 위해서는 근본적인 대책이 필요합니다. 성적 상한제 도입은 효과적인 전략 중 하나입니다(Butcher et al., 2014; Gorry, 2017). 안타깝게도 학점 상한제는 이 정책을 시행하는 대학 학생들의 경쟁력을 떨어뜨린다는 단점이 있습니다. 고용주들은 프린스턴의 학점 상한제를 알지 못할 수도 있기 때문에, B+가 A-보다 취득하기 더 어려웠을지라도 프린스턴 졸업생보다 A-를 받은 하버드 졸업생을 선호할 수 있습니다. 이것이 프린스턴이 2014년에 이 제도를 폐지한 이유일 것입니다(Windemuth, 2014). 그리고 웰슬리 칼리지가 2019년에 이 제도를 폐지한 이유일 것입니다. 따라서 성적 상한제는 사립 및 공립 대학의 전체 시스템에 도입되는 경우에만 허용될 수 있습니다. 미국에서는 그런 일이 일어날 가능성이 거의 없습니다. 대신, 일반적으로 도입될 수 있고 잠재적 고용주에게 더 많은 정보를 제공할 수 있는 덜 야심 찬 조치는 성적표에 학생의 개별 성적과 함께 수업의 중간 성적을 표시하는 것입니다. 그러나 대학 교사에게 자신의 강의가 학생들에게 어떻게 인식되었는지에 대한 정보를 제공하여 개선에 도움을 주기 위한 SET가 성적 인플레이션뿐만 아니라 교육의 질 저하를 초래한 것은 아이러니한 일입니다. 
Because students have become used to getting good grades, at least in the social sciences and humanities, radical measures would be needed to eliminate grade inflation. The introduction of grade ceilings is one effective strategy (Butcher et al., 2014; Gorry, 2017). Unfortunately, grade ceilings have the disadvantage of lowering the competitiveness of students from universities practicing this policy. Because employers might not be aware of the Princeton grade ceiling, they might prefer a Harvard graduate with an A– to a Princeton graduate with a B+, even if the B+ might have been more difficult to get than the A–. This is probably the reason why Princeton dropped this measure in 2014 (Windemuth, 2014), and why Wellesley College dropped it in 2019. Thus, grade ceilings would be acceptable only if they were introduced by the whole system of private and public universities. In the United States, something that is unlikely to happen. Instead, a less ambitious measure that could generally be instituted and would make grades more informative for potential employers would be to indicate the median grade of a class with students’ individual grades on their transcripts. It is ironic, though, that SETs intended to provide university teachers with information about how their teaching was perceived by students and thus help them to make improvements resulted not only in grade inflation but also in a deterioration of teaching quality.

참고
Notes

1 2016년 5월에 RateMyProfessors.com은 평가 방식을 변경했습니다. 명확성 및 유용성 점수를 삭제하고 이제 학생들에게 교수의 전반적인 질을 명시적으로 평가하도록 요청했습니다. 2018년 6월에는 성차별적이라는 불만에 대응하여 인기도 평가도 삭제했습니다.
1 In May 2016, RateMyProfessors.com changed their rating scheme. They dropped the clarity and helpfulness scores and now ask students to explicitly rate the overall quality of professors. In June 2018 they also dropped the hotness ratings, responding to complaints that it was sexist.

2 이 기사의 연구에 대한 설명이 완전히 명확하지 않습니다. 저자들은 보충 자료를 언급하고 있지만 제가 접근할 수 없었습니다. 기사에 제공된 보충 자료 주소는 항상 기사만 불러올 뿐 자료는 불러오지 않았습니다. 미첼 박사에게 보낸 이메일에는 답변이 없었습니다.
2 The description of the study in the article is not totally clear. The authors refer to supplementary material, which I was unable to access. The address for supplementary material given in the article always brought up the article but not the material. An email to Dr. Mitchell was not answered.

3 이러한 역설은 미국만의 현상은 아닐 수 있습니다. 영국에서도 성적 인플레이션에 대한 증거가 있습니다(Adams, 2019; Bachan, 2017; Stroebe, 2016). 그러나 근본적인 과정에 대한 연구는 훨씬 적습니다.
3 This paradox may not be a uniquely American phenomenon. There is also evidence of grade inflation in Great Britain (Adams, 2019; Bachan, 2017; Stroebe, 2016). However, there is much less research about underlying processes.

4 학생의 성적은 능력 요인에도 크게 영향을 받기 때문에 Yunker와 Yunker(2003)는 전체 GPA와 ACT 점수를 대조군으로 사용했습니다. Weinberg 등(2009)은 현재 수강 중인 과목의 성적을 통제했는데, 이는 문제가 있습니다. 4 Because students’ grades are also strongly influenced by ability factors, Yunker and Yunker (2003) used the overall GPA as well as the ACT score as controls. Weinberg et al. (2009) controlled for grades in the current course, which is problematic.

 

 

 


Abstract

Student Evaluations of Teaching (SETs) do not measure teaching effectiveness, and their widespread use by university administrators in decisions about faculty hiring, promotions, and merit increases encourages poor teaching and causes grade inflation. Students need to get good grades, and faculty members need to get good SETs. Therefore, SETs empower students to shape faculty behavior. This power can be used to reward lenient-grading instructors who require little work and to punish strict-grading instructors. This article reviews research that shows that students (a) reward teachers who grade leniently with positive SETs, (b) reward easy courses with positive SETs, and (c) choose courses that promise good grades. The study also shows that instructors want (and need) good SETs.

테크놀로지 강화 학습 (Understanding Medical Education Ch10)
Technology‐enhanced Learning
Rachel H. Ellaway
Department of Community Health Sciences, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada

소개
Introduction

의학 교육에는 오랜 역사를 지닌 많은 테크놀로지(예: 교과서, 모형, 삽화)가 있지만, 현대에 '테크놀로지'라는 용어는 일반적으로 디지털 도구 및 시스템을 지칭하는 것으로 이해됩니다. 실제로 최근 몇 년 동안 개인용 디지털 기기가 급증하면서 미래의 의사를 양성하는 데 있어 (디지털) 테크놀로지는 거의 유비쿼터스에 가까운 존재가 되었습니다. 독자들이 이 장을 디지털 테크놀로지뿐만 아니라 의학교육에서 사용되는 모든 테크놀로지의 맥락에서 생각해 보시기 바랍니다. 테크놀로지 사용과 의학교육 관행 사이의 다양한 교차점을 완전히 다루는 것은 한 장의 범위를 넘어서는 것이므로 이 책 전체에 제시된 자료에 반영된 테크놀로지 사용을 고려하는 것도 독자들에게 권장합니다. 
While there are many technologies (such as textbooks, models, and illustrations) that have a long pedigree in medical education, the contemporary use of the term
technology is generally understood as referring to digital tools and systems. Indeed, there has been a proliferation of personal digital devices in recent years, to the point that (digital) technologies have become a nearubiquitous presence in the training of tomorrows doctors. I invite readers to consider this chapter in the context of all technology use in medical education, not just digital technologies. To fully address the multitude of intersections between technology use and medical education practices is beyond the scope of a single chapter so I would also encourage readers to consider technology use as it is reflected in the material presented throughout this volume.

저는 'e-러닝'이라는 보다 대중적이지만 다소 문제가 있는 개념보다는 '테크놀로지 강화 학습'(TEL)이라는 용어를 주요 참조 프레임으로 사용합니다. TEL 개념의 핵심은 테크놀로지의 매개 역할에 초점을 맞추는 것입니다. 교사는 가르치고 학습자는 배우며, 테크놀로지를 사용함으로써 변화되는 것은 바로 이러한 일을 수행하는 방법과 그 이후의 과정입니다. 이 주제를 탐구하면서 저는 의학교육에서 테크놀로지 사용을 평가하기 위한 다양한 이론적 틀을 고려하고, 이를 바탕으로 의학교육에서 테크놀로지 강화 학습을 개발, 사용 및 평가하기 위한 일련의 기법을 제시할 것입니다. 이를 통해 현대 의학교육에서 테크놀로지 사용과 관련된 입장, 관행, 기회 및 과제에 대한 비판적 검토를 제공하는 것이 저의 목표입니다. 
I use the term
technologyenhanced learning (TEL) as my main frame of reference rather than the more popular but rather problematic concept of elearning. Central to the concept of TEL is a focus on the mediating role of technology. Teachers teach and learners learn; it is how they do these things (and what follows) that is changed by their use of technology. In exploring this topic, I will consider a range of theoretical frames for appraising the use of technology in medical education, and from these I will set out a series of techniques for developing, using, and evaluating technologyenhanced learning in medical education. My goal in doing so is to provide a critical review of the positions, practices, opportunities, and challenges associated with using technology in contemporary medical education.

의학교육에서의 테크놀로지 사용
Technology Use in Medical Education

현대 의학교육에는 장치(노트북 컴퓨터, 태블릿, 모바일 장치 등) 및 주변 장치(프린터, 카메라, 키보드 등), 소프트웨어(이 장을 작성하는 데 사용한 워드 프로세싱 및 일러스트레이션 도구 등) 및 (모바일 장치 및 태블릿용), 서비스(Google 및 Skype에서 제공하는 것 등), 디지털 콘텐츠(YouTube 및 Wikipedia에서 제공하는 것 등), 소셜 미디어(Twitter 및 Facebook 등) 등 매우 많은 테크놀로지가 사용되고 있습니다. 이러한 테크놀로지 중 일부는 의료 교육 기관에서 제공하지만(예: 학습 관리 시스템), 대부분은 학습자(예: 노트북 및 모바일 장치)가 제공하거나 의료 교육과 직접적인 관련이 거의 또는 전혀 없는 제3자(예: Google 및 Wikipedia)가 제공합니다. 따라서 테크놀로지를 의학교육 또는 의학교육자에게 특정한 것으로 논의하는 것은 어려울 수 있으며, 다양한 출처를 고려할 때 평가하거나 지시하기 어려울 수 있습니다. 학생 또는 교수진의 노트북이나 모바일 기기는 교육 및 학습 목적으로 사용될 수 있지만, 다른 많은 목적과 다양한 맥락에서 사용됩니다. 의료 교육의 맥락에서 이러한 교차성에 대해 생각해 보는 것이 중요한데, 예를 들어 교사와 학습자가 소셜 미디어를 사용할 때 사회적 및 교육적 이점이 다소 모호해질 수 있습니다. 우리는 직접적으로 상호작용하는 테크놀로지에 더 많은 주의를 기울이는 경향이 있으며, 이러한 테크놀로지에 의존하는 많은 지원 테크놀로지의 중요한 역할은 종종 잊어버립니다. 네트워크 및 전력의 가용성, 보안 및 로그인 서비스 제공, 강력한 방식으로 시스템을 호스팅할 수 있는 능력 등은 의학교육에서 테크놀로지를 사용하기 위한 기반을 제공하는 데 필수적인 요소입니다. 비용, 분쟁, 자연재해 등의 이유로 이러한 기반 테크놀로지를 쉽게 사용할 수 없는 의과대학은 테크놀로지를 더 임시적으로 사용하는 경향이 있습니다. 매슬로우의 욕구위계설에 따라 의료 교사와 학습자의 테크놀로지에 대한 의존도를 '욕구 계층'(그림 10.1)[1]의 관점에서 이해할 수 있습니다. 여기서 중요한 교훈은 의존적 요소가 불확실하거나 부재할 경우 의료 교육에서 테크놀로지 사용이 손상되거나 약화될 수 있다는 것입니다. 여기에는 기능안전 요소뿐만 아니라 의학교육에서 테크놀로지 사용의 정당성수용 가능성(또는 학생이 침대 옆에서 스마트폰을 사용하는 것과 같은 특정 테크놀로지 사용)에도 달려 있습니다.  

There are a great many technologies being used in contemporary medical education, including devices (such as laptop computers, tablets, and mobile devices) and their peripherals (such as printers, cameras, and keyboards), software (such as the word processing and illustration tools that I used to write this chapter) and apps (for mobile devices and tablets), services (such as those offered by Google and Skype), digital content (such as that offered by YouTube and Wikipedia), and social media (such as Twitter and Facebook). While some of these technologies are provided by institutions of medical education (such as learning management systems), many are provided by learners (such as laptops and mobile devices), or by third parties with little or no direct focus on medical education (such as Google and Wikipedia). It can therefore be challenging to discuss technology as something specific to medical education or medical educators, and difficult to appraise or direct given its diverse provenance. Although a student or faculty laptop or mobile device can be used for teaching and learning purposes, it is also used for many other purposes and in many other contexts. It is important to think about this intersectionality in the context of medical education, exemplified for instance by teacher and learner use of social media where the social and instructional benefits can become rather blurred. We tend to pay more attention to the technologies with which we interact directly and often oblivious to the critical role of the many supporting technologies they depend on. Essential if unexciting factors such as availability of networks and electrical power, the provision of security and sign in services, and the ability to host systems in a robust way are necessary to provide a foundation for the use of technology in medical education. Medical schools that do not have these foundational technologies readily available (for instance because of cost, conflict, or natural disasters) tend to make more tentative use of technologies. Drawing loosely from Maslow, the dependence of medical teachers and learners on their technologies can be understood in terms of a hierarchy of needs (Figure 10.1) [1]. The key lesson here is that the use of technology in medical education can be compromised or undermined if its dependent factors are uncertain or absent. Not only does this include functional and safety factors, it also depends on the legitimacy and acceptability of using technology, (or particular uses of technology such as students having smartphones at the bedside) in medical education.

의학 교육에서 테크놀로지 사용에 관한 분업에 유의하는 것도 중요합니다. 일부 테크놀로지는 학습자와 교수자 모두가 사용하지만 사용 방식이 다릅니다. 예를 들어, 온라인 포트폴리오와 학습 관리 시스템은 사용자 역할에 따라 서로 다른 도구와 보기를 제공합니다. 다른 테크놀로지들은 학습자 또는 교사에게 어느 정도 특화된 경향이 있습니다. 예를 들어, 교사는 PowerPoint와 같은 도구를 광범위하게 사용하는 반면, 학습자는 참고 자료를 훨씬 더 많이 사용하는 경향이 있습니다. 
It is also important to note the division of labour regarding the use of technology in medical education. Some technologies are used by both learners and teachers but in different ways. For instance, online portfolios and learning management systems present different tools and views depending on the user role. Other technologies tend to be more or less learner, or teacher, specific. For instance, teachers may make extensive use of tools like PowerPoint, while learners tend to make much greater use of reference materials.

이러한 예비 관찰 결과를 종합해 보면 의학교육의 맥락에서 테크놀로지 사용이 절대적으로 효과적이거나 그렇지 않다고 말할 수 없다는 것이 분명해집니다. 그 유용성은 과제, 테크놀로지, 개인 및 상황에 따라 달라집니다. 따라서 의학교육에서 사용되는 테크놀로지와 그 활용의 다양성을 고려할 때 간결하고 일반화할 수 있는 방식으로 실습을 안내하는 것은 압도적인 작업처럼 보일 수 있습니다. 그러나 의학교육에서 테크놀로지 사용과 관련된 문제에 대한 포괄적인 모델을 설정하기 위해 활용할 수 있는 몇 가지 이론적 프레임워크가 있습니다. 
Drawing these preliminary observations together, it becomes clear that we cannot say that technology use is, or is not, effective in any absolute way in the context of medical education. Its utility depends on the task, the technology, the individual, and their circumstances. Given the plurality and diversity of technologies and their uses in medical education it may therefore seem like an overwhelming task to guide practice in both a succinct and generalisable way. However, there are several theoretical frames we can draw on to set out an inclusive model of issues in and around technology use in medical education.

학습을 위한 테크놀로지
Technologies for Learning

의학교육은 상호 연결된 일련의 활동(예: 강의, 술기 실습, 문제 기반 학습, 시험, 침상 학습 등)으로 이해할 수 있습니다. 활동 이론[2]의 개념을 사용하여 이러한 활동을 분석할 수 있는데, 이 이론의 핵심은 활동은 매개되며, 활동은 그것을 매개하는 인공물에 의존하고, 그것에 의해 형성된다는 것입니다. 예를 들어,

  • 10여 년 전만 해도 많은 의과대학에서 강의, 실습 및 기타 학습 세션에서 학습자에게 종이 유인물을 제공하는 것이 일반적인 관행이었지만, 이제는 전자적으로 노트를 제공하거나 심지어 노트 없이 교사의 PowerPoint 슬라이드에 액세스하는 것이 훨씬 더 일반적입니다.
  • 한때 주석이 달린 유인물과 종이 메모로 가득했던 링 바인더는 대부분 전자 파일과 문서로 대체되었습니다.

따라서 이제 컴퓨터와 컴퓨터가 지원하는 다양한 도구가 학습자의 개인 지식 기반 생성 및 사용을 매개한다고 말할 수 있습니다.
Medical education can be understood as sequences of interconnected activities (e.g. lectures, skills labs, problembased learning, exams, bedside learning, etc.). We can analyse these activities using concepts from activity theory [2], a central tenet of which is that activities are mediated; they both depend on mediating artefacts and are shaped by them. For example, whereas 10 or more years ago it was normal practice for many medical schools to provide their learners with paper handouts for lectures, labs, and other learning sessions, it is now much more common for notes to be provided electronically or even that there are no notes, simply access to the teachers PowerPoint slides. The once ubiquitous ring binder full of annotated handouts and paper notes has been largely replaced by electronic files and documents. We can say, therefore, that computers and the various tools they support now mediate learners creation and use of their personal knowledgebase.

의학교육의 모든 활동을 나열하고 각각의 활동을 매개하는 특정 테크놀로지를 설명하는 대신, 의학교육에서의 기능적 역할과 이와 관련된 다양한 매개 테크놀로지의 관점에서 다양한 유형의 활동을 고려할 수 있습니다. 상자 10.1을 참조하십시오.
Rather than listing all activities in medical education and describing specific mediating technologies within each, we can instead consider different types of activity in terms of their functional role in medical education and different mediating technologies associated with them. See Box 10.1.

의학교육에는 분명히 많은 활동 유형과 이를 중재하는 데 사용할 수 있는 많은 테크놀로지가 있습니다. 또한 일부 테크놀로지(예: 학습 관리 시스템)은 두 가지 이상의 활동을 중재하는 데 사용될 수 있으며, 특정 세션(수업, 로테이션, 실습 등)에는 여러 활동 유형이 사용되며 여러 테크놀로지가 중재할 수 있습니다. 따라서 우리는 단일 활동과 매개 테크놀로지에만 관심을 가져서는 안 되며, 의학교육의 표준인 활동과 매개 테크놀로지가 얽혀 있는 클러스터도 고려해야 합니다. 이를 통해 테크놀로지 매개가 다른 종류의 매개와 얽혀 있는 '블렌디드 러닝'이라는 개념으로 이어집니다. 예를 들어, 디지털 테크놀로지를 사용하여 대면 수업 환경에서 자료를 찾거나 자료를 만드는 것입니다. 블렌디드 학습은 학습 자체가 아니라 학습을 지원하기 위해 다양한 매개 요소를 사용하는 것임을 분명히 해야 합니다. TEL을 단독으로 사용하는 것보다 혼합하여 사용하는 것이 TEL을 단독으로 사용하는 것보다 더 나은 학습 결과를 가져온다는 증거가 있습니다[4].
Clearly there are many activity types in medical education and many technologies that can be used to mediate them. Moreover, some technologies can be used to mediate more than one kind of activity (such as learning management systems), and any given session (class, rotation, lab, etc.) may employ many activity types and be mediated by many technologies. We should not therefore be concerned solely with single instants of activity
plus mediating technology, we should also consider the entangled clusters of activities and mediating technologies that are the norm in medical education. This leads us to the concept of blended learning where technology mediation is entangled with other kinds of mediation. For instance, using digital technologies to look things up or create materials within a facetoface class setting. We should be clear that it is not the learning that is blended, rather it is the use of different mediating components in support of learning that is blended. There is evidence to suggest that blended uses of TEL rather than isolated uses of TEL lead to better learning outcomes than using TEL on its own [4].

기기는 일반적으로 한 번에 한 사람만 사용하도록 설계되지만, 테크놀로지 사용은 사회적 맥락에서 이루어지며 상황에 따라 다른 사람이 보고 해석합니다. 따라서 학습자 및 실무자의 테크놀로지 사용은 전문적인 행동으로 볼 수 있습니다. 실제로 학습자의 컴퓨터, 태블릿, 스마트폰 사용은 학습자가 강의실이나 침대 옆에서 기기를 사용하도록 허용하거나 장려해야 하는지에 대한 논쟁에서 전문직업성에 대한 우려의 초점이 되어 왔습니다. 강의에서 테크놀로지를 사용하는 것은 이제 보편화되었지만, 학습자가 침대 옆에서 디지털 테크놀로지를 사용하는 것은 여전히 논쟁의 여지가 있습니다. TEL과 전문성 사이의 교차점은 '디지털 전문직업성'의 문제로 간주할 수 있습니다[5]. 이는 테크놀로지를 어디에서 사용해야 하고 사용하지 말아야 하는지에 대한 문제일 뿐만 아니라, 테크놀로지가 어떻게 사용되는지, 그리고 테크놀로지의 사용이 개인의 삶에서 개인적 측면과 직업적 측면을 어떻게 모호하게 만들 수 있는지에 초점을 맞추고 있습니다. 대표적인 예로 학습자와 실무자의 소셜 미디어 사용을 들 수 있습니다. 페이스북이나 트위터와 같은 도구는 다른 사람들과 소통할 수 있는 비할 데 없는 능력을 제공하지만, 개인, 특히 전문가로서 비공개로 유지되어야 할 삶의 측면을 공개함으로써 실수를 범할 수 있는 수단을 제공하기도 합니다. 기밀 정보 공개, 잠재적으로 위험한 상황에 처한 자신 또는 타인의 이미지 공유, 비전문적인 의견과 의견 공유 등, 디지털 미디어를 전문적으로 사용하는 능력은 미래의 의사를 양성하는 데 있어 필수적인 요소가 되었습니다. 박스 10.2를 참조하십시오. 
Although devices are usually designed to be used by one person at a time, technology use is enacted in a social context; it is seen and interpreted by others according to circumstance. Learner and practitioner uses of technologies can therefore be seen as professional behaviours. Indeed, learner use of computers, tablets, and smartphones has been a focus of professionalism concerns reflected in debates over whether learners should be allowed or encouraged to use their devices in lectures or at the bedside. While the use of technology in lectures is now commonplace, learners
use of digital technologies at the bedside is still a matter of contention. The intersections between TEL and professionalism can be considered as a matter of digital professionalism [5]. This is not just about where technologies should and should not be used, it also focuses on how technologies are used and how the use of technologies can blur personal and professional aspects of individuals lives. A key example of this is learner and practitioner use of social media. Tools such as Facebook and Twitter afford an unparalleled ability to communicate with others, but they also create the means by which individuals can misstep by making aspects of their lives public, particularly as professionals, that should have been kept private. Whether concerned with disclosing confidential information, sharing images of oneself or others in potentially compromising situations, or sharing unprofessional opinions and comments, the ability to use digital media in a professional way has become part of the training of tomorrows doctors. See Box 10.2.


상자 10.2 중점 사항: 디지털 전문직업성
BOX 10.2 FOCUS ON: Digital professionalism

보건 전문직 학습자, 교사, 실무자는 디지털 테크놀로지 사용을 통해 새로운 기회와 위험에 노출됩니다.

  • 기회에는 전문 네트워크를 형성하고 유지할 수 있는 능력과 필요에 따라 정보에 액세스하고 공유할 수 있는 능력이 포함됩니다.
  • 위험에는 개인과 직업의 경계가 모호해지고 직업적 평판에 대한 위협에 더 많이 노출되는 것이 포함됩니다.

제도적 대응은 종종 테크놀로지 사용을 금지하거나 제한하는 것이었는데, 이는 테크놀로지 사용의 이점뿐만 아니라 위험도 제한합니다. 디지털 전문직업성은 의료 전문직업성 의 원칙에 기반하여 테크놀로지 사용을 보다 공평한 관점에서 바라봅니다: 
Health professional learners, teachers, and practitioners are exposed to new opportunities and risks through their use of digital technologies.

  • Opportunities include the ability to form and sustain professional networks and the ability to access and share information on demand.
  • Risks include a blurring of personal and professional boundaries and a greater exposure to threats to professional reputations.

The institutional response has often been to proscribe or limit the use of technologies, which limits the benefits of technology use as well as the risks. Digital professionalism builds on the principles of medical professionalism to frame technology use in a more equable light:

디지털 미디어는 의료 전문직업성에 대한 본질적인 위협이 아닙니다. 전문가는 환자 치료, 연민, 이타주의, 신뢰성의 원칙을 지지하는 방식으로 긍정적인 목적으로 디지털 미디어를 사용해야 합니다. 전문가는 디지털 미디어와의 관계가 형성되는 특성을 인식하고 신중하고 윤리적이며 책임감 있게 진료할 수 있는 역량을 유지해야 합니다. [5] 
Digital media are not an intrinsic threat to medical professionalism. Professionals should use digital media for positive purposes in ways that support principles of patient care, compassion, altruism, and trustworthiness. Professionals should be aware of the shaping nature of their relationships with digital media and they should maintain the capacity for deliberate, ethical, and accountable practice. [5]

디지털 전문직업성은 다음 사항에 주의를 기울여 가르치고, 모델링하고, 평가할 수 있습니다:

  • 숙련도: 테크놀로지를 효과적이고 안전하며 책임감 있게 사용할 수 있는 능력.
  • 평판: 자신의 행동과 다른 사람의 행동에 대한 대응을 통해 자신의 직업적 평판을 유지할 수 있는 능력.
  • 책임감: 전문적으로 건전한 테크놀로지 사용 방법을 개발 및 유지하고, 다른 사람들에게 이를 가르치고, 모델링하고, 장려하는 능력입니다.

Digital professionalism can be taught, modelled, and assessed by attending to:

  • Proficiency: the ability to use technologies effectively, safely, and responsibly.
  • Reputation: the ability to maintain one’s professional reputation both through their own actions and in responding to the actions of others.
  • Responsibility: developing and sustaining professionally sound ways of using technologies, and teaching, modelling, and encouraging this in others.

디지털 전문직업성은 우리가 고려해야 할 테크놀로지, 의료 교육 및 진료의 유일한 교차점은 아닙니다. 전자 의료 기록, 의료 영상 보관 및 통신 시스템(PACS), 처방전 및 주문 입력 시스템과 같은 디지털 테크놀로지가 점점 더 의료 행위를 매개하고 있으며, 이는 학습자가 디지털 환경에서 실습할 수 있도록 준비하는 것이 의학교육에서 점점 더 중요한 과제가 되고 있음을 의미합니다. 이러한 테크놀로지는 임상 의료행위뿐만 아니라 학습을 매개할 수 있으며, 이를 위해 '메시지로서 매개하는 테크놀로지'라고 부릅니다. [6] 의학교육에 대한 시사점은 이러한 테크놀로지를 학습을 매개하는 데 사용하는 스킬을 개발하는 것과 함께 이러한 테크놀로지를 사용하는 스킬을 개발해야 한다는 것입니다. 명확히 말하자면, 이는 운영자 테크놀로지를 개발하는 것이 아니라 임상 활동 및 워크플로우 내에서 디지털 도구와 정보를 사용하는 원리를 이해하는 것입니다. 상자 10.3을 참조하십시오.
Digital professionalism is not the only intersection of technology, medical education, and practice that we need to consider. Digital technologies such as electronic health records, picture archiving and communication systems (PACS), formularies, and order entry systems are increasingly mediating the practice of medicine, which means that preparing learners to practice in a digital environment is a growing issue for medical education. These technologies can mediate learning as well as clinical practice, and to that end, have called them
medium‐as‐message technologies. [6] The implication for medical education is that developing skills in the use of these technologies needs to be combined with their use for mediating learning. To be clear, this is more than developing operator skills, but rather about understanding the principles of using digital tools and information within clinical activities and workflows. See Box 10.3.

이 섹션을 마무리하기 전에, 현대 학습자들이 모두 학습에 테크놀로지를 사용하는 데 열중한다는 널리 퍼진 가정에 대해 한 마디 주의를 기울일 필요가 있습니다. '넷 세대' 및 '디지털 네이티브'와 같은 용어는 디지털 시대의 학습자 및 학습의 본질적인 변화를 암시하기 위해 만들어졌습니다[8]. 그러나 학습자 자체에 큰 차이가 있다는 증거는 거의 없으며, 오히려 학습자와 교사 등 다른 사람들이 사용하는 테크놀로지의 변화로 인한 기회와 위험에 대한 증거가 더 많습니다. 특정 집단이나 학급에는 다양한 사람들이 존재한다는 것이 현실입니다.

  • 학습을 위해 테크놀로지를 사용하고 탐구하는 데 관심이 있는 사람,
  • 인쇄물이나 필기 자료와 같은 전통적인 미디어를 선호하는 사람,
  • 일부 테크놀로지는 좋아하지만 다른 테크놀로지는 사용하지 않는 사람, 또는
  • 학습에 사용하는 미디어에 무관심한 사람 등 

테크놀로지에 대한 학습자의 다양한 태도와 학습자가 다양한 테크놀로지를 다양하게 활용할 수 있다는 점을 고려해야 합니다. 
Before closing this section, it is important to add a word of caution regarding the widespread assumption that contemporary learners are all keen on using technology in their studies. Terms such as the
Net Generation and digital natives have been coined to allude to some intrinsic change in the nature of learners and learning in the digital age [8]. There is, however, little evidence that there are significant differences in the learners themselves but rather in the opportunities and risks afforded by the changing range of technologies that they and others, such as their teachers, use. The reality is that, in any given cohort or class, there will be

  • those who are interested in using and exploring technologies for learning,
  • those who would rather use traditional media such as print and hand‐written resources, and
  • many who like some technologies but prefer not to use others, or
  • those who are indifferent to the media with which they are using to learn.

TEL practices need to encompass the diversity of learner attitudes to technology as well as the diverse uses they may make of different technologies.

교육용 테크놀로지
Technologies for Teaching

학습자가 여전히 학습을 하는 것과 마찬가지로 교사는 여전히 가르치는 사람입니다. 의료 교육에서 테크놀로지를 사용하는 것은 단순히 학습을 매개하는 것뿐만 아니라 가르침을 매개하는 것이기도 합니다. 예를 들어, 이제 

  • 강의를 준비한다는 것은 파워포인트 프레젠테이션을 만드는 것을 의미하고, 
  • 강의를 한다는 것은 일반적으로 파워포인트 슬라이드와 대화하거나 그 주변에서 이야기하는 것을 의미하며, 
  • 강의실은 일반적으로 파워포인트 프레젠테이션을 보여주는 데 필요한 스크린과 데이터 프로젝터를 중심으로 구성되고, 
  • 학습자는 강사의 파워포인트 슬라이드를 다운로드하고 검토하는 방식으로 후속 조치를 취합니다. 

따라서 PowerPoint(및 관련 테크놀로지)의 사용은 현대 강의와 관련된 많은 활동을 매개한다고 말할 수 있습니다.
In the same way that learners are still the ones doing the learning, teachers still teach. Using technologies in medical education is not just about mediating learning, it is also about mediating teaching. For example,

  • preparing a lecture now means building a PowerPoint presentation,
  • giving a lecture usually means talking to or around one’s PowerPoint slides,
  • lecture theatres are typically configured around the screens and data projectors needed to show PowerPoint presentations, and
  • learners follow up by downloading and reviewing their lecturers’ PowerPoint slides.

We can say therefore that the use of PowerPoint (and its associated technologies) mediates many of the activities associated with the contemporary lecture.

다양한 교수 활동은 다양한 방식으로 매개될 수 있습니다. 상자 10.1에 요약된 활동 유형을 기반으로 교수 활동 유형과 관련 매개 테크놀로지를 고려할 수 있습니다. 상자 10.4를 참조하세요.
Different teaching activities may be mediated in different ways. We can build on the activity types outlined in Box 10.1 to consider teaching activity types and their associated mediating technologies. See Box 10.4.

테크놀로지가 학습자의 학습을 대신하지는 않지만, 일부 테크놀로지는 교사의 교육 방식을 매개합니다. 예를 들어, 멀티미디어 교육 리소스나 YouTube 동영상을 사용하여 임상 절차를 수행하는 방법을 배우는 것은 인간 교사의 지시를 받는 것이 아니라 교사의 교육 방식을 매개합니다. 이는 TEL에 교사가 존재하지 않는다는 뜻이 아니라 교사가 TEL의 사용에 의하여 매개된다는 의미입니다. 따라서 우리는 TEL에서 가르침의 존재감이라는 개념을 고려할 수 있습니다. 최소한의 중재에서 완전한 중재에 이르는 교사 존재감의 연속체를 다음과 같이 고려할 수 있습니다:
Although technologies do not do the learning for learners, some technologies mediate how teachers teach, for instance using a multimedia teaching resource or a YouTube video to learn how to execute a clinical procedure rather than being instructed by a human teacher. This is not to say that there is no teacher present in TEL, only that the teacher is mediated by the use of TEL. We can therefore consider the concept of teaching presence in TEL. We can consider a continuum of teacher presence from minimally mediated to fully mediated as follows:

  • 최소한의 중재: 디지털 테크놀로지는 교사와의 구체화된 상호작용을 보강합니다. 예를 들어, 문제 기반 학습 그룹의 학습자는 온라인에서 자료를 조사하고 참조하여 대면 토론을 촉진하는 데 기여할 수 있습니다.
    • Minimal mediation: digital technologies augment embodied interactions with teachers. For instance, learners in a problembased learning group may research and reference materials online to contribute to their facilitated inperson discussions.
  • 동기식 중재: 교사는 학습자와 함께 참여하지는 않지만 하나 이상의 테크놀로지를 사용하여 학습자와 상호 작용합니다. 예를 들어, 교사가 웹 세미나 또는 대규모 공개 온라인 코스(MOOC)에서 그룹에 프레젠테이션을 하고 모든 참가자가 컴퓨터를 통해 상호 작용하는 경우를 들 수 있습니다. 원격 회의, 웹 회의, 가상 세계와 같은 다양한 테크놀로지를 통해 동기식 중재를 다양하게 활용할 수 있습니다.
    • Synchronous mediation: the teacher is not copresent with their learners but interacts with them using one or more technologies. For instance, a teacher presenting to a group in a webinar or massive open online course (MOOC) with all participants interacting through their computers. A range of technologies, such as teleconferencing, webconferencing, and virtual worlds, can all afford variations on synchronous mediation.
  • 비동기식 중재: 교사가 학습자와 상호 작용하지만 실시간은 아닙니다. 예를 들어, 교사가 토론 게시판이나 공유 블로그를 사용하여 전문성 개발의 개념적 문제에 대해 토론하는 경우입니다. 토론 게시판, 이메일, 소셜 미디어, 위키 및 블로그와 같은 테크놀로지는 모두 비동기식 중재를 다양하게 활용할 수 있습니다.
    Asynchronous mediation: the teacher interacts with their learners but not in real time. For instance, a teacher uses a discussion board or a shared blog to discuss conceptual issues in professional development. Technologies such as discussion boards, email, social media, wikis, and blogs can all afford variations on asynchronous mediation.
  • 완전 중재: 교사와 학습자 간의 상호작용이 테크놀로지와 학습자 간의 상호작용으로 대체되는 경우로, 학습자가 비디오를 보거나 멀티미디어 교육 패키지를 사용하거나 온라인 교과서를 사용하는 경우를 예로 들 수 있습니다. 이 경우 교사(또는 적어도 교사 한 명)는 학습자가 사용하는 자료의 디자인에 대한 지침을 기록해 두었습니다. 학습자가 교사와 직접 상호작용할 수 없다는 점을 고려할 때, 이러한 자료의 교육적 유용성은 부분적으로 이러한 테크놀로지에 내장된 교육적 상호 작용에 달려 있습니다. TEL의 맥락에서 상호 작용은 상호 작용할 대상이 있느냐의 문제가 아니라 학습자가 중개된 교수자 존재와 상호 작용할 수 있는 방법의 문제입니다.
    Full mediation: interactions between a teacher and their learners are replaced by interactions between technologies and learners; for example learners view videos, use multimedia teaching packages, or even online textbooks. In this case the teacher (or at least a teacher) has recorded their instruction in the design of the materials the learners use. Given that the learners cannot interact directly with a teacher, the instructional utility of these materials is in part dependent on the instructional interactivity built in to these technologies. Interactivity in the context of TEL is not so much a matter of having things to interact with but rather how learners can interact with a mediated teaching presence.

교육에 사용되는 일부 형태의 테크놀로지는 타사 온라인 참고 자료를 사용하여 사실을 검색하는 것과 같이 상당히 자연스럽게 배포할 수 있지만, 대부분의 경우 효과적이기 위해서는 신중한 설계와 구성이 필요합니다. 따라서 '디자인'은 교육에 테크놀로지를 사용하는 데 있어 핵심적인 문제입니다. 교육용 테크놀로지 사용에는 설계가 필요한 다양한 측면이 있습니다.

  • 콘텐츠(프레젠테이션, 강의 자료),
  • 활동(시뮬레이션, 시나리오, 실습),
  • 커뮤니케이션(토론, 협업),
  • 교육 및 지원(가이드 및 매뉴얼) 등 

Some forms of technology used for teaching can be deployed fairly spontaneously (such as looking up facts using thirdparty online reference materials), but most need careful design and configuration to be effective. Design then is a key issue in using technologies for teaching. There are many different aspects of technology use for teaching that need to be designed:

  • content (presentations, course materials),
  • activities (simulations, scenarios, labs),
  • communication (discussion, collaboration), and
  • training and support (guides and manuals).

의료 교사가 이러한 설계 작업을 직접 수행할 수도 있지만, 학교에서는 교사의 설계 활동을 지원하기 위해 교육 디자이너를 전문가로 고용하는 경우가 많습니다. 교수 설계에 관한 풍부한 문헌[9, 10]이 있어 교사가 수업에서 테크놀로지를 사용하는 데 도움이 됩니다. 예를 들어, Mayer의 '멀티미디어 원칙'은 테크놀로지 매개 교육 자료 설계를 위한 증거 기반 지침을 제시합니다(상자 10.5)[11]. 교육 설계에 영향을 주는 다른 관련 교육 원칙은 이 책의 다른 곳에서 논의됩니다(예: 6장). 
Although medical teachers may undertake these design tasks themselves, schools often engage instructional designers as specialists to support teachers in their design activities. There is a rich literature on instructional design [9, 10] to support teachers in using technology in their teaching. For instance, Mayer
s multimedia principles sets out evidence
based guidance for designing technologymediated teaching materials (Box 10.5) [11]. Other relevant educational principles informing instructional design are discussed elsewhere in this book (e.g. Chapter 6).

 

테크놀로지 매개 교육 활동의 설계에 정보를 제공하는 데 사용할 수 있는 강력한 연역적 원칙이 있지만, 교육을 지원하는 테크놀로지 설계 및 사용의 대부분은 교사가 사용할 수 있는 테크놀로지와 같이 교사가 직면하는 실질적인 제약에 의해 형성됩니다. 예를 들어, 대학과 의과 대학에서는 교수자가 사용해야 하는 Blackboard 또는 Moodle과 같은 단일 교육기관용 온라인 학습 플랫폼이 있는 것이 일반적입니다. 보다 유연한 태도를 가진 학교의 경우에도 여러 시스템을 지원하는 프로그램에 대한 비용 및 기타 위험은 지속 불가능한 것으로 판명될 수 있습니다. 교육 디자이너와 함께 일하든 아니든, 의료 교사는 교육에 대해 다음을 알아야 합니다[12]. 

  • 어떤 테크놀로지를 사용할 수 있고 사용해야 하는지,
  • 어떤 테크놀로지를 사용할 수 있는지,
  • 어떤 테크놀로지가 예상되는 특정 상황에서 가장 효과적일지,
  • 테크놀로지를 어떻게 구성하고 제시해야 하는지 

또한 현지의 테크놀로지 사용 문화(허용되는 테크놀로지 사용과 허용되지 않는 테크놀로지 사용 등)와 참가자의 역량(경험 정도, 사용할 수 있는 도구 및 장치 등)을 이해해야 합니다.  
Although there are robust deductive principles that can be used to inform the design of technology
mediated teaching activities, much of the design and use of technology in support of teaching is shaped by the practical constraints that teachers face, such as what technologies are available to them. For instance, it is common for universities and medical schools to have single institutional elearning platforms, such as Blackboard or Moodle, which instructors are required to use. Even for schools with a more flexible posture, the costs and other risks for a programme supporting multiple systems will likely to prove unsustainable. Whether or not they are working with instructional designers, medical teachers need to know

  • what technologies can and should be used in their teaching,
  • what technologies are available to them,
  • what technologies would work best in the particular situation envisaged, and
  • how the technology should be configured and presented [12].

They should also appreciate the local culture of technology use (what technology use is and is not acceptable or popular, etc.), and the capabilities of the participants (how experienced they are, what tools and devices they have available to them, etc.).

분명히 의학 교육에 테크놀로지를 사용하는 것은 풍부하고 때로는 복잡한 작업이 될 수 있으며, 이러한 복잡성은 일부 교사에게는 흥미를 유발하고 다른 교사에게는 불쾌감을 줄 수 있습니다. 학습자와 마찬가지로, 특정 교사 그룹에는 다양한 교사 가 있을 수 있습니다. 

  • 다양한 테크놀로지를 사용하고 싶어 하는 교사,
  • 어떤 종류의 테크놀로지도 사용하는 것을 좋아하지 않는 교사,
  • 어떤 테크놀로지는 좋아하지만 다른 테크놀로지는 사용하지 않는 교사

테크놀로지 사용과 관련하여 교사와 학습자의 선호도를 일치시키는 것은 협상하기 어려울 수 있으며, 특정 의료 교육 활동에서 테크놀로지 사용의 정도를 어느 정도 유연하게 조정하는 것이 바람직합니다. 
Clearly the use of technologies for teaching in medicine can be a rich and at times complex undertaking, and this complexity may be intriguing to some teachers and offputting to others. As with learners, for any given group of teachers there are likely to be

  • those who are keen to use different technologies,
  • those who do not like using technologies of any kind, and
  • those who like using some technologies but not others.

Matching teacher and learner preferences as regards technology use can be difficult to negotiate and some flexibility in how much technology use is involved in any given medical education activity is advisable.

평가를 위한 테크놀로지
Technologies for Assessment

학습 및 교수를 위한 테크놀로지를 살펴보았으므로 이제 평가를 위한 테크놀로지를 살펴보겠습니다. 일반적인 평가와 마찬가지로 학습자 관점에서의 테크놀로지 사용은 형성적 평가총괄적 평가로 구분되는 경향이 있습니다. 
Having considered technologies for learning and teaching, we turn now to technologies for assessment. As with assessment in general, uses of technologies from a learner point of view tend to fall into formative and summative.

형성 평가 목적의 테크놀로지 사용온라인 시험, 퀴즈 및 현재 지식을 측정하고 격차나 약점을 파악하는 기타 방법에 중점을 두는 경향이 있습니다. 이러한 시험은 독립형 시험(예: 스마트폰용 시험 준비 앱)일 수도 있고 멀티미디어 교재에 포함될 수도 있습니다. 어느 쪽이든 테크놀로지를 통해 시험을 출제, 자동화 및 채점할 수 있지만, 문제나 시험의 가치는 여전히 좋은 평가 자료를 작성하는 교사의 스킬에 달려 있습니다. 테크놀로지가 형성 평가를 매개할 수는 있지만 그 자체로 더 나은 평가가 되는 것은 아닙니다. 
Formative uses of technology tend to focus on online tests, quizzes, and other ways of gauging current knowledge and identifying gaps or weaknesses. These may be standalone tests (such as exam preparation Apps for smartphones) or they may be embedded in multimedia teaching materials. Either way, although technologies allow for the presentation, automation, and scoring of tests, the value of a question or test still depends on teachers
skills in writing good assessment materials: technologies can mediate formative assessments but they do not in and of themselves make for better assessment.

총괄 평가 목적으로 테크놀로지를 사용하는 예로는 종이 기반 형식이 아닌 온라인으로 시험을 출제하거나 지속적인 의료 교육 활동에 대한 보고(예: 일종의 e-포트폴리오 시스템 사용)가 있습니다. 
Uses of technology for summative assessment purposes include presenting exams online (rather than in a paper
based format), and reporting on continuing medical education activities (such as using some kind of eportfolio system).

평가 테크놀로지 자체는 형성형 또는 총괄형 프로세스를 지원하도록 설계될 수 있지만, 많은 평가 테크놀로지가 두 가지 용도로 모두 사용될 수 있습니다. 질문은 질문이고, 시험은 시험이며, 포트폴리오는 포트폴리오입니다. 차이를 만드는 것은 의도와 관련된 절차적 엄격성입니다. 총점 평가 목적의 테크놀로지, 특히 고부담 평가 활동을 위한 테크놀로지는 더 높은 수준의 접근 제어 및 보안과 더 큰 로딩 용량이 필요합니다. 감독(감독) 컴퓨터 매개 고부담 시험은 부정행위와 허위 진술로부터 안전해야 하며 동시 대량 시스템 액세스를 처리할 수 있어야 합니다.
Assessment technologies themselves may be designed to support either formative or summative processes but many of them can be used for both purposes. A question is a question, a test is a test, and a portfolio is a portfolio: it is the intent and the procedural rigour involved that makes the difference. Technologies for summative assessment purposes, particularly for high stakes assessment activities, need higher levels of access control and security, and greater loading capacity: a proctored (supervised) computer
mediated high stakes examination must be secure against cheating and misrepresentation and be able to handle simultaneous mass system access.

테크놀로지는 형성적 평가와 총괄적 평가 활동을 중재하는 데 유용할 수 있지만, 평가를 지원하는 테크놀로지 사용은 평가 관리 및 배포, 평가 데이터 분석과 관련된 물류 및 워크플로우에 가장 큰 영향을 미쳤으며 가장 많이 활용되고 있습니다. 예를 들어, 전 세계 의과대학에서는 대량의 문제를 관리하고 평가해야 하는 프로그램 때문에 평가 구축 및 관리를 위한 온라인 시스템(예: ExamSoft 및 Respondus)을 사용하는 것이 점점 더 보편화되고 있습니다. 이러한 시스템의 데이터베이스에서 제공하는 문제 은행은 시험 시행 전에 문제를 조합하고 다듬을 수 있으며, 이전 문제 사용 내역과 성과 지표를 추적하여 시험 설계자가 시험을 조합하는 데 도움을 줍니다. 또한 이러한 시스템은 종이 기반 시스템보다 훨씬 빠르게 시험에서 학습자의 성과를 처리하고 보고할 수 있습니다. 그러나 이러한 시스템이 모든 형태의 평가를 지원하는 데에는 한계가 있습니다. 예를 들어, 이러한 시스템은 에세이나 장답형 시험 문제와 같은 서술형 답안을 처리하는 데는 한계가 있으며, 객관식 문제나 응답 그리드(OSCE의 평가자 양식 등)와 같은 표 형식 또는 구조화된 답안을 처리하는 데는 강점이 있습니다. 따라서 테크놀로지가 평가 프로세스를 중재하고 지원하는 역할을 할 수 있지만, 의학교육을 지원하는 강력한 평가를 제공하기 위해서는 여전히 교수진 및 평가에 관련된 다른 사람들의 핵심 스킬과 역할이 필수적입니다. 
As much as technologies can be useful in mediating formative and summative assessment activities, technology use in support of assessment has arguably had the greatest uptake and the greatest impact on the logistics and workflows associated with managing and deploying assessments, and analysing assessment data. For instance, the use of online systems for building and managing assessments (such as ExamSoft and Respondus) is increasingly common in medical schools around the world, not least because programmes have to manage and evaluate large quantities of questions. The question banks that databases in these systems offer, from which exams can be assembled and refined before delivery, track previous uses of questions and their performance metrics to support exam designers
in assembling exams. These systems can often also process and report on learner performance in exams much faster than paperbased systems can. However, there are also limitations to the ability of these systems to support all forms of assessment. For instance, these systems tend to be limited in their ability to deal with written answers (such as essays or longanswer test questions), their strength is in handling tabulated or structured responses such as multiple choice questions or response grids (such as assessor forms in OSCEs). Thus, while technologies can play a role in mediating and supporting assessment processes, the core skills and roles of faculty and others involved in assessment are still an essential part of delivering robust assessments in support of medical education.

평가 중재는 학습자의 시험 결과를 손상시킬 수 있는 인공물을 도입할 수도 있습니다. 예를 들어, 테크놀로지 사용 경험이 많은 학습자(예: 컴퓨터 사용 또는 화면상의 물체 조작 능력)에게 유리한 시험이 있다면, 시험은 어느 정도 이러한 능력을 측정하고 보고할 것입니다. 학습자의 테크놀로지 사용 태도와 능력을 완전히 균질화normalize하는 것은 비현실적이므로, 테크놀로지 매개 시험 및 평가는 테크놀로지 매개로 인해 발생하는 인공물이 평가 프로세스 및 데이터에 침입하는 것을 최소화하도록 설계되어야 합니다. 
Mediation of assessment can also introduce artefacts that can compromise the results of testing learners. For instance, if a test favours learners with more experience using technology (such as being able to use a computer or to manipulate onscreen objects) then the test will to some extent measure and report on this ability. Given that complete normalisation of learner attitudes and capabilities in using technology is unrealistic, technology
mediated tests and assessments should be designed to minimalise the intrusion of artefacts arising from technologymediation in to assessment processes and data.

효과적인 평가 설계의 원칙은 제20장 및 제18장에서 고려한 전자 포트폴리오 관련 문제에 설명되어 있지만, 테크놀로지 활용 평가(TEA)의 일반적인 사용과 관련하여 Amin 등[13]이 유용한 지침을 제공합니다(상자 10.6).
Principles of effective assessment design are described in Chapter 20 and issues concerning eportfolios considered in Chapter 18, but in relation to the general use of technologyenabled assessment (TEA), Amin et al. [13] provide helpful guidance (Box 10.6).


상자 10.6 사용 방법: 테크놀로지 지원 평가 사용
BOX 10.6 HOW TO: Use technology‐
enabled assessment

테크놀로지 지원 평가(TEA) 사용 지침[13].
Guidelines for the use of technology
enabled assessment (TEA) [13].

  • TEA의 참신성에도 불구하고 여전히 강력한 일반 평가 원칙을 따라야 한다.
  • 학교는 분명한 이점이 있는 경우에만 TEA를 사용해야 합니다.
  • 학교는 특히 중요한 목적을 위해 TEA를 사용할 때 강점, 약점, 기회 및 위협을 평가해야 합니다.
  • TEA를 위한 테크놀로지는 프로그램 수준의 평가 시스템 및 관행에 통합되어야 합니다.
  • TEA에는 특별한 테크놀로지 및 평가 전문 지식이 필요하며, 이는 프로그램 내에서 구축되고 유지되어야 합니다.
  • 시험 개발자는 TEA의 타당성, 특히 측정되는 구성 요소의 타당성을 보장해야 합니다.
  • Despite the novelty of TEA, it is still dependent on robust general assessment principles.
  • Schools should only use TEA where it confers a clear advantage.
  • Schools should appraise the strengths, weaknesses, opportunities, and threats of using TEA, particularly for highstakes purposes.
  • Technologies for TEA should be integrated within programme‐level assessment systems and practices.
  • TEA requires particular technical and assessment expertise, which should be built and sustained within the programme.
  • Test developers should ensure the validity of TEA, in particular the constructs being measured.

의학교육 관리를 위한 테크놀로지
Technologies for Managing Medical Education

평가 테크놀로지의 많은 가치가 평가 프로세스의 관리에서 찾을 수 있다는 관찰을 바탕으로, 의학교육에서 테크놀로지의 마지막 주요 적용 분야는 의학교육 시스템(프로그램, 코스 등) 지원, 일반적으로 시스템 내 활동을 관리, 추적 및 보고하는 역할에 사용되는 테크놀로지입니다. 다른 정보 관리 시스템과 마찬가지로 그 가치는 종종 규모의 경제에 따라 달라집니다. 단기간에 걸쳐 소수의 학습자의 진도를 추적하는 것은 직접적인 상호작용과 관찰을 통해 더 잘 이루어질 수 있지만, 다년간의 학습 프로그램에 걸쳐 수백 명의 학습자의 진도를 추적하려면 강력한 정보 추적 및 관리 시스템이 필요합니다. 이제 학습 프로그램에서는 온라인 지원 시스템으로 가상 학습 환경(VLE)이라고도 하는 학습 관리 시스템을 사용하는 것이 일반적인 관행이 되었습니다. 이러한 시스템은 일반적인 시스템(예: Moodle 및 Blackboard)과 의학 전용 시스템(예: Entrada) 모두 학습자, 교사 및 프로그램 관리자를 위한 통합된 도구를 제공합니다. 이러한 시스템은 일반적으로 학습자와 교사가 시스템에서 수행한 작업을 모니터링, 추적, 기록 및 보고하기 위한 도구를 제공하므로 이러한 시스템을 사용하여 가장 큰 이점을 얻을 수 있는 그룹은 후자의 그룹입니다. 따라서 활동 로깅은 이러한 도구의 핵심 기능입니다. 일부 활동 로그는 로그인, 파일 다운로드 또는 토론 게시판 참여와 같이 자동으로 생성되는 반면, 다른 활동 로그는 보다 명시적으로 활동을 추적하고 보고하기 위한 것입니다(예: 임상 만남 추적). 
Building on the observation that much of the value of assessment technologies is to be found in the management of assessment processes, the last major area of application for technologies in medical education we will consider is their use in support of systems of medical education (programmes, courses, etc.), typically in the role of managing, tracking, and reporting on activities within those systems. As with any other information management system, their value often depends on economies of scale. While tracking the progress of a few learners over a short period of time may be better done through direct interaction and observation, tracking the progress of hundreds of learners over multi
year programmes of study requires robust information tracking and management systems. It is now common practice for programmes of study to make use of learning management systems, also sometimes called Virtual Learning Environments (VLEs), as an online support system. These systems, both generic (e.g. Moodle and Blackboard) and medicine specific (e.g. Entrada), provide an integrated array of tools for learners, teachers, and programme managers. It is the latter group who may benefit the most from using these systems as these systems usually provide tools for monitoring, tracking, recording, and reporting on what learners and teachers have done in the system. Activity logging is therefore a key function of these tools. Some activity logs are generated automatically (such as logins, downloading files, or contributing to discussion boards) while others are more explicitly about tracking and reporting on activity (such as clinical encounter tracking).

로그 데이터는 그 자체로는 내재적 가치가 없으며, 이를 분석하고 이 분석을 통해 결론과 추론을 도출해야만 유용하게 사용할 수 있습니다. 이를 위해 학습 분석은 고등 교육과 의학 교육에서 점점 더 많은 관심을 받고 있는 분야입니다. 예를 들어, 역량 기반 의학교육(CBME)의 채택은 부분적으로 종단적 연속 평가와 개별 학습자의 진행 상황을 예상되는 발달 이정표와 비교하는 것을 기반으로 하며, 이 두 가지 모두 온라인 추적 및 보고의 이점을 누릴 수 있고 실제로 필요할 수 있습니다. 마찬가지로, 평생 의료 교육 및 역량 유지 프로그램도 데이터의 양과 관련된 개인의 수를 고려할 때 통합 시스템이 필요합니다. 
Log data has no intrinsic value in and of itself, it needs to be analysed and conclusions and inferences drawn from this analysis for it to become useful. To this end, learning analytics is a growing area of interest in higher education and in medical education. For instance, the adoption of competencybased medical education (CBME) is in part based on longitudinal continuous assessment and the comparison of individual learner progress with expected developmental milestones, both of which can benefit from, and may indeed require, online tracking and reporting. Similarly, continuing medical education and maintenance of competence programmes also require integrated systems given the quantities of data and number of individuals involved.

그러나 러닝 애널리틱스에는 여러 가지 과제와 한계가 있으며, 그 중 가장 중요한 것은 수집할 수 있는 데이터와 이러한 데이터가 무엇을 나타내는가 하는 점입니다.

  • 전자 시스템은 주로 마우스 클릭(또는 트랙패드 탭) 및 키 누름과 같이 시스템 내에서 수행된 전자 이벤트만 기록할 수 있습니다.
  • 이러한 이벤트는 일반적으로 다음과 연관됩니다.
    • 특정 사람(사용자),
    • 특정 컨텍스트(이 페이지 또는 이 시스템 내),
    • 특정 날짜 및 시간
  • 이러한 시스템에서는 다음은 기록하지 않습니다.
    • 이벤트가 발생한 이유,
    • 시스템상의 신원이 실제로 이벤트를 일으킨 개인과 동일한지 여부,
    • 해당 이벤트가 해당 개인에게 미친 영향(예: 해당 이벤트의 결과로 학습한 내용)
  • 사용자가 페이지를 로드하고 다음 페이지로 이동하기까지의 시간과 같은 측정값은 사용자가 자료를 읽었는지 또는 숙고했는지 여부를 반영할 수 있지만, 사용자가 동시에 다른 일을 하고 있었는지 또는 학습의 질과 관련이 없는 다른 많은 요인에 따라 달라질 수도 있습니다[14].

However, learning analytics does have a number of challenges and limitations, not least of which are what data can be collected and what these data represent.

  • Electronic systems can only record electronic events undertaken within them, primarily mouse clicks (or trackpad taps), and keypresses.
  • These are usually associated with
    • a particular person (user),
    • particular context (on this page or in this system), and
    • a particular date and time.
  • These systems do not record
    • why the event took place,
    • whether the identity of the person in the system is the same as the individual actually causing the events, or
    • what impact those events had on that individual (such as what they learned as a result of this event.
  • Measures such as the time between a user loading a page and moving to the next page may reflect whether or not they read or reflected on the material, but they could also depend on whether the user was doing something else at the same time, or many other factors not associated with the quality of learning [14].

학습 분석의 유용성은 기록할 수 있는 이벤트와 해당 이벤트가 의미하는 의미의 정확성에 의해 제한됩니다. 또한 의료 교육 시스템은 학습자의 행동뿐만 아니라 교사의 행동도 추적하는 데 사용될 수 있다는 점에 유의해야 합니다. 모든 사용자를 관찰하고 면밀히 조사하여 그들에 대한 가치 판단을 유추할 수 있는 이러한 파놉틱 기능은 (종종 관련자가 이러한 조사를 인지하지 못한 채) 윤리적 및 숨겨진 커리큘럼에 미치는 영향을 신중하게 고려해야 합니다[15]. 
The utility of learning analytics is limited by the events that can be recorded and the semantic precision of what those events mean. It should also be noted that medical education systems may be used to track teacher behaviours as well as those of their learners. This panoptic ability to observe and scrutinise all users and to infer value judgments about them (often without the individuals concerned being aware of this scrutiny) requires careful consideration of the ethical and hidden curriculum implications of doing so [15].

규모의 경제 원칙은 커리큘럼 매핑 도구 및 시스템의 사용으로 예시되는 교육 프로그램 관리에 테크놀로지가 사용되는 방식에도 반영됩니다. 커리큘럼 매핑에 대한 표준 접근 방식은 없지만, 모든 세션, 목표, 시험, 결과 및 기타 커리큘럼 구성 요소에 대한 포괄적이고 질문 가능한 데이터베이스는 의학교육 커리큘럼을 관리, 수정 및 보고하는 데 귀중한 자산이 될 수 있습니다. 평가 및 연구를 위해 커리큘럼 맵을 집계하고 비교할 수 있다면 더 많은 이점이 발생할 수 있습니다[16]. 그러나 일반적으로 커리큘럼 매핑 데이터베이스를 설정하고 유지하는 데 필요한 시간과 노력으로 인해 의과대학에서 이러한 종류의 도구를 사용하는 데 한계가 있는 경향이 있습니다. 실제로 경제성과 투자 수익률은 의학교육 시스템 관리를 위한 테크놀로지 사용에 있어 중요한 제한 요소입니다. 
The principle of economies of scale also reflects how technologies are used in managing educational programmes, exemplified by the use of curriculum mapping tools and systems. Although there is no standard approach to curriculum mapping, a comprehensive and interrogatable database of all the sessions, objectives, tests, outcomes, and other curriculum components can be an invaluable asset in managing, revising, and reporting on medical education curricula. Further benefits can accrue when curriculum maps can be aggregated and compared in the interests of evaluation and research [16]. However, the time and effort typically required to set up and maintain curriculum mapping databases tends to limit medical schools
commitment to using tools of this kind. Indeed, economics and return on investment is a critical limiting factor in the use of technologies for managing medical education systems.

교육용 보철물로서의 테크놀로지
Technologies as Educational Prostheses

주로 의료 교육 활동의 매개체로서 테크놀로지를 고려했다면, 저는 테크놀로지를 '교육적 보철물'로도 생각해보고 싶습니다. 이는 테크놀로지를 활용한 의학교육의 활용과 관련하여 중요한 역설 중 하나를 제기하는데, 가장 효과적인 교육 및 학습 접근 방식에는 일반적으로 매개 테크놀로지가 거의 포함되지 않는다는 것입니다. 실제로 교실과 병상 모두에서 교사와 학습자 간의 일대일 대면 상호작용은 양쪽 모두 경험할 수 있는 가장 효과적이고 가치 있는 상호작용입니다. 이러한 상호작용을 테크놀로지를 통해 다시 중재하는 것은 종종 친밀감과 즉각성을 떨어뜨리는 결과를 낳습니다. TEL을 사용하는 것이 최적의 개별 교육 접근 방식인 경우는 거의 없습니다. 그러나 상황이 항상 최적인 것은 아니며, 테크놀로지는 차선책으로 최적의 조건을 보완하는 보조 수단으로 사용될 수 있습니다. 
Having primarily considered technology as a medium for medical education activities, I would also like to consider technologies as
educational prostheses. This raises one of the key paradoxes around the use of technologyenhanced medical education, which is that approaches to teaching and learning that work best typically involve little mediating technology. Indeed, onetoone in-person interactions between teachers and learners, both in the classroom and at the bedside are some of the most effective and valuable either party can experience. To re-mediate these interactions through technology is often to diminish their intimacy and immediacy. Using TEL is rarely the optimal individual instructional approach to take. But circumstances are rarely optimal, and technologies can work as prostheses to compensate for suboptimal conditions.

테크놀로지는 학습자를 대신하여 학습하지는 않지만, 다음을 통해 학습을 강화할 수 있습니다.

  • 학습자가 지식을 찾고, 기록하고, 조직화하고, 구조화하고, 기억하도록 돕고,
  • 사물을 상기시키고, 시간을 정리하도록 돕고,
  • 다른 사람과 연결시켜주고,
  • 학습을 연습하고, 테스트하고, 분석하고, 보고하도록 도와줌으로써 

따라서 테크놀로지는 학습자가 학습하고 주변 세계와 상호 작용하는 방식을 확장하고, 구조화하고, 지원하는 학습 보철물로 기능할 수 있습니다.
Although technologies do not learn for learners, they can augment learning

  • by helping them to find, record, organise, structure, and recall knowledge,
  • by reminding them of things and helping to organise their time,
  • by connecting them with others, and
  • by helping them to rehearse, test, analyse, and report on their learning.

Technologies can therefore function as learning prostheses; they can extend, structure, and support the ways in which learners learn and interact with the world around them.

또한 테크놀로지는 교사가 기록, 정리, 구조화, 기억, 상기, 연결, 찾기, 리허설, 테스트, 분석, 보고를 할 수 있도록 지원함으로써 교수 보조 도구의 역할을 할 수 있습니다. 디지털 테크놀로지가 우리의 행동과 상호작용 방식을 보강할 수 있는 몇 가지 방법은 상자 10.7에 나와 있습니다. 
Technologies can also act as teaching prostheses by helping teachers to record, organise, structure, remember, remind, connect, find, rehearse, test, analyse, and report on their teaching. Some of the ways in which digital technologies can augment the way we act and interact are set out in Box 10.7.


박스 10.7 디지털 테크놀로지의 보조적 특성
BOX 10.7 Prosthetic properties of digital technologies

디지털 테크놀로지를 통해 교육과 학습을 강화할 수 있습니다:
Digital technologies can be used to augment teaching and learning through:

  • 시간과 노력을 절약할 수 있습니다: 사용자가 작업을 기억하고, 반복하고, 찾고, 기록하고, 정리할 수 있도록 돕고, 다른 사람이나 새로운 사건에 행동하고 대응하는 속도를 가속화하여 
  • 물리적 한계를 뛰어넘을 수 있도록 지원합니다: 사용자가 데이터 집합 시각화와 같이 규모가 크거나(데이터 집합 시각화), 서로 다른 장소에 있는 사람들이 함께 작업할 수 있도록 하여 지리적 한계를 극복하거나, 비동기적으로 함께 작업할 수 있도록 하여 시간적 한계를 극복하는 등 
  • 다른 사람들과 조직하고 연결합니다: 사용자가 자료와 생각을 만들고, 방송하고, 공유하고, 댓글을 달고, 특정 아이디어와 입장을 지지하거나 반대하는 토론, 논쟁, 도전, 로비를 할 수 있도록 지원함으로써 
  • 사회적 관습을 변화, 모호화 또는 평탄화합니다: 대면 상호작용을 형성하는 사회 구조가 사용자의 능력을 저해하는 방식으로 행동하고 상호작용할 수 있도록 지원함으로써 
  • 개인과 개인의 행동에 대한 가시성과 책임성을 높입니다: 사용자가 자신 또는 타인의 행동과 말을 면밀히 조사하고, 기록하고, 추적할 수 있도록 지원함으로써 
  • Saving time and effort
    • by helping their users to remember, repeat, find, record, and organise their work, and by accelerating the speed at which they can act and respond to others or emerging events.
  • Going beyond physical limitations
    • by helping their users to interact with things that are big (such as visualising datasets), far (such as defeating geography by allowing individuals in different places to work together), or time shifted (such as defeating temporality by allowing individuals to work together asynchronously).
  • Organising and connecting with others
    • by helping users to create, broadcast, share, and comment on materials and thoughts, and to discuss, debate, challenge, or lobby for or against particular ideas and positions.
  • Changing, blurring, or flattening social conventions
    • by helping their users to act and interact in ways where social structures that shape face to face interactions would have inhibited their ability to do so.
  • Heightening the visibility and accountability of individuals and their actions
    • by helping their users to scrutinise, record, and track what they or others do and say.

보철 테크놀로지를 통해 일상적인 의료 교육에서 직면하는 많은 실질적인 한계를 해결할 수 있습니다. 이러한 방식으로 '규칙'을 바꾸면 특정 이점을 얻을 수 있지만, 테크놀로지 중재는 중재 활동에 대한 인식과 가치관도 변화시키는 경향이 있습니다. 고든 그레이엄은 다음과 같이 말했습니다: 

  • '테크놀로지 혁신은 단순히 미리 선택된 목적을 위한 개선된 수단으로만 간주될 수 없으며, 일부 테크놀로지는 단순히 수정하는 반면 다른 테크놀로지는 변화시키기 때문입니다'[17, 168쪽]. 

Prosthetic technologies allow us to work around many of the practical limitations we face in daytoday medical education practice. Changing the rules in this way may confer certain advantages, but technology mediation tends also to shift perceptions and values around the mediated activities. As Gordon Graham observed:

  • ‘technological innovation cannot and should not be regarded merely as an improved means to a pre‐selected end, because, while some technology merely modifies, other technology transforms’ [17, p. 168].

 

테크놀로지적 중재를 통한 증강은 종종 일련의 트레이드오프와 가치관의 변화를 수반합니다. 예를 들어, 

  • 온라인 토론 게시판의 사용은 학습자 간, 교사-학습자 간 상호작용이 영구적으로 기록된다는 것을 의미하며, 이는 다시 말해 온라인 토론 게시판이 등장하기 전에는 의학교육에서 불가능했던 평가 및 평가 목적의 데이터로 활용될 수 있다는 것을 의미합니다.
  • 마찬가지로, 교사와 학습자의 상호작용이 다양한 방식으로 매개될 수 있게 되면서 이전에는 의료 전문가 교육에 적용되지 않았던 에 대해 생각하기 시작했습니다.
    • 존재의 경제(온라인 상호작용이 아닌 대면 상호작용의 가치)와 
    • 주의의 경제(학습자 또는 교사의 주의를 끌고 유지하는 능력)

Augmentation through technological mediation often involves a series of tradeoffs and a shifting of values. For instance, the use of online discussion boards means that intralearner and teacherlearner interactions are now permanently recorded, which in turn means that they can be used as data for evaluation and assessment purposes, something that had no place in medical education until it became possible. Similarly, when teacher and learner interactions can be mediated in many different ways we begin to think about economies of presence (the value of, say, facetoface as opposed to online interactions) and economies of attention (the ability to attract and retain learner or teacher attention) in ways that previously had no place in the training of health professionals.

의학교육에서의 TEL 평가 및 연구
Evaluating and Researching TEL in Medical Education

의학교육의 모든 측면과 마찬가지로 효율적이고 효과적인 실습은 강력한 연구 및 평가 근거에 기반해야 합니다. 의학교육에서 테크놀로지 사용에 대한 연구가 부족하지는 않지만, 근거의 질과 그 통화 및 진료 지침과의 관련성은 다소 제한적입니다(상자 10.8). 
As with any aspect of medical education practice, efficient and effective practice needs to be based on robust research and evaluation evidence. Although there has been no shortage of studies into technology use in medical education, the quality of the evidence and its currency and relevance to guiding practice is somewhat limited (Box 10.8).


상자 10.8 증거는 어디에 있는가? 테크놀로지 기반 학습
BOX 10.8 WHERE’S THE EVIDENCE: Technology‐
enhanced learning

TEL이 효과가 있는지 없는지에 대한 체계적인 검토가 많이 이루어졌습니다. 예를 들어, 가장 큰 규모의 리뷰 중 하나(초등 및 중등 교육에 초점을 맞춘)에서는 테크놀로지가 혼합된 형태로 사용될 때 상당한 교육적 이점을 제공할 수 있다는 결론을 내렸습니다[4]. 그러나 의학교육에 사용되는 테크놀로지의 다양성과 다양한 사용 방식을 고려할 때 단순히 'TEL이 효과가 있는가'라고 묻는 것만으로는 결정적인 대답은 물론 의미 있는 대답도 할 수 없습니다. 대신 어떤 상황에서 어떤 종류의 TEL이 효과적일 수 있는지, TEL의 어떤 기능이 학습의 수준과 질을 달리할 수 있는지를 고려해야 합니다. 
There have been a number of systematic reviews into whether TEL does or does not work. For instance, one of the largest reviews (focused on primary and secondary education) concluded that technology can confer significant educational advantage when used in a blended form [4]. However, given the diversity of technologies used in medical education and the many different ways in which they are used, simply asking does TEL work? is impossible to answer meaningfully let alone conclusively. We should instead consider in what situations specific kinds of TEL can work and what features of TEL afford different levels and qualities of learning.

Cook과 동료 연구자들[18, 19]이 제기한 이러한 주장은 테크놀로지 매개 개입과 무중재 또는 테크놀로지 매개 개입과 비테크놀로지 개입을 비교한 수많은 연구 결과에 대응하는 것으로, 어느 쪽도 이 분야에 실질적인 도움이 되지 못합니다. 비용, 지속 가능성, 위험과 같은 다른 본질적인 요소는 거의 고려되지 않았습니다[20]. TEL의 효능 및 효과와 관련된 상황적 변수가 매우 많기 때문에 상황적 요인도 고려해야 합니다[14]. 그러나 부분적으로는 교육적 우월성보다는 물류 및 편의성, 부분적으로는 사회 전반의 디지털 테크놀로지로의 광범위한 전환에 따라 테크놀로지 중재가 이미 의학교육의 표준이 되고 있기 때문에 이 모든 것이 논쟁의 여지가 있을 수 있습니다. 실습과 혁신을 평가하고 안내하기 위해서는 더 많은 연구가 필요할 수 있지만, '테크놀로지를 전혀 사용해야 하는가'라는 질문은 얼마 전에 역을 떠났습니다. 
This argument, advanced by Cook and colleagues [18, 19], responds to the large number of studies that have compared a technology
mediated intervention to no intervention or a technologymediated intervention to a nontechnological intervention, neither of which substantially add to the field. Other germane factors such as cost, sustainability, and risk are seldom considered at all [20]. Contextual factors also need to be considered as there are so many circumstantial variables associated with the efficacy and effectiveness of TEL [14]. All of this may be moot, however, as technological mediation is already becoming the norm in medical education, partly for logistical and convenience reasons rather than for instructional superiority, and partly in response to the broader switch to digital technologies in society as a whole. More research may be needed to evaluate and guide practice and innovation, but the should we use technology at all? train left the station some time ago.


테크놀로지를 매개로 한 의학교육의 측면은 (적어도 초기에는) 새롭고 낯선 경향이 있기 때문에 전통적인 접근 방식보다 더 높은 입증 부담, 회의론, 과도한 자신감에 직면하는 경우가 많습니다. 우리는

  • 테크놀로지가 해야 할 일을 신뢰할 수 있고 일관된 방식으로 수행할 수 있는지 평가해야 할 뿐만 아니라,
  • 테크놀로지가 사용될 맥락에서 효과가 있는지, 그리고
  • 그 테크놀로지를 사용할 모든 사람들에게 일관되게 효과가 있는지도 고려해야 합니다.

TEL에 대한 평가와 연구에는 다음 등이 활용될 수 있습니다. 

  • 요구 분석과 환경 조사(해당 테크놀로지가 해결해야 할 필요나 기회는 무엇인가),
  • (개발 및 적용에 대한) 문서화,
  • 사용성(예상대로 작동하는가, 사용자가 쉽고 일관되게 사용할 수 있는가?),
  • 구현 관찰(사람들이 실제로 사용하면 어떤 일이 일어나는가?),
  • 참여자 경험 및 만족도(사용자에게 어떤가?),
  • 학습 결과(테크놀로지 사용이 어떤 영향을 미치는가?),
  • 비용, 재사용 가능성 및 지속가능성(테크놀로지 사용이 좋은 투자 수익률인가)[21] 

Technologymediated aspects of medical education (at least initially) tend to be new and unfamiliar and as such they often face a higher burden of proof, scepticism, and over confidence than more traditional approaches. Not only do we need to appraise

  • whether a technology can do what it is supposed to do in a reliable and consistent way, we also need to consider
  • whether it will work in the contexts within which it is going to be used, and
  • whether it will do so consistently for all of those who are going to use it.

Both evaluation and research into TEL may draw on

  • needs analyses and environmental scans (what need or opportunity is the technology to address),
  • documentation (of development and application),
  • usability (does it function as expected, can its users use it easily and consistently?),
  • observation of implementation (what happens when people do use it?),
  • participant experience and satisfaction (what is it like for users),
  • learning outcomes (what impacts does using technology have?), and
  • cost, reusability, and sustainability (is using technology a good return on investment?) [21].

또한 연구가 어디에 초점을 두는지  명확히 할 필요가 있습니다. 

  • 테크놀로지 그 자체를 평가하는 데 초점을 맞추고 있는지('이 도구는 어떤 속성과 기능을 가지고 있는가?' 등),
  • 테크놀로지를 사용하는 활동에 초점을 맞추고 있는지('온라인 PBL은 얼마나 잘 작동하는가?' 등),
  • 특정 활동 내에서 테크놀로지를 사용하는 데 초점을 맞추고 있는지('모바일 장치 사용이 학습자-환자 상호작용에 어떤 영향을 미치는가?' 등)

요약하자면, 저는 TEL 안팎에서 무엇을 연구하고 평가해야 하는지에 대한 의제를 제안하기보다는 TEL을 연구하고 평가하는 방식에서 엄격함을 확립하고 유지하는 것이 더 중요하다고 주장합니다.
We also need clarity as to whether studies are focusing

  • on evaluating the technologies themselves (such as ‘what properties and capabilities does this tool have?’),
  • on activities that use technology (such as ‘how well does online PBL work?’), or
  • on the use of technology within particular activities (such as ‘what impact does the use of mobile devices have on learner–patient interactions’?).

To summarise, rather than proposing an agenda regarding what we should research and evaluate in and around TEL, I argue that it is more important to establish and maintain rigour in the ways we research and evaluate TEL.

움직이는 목표
A Moving Target

영원한 것은 없으며 디지털 테크놀로지는 의학교육의 다른 측면보다 일시적인 경향이 있습니다. 'e-러닝 혁명'이 끝난 것처럼 보이지만[22] 테크놀로지는 계속 변화하고 있습니다. 일부 신테크놀로지는 주류 의학교육의 일부가 되기도 하고(예: PowerPoint), 다른 신테크놀로지는 시들해지기도 합니다. 어떤 테크놀로지가 성공할지 실패할지 예측하는 것은 매우 어렵습니다. 예를 들어, 의학 교육에서의 가상현실(VR)[23]은 VR 복강경 수술 시뮬레이터와 같은 일부 용도가 있기는 하지만, 적어도 지금까지는 주류 의학 교육에서 VR 테크놀로지의 사용은 주변적인 수준에 머물러 있습니다. 
Nothing lasts for ever and digital technologies tend to be more transient than most other aspects of medical education. Although the
elearning revolution would seem to be over [22] technologies continue to change. Some new technologies become part of mainstream medical education (such as PowerPoint), others wither on the vine. Predicting which ones will succeed or fail is notoriously hard to predict. For instance, virtual reality (VR) in medical education [23] but, although there are some uses (such as VR laparoscopic surgery simulators), at least so far, the use of VR technologies remains peripheral to mainstream medical education.

디지털 전문성만이 의학교육에서 새롭게 떠오르는 관심 분야는 아니며, TEL을 사용할 때 고려해야 할 다른 법적, 평판 및 보안 문제도 있습니다. 의학 교사들이 가장 흔히 직면하는 문제 중 하나는 웹의 자료를 교육 및 학습에 사용하거나 재사용할 수 있는 대상과 방법입니다. 디지털 테크놀로지를 사용하면 자료를 '복사하여 붙여넣기'하거나 다운로드하고 다른 사람과 공유하는 것이 매우 쉬워집니다. 하지만 이렇게 하는 것이 아무리 쉬워도 이를 합법적으로 처리하는 것은 그리 간단하지 않습니다. 국가마다 교육 목적으로 타사 자료를 재사용하는 것에 관한 법률이 다르고 변화하는 경향이 있을 뿐만 아니라, 타인의 지적 재산 오용에 대한 책임에 관한 기준도 제각각이기 때문입니다. 이는 크리에이티브 커먼즈와 같은 라이선스 모델을 개발하게 된 주요 동인 중 하나였습니다. 상자 10.9를 참조하세요. 
Digital professionalism is not the only emerging area of concern in medical education, there are other legal, reputational, and security issues to consider when using TEL. One of the most common challenges for medical teachers is what and how materials from the Web can be used or reused in teaching and learning. Digital technologies can make it very easy to
copy and paste or download materials and to share them with others. However easy it is to do this, the legality of doing so is rarely so simple. Not only do different countries tend to have different and shifting laws regarding the reuse of thirdparty materials for educational purposes, there are differing standards regarding liability for misuse of someone elses intellectual property. This was one of the main drivers behind the development of licensing models such as Creative Commons. See Box 10.9.


상자 10.9 중점 사항: 교육 및 학습을 위한 자료 재사용
BOX 10.9 FOCUS ON: Reusing materials for teaching and learning

타사 자료 사용에 대한 권리는 '퍼블릭 도메인'(사용에 제한이 없음)과 '모든 권리 보유'(저작권자의 허락 없이는 자료를 사용할 수 없음, 다른 약정이 없는 경우 기본값) 사이에 속하는 경향이 있습니다. 이 두 가지 극단 사이에서 라이선스는 자료 사용 방법에 대한 구체적인 조건을 명시합니다. 라이선스는 상업적(예: 퍼블리셔)이거나 오픈 소스(예: 크리에이티브 커먼즈)일 수 있습니다. 크리에이티브 커먼즈(http:// creativecommons.org)에서 개발한 라이선스 시스템은 다음에 관한 규정을 기반으로 합니다.

  • 저작물의 창작자 인정 여부(저작자 표시),
  • 다른 저작물의 일부로 포함될 수 있는지 또는 원본 저작물의 구성 요소를 재사용할 수 있는지 여부(각색),
  • 저작물을 상업적 목적으로 재사용할 수 있는지 여부,
  • 파생 저작물이 소스와 동일한 라이선스 모델을 따라야 하는지

Rights for using thirdparty materials tend to fall between public domain (no restrictions on use) and all rights reserved (materials cannot be used without the copyright holders permission, the default in the absence of any other arrangement). Between these two extremes, licences set out the specific conditions as to how materials can be used. Licences may be commercial (such as with publishers), or open source, (such as Creative Commons). The licensing system developed by Creative Commons (http:// creativecommons.org) is based on statements regarding

  • acknowledging the creator(s) of the work (attribution),
  • whether it can be included as part of something else or whether components of the original work can be reused (adaptation),
  • whether or not the work can be reused for commercial purposes, and
  • whether any derivative works need to follow the same licensing model as the source.

크리에이티브 커먼즈 라이선스는 재사용 가능한 학습 객체(RLO), 오픈 코스웨어, 무료 오픈 액세스 교육(FOAM) 자료를 게시하는 데 사용되었으며, MedEdPortal(www. mededportal.org), MedEdWorld(http://www.mededworld.org), 위키미디어(commons.wikimedia.org) 등의 온라인 저장소에 있는 많은 리소스를 게시하는 데도 사용되었습니다. 명시적인 라이선스 계약이나 타인의 자료 사용에 대한 허가가 없는 경우, 항상 모든 권리가 유보되어 있으며 재사용할 수 없다고 가정해야 합니다. 저작권 침해는 공정 사용(미국) 또는 공정 거래(영국, 캐나다)에 명시된 원칙에 따라 (관할권에 따라) 방어할 수 있지만, 이는 권리라기보다는 방어권으로 표현되는 경향이 있습니다. 또한 타사 자료의 라이선스 없는 사용은 관련 개인과 기관에 위험할 뿐만 아니라 학습자와 동료에게 부적절한 전문성 메시지를 전달할 수 있다는 점에 유의해야 합니다. 퍼블릭 도메인 및 크리에이티브 커먼즈 라이선스 자료를 사용하면 이러한 문제를 해결하는 데 큰 도움이 될 수 있습니다. 

Creative Commons licences have been used to publish Reusable Learning Objects (RLOs), OpenCourseware, and Free Open Access Meducation (FOAM) materials, as well as many of the resources in online repositories such as MedEdPortal (www. mededportal.org), MedEdWorld (www.mededworld.org), and Wikimedia (commons.wikimedia.org). In the absence of an explicit licensing agreement or permissions for the use of someone elses material you should always assume that all rights are reserved and that you cannot reuse it. Copyright breaches may be defended (depending on jurisdiction) under principles set out in Fair Use (USA) or Fair Dealing (UK, Canada), but these tend to be expressed as a defence rather than a right. It should also be noted that not only is unlicensed use of thirdparty materials risky for the individuals and institutions involved, it also sends inappropriate professionalism messages to their learners and colleagues. Using public domain and Creative Commons licensed materials can go a long way to addressing these issues.


신원 도용, 사이버 범죄 및 해킹의 증가로 인해 TEL을 사용하는 의료 교육자 및 학습자의 안전과 생존 가능성은 근본적으로 도전받고 있습니다. 전자 시스템의 보안을 보장하고 유지하는 것은 교육자가 거의 고려하지 않더라도 끊임없는 싸움입니다. 이 문제를 해결하는 한 가지 방법은 전자 시스템을 공격으로부터 강화하는 것이지만, 테크놀로지적 약점(예: 유출된 비밀번호)보다는 인적 약점이 더 큰 위협인 경우가 많으며, 사용자의 실수나 경범죄를 교육하고 단속하는 데는 많은 비용이 소요될 수 있습니다. 어느 정도 주목을 받고 있는 대안적이고 다소 급진적인 접근 방식은 프라이버시보다는 보안에 중점을 두고 모든 정보를 공개하는 '포스트 프라이버시 사회'라는 개념입니다[24]. 이 글을 쓰는 시점에서 이러한 문화적 변화가 임박했다는 전망은 없지만, 전 세계적으로 디지털 테크놀로지가 널리 보급되면서 의학과 교육 모두에 근본적인 수준의 영향을 미쳤고 그 결과 의학교육이 원하든 원치 않든 변화하고 있다는 것은 부인할 수 없는 사실입니다. 
The safety and viability of medical educators and learners using TEL is fundamentally challenged by the growing problem of identity theft, cybercrime, and hacking. Assuring and maintaining the security of electronic systems is a constant battle, even if it is one that educators rarely consider. While one way of addressing this is to harden electronic systems against attack, human rather than technical weaknesses (such as compromised passwords) are often the bigger threat problem, and training and policing user mistakes and misdemeanours can be expensive. An alternative and somewhat radical approach that has been gaining a degree of traction is the concept of a
post privacy society where all information is made publicly available [24] with a focus on security rather than privacy. While, at the time of writing, there is no imminent prospect of such a major cultural shift, it is undeniable that the widespread uptake of digital technologies around the world has impacted both medicine and education at a fundamental level and that, as a result, medical education is changing whether it wishes to or not.

의학교육자는 TEL을 어떤 용도로 사용하든 시스템 장애, 업그레이드, 교체 또는 요구 사항 변경 등 변화와 불안정성에 대비해야 합니다. 또한 사용하는 인프라(예: 네트워크 및 보안)에 대한 의존도를 염두에 두어야 하며, 테크놀로지 사용의 실행 가능성과 공격에 대한 복원력을 모니터링해야 합니다. 
Whatever use they make of TEL, medical educators need to plan for change and instability including system failures, upgrades, replacements, or changing requirements. They need to be mindful of their dependence on the infrastructure they use (such as networks and security), and they need to monitor the viability of their technology use and its resilience in the face of attack.

결론
Conclusions

테크놀로지는 매우 빠르게 구식이 되기 때문에 이 장에서 언급된 테크놀로지 중 일부는 이 책이 출판될 때 이미 구식이 되었을 가능성이 높습니다. 따라서 저는 특정 시점에 의학교육에서 사용되고 있는 다소 일시적인 특정 테크놀로지를 초월해야 하는 원칙과 개념에 중점을 두었습니다. 그럼에도 불구하고 저의 주장을 설명하기 위해 구체적인 사례를 제시하려고 노력했습니다. 이러한 사례들은 필연적으로 시대에 뒤떨어질 수밖에 없지만, 그 사례들이 보여주는 원칙은 여전히 유효하기를 바랍니다. 따라서 독자들은 (역사적 호기심에 의한 경우를 제외하고는) 구체적인 내용에 초점을 맞추기보다는 이러한 원칙에 비추어 각자의 시대와 상황에 맞게 재해석할 것을 제안합니다. 
Technologies go out of date so quickly; indeed, it is quite possible that some of the technologies mentioned in this chapter will have already become obsolete by the time this book is published. My focus has therefore been on principles and concepts that should transcend the specific and somewhat ephemeral technologies that are being used in medical education at any given time. Nevertheless, I have tried to provide concrete examples to illustrate my arguments. While these examples will inevitably become dated, I hope that the principles they illustrate will stand. I suggest therefore that readers reinterpret the specifics of their own time and circumstances in light of these principles rather than (except perhaps in the sense of historical curiosity) focusing on the specifics.

의학교육에서 TEL의 사용은 긍정적인 변화를 위한 조력자 또는 촉매제가 될 수도 있고, 혼란을 야기하고 주의를 산만하게 하며 책임이 될 수도 있습니다. 테크놀로지 사용의 가치는 순전히 교육적인 문제에 기반하는 경우는 드물고 편의성, 중재 및 증강의 문제로 귀결되는 경향이 있습니다. 따라서 TEL 사용에 대한 찬반 논쟁은 교육적 효과보다는 교육 경제성에 관한 것이 대부분입니다. 문제는 더 효율적이고 편리한 교육 및 학습 방법을 찾는 것이며, 여기에는 테크놀로지 사용이 포함될 수도 있고 포함되지 않을 수도 있습니다. TEL은 또한 사용 가능한 것의 제약을 받습니다. 교사와 학습자는 현재 사용 가능한 테크놀로지의 어포던스를 활용하고 이에 적응하는 경향이 있습니다. 또한 테크놀로지는 기존 관행을 대체하기보다는 부가적인 방식으로 사용되는 경향이 있습니다. 대체는 한 테크놀로지의 편리함과 유용성이 다른 테크놀로지를 압도하여 효과적으로 시들어 버릴 때만 발생합니다. 
The use of TEL in medical education can be an enabler or a catalyst for positive change, and it can also be a disruptor, a distractor, and a liability. The value of technology use is rarely based on purely educational issues and tends instead to be a matter of convenience, mediation, and augmentation. To that extent, arguments for and against the use of TEL are as much, if not more, about educational economics rather than instruction. The challenge is to find more efficient and convenient ways to teach and learn, and these may or may not involve the use of technologies. TEL is also constrained by what is available. Teachers and learners tend to make do with and adapt to the affordances of the technologies they have at hand. Moreover, technologies tend to be used in an additive way rather than displacing existing practices. Displacement only happens when the convenience and utility of one technique so outweighs the other that it effectively withers away.

학습과 교수의 질은 많은 요소(학습 대상, 학습 내용, 학습 장소, 학습에 투입할 수 있는 시간과 노력 등)에 따라 달라진다는 점을 고려할 때, 특정 학습 테크놀로지가 대안(테크놀로지적 또는 기타)보다 나은지 나쁜지를 묻기보다는, 특정 학습자와 교사의 특정 요구 사항을 특정 장소와 시간에 지원하는 데 유용하고 효과적인지를 물어야 합니다. 따라서 저는 이 장에서 반복되는 주제, 즉 의료 교육의 테크놀로지적 중재가 빠르게 표준이 되고 있으며, 따라서 교육자들은 테크놀로지적 문제와 교육적 문제의 교차성을 둘 중 하나만 따로 고려하지 말고 함께 고려해야 한다는 주제로 돌아갑니다. 따라서 이 장에서 제시하는 아이디어와 원칙은 이 책의 다른 모든 장에서 제시하는 아이디어와 원칙과 교차하고 정보를 제공하는 것으로 이해해야 합니다. 테크놀로지가 의학에서 교육과 학습을 중재하고 보강하는 것과 마찬가지로, TEL 개념은 모든 다양한 형태와 관행에서 의학교육을 중재하고 보강하는 것으로 간주되어야 합니다. 
Given that the quality of learning and teaching depends on so many things (considerations such as who is involved, what they are learning, where they are learning, and how much time and effort can they put into their learning and so on), then, rather than asking whether a particular learning technology is better or worse than an alternative (technological or otherwise), we should ask whether it is useful and effective in supporting particular needs of particular learners and teachers in a particular place and time. I therefore return to a recurring theme in this chapter; that technological mediation of medical education is rapidly becoming the norm and as such educators should consider the intersectionalities of technical and educational issues rather than one or the other in isolation. The ideas and principles I have set out in this chapter should therefore be understood as intersecting with and informing the ideas and principles set out in every other chapter in this book. In the same way that technologies mediate and augment teaching and learning in medicine, TEL concepts should be seen as mediating and augmenting medical education in all its many forms and practices.

 

 

 


Summary

Technology-enhanced learning (TEL) fully address the multitude of intersections between technology use and medical education practices. Central to the concept of TEL is a focus on the mediating role of technology. Teachers teach and learners learn; it is how they do these things (and what follows) that is changed by their use of technology. This chapter considers a range of theoretical frames for appraising the use of technology in medical education, and from these sets out a series of techniques for developing, using, and evaluating technology-enhanced learning in medical education. It provides a critical review of the positions, practices, opportunities, and challenges associated with using technology in contemporary medical education. The intersections between TEL and professionalism can be considered as a matter of 'digital professionalism'. Technologies can work as prostheses to compensate for suboptimal conditions.

보건의료전문직교육에서 온라인 학습. 파트 2: 도구와 활용: AMEE Guide No. 163 (Med Teach, 2023)
Online learning in health professions education. Part 2: Tools and practical application: AMEE Guide No. 163
Ken Mastersa , Raquel Correiab , Kataryna Nemethyc , Jennifer Benjamind , Tamara Carvere and Heather MacNeillf

 

1. 소개
1. Introduction

본 가이드의 1부(MacNeill 외, 2023)에서는 온라인 보건 전문직 교육(HPE)의 근거, 전달 방법, 이론 및 프레임워크를 소개했습니다. 파트 1에는 온라인 학습자 참여, 교수진 개발, 설계 원칙, 접근성, 저작권 및 개인정보 보호에 대한 내용도 포함되어 있습니다. 
Part 1 of this Guide (MacNeill et al. 2023) introduced evidence, delivery methods, theories, and frameworks of online Health Professions Education (HPE). Part 1 also included online learner engagement, faculty development, design principles, accessibility, copyright, and privacy within the context of HPE.

1부에서는 온라인 도구에 대해 언급했지만, 교육 원칙과 이론에 먼저 초점을 맞추고 테크놀로지에 대해서는 두 번째로 다루었습니다. 2부에서는 테크놀로지에 초점을 맞추지만, 구현을 위한 실제 사례와 함께 특정 테크놀로지과 도구를 살펴보기 때문에 "교육 우선" 접근 방식은 계속 기본이 됩니다. 
Although Part 1 referred to online tools, it focused on educational principles and theory first, and technology second. Part 2 will focus on technology, but this “education first” approach continues to be the foundation, as we examine specific technologies and tools with practical examples for implementation.

2부에서는 독자들에게 친숙한 도구와 경험으로 시작하여 게임, 재사용 가능한 개체, 인포그래픽, 팟캐스트, 비디오, 웹사이트, 소셜 미디어와 같은 고급 개념과 도구로 이동하는 여정을 안내합니다. 그런 다음 시뮬레이션 및 가상 환자, 확장 및 가상 현실, 디지털 학술활동과 같은 임상 교육 영역을 살펴보고 온라인 교육의 새로운 트렌드에 대한 간략한 목록으로 마무리합니다. 이러한 도구를 현대의 이슈, 장단점, 관련 이론 및 프레임워크와 연계하여 논의하고 그 사용법을 다시 관련 이론 및 프레임워크와 연관시킵니다. 실제 예제는 초급 및 고급 수준으로 제공됩니다. 
In Part 2, we take the reader on a journey that begins with some familiar tools and experiences, and then moves them into more advanced concepts and tools, such as games, reusable objects, infographics, podcasting, video, websites, and social media. We then continue into clinical teaching areas, such as simulation and virtual patients, extended and virtual reality, digital scholarship, and end with a brief list of emerging trends in online education. We will discuss these tools in conjunction with contemporary issues, advantages and disadvantages, and relate their usage back to the relevant theories and frameworks. Practical examples will be at both beginner and advanced levels.

소그룹 교육, 온라인 토론, 온라인 협업과 같은 다른 주제들도 함께 다룹니다. HPE의 온라인 학습 주제는 방대하기 때문에 부록에서 세부 사항과 추가 읽을거리로 몇 가지 논의를 보완합니다. 또한 주제의 특성을 고려하여 실제 고려 사항을 포함하여 다양한 도구를 사용하여 HPE를 만드는 방법을 설명하는 지원 웹 사이트(https://www.onlinelearninghpe.com/)를 만들었습니다. 
Intertwined are other topics such as small group teaching, online discussions, and online collaboration. As the topic of online learning in HPE is vast, we supplement several of the discussions with details and extra readings in the Appendix. In addition, given the nature of the topic, we have created a supporting website to demonstrate how different tools can be used to create HPE, including practical considerations, at: https://www.onlinelearninghpe.com/.

본질적으로 2부는 1부에서 살펴본 기본 개념의 실제 적용을 제공합니다. (2부의 흐름을 쉽게 하기 위해 1부에서 논의한 이론이나 측면을 언급할 때는 "(1부)"라고 간단히 표기하고 독자가 1부를 읽었거나 참조할 수 있다고 가정합니다). 
In essence, Part 2 provides the practical application of the foundational concepts explored in Part 1. (To ease the flow of Part 2, when we refer to a theory or aspect discussed in Part 1, we will simply note “(Part 1)” and assume that the reader has read or can refer to Part 1).

imte_a_2259069_sm1667.docx
0.05MB

2. 학습 관리 시스템과 MOOC
2. Learning Management Systems and MOOCs

먼저 학습 관리 시스템(LMS)부터 살펴보겠습니다. 이러한 온라인 플랫폼은 교육기관, 관리자, 교사 및 학습자를 위한 강력한 관리 기능을 제공합니다. 의학 교육에서 오랫동안 권장되어 온(Davis and Harden 2001) LMS는 파일 배포, 토론 포럼, 퀴즈, 설문조사, 활동 추적 및 데이터 분석과 같은 기본 보안 및 교육 도구가 내장된 비교적 균일하고 일관된 종합적인 환경을 제공합니다.  
We begin with Learning Management Systems (LMSs). These online platforms offer robust administrative functions for institutions, administrators, teachers and learners. Long recommended in medical education (Davis and Harden 2001), LMSs supply a relatively uniform, coherent and comprehensive environment, with built-in basic security and educational tools, such as file distribution, discussion forums, quizzes, surveys, activity tracking, and data analytics.

LMS의 예로는 캔버스, Blackboard, 흡수, 브라이트스페이스, 무들 등이 있습니다. 일부(예: Moodle)는 무료/오픈 소스이지만 설치하는 데 상당한 테크놀로지 지식이 필요한 경우가 많습니다. 다른 간단한 LMS(예: Google 클래스 룸)는 기본 기능을 갖추고 있고 무료이며 사용자 친화적이지만 안전한 채점, 추적 및 안전하게 저장된 학습자 데이터와 같은 기능이 부족할 수 있습니다. 기본 코스 구성을 위한 다른 옵션으로는 간소화된 코스 셸(예: TedEd(https://ed.ted.com/))과 같은 웹사이트(나중에 살펴보기)가 있습니다. 
LMS examples include Canvas, Blackboard, Absorb, Brightspace and Moodle. Some (e.g. Moodle) are free/open source, but often require significant technical knowledge to install. Other simple LMSs (e.g. Google Classroom) have basic functionality, are free and user-friendly, but may lack features such as secure grading, tracking and securely stored learner data. Other options for basic course organisation include websites (explored later), such as simplified course shells (e.g. TedEd (https://ed.ted.com/)).

1부에서는 수동적-대화형-창의적-대체-증폭-변환(PICRAT) 모델을 설명하는 데 시간을 할애했습니다. 그림 1에서 볼 수 있듯이 LMS의 도구는 많은 PICRAT 요구 사항을 충족할 수 있습니다. (참고: 도구는 예시일 뿐이며, LMS의 유연성과 가용성에 따라 다른 영역에도 매핑될 수 있습니다). In Part 1, we spent some time explaining the Passive-Interactive-Creative-Replaces-Amplifies-Transforms (PICRAT) model. Tools in LMSs can meet many PICRAT demands, as illustrated in Figure 1. (Note: the tools are examples, and could be mapped into other areas also, depending upon their flexibility and availability in the LMS).

그림 1은 LMS의 성공 이유를 보여줍니다. 제한된 교육과 리소스를 이용할 수 있는 학습자, 교사 및 교육기관은 대부분의 교육용 F2F 활동을 온라인으로 복제하고 확대할 수 있습니다. 또한 활동은 서버 및 브라우저 기반이므로 자료에 대한 접근성 문제가 줄어듭니다. (LMS 자료 접근성에 대한 자세한 내용은 (Masters 외, 2022) 참조). 동기식 수업을 실행할 때 미디어 파일 크기와 인터넷 안정성이 제한되지만, 이러한 문제는 녹화 및 미디어 파일 크기(예: 프레임 너비/높이/속도, 해상도, 비트/샘플링 속도)를 줄이고 자료를 다운로드할 수 있도록 허용하면 줄일 수 있습니다. 
Figure 1 demonstrates reasons for the success of LMSs: learners, teachers and institutions with access to limited training and resources can replicate and amplify most educational F2F activities online. In addition, because activities are server- and browser-based, problems of accessibility to materials are reduced. (For a more detailed discussion of LMS material accessibility, see (Masters et al. 2022)). Limitations are media file-size and internet reliability when running synchronous classes, but these problems are reduced by recordings and reducing media file sizes (e.g. frame width/height/rate, resolution, bit/sampling rate), and allowing material to be downloadable.

그림 1은 또한 표준 도구가 대체 및 증폭에 중점을 두고 있으며, 경직된 구조로 인해 창의적인 학습의 기회가 제한되어 있다는 LMS의 문제점을 보여줍니다. 이로 인해 교육기관은 코스 관리에만 집중하고 관리적 안전지대에 머물러 우수한 온라인 학습 테크놀로지 사용은 테크놀로지이나 관리적 필요성보다는 교육적 필요성에 의해 좌우된다는 사실을 잊게 됩니다. 교육기관이 이러한 보수적인 모드에 머물러 있다면, LMS는 막연한 '상호작용'의 필요성을 충족하기 위해 퀴즈를 통해 PowerPoint를 배포하는 수단에 지나지 않게 됩니다. 이론 기반 접근 방식을 사용하면 온라인 코스가 수동적인 콘텐츠 저장소에서 혁신적인 강의실로 탈바꿈할 수 있습니다. 
Figure 1 also illustrates a problem of LMSs: the emphasis of standard tools on Replace and Amplify, with limited opportunities for creative learning due to its rigid structure. This encourages institutions to focus on course management, and remain in administrative comfort zones, forgetting that good online learning technology usage is driven by educational, rather than technological or administrative imperatives. If institutions remain in this conservative mode, LMSs become little more than PowerPoint distribution vehicles, aided by quizzes to meet the needs of some vague feeling of “interaction”. Using theory-based approaches will transform online courses from passive content repositories to transformative classrooms.

혁신은 보고 및 분석, 마이크로 자격 증명, 배지, 빅 데이터(Ellaway 외. 2014), 다른 도구(유사성 검사기 및 데이터 분석 처리 도구 등)와의 통합과 같은 고급 도구를 사용하는 것으로 시작되지만 교육기관은 데이터 수집보다 교육을 우선시해야 합니다. LMS를 더욱 효과적으로 사용하려면 교육기관이 교육자가 테크놀로지 선택과 사용을 주도하도록 하고, 커넥티비즘과 같은 보다 광범위한 학습 이론과 접근 방식을 채택해야 합니다. 
Transformation begins with using advanced tools like reporting and analytics, micro-credentials, badges, big data (Ellaway et al. 2014) and integration with other tools (such as similarity checkers and data analytical processing tools), but institutions must prioritise education over data collection. Further effective LMS usage requires institutions to let educators drive technology selection and use, and adopt more expansive learning theories and approaches, such as Connectivism.

1부에서는 커넥티비즘에 대해 자세히 설명했지만, 가장 적절한 측면은 "카오스, 네트워크, 복잡성 및 자기 조직화 이론에서 탐구하는 원리의 통합"과 함께 네트워크를 통해 "우리의 역량을 연결 형성에서 도출"한다고 가정한다는 점입니다(Siemens 2005). 지식은 연결, 다양성, 멘토링을 통해 (개인이 할 수 있는 것보다) 더 큰 규모로 영구적으로 구축됩니다. 
In Part 1, we discussed Connectivism in some detail, but the most pertinent aspect is that it assumes that we “derive our competence from forming connections” through networks, with “integration of principles explored by chaos, network, and complexity and self-organization theories” (Siemens 2005). Knowledge is constructed through connections, diversity and mentorship on a larger scale and more permanently than can be done by an individual.

교육 분야에서 커넥티비즘을 보여주는 대표적인 예는 "깔끔하고 제한적인 중앙 집중식 학습 관리 시스템에서 학생과 강사가 여러 온라인 서비스와 애플리케이션을 사용하는 분산 환경으로의 전환을 촉진하는 것"이라는 원래 목표를 가진 대규모 온라인 공개 코스(MOOC)입니다(Downes 2010). 초기 MOOC는 원래 HPE MOOC의 핵심으로 여겨지던 커넥티비즘의 역할을 강조했습니다(Masters 2011). 
A demonstrable example of Connectivism in education is the Massive Online Open Course (MOOC), with its original goal “to facilitate the transition from a neat, constrained and centralised learning management system to a distributed environment in which students and instructors employ multiple online services and applications” (Downes 2010). Early MOOCs emphasised the role of Connectivism, originally seen as central to HPE MOOCs (Masters 2011).

MOOC의 커넥티비즘은 여러 출처와 의견을 사용하여 더 깊이 탐구하기 때문에 기관에서 공식적으로 지원하는 LMS의 정보 전달 모델에서 벗어나 더 깊은 질문과 성찰(학제 간, 도전과 논쟁)의 활동으로 전환하는 혁신적인 사고방식을 보여줍니다. 이러한 접근 방식은 추가 기능이나 '선택적' 학습이 아니라 코스에 필수적인 요소입니다. 예를 들어, 코스에 '인문학' 부분을 따로 두는 대신 자유 주제에서는 학습자가 외부 아이디어를 자료에 통합할 수 있도록 장려합니다. 
Connectivism in MOOCs demonstrates a transformative mindset: because of a deeper exploration using multiple sources and opinions, it moves away from information-broadcast models of institutional officially supported LMSs, to activities of deeper questioning and reflection (inter-disciplinary, challenges and controversies). These approaches are not add-ons, or “elective” learning, but are integral to the course. For example, rather than have a “Humanities” portion of the course, free reign encourages learners to integrate external ideas into their materials.

그러나 커넥티비스트 MOOC(cMOOC)와 교수자 주도형 MOOC(xMOOC)에는 차이가 있다는 점에 유의해야 합니다. xMOOC는 F2F 교육과 유사하며 교수자가 제공한 자료에 의존합니다(Siemens 2012). xMOOC는 이제 HPE를 지배하고 있으며, cMOOC와 xMOOC의 구분이 희미해졌습니다(Hendriks 외. 2019). xMOOC는 많은 사람들에게 온라인으로 제공되는 단순한 F2F 수업이 될 위험이 있습니다. 연결주의는 다음 섹션에서 설명하는 것처럼 소규모 그룹 교육에서도 중요합니다. 
It should be noted, however, that there is a split between Connectivist MOOCs (cMOOCs) and instructor-led MOOCs (xMOOCs). xMOOCs resemble F2F teaching and rely on instructor-provided materials (Siemens 2012). xMOOCs now dominate HPE, and the distinction between cMOOCs and xMOOCs has faded (Hendriks et al. 2019). xMOOCs risk becoming simple F2F classes offered to many people online. Connectivism is also important in small group teaching, as discussed in the next section.

3. 소규모 그룹 교육
3. Small Group Teaching

대규모 MOOC에서 소그룹 티칭(SGT)으로 넘어갑니다. SGT는 HPE에서 오랫동안 사용되어 왔으며 비공식적인 "그룹 작업"에서 사례 기반 학습(CBL), 문제 기반 학습(PBL) 및 팀 기반 학습(TBL)과 같은 보다 공식적인 유형에 이르기까지 다양합니다(Steinert 1996; Edmunds and Brown 2010).  
From expansive MOOCs, we move to Small Group Teaching (SGT). SGT has long been used in HPE and ranges from informal “group work” to more formal types such as Case-Based Learning (CBL), Problem-Based Learning (PBL), and Team-Based Learning (TBL) (Steinert 1996; Edmunds and Brown 2010).

거의 모든 SGT 형태는 참여도가 높은 6~12명의 학습자로 구성된 그룹 또는 팀이 과제에 상호 작용적으로 집중하여 일반적으로 정해진 시나리오 내에서 실제 문제를 해결하도록 권장하는 공통된 특징을 가지고 있으므로, 탐구 커뮤니티(1부)의 이론적 원칙은 SGT를 이해하는 데 필수적입니다. 교사의 역할은 교수자마다 다를 수 있지만, SGT는 질문 기반 토론을 통한 자기 발견에 의존하여 교훈적이지 않고 학습자가 주도하는 것을 목표로 합니다(Steinert 1996; Edmunds and Brown 2010). 
The theoretical principles of Community of Inquiry (Part 1) are essential for understanding SGT, as almost all SGT forms have common features in which groups or teams of 6-12 highly engaged learners are encouraged to interactively focus on tasks, usually solving practical problems within defined scenarios. While the role of the teacher might vary from instructor to facilitator, SGT aims to be less didactic and more learner-led, relying on self-discovery through inquiry-based discussions (Steinert 1996; Edmunds and Brown 2010).

온라인 또는 전자식 SGT(eSGT)는 HPE에 큰 기회를 제공합니다. PICRAT(위의 논의 참조)를 통해 F2F SGT의 거의 모든 것을 eSGT에서 수행할 수 있지만 초보자는 주의해야 합니다. 파트 1에서 제기한 모든 교수법과 마찬가지로 단순히 F2F SGT를 eSGT에 이식하려고 시도해서는 안 됩니다. eSGT에 대한 자세한 지침은 파트 1(동기식 학습), (Kasai 외. 2021) 및 (O' Leary 외. 2023)을 참조하시기 바랍니다. 
Online or electronic SGT (eSGT) presents great opportunities for HPE. Through PICRAT (See discussion above), almost everything in F2F SGT is accomplished in eSGT, but the beginner should take heed: as with all teaching methods raised in Part 1, one should not merely attempt to transplant F2F SGT to eSGT. For further guidance on eSGT, the reader should refer to Part 1 (Synchronous Learning), (Kasai et al. 2021) and (O’ Leary et al. 2023).

임상 환경에서 일하는 사람들을 위해 (Kasai 외. 2021)은 임상 교육에서 표준 LMS를 통해 전자 PBL을 수행하는 방법에 대한 유용한 예시를 제공합니다. 이 연구는 또한 접근성, 상호 작용 및 동기 부여를 포함하여 파트 1에서 확인된 일반적인 문제를 줄이기 위한 신중한 계획의 필요성을 강조합니다. 균형 잡힌 관점을 제시하는 (O' Leary 외. 2023)은 F2F PBL에 대한 강한 선호도에 대해 경고하면서, 모든 것을 온라인으로 복제할 수 있다고 너무 순진하게 믿는 것은 실망으로 이어질 수 있다고 경고합니다. 
For those working in the clinical setting, (Kasai et al. 2021) give a useful illustration of how electronic PBL is conducted through a standard LMS in clinical training. Their study also emphasises the need for careful planning to reduce the common problems identified in Part 1, including accessibility, interaction and motivation. A balanced view is offered by (O’ Leary et al. 2023), who show the potential, while warning about a strong preference for F2F PBL, and that too naively believing that one can simply replicate everything online can lead to disappointment.

탐구 커뮤니티의 이론적 원칙은 단순한 '그룹 과제'를 넘어 사회적, 인지적, 교수적 존재감 요소의 상호 작용을 통한 촉진된 담화를 통해 탐구 기반 학습으로 나아가기 위한 지침을 제공합니다. 더 넓은 수준에서 eSGT는 학습자가 자신의 학습을 소유하도록 장려하는 일반적인 교육 접근 방식의 일부로 기능해야 하며, 자가 평가, 게임 및 퍼즐, 소그룹 또는 전체 학급 프레젠테이션과 같은 참여형 활동(주로 일반적인 LMS 도구를 통해)을 통합해야 합니다. 
The theoretical principles of Community of Inquiry provide guidance for moving beyond simple “group tasks” to guided inquiry-based learning through facilitated discourse with the interplay of social, cognitive, and teaching presence elements. At a broader level, eSGT should function as part of a common educational approach that encourages learners to own their learning, incorporating engaging activities (frequently through common LMS tools), such as self-assessments, games and puzzles, small group or whole-class presentations.

숙련되고 자원이 풍부한 교사의 경우, 커넥티비즘에 대한 파트 1 토론에서 설명한 기회를 통해 그룹이 접선적으로 작업하도록 장려하고 공식적으로 지원되는 LMS 외부의 소스와 도구를 탐색하는 것이 필수적입니다(Malik 및 Malik 2022). 또한 플립드 강의실 접근 방식은 TBL, CBL 및 PBL에도 동일하게 적용됩니다. 그러나 이를 위해서는 신중한 계획이 필요합니다. 자세한 내용은 부록 8을 참조하십시오. HyFlex(1부)의 맥락에서 좀 더 발전된 형태인 HyFlex eSGT는 더 많은 기회를 제공하지만 더 큰 복잡성을 내포하고 있습니다. 
For the more advanced and well-resourced teacher, the opportunities outlined in the Part 1 discussion on Connectivism encourage groups to work tangentially, and exploring sources and tools outside the officially-supported LMS is essential (Malik and Malik 2022). In addition, flipped-classroom approaches are equally applied in TBL, CBL and PBL. This does, however, require careful planning. See Appendix 8 for further reading. Still more advanced, within the context of HyFlex (Part 1), HyFlex eSGT presents further opportunities, but also greater complexities.

위에서 설명한 광의의 접근 방식(MOOC)과 협의의 접근 방식(SGT) 모두에서 교사가 직면한 가장 중요한 과제는 의미 있는 방식으로 상호 작용과 참여를 장려하고 학습자가 과정에 계속 참여하도록 하는 것입니다. 이러한 활동의 예로 이 가이드의 다음 섹션에서 게임 기반 학습을 살펴봅니다. 
In both broad (MOOCs) and narrow (SGT) approaches described above, an overriding challenge faced by teachers is encouraging interaction and participation in a meaningful way, and keeping learners engaged in the process. For an example of such activities, we turn to Game-Based Learning, in the next section of this Guide.

4. 게임 기반 학습
4. Game-Based Learning

온라인 환경에서의 상호 작용, 참여 및 협업에 대한 과제로 인해 지난 20년 동안 HPE에서 진지한 게임의 사용이 꾸준히 증가했습니다(Maheu-Cadotte 외. 2021). 이 섹션에서는 개별 학습자 또는 팀에 사용되는 게임 기반 학습(GBL)의 유형을 구분합니다. 
The challenges with interaction, engagement and collaboration in online environments have led to a steady increase in the use of serious games for HPE in the last two decades (Maheu-Cadotte et al. 2021). In this section, we differentiate types of Game-Based Learning (GBL) that are employed to individual learners or teams.

게임에는 오락을 목적으로 하는 규칙, 목표 및 도전 과제가 포함되어 있는 반면, 진지한 게임에는 특정 학습 결과를 개선하기 위한 명시적이고 신중하게 고려된 교육적 목적이 있습니다(Maheu-Cadotte 외. 2021).
A game includes rules, goals and challenges for the purpose of amusement, while serious games have an explicit, carefully thought-out educational purpose to improve specific learning outcomes (Maheu-Cadotte et al. 2021).

진지한 게임은 시각적 단서, 상호 작용, 참여, 동기 부여와 같은 게임의 재미 요소를 통합하는 동시에 성인 학습자의 요구를 충족하여 자율성, 통제력, 성취감을 제공합니다. 학습자는 다양한 레벨의 도전을 진행하면서 즉각적인 피드백을 받고, 스킬을 습득하고, 정확한 답변에 대한 보상을 받습니다. 진지한 게임은 기존 접근 방식에 비해 학습자의 만족도와 지식 유지율을 높여 긍정적인 영향, 동기 부여 및 행동을 유도하고(Gleason 2015), 의도적인 연습(예: 절차적 스킬 훈련을 위한 가상 현실)을 촉진합니다.
Serious games incorporate fun elements of games, such as visual cues, interactivity, engagement, motivation, while fulfilling needs of adult learners, allowing for autonomy, control and a sense of achievement. Learners progress through challenges with different levels, receiving immediate feedback, acquiring skills, and receiving rewards for accurate responses. Serious games enable positive affect, motivation and behaviour with increased learner satisfaction, and knowledge retention when compared to traditional approaches (Gleason 2015) and promote deliberate practice (e.g. Virtual Reality for procedural skills training).

반면에 게이미피케이션은 게임 기반 요소를 게임 외적인 맥락에 사용하는 것으로, 교육 콘텐츠에 대한 참여도와 학습 결과를 개선하는 것으로 나타났습니다(van Gaalen 외. 2021). 보상과 같은 게임 요소를 사용하지만 게이미피케이션의 의도는 게임을 만드는 것이 아니라 원하는 행동에 대한 자기 동기를 높이는 데 있습니다.

Gamification, on the other hand, is the use of game-based elements to non-game contexts, and has been shown to improve engagement with educational content and learning outcomes (van Gaalen et al. 2021). Although it uses game elements, such as rewards, the intention of gamification is not to create a game, but rather to increase self-motivation towards desired behaviours.

교육 설계자는 게임화 사용의 문제점으로 '경쟁이 학습자가 실제 학습 과제와 결과에 집중하지 못하게 할 수 있다'는 점을 인식해야 합니다. 학습자는 그룹 활동에서 이기는 것에만 집중하게 되고, 이기기 위해 '부정 행위'를 하게 될 수 있습니다. 다음 단계로 넘어가지 못하면 좌절감으로 인해 학습이 저해되거나 교사의 개입이 필요할 수 있습니다. 그림 2는 진지한 게임과 게이미피케이션의 학습 활동 요약(예시 포함)을 보여줍니다. 게이미피케이션에 대한 자세한 내용은 부록 8을 참조하세요.
Educational designers must be aware that a challenge of using gamification is that competition can detract learners from the real learning tasks and outcomes. They may instead focus on winning a group activity, leading to “cheating” to win. If the player is unable to proceed to the next level, frustration can inhibit learning or require intervention from the teacher. Figure 2 shows a summary of the learning activities (with examples) of serious games and gamification. For further reading on Gamification, see Appendix 8.

4.1. 프레임워크
4.1. Frameworks

흐름 이론, 자기 결정 이론, 목표 설정 이론(Huang and Hew 2018), Bedwell이 설명한 9가지 특성(Bedwell 외. 2012) 등 여러 프레임워크가 GBL에 사용되었습니다. 게임에 대한 맥락을 제공하고 학습자가 게임을 진행하기 위해 따라야 할 단계를 안내하는 것은 학습자의 게임 활동 방향을 설정하는 데 매우 중요합니다. GBL을 뒷받침하는 대부분의 이론은 목표 달성의 필요성을 강조하고, 학습자가 자율적으로 진행 수준과 속도를 선택할 수 있도록 하며, 학습자 경험, 유용성 및 참여를 강조합니다(Petri 외. 2017). 반면에 게이미피케이션은 목표, 접근, 피드백, 도전, 협업과 같은 동기 부여 요소를 사용하여 성취에 대한 보상을 통해 다양한 레벨로 진행합니다(Huang and Hew 2018).  
Several frameworks, such as Flow theory, Self-determination theory and Goal Setting theory (Huang and Hew 2018) and the nine characteristics outlined by Bedwell (Bedwell et al. 2012) have been employed in GBL. Providing context to the game and orienting the learner to the steps to follow to progress through the game is vital in orienting the learner to the game activity. Most theories underpinning GBL highlight the need for achieving goals, allowing learner autonomy to choose the level and rate of progress, and emphasizing learner experience, usability and engagement (Petri et al. 2017). Gamification on the other hand uses the elements of motivation such as goals, access, feedback, challenge and collaboration, to progress through different levels through rewards for achievements (Huang and Hew 2018).

4.2. 학습 결과에 따른 GBL 적용 방법
4.2. Application of GBL Depends on the Learning Outcomes

그림 3은 초급과 고급으로 구분된 진지한 게임과 게이미피케이션의 교육 활동과 사례를 보여줍니다.
Figure 3 shows teaching activities and examples of serious games and gamification, separated into Novice and Advanced.

GBL은 지루할 수 있는 강의를 팀 기반 활동이나 개별 과제를 통해 학생들에게 도전과 동기를 부여하고 참여를 유도하는 방식으로 가르치는 데 사용할 수 있습니다. 게임 개발의 어려움은 리소스 집약적이며 공동 작업이나 외부 자료에 대한 액세스가 자주 필요하다는 점입니다. 이 문제에 대한 부분적인 해결책은 다음 섹션에서 설명하는 대로 온라인 리소스를 공유하고 용도를 변경하는 것입니다.
GBL can be used to teach what is otherwise a boring lecture to something that challenges, motivates and engages students with team-based activities or individual challenges. A challenge with developing games is that they are resource-intensive, and frequently require collaboration or accessing external materials. A partial solution to this problem lies in sharing and repurposing online resources as discussed in the next section.

5. 재사용 가능한 학습 객체 및 FOAM
5. Reusable Learning Objects and FOAM

온라인 학습의 장점은 다양한 글로벌 및 학습자 상황에 맞게 용도를 변경하고 재사용할 수 있는 수정 가능하고 접근 가능한 광범위한 교육 리소스가 있다는 것입니다. 이는 테크놀로지 및 재정적 자원에 대한 접근이 제한된 교사와 학습자에게 특히 중요합니다. 이를 위해 재사용 가능한 학습 객체(RLO)와 그 하위 집합인 의료 교육에 주목합니다: 무료 오픈 액세스 의료(또는 의학 교육) 리소스(FOAM)입니다. 
A benefit of online learning is the breadth of modifiable and accessible teaching resources that can be repurposed and reused in different global and learner contexts. This is especially important for teachers and learners who have limited access to technical and financial resources. For this, we turn to Reusable Learning Objects (RLOs), and their medical education sub-set: Free, Open-Access Medical (or Medical Education) resources (FOAM).

학습 객체는 "다양한 학습 상황에서 여러 번 재사용할 수 있는 교육 구성 요소"이며 "일반적으로 인터넷을 통해 전달할 수 있는 디지털 엔티티로 이해"됩니다(Wiley 2002). 이러한 요소는 모든 미디어 유형으로 존재하며, 인터넷의 저장 위치에 관계없이 검색 및 재사용을 가능하게 하는 관련 메타데이터를 가지고 있습니다. 재사용 가능성은 매우 중요하며, 이러한 이유로 재사용 가능한 학습 객체(RLO)라고도 합니다. 
Learning Objects are “instructional components that can be reused a number of times in different learning contexts” and are “generally understood to be digital entities deliverable over the Internet” (Wiley 2002). They exist as all media types, and have associated metadata to enable searching and re-use, irrespective of where on the Internet they are stored. Reusability is crucial, and for that reason, they are frequently referred to as Reusable Learning Objects (RLOs).

RLO의 연장선상에서 2012년에 시작된 FOAM(Twitter: #FOAMEd)은 원래 의학 교육에서 소셜 미디어를 사용하는 데 중점을 두었습니다: "의학 교육과 모든 정보를 클라우드에 올려서 필요한 사람들에게 제공하는 것이 목표입니다." (Cadogan 2012). 원래는 응급의학과에서 시작되었지만 FOAM은 의학교육의 여러 분야로 확장되었습니다(Grock 외. 2021). 또한 COVID-19 팬데믹으로 인해 FOAM 재료 사용량이 증가했습니다(Boreskie 외. 2022). 
In an extension of RLOs, FOAM (Twitter: #FOAMEd) originated in 2012, originally focusing on the use of social media in medical education: “the idea is to get medical education and all the information up in the Cloud down to those people who need it.” (Cadogan 2012). Although originally in Emergency Medicine, FOAM expanded to many areas of medical education (Grock et al. 2021). In addition, the COVID-19 pandemic led to increased FOAM materials usage (Boreskie et al. 2022).

FOAM은 웹사이트, 비디오, 팟캐스트, 블로그, 인포그래픽, 온라인 저널 클럽, 게임 등 온라인 의학 교육 자료의 개발, 사용, 공유, 수정을 장려합니다(Wolbrink 외. 2019). 또한 다양한 미디어를 사용하여 다양하고 유연한 학습 옵션을 제공하는 기회는 유니버설 디자인 학습 원칙(1부)에 부합합니다. 
FOAM encourages the development, use, sharing and modification of online medical education materials, including websites, videos, podcasts, blogs, infographics, online journal clubs, and games (Wolbrink et al. 2019). Additionally, the opportunity to provide varied and flexible learning options using various media aligns with Universal Design for Learning Principles (Part 1).

FOAM에 대한 비판은 일부 리소스가 학술적 품질(Brindley 외. 2022)에 차이가 있고, 미신고된 이해 상충(Niforatos 외. 2019)으로 동료 검토를 거치지 않았다는 것입니다. 품질 지표가 없으면 양질의 FOAM을 큐레이팅하는 것이 부담스러울 수 있습니다. 
A criticism of FOAM is that some resources are not peer-reviewed with variable scholarly quality (Brindley et al. 2022) and undeclared conflicts of interests (Niforatos et al. 2019). Without quality indicators, curating good quality FOAM can be overwhelming.

반면에 품질 평가 및 큐레이션 도구를 FOAM에 활용하면(Ting 외. 2020), 이러한 리소스에 쉽게 액세스할 수 있는 다음과 같은 여러 가지 이점이 있습니다: 
On the other hand, if quality appraisal and curation tools are utilised for FOAM (Ting et al. 2020), there are multiple advantages of having easy access to these resources, such as:

  • 온라인 학습의 많은 이점과 이론적 접근 방식은 HPE 자료의 무료 가용성과 재사용 가능성에 의존하며, FOAM은 이러한 이론을 실제로 구현한 대표적인 사례입니다. 
    Many benefits and theoretical approaches of online learning rely on the free availability and re-useability of HPE materials, and FOAM is the epitome of that theory in action.
  • FOAM은 일반적으로 고소득 국가에서 작성되고 고소득 국가의 맥락에서 작성되었지만, 원격 및 자원이 부족한 교육기관에서 고품질 자료에 액세스할 수 있도록 지원합니다.  
    FOAM can give remote and less-well-resourced institutions access to high-quality material, although these are typically authored in, and in the context of, high-income countries.
  • 학습자는 다양한 리소스 중에서 선택하여 다양한 전문가 간 요구와 수준에 맞게 학습을 조정하는 동시에 그룹 학습 목표를 촉진할 수 있습니다.
    Learners can choose from a variety of resources, tailoring learning to different interprofessional needs and levels, while still promoting group learning goals.
  • FOAM 전용 웹사이트가 많이 있지만, 탈중앙화는 핵심 요소이며, 특히 트위터(#FOAMed)를 통해 FOAM 자료를 쉽게 찾을 수 있습니다. 
    Although there are many dedicated FOAM websites, de-centralisation is a key element, and finding FOAM material can be easy, especially through Twitter (#FOAMed).
  • FOAM 자료를 사용하면 교사가 '유일한' 전문가라는 인식을 탈피하고 다양한 의견과 관점을 제공할 수 있지만, 교사가 자신의 전문성을 증명하기 위해 독창적이고 표준화된 자료를 제작해야 한다고 느끼기보다는 다양하고 새로운 커리큘럼을 만들 수 있도록 지원하고 장려할 필요가 있습니다. 
    Using FOAM materials can help decentralise the teacher as the “only” expert, and provide diversified opinions and perspectives, although teachers need to be supported and promoted for creating diverse and novel curricula, rather than feeling they need to produce solo and standardised materials to prove their expertise.

(부록 8에서 자세한 내용을 확인할 수 있습니다). 
(Appendix 8 gives details of further reading).

다음 섹션에서는 FOAM에서 사용되는 몇 가지 일반적인 도구에 대해 설명합니다. 
The following sections discuss some common tools used in FOAM.

 

6. 인포그래픽
6. Infographics

인포그래픽은 최근 인기를 얻고 있는 많은 RLO 중 하나입니다. 

  • 인포그래픽은 그래픽, 이미지, 텍스트를 결합하여 정보, 아이디어 및/또는 데이터를 시각적으로 표현합니다. 잘 디자인된 인포그래픽은 복잡한 정보를 쉽게 이해할 수 있도록 명확하고 간결하게 전달합니다(Balkac 및 Ergun 2018). 
  • 인포그래픽은 스토리를 전달하거나, 프로세스를 설명하거나, 비교 및 대조하거나, 관계를 설명하거나, 데이터를 해석할 수 있습니다. 
  • 인포그래픽은 일반적으로 소셜 미디어나 웹사이트를 통해 쉽게 공유할 수 있는 디지털 파일입니다. 
  • 또는 인포그래픽을 인쇄하여 임상 환경 내에서 손 위생 절차를 표시하는 포스터와 같은 소규모 커뮤니케이션 도구로 사용할 수도 있습니다.

Infographics are among the many RLOs that have gained popularity of late. Infographics combine graphics, images, and text to visually present information, ideas, and/or data.

  • Well-designed infographics convey complex information clearly and concisely in a manner that is easily understood (Balkac and Ergun 2018).
  • Infographics may convey a story, describe a process, compare and contrast, illustrate relationships, or interpret data.
  • They are typically digital files that are easily shared via social media or websites.
  • Alternatively, they may be printed and used as a communication tool on a smaller scale, for example, as a poster displaying hand hygiene procedures within a clinical environment.

인포그래픽은 학습자가 정보를 선택, 구성, 통합하는 데 도움이 되도록 설계된 효과적인 교수 학습 도구입니다. 메이어의 멀티미디어 학습 인지 이론(1부)의 원리를 활용하면 학습자의 작업 기억에 대한 요구가 줄어들고 정보를 더 쉽게 기억할 수 있습니다. 
Infographics are effective teaching and learning tools when designed to help learners select, organise and integrate information. Using the principles of Mayer’s Cognitive Theory of Multimedia Learning (Part 1), the demand on the learner’s working memory is reduced, and information is more readily retained.

인포그래픽은 환자와 대중에게 건강에 대해 교육하는 도구로 널리 사용되고 있습니다. 또한 인포그래픽은 학회와 소셜 미디어에서 시각적 초록(연구 초록의 시각적 표현)을 통해 새로운 연구의 보급을 지원하는 데 점점 더 많이 사용되고 있습니다(Spicer and Coleman 2022). HPE에서 인포그래픽을 사용하는 초보적인 예로는 팁 시트와 유사한 학습 보조 자료로 인포그래픽을 (재)사용하는 것이 있습니다. 
Infographics are widely used as tools to educate patients and the public about their health. Infographics are also being increasingly used to support the dissemination of new research by means of visual abstracts (visual representations of a research study’s abstract) at conferences and on social media (Spicer and Coleman 2022). A beginner example of infographic use in HPE could be (re)using them as learning aids, similar to tip sheets.

HPE에서 인포그래픽 활용의 고급 예로는 학습자가 능동적인 학습 전략으로 인포그래픽을 만들어 복잡한 정보를 종합하고 요약하도록 하는 것이 있습니다. 이러한 인포그래픽은 학습을 평가하기 위한 증거, 동료 교육을 제공하거나 환자 교육을 위한 리소스를 만드는 수단으로 사용됩니다. 
A more advanced example of infographic use in HPE includes having learners create infographics as an active learning strategy, synthesizing and summarizing complex information. These are used as evidence to evaluate learning, a means to provide peer teaching and/or create a resource for patient education.

효과적인 인포그래픽의 계획 및 제작에 관한 모범 사례를 제공하는 수많은 동료 검토 가이드와 팁이 있습니다(Scott 외. 2017, Hernandez-Sanchez 외. 2021, Spicer and Coleman 2022). 이러한 팁을 요약한 인포그래픽은 지원 웹사이트(https://www.onlinelearninghpe.com/)에서 확인할 수 있습니다. 
There are numerous peer reviewed guides and tips that offer best practices regarding the planning and creation of effective infographics (Scott et al. 2017; Hernandez-Sanchez et al. 2021; Spicer and Coleman 2022). An infographic summarizing these tips can be found on our supporting website: https://www.onlinelearninghpe.com/.

지식, 아이디어, 정보 또는 데이터를 조사, 수집, 종합하는 것 외에도 이러한 콘텐츠를 그래픽, 이미지 및 텍스트를 사용하여 시각적 디자인으로 변환하는 데는 더 이상 고도로 훈련된 테크놀로지 전문 지식이 필요하지 않습니다. 최근 몇 년 동안 온라인 인포그래픽 제작 도구가 다양해지면서 콘텐츠 제작이 더욱 쉽고 간편해졌습니다. 예를 들면 Canva, Visme, Piktochart, Genial.ly, Easel.ly, Infogram 등이 있습니다. 학습자는 빈 페이지로 디자인을 시작하여 자신의 디자인에 따라 적절한 색상, 글꼴 및 레이아웃을 선택하거나 편집 및 재사용 가능한 다양한 템플릿을 제공하는 도구를 선택할 수 있습니다. 
Apart from researching, collating and synthesizing knowledge, ideas, information or data, translating this content into a visual design using graphics, images and text no longer requires highly trained technical expertise. Online infographic creation tools have multiplied in recent years and have become easier and simpler for content creation. Examples include Canva, Visme, Piktochart, Genial.ly, Easel.ly, and Infogram. Learners can begin designing with a blank page and selecting appropriate colours, fonts and layout according to their own design, or selecting a tool that provides numerous editable and reusable templates.

어떤 방법을 사용하든 학습자는 https://contrastchecker.com/ 또는 https://webaim.org/resources/contrastchecker/ 같은 도구를 사용하여 접근 가능한 색상 및 글꼴 쌍을 선택하고 유니버설 학습 설계 및 접근성 원칙에 따라 이미지와 그래픽에 대체 텍스트(1부)를 적절히 레이블로 지정해야 합니다. 
Irrespective of method, learners should select colour and font pairings that are accessible using tools such as https://contrastchecker.com/ or https://webaim.org/resources/contrastchecker/ and ensure images and graphics are appropriately labelled with alternative text (Part 1) in keeping with Universal Design for Learning and accessibility principles.

학습자는 FOAM의 정신에 따라 원본 자료를 공유하고, 재사용하고, 소셜 미디어에 게시하는 방법을 명시하는 크리에이티브 커먼즈 라이선스(https://creativecommons.org)(파트 1)를 할당하여 인포그래픽의 사용 및 공유를 장려할 수 있습니다. 
In the spirit of FOAM, learners can choose to encourage the use, and sharing of their infographics by assigning a creative commons license, (https://creativecommons.org) (Part 1) dictating how their original material can be shared, reused, and posted to social media.

7. 팟캐스팅
7. Podcasting

팟캐스팅온디맨드 방식으로 쉽게 액세스할 수 있는 형식으로 HPE 콘텐츠를 배포할 수 있는 인기 있는 오디오 기반 매체입니다(Cho et al. 2017).  
Podcasting is a popular audio-based medium that allows for the distribution of HPE content in an on-demand and easily accessible format (Cho et al. 2017).

HPE에서 팟캐스팅을 사용하는 교육 이론에는 질문 커뮤니티와 연결주의(1부)가 있습니다. 학습자는 자신의 고유한 임상 경험에 대한 정보를 듣고, 반영하고, 적용함으로써 인지 과정에 능동적으로 참여할 수 있습니다. 전사, 하이퍼링크, 소셜 미디어 및 기타 대화형 기능을 통해 콘텐츠, 외부 리소스 및 해당 분야의 전문가에게 접근할 수 있습니다. 
The educational theories behind the use of podcasting in HPE include Communities of Inquiry and Connectivism (Part 1). Learners can actively engage in the cognitive process by listening, reflecting, and applying information to their unique clinical experiences. Through transcription, hyperlinks, social media, and other interactive features, they can access content, external resources, and experts in the field.

팟캐스트는 언제 어디서나 자기 주도적으로 교육 콘텐츠에 액세스할 수 있는 방법을 제공하므로 '적시성'(1부) 및 자기 주도적 학습을 제공하는 데 이상적인 도구입니다. 팟캐스트는 전통적인 수업에 참석할 수 없거나 출퇴근 시간이 길거나 다른 생업에 종사하는 사람들에게 특히 유용하며, 최신 임상 정보를 제공하는 데에도 유용합니다(Cho et al. 2017). 또한 팟캐스트는 SoundCloud, iTunes, Spotify와 같은 다양한 플랫폼에서 스트리밍 또는 다운로드할 수 있으므로 학부생부터 평생 전문성 개발 학습자에 이르기까지 더 많은 청중에게 다가갈 수 있습니다. 
Podcasts offer a self-paced way to access educational content at any time and place, making them ideal tools for providing “just-in-time” (Part 1) and self-directed learning. This is particularly useful for those who are unable to attend traditional classes, have long commutes or other life commitments, or for providing up-to-date clinical information (Cho et al. 2017). Furthermore, podcasts can be made available for streaming or downloading from various platforms such as SoundCloud, iTunes, and Spotify, allowing a wider audience to be reached, from undergraduate to Continuing Professional Development learners.

HPE 학습에서 팟캐스트의 초보적인 예로는 학습자가 수업 전 준비 과정으로 팟캐스트를 듣는 "플립드 클래스 룸"의 
Beginner examples of podcasting in HPE learning include using them as:

  • 학습자가 수업 전 준비 과정으로 팟캐스트를 듣고 수업 시간 동안 적극적인 PBL 활동에 참여하는 "플립드 클래스 룸"의 일부(Cho et al. 2017);
    part of the “flipped classroom”, where learners listen to podcasts as pre-class preparation and engage in active, PBL activities during class time (Cho et al. 2017);
  • 지속적인 전문성 개발을 위한 도구로, 의료 전문가에게 해당 분야의 최신 동향을 편리하게 파악할 수 있는 방법을 제공합니다,
    a tool for Continuing Professional Development, providing healthcare professionals with a convenient way to stay current on the latest developments in their field,
  • 시각적 정보를 처리할 수 없는 상황(예: 대역폭 또는 데이터에 대한 제한된 액세스, 집안일, 출퇴근 중 또는 운동과 같은 자기 관리 활동 중 학습)에서 학습을 수행할 수 있는 도구.
    a tool to allow learning to occur when visual information cannot be processed (e.g. limited access to bandwidth or data, learning while doing household chores, commuting, or during self-care activities such as exercise).

팟캐스트를 사용하는 고급 방법에는 다음과 같은 것이 있습니다:
A more advanced way of using podcasts include as:

  • 형성적 평가: 학습자가 모의 환자를 대면하는 자신의 수행을 듣고 반성할 수 있습니다(Drew 2017),
    formative assessment, allowing learners to listen to, and reflect on, their own performances during simulated patient encounters (Drew 2017),
  • 소외된 사람들의 이야기와 관점을 익명으로 들을 수 있는 도구이며, 이를 성찰과 결합함.
    a tool to anonymously hear the narratives and perspectives of marginalised populations with reflection exercises.

팟캐스트는 교육 도구로서 많은 이점이 있지만, 품질 관리와 잘못된 정보의 가능성 등 몇 가지 과제를 고려해야 합니다(Boreskie 외. 2022). 이러한 문제는 ALiEM AIR 점수와 같이 확립된 중요 평가 점수를 사용하여 해결할 수 있습니다(Chan et al. 2016). 
While podcasting has many benefits as an educational tool in HPE, several challenges should be considered, including quality control and the potential for misinformation (Boreskie et al. 2022). These are addressed by using established critical appraisal scores, such as the ALiEM AIR score (Chan et al. 2016).

또한 교육 도구로서 팟캐스트의 효과를 평가하는 것은 의도한 목표가 어느 정도 달성되고 있는지를 판단하는 데 매우 중요합니다. 팟캐스트의 효과를 평가하는 한 가지 방법은 사전 및 사후 평가를 통해 평가하는 것입니다(Berk 외. 2020). 또 다른 접근 방식으로는 다운로드 수, 공유 수, 조회 수 등 팟캐스트의 참여도와 영향력을 측정하는 알트메트릭이 있습니다(Zhang 외. 2022). 또한, 수정된 델파이 합의 권고안에 설명된 것과 같은 품질 지표를 통합하면 팟캐스트가 품질 표준을 준수하는지 확인하는 데 도움이 될 수 있습니다(Lin et al. 2015). 
Additionally, evaluating the efficacy of podcasting as an educational tool is crucial in determining the extent to which the intended objectives are being met. One method for evaluating the effectiveness of podcasts is through pre- and post-test assessments (Berk et al. 2020). Another approach includes altmetrics, which measure the engagement and impact of the podcast, such as the number of downloads, shares, and views (Zhang et al. 2022). Furthermore, the incorporation of quality indicators, such as those outlined in the modified Delphi consensus recommendations, can aid in ensuring that the podcast adheres to quality standards (Lin et al. 2015).

팟캐스트가 HPE에서 효과적으로 사용되려면

  • 팟캐스트가 정확하고 증거에 기반하며
  • 의도한 청중에게 적합해야 하고(Berk 외. 2020),
  • 오디오 품질이 높아서 팟캐스트를 쉽게 들을 수 있어야 하며(Lin 외. 2015),
  • 구조가 명확하고 논리적이어서 한 지점에서 다음 지점으로 쉽게 흘러가야 한다는 모범 사례를 따르는 것이 중요합니다.
  • 궁극적으로 팟캐스트는 독립적인 학습의 한 형태이므로 더 깊은 이해와 관점 공유를 위해 피드백과 협업 학습을 통합하는 더 큰 커리큘럼의 일부가 되어야 합니다. 

To ensure that podcasting is used effectively in HPE, it is important to follow best practices:

  • they should be accurate, evidence-based, and
  • appropriate for the intended audience (Berk et al. 2020),
  • audio quality must be high so that the podcast is easily audible (Lin et al. 2015),
  • structure must be clear and logical and flow easily from one point to the next.
  • Ultimately, because podcasts are a form of independent learning, they should be part of a larger curriculum that incorporates feedback and collaborative learning for deeper understanding and shared perspectives.

자세한 테크놀로지 및 실제 적용 정보는 지원 웹사이트(https://www.onlinelearninghpe.com/)에서 확인할 수 있습니다.
Further technical and practical application information is supplied on our supporting website at: https://www.onlinelearninghpe.com/.

8. 비디오
8. Video

팟캐스트와 유사하게 비디오가 포함된 멀티미디어는 HPE에서 점점 더 많이 사용되고 있습니다. 이는 시각적(이미지 및 그래픽)과 청각적 자극(내레이션)을 상호 보완적으로 사용하여 학습 효과를 높이는 이중 채널 학습(1부)의 한 예입니다(Mayer 2008). 스마트폰과 무료로 제공되는 편집 도구의 사용으로 비디오 제작에 쉽게 접근할 수 있게 되었습니다(Dong and Goh 2015; Rana 외. 2017). 동영상은 콘텐츠 동화에 필요한 시간을 단축하고, 절차적 스킬을 통해 자기 효능감을 향상시키며, 많은 학습자에게 도달할 수 있습니다. 팟캐스트와 마찬가지로 학습자는 원하는 속도로 진행하며 정서적(느낌, 감정 및 태도) 학습 목표를 향상시킬 수 있는 스토리텔링 접근 방식에 참여합니다(1부).  
Similar to podcasts, multimedia with videos are increasingly used in HPE. They are an example of dual channel learning (Part 1), which uses visual (images and graphics) and auditory stimuli (narration) in complementary ways to make learning more effective (Mayer 2008). With the use of smartphones and freely available editing tools, video creation has become easily accessible to HPE (Dong and Goh 2015; Rana et al. 2017). Videos can reduce the time required to assimilate content, improve self-efficacy with procedural skills and reach a wide number of learners. As with podcasts, learners progress at their desired pace and engage in a storytelling approach that can enhance affective (feeling, emotional and attitudinal) learning goals (Part 1).

수동적으로 비디오를 시청하는 초급 단계의 예에서 더 나아가, 학습자가 핵심 개념에 대한 명확한 질문을 게시하는 수동적 대체(PR)에서 대화형 증폭(IA)으로 이동하기 위해 PICRAT을 사용합니다(Dong and Goh 2015). 더 발전된 예로는 학습자가 개념 지식을 명확히 하기 위해 직접 비디오를 제작하는 것이 있습니다. 이는 PICRAT를 따라 학습을 창의적 증폭(CA)으로 한 단계 더 발전시킵니다. 
Moving beyond a beginner example of passively watching a video, we use PICRAT to move from Passive Replacement (PR) to Interactive Amplification (IA), when learners post clarifying questions on key concepts (Dong and Goh 2015). A more advanced example includes learners’ creating their own videos to clarify conceptual knowledge. This moves learning further along PICRAT to Creative Amplification (CA).

모든 예에서 교육자는 대역폭 문제와 파일 크기를 고려하여 비디오의 길이와 크기에 세심한 주의를 기울여야 합니다. 교육이 더 길어야 하는 경우, '청킹'을 사용하면 6분 미만으로 맞출 수 없는 정보를 조합하는 데 도움이 됩니다(Guo 외. 2014). 동영상의 내레이션은 대화형이어야 하며 자막과 함께 참여도를 높여야 합니다. 
In all examples, the educator should pay close attention to the duration and size of the video, considering bandwidth problems and file size. If the instruction needs to be longer, “chunking” helps collating information that cannot be fitted under 6 min (Guo et al. 2014). Narration for videos should be conversational and engaging with subtitles.

디지털 태블릿에 그림을 그리는 것과 같은 시각적 상호 작용은 PowerPoint 슬라이드나 스크린 캐스팅에 비해 더 매력적인 것으로 인식됩니다(Mayer 2021). 새로운 형태의 비디오 제작은 가상 시뮬레이션을 사용하여 학습자가 시뮬레이션 환경에 가상으로 몰입할 수 있도록 합니다. 애니메이션을 이용한 정보는 환자 교육 노력에 점점 더 많이 사용되어 지식, 건강 이해력 및 결과를 개선하고(Dahodwala 외. 2018; Feeley 외. 2023), 건강 이해력이 낮은 환자를 위해 진단에 대한 사실을 단순화할 수 있습니다. 소셜 미디어에서 마이크로 비디오(틱톡, 유튜브 단편)가 점점 더 많이 사용되고 있으며 교육용으로도 활용되고 있습니다. 온라인에서 이용할 수 있는 콘텐츠가 기하급수적으로 증가함에 따라 교육자는 r-METRIQ 점수 사용(콜머스-그레이 외. 2019) 등 교육의 타당성과 품질을 보장하고 저작권에 유의해야 합니다. 
Visual interactivity, such as drawing on a digital tablet, is perceived as more engaging compared to PowerPoint slides or screen-casting (Mayer 2021). Newer forms of video creation use virtual simulation, allowing for virtual immersion of the learner in the simulated environment. Information using animations is increasingly used in patient education efforts, improving knowledge, health literacy and outcomes (Dahodwala et al. 2018; Feeley et al. 2023), and can simplify facts about diagnosis for patients with low health literacy. Micro videos (TikTok, YouTube shorts) are increasingly used in social media and explored for education. With the exponential increase of content available online, educators need to ensure the validity and quality of education, such as using the r-METRIQ scoring (Colmers‐Gray et al. 2019) and be aware of copyright.

동영상 제작의 장단점 및 실제 적용 팁에 대한 자세한 예는 트위터 웹사이트 https://www.onlinelearninghpe.com/ 및 부록에서 확인할 수 있습니다. 동영상 제작의 계획과 준비는 대부분의 작업이며 오디오 및 비디오 녹화 후 과도한 편집을 피하기 위해 신중하게 고려해야 한다는 점을 기억하는 것이 중요합니다. 
Further examples of advantages, disadvantages and practical application tips for video creation are provided on our website https://www.onlinelearninghpe.com/ and in the Appendix. It is important to remember that the planning and preparation of video creation is most of the work and should be carefully considered to avoid excessive editing after the audio and video recording has occurred.

Learning Principle Advantage(s) Disadvantage(s) Practical Example(s)
Learner Accessibility Learner-paced material can be watched at faster/slower speeds, rewatched, or supplemented with closed captioning (Kıyak et al, 2023).
 
Many videos are accessible on YouTube and other FOAM friendly platforms.
 
Can be viewed from multiple devices (phone, desktop, tablet).
 
Can reach learners in remote locations and disseminated to large numbers of learners simultaneously (e.g. real time procedures, bedside teaching, etc.).
 
Easily accessed through the internet for Just in Time learning prior to seeing a patient.
Videos require significant bandwidth- consider lower quality video or compressor if file size is large, and for learners in remote areas.
 
Not all learners will have hardware, internet available to view videos.
 
Need to keep content updated and relevant.
Using Just in Time short videos to watch before patient encounters. (Dominguez et al, 2018).
 
 Downloadable bite size videos while taking public transport or waiting in line.
 
Interactivity Videos can be used as a tool for interactivity (e.g. providing visual and verbal feedback on learner assignments, skill demonstration).
 
Questions posed within the video can help with engagement, application and retrieval of key concepts.
Learners can create their own videos as a way to demonstrate their consolidation of learning or as a reflection exercise using video blogging with Flip.
Interactivity needs to be incorporated as part of an asynchronous activity, or using the video as part of instruction.
 
Need additional functionality to allow opportunity for feedback or clarification of concepts.
Videos can have embedded multiple-choice questions, reflection questions and “choose your own adventure” options. An example of “choose your own adventure” would be where a learner watches a part of a clinical encounter, and then chooses from 3 options what they would like to do next. Based on their decision, a different video would play showing the outcome of that decision.
Learner engagement Videos provide an engaging medium, and have been shown to improve retention of information much more than written text or static pictures alone. Because of the limited interactivity, learners can quickly lose interest in videos, and therefore, they should be 2-5 minutes maximum- although you can have a series of short videos by chunking information. Videos should be short and part of a larger learning curriculum. For example, learners could scan QR codes embedded throughout the classroom as part of an orientation gamification exercise, and be awarded points for each video watched and for accurate responses to questions.
Quality Learning and Reliable materials Videos enhance learning by using:
·         dual channel learning;
·         multimedia learning – temporal congruity (words and graphics appear simultaneously);
·         spatial congruity (words and graphics appear close together);
·         repetition and highlighting pertinent take home points, and
·         spaced and timely learning.
Flashy and engaging videos may be the most watched, but not the most informative.
 
Be sure to consider source, year published and number of viewers as additional metrics.
 
Audio is much more important than video quality for engagement, and should be of high quality.
Gather metrics/data on videos created- how many views, how long did learners view videos for, what comments did they provide, how did they perform on content related to the videos, etc. Use the Rmetriq score to determine value.
Affective Learning Videos can be used to showcase personal narratives and perspectives.
 
Can be used to discuss ethical dilemmas, dissect viewpoints and allow time for reflection.
 
Helpful for learner introductions, peer feedback and teacher check-ins or orientation to materials to increase social presence in an asynchronous classroom through video communication and community building.
Videos can seem impersonal, with no opportunities to connect with learners or teachers.
 
Videos touching on emotionally charged content can be misinterpreted or negatively impact learners if learners are not pre-warned about sensitive topics or do not have the ability to express how the videos adversely impacted them.
Create a quick and personalized video outlining the learning objectives and tasks for the week- personalize it for the learner.
Address learners by name, cite current events if relevant, connect with the learners by sharing authentic examples or personalizing concepts.
Skill based learning Good for “what to do” and “how to do” type learning.
 
Visualize remote, rare or 3D (via google cardboard or virtual reality headset) experiences.
Can lack 3D perception of tasks and feedback on performance.
 
Videos may not be reflective of learner context.
Have learners keep a video log of procedures done that they can refer to and receive feedback on. Be sure to have this on a secure server, filmed without identifying or facial features and linked by number to patient consent forms.
Multimedia learning Reusable and re-purposable
Can be linked to multiple sources (YouTube, social media, Websites, in modules, etc.)
 
Allows for flipped classroom learning.
 
Allows for FOAM principles.
Reliability of video content may not be known or peer reviewed.
 
Context of video may not translate to other contexts.
 
Videos can be used in multiple course offerings and over several years.

 

9. 웹사이트 및 콘텐츠 큐레이션
9. Websites and content curation

FOAM이 학습의 사용, 공유 및 용도 변경 방법을 재정의할 수 있는 방법을 포함하여 RLO와 HPE에서 어떻게 사용되는지 설명했습니다. 그러나 큐레이션, 협업 및 배포와 같은 문제는 이러한 도구의 잠재력을 최대한 발휘하는 데 방해가 될 수 있으며, 웹 사이트는 이러한 문제 중 일부에 대한 해결책을 제공할 수 있습니다. 
We have described RLOs and how they are used in HPE, including how FOAM can redefine how we use, share and repurpose learning. However, issues such as curation, collaboration and dissemination can hinder the full potential of these tools, and websites may provide a solution to some of these problems.

온라인 학습 리소스를 구성, 배포, 연결 및 협업하는 방법에는 여러 가지가 있습니다. 몇 가지 예로는 YouTube, Reddit 또는 MedEd 포털(https://www.mededportal.org/)이 있습니다. 이 섹션에서는 콘텐츠를 큐레이팅, 정리, 링크 및 토론할 수 있는 웹사이트에 중점을 둡니다. 
There are many ways to organise, disseminate, link and collaborate around online learning resources. Some examples include YouTube, Reddit, or MedEd Portal (https://www.mededportal.org/). In this section, we focus on websites to curate, organise, link, and discuss content.

웹사이트는 블로그와 토론 게시판을 호스팅하여 

  • "다양한 주제에 대한 비공식적이고 대화적인 대화"(Khadpe와 Joshi 2016)를 지원하고, 
  • 교육 이벤트 일정, 리소스 또는 사람에 대한 링크와 같은 교육 관리 기능(기본 LMS와 유사)을 제공할 수 있습니다. 
  • 웹사이트는 교육 프로그램을 홍보하거나 
  • 교육 학술 작업을 강조하거나 학습자의 교육 여정을 묘사하기 위한 e포트폴리오로 사용됩니다. 
  • 소셜 미디어 통합과 같은 애드인(플러그인) 기능을 통해 구독자에게 최신 정보를 원활하게 배포할 수 있습니다. 
  • 마지막으로, e모듈은 Articulate Rise, Storyline, Captivate, Adapt, dominKnow 또는 H5P(예: 프리셉터 교육 프로그램 https://preceptor.ca/ 또는 보조 응급 의학 체험 https://www.semedfcm.com/interactive-online-learning-modules)와 같은 소프트웨어를 사용하여 만든 웹 사이트에서 호스팅하여 대화형 학습을 제공할 수 있습니다. 

Websites can host blogs and discussion boards to

  • support “informal and conversational dialogue on a variety of topics” (Khadpe and Joshi 2016) and
  • provide education administrative functions (similar to basic LMSs) such as calendar of educational events, and links to resources or people.
  • Websites are used to promote educational programs,
  • or as ePortfolios to highlight educational scholarly work or portray a learner’s educational journey.
  • Add-in (plug-in) features such as social media integration, allow seamless dissemination of current information to subscribers.
  • Lastly, eModules can be hosted on websites created using software such as Articulate Rise, Storyline, Captivate, Adapt, dominKnow, or H5P (such as the Preceptor Education Program https://preceptor.ca/ or Supplementary Emergency Medicine Experience https://www.semedfcm.com/interactive-online-learning-modules) to provide interactive learning.

교육자는 웹사이트를 팔로우하거나, 동료가 편집한 웹사이트에 기여하거나, 자체적으로 개발할 수 있습니다. 블로그에 대한 품질 지표(Paterson 외. 2015)와 웹사이트 커리큘럼 설계 모범 사례(Sisson 외. 2010; Youhasan 외. 2022)가 발표되어 있습니다. 이러한 팁을 요약한 샘플 웹사이트는 https://www.onlinelearninghpe.com/ 에서 확인할 수 있습니다. 
Educators may wish to follow websites, contribute to peer-edited websites or develop their own. There are published quality indicators for blogs (Paterson et al. 2015) and best practices for website curriculum design (Sisson et al. 2010; Youhasan et al. 2022). We have created a sample website summarizing these tips at: https://www.onlinelearninghpe.com/.

초급자부터 고급자까지 다양한 사용자를 위한 Wix, Squarespace, Google 사이트 도구, WordPress와 같은 웹사이트 제작 도구가 많이 있습니다. 초보자를 위한 예로 학습자가 반성 연습, 학습 리소스 큐레이션 또는 스킬 로그를 포함하는 e포트폴리오를 만들 수 있습니다. 이러한 포트폴리오는 감독자가 학습자의 진행 상황을 평가하고 학습자의 교육 수준을 한눈에 파악하는 데 도움이 될 수 있습니다. 
There are many website creation tools, such as Wix, Squarespace, Google Sites and WordPress that cater to a wide range of users from beginner to advanced. A beginner example may be learners creating ePortfolios to contain reflection exercises, curation of learning resources or a skills log. These portfolios can help supervisors assess learners’ progress and gain a snapshot of learners’ levels of training.

보다 발전된 웹사이트의 예로는 Life in the Fast Lane(https://litfl.com/) 또는 Academic Life in Emergency Medicine(https://www.aliem.com/)과 같은 FOAM 웹사이트가 있으며, 저널과 유사하게 여러 저자와 편집팀의 전문성을 활용하고 실용적인 주제를 무료로 오픈 소스로 신속하게 배포할 수 있습니다. 이러한 수준의 성공적인 웹사이트는 지속적으로 자료를 유지 및 업그레이드하고 콘텐츠의 관련성을 유지하며 콘텐츠 큐레이션, 윤리적으로 출처가 확인된 자료, 동료 검토를 거친 유효하고 신뢰할 수 있는 정보에 대한 표준 및 프로세스를 준수하기 위해 노력해야 합니다. 
More advanced example of websites include FOAM websites such as Life in the Fast Lane https://litfl.com/ or Academic Life in Emergency Medicine https://www.aliem.com/ which, similar to journals, utilise the expertise of multiple authors and editorial teams, and allow for free, open source and rapid dissemination of practical topics. This level of successful website requires a commitment to constantly maintain and upgrade materials, keeping content relevant, and upholding standards and processes for content curation, ethically-sourced materials and peer reviewed, valid, trustworthy and reliable information.

이제 우리는 소셜 미디어로 눈을 돌렸으며, 소셜 미디어는 FOAM 원칙을 사용하여 RLO와 피드백 및 협업의 기회를 제공하고 전파하는 데 도움이 될 수 있습니다. 
We now turn to social media, which, using FOAM principles, can help disseminate and provide opportunities for feedback and collaboration with RLOs.

10. 소셜 미디어(SoMe)
10. Social media (SoMe)

최근 몇 년 동안 더 많은 HP 교육자들이 이러한 플랫폼이 제공할 수 있는 장점과 기회를 인식함에 따라 HPE에서 SoMe 활용에 대한 관심이 높아지고 있습니다(Chan 외. 2021; Lu 외. 2021). 
In recent years, there has been a growing interest in the utilisation of SoMe in HPE, as more HP educators have recognised the advantages and opportunities that these platforms can offer (Chan et al. 2021; Lu et al. 2021).

연결주의(1부)의 정신에 따라 SoMe는 HP 교육 생태계의 모든 구성 요소가 상호 작용하고, 협업하고, 연결하고, 아이디어와 리소스를 공유하고, 토론에 참여할 수 있는 플랫폼을 제공합니다(Chan 외. 2021; Lu 외. 2021). 더 중요한 것은 SoMe가 Z세대와 알파 세대의 사회적 연결에서 중심적인 역할을 한다는 점입니다. HPE가 학습자의 기대에 부응하려면 학습자가 있는 곳에서 학습자를 만나는 전략으로 SoMe를 사용하는 것이 필수적입니다.
In the spirit of Connectivism (Part 1), SoMe provides a platform where all components of the HP educational ecosystem can interact, collaborate, connect, share ideas, resources and participate in the discussion (Chan et al. 2021; Lu et al. 2021). More importantly, SoMe plays a central role in societal connections in Generation Z and Alpha. If HPE want to fulfil learners’ expectations, it is imperative to use SoMe as a strategy to meet learners where they are.

SoMe는 RLO를 생성하고 공유하는 데 사용되므로 콘텐츠 큐레이션, 지식 번역 및 배포에 효과적인 도구입니다(Chan 외. 2020). HP는 교육자가 학습 경험의 목표를 정의한 다음, 교육을 개선하기 위해 Twitter, LinkedIn, Instagram 또는 TikTok과 같은 한두 가지 플랫폼을 이해하고 사용하는 데 전념할 것을 권장합니다. 일부 선구적인 교육기관에서는 학자들이 SoMe를 사용하여 연구를 홍보하고, 인용 횟수를 늘리고, 디지털 학술활동과 종신 교수직을 위한 새로운 길을 개척하고 있습니다(Luc 외. 2021). 
SoMe is used to create and share RLOs, making it an effective tool for content curation, knowledge translation and dissemination (Chan et al. 2020). We encourage HP educators to define the goals of the learning experience and then commit to understanding and using one or two platforms such as Twitter, LinkedIn, Instagram or TikTok to enhance instruction. In some vanguard institutions, academics use SoMe to promote research, increase citations and altmetrics nurturing new avenues for digital scholarship and tenure (Luc et al. 2021).

학습자가 다양한 개념에 대한 자신의 이해를 능동적으로 구성할 수 있도록 하고 자기 주도적 학습의 중요성을 강조함으로써 구성주의와 앤드라고지 학습 이론이 HPE에서 SoMe를 사용할 때 모두 작용합니다(Taylor and Hamdy 2013; Sandars 외. 2015).  
By allowing learners to actively construct their own understanding of different concepts and by highlighting the importance of self-directed learning, both Constructivism and andragogy learning theories are at play when using SoMe in HPE (Taylor and Hamdy 2013; Sandars et al. 2015).

SoMe는 HPE의 강력한 연결 도구이지만 전문적이고 윤리적 문제를 고려해야 합니다. 규제와 감독이 부족하면 교육자, 학습자, 환자 모두에게 잘못된 정보, 사이버 괴롭힘, 개인정보 보호 문제가 확산될 수 있습니다(D'Souza 외. 2021). HP 교육자는 이러한 우려를 인식하고 학습 환경에서의 소셜 미디어 사용에 대한 지침을 만들고, 안전하고 책임감 있게 소셜 미디어를 사용하는 방법에 대해 HPE 동료 및 학습자에게 교육을 제공함으로써 이를 해결하기 위한 조치를 취해야 합니다(D'Souza 외. 2021). 
While SoMe is a powerful connecting tool in HPE, professional and ethical concerns need to be considered. Lack of regulation and oversight can lead to the spread of misinformation, cyberbullying and privacy concerns for educators, learners and patients alike (D’Souza et al. 2021). HP educators should be aware of these concerns and take steps to address them by creating guidelines for the use of social media in learning environments and by providing training to HPE peers and learners on how to use social media safely and responsibly (D’Souza et al. 2021).

SoMe는 주의 산만의 원인이 될 수 있으며 학습자 참여에 부정적인 영향을 미칠 수 있습니다(Cheston 외. 2013). 또한 강의실과 컨퍼런스에서 SoMe의 효과를 평가하는 것은 어렵습니다. 특히 공공적public 특성으로 인해 선택적으로만 사용할 수 있기 때문입니다. 토론 및 평가 목적으로 보다 폐쇄적인 포럼이 필요한 경우 토론 게시판이나 포럼이 더 나은 선택이 될 수 있으며, 이에 대해서는 다음에서 살펴봅니다. 
SoMe can be a source of distraction and can negatively impact learner engagement (Cheston et al. 2013). Furthermore, the evaluation of the effectiveness of SoMe in the classroom and conferences is difficult, particularly since use can only be optional due to its public nature. If a HPE experience requires a more closed forum for discussion and evaluation purposes, discussion boards or forums may be a better choice, and are explored next.

11. 온라인 토론 포럼
11. Online discussion forums

온라인 토론 포럼교육자와 학습자 간의 토론 및 정보 교환을 촉진하기 위한 가상 공간입니다. 포럼에서는 열린 대화, 질문, 리소스 공유, 공동 프로젝트를 통한 참여가 가능합니다. 포럼은 수업 시간 이후에도 대화형 증폭(PICRAT)을 통해 지속적인 커뮤니케이션을 촉진함으로써 기존 및 온라인 동기식 강의실 환경을 보완하여 개별적으로 아이디어를 성찰하고 연구할 수 있도록 합니다. 온라인 수업에 참여하는 지리적으로 이질적인 개인 간의 소통과 협업을 가능하게 하여 사회적 연결성을 촉진하고 고립감을 느낄 수 있는 학습자의 공동체 의식을 함양합니다(van Lankveld 외. 2021). 
Online discussion forums are virtual venues for facilitating discussion and information exchange among educators and learners. They enable engagement through open dialogue, questioning, resource sharing, and collaborative projects. Forums complement traditional and online synchronous classroom settings by facilitating ongoing communication through Interactive Amplification (PICRAT) beyond class time, allowing for individual reflection and research of ideas. They enable communication and collaboration among geographically disparate individuals attending online classes, promoting social connectedness and fostering a sense of community for learners who may otherwise feel isolated (van Lankveld et al. 2021).

대부분의 LMS에는 토론 포럼이 포함되어 있지만, HP 교육자는 LMS의 한계를 넘어 확장하고자 할 수 있습니다. 토론 포럼을 처음 사용하는 경우, 건강 결과에 대한 사회경제적 영향에 관한 강의 또는 모듈이 끝난 후 반성문을 토론하기 위한 비공개 Slack 채널이 될 수 있습니다. Slack(및 Circle이나 Microsoft Teams와 같은 다른 도구)은 조직화된 채널과 다이렉트 메시징 기능을 통해 비동기식 토론, 파일 공유, 다른 도구와의 통합을 위한 기회를 제공합니다. 아이디어와 리소스를 공유하고, 협업하고, 반영하는 데 사용되는 다른 도구로는 패드렛, 웨이크릿, Flip을 사용한 비디오 블로깅 등이 있습니다.
Although most LMSs contain discussion forums, HP educators may wish to expand beyond the LMS confines. A beginner use of a discussion forum may be a closed Slack channel to discuss reflections after a lecture or module on socioeconomic impacts on health outcomes. Slack (and others, such as Circle or Microsoft Teams) offer opportunities for asynchronous discussion, file sharing, and integrations with other tools through its organised channels and direct messaging features. Other tools used to share ideas and resources, collaborate, and reflect include Padlet, Wakelet and video blogging with Flip.

이러한 플랫폼의 사용을 최적화하기 위해 HP 교육자는 학습자 참여에 대한 명확한 지침과 기대치를 설정하고, 정기적으로 토론을 모니터링하여 주제 관련성과 정보의 정확성을 보장하며, 학습 경험을 개선하기 위해 동료 피드백 및 지원을 장려해야 합니다(Rovai 2007)(파트 1: 비동기식 학습). 
To optimise the use of these platforms, HP educators should establish clear guidelines and expectations for learner participation, regularly monitor discussions to ensure topic relevance and accuracy of information, while encouraging peer feedback and support to improve the learning experience (Rovai 2007) (Part 1: Asynchronous Learning).

van Lankveld 외(2021)의 최근 연구에 따르면 HPE에서 소셜 미디어의 사용을 조사한 결과 개인 정보 보호 및 보안 문제가 교사들 사이에서 주요 관심사였다는 사실이 밝혀졌습니다. Reddit과 같은 공개 토론 게시판은 특히 민감하거나 기밀 정보가 온라인에서 공유될 때 개인정보 보호 및 보안에 대한 추가적인 우려가 있습니다. 
A recent study by van Lankveld et al. (2021) examined the use of social media in HPE and found that privacy and security concerns were a major concern among teachers. Public discussion boards such as Reddit have additional concerns around privacy and security, particularly when sensitive or confidential information is shared online.

온라인 토론 포럼의 보다 발전된 용도로는 Lave와 Wenger의 실천 커뮤니티(Wenger 1998)에 뿌리를 둔 가상 실천 커뮤니티(VCoP)가 있습니다. VCoP는 그룹의 기존 지식/자원을 활용하고, 새로운 스킬을 습득 및 개선하고 커뮤니티 구성원 간의 관계를 구축하면서 함께 작업한다는 공통의 목표를 가지고 있습니다. 이론적으로는 지역과 시간대에 구애받지 않고 커뮤니티를 연결할 수 있다는 점에서 강력하지만, VCoP는 설립하고 유지하기가 어려울 수 있습니다. 토론 포럼은 VCoP를 구축하는 한 가지 방법이지만, 잘 정의되고 공동으로 협상된 유용한 커뮤니티 목표가 필요하며, 회원들이 토론에 다시 참여하고 기여할 수 있도록 관계를 유지해야 합니다. 교육 학술활동을 중심으로 VCoP를 개발하는 것은 토론 포럼을 사용하는 발전된 방법의 한 예입니다(Yarris 외. 2019). 
A more advanced use of online discussion forums is virtual Communities of Practice (VCoP), rooted in Lave and Wenger’s community of practice (Wenger 1998). VCoP have a common goal:

  • use existing knowledge/resources of the group, and
  • work together while acquiring and refining new skills and building relationships among community members.

While theoretically powerful in its ability to connect communities independent of geography and time zones, VCoP can be difficult to establish, and to maintain. Discussion forums are one way to establish a VCoP, but need well-defined, jointly-negotiated, and useful community goals, and maintenance of relationships to retain members’ returning and contributing to discussions. Developing a VCoP around educational scholarship is an example of an advanced way of using discussion forums (Yarris et al. 2019).

토론 포럼과 관련된 뉴스레터는 부록 3에 설명되어 있습니다.  
Related to discussion forums are newsletters discussed in Appendix 3.

온라인 토론 포럼과 뉴스레터는 학습자를 연결하고 소셜 및 협업 학습을 촉진하는 간단하면서도 강력한 방법이며, 다음 섹션에서 이에 대해 설명합니다. 
Online discussion forums and newsletters are a simple yet powerful way to connect learners and promote social and collaborative learning, which is discussed in the following section.

12. Online social and collaborative learning

온라인 소셜 및 협업 학습은 사회적 고립, 화면 피로, 자기 조절, 참여, 상호 작용, 피드백 등 온라인 학습의 몇 가지 문제를 무력화할 수 있습니다. F2F 환경만큼 자연스럽게 이루어지지는 않겠지만, 학습을 위한 안전한 환경을 신중하게 설계하고 명시적으로 촉진하며 조성하는 것이 더욱 중요합니다. 
Online social and collaborative learning may negate some of the challenges of online learning such as social isolation, screen fatigue, self-regulation, engagement, interactivity, and feedback. Although it may not come as naturally as in F2F environments, it is even more important to carefully design, explicitly facilitate, and cultivate a safe environment for learning.

12.1. 온라인 협업 학습(OCL)
12.1. Online collaborative learning (OCL)

OCL은 "학생들이 공유된 지식에 대해 토론하고 성찰하여, 관련 정보에 대한 새로운 이해를 구축하는 구성주의 교육학에 기반을 둔, 상호 의존적이고 민주적인 온라인 그룹 프로세스"로 정의되었습니다(Breen 2013). 
OCL has been defined as “an interdependent and democratic online group process grounded in constructivist pedagogy in which students debate and reflect on shared knowledge, to construct new understanding of relevant information” (Breen 2013).

학습자가 더 큰 프로젝트의 독립적인 부분에 대해 작업하는 협동 학습과는 달리, OCL은 아이디어를 함께 협상하여 혼자서는 달성할 수 없는 문제에 대한 창의적인 해결책을 만들어야 합니다. 이는 HPE에서 필수적인 고차원적 사고와 팀워크 스킬을 향상시킵니다(Breen 2013).
Different from cooperative learning, where learners work on independent parts of a larger project, OCL requires negotiating ideas together to construct creative solutions to problems they could otherwise not have accomplished on their own. This leads to improved higher order thinking and teamwork skills which are essential in HPE (Breen 2013).

협업 도구의 입문용으로는 소규모 그룹에서 Google 문서를 사용하여 질문에 대한 답변을 공동 작성하고 더 큰 그룹과 공유하고 토론하는 것이 좋습니다. 협업 도구의 고급 사용법은 트위터를 사용하여 가상 실습 커뮤니티(VCoP)를 만드는 것입니다(야리스 외. 2019). OCL의 맥락, 방법, 도구 및 고려사항은 부록 4를 참조하세요.
An introductory use of collaborative tools may be to use Google Docs in breakout groups to co-create answers to questions which are shared and discussed with the larger group. A more advanced use of collaborative tools may be to use Twitter to create a virtual community of practice (VCoP) (Yarris et al. 2019). See Appendix 4 for contexts, methods, tools and considerations in OCL.

OCL은 HPE의 온라인 개별 학습과 비교할 때 다양한 관점과 실제 학습자의 문제 및 해결책에 대한 이해를 높이고, 학습에 대한 외부 동기를 자극하며 더 풍부한 학습 결과를 생성하는 것으로 나타났지만, 학습이 더 복잡하고 개별 학습 목표의 타협이 필요합니다(MacNeill et al. 2014). 지식 전달이나 간단한 문제 해결은 온라인에서 개별적으로 수행할 때 더 효율적일 수 있지만, 보다 복잡하고 심층적인 학습은 OCL을 통해 가장 잘 달성할 수 있습니다.
OCL, when compared to online individual learning in HPE, has been shown to increase understanding of diverse perspectives and real-world learner problems and solutions, stimulate external motivation to learn, and produce richer learning outcomes, however learning is more complex and requires compromise of individual learning objectives (MacNeill et al. 2014). Knowledge transmission or simple problem solving is likely more efficient when done individually online, however more complex and deep learning is best achieved by OCL.

OCL은 개인의 성과를 촉진하는 기존의 평가 전략과 모순되고 불편하게 느껴질 수 있습니다. 텍스트 또는 비디오 기반 환경에서 사회적 단서가 줄어들면 갈등 해결이 어려울 수 있습니다. 또한 학습자 한 명이 학습에 대한 자기 조절 능력이 떨어지면 그룹 구성원에게 OCL이 좌절감을 줄 수 있습니다. 따라서 온라인 협력 학습의 교육적 설계는 그룹 상호 작용, 협상, 열린 의사소통 및 갈등 해결에 대한 보상을 제공하는 동시에 다른 사람들과 공유하고 연결할 수 있는 안전한 학습 공간을 제공해야 합니다. 
OCL can feel uncomfortable and contradictory to traditional assessment strategies that promote individual performance. Conflict resolution can be difficult when social cues are diminished in text- or video-based environments. OCL can also be frustrating for group members if one learner has poor self-regulation of learning. Therefore, pedagogical design of online collaborative learning should reward group interaction, negotiation, open communication and conflict resolution, while still providing a safe learning space to share and connect with others.

Contexts and Methods Options Considerations
Method of online delivery Asynchronous (twitter, online text or video discussion boards, wikis),
Synchronous (breakout rooms, or chat) or both (collaborative whiteboard tools, Google Docs).
Asynchronous activities may promote reflection, but motivation may be hard to maintain.
Synchronous groups foster engagement, but interactivity is essential.
Group size Small (breakout rooms, online PBL), medium (online workshop), or large (online lecture or plenary talk)  . Collaboration can be done with any size group, but consider ways to hear all participants, such as dividing the audience into groups for participation.
Communication methods Text, audio and video. Text based collaboration may allow for anonymity and safety. Video collaboration may allow for group cohesion. Asynchronous video (YouTube) may allow learners to reflect while watching themselves on video or watch what others do without worrying about staring too long.
Methods of collaboration Wiki creation, concept mapping, group projects, brainstorming. Start with educational objective, then methods, then tool.
Tools for collaboration Google Docs, Miro, Google Jamboard, Lucid spark, or Perusal, MS Teams, One Drive (Sharepoint). Consider accessibility, privacy, familiarity, usability, etc. of each tool.
Assessment of collaborative learning Assessment of process (group participation), learning outcome (group creation of learning artifact such as a virtual patient case) versus individual assessments. Promote shared ownership of intellectual outcomes. Use rubrics, self and peer grading of assignments, facilitator observation of select collaborative sessions, frequent check-in and feedback sessions.

 

12.2. 온라인 소셜 학습
12.2. Online Social Learning

소셜 학습은 종종 중요한 교육적 성과로 무시되는 경우가 많으며(Allen 외. 2020), 온라인 소셜 학습은 커리큘럼 계획에 명시적으로 통합되지 않는 경우가 많습니다. 그림 4는 고려해야 할 온라인 소셜 학습의 몇 가지 이점을 강조하고, 그림 5는 이를 달성하는 데 사용할 수 있는 방법과 도구를 보여줍니다.
Social learning is often neglected as an important educational outcome (Allen et al. 2020), and Online Social Learning is often not explicitly incorporated into curriculum planning. Figure 4 highlights some of the benefits of Online Social Learning to consider, and Figure 5 showcases methods and tools that could be used to achieve them.

 

 

결론적으로, 온라인 소셜 학습과 협업 학습은 의미 있고 심도 있는 학습에 필수적이며, 온라인 학습의 단점을 상쇄하는 데 도움이 되지만, 때로는 그룹 프로세스와 신중한 커리큘럼 계획에 더 많은 시간이 필요하기도 합니다.
In conclusion, online social and collaborative learning are essential to meaningful and deep learning and help to negate disadvantages of online learning, although sometimes requires more time for group processes and careful curriculum planning.

이러한 아이디어와 이전 섹션의 아이디어는 특히 임상 환경에서 보다 정교한 도구 사용으로 나아갈 수 있는 배경을 형성합니다. 이에 대해서는 다음 섹션에서 다루겠습니다. 
These ideas, and those in the previous sections, form a background from which to move into more sophisticated tool usage, especially in the clinical environment. We will cover these in the next sections.

 

13. 가상 진료 교육
13. Virtual care teaching

1부에서는 온라인 학습의 핵심은 학습이라는 개념과 함께 온라인 및 혼합 학습의 잠재력을 최대한 발휘하기 위해서는 교육 설계를 다르게 고려해야 한다는 주의 사항을 검토했습니다. 이제 이러한 원칙을 염두에 두고 가상 돌봄 환경에서의 교육에 주목해 보겠습니다.
In Part 1, we reviewed the concept that online learning at its core is just learning, with the caveat that we need to consider designing our instruction differently to reveal the full potential of online and blended learning. We now turn our attention to teaching in virtual care environments, keeping in mind these same principles.

가상 진료 교육(VCT)의 정의는 다양하지만(Stovel 외. 2023), 여기서는 (화상 회의, 전화, 원격 모니터링 또는 비동기식 환자 커뮤니케이션을 포함하여) 가상 환경에서 환자 치료를 제공하는 방법에 대한 교육으로 정의하겠습니다. 학습자는 감독자와 같은 물리적 공간에 있거나 원격으로 위치할 수 있으며, 교육에는 베드사이드('웹사이드'), 클리닉 또는 비공식 교육이 포함될 수 있습니다.
Definitions of Virtual Care Teaching (VCT) are varied (Stovel et al. 2023), but here we will define it as teaching about how to provide patient care in virtual environments including via videoconferencing, telephone, remote monitoring or asynchronous patient communication. Learners may be in the same physical space as their supervisor or remotely located, and teaching may include bedside (“webside”), clinic or informal teaching.

좋은 VCT는 좋은 임상 교육과 동일한 원칙(예: 피드백, 공식 및 비공식 전담 교육, 단계적 자율성, 멘토링)을 통합하는 동시에, 가상 환경을 최적화할 수 있는 방법에 대해 다른 방식으로 생각해야 합니다. 역량 기반 접근법(Stovel 외. 2023)이 VCT를 안내하는 데 도움이 될 수 있습니다. 
Good VCT should incorporate the same principles as good clinical teaching (e.g. feedback, formal and informal dedicated teaching, graduated autonomy, and mentorship), while thinking differently about how virtual environments can be optimised. A competency-based approach (Stovel et al. 2023) may help to guide VCT.

많은 리소스에서 학습자를 공식 커리큘럼 내에서 가상 진료에 통합하기 위한 실용적인 팁을 설명합니다(호바기미안 외. 2022; 노론하 외. 2022). 학습자의 원격 의료 커리큘럼 요구사항에 대한 범위 검토에 따르면 실제 적용 및 복합 교육 기회를 모두 포함하는 커리큘럼이 더 성공적인 것으로 나타났습니다(Stovel 외. 2020). 혼합형 임상 교육 옵션을 사용하면 분산되어 있거나 원격지에 있는 환자와 학습자에게 향상된 유연성과 접근성 옵션을 통해 다른 방법으로는 제공되지 않는 치료 및 교육 기회를 모두 제공할 수 있습니다. 
Many resources outline practical tips for integrating learners into virtual care within a formal curriculum (Hovaguimian et al. 2022; Noronha et al. 2022). A scoping review on learner telemedicine curriculum needs found that curricula that included both practical application and multimodal teaching opportunities were more successful (Stovel et al. 2020). Using blended clinical teaching options may provide both care and teaching opportunities not afforded otherwise, with increased flexibility and accessibility options for patients and learners in dispersed or remote locations.

Anderson 등(2022)은 코로나19 기간 동안 원격 의료에서 대학원 의학교육 학습자와 감독자의 경험을 조사하기 위해 PICRAT(파트 1)에 기반한 대체-증폭-변환(RAT) 모델을 사용했습니다.

  • 온라인 학습으로의 전환과 마찬가지로, 초기 원격 의료 경험은 F2F 임상 교육을 "대체"했으며, 필요한 지식, 스킬 및 의사소통이 달라 어려움이 많았습니다.
  • 그러나 학습자-감독자 관계가 발전함에 따라 테크놀로지는 이러한 경험을 증폭시켰습니다. 여기에는 환자를 대면하는 동안 학습자의 자율성을 증진하기 위해 슈퍼바이저가 카메라를 끄고 가상 병력 기록과 같은 새롭거나 연마된 스킬을 개발하는 것이 포함되었습니다.
  • 일부는 직접 방문이 불가능했던 장애 환자에게 노출되고, F2F 학습 및 실습 방식에 의문을 제기하고, 피드백을 보다 명확하고 체계적이며 우선순위를 정하도록 하는 등 테크놀로지가 학습에 변화를 가져왔다고 밝혔습니다. 

Anderson et al. (2022) employed the Replace-Amplify-Transform (RAT) model, which PICRAT (Part 1) builds upon, to examine experiences of postgraduate medical education learners and supervisors in telehealth during COVID-19.

  • Like the pivot to online learning, initial telemedicine experiences “replaced” F2F clinical training, and were challenging due to different knowledge, skills and communication required.
  • However, as the learner-supervisor dyad evolved, technology amplified the experience. This included supervisors’ turning off their cameras to promote learner autonomy during the patient encounter, and development of new or honed skills, such as virtual history-taking.
  • Some found technology transformed learning, including getting exposure to patients with disabilities that precluded in-person visits, questioning F2F ways of learning and practicing, and forcing feedback to be more explicit, systematic, and prioritised.

부록 5에는 VCT의 다른 장점과 과제 및 학습자 고려사항이 요약되어 있으며, VCT 경험을 설계할 때 이를 고려해야 합니다. 
Other benefits and challenges of VCT and learner considerations are summarised in Appendix 5, and should be considered when designing VCT experiences.

  Benefits Challenges
Feedback ·    Record patient encounters for specific, real-time feedback.
·    Anonymously observe “micro” trainee-patient interaction.
·    Anonymous patient feedback to trainee (QR code surveys).
·    Needs to be more explicit and scheduled than casual F2F feedback between cases.
Support ·    Real time feedback/support (through texts, EMR messaging).
·    Remote support to trainees in rural locations (specialist and interprofessional support).
·    Informal mentorship opportunities require greater planning (e.g. informal coffee chats).
Patient Accessibility ·    Greater access to patients with specific/ rare diagnoses.
·    Decreases potential patient barriers (illness, transportation issues).
·    Increased accessibility to match patients to trainee level and learning needs.
·    Models technology enhanced empathetic patient care and patient advocacy.
·    Hardware/software/bandwidth issues.
·    Digital literacy issues.
Learner Accessibility ·    Allows clinical learning to continue in unexpected circumstances (snow storm, public transit strike, pandemics).
·    Lessens physical distance and time constraints(e.g. longitudinal clinic during an away elective, travel between academic half day).
·    Hospital firewalls.
·    Accessibility to hardware/software and bandwidth.
·    Screen fatigue (see Part 1).
Supervisor Benefits/ Challenges ·    Increases number of potential trainee supervisors.
·    Can observe/teach multiple trainees in different locations simultaneously.
·    Increased accessibility to online/blended teaching methods, tools and resources.
·    Supervisory scheduling and workflow is different, and may be difficult to concurrently book with F2F patient clinical teaching.
·    Increased orientation time and clinic set up if learner new to this environment (may want to remain in same physical room as them for first encounters).
·    Requires greater supervisor flexibility and planning, especially with multiple learners.
·    Limited faculty development opportunities, requires faculty to try new learning environments.
Skill Acquisition (Learner and Supervisor) ·    Can learn new models of care and teaching
·    Can vary amount of supervision and promote autonomy while still observing parts of session
·    Increased ability for senior learners to observe and teach junior learners
·    Added cognitive load/stress of managing technology and webside manner may affect performance.
·    Limited preclinical training in VCT.
·    Limited physical exam and procedural skills.

 

14. 온라인 시뮬레이션 및 가상 환자
14. Online simulation and virtual patients

이전 섹션에서는 VCT에서 학습자 교육의 중요성에 대해 살펴보았습니다. 여기에서는 임상 환경에 노출되기 전에 술기를 연습하고 오류를 통해 학습할 수 있는 가상 환경을 살펴봅니다. 
In the previous section, we explored the importance of educating learners in VCT. Here, we explore virtual environments to practice skills and learn from errors prior to clinical exposure.

HPE의 온라인 의료 시뮬레이션(OMS)디지털 테크놀로지을 사용하여 임상 시나리오를 시뮬레이션하는 것으로 정의됩니다. 이를 통해 학습자는 안전하고 통제된 환경에서 실제 환자에게 해를 끼칠 위험 없이 현실적인 환자 치료 시나리오를 연습할 수 있습니다. OMS는 동기식 또는 비동기식일 수 있으며, 학습자가 임상 스킬, 의사 결정 및 커뮤니케이션 테크놀로지을 연습할 수 있는 가상 환자 및 환경을 포함합니다(McGaghie 외. 2010; Cook 외. 2011; Kononowicz 외. 2019). 
Online medical simulation (OMS) in HPE is defined as the use of digital technologies to simulate clinical scenarios. This provides learners with a safe and controlled environment to practice realistic patient care scenarios without the risk of harming real patients. OMS can be synchronous or asynchronous, and include virtual patients and environments that allow learners to practice clinical skills, decision-making, and communication skills (McGaghie et al. 2010; Cook et al. 2011; Kononowicz et al. 2019).

OMS는 다음과 같은 많은 이점을 제공합니다: 
OMS provides many advantages including:

  • 학습자가 자신의 속도, 일정 및 스킬 수준에 맞게 연습할 수 있는 유연성과 편의성(예: 비동기식 가상 환자);
    flexibility and convenience for learners to practice at their own pace, schedule, and skill level (e.g. asynchronous virtual patients);
  • 학습자가 자신의 접근 방식을 반영하고 조정하는 데 도움이 되는 즉각적인 피드백;
    instant feedback which helps learners reflect and adjust their approach;
  • 환자 안전에 영향을 주지 않으면서 고위험 시술에 대한 술기 교육이 가능합니다;
    the ability for procedural skills training of high-risk procedures without compromising patient safety;
  • 학습자가 내리는 결정에 따라 맞춤형 시나리오를 제공하여 술기 또는 절차를 숙달하는 데 걸리는 시간을 단축합니다.
    tailored scenarios depending on the decisions learners make, lessening the time to master a skill or procedure, and
  • 임상 교육 중 환자 노출 및 임상 현장의 불일치로 인한 교육 표준화.
    standardisation of training due to inconsistencies in patient exposures and clinical sites during clinical teaching.

인터랙티브 온라인 시뮬레이션 환경의 설계 및 개발은 ADDIE 모델과 COI 프레임워크(파트 1)를 사용하여 활력 징후 해석, 약물 관리 또는 커뮤니케이션 스킬과 같은 기본 술기부터 외과적 개입 또는 응급 상황 대응과 같은 보다 복잡한 절차에 대한 교육까지 가능합니다. 
Using the ADDIE model and COI framework (Part 1), the design and development of interactive online simulation experiences allows training on basic skills, such as interpreting vital signs, medication management, or communication skills, to more complex procedures, such as surgical interventions or emergency response.

가상 환자 사용은 다양한 임상 상황에서 환자를 돌보는 현실적인 경험을 제공하기 위해 대화형 시뮬레이션을 사용하는 OMS의 한 유형입니다(Liaw 외. 2014). 가상 환자는 간단한 것부터 복잡한 것까지 다양한 조건을 시뮬레이션할 수 있으므로 학습자는 특히 F2F 임상 시뮬레이션에서 재현하기 어려운 희귀하거나 복잡한 조건에 대해 자신의 스킬과 의사 결정 능력을 연습할 수 있습니다(Kononowicz 외. 2019). 
The use of Virtual Patients is a type of OMS that uses interactive simulations to provide a realistic experience of caring for patients in a variety of clinical situations (Liaw et al. 2014). Virtual Patients can simulate various conditions, from simple to complex, allowing learners to practice their skills and decision-making abilities, especially for rare or complicated conditions difficult to replicate in F2F clinical simulations (Kononowicz et al. 2019).

14.1. OMS를 위한 교육 설계
14.1. Instructional Design for OMS

OMS에는 임상적 추론 및 의사결정 능력을 향상시키기 위해 상호 작용, 즉각적인 피드백 및 반복이 있는 현실적인 시나리오가 포함되어야 합니다. 멀티미디어 학습의 인지 이론 및 학습을 위한 유니버설 디자인(1부)의 원칙을 사용하여 디자이너는 일러스트레이션, 도표, 비디오 또는 애니메이션과 함께 텍스트를 포함합니다. OMS는 학습자의 특정 요구 사항, 경험 및 다양한 수준에 맞게 사용자 지정할 수 있어야 합니다. 초보 학습자는 시뮬레이션 중에 즉각적인 피드백이 제공되는 더 많은 지침과 의료 정보가 필요할 수 있으며, 더 적은 정보로 더 빠르게 시뮬레이션을 진행하고 여러 가지 분기점을 통해 의사 결정을 내려야 하는 고급 학습자에 비해 의사 결정 작업이 더 쉬워질 수 있습니다. 또한 OMS는 다양한 환자와 포용적인 언어로 학습 경험을 설계하고 모델링할 수 있는 기회를 제공합니다. 

OMS should include realistic scenarios with interactivity, immediate feedback and repetition to improve clinical reasoning and decision-making skills. Using the principles of Cognitive Theory of Multimedia Learning and Universal Design for Learning (Part 1), designers include text together with illustration, diagram, video, or animation. OMS should be customisable to the specific needs, experiences and different levels of learners. A novice learner may need more guidance and medical information with immediate feedback provided during simulation, with easier decision-making tasks compared to a more advanced learner, where the simulation would advance quicker with less information, and multiple branching decision points. OMS also provides an opportunity to design and model learning experiences with diverse patients and inclusive language.

블렌디드 러닝과 마찬가지로 OMS는 F2F 교육과 결합하여 두 전달 방법 중 하나만 사용할 때보다 결과를 개선할 수 있습니다. 예를 들어, 온라인 시뮬레이션은 F2F 그룹 시뮬레이션 활동에 앞서 학습자를 심리적으로 안전한 환경에서 준비시킬 수 있습니다. 부록 6(표 5)에는 OMS 및 가상 환자에 사용되는 테크놀로지의 예가 나와 있습니다. 
Similar to blended learning, OMS can be combined with F2F teaching to improve outcomes compared to using either delivery method alone. For example, online simulation can prepare learners in a psychologically safe environment prior to F2F group simulation activities. Appendix 6 (Table 5) provides examples of technologies used for OMS and Virtual Patients.

요약하면, HPE의 OMS는 환자 안전과 결과를 개선하고, 학습자의 스킬과 자신감을 향상시키며, 표준화된 교육 경험을 제공하고, F2F 임상 교육과 관련된 비용과 위험을 줄일 수 있는 잠재력을 가지고 있습니다. 다음에는 HPE의 다른 안전하고 표준화된 솔루션으로서 확장 현실에 대해 살펴보겠습니다. 
In summary, OMS in HPE has the potential to improve patient safety and outcomes, enhance learners’ skills and confidence, provide standardised educational experiences, and reduce the cost and risk associated with F2F clinical training. Next, we will explore extended reality as other safe and standardized solutions in HPE.

15. 확장 현실
15. Extended Reality

확장 현실(XR)은 물리적 세계와 가상 세계(VW)를 통합하는 몰입형 테크놀로지을 설명하는 데 사용되는 포괄적인 용어입니다. 본질적으로 이러한 테크놀로지은 우리가 경험하는 현실을 확장하고 실제 환경, 사물 및 이벤트를 디지털 컨텍스트에서 시뮬레이션할 수 있습니다. 여기에는 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR)이 포함되며, 모두 HPE를 혁신할 수 있는 잠재력을 가지고 빠르게 발전하고 있습니다. 부록 7은 XR 테크놀로지의 유형과 몰입 수준을 보여줍니다.
Extended reality (XR) is an umbrella term used to describe immersive technologies that merge physical and virtual worlds (VW). In essence, these technologies extend the reality we experience and can simulate real-world environments, objects, and events in a digital context. They include virtual reality (VR), augmented reality (AR), and mixed reality (MR), all of which are rapidly developing with the potential to transform HPE. Appendix 7 shows the types of XR technologies and levels of immersion.

그림 6은 Milgram과 Kishino(1994)의 현실-가상성 연속체를 변형한 것입니다. XR은 연속체에서 가장 오른쪽에 있는 MR과 VR을 포함합니다. 
Figure 6 shows an adaptation of the Reality-Virtuality Continuum by Milgram and Kishino (1994). XR includes MR and VR to the far right of the continuum.

XR은 교육자와 디자이너에게 몰입감 있고 사실적인 학습 경험을 만들 수 있는 기능을 제공합니다. 예를 들어, 의대생은 시체나 환자 없이도 수술 수행을 연습할 수 있어 오류나 피해의 위험을 줄일 수 있습니다(Parsons and MacCallum 2021). 
XR provides educators and designers with the ability to create immersive and realistic learning experiences. For example, medical students can practice performing a surgery without the need for a cadaver or patient, reducing the risk of error or harm (Parsons and MacCallum 2021).

XR은 학습자가 위험이 높은 환경에서 필요한 커뮤니케이션, 팀워크, 문제 해결과 같은 필수 스킬을 개발하는 데 도움이 됩니다. 또한 XR을 통해 학습자는 현실에서 재현하기에는 너무 위험하거나 비용이 많이 들거나 물류적으로 어려운 상황을 시뮬레이션하여 실제 시나리오와 유사한 수준의 스트레스를 경험할 수 있습니다(Kaplan 외. 2021). 예를 들어, 학습자는 시뮬레이션된 비상 시나리오에서 팀의 일원으로 일하는 것을 연습하여 스트레스가 높은 환경에서 효과적으로 의사소통하고 다른 사람들과 협업하는 능력을 향상시킬 수 있습니다.  
XR helps learners develop essential skills such as communication, teamwork, and problem-solving in high stakes environments. In addition, XR enables learners to simulate situations that are too dangerous, costly, or logistically challenging to replicate in real life, enabling them to experience similar levels of stress as in real-life scenarios (Kaplan et al. 2021). For example, a learners can practice working as part of a team during a simulated emergency scenario, enhancing their ability to communicate effectively and collaborate with others in a high-stress environment.

1부와 위의 학습 관리 시스템 및 MOOC 섹션에서 설명한 바와 같이, 커넥티비즘은 학습이 개인의 활동으로만 이루어지는 것이 아니라 지식과 테크놀로지을 습득하기 위해 다른 사람 및 정보 소스와 연결되는 과정이라는 것을 나타냅니다. XR 테크놀로지은 학습자에게 협업, 지식 교환, 정보 검색 및 필터링, 연결, 변화에 적응할 수 있는 기회를 장려하는 팀 환경에서 몰입형 인터랙티브 학습을 제공합니다. 
As discussed in Part 1 and in the section on Learning Management Systems and MOOCs above, Connectivism indicates that learning is not solely an individual activity, but rather a process that involves making connections with others and with information sources to acquire knowledge and skills. XR technologies provide learners with immersive, interactive learning in team environments that encourage collaboration, the exchange of knowledge, and the opportunities to find and filter information, make connections, and adapt to change.

고품질의 XR 환경을 만드는 데는 많은 비용이 들 수 있으며, 모든 교육 기관이 이러한 테크놀로지에 투자할 수 있는 자원(재정 및 테크놀로지 전문성)을 갖추고 있는 것은 아닙니다. 또한 VR 헤드 마운트 디스플레이와 같은 특수 장비의 필요성은 일부 학습자와 교육기관에 장애물이 될 수 있습니다. 또 다른 과제는 보건 전문직 교육에서 XR의 효과를 뒷받침하는 경험적 증거가 부족하다는 점입니다(Logeswaran 외. 2021). 학습 결과가 개선되었다는 일화적인 보고는 많지만, 지식 유지 및 테크놀로지 습득에 대한 XR의 영향에 대한 연구는 제한적입니다(Gerup 외. 2020; Zhao 외. 2020). 
Creating high-quality XR experiences can be expensive, and not all educational institutions have the resources (financial and technical expertise) to invest in such technology. Additionally, the need for specialised equipment such as VR Head-Mounted Displays can be an obstacle for some learners and institutions. Another challenge is the lack of empirical evidence supporting the effectiveness of XR in health professions education (Logeswaran et al. 2021). Although there are numerous anecdotal reports of improved learning outcomes, there is limited research on the impact of XR on knowledge retention and skill acquisition (Gerup et al. 2020; Zhao et al. 2020).

XR Type Level of Immersion / Description Equipment / Software The Experience
Virtual Reality (VR) Fully immersive experience by replacing the user's real-world surroundings with a computer-generated environment. VR Head-Mounted Displays (HMDs) and motion capture systems that allow learners to have complete immersion in a 360-degree view of a virtual environment Creates a sense of presence and allows for interaction with virtual objects and other users. Users can move around in the digital space.
Augmented Reality (AR) Non-immersive
 
 
 
Semi-immersive (partial immersion)
 
Does not always require specialized devices.
 
 
Can use smartphone or tablet or through specialized equipment, such as smart glasses (e.g. Hololens)
Overlays digital content onto the real world or 2D interfaces such as computer screens or mobile devices.
 
Enhances the user's perception of the environment and/or having a portion of their body tracked in a virtual space.
Mixed Reality (MR) Combines elements of both VR and AR to create a hybrid environment. Specialized equipment, such as smart glasses or a headset. Digital content and the real world can coexist and interact.
Virtual Worlds (VW) VR experience that creates a simulated environment
 
Semi-immersive:
VW are typically less immersive than VR as they do not fully replace the user's real-world surroundings.
Accessed through specialized software or web-based platforms.
 
Users navigate these environments using avatars that represent them in the virtual space.
 VW provides a window into a digital environment.
 
 
Allows users to interact with digital objects and other users through a screen or interface.

15.1. HPE에서 XR의 실제 적용
15.1. Practical applications of XR in HPE

교육자가 교육 경험 제공에 XR을 적용하기로 결정할 때는 테크놀로지 전문성, 시간, 예산, 확장성, 제어 수준, 구성 및 유지 관리, 적합한 XR 학습 콘텐츠의 가용성, 교육적 조정, 보안 및 개인정보 보호, 출력 도구, 달성할 몰입도 등의 요소를 검토하는 것이 중요합니다(Meccawy 2022). 이러한 점을 염두에 두고 학습 목표에 적합한 테크놀로지을 가장 유용하게 활용할 수 있는 곳에 XR을 적용해야 합니다. 초보 학습자의 경우 해부학 교육에 Microsoft Hololens AR/MR 헤드셋을 사용하는 것을 예로 들 수 있습니다. 고급 학습자의 경우, 다양한 절차적 테크놀로지을 수행하면서 촉각 피드백을 통해 의료 절차를 수행하는 VR 헤드 마운트 디스플레이에 완전히 몰입할 수 있습니다. HPE의 다른 XR 활용 사례는 부록 7을 참조하십시오. 
When educators choose to apply XR to their delivery of educational experiences, it is important to explore the following factors: technical expertise, time, budget, scalability, level of control, configuration and maintenance, availability of suitable XR learning content, pedagogical alignment, security and privacy, output tools and the degree of immersion that is to be achieved (Meccawy 2022). Keeping this in mind, the application of XR should be used because the technology is appropriate for the learning objectives and must be leveraged for where it is most useful. An example for a novice learner may be using a Microsoft Hololens AR/MR headset for anatomy education. With more advanced learners, they can be fully immersed with a VR Head-Mounted Display performing a medical procedure with haptic feedback as they perform various procedural skills. See Appendix 7 for other applications of XR in HPE.

OMS와 XR은 HPE에서 형평성, 다양성, 포용성, 접근성(EDIA)을 증진할 수 있는 특별한 기회를 제공할 수 있습니다. 다양한 사례 시나리오, 학습자 아바타, 문화적 맥락, 다양한 환자 파트너를 설계 및 콘텐츠 제작 팀의 일부로 통합하여 EDIA를 촉진하도록 설계할 수 있습니다. 이를 통해 학습자가 다양한 경험과 관점에 노출되도록 하여 다양한 배경을 가진 사람들에 대한 이해와 공감을 높일 수 있습니다. 
OMS and XR can offer unique opportunities for promoting equity, diversity, inclusion, and accessibility (EDIA) in HPE. They can be designed to promote EDIA by incorporating diverse case scenarios, learner avatars, cultural contexts, and diverse patient partners as part of the design and content creation team. This can help to ensure that learners are exposed to a wide range of experiences and perspectives, which can foster greater understanding and empathy for people from different backgrounds.

XR은 HPE를 혁신할 수 있는 흥미로운 잠재력을 제공하지만, 이러한 XR 교육 경험을 개발하는 데 필요한 상당한 리소스를 고려할 때 다음 섹션에서 다루는 바와 같이 협업과 디지털 학술활동이 필수적입니다. 
XR offers an exciting potential to transform HPE, but given the significant resources needed to develop these XR educational experiences, collaboration and digital scholarship is essential, as covered in the next sections.

Technology and Application Example
VR to teach anatomy and physiology.
 
Allows learners to explore the human body in a three-dimensional space, providing a more interactive and engaging learning experience than traditional two-dimensional models.
Learners can manipulate organs, tissues, and bones, enabling them to understand the complexities of the human body in a more intuitive and comprehensive way.
 
AR to teach medical procedures.
 
Provide learners with step-by-step instructions and visual cues during a medical procedure, enhancing their understanding and performance.
AR app can guide a medical student through the process of inserting an IV catheter, providing real-time feedback and instructions.
 
MR can be used to create realistic simulations of patient encounters.
 
Learners practice communication skills and clinical decision-making.
Learners can interact with virtual patients, providing a safe and controlled environment to practice skills such as patient history-taking and physical examination. 

16. 디지털 학술활동
16. Digital Scholarship

디지털 학술활동은 다양한 의미와 정의가 있습니다(Raffaghelli 2017). 

  • 테크놀로지을 사용하여 연구하고 전파하는 방법,
  • 디지털 전문가 정체성을 개발하는 방법
  • 디지털 네트워크와 협업하는 방법,
  • 학습자 중심, 참여형, 협업형, 오픈 액세스 방법 등 새로운 테크놀로지로 향상된 접근 방식을 사용하여 가르치는 방법 


Digital Scholarship has different meanings and definitions (Raffaghelli 2017), including

  • ways we research and disseminate using technology,
  • how we develop our digital professional identities,
  • collaborate with digital networks, and
  • teach using new technology enhanced approaches such as learner centred, participatory, collaborative, and open access methods.

대부분의 교육기관에서 학술 진흥을 위해 디지털 학술활동을 사용하는 것은 새로운 개념이며, 임상 진료, 연구 및 교육이라는 전통적인 영역에 맞지 않을 수 있습니다(Johng 외. 2021). 
For the majority of academic HPE institutions, the use of digital scholarship for academic promotion is a new concept, and may not fit into the traditional domains of clinical care, research and education (Johng et al. 2021).

디지털 학술활동의 개념(개방형, 네트워크형, 협업형)은 학술활동에 대한 전통적인 기관의 관점(사일로화, 개별화)과 상충될 수 있습니다. 또한, 디지털 학술활동 개발을 촉진하기 위한 프레임워크 또는 필요한 역량, 기관 전략 또는 정책, 리소스 및 활동 등 디지털 학술활동 분야에서 교수 개발을 안내하는 문헌은 제한적이지만 일부 합의된 가이드라인이 있습니다(Sherbino 외. 2015; Husain 외. 2020). 
The concepts of digital scholarship (open, networked, collaborative) can be at odds with traditional institutional views of scholarship (siloed, individualised). In addition, there is limited literature to guide faculty development in digital scholarship such as frameworks or competencies required, institutional strategies or policies and resources and activities to promote digital scholarship development (Raffaghelli 2017), although some consensus guidelines are available (Sherbino et al. 2015; Husain et al. 2020).

일부 기관은 디지털 학술활동을 수용하고 승진 및 테뉴어 정책을 업데이트했지만(Johng 외. 2021), 대다수는 그렇지 않습니다. 이러한 행동은 교수진의 중요한 기여를 간과하는 것이며, 교수진과 학습자 간의 디지털 격차를 확대하고 디지털 플랫폼을 사용하여 동료와 대중에게 과학 정보를 전파하는 것에 대한 오명을 초래할 수 있습니다. 예를 들어, 소셜 미디어를 사용하여 연구를 홍보하면 인용 횟수와 피인용 횟수가 크게 증가하는 것으로 나타났으므로(Luc 외. 2021), 교육기관이 학계에서 소셜 미디어의 적절한 사용을 장려하지 않는다면 상당한 영향력을 발휘할 수 있는 기회를 놓칠 수 있습니다. 
Some institutions have accepted digital scholarship and updated their promotion and tenure policy (Johng et al. 2021), but the majority have not. This behaviour overlooks important contributions made by faculty, and may lead to widening of the digital divide between faculty and learners, and the stigma of using digital platforms to disseminate scientific information to peers and the public. For example, use of Social Media to promote research has also shown to significantly increase citations and altmetrics (Luc et al. 2021), so, if institutions are not nurturing appropriate use of Social Media in academics, they may be missing an opportunity for substantial impact.

승진 및 테뉴어를 위한 디지털 학술활동 기여도를 정량화하고 비교하는 방법은 여전히 풀기 어려운 과제입니다. SoMe를 예로 들면, 팔로워 수(영향력)와 댓글/리트윗 수(영향력) 중 어느 것이 더 중요할까요, 아니면 커뮤니티의 필요(옹호, 혁신 및 리소스)에 도달하는 것이 더 중요할까요? 트위터, 유튜브, 인스타그램, 틱톡 등 다양한 형태의 소셜 미디어에서 이러한 수치는 어떻게 비교될까요? 팟캐스트, 동영상 또는 웹사이트와 같은 멀티미디어 자료에 대해서도 동일한 비교를 할 수 있습니다. 
The challenge of how to quantify and compare digital scholarship contributions for promotion and tenure remains elusive. Using SoMe as an example: is it more important to have followers (influence) comments/re-tweets (impact), or reach community needs (advocacy, innovation and resources)? How do these numbers compare across various forms of social media such as Twitter, YouTube, Instagram or TikTok? The same comparisons can be made for multimedia materials such as podcasts, videos or websites.

이 문제를 해결하는 한 가지 방법은 메트릭(예: 알트메트릭)을 사용하고(Luc 외. 2021), 디지털 학술활동 포트폴리오를 만들고(Goh and Sandars 2019), 위와 같이 학술활동을 정의하기 위해 잘 정의된 기준을 사용하는 것입니다. 
One way to negate this challenge is by using metrics (such as altmetrics) (Luc et al. 2021), creating portfolios of digital scholarship (Goh and Sandars 2019) and using well-defined criteria for defining scholarship as above.

또한 디지털 학술활동은 교사 승진을 위한 주관적인 학습자 피드백 설문조사에서 벗어나 다음과 같은 보다 객관적인 교육 효과 평가 방법으로 전환하는 데 도움이 될 수 있습니다.

  • 학습자의 온라인 총괄 및 형성 평가 변화에 대한 다중 소스 데이터,
  • 디지털 분석(예: 동영상 시청 시간 또는 토론 포럼의 게시물 수),
  • 학습자가 만든 아티팩트 또는 학습 반성 포트폴리오와 

그러나 단순히 숫자만 쫓지 말고 활동의 이면에 있는 교육 과정과 이론을 염두에 두도록 주의를 기울여야 합니다. 지금까지 우리는 기존의 다양한 아이디어, 시나리오 및 도구를 살펴봤습니다. 새로운 가능성은 항상 열려 있으며, 다음 섹션에서는 그 지평선을 들여다보려고 합니다. 
Digital scholarship may also help us move away from subjective learner feedback surveys for teacher promotion, to more objective methods of evaluating teaching effectiveness, such as

  • multi-source data on changes in learner online summative and formative assessments,
  • digital analytics (e.g. time spent watching videos or number of posts on discussion forums), and
  • portfolios of learners’ created artifacts or learning reflections.

Care, however, must be taken to ensure that one does not merely chase numbers, but that one is mindful of the educational processes and theory behind the activities. So far, we have journeyed through a wide range of existing ideas, scenarios and tools. Newer possibilities are always on the horizon, and, in the next section, we try to peek over that horizon.

17. 온라인 교육의 새로운 트렌드
17. Emerging trends in online education

이 가이드는 미래를 전망하는 것으로 마무리합니다. 교육 테크놀로지 분야에서 예측은 어렵지만, 몇 가지 트렌드가 주목받고 있으므로 독자들이 미래의 가능성을 고려할 수 있도록 이러한 아이디어를 제기합니다. 교육 테크놀로지은 빠르게 진화하는 분야이므로 독자들은 Educause Horizon Report(Educause 2022) 또는 온라인 교육의 변화하는 환경(Garrett 외. 2022) 등 현재 진행 중인 연례 보고서도 참고하시기 바랍니다. 
We end this guide with look to the future. Predictions in educational technology are difficult, but some trends are receiving increased attention; we raise these ideas so that readers may consider future possibilities. As educational technology is a rapidly evolving field, we also suggest readers also refer to ongoing annual reports such as Educause Horizon Report (Educause 2022), or the Changing Landscape of Online Education (Garrett et al. 2022).

  • 인공 지능(AI): HPE의 AI는 아직 탐색 중입니다(Rampton 외. 2020, Randhawa and Jackson 2020, Masters 2023). 이 단계에서 대부분의 교육자는 AI에 대해 알고 있으며, 교육기관은 이 개념을 가르쳐야 할 필요성을 인식하고 학습자에게 AI 시스템을 사용하도록 교육하고 있습니다. 최근 ChatGPT 및 기타 공개적으로 사용 가능한 AI 시스템의 출시는 HPE의 AI가 큰 관심을 받을 것이지만, 학습자와 교육기관 모두 윤리적 사용에 대한 해결이 필요하다는 것을 나타냅니다(Masters 2023). AI는 접근성, 평가, 멀티소스 학습자 및 교사 피드백, 적응형 교육, 개별화 또는 개인별(그러나 표준화되고 자동화된) 교육에 광범위한 영향을 미치며 역량 기반 교육, 환자 사례 시나리오, 직장 평가 및 승진, 커리큘럼 설계와 같은 모델에 중요합니다(Educause 2022). 가상 환자와 같은 다른 정교한 도구와 결합하면 그 가능성은 훨씬 더 커집니다. 
    Artificial Intelligence
     (AI): AI in HPE is still being explored (Rampton et al. 2020; Randhawa and Jackson 2020; Masters 2023). At this stage, most educators are aware of AI, and institutions recognise a need to teach the concept, and are training their learners to use AI systems. The recent launch of ChatGPT and other publicly available AI systems indicates that AI in HPE will receive great attention, but ethical use by both learners and the institution need to be addressed (Masters 2023). AI has far-reaching implications for accessibility, assessment, multisourced learner and teacher feedback, adaptive teaching, and individualised or personal (yet standardised and automative) training, and is important for models such as competency-based training, patient-case scenarios, workplace assessment and promotion, and curriculum design (Educause 2022). When combined with other sophisticated tools, such as virtual patients, the possibilities are even more profound.
  • 블렌디드 또는 HyFlex의 우세: 몇 년 내에 이러한 모드가 교육 분야에서 우세해질 수 있으며, 소수의 학습자가 완전한 온라인 또는 F2F 학습을 받게 될 것입니다(Garrett 외. 2022). 
    Dominance of blended or HyFlex
    : Within a few years, these modes may dominate in education, with a minority of learners receiving fully online or F2F learning (Garrett et al. 2022).
  • 마이크로 크레디트: Garrett 외(2022)에 따르면 고등 교육은 "보다 유연하고 모듈식이며 개인화된 학습 경험"으로 전환하고 있습니다. 이는 역량 기반 교육, 학습자 중심, 평생 및 직장 학습으로 전환하는 HPE의 방향과도 일치합니다. 단계적으로 디지털 배지 사용은 "성장 모멘텀"과 "학습자 중심의 역량 기반 의료 교육 모델에 대한 증거"를 보여주었습니다(Noyes 외. 2020). 배지에는 일반적으로 완료한 교육, 평가 또는 요건을 요약하는 메타데이터가 포함되며, 일반적으로 비공식적 또는 과외 경험에 대한 메타데이터는 쉽게 공유하고 액세스할 수 있습니다. 이는 기존의 학년 및 강의실 기반 모델에서 자기 주도적인 HPE 학습자의 다양한 테크놀로지 세트와 경험으로의 전환을 촉진할 수 있습니다. 
    Micro-credentialling:
     According to Garrett et al. (2022), higher education is shifting towards “more flexible, modular and personalized learning experiences”. This is also in keeping with HPE shift towards competency-based education, learner centred, life-long and workplace learning. Stepwise, digital badge use has shown “growing momentum” and “evidence for learner-centred, competency-based model of medical education” (Noyes et al. 2020). Badges typically include metadata outlining training, assessments or requirements completed, typically of non-formal or extra-curricular experiences, which is easy to share and access. This may foster a shift from traditional grade and classroom-based models to diverse skills sets and experiences of self-directed HPE learners.
  • 지구 보건 및 EDIA: 이러한 우려는 더욱 두드러질 것이며, 출장 및 F2F 과정과 컨퍼런스에 관한 결정도 고려해야 할 것입니다(Goshua 외. 2021; Windrim 외. 2022). 마찬가지로 접근성 문제(Masters 외. 2022)는 특히 글로벌 북부와 남부 간의 차이를 줄여야 하는 과제가 계속됨에 따라 계속 커질 것입니다. 
    Planetary Health and EDIA
    : These concerns will increase in prominence, and decisions regarding travel and F2F courses and conferences will need to be considered (Goshua et al. 2021; Windrim et al. 2022). Similarly, issues of accessibility (Masters et al. 2022) will continue to grow, especially as the imperative to diminish differences between the Global North and South continues.
  • 스킬셋 향상: 온라인 교육과 학습의 형태가 표준이 됨에 따라 이러한 요구를 충족하기 위해 교사의 스킬셋이 성장해야 할 것입니다. 이러한 현대 교육자의 역량을 개발하기 위해서는 교수진 개발이 필수적입니다. 
    Increased skillset
    : As forms of online teaching and learning become the norm, teachers’ skillset will need to grow to meet this need. Faculty development will be essential to the development of these contemporary educator competencies.
  • 새로운 직책: 보다 전문적인 업무를 위해 커뮤니티 관리자(소셜 미디어 및 토론 포럼 담당), 디지털 콘텐츠 제작 전문가 등과 같은 새로운 직책도 발전할 수 있습니다. 
    New positions: For more specialised tasks, new positions, such as community-manager (in charge of social media and discussion forums), digital content production expert and others may also evolve.
  • 완전 몰입형 가상 현실(VR): 완전 몰입형 VR은 HPE에 몇 가지 가능성을 제시합니다. 모든 교육에 도움이 될 수 있지만(Schott and Marshall 2020, Upadhyay와 Khandelwal 2022), 임상 교육은 환자의 안전을 해치지 않으면서도 현실적인 시뮬레이션의 특별한 가치를 가질 수 있습니다. 
    Full immersion virtual reality (VR)
    : Full immersion VR holds some promise for HPE. Although all education could benefit (Schott and Marshall 2020; Upadhyay and Khandelwal 2022) clinical teaching could have specific value of realistic simulation without compromising patient safety.
  • 새로운 이론과 더 큰 유연성: 더 큰 확장을 가능하게 하는 새로운 이론이 등장하고 있으며(Downes 2022), LMS에서 포털 또는 학습 경험 플랫폼(LXP)으로의 전환이 요구되고 있습니다(Isaías 2018; Foreman 2022; Valamis 2022). 학습자는 모듈식 교육을 추구하고 배지 및 기타 마이크로 자격 증명을 통해 개인화된 학습을 할 수 있기 때문에 학습자가 학습을 더 잘 제어할 수 있게 될 것입니다. Merlot(https://www.merlot.org/merlot/)과 같은 사이트는 교수진과 학습자가 LMS에서 벗어나도록 더욱 장려합니다. 
    New theories and greater flexibility
    : new theories allowing greater expansion are emerging and required (Downes 2022), and a shift from the LMS to portals, or the Learning eXperience Platform (LXP) (Isaías 2018; Foreman 2022; Valamis 2022). This will place greater control of learning in the hands of the learners, as they seek education that is modular and allows for personalised learning with badges, and other micro-credentials. Sites like Merlot (https://www.merlot.org/merlot/) further encourage faculty and learners to expand away from the LMS.

18. 결론
18. Conclusion

본 가이드의 파트 1과 파트 2에서 알 수 있듯이, HPE의 온라인 학습 분야는 방대하고 빠르게 변화하고 있습니다. 이 파트에서는 HP 교육자가 사용할 수 있는 도구와 기법에 대한 논의를 통해 파트 1의 기본 초점을 보완하려고 했습니다. 각 도구에 대해 논의할 때, 초급자부터 고급자까지 모든 독자에게 도움이 될 수 있도록 독자의 전문 지식, 사전 지식 및 경험을 바탕으로 광범위한 구현 고려 사항을 보여줌으로써 해당 도구의 사용이 온라인 이론의 약속을 어떻게 완성하는지 보여주려고 노력했습니다. 많은 경우 부록과 지원 웹사이트(https://www.onlinelearninghpe.com/)에서 추가 정보를 통해 논의를 보완했습니다. 
As is apparent from Part 1 and Part 2 of this Guide, the field of online learning in HPE is vast and rapidly changing. In this Part, we have attempted to complement the foundational focus of Part 1, with a discussion of tools and techniques at the disposal of HP educators. In discussing each tool, we have attempted to demonstrate how its use completes the promise of online theories; showcasing a wide range of implementation considerations, based on reader expertise, prior knowledge and experience, in order to benefit all readers, from novice to advanced. In many cases, we have supplemented the discussion with further information in the appendices and the supporting website https://www.onlinelearninghpe.com/.

이 책이 보건 전문직 교육에서 온라인 학습을 효과적으로 활용하고 혁신하고자 하는 모든 사람들을 안내하는 데 도움이 되는 포괄적인 개요라고 생각합니다. 변화하는 주제의 특성으로 인해 이 문서 한 권이 마지막이 될 수는 없겠지만, 가치 있는 여정의 많은 단계 중 첫 번째 단계라고 믿습니다. 
We believe that the result is a comprehensive overview to help guide all those who wish to effectively use and transform online learning in Health Professions Education. Because of the changing nature of the topic, a single document will never be the last word, but we believe that this is the first of many steps on a worthwhile journey.


Med Teach. 2023 Sep 23:1-16. doi: 10.1080/0142159X.2023.2259069. Online ahead of print.

Online learning in health professions education. Part 2: Tools and practical application: AMEE Guide No. 163

Affiliations

1Medical Education and Informatics Department, College of Medicine and Health Sciences, Sultan Qaboos University, Sultanate of Oman.

2Faculté de Médecine, Université Paris Cite, France.

3Baycrest Academy, Dalla Lana School of Public Health, University of Toronto, Toronto, Canada.

4Department of Education Innovation and Technology, Texas Childrens Hospital (TCH), Texas, USA.

5Office of Ed-TECH, McGill University, Canada.

6Department of Medicine, Continuing Professional Development, University of Toronto, Toronto, Canada.

PMID: 37740948

DOI: 10.1080/0142159X.2023.2259069

Abstract

Part 1 of the AMEE Guide Online learning in health professions education focused on foundational concepts such as theory, methods, and instructional design in online learning. Part 2 builds upon Part 1, introducing technology tools and applications of these foundational concepts by exploring the various levels (from beginner to advanced) of utilisation, while describing how their usage can transform Health Professions Education. This Part covers Learning Management Systems, infographics, podcasting, videos, websites, social media, online discussion forums, simulation, virtual patients, extended and virtual reality. Intertwined are other topics, such as online small group teaching, game-based learning, FOAM, online social and collaboration learning, and virtual care teaching. We end by discussing digital scholarship and emerging technologies. Combined with Part 1, the overall aim of Part 2 is to produce a comprehensive overview to help guide effective use online learning in Health Professions Education.

Keywords: Online learning; distance learning; educational technologies; instructional technologies; online education.

보건의료전문직교육에서 온라인 학습 파트1: 온라인 환경에서의 교수-학습: AMEE Guide No. 161 (Med Teach, 2023)
Online learning in Health Professions Education. Part 1: Teaching and learning in online environments: AMEE Guide No. 161 
Heather MacNeilla , Ken Mastersb , Kataryna Nemethyc and Raquel Correiad 

 

 

소개: 온라인 학습과 팬데믹 교육학을 넘어서기 위한 증거
Introduction: evidence for online learning and moving beyond pandemic pedagogy

'[D] 디지털 테크놀로지은 고등 교육의 중심적인 측면이 되어 학생 경험의 모든 측면에 본질적으로 영향을 미치고 있습니다'(Bond 외. 2020). 
‘[D]igital technology has become a central aspect of higher education, inherently affecting all aspects of the student experience’ (Bond et al. 2020).

보건 전문직 교육(HPE)의 온라인 학습은 탄탄한 기반을 갖추고 있으며(Ellaway and Masters 2008; Masters and Ellaway 2008) 소프트웨어, 하드웨어, 학습자 선호도, 커리큘럼 개혁의 발전으로 지난 10년 동안 빠르게 진화해 왔습니다(Schwartzstein and Roberts 2017; Emanuel 2020). 이러한 발전에도 불구하고 HPE는 일반적으로 온라인 학습 채택에 있어 고등 교육보다 뒤처져 있었습니다. 
Online learning in Health Professions’ Education (HPE) has a well-established foundation (Ellaway and Masters 2008; Masters and Ellaway 2008) and has been rapidly evolving over the last decade due to advances in software, hardware, learner preferences, and curriculum reform (Schwartzstein and Roberts 2017; Emanuel 2020). Despite these advances, HPE has typically fallen behind higher education in the adoption of online learning.

그러나 코로나19의 출현으로 전 세계적으로 대면(F2F) 교육에서 온라인 긴급 원격 교육(ERT)으로의 전환이 급격하고 가속화되었으며, 학습자가 온라인 시스템에 최대한 중단 없이 신속하게 액세스할 수 있도록 교육 자료를 제공하는 데 중점을 두었습니다(Hodges 외. 2020; Daniel 외. 2021). 이는 종종 온라인 교육 관행, 이론 또는 교수진 개발을 적용할 시간이 거의 없이 사용 가능한 리소스를 사용하여 F2F 활동에 가장 가까운 온라인 활동을 찾는 것을 수반했습니다(Fawns 외. 2020; Stojan 외. 2021). 안타깝게도 이로 인해 많은 사람들이 온라인 학습이 F2F 방법보다 열등하다는 잘못된 가정을 하게 되었습니다. 
However, the emergence of COVID-19 led to a sudden and accelerated world-wide shift from face-to-face (F2F) teaching to online Emergency Remote Teaching (ERT) (Hodges et al. 2020) or Pandemic Pedagogy (Schwartzman 2020), with the focus on getting educational materials into online systems accessible to learners quickly, and with as little disruption as possible (Hodges et al. 2020; Daniel et al. 2021). This often entailed finding the closest online equivalent to F2F activities, using available resources, with little time to apply online education practices, theories or faculty development (Fawns et al. 2020; Stojan et al. 2021). Unfortunately, this led many to the incorrect assumption that online learning was inferior to F2F methods.

수십 년에 걸친 연구 결과에 따르면 온라인 학습 결과가 F2F 결과와 유사하며, 의료 맥락에서도 마찬가지입니다(Cook et al. 2008; Pei and Wu 2019). 이러한 결과는 여러 분야에 걸친 수많은 체계적 문헌고찰과 메타분석, 그리고 진화하는 테크놀로지에서 반복되어 왔으며 '유의미한 차이 효과 없음'으로 알려져 있습니다(DETA 2019). 다양한 온라인 방식, 상황, 교사 및 학습자 그룹의 고유한 장점과 과제에도 불구하고 온라인 학습의 핵심은 학습이며, 특히 온라인과 F2F 방식 간의 경계가 계속 모호해짐에 따라 온라인과 F2F 방식을 구분하는 것을 중단해야 할 수도 있습니다. 
Decades of research have shown that online learning outcomes are similar to F2F outcomes (U.S. Department of Education, Office of Planning, Evaluation, and Policy Development, Policy and Program Studies Service 2010; Nguyen 2015), including in healthcare contexts (Cook et al. 2008; Pei and Wu 2019). This finding has been repeated in numerous systematic reviews and meta-analyses across multiple disciplines, and evolving technologies, and is known as the ‘no significant difference effect’ (DETA 2019). Despite unique advantages and challenges of different online modalities, contexts, teachers and learner groups, online learning at its core is just learning, and perhaps we should cease making a distinction between online and F2F methods, especially as the lines between the two continue to blur.

그러나 동등성의 문제는 여전히 모호한 측면이 있습니다. 첫째, 온라인 학습은 이질적입니다. 강의, 침상 학습, 문제 기반 학습(PBL), 직장 학습, 저널 클럽과 같은 F2F 방식을 한데 묶어 동일한 학습 결과를 제공하는 것으로 간주하기는 어렵습니다. 마찬가지로 웨비나, 온라인 시뮬레이션, 가상 사례, 팟캐스트, 소셜 미디어 등 다양한 방식이 있습니다. 또한 온라인 비디오와 설문조사 앱은 F2F 강의실에서 자주 사용되며, 온라인 학습에는 F2F 참가자가 포함될 수 있으므로(예: 나중에 설명하는 HyFlex 또는 원격 강의실 제공) 이러한 방식을 구분하는 것이 비현실적이거나 불가능할 수 있습니다. 
However, the question of equivalency remains fraught with ambiguity. First, online learning is heterogeneous. It is unlikely we would clump F2F modalities such as lectures, bedside learning, Problem-Based Learning (PBL), workplace learning and journal club together and consider them to provide the same learning outcomes. Similarly, webinars, online simulation, virtual cases, podcasts, and social media, are diverse modalities. In addition, online videos and polling apps are often used in F2F classrooms, and online learning may involve F2F participants (such as in HyFlex or remote classroom delivery discussed later), making the distinction between these modalities impractical or impossible.

따라서 상호작용, 피드백, 반복 및 연습과 같이 온라인 교육에서 성과를 향상시키는 기법이 F2F 환경에서도 동일하다는 것은 놀라운 일이 아닙니다(Cook 외. 2010; Cervero와 Gaines 2015). 또한 분산 연습(시간 간격을 둔 연습) 및 멀티미디어 학습과 같이 F2F 환경에서 더 효과적인 것으로 입증된 학습 설계 전략은 온라인 학습을 통해 촉진될 수 있습니다(Cervero and Gaines 2015; Van Hoof 외. 2021). 
Perhaps it is no surprise, then, that the techniques that improve outcomes in online teaching are the same in F2F environments, such as interactivity, feedback, repetition, and practice exercises (Cook et al. 2010; Cervero and Gaines 2015). In addition, learning design strategies that are proven to be more effective in F2F environments, such as distributed practice (spaced over time) and multimedia learning, can be facilitated with online learning (Cervero and Gaines 2015; Van Hoof et al. 2021).

둘째, 대부분의 연구는 만족도, 지식 및 스킬 습득과 같은 학습 결과를 조사했으며 환자 결과는 거의 조사하지 않았습니다. 또한 직업적 정체성 형성, 멘토링, 교사와 학생의 소진, 온라인 학습의 비용 효율성 등 학습에는 추가 조사가 필요한 다른 뉘앙스도 있습니다(Castañeda and Selwyn 2018; Cook 외. 2021; Oducado 외. 2022).
Second, most studies have examined learning outcomes such as satisfaction, knowledge, and skill acquisition and rarely patient outcomes. In addition, there are other nuances to learning such as professional identity formation, mentorship, teacher and student burnout and cost effectiveness of online learning that need further examination (Castañeda and Selwyn 2018; Cook et al. 2021; Oducado et al. 2022).

마지막으로, 온라인 교육이 이루어지는 제도적 및 학습적 맥락은 테크놀로지를 통한 학습과 사용에 영향을 미칠 수 있으므로(Ellaway 외. 2014a,b), 결과, 방법 및 접근 방식의 단순한 이식에 대한 순진한 믿음은 피해야 합니다.
Lastly, institutional and learning contexts in which online education occurs can affect learning with, and usage of, technology (Ellaway et al. 2014a,b), so one should avoid a naïve belief in a simple transplant of outcomes, methods, and approaches.

동등성 문제와 관련하여 가장 흥미롭고 중요한 발견은 혼합 학습(F2F와 온라인 방식을 함께 결합)이 F2F 또는 온라인 학습만 하는 것보다 더 나은 학습 결과를 제공한다는 것입니다(Liu 외. 2016; Vallée 외. 2020). 혼합 학습을 통해 온라인 학습과 F2F 학습의 장점은 활용하면서 바람직하지 않은 효과는 최소화할 수 있기 때문에 이는 놀라운 일이 아닐 수 있습니다. 예를 들어, F2F 구성 요소는 즉각적인 피드백과 사회적 연결을 제공하는 반면, 온라인 구성 요소는 분산되고 편리한 학습에 도움이 될 수 있습니다.
The most exciting and significant finding on the issue of equivalency is that blended learning (combining F2F and online methods together) provides better learning outcomes than either F2F or online learning alone (Liu et al. 2016; Vallée et al. 2020). Perhaps this is not surprising, as blended learning allows us to utilize the best aspects of both online and F2F learning while minimizing undesirable effects. For example, F2F components could provide immediate feedback and social connections, while online components help with dispersed and convenient learning.

여기서는 온라인 HPE에 대한 ERT의 영향에 대한 자세한 강점-약점-기회-위협(SWOT) 분석을 수행하지는 않지만, 이 프레임워크를 느슨하게 사용하여 이 소개의 나머지 부분을 안내하고 ERT가 제기하는 주요 문제 몇 가지를 강조하겠습니다. 
Although this is not the place to conduct a detailed Strengths-Weaknesses-Opportunities-Threats (SWOT) Analysis of ERT’s impact on online HPE, we will loosely use this framework to Guide the rest of this introduction, highlighting some of the major issues raised by ERT.

ERT의 주요 강점은 온라인 교수 학습 경험이 없거나 제한적이었던 많은 교사와 학습자가 이제 온라인 교수 학습에 노출되어 그 이점을 확인할 수 있다는 것입니다(Naciri 외. 2021). 또한 인프라 및 조직에 변화를 준 보건 전문 학교 및 기관은 시스템을 더욱 발전시킬 수 있습니다.  
The major strengths of ERT are that many teachers and learners who had no or limited experience with online teaching and learning have now had exposure and can see its benefits (Naciri et al. 2021). In addition, those health professions schools and institutions that effected infrastructural and organizational changes are able to develop their systems further.

학습자와 교육자 모두 온라인 학습의 유연성과 접근성, 특히 시간, 거리 또는 직장이나 가족 의무와 같은 경쟁 우선 순위로 인해 교육 활동에 참석할 수 없었을 사람들에게 주는 이점에 주목했습니다(Daniel 외. 2021). 어떤 경우에는 학습 요구가 가장 큰 동영상이나 모듈을 선택해 다시 보거나 퀴즈와 같은 자동화된 개별 피드백을 받을 수 있는 등 학습자 중심의 교육 접근 방식을 장려하기도 했습니다. 
Learners and educators alike have noted the benefits of flexibility and accessibility of online learning, particularly for those who otherwise might not have been able to attend educational activities due to time, distance, or competing priorities, such as work or family duties (Daniel et al. 2021). In some cases, the ERT pivot encouraged a learner-centric approach to education, such as being able to choose and revisit videos or modules where learning needs were greatest or receive automated individualized feedback such as quizzes.

이러한 강점을 통해 ERT는 온라인 학습을 처음 접하는 교사에게 큰 잠재력을 약속했으며, 교육학적으로 정보에 입각하고 테크놀로지적으로 변화된 HPE를 통합할 수 있는 강력한 기반을 제공했습니다(Jeffries 외. 2022). 
With these strengths, ERT promised great potential for teachers new to online learning and provided a strong grounding on which to incorporate further pedagogically informed and technology-transformed HPE (Jeffries et al. 2022).

ERT의 약점은 이러한 전환을 시도하는 대부분의 보건 전문 학교와 기관이 준비가 제대로 되어 있지 않았고, 많은 교사와 학습자가 부정적인 경험을 했으며, 그 결과 온라인 교육은 제한적이며, 모든 과목을 온라인으로 가르칠 수 없고, 다른 사람과의 소통과 연결에 심각한 제약이 있으며, 온라인 학습은 비상시에만 사용해야 한다는 인식을 갖게 되었다는 점입니다. ERT는 또한 하드웨어, 인터넷, 안전한 학습 공간에 대한 접근이 제한적이거나 전혀 없는 학생들이 경험하는 '디지털 격차'와 테크놀로지 접근의 글로벌 불평등을 강조했습니다(Schwartzman 2020). 
A weakness of ERT was that most health professions schools and institutions making this pivot were poorly prepared, and many teachers and learners had negative experiences; as a result, their perception of online education may be that it is limited, that not all subjects can be taught online, that communication and connection with others are severely constrained, and that online learning should be used in emergencies only. ERT also highlighted the ‘digital divide’ that students with limited or no access to hardware, internet, and safe spaces to learn in experienced, and global inequities of technology access (Schwartzman 2020).

이러한 문제는 교수진 개발 부족, 하드웨어, 소프트웨어, 인터넷 접근성의 테크놀로지적 문제, 학습자 및 교육자 오리엔테이션과 디지털 리터러시 부족으로 인해 증폭되는 경우가 많았습니다(Schwartzman 2020; Daniel 외. 2021). 학습자 참여, 학생의 소속감, 경쟁 우선순위, 화면 피로 등의 문제도 영향을 미쳤으며, 네티켓, 동료 협업, 상호 작용, 혼합 접근 방식과 같은 교육적 설계를 통해 해결해야 할 과제입니다(Naciri 외. 2021). 
These issues were frequently amplified by a lack of faculty development, technical problems with hardware, software, internet accessibility, and poor learner and educator orientation and digital literacy (Schwartzman 2020; Daniel et al. 2021). Problems with learner engagement, student sense of belonging, competing priorities and screen fatigue also played their part, and still need to be addressed through pedagogical design such as netiquette, peer collaboration, interactivity, and blended approaches (Naciri et al. 2021).

따라서 교사와 학습자가 자신의 경험을 활용하여 단순히 F2F 관행을 대체하는 것을 넘어, 보다 유연한 학습, 자료, 환자 및 활동에 대한 접근성 향상과 같은 이점을 경험하고, 한계와 오류로부터 배우면서, 교육학적으로 정보에 입각한 본격적인 온라인 교육을 개발할 수 있는 기회가 ERT에 의해 촉진될 수 있습니다. 
An opportunity fostered by ERT, therefore, exists: that of teachers’ and learners’ using their experience to move beyond merely replacing F2F practices to develop full-blown and pedagogically informed online education, building on benefits experienced, such as more flexible learning and increased accessibility to materials, patients, and activities, while learning from limitations and errors.

그 결과, 우리는 코로나19 이전부터 느리기는 하지만 교육을 재구성해 온 온라인 HPE의 발전(인프라, 리더십, 교수진, 직원, 학습자 역량 포함)을 기반으로 보건 전문직 교육에서 무엇이 효과적인지에 대한 변화하는 이해를 반성할 기회를 갖게 되었습니다(Emanuel 2020; Price and Campbell 2020). 이러한 구조 조정은 수동적인 학습 기회에서 보다 능동적인 학습 기회로 전환하고 교육 관행의 노하우 격차를 좁힐 수 있는 기회를 제공할 수 있습니다. 또한, 온라인 학습을 통해 대규모 강의실을 병상이나 직장으로 가져 오거나 다른 국가를 포함하여 원격으로 학습자를 교육하는 등 F2F 방법으로는 불가능한 기회를 제공할 수 있는 방법을 고려할 수 있습니다(Jiang 외. 2021). 이는 또한 ERT를 넘어 교육학적으로 정보에 입각한 온라인 및 혼합 교육 방식으로 전환하는 데 필요한 교수진 및 직원 개발(FSD)에 투자할 수 있는 기회를 제공합니다. 
As a result, we have an opportunity to continue to build on the advances in online HPE that were restructuring education, albeit slowly, long before Covid-19 (including infrastructure, leadership, faculty, staff, and learner competence) to reflect a shifting understanding of what works in health professions education (Emanuel 2020; Price and Campbell 2020). This restructuring may provide an opportunity to move away from passive to more active learning opportunities, and narrow the know-do gap in educational practices. In addition, we can consider ways in which online learning may allow for opportunities that would not be possible with F2F methods, such as bringing large classrooms to the bedside or workplace, or training learners remotely, including in different countries (Jiang et al. 2021). This also provides us with an opportunity to invest in the faculty and staff development (FSD) needed to move beyond ERT into pedagogically informed ways of online and blended education.

ERT의 가장 큰 위협은 아마도 위에서 설명한 약점으로 인한 의구심과 관련하여 온라인 학습을 어떻게 활용하고 탐구해야 하는지에 대한 현재 방향성이 부족하다는 점일 것입니다. 이러한 방향성의 부재는 교사와 학생들이 F2F 교육으로 되돌아가 코로나19 이전의 안전지대에 안주하고 온라인 경험의 가치를 상실하도록 부추길 수 있습니다. 이는 F2F 테크놀로지에 대한 경험, 연구, 개발이 오랜 기간에 걸쳐 이루어진 것과 달리, 지난 2~3년 동안 이러한 새로운 환경에서 수집된 모범 사례에 대한 경험과 연구 기간이 상대적으로 짧았기 때문에 더욱 악화될 수 있습니다. 또한 보건 전문직 교육의 변화를 계속 진전시키기 위해서는 코로나19 위기 상황에서도 전략, 인프라, 교수진 개발 등 제도적 지원을 유지하는 것이 중요합니다(O'Doherty 외. 2018). 
Perhaps the greatest threat from ERT was a lack of current direction on how we should be using and exploring online learning, often related to the doubts caused by the weaknesses described above. This lack of direction may encourage teachers and students to revert to F2F education, settle into pre-COVID-19 comfort zones, and lose the value of their online experience. This is exacerbated by the relatively short duration of experience and research in best practices gathered in these new environments over the last two to three years, in contrast to lifetimes of experiencing, researching and/developing comfort levels with F2F techniques. It will also be important to maintain institutional support, including strategy, infrastructure, and faculty development in the absence of the COVID-19 crisis if we are to keep moving forward in our transformation of health professions education (O’Doherty et al. 2018).

이 가이드의 목적은 약점과 위협을 줄이고 온라인 HPE의 강점과 기회를 바탕으로 HPE 온라인 학습에 대한 지침과 방향을 제시하는 것입니다. 이를 위해 본 가이드는 두 부분으로 나누어 서로 정보를 제공합니다. 
The aim of this Guide is to provide guidance and direction for HPE online learning, by diminishing the weaknesses and threats, and building on the strengths and opportunities of online HPE. To accomplish this, we have divided this Guide into two Parts that inform one another.

  • 첫 번째 파트에서는 학습자 참여, 교수진 개발, 포용성, 접근성, 저작권 및 개인정보 보호와 같은 최근 이슈와 고려 사항을 포함하여 온라인 학습의 증거, 이론, 형식 및 교육 설계에 대한 개요를 제공합니다. 부록에서는 실제 사례와 구현 전략을 제공합니다.
    The first Part will provide an overview of evidence, theories, formats and educational design in online learning, including contemporary issues and considerations such as learner engagement, faculty development, inclusivity, accessibility, copyright, and privacy. The Supplemental Appendix provides practical examples and implementation strategies.
  • 2부에서는 1부에서 논의한 개념의 구현 및 통합을 위한 실제 사례와 함께 특정 테크놀로지 도구 유형에 중점을 두며, 디지털 장학금, 학습 분석 및 신흥 테크놀로지를 다룹니다. 요약하자면, 파트 1은 파트 2에서 소개하는 테크놀로지의 실제 적용에 필요한 기초를 제공하므로 두 파트를 함께 읽어야 합니다.
    The second Part focuses on specific technology tool types with practical examples for implementation and integration of the concepts discussed in Part 1, and will include digital scholarship, learning analytics, and emerging technologies. In sum, both Parts should be read together as Part 1 provides the foundation required for the practical application of technology showcased in Part 2.

먼저 온라인 교육의 기본이자 간과하기 쉬운 출발점인 온라인 학습 이론부터 살펴보겠습니다. 
We first begin with online learning theories as a fundamental, and often overlooked, starting point for online education.

온라인 학습 프레임워크 및 이론
Online learning frameworks and theories

온라인 학습의 결점은 온라인 고등 교육의 연구 및 커리큘럼 설계에 사용되는 이론이 부족하다는 것입니다(Castañeda and Selwyn 2018; Hew 외. 2019; Bond 외. 2020). 이는 의료 환경에서도 마찬가지입니다(Bajpai 외. 2019). 온라인 교육 연구와 커리큘럼은 종종 건전한 교육적 설계보다는 경험적이고 실용적인 경험을 기반으로 하며, 혁신의 참신성이나 실용적 필요성 때문에 이론에 대한 탄탄한 기반이 필요하지 않다는 개념에 따라 진행되는 것처럼 보입니다. 
A deficiency in online learning is the lack of theory employed in the research and curricular design of online higher education (Castañeda and Selwyn 2018; Hew et al. 2019; Bond et al. 2020). This is also true within healthcare settings (Bajpai et al. 2019). Online educational research and curricula are often based on empirical and practical experience rather than sound pedagogical design and appear to be guided by the notion that innovation, because of its novelty or practical need, does not require a sound grounding in theory.

온라인 학습에 이론과 프레임워크를 사용하면 이전 작업을 기반으로 하고, 공통 언어와 학습 방향을 개발하고, 온라인 학습 과정에 대한 이해를 높이고, 결과를 다른 온라인 상황에 일반화하고, 건전한 커리큘럼과 평가를 설계하고, 학습자가 자신의 학습 과정을 이해하는 데 도움을 주어 더 나은 학습 결과를 얻을 수 있습니다(Bajpai 외. 2019; Hew 외. 2019). 궁극적으로 온라인 학습 이론을 사용하면 학생의 참여와 학습 성과를 극대화하는 방식으로 온라인 교육을 제공하는 방식을 재고할 수 있습니다. 
The use of theories and frameworks for online learning helps us build on prior work, develops a common language and direction of study, enhances our understanding of online learning processes, allows generalization of results to other online contexts, designs sound curriculum and assessment, and helps learners understand their learning processes, all toward better learning outcomes (Bajpai et al. 2019; Hew et al. 2019). Ultimately, using online learning theories can allow us to rethink the way we provide online education in a way that maximizes student engagement and learning outcomes.

이전의 AMEE 문헌은 일반적인 교육 이론과 프레임워크에 대한 훌륭한 소개를 제공하며(Taylor and Hamdy 2013), 온라인 학습 사례와 함께 교육 이론을 검토합니다(Sandars et al. 2015). 온라인 학습을 위해 특별히 만들어진 프레임워크, 모델 및 이론이 잘 정립되었지만 F2F 환경에서 온라인 환경으로 '가져온' 다른 이론보다 선호되어야 하는지에 대한 논쟁이 있습니다. 적응형 모델의 한 가지 예로 온라인 커리큘럼 개발에 대한 Kern의 6단계 접근법을 들 수 있습니다(Chen 외. 2019). 이 가이드에서는 온라인 학습에 고유한 세 가지 이론을 간략하게 소개하며, 초급(PICRAT 모델), 중급(탐구 커뮤니티 프레임워크) 및 고급(커넥티비즘) 온라인 교육자가 접근할 수 있다고 생각되는 이론을 소개합니다. 온라인 학습에 관한 더 많은 이론, 프레임워크 및 모델이 있으며, 독자들은 이러한 이론과 프레임워크를 더 자세히 살펴볼 것을 권장합니다. 마찬가지로 교육자는 연구 및 커리큘럼 개발 시 각 이론의 고유한 장점, 단점 및 맥락을 고려하여 여러 이론을 고려해야 합니다. 온라인 이론의 실제 적용에 대해서는 이 가이드의 파트 2에서 자세히 설명합니다. 
Previous AMEE literature provides an excellent introduction to general educational theories and frameworks (Taylor and Hamdy 2013), as well as a review of educational theories with online learning examples (Sandars et al. 2015). There are arguments about whether frameworks, models, and theories created specifically for online learning should be preferred over other well-established but ‘imported’ theories from F2F environments to the online environment. One example of an adapted model is Kern’s six-step approach to online curriculum development (Chen et al. 2019). This Guide briefly introduces three theories original to online learning, that we feel are accessible to the

  • beginner (PICRAT model),
  • intermediate (Community of Inquiry Framework) and
  • advanced (Connectivism) online educator.

There are many more theories, frameworks, and models of online learning, and readers are encouraged to explore these in more detail. Equally, educators should consider multiple theories in their research and curriculum development, considering the unique advantages, disadvantages, and context of each theory. Practical application of online theories will be further discussed in Part 2 of this Guide.

수동적-대화적-창의적-대체-증폭-변환(PICRAT) 모델
Passive-Interactive-Creative-Replaces-Amplifies-Transforms (PICRAT) model

PICRAT는 테크놀로지 통합의 최신 모델로, 특히 유치원부터 12학년(K-12) 문학에서 인기를 얻고 있습니다. 이 모델은 F2F 학습에서 교사와 학습자의 역할을 고려한 다음 이를 온라인 환경으로 비교하고 확장하는 것으로 시작하기 때문에 온라인 교육 초보자도 쉽게 접근할 수 있고 사용할 수 있습니다. PICRAT은 복잡한 온라인 환경에서 다양한 솔루션을 제공하기 위해 이론적 다원주의를 주장하면서 SAMR 및 RAT와 같은 여러 선행 모델을 기반으로 하고 결합합니다(Kimmons 외. 2020). 
PICRAT is a newer model of technology integration, gaining popularity particularly in the kindergarten to grade 12 (K-12) literature. It is accessible and easy to use for the beginner online educator, as it starts with considering teacher and learner roles in F2F learning and then comparing and extending this to the online environment. PICRAT builds upon and combines several prior models such as the SAMR and RAT, arguing for theoretical pluralism to enable different solutions in these complex online environments (Kimmons et al. 2020).

PICRAT 모델은 학생들이 테크놀로지와 상호작용하는 방식과 교사가 교육에서 테크놀로지를 사용하는 방식이라는 두 가지 주요 질문을 살펴봅니다. PICRAT의 요소는 매트릭스를 형성하며, 한 축(PIC - 수동적, 상호작용적, 창의적)은 학습자의 사용을, 다른 축(RAT - 대체, 증폭, 변형)은 교사의 사용을 살펴봅니다(그림 1(a)). 목표는 '테크놀로지의 역할은 그 자체가 목적이 아니라 목적을 위한 수단으로 사용되어야 하며, 테크놀로지 중심적 사고를 피해야 한다'는 것입니다(Kimmons 외. 2020).
The PICRAT model looks at two main questions: how students interact with technology, and how teachers use technology in their pedagogy. The elements of PICRAT form a matrix,

  • with one axis (PIC – Passive, Interactive, Creative) examining learners’ use and
  • the other axis (RAT – Replacement, Amplification, Transformation) examining teachers’ use (Figure 1(a)).

The goal is that ‘technology’s role should serve as a means to an end, not an end in itself – avoiding technocentric thinking’ (Kimmons et al. 2020).

 

Kimmons는 e-모듈이나 온라인 퀴즈와 같은 테크놀로지가 학생의 상호작용을 유도할 수 있지만, 이러한 규범적 학습은 '이전 학습과의 전달성과 의미 있는 연결을 제한'할 수 있지만, 창의적 학습(학습자가 동영상이나 협업 블로그와 같은 아티팩트를 만드는 것)은 창의적인 문제 해결과 더 깊이 있고 맥락화된 학습을 유발하므로, 수동적 학습은 물론이고 심지어 상호작용적 학습보다도 (창의적 학습이) 선호될 수 있다고 주장합니다(Kimmons 외., 2020).
Kimmons argues that, while technology such as e-modules or online quizzes can drive student interactivity, this prescriptive learning may ‘limit transferability and meaningful connections to previous learning’, but creative learning (where learners create artifacts such as videos and collaborative blogs) causes creative problem solving and deeper, contextualized learning, and therefore may be preferred over passive and even interactive learning (Kimmons et al. 2020).

교사가 테크놀로지를 사용하는 방법을 조사할 때 매트릭스의 'RAT' 축을 고려합니다. ERT와 마찬가지로, 테크놀로지를 사용하기 시작하는 교사들은 교육적 관행에 대한 개선 없이 F2F 교육을 대체하는 용도로 테크놀로지를 사용하는 경우가 많습니다. 그러나 더 많은 편안함과 스킬을 갖추면 테크놀로지를 사용하여 교육적 접근 방식을 증폭(근본적으로 바꾸지는 않지만 개선)하거나 심지어 변형(비테크놀로지적 수단으로는 달성할 수 없는 학습을 가능하게 함)할 수도 있습니다. 
When examining how teachers use technology, we consider the ‘RAT’ axis of the matrix. Like ERT, teachers starting to use technology will often use it as a replacement to F2F teaching with no improvement to their pedagogical practice. However, with more comfort and skills, technology can be used to amplify (improve, but not radically alter) or even transform (enable learning not achievable through non-technological means) pedagogical approaches.

PICRAT은 직관적으로 사용하기 쉬우며 교육 테크놀로지의 복잡한 사회문화적 사용에 관한 대화를 촉진하는 데 도움이 됩니다. 이 도구는 테크놀로지를 사용하는 유일한 '올바른' 방법은 없으며(본질적으로 나쁘거나 좋은 매트릭스 사각형은 없으며 각각 고유한 이점이 있음), 상황에 따라 서로 다른 창의적인 솔루션이 필요하다는 점을 인정합니다.
PICRAT is intuitively easy to use and helps to facilitate conversations around complex sociocultural use of educational technology. It acknowledges that there is often no one ‘right’ way to use technology (no matrix square is inherently bad or good and each has its own benefits), and that different contexts require different creative solutions.

탐구 커뮤니티 모델
The Community of Inquiry model

탐구 커뮤니티(CoI) 모델은 가장 널리 사용되고 연구된 온라인 학습 모델 중 하나이며 중급 온라인 교육자에게 적합합니다(Garrison 외. 1999). 사회적 현존감(SP), 인지적 현존감(CP), 교수적 현존감(TP)의 세 가지 상호 연결 현존감은 온라인 학습을 설계하고 연구할 때 고려해야 할 사항에 대한 대화를 시작할 수 있는 중첩된 영역을 만듭니다(그림 1(b)).
The Community of Inquiry (CoI) model is one of the most widely used and studied online learning models and is well suited for intermediate online educators (Garrison et al. 1999). Three interconnecting presences: social presence (SP), cognitive presence (CP), and teaching presence (TP), create overlapping domains from which to start conversations around considerations in designing and researching online learning (Figure 1(b)).

  • 사회적 존재감이란 학습자로서 자신을 가상 학습 환경에 투영하고 다른 사람들과 관계를 형성하는 능력을 말합니다. 이는 인지 및 TP 형성의 구성 요소로 간주됩니다(예: 안전한 학습 환경을 협상하거나 학습자가 연결할 수 있는 기회를 제공하는 것).
    Social presence refers to the ability to project oneself as a learner into the virtual learning environment and form connections with others. It is thought of as the building block to cognitive and TP formation (e.g. negotiating a safe learning environment or providing opportunities for learners to connect).
  • 교수적 존재감교수 설계(ID), 조직 및 학습 촉진입니다. 이는 학생 만족도와 인지된 학습에 중요한 요소인 것으로 밝혀졌습니다(예: 과제에 대한 온라인 루브릭 사용 또는 교수자의 비디오 발표).
    Teaching presence is the Instructional Design (ID), organization, and facilitation of learning. It is found to be a significant factor in student satisfaction and perceived learning (e.g. use of online rubrics for assignments or instructor video announcements).
  • 인지적 존재감은 학습자가 학습과 인지적으로 연결되는 방식을 말하며, 보통 4단계(이벤트 유발, 탐색, 통합, 해결)의 주기적 반복을 통해 이루어집니다. 여기에는 다양한 관점에서 지식을 사회적으로 구성하고 적용하기 위한 그룹 협업과 개인적 성찰, 보유, 정보 해석(예: 온라인 시뮬레이션 또는 소그룹 토론)이 포함됩니다.
    Cognitive presence refers to how learners cognitively connect with the learning, often through cyclical iterations of four stages (triggering event, exploration, integration, and resolution). It involves group collaboration to socially construct and apply knowledge from different perspectives, as well as personal reflection, retention, and interpretation of information (e.g. online simulation or small group discussions).

본질적으로 'SP가 만들어내는 그룹 응집력과 열린 소통, 그리고 TP와 관련된 구조, 조직, 리더십은 고차 학습과 관련된 가장 중요한 요소로 간주되는 CP가 번성할 수 있는 환경을 조성하는 토대가 됩니다'(Shea 외. 2014).
In essence, ‘the group cohesion and open communication created by SP and the structure, organization, and leadership associated with TP lay the foundation to create the environment where CP, which is considered to be the most important element associated with higher-order learning, can flourish’ (Shea et al. 2014).

연결주의
Connectivism

커넥티비즘은 보다 발전된 이론으로, 교육자들이 테크놀로지가 단순히 교사와 학습자 간의 정보 전달을 허용하는 교육 시스템에서 연결을 통해 학습을 변화시키는 시스템과 네트워크로 교육 시스템을 변화시키는 데 어떻게 도움이 될 수 있는지 고려하도록 유도합니다. 연결주의는 '카오스, 네트워크, 복잡성 및 자기 조직화 이론에서 탐구하는 원리의 통합'과 함께 네트워크를 통해 '우리의 역량을 연결 형성에서 도출'한다고 가정합니다(Siemens 2005). 이러한 복잡한 지식 네트워크는 연결, 다양성, 멘토링을 통해 형성되고 유지되며, 21세기 헬스케어에서는 잊혀지거나 금방 쓸모없어질 수 있는 개별 지식보다 더 중요합니다. 커넥티비즘의 몇 가지 실제 사례로는 대규모 공개 온라인 강좌(MOOC), 소셜 미디어 또는 실무 커뮤니티 토론 게시판이 있습니다(온라인 교육에서 배우는 것 2012).
Connectivism is a more advanced theory, which prompts educators to consider how technology may assist in changing education systems from those that merely allow transmission of information from teacher to learner, to systems and networks that transform learning through connections. Connectivism assumes that we ‘derive our competence from forming connections’ through networks, with ‘integration of principles explored by chaos, network, and complexity and self-organization theories’ (Siemens 2005). These complex knowledge networks are formed and maintained through connections, diversity, and mentorship, and are more important than individual knowledge, which can be forgotten or quickly obsolete in twenty-first century healthcare. Some practical examples of connectivism include Massive Open Online Courses (MOOCs), social media or community of practice discussion boards (What We’re Learning From Online Education 2012).

일상적인 커넥티비즘 교육에서는 학습자가 인터넷에서 제공하는 정보를 사용하여 검증되지 않은 아이디어를 조사하고, 전자 형식의 자료를 만들고, 공동 작업하며, 심지어 코스 커리큘럼에 영향을 미치는 것을 목표로 합니다. 이러한 철학이 실천으로 옮겨지는 과정은 처음에는 HPE MOOC(Masters 2011)의 핵심으로 여겨지던 커넥티비스트 MOOC(cMOOC)(Downes 2010; Siemens 2012)에서 잘 드러납니다. 본 가이드의 2부에서는 HPE MOOC의 개발 및 유형에 대해 자세히 설명하지만, 현재로서는 커넥티비즘의 철학적 요소가 심도 있는 학습을 촉진하고 학생들이 핵심 강의 계획서 이외의 자료에 접근하고 협업하도록 장려하기 위해 코스에 포함될 수 있지만, 전통적인 코스 구조에서 벗어나야 할 수도 있다는 점에 유의하시기 바랍니다. 
In day-to-day Connectivist education, the aim is for learners to use the information afforded by the Internet to investigate untested ideas, create, and collaborate on material in electronic format, and even influence the course curriculum. The translation of this philosophy into practice is well-illustrated in what has become known as Connectivist MOOCs (cMOOCs) (Downes 2010; Siemens 2012) which were initially seen as central to HPE MOOCs (Masters 2011). The development and types of MOOCs in HPE will be discussed in more detail in Part 2 of this Guide, but for now, note that the philosophical elements of Connectivism can promote deeper learning and be embedded into courses to encourage students to collaborate and access materials beyond the core syllabus, although may require a departure from traditional course structures.

이제 다양한 온라인 교육 형식을 살펴보겠습니다. 그러나 독자들은 잠시 시간을 내어 온라인 HPE가 경험적 연구와 커리큘럼 설계에서 이론적 접근 방식에 기반을 두는 것으로 전환하여 해당 분야의 학문을 향상시키고 교육을 더욱 견고하고 이전 가능하게 하는 것의 중요성에 대해 생각해 보아야 합니다. 
We now turn to examining different online educational formats. Readers should, however, take a moment to reflect on the importance of online HPE’s shifting from empirical research and curriculum design to being grounded in theoretical approaches, so that scholarship in the field is enhanced and education more robust and transferable.

온라인 교육 형식
Online educational formats

온라인 학습의 정의와 형식은 다양하고 지속적으로 진화하고 있습니다(Regmi and Jones 2020). 각 형식은 각기 다른 교사와 학습자에게 어필할 수 있고, 구현에 어려움이 있을 수 있으며, 다양한 맥락의 영향을 받을 수 있습니다. 아래에서는 동기식 및 비동기식 온라인 학습과 혼합식 및 하이브리드 유연 방식과 같은 다른 변형에 대해 살펴봅니다. 여기서는 이러한 형식을 단순히 동기식 및 비동기식 학습으로 지칭하며, F2F 형식에도 동기식(예: 강의) 및 비동기식(예: 읽기) 구성 요소가 있다는 점을 인정합니다(그림 2 참조).
Online learning definitions and formats are diverse and continually evolving (Regmi and Jones 2020). Each format will appeal to different teachers and learners, will have its implementation difficulties, and will be influenced by different contexts. Below, we explore synchronous and asynchronous online learning as well as other variations such as blended and Hybrid-Flexible methods. We will refer to these formats as simply synchronous and asynchronous learning, acknowledging F2F formats also have synchronous (e.g. lecture) and asynchronous (e.g. reading) components (see Figure 2).

 

동기식 학습
Synchronous learning

동기식 학습은 학습자가 동시에 학습할 때 발생합니다(데이터가 실시간으로 송수신됨). 자주 사용되는 동기식 테크놀로지로는 Zoom, Microsoft Teams, Google Meet 등이 있습니다. 또한 학습자가 가상 환경에서 자유롭게 이동하고 상호 작용할 수 있는 Gather.Town, SpatialChat, Wonder.me와 같은 보다 몰입도 높은 도구가 등장하고 있으며, 세컨드 라이프와 같은 아바타 기반의 가상 세계도 한동안 의료 교육에 사용되어 왔습니다(Ghanbarzadeh 외. 2014). 
Synchronous learning occurs when learners are learning at the same time (data are sent and received in real time). Frequently used synchronous technologies include Zoom (https://zoom.us/), Microsoft Teams (https://teams.microsoft.com/edustart), and Google Meet (https://apps.google.com/meet/). In addition, other more immersive tools, such as Gather.Town (https://www.gather.town/), SpatialChat (https://www.spatial.chat/), and Wonder.me (https://www.wonder.me/), which allow learners to move freely and interact in a virtual environment, are emerging, and other virtual, avatar-based worlds such as Second Life (https://secondlife.com/) have been used in healthcare education for some time (Ghanbarzadeh et al. 2014).

동기식 학습은 F2F 교실을 가장 유사하게 반영하기 때문에 팬데믹 상황에서 더 쉽게 채택되었습니다(Stojan 외. 2021). 동기식 HPE에 대한 체계적인 검토 및 메타 분석에 따르면 지식 및 스킬 습득에 있어 기존 학습 환경과 비슷한 결과를 보였으며 학습자들이 선호하는 것으로 나타났습니다(He 외. 2021). 
As synchronous learning most closely mirrors F2F classrooms, it was more readily adopted in the pandemic (Stojan et al. 2021). A systematic review and meta-analysis of synchronous HPE showed comparable outcomes to traditional learning environments for knowledge and skill acquisition and was preferred by learners (He et al. 2021).

동기식 학습 소프트웨어의 일반적인 기능으로는 화면 공유, 채팅, 오디오/비디오 공유, 비언어적 반응/이모티콘 등이 있습니다. 다른 기능으로는 설문 조사, 주석, 화이트보드 및 소회의실 등이 있습니다. 그러나 이러한 기능을 사용할 수 없는 경우 설문조사 소프트웨어(예: Poll Everywhere 또는 Kahoot!) 또는 화이트보드 소프트웨어(예: Google Jamboard 또는 Miro)와 같은 추가 소프트웨어를 사용하여 이러한 기능을 쉽게 가져올 수 있습니다. 또한 Nearpod, Mmhmm, Prezi와 같이 동기식 프레젠테이션을 더욱 인터랙티브하게 만드는 데 도움이 되는 도구도 많이 있습니다.
Typical features of synchronous learning software include screen sharing, chat, and audio/video sharing and nonverbal reactions/emojis. Other features may include polling, annotation, whiteboard, and breakout rooms. However, if these features are not available, they can easily be imported by using additional software such as polling software (e.g. Poll Everywhere https://www.polleverywhere.com or Kahoot! https://kahoot.com) or whiteboard software (e.g. Google Jamboard https://workspace.google.com/products/jamboard or Miro https://miro.com). In addition, there are many tools that can assist with making synchronous presentations more interactive such as Nearpod https://nearpod.com, Mmhmm https://www.mmhmm.app/home, and Prezi https://prezi.com.

상호 작용은 동기식 학습의 핵심입니다. 상호작용이 없다면 녹화된 강의가 더 효율적이고(1.5배속으로 시청), 편리하며(언제든지 시청), 세련된(동기식 테크놀로지 결함 없이) 강의가 될 수 있습니다. 그럼에도 불구하고 학습자 참여는 동기식 학습의 가장 어려운 측면 중 하나로 보고되고 있습니다. 온라인 환경에서 학습자 상호 작용과 참여가 학습자의 성과, 동기 부여 및 만족도와 상관관계가 있다는 점을 고려할 때 이는 우려스러운 부분입니다 (Cook 외. 2010; MacNeill 외. 2014; Bond 외. 2020; Händel 외. 2022).
Interactivity is the key to synchronous learning. Without interactivity, a recorded lecture could be more efficient (watching at 1.5× speed), convenient (at any time), and polished (without synchronous technological glitches). Despite this, learner engagement has been reported as one of the most challenging aspects of synchronous learning. This is concerning, given the correlation between learner interactivity and engagement with learner performance, motivation, and satisfaction in online environments (Cook et al. 2010; MacNeill et al. 2014; Bond et al. 2020; Händel et al. 2022).

이러한 환경에서 상호 작용할 때는 형평성, 특히 참여 형평성을 고려하는 것이 중요합니다(Reinholz 외. 2020). 모든 학습자가 온라인 학습에 완전히 참여할 수 있는 하드웨어, 대역폭 또는 안전한 학습 공간에 액세스할 수 있는 것은 아닙니다. 익명(설문조사) 또는 비언어적(채팅) 방식으로 공유하는 것이 더 편한 사람도 있을 수 있습니다. 다섯 손을 들 때까지 기다리거나 채팅 모니터 또는 테크놀로지 도우미 등의 역할을 할당할 때 온라인 무작위 이름 생성기를 사용하는 등 동등한 참여를 보장하는 방법을 고려하세요(Reinholz 외. 2020). 그러나 웹캠 미사용에는 접근성 및 개인정보 보호 문제 외에도 많은 다른 요인이 있습니다(Händel 외. 2022; Masters 외. 2022). 
Equity, particularly participatory equity, is important to consider when interacting in these environments (Reinholz et al. 2020). Not all learners have access to hardware, bandwidth, or safe learning spaces to fully participate in online learning. Others may feel more comfortable sharing in anonymous (polls) or non-verbal (chat) ways. Consider ways to ensure equal participation, such as waiting for five hands to be raised or online random name generators for assigning roles such as chat monitor or tech assistant (Reinholz et al. 2020). However, webcam non-usage involves many other factors than accessibility and privacy issues (Händel et al. 2022; Masters et al. 2022).

이러한 문제 중 하나는 컴퓨터 매개 커뮤니케이션 피로의 구성 요소인 화상 회의 피로입니다(Oducado 외. 2022). 2차원적이고 제한된 비언어적 단서를 해석하는 것, '거울 피로', 물리적으로 갇혀 있다는 느낌, 가상의 환경에 자신을 투영하는 것에 대한 불안감 등 동기식 환경에서의 커뮤니케이션이 더 피곤하게 느껴지는 이유에 대한 가설은 많습니다. 이러한 문제에 대한 몇 가지 해결책으로는 다음과 같은 방법이 있습니다.

  • 카메라의 셀프 뷰를 끄거나(카메라는 켜져 있는 동안), 
  • 참가자의 비디오를 작게 만들거나, 
  • 시각적 휴식을 취하거나 오디오를 일시적으로만 사용하거나, 
  • 세션 중에 시각적 자료가 필요하지 않을 때 산책을 하는 

이전 연구에 따르면 화상 회의에 대한 태도가 화상 회의 피로를 가장 강력하게 예측하는 것으로 나타났으며, 경험, 지원, 능동적 학습 기법을 통해 피로를 줄일 수 있습니다(de Oliveira Kubrusly Sobral 외. 2022; Oducado 외. 2022). 화상회의의 빈도와 지속 시간도 피로와 관련이 있으며, 온라인 학습에서 더 짧은 시간, 더 자주 휴식, 혼합 방법 및 멀티미디어 사용의 모범 사례를 지적합니다(Oducado 외. 2022).
One such issue is videoconferencing fatigue, a component of computer-mediated communication exhaustion (Oducado et al. 2022). There are many hypotheses as to why communication in synchronous environments feels more exhausting, including interpreting two-dimensional and limited non-verbal cues, ‘mirror fatigue’, feeling physically trapped, and anxiety of projecting oneself into the virtual, sometimes recorded, environment. Some solutions to these issues are to

  • turn off the self-view of your camera (while your camera remains on),
  • make videos of participants smaller,
  • take visual breaks/use audio only temporarily, or
  • go for a walk during sessions when visuals are not required.

Prior research has found attitudes toward videoconferencing was the strongest predictor of videoconference fatigue, and may be lessened by experience, support and active learning techniques (de Oliveira Kubrusly Sobral et al. 2022; Oducado et al. 2022). Frequency and duration of videoconferencing is also associated with fatigue, and points to best practices of shorter duration, more frequent breaks and use of blended methods and multimedia in online learning (Oducado et al. 2022).

반면, 다음처럼 교육 세션 중에 카메라를 켜는 것을 권장하는 교육적 이유는 많습니다.

  • 참여와 정서적 반응에 대한 시각적 피드백,
  • 사회적 상호 작용,
  • 학습자 및 발표자의 동기 부여와 참여에 미치는 영향 

여러 연구에 따르면 [웹캠 미사용/저사용]은 학생의 코스 성과 및 참여도 저하, 교사의 좌절감 및 불안감과 관련이 있는 반면, [웹캠 사용]은 수업 중 학생의 언어적 참여도 증가와 관련이 있는 것으로 나타났습니다(Händel 외. 2022). 긍정적인 웹캠 사용과 관련된 요인으로는 소규모 수업 또는 소규모 회의실, 강사의 격려, 열린 커뮤니케이션 분위기, 그리고 가장 중요한 동료의 웹캠 사용 등이 있습니다(Händel 외. 2022). 형평성과 포용성을 증진하면서 웹캠 사용을 개선하기 위한 권장 사항에는 산만함을 해소하고 능동적인 학습 전략을 채택하는 것(Castelli 및 Sarvary 2021), 네티켓을 확립하는 것(Kempenaar 외. 2021; Thomson 외. 2022) 등이 있습니다. 네티켓 고려 사항은 부록 1에 나열되어 있습니다. 
On the other hand, there are many pedagogical reasons to encourage cameras to be on during teaching sessions, including

  • visual feedback for engagement and emotional response,
  • social interactivity, and
  • effect on learner and presenter motivation and engagement.

Several studies have shown that lack of webcam use is associated with poorer student course performance and involvement, and teacher frustration and insecurity, whereas webcam use has been associated with increased student verbal engagement in class (Händel et al. 2022). Factors related to positive webcam use have included smaller classes or breakout rooms, lecturer encouragement, a sense of open communication, and most importantly, peer use of webcams (Händel et al. 2022). Recommendations for improving webcam usage while still promoting equity and inclusion include addressing distractions and employing active learning strategies (Castelli and Sarvary 2021) and establishing netiquette (Kempenaar et al. 2021; Thomson et al. 2022). Netiquette considerations are listed in Supplementary Appendix 1.

imte_a_2197135_sm1830.docx
1.04MB

  1. 카메라를 사용하면 학습 효과는 향상되지만 화상 회의의 피로도가 높아집니다. 일부 학습자는 대역폭 또는 병원 개인정보 보호 문제로 인해 카메라를 사용할 수 없을 수도 있습니다. 이 학습 그룹의 경우 카메라를 켜두는 데 이상적인 시간은 어느 정도일까요? 피드백 및 상호 작용을 위해 카메라를 항상 켜 두어야 하나요, 항상 꺼 두어야 하나요, 아니면 50~75%만 켜 두어야 하나요?
    Camera use leads to improved learning but also videoconferencing fatigue. Some learners may not be able to use a camera due to bandwidth or hospital privacy issues. For this learning group, what is the ideal amount of time to have your camera on? Should cameras be always on, always off, or on for 50-75% to allow feedback and interactivity?
  2. 카메라(또는 오디오)를 켤 수 없는 학습자를 그룹에 가장 잘 포함시키고 지원할 수 있는 방법은 무엇인가요?
    How can the group best include and support learners who cannot have their camera (or audio) on?
  3. 휴식 시간은 얼마나 자주, 얼마나 길게 가져야 하나요?
    How frequent and long should breaks be?
  4. 얼마나 자주 동시에 만나야 하나요? 학습자가 온라인 그룹 작업을 위해 정해진 시간을 선호하나요, 아니면 스스로 시간을 정하는 것을 선호하나요? 학습자는 교훈적인 강의/자료에 대해 동기식 미팅을 선호하나요, 아니면 비동기식 녹화를 선호하나요?
    How often should we meet synchronously? Do learners prefer set times for online group work, or prefer to arrange this themselves? Do learners prefer synchronous meetings or asynchronous recordings for didactic lectures/material?
  5. 학습자가 화면에 갇혀 있다고 느끼지 않고 자유롭게 이동할 수 있는 교실을 조성하려면 어떻게 해야 할까요? 학습자가 여전히 수업에 적극적으로 참여할 수 있다면 수업 중에 산책을 하거나 러닝머신을 사용하거나 서 있어도 괜찮나요?
    How can we encourage a classroom where learners can freely move around and not feel trapped on screen? Is it OK to go for a walk/ use treadmill/ stand during class if learners can still actively engage with the class?
  6. 학습자가 자리를 비워야 하는 경우 어떻게 알 수 있나요? (예: 환자와 관련된 전화를 받거나 화장실에 가기 위해)
    How will learners indicate if they need to step away? (For example, to answer a patient related call or go to the bathroom)
  7. 상호 작용이 더 나은 학습 성과와 온라인 피로 감소로 이어진다는 점을 고려할 때, 학습자가 온라인에서 가장 참여하기를 좋아하는 방식은 무엇인가요? (채팅, 설문 조사, 오픈 마이크, 주석 달기, 브레이크아웃 등)
    Given that interactivity leads to better learning outcomes and less online fatigue, how do learners like to be engaged best online? (Chat, polls, open mic, annotation, breakouts, etc.)
  8. 편견 없이 질문하거나 응답할 수 있는 안전한 환경을 조성하고, 질문하는 사람을 인정하고 존중하는 가장 좋은 방법은 무엇인가요?
    How can we best create a safe environment to non-judgmentally ask or respond to questions and acknowledge/value those who do?
  9. 발표자/교사의 학습을 어떻게 지원할 수 있나요?
    How can we support the presenter(s)/teachers in our learning?
  10. 채팅을 모니터링하고 기술적 문제를 지원할 그룹 구성원을 지정할 수 있나요? 이러한 역할을 돌아가면서 맡아야 하나요?
    Can we assign group members to monitor the chat and assist with technical issues? Should we rotate these roles?
  11. 이 자료가 본인/경력에 얼마나 중요하다고 생각하나요? 이것이 여러분의 참여에 어떤 영향을 미치나요?
    How important do you feel  this material is to you/ your career? How will this influence your participation?
  12. 이 세션에 적극적으로 참여할 수 있나요? 병원 내 조용한 공간에서 컴퓨터를 찾거나 마이크가 아닌 채팅으로 참여하는 등 적극적인 참여를 촉진하기 위해 할 수 있는 일이 있습니까?
    Are you able to actively participate in these sessions? Is there anything that can be done to facilitate your active engagement such as finding a computer in the hospital in a quiet space or participating by chat rather than by microphone?
  13. 이러한 세션에 수동적으로 듣기를 원하십니까, 아니면 적극적으로 참여하기를 원하십니까? (아래에서 주석을 사용하여 청중을 대상으로 참여 선호도를 익명으로 빠르게 조사할 수 있는 방법을 예로 참조하세요.)
    Would you rather passively listen or be actively engaged in these sessions? (See below as an example of using annotation to create a quick and anonymous way to poll your audience for engagement preferences)

   

 

궁극적으로 동기식 학습의 핵심은 웹캠 사용이 아닌 참여와 상호 작용이며, 대역폭, 개인 정보 보호 또는 형평성 문제로 인해 비디오를 사용할 수 없는 경우 이를 달성할 수 있는 다른 많은 방법이 있습니다(MacNeill 2020; Khan 외. 2021). 동기식 HPE에 대한 실용적인 팁을 요약한 많은 기사(Khan 외. 2021; Nunneley 외. 2021), 비디오(MacNeill 2020) 및 온라인 핸드북(Hyder 외. 2007)이 있으며, 부록 2에 요약되어 있습니다. 
Ultimately, engagement and interactivity, not webcam use, are key to synchronous learning, and there are many other ways to achieve this when videos are not an option due to bandwidth, privacy, or equity issues (MacNeill 2020; Khan et al. 2021). There are many articles (Khan et al. 2021; Nunneley et al. 2021), videos (MacNeill 2020), and online handbooks (Hyder et al. 2007) summarizing practical tips for synchronous HPE, which are summarized in Supplementary Appendix 2.


  1. 동기식 환경에서는 교육 시간이 더 오래 걸립니다. 기술 문제, 온라인 그룹 형성 및 오디오 지연으로 인해 온라인 그룹 상호 작용이 지연될 수 있습니다.(Hanna 외. 2013) 그러나 이는 콘텐츠를 필수적인 내용으로 줄이고(F2F 콘텐츠의 50% 목표), 상호 작용 시간을 늘리고, 필요에 따라 보충 콘텐츠 및 리소스에 대한 링크를 제공할 수 있는 기회를 제공합니다.
    Teaching in synchronous environments takes longer. Technology problems, online group formation and audio lags will cause delays in online group interactivity.(Hanna et al. 2013) However, this provides us with an opportunity to shorten our content to what is essential (aim for 50% of F2F content), increase time on interactivity, and provide links to supplemental content and resources as needed.
  2. 대화형 요소(설문조사, 채팅, 오픈 마이크)를 일찍 자주(5~10분마다) 포함시키고 휴식 시간을 자주 주어 화면 피로와 이메일 확인과 같은 온라인 멀티태스킹을 방지하세요. 이상적인 동기식 학습은 혼합형 학습 커리큘럼의 일부로 이루어져야 하며, 최상의 학습 결과를 위해 플립형 강의실, 멀티미디어 디자인, 여러 번의 노출을 통한 다양한 방법과 같은 접근 방식을 활용해야 합니다. 교훈적인 구성 요소는 대화형 동기식 세션 전에 시청하는 마이크로 강의 또는 비디오에서 더 잘 전달될 수 있습니다.
    Try to include interactive components (polls, chat, open mic) early and often (every 5-10 mins), and frequent breaks, to avoid screen fatigue and online multitasking such as checking email. Ideally synchronous learning should be part of a blended learning curriculum, utilizing approaches such as flipped classroom, multimedia design, and multiple methods over multiple exposures for the best learning outcomes. Didactic components may be better delivered in micro-lectures or videos that are viewed before the interactive synchronous session.
  3. 가능하면 공동 진행자를 활용합니다. 콘텐츠, 그룹 역학, 채팅 및 상호 작용을 관리하는 것은 한 사람이 관리하기에는 너무 많은 양입니다. 공동 진행자를 둘 여건이 되지 않는다면 학습자 지원자에게 채팅을 모니터링하여 질문이나 주제를 파악하도록 요청하는 것이 좋습니다.
    Use a co-facilitator whenever possible. Managing the content, group dynamics, chat, and interactivity is too much for any one person to manage. If you do not have the luxury of a co-facilitator, consider asking for learner volunteers to monitor the chat for questions or themes.
  4. 두 개의 화면(이상적으로는 두 대의 컴퓨터)을 사용합니다. 두 개의 화면을 사용하여 학습자, 채팅, 공유 화면, 설문 조사 등을 볼 수 있도록 가능한 한 많은 시각적 '공간'을 확보해야 합니다. 두 대의 컴퓨터(한 대는 발표자 보기, 다른 한 대는 참가자 보기)를 사용하면 "지금 내 화면이 보여요?"라고 묻지 않고도 학습자가 무엇을 보고 있는지 확인할 수 있고 기술 문제를 더 빨리 해결할 수 있습니다.
    Use two screens (and ideally two computers). You should give yourself as much visual “real estate” as possible, to see learners, chat, shared screen, polls, etc. by using two screens. Using two computers (one in presenter view and other in participant view) allows you to see what your learners are seeing without needing to ask, “can you see my screen now?” and solve technology problems quicker.
  5. 더 명확하게 설명하세요. 지침은 F2F 환경보다 더 명확해야 하며, 채팅에 게시하는 것이 가장 이상적입니다. 문제가 발생할 때마다 학습자에게 말로 설명하여 어색한 침묵을 피하고 청중의 참여를 유지하세요.
    Be more explicit. Instructions need to be clearer than in F2F environments, and ideally posted to chat. Verbalize to learners anytime you are experiencing problems to avoid awkward silences and keep the audience engaged.

 

동기식 강의는 비동기식 녹화 강의와 비슷한 결과를 가져옵니다(Brockfeld 외. 2018). 그러나 동기식 학습에는 학습을 위한 구조화된 시간을 위하여 캘린더에 일정표시를 제공하는 것, 소셜 학습, 실시간 피드백 및 상호 작용 등의 장점이 있습니다(Ranasinghe와 Wright 2019). 많은 도구와 기법을 동기식 및 비동기식으로 모두 사용할 수 있으며, 최적의 학습은 동기식 강의와 강의 후 비동기식 녹화를 제공하는 것과 같이 두 가지 방법을 모두 결합하는 것입니다(Ranasinghe와 Wright 2019). 
Synchronous lectures have similar outcomes to asynchronous recorded lectures (Brockfeld et al. 2018). However, there are advantages to synchronous learning, including providing a placeholder in calendars to allow structured time for learning, social learning, real-time feedback, and interactivity (Ranasinghe and Wright 2019). Many tools and techniques can be used both synchronously and asynchronously, and optimal learning likely involves combining both methods such as providing synchronous lectures in addition to asynchronous recordings after the lecture (Ranasinghe and Wright 2019).

이제 비동기식 학습에 대해 살펴보았지만, 독자는 습관, 편안함, 스킬 수준 또는 실시간 상호작용 및 학습자 참여와 같은 교육적 이유인지 판단하여 비동기식 또는 혼합 방식 대신 동기식 학습을 선택하는 이유를 생각해 볼 것을 권장합니다. 
We now turn our attention to asynchronous learning, but the reader is encouraged to reflect on why they may choose synchronous learning over asynchronous or mixed methods, decerning whether it is for habit, comfort, skill level, or pedagogical reasons, such as real-time interactivity and learner engagement.

비동기 학습
Asynchronous learning

비동기 학습은 학습자가 언제 어디서나 참여할 수 있을 때 발생합니다. 일반적인 비동기 학습 유형에는 게시글 또는 공유 파일을 통해 배포되는 모듈, MOOC, 토론 게시판, 비디오, 오디오 녹음 및 기타 학습 자료가 포함됩니다. 비동기식 공동 작업은 토론 포럼과 같은 학습 관리 시스템(LMS)의 동료 및 교수자 상호 작용을 위한 기본 제공 도구를 통해 이루어지거나 Slack, Twitter 또는 Flip과 같은 플랫폼, 공동 작업 도구(예: Google 문서, Miro 또는 Trello), 이메일, 가상 근무 시간 및 오디오 메시징을 통한 교사/학습자 지원을 통해 LMS 외부에서 이루어질 수 있습니다. 
Asynchronous learning occurs when learners can participate from anywhere at any time. Common types of asynchronous learning include emodules, MOOCs, discussion boards, video, audio recordings, and other study material distributed via postings or shared files. Asynchronous collaboration can happen through built-in tools for peer and instructor interaction in the Learning Management System (LMS) such as discussion forums, or outside of the LMS via platforms such as Slack (https://slack.com), Twitter (https://twitter.com), or Flip (https://info.flip.com/), collaboration tools (such as Google docs https://workspace.google.com/products/docs, Miro, or Trello https://trello.com), or teacher/learner support through email, virtual office hours, and audio messaging.

대역폭, 하드웨어, 소프트웨어와 같은 테크놀로지적 요구 사항이 적기 때문에 비동기 학습은 HPE에서 온라인 학습의 첫 번째 형태 중 하나였습니다. 전통적으로 블렌디드 러닝은 대면 강의실 학습과 온라인 읽기 또는 토론 게시판과 같은 비동기식 숙제를 포함했습니다. 이는 교실에서 F2F를 실제로 적용하기 전에 일반적으로 모듈과 비디오를 통해 비동기식 자료로 콘텐츠를 제공했던 플립형 교실 학습과는 달랐습니다(Schwartzstein and Roberts 2017, Phillips and Wiesbauer 2022). 
Due to fewer technological requirements (such as bandwidth, hardware, and software), asynchronous learning was among the first forms of online learning in HPE. Traditionally, blended learning involved in-person classroom learning with asynchronous homework, such as online readings or discussion boards. This differed from flipped classroom learning, where asynchronous materials provided content, typically through emodules and videos, prior to F2F practical application in the classroom (Schwartzstein and Roberts 2017; Phillips and Wiesbauer 2022).

비동기식 교육은 교육기관의 디지털 도달 범위를 가속화하고, 콘텐츠의 잠재적 수익화를 가능하게 하며, 국제적인 영향력을 가진 디지털 장학금을 촉진한다는 점에서 고등 교육에도 매력적입니다. 행정 효율성과 확장성을 통해 방대한 학생 코호트를 교육하고, 보다 유연한 학습을 통해 학습자 등록을 늘리고, 학문적 도달 범위를 확대할 수 있다는 점은 비동기식 교육에 대한 투자를 유도하는 매력적인 논거가 될 수 있습니다.  
Asynchronous education is also attractive to higher education, as it accelerates institutions’ digital reach, allows potential monetization of content, and promotes digital scholarship with international impact. The promise of teaching vast student cohorts through administrative efficiency and scalability, greater learner enrolment through more flexible learning, and expanding academic reach can be an enticing argument toward investment in asynchronous education.

비동기식 학습과 관련하여 학습자들이 보고한 장점으로는 자신의 속도에 맞춰 학습할 수 있고, 일정 충돌을 피할 수 있으며, 생산성이 향상된다는 점 등이 있습니다(Gillingham and Molinari 2012; Regmi and Jones 2020). 젊은 학습자가 온라인 학습을 선호한다는 일반적인 생각과는 달리 비동기식 학습은 특히 시간 관리, 주체성, 동기 부여에 더 능숙한 것으로 보이는 성숙한 성인 학습자, 특히 다른 삶의 약속을 가진 학습자에게 더 매력적으로 보입니다(Harris and Martin 2012). 비동기식 학습자는 또한 자신의 학습을 맞춤화할 수 있으며, 이미 숙달된 주제에 더 많은 시간을 할애하고 관심 있거나 필요한 주제에 더 적은 시간을 할애할 수 있습니다(Phillips and Wiesbauer 2022). 이는 특히 다양한 전문 분야 또는 전문직 간 HPE 배경을 가진 대학원생 또는 평생 전문 개발(CPD) 학습자에게 유용할 수 있습니다(MacNeill 외. 2010; Chang 외. 2014). 비동기식 학습은 또한 추적(자료 참여, 평가 점수), 컴퓨터화된 피드백 및 개인화된 학습(학습자 요구 또는 평가에 기반)을 활용하는 적응형 학습(Ruiz 외. 2006)을 가능하게 합니다. 이는 효율적이고 평생에 걸친 역량 기반 학습에 도움이 될 수 있습니다.
Benefits reported by learners regarding asynchronous learning include studying at their own pace, avoiding scheduling conflicts and increased productivity (Gillingham and Molinari 2012; Regmi and Jones 2020) Contrary to popular belief that younger learners prefer online learning, asynchronous learning seems to appeal especially to mature adult learners, particularly those with other life commitments, who appear to be better at time-management, agency and motivation (Harris and Martin 2012). Asynchronous learners are also able to tailor their learning, devoting more time to topics of interest or need and less to those already mastered (Phillips and Wiesbauer 2022). This may be particularly helpful for postgraduate or Continuing Professional Development (CPD) learners coming from different specialties or interprofessional HPE backgrounds (MacNeill et al. 2010; Chang et al. 2014). Asynchronous learning also allows for adaptive learning (Ruiz et al. 2006), utilizing tracking (engagement with material, assessment scores), computerized feedback and personalized learning (based on learner needs or assessment). This may help with efficient, lifelong, and competency-based learning.

비동기식 학습의 '언제 어디서나' 학습할 수 있다는 장점은 임상 업무의 변동, 교대근무, 교대 감독자 교대 등 임상 순환 근무 중(Wittich 외. 2017), 전문가 간 교육과 같은 일정 문제(MacNeill 외. 2010), 분산된 CPD 학습자 수용(Chan 외. 2018) 등 동기식으로 준비하기 어려운 HPE 커리큘럼으로 확장할 수 있습니다. 비동기식 학습은 또한 교육 또는 환자 대면 직전 또는 직후에 독립적인 학습이 가능하므로 적시 교수진 개발(Orner 외. 2022)과 교육/훈련(JITT) 또는 현장 학습(Kuhlman 외. 2021)을 가능하게 해줍니다. 달성 가능하고 '한입 크기'의 접근 가능한 비동기식 학습은 단계별 디지털 배지 완료를 통해 CPD 마이크로 자격 증명 및 역량 기반 교육을 가능하게 할 수도 있습니다(2022 EDUCAUSE Horizon Report 2022). 
The ‘anytime, anywhere’ advantages of asynchronous learning extend to HPE curricula that are difficult to arrange synchronously, such as during clinical rotations that involve fluctuating clinical duties, shift work, and rotating supervisors (Wittich et al. 2017), scheduling challenges such as interprofessional education (MacNeill et al. 2010), and accommodating dispersed CPD learners (Chan et al. 2018). Asynchronous learning also allows for just-in-time faculty development (Orner et al. 2022) and teaching/training (JITT) or point of care learning (Kuhlman et al. 2021), as it allows independent learning immediately before or after a teaching or patient encounter. Achievable, ‘bite-sized’ and accessible asynchronous learning can also enable CPD micro-credentialing and competency-based education through stepwise digital badge completion (2022 EDUCAUSE Horizon Report 2022).

비동기식 학습은 인터리빙 및 간격 반복(또는 분산 실습)과 같은 증거 기반의 학습 과학 전략과 연관되어 있습니다. 분산 연습은 학습이 여러 시점에 걸쳐 이루어질 때 발생합니다. 학습 사이의 이러한 시간적 간격은 성찰, 다양한 맥락에서의 학습 통합(인터리빙), 반복적인 검색 연습(예: 퀴즈 또는 요약 토론 게시판)을 가능하게 하며, 모두 학습을 개선하는 것으로 나타났습니다(Maheshwari 외. 2021; Van Hoof 외. 2021). 인터리빙을 사용하면 학습자가 개념, 컨텍스트 및 스킬을 순차적으로 이동하지 않고 앞뒤로 이동하여 중복 및 구별되는 영역을 검토하고 고립된 숙달이 아닌 비판적인 비교를 할 수 있습니다. 인터리빙은 블록형 학습에 비해 복잡한 문제 해결력과 정보 유지력을 향상시킵니다. 비동기식 학습은 다양한 임상 상황에서 자료 재방문 및 퀴즈/시뮬레이션/피드백, 보충 관련 자료 링크 액세스, 일반적인 코호트 외부의 학습자와 함께 학습을 통해 이러한 유형의 다양하고 무작위적인 연습을 촉진할 수 있습니다(Van Hoof 외. 2022). 
Asynchronous learning has been associated with evidence-based, learning science strategies such as interleaving and spaced repetition (or distributed practice). Distributed practice occurs when learning occurs over multiple points in time. This time between learning allows for reflection, consolidation of learning in different contexts (interleaving), and the use of repetitive retrieval practice (such as quizzes or summary discussion boards) which have all been shown to improve learning (Maheshwari et al. 2021; Van Hoof et al. 2021). Interleaving allows learners to move back and forth, rather than sequentially, through concepts, contexts, and skills, to examine areas of overlap and distinction, making critical comparisons, rather than siloed mastery. Interleaving leads to improved complex problem solving and retention of information compared to blocked learning. Asynchronous learning can foster this type of varied and random practice through revisiting materials and quizzing/simulation/feedback in different clinical contexts, accessing links to supplemental related materials, and learning together with learners outside of their typical cohort (Van Hoof et al. 2022).

또한 비동기 온라인 학습은 한계가 있을 수 있지만, 특히 대역폭이 제한적이거나 예측할 수 없는 저소득 및 중간 소득 국가(가찬자 외. 2021) 또는 농촌 지역(고소득 국가 포함)에서 접근성, 형평성 및 포용성을 개선하는 데 유용합니다. 교실 필요성 감소, 행정 일정 지원, 출장 비용 등 비용 절감 효과가 있을 수 있습니다(Ruiz 외. 2006). 또한 서로 다른 시간대에 있는 학습자와 교사가 협업할 수 있어 글로벌 학습 네트워크를 강화할 수 있습니다(Chan et al. 2018).
Furthermore, although there may be limitations, asynchronous online learning is beneficial in improving access, equity, and inclusion, especially in low- and medium-income countries (Gachanja et al. 2021), or in rural areas (including in high-income countries), where bandwidth may be limited or unpredictable. There may be cost savings, including reduced need for classrooms, administrative scheduling support, and travel costs (Ruiz et al. 2006). It also allows learners and teachers in different time zones to collaborate, enriching global learning networks (Chan et al. 2018).

그러나 비동기식 학습은 주의 산만, 학습 지연, 즉각적인 피드백 부족, 사회적 상호 작용 부족으로 인한 학습자 이탈의 경향이 있습니다(Nguyen et al. 2021). 비동기 학습이 핵심 F2F 또는 동기 학습에 대한 선택적이거나 보충적인 경우, 특히 임상 업무량이 많고 삶의 우선순위가 경쟁적인 상황에서 비동기 학습은 덜 중요한 것으로 간주될 수 있습니다. 
However, asynchronous learning has a propensity for distractions, delayed learning, lack of immediate feedback, and learner disengagement due to the lack of social interaction (Nguyen et al. 2021). If asynchronous learning is optional or supplementary to core F2F or synchronous learning, asynchronous learning may be seen as less important, especially in the context of heavy clinical workloads and competing life priorities.

학습자의 자료 참여도(예: 소요 시간 또는 게시물 수)를 모니터링하는 것은 학습을 반영하지 못할 수 있으며, 학습자-교수자 간 즉각적인 피드백을 제공할 기회가 적습니다. 학습자가 플랫폼에서 단순히 과제를 '완료'로 체크하는 것으로 전락할 위험이 있습니다. 그러나 AI 분석을 사용하여 여러 형성형 및 자동화된 퀴즈와 동료 피드백을 사용하는 등 '위험에 처한 학습자'를 추적함으로써 이러한 문제를 완화할 수 있습니다(온라인 교육에서 배우는 것 2012). 
Monitoring learner engagement with material (such as time spent or number of posts) may not be reflective of learning, and there is less opportunity for learner-instructor immediate feedback. There is the danger that it may devolve to learners’ simply ticking tasks as ‘completed’ on a platform. However, this may be moderated by using AI analytics to track for ‘learners at risk’ such as employing multiple formative and automated quizzes and peer feedback (What We’re Learning From Online Education 2012).

비동기식 환경에서의 교육은 강력한 멀티미디어를 제작하는 데 시간이나 비용의 제약이 있을 수 있지만, 한 번 제작하면 재사용할 수 있어 시간을 절약하고 교육 비용을 절감할 수 있습니다(Ruiz 외. 2006; Phillips and Wiesbauer 2022). 또한 토론 게시판은 읽고, 응답하고, 채점하는 데 시간이 많이 소요될 수 있지만 자동화, 동료 검토 및 좋아요 투표를 통해 촉진할 수 있습니다. 마지막으로, 비동기식 환경에서는 비언어적 단서와 즉각적인 피드백이 없고, 오해의 위험이 있기 때문에 교사는 그룹 규범, 목표 및 과제와 같은 사회적 학습 및 학습 기대치를 조성하기 위해 훨씬 더 명확하게 설명해야 합니다(Maheshwari 외. 2021). 비동기 환경에서 소셜 및 협업 학습을 촉진하는 방법에 대한 실용적인 팁은 부록 3을 참조하세요. 
Teaching in asynchronous environments can have up front time or cost constraints to create robust multimedia, but, once created, has the potential to be reused, freeing up time and reducing teaching costs (Ruiz et al. 2006; Phillips and Wiesbauer 2022). Furthermore, discussion boards can be time-consuming to read, respond and grade, but can be facilitated through automation, peer reviewing, and up-voting. Lastly, teachers must be much more explicit in asynchronous environments to foster social learning and learning expectations, such as group norms, objectives, and assignments, due to the lack of non-verbal cues, immediate feedback, and risk of misinterpretation (Maheshwari et al. 2021). Please refer to Supplementary Appendix 3 for practical tips on how to foster social and collaborative learning in asynchronous environments. 


1.      비동기식 환경에서는 기대치, 루브릭, 예시 과제 및 자세한 코스 개요를 게시하는 등 명확성을 유지합니다. 가상 근무 시간, 동료 토론 게시판 등 학습자가 교수자 및 동료에게 연락하여 기대치 및 과제를 명확히 확인할 수 있는 방법을 마련합니다. 
1.     
Be clear in asynchronous environments such as posting expectations, rubrics, exemplar assignments, and detailed course outlines. Have ways learners can contact you and their peers for clarification of expectations and assignments such as virtual office hours, and peer discussion board.

2.      학습자와 함께 코스 기대치에 대한 '네티켓' 또는 온라인 학습 규칙을 개발하는 것을 고려합니다. 
2.     
Consider developing “netiquette” or online learning rules with your learners for course expectations.

3.      참여를 통한 교사와 다른 학습자 간의 상호 작용이 학습과 향후 관계에 어떤 긍정적인 영향을 미치는지 명시적으로 설명합니다. 동료 피드백의 중요성과 모든 사람의 학습을 보장하기 위한 그룹의 책임에 대해 논의합니다. 
3.     
Be explicit about how interactions teachers and other learners through participation positively affects learning and future connections. Discuss the importance of peer feedback and the group’s responsibility to ensure everyone’s learning.

4.      학습자가 개인 정보를 공유할 수 있도록 허용하는 아이스 브레이커 활동(예: "우리가 모르는 한 가지를 알려주세요" 또는 "좋아하는 음식이나 문화/유산의 레시피를 게시하세요")을 고려합니다. 
4.     
Consider ice-breaker activities that give permission for learners to share personal information, such as “tell us one thing we might not know about you” or “post your favorite food or recipe from your culture/heritage”

5.      정기적으로 토론 게시판을 방문하고, 양질의 게시물을 인정하고, 공평한 기여를 장려하고, 오해를 바로잡고, 생각을 자극하고, 요약하거나 개인적으로 성찰하는 게시물 또는 추가 리소스에 대한 링크를 제공하는 등 효과적인 비동기식 커뮤니케이션을 모델링합니다. 
5.     
Model effective asynchronous communication such as regularly visiting discussion boards, acknowledging quality posts, encouraging equitable contributions, correcting misconceptions, contributing thought provoking, summarizing or personally reflective posts or links to further resources.

6.      콘텐츠와 관련이 없는 토론 게시글을 생성하여 "흥미로운 발견" 또는 "오늘 기분이 어떠세요?" 체크인을 허용합니다(예: 오늘 이 코스에서 기분을 가장 잘 설명하는 사진 선택). 토론 게시판은 LMS에 내장되거나 Slack(https://slack.com) 또는 WhatsApp(https://www.whatsapp.com) 그룹과 같은 외부 소프트웨어로 구축될 수 있습니다. 
6.      Create non content related discussion posts that allow for “interesting finds” or “how are you feeling today” check-ins (e.g., select a picture that best describes your mood in this course today). Discussion boards may be built into your LMS or as external software such as Slack (https://slack.com) or WhatsApp (https://www.whatsapp.com) group.

7.      학습자의 중간 반성 게시물 또는 교수자의 주간 주제 소개와 같은 1~2분 길이의 비디오 또는 오디오 게시물을 사용하는 것이 좋습니다. 비디오를 공유하면 동료, 학습자 및 교사 간에 텍스트가 제공할 수 있는 것 이상의 사회적 연결이 가능합니다. Flip(https://info.flip.com)과 같은 비디오 블로그 플랫폼, Camtasia(https://www.techsmith.com/video-editor.html), Zoom 녹화(https://zoom.us)와 같은 즉시 사용 가능한 비디오 제작 소프트웨어, 또는 스마트폰에서 MP4 또는 MP3 또는 wav 파일을 녹화하는 것만으로도 이러한 작업을 수행할 수 있습니다. 
7.     
Consider using 1-2 min video or audio postings, such as midterm reflection posts by learners or weekly instructor topic introductions. Sharing videos allows social connection between peers, learners and teachers beyond what text can afford. This may be accomplished by video blog platforms such as Flip (https://info.flip.com), out of the box video creation software such as Camtasia (https://www.techsmith.com/video-editor.html), Zoom recordings (https://zoom.us), or simply by recording an MP4 or MP3 or wav file from your smart phone.

8.      학습자에게 게시글과 링크된 자신의 사진(또는 아바타)을 게시하도록 권장합니다. 학습자가 그날의 기분에 따라 아바타를 변경하도록 하여 감정적인 체크인을 할 수도 있습니다.
8.     
Encourage learners to post a picture (or avatar) of themselves that is linked with their posts. You can also have learners change their avatar to how they are feeling that day as an emotional check in.

9.      동기식 모임 기회 또는 비동기식 공동 작업 도구를 설정하는 등 학습자가 프로젝트에서 공동 작업할 수 있는 기회를 허용합니다. 개인이 마감일이 지정된 그룹 과제의 여러 구성 요소에 등록하여 책임을 질 수 있는 루브릭을 포함하여 그룹 과제에 대한 명확한 기대치를 설정합니다. 그룹 프로젝트에 대해 자가 보고 및/또는 동료 평가 참여 점수를 부여하는 것을 고려하세요.
9.     
Allow opportunities for learners to collaborate on projects, such as setting up synchronous meeting opportunities, or asynchronous collaboration tools. Establish clear expectations of group work, including rubrics where individuals can sign up for different components of the group work with assigned due dates to remain accountable. Consider having self-reported and/or peer assessed participation marks for group projects.

10.  한 주 동안의 토론 게시판 스레드를 이끌거나, 한 주 동안 읽은 내용을 소개하는 비디오를 만들거나, 관련 보충 콘텐츠를 찾아 게시하는 등 학습자 리더십 역할을 수행할 기회를 설정합니다.
10. 
Set-up opportunities for learner leadership roles such as leading a discussion board thread for the week, creating a video introduction to the readings for the week, or finding/posting related supplemental content.

11.  학급을 팀으로 나누어 점수를 모으거나, 좋아하는 개별 토론 게시판 게시글 또는 그룹 과제(예: 팟캐스트 제작)에 대해 학급에서 업보팅을 하는 등 공동 작업을 재미있고 인정받도록 합니다. 모든 참가자를 축하합니다(예: 모의 시상식, 기억에 남는 게시글의 비디오 몽타주 등).
11. 
Make collaboration fun and recognized, such as dividing the class into teams and collecting points, or class upvoting on favorite individual discussion board posts or group assignments (e.g., Podcast creations). Celebrate all participants (e.g., Mock awards, video montage of memorable postings, etc.)

12.  동료 피드백 기회를 장려합니다(예: VoiceThread(https://voicethread.com)와 같은 비디오 피드백 소프트웨어 사용). 12.  Promote opportunities for peer feedback (for example using video feedback software such as VoiceThread https://voicethread.com)


 

imte_a_2197135_sm1830.docx
1.04MB

결론적으로, 비동기식 학습은 성숙하고 자기 주도적인 학습자에게 가장 적합합니다. 비동기식 학습은 유연하고 접근 가능하며 맞춤화된 교육을 가능하게 하지만 즉각적인 피드백이 부족하고 비언어적 단서가 부족하기 때문에 구조와 지원을 통해 신중하게 중재해야 합니다. 이러한 위협은 다음에 설명하는 다중 모드 학습을 활용하여 최소화할 수도 있습니다.
In conclusion, asynchronous learning is best suited for mature and self-directed learners. Although asynchronous learning allows for flexible, accessible, and tailored education, the lack of immediate feedback and non-verbal cues need to be carefully mediated by structure, and support. These threats may also be minimized by utilizing multi-modal learning as discussed next.

다중 모드 학습: 혼합형, 하이브리드 및 HyFlex
Multi-modal learning: blended, hybrid, and HyFlex

온라인 학습의 주요 이점 중 하나는 다양한 학습 목표와 학습자의 요구를 충족할 수 있는 멀티모달 방식을 제공할 수 있다는 점입니다. 그림 2는 이러한 중첩 학습 방법의 개념과 그 교차점에서 발생하는 다양한 형태의 학습을 보여줍니다. 
One of the major benefits of online learning is the ability to provide multi-modal methods to meet diverse learning objectives and learner needs. Figure 2 depicts this concept of overlapping learning methods and the various forms of learning that occur at its intersections.

이 가이드의 앞부분에서 설명한 바와 같이 멀티모달 전달, 분산 실습 및 혼합의 이점을 고려할 때, F2F 학습과 온라인 학습을 결합한 혼합 학습이 F2F 또는 온라인 방식만 사용하는 것보다 더 나은 학습 결과를 가져오는 것으로 입증된 것은 놀라운 일이 아닙니다(Liu 외. 2016; Vallée 외. 2020). 또한 학습자는 다양한 학습 양식을 사용할 때 더 높은 만족도를 보고합니다(Nguyen et al. 2021). 그렇다면 블렌디드 학습 기회를 제공하지 않는다면 실제로 차선의 학습 경험을 제공하고 있는 것일까요? 이 질문은 커리큘럼 및 교육기관 계획에서 최소한 타당하게 고려할 가치가 있습니다.  
Building on the benefits of multimodal delivery, distributed practice and interleaving, as discussed earlier in this guide, it is perhaps no surprise that blended learning, which combines F2F learning with online learning, has been proven to have better learning outcomes than either F2F or online modalities alone (Liu et al. 2016; Vallée et al. 2020). Also, learners report higher satisfaction when a greater diversity of learning modalities are used (Nguyen et al. 2021). Therefore, if we are not providing blended learning opportunities, are we in fact providing suboptimal learning experiences? This question deserves at least some valid consideration in curriculum and institutional planning.

하이브리드 학습은 블렌디드 학습과 유사하지만 온라인 학습이 주요 전달 방식이며, F2F 구성 요소로 보완됩니다(대면 및 온라인 학습 통합을 위한 개념 및 용어 2022). 그러나 '하이브리드 학습'이라는 용어는 학습자가 직접 또는 온라인으로 참석할 수 있는 동기식 학습을 설명하기 위해 문헌(특히 CPD)에서도 사용되었습니다. 
Hybrid learning is similar to blended learning, but with online learning as the main mode of delivery, supplemented with F2F components (Concepts and Terminology for Integrating In-Person and Online Learning 2022). However, the term ‘hybrid learning’ has also been used in the literature (particularly in CPD) to describe synchronous learning where learners can attend either in person or online.

이에 대한 또 다른 용어는 하이브리드 플렉서블(HyFlex)로, 여기서는 학습자마다 다른 학습 방식을 수용하는 온라인 학습을 설명하는 데 사용합니다. HyFlex 학습에는 일반적으로 F2F 교육과 하나 이상의 다른 온라인 전달 모드(예: 동기식 또는 비동기식 또는 둘 다)가 포함되며, 학습자가 참여 형식을 선택합니다. 연구에 따르면 대부분의 학습자는 F2F 전달 방식을 선호하지만, 복잡한 생활 환경이 유연한 온라인 옵션에 대한 전달 방식 선택에 더 많은 영향을 미칩니다(Malczyk 2019; Rhoads 2020). 고등 교육 전문가들은 2025년까지 소수의 학습자만이 완전한 F2F 또는 완전한 온라인 수업에 참여할 것이며, 대다수는 블렌디드HyFlex 형식으로 참여할 것이라는 데 동의합니다(2022 EDUCAUSE Horizon Report 2022). 
Another term for this is Hybrid Flexible (HyFlex), which we will use here to describe online learning that accommodates different learning modalities for different learners. HyFlex learning typically involves (frequently simultaneous) F2F teaching and at least one other online mode of delivery (such as synchronous or asynchronous or both), where learners choose their format of participation. While research suggests that most learners prefer F2F modes of delivery, complex life circumstances affect their choice of delivery method to flexible online options more (Malczyk 2019; Rhoads 2020). Higher education experts agree that by 2025, only a minority of learners will be either fully F2F or fully online, with the majority attending in blended and HyFlex formats (2022 EDUCAUSE Horizon Report 2022).

HyFlex는 브라이언 비티가 처음 제안했으며 듀얼 딜리버리(네덜란드 2022), 동기식 하이브리드(팔머 외. 2022), 혼합 동기식 학습(라포룬과 라칼 2019), 코모달(고베일-프룰스 2019) 등 많은 동의어가 있지만 학습자가 학습 양식 간에 이동할 수 있는 유연성이 부족하다는 등의 미묘한 차이점도 있습니다.
HyFlex was initially proposed by Brian Beatty and has many synonymous terms which include Dual Delivery (Holland 2022), Synchronous Hybrid (Palmer et al. 2022), Blended Synchronous Learning (Laforune and Lakhal 2019), and Comodal (Gobeil-Proulx 2019) although some have subtle differences, such as lack of learner flexibility to move between learning modalities.

HyFlex 모델은 네 가지 원칙을 기반으로 합니다

  • 학생 선택/학습자 통제, 
  • 동등한 학습, 
  • 재사용 가능성 
  • 접근성(Beatty 2019). 

학습자는 자신의 필요에 가장 적합한 경로와 속도를 선택할 수 있으므로 학습의 유연성에 대한 인식이 높아지고 교사의 지원을 받는다는 느낌을 받을 수 있습니다(Beatty 2019, Gobeil-Proulx 2019, Rhoads 2020, Lakhal 외. 2021). 학습자는 F2F 수업에 참석한 후 혼란스러운 자료를 다시 보거나 빠른 재생 속도를 사용하여 이미 알고 있는 자료를 스캔함으로써 학습 속도를 선택할 수 있습니다. 
The HyFlex model is based on four principles:

  • Student Choice/Learner Control,
  • Equivalent Learning,
  • Reusability, and
  • Accessibility (Beatty 2019).

Learners have the ability to choose which path and pace best suits their needs, leading to increased appreciation for the flexibility of their learning and feeling supported by their teachers (Beatty 2019; Gobeil-Proulx 2019; Rhoads 2020; Lakhal et al. 2021). Learners can choose the speed of their learning by attending a F2F class and then revisiting materials that remain confusing or using fast playback speeds to scan material they already know.

학습자 제어는 장점이자 단점이 될 수 있습니다. F2F 교실에서는 학습자가 교사의 통제를 받으며 선형적 학습 순서를 따르지만, 온라인 환경에서는 링크, 토론, 소셜 미디어 피드를 통해 비선형/분기 경로를 따라갈 수 있습니다. 이는 학습자가 자신의 편의에 따라 자신의 학습 경로를 관리하는 데 있어 학습자의 '동의'와 동기를 부여할 수 있지만, 특히 좋은 학습 습관을 기르지 못했거나 자기 주도적 발견을 시작할 수 있는 지식 기반이 거의 없는 젊은 학부 학습자에게는 (직접적인 피드백과 학습에 대한 추가적인 책임감 없이는) 학습자가 부담을 느낄 수 있습니다(Lin and Hsieh 2001). 구조, 피드백(LMS, 교사 또는 동료에 의한) 및 자기 조절을 지원하는 기능이 이를 도울 수 있습니다(Rhoads 2020; Thomson 외. 2022). HyFlex 학습을 통해 학습자는 온라인 학습의 편리함과 통제력을 F2F 학습의 사회적 연결, 피드백 및 동기 부여와 균형을 맞출 수 있습니다(Butz and Stupnisky 2016).
Learner control can be both an advantage and a disadvantage. In F2F classrooms, learners follow a linear sequence of learning, controlled by the teacher; however, in online environments, learners can follow non-linear/branching paths through links, discussions, and social media feeds. This allows learner ‘buy-in’ and motivation in managing their own learning path at their own convenience, but may leave the learner feeling overwhelmed without direct feedback and added responsibility for their learning (Lin and Hsieh 2001), especially with younger undergraduate learners who may not have developed good study habits or have little knowledge base from where to start self-directed discovery (Bond et al. 2020). Structure, feedback (by LMS, teacher or peers) and features that support self-regulation can help with this (Rhoads 2020; Thomson et al. 2022). HyFlex learning allows learners to balance the convenience and control of online learning with the social connection, feedback, and motivation of F2F learning (Butz and Stupnisky 2016).

HyFlex 학습의 두 번째 원칙은 동등성이며, 이는 반드시 동등하지는 않지만 동등한 학습 경험을 제공하는 것을 의미합니다. F2F 수업을 개최하고 비동기식 보기를 위해 녹화본을 온라인에 게시하는 것은 HyFlex 설계의 예가 아닙니다.
The second principle of HyFlex learning is equivalency, which refers to providing an equivalent, but not necessarily equal, learning experience. Note that holding a F2F class and posting the recording online for asynchronous viewing is not an example of a HyFlex design.

교육 설계는 온라인 방식과 상호 작용이 F2F 학습보다 열등해지지 않도록 해야 하며, 각 방식마다 고유한 교육적 고려 사항이 있어야 합니다. 계획은 모든 강의실 참가자의 인식, 포용성, 참여를 포함하여 모든 전달 방식에 걸쳐 콘텐츠, 상호 작용, 커뮤니케이션/지원, 평가를 고려해야 합니다. 예를 들어 응급실에서 여러 교대 근무자와 감독자가 있는 바쁜 임상 로테이션에서 학부 학습자를 교육한다고 가정해 보겠습니다. 부록 4에서는 감독자가 여러 학습자와 감독자 간의 동료 학습 및 연결을 유지하면서 여러 프로그램 현장 및 교대 근무에 걸쳐 학습자를 가르칠 수 있는 방법을 설명합니다. 
Instructional design must ensure that online modalities and interactivity do not become inferior to F2F learning, and that each mode has its own pedagogical considerations. Planning should consider content, interactivity, communication/support, and assessment across all modes of delivery, including recognition, inclusiveness, and participation of all classroom participants. Take, for example, training undergraduate learners in a busy clinical rotation in the emergency department, with multiple shifts and supervisors. Supplementary Appendix 4 depicts how supervisors can teach to learners across different program sites and shifts, while still maintaining peer learning and connections between multiple learners and supervisors.

세 번째 원칙인 재사용성의 실제 예는 온라인 참가자의 비동기식 게시물을 다음 주 F2F 및 동기식 수업 토론에 통합하여 그룹과 세션 간에 학습의 연속성을 제공하는 것으로 부록 4에 나와 있습니다. 비동기 학습자는 F2F 수업 녹화에서 자신의 게시물을 보고 다른 학습자와의 결속력과 인정을 느낄 수 있으며, F2F 및 동기 학습자는 비동기 토론 게시판을 읽고 참여하라는 메시지를 받을 수 있습니다. 또한 재사용성을 통해 여러 양식에 걸쳐 학습을 확장하고 표준화할 수 있습니다. 
A practical example of the third principle, reusability, is shown in Supplementary Appendix 4 by incorporating an asynchronous posting from an online participant into the F2F and synchronous class discussions the next week, thereby providing continuity of learning between groups and sessions. The asynchronous learner may see their posting in the F2F class recording and feel cohesion and recognition with other learners, while the F2F and synchronous learners might be prompted to read and participate in the asynchronous discussion board. Reusability also allows scaling and standardization of learning across modalities.

마지막으로, 네 번째 원칙인 접근성은 이 가이드의 뒷부분에서 살펴볼 유니버설 학습 디자인(UDL)을 기반으로 합니다. 
Lastly, accessibility as a fourth principle, builds on Universal Design for Learning (UDL) which will be explored later in this Guide.

HyFlex 설계는 비교적 새로운 온라인 제공 모델로, HPE에서 축적된 증거가 거의 없습니다(Laforune 및 Lakhal 2019; Malczyk 2019; Zehler 외. 2021; Palmer 외. 2022). HPE가 아닌 분야에 대한 제한적인 연구에서도 F2F 수업과 비교하거나 다른 전달 방식 간에 학습 결과의 차이가 없는 것으로 나타났습니다(Raes 외. 2020; Rhoads 2020). 온라인과 F2F 방식 간에 '유의미한 차이가 없다'는 결과와 대부분의 학습자가 HyFlex 과정 동안 한 가지 학습 방법(F2F 또는 온라인)을 고수한다는 점을 고려하면 이는 놀라운 일이 아닙니다(Gobeil-Proulx 2019). 지금까지의 대부분의 연구는 학습자의 경험과 실행을 기반으로 한 탐색적 연구였습니다(Raes et al. 2020). 
HyFlex design is a relatively new model of online delivery, with very little evidence accumulated in HPE (Laforune and Lakhal 2019; Malczyk 2019; Zehler et al. 2021; Palmer et al. 2022). Limited research in non-HPE fields has often shown no difference in learning outcomes compared to F2F classes or between the different delivery modalities (Raes et al. 2020; Rhoads 2020). This is not surprising given the ‘no significant difference’ effect between online and F2F methods and that most learners stick to one learning method (F2F or online) during HyFlex courses (Gobeil-Proulx 2019). Most research to date has been exploratory and based on learner experiences, and implementation (Raes et al. 2020).

교육기관과 교사의 입장에서는 HyFlex 학습을 통해 '오프라인' 강의실과 복잡한 일정 조정을 줄일 수 있어 비용을 절감할 수 있습니다. 그러나 학습자가 언제든지 전달 방식을 변경하여 그룹 구성과 상호 작용에 영향을 미칠 수 있으므로 교수진은 불확실성과 '동적 유연성'에 익숙해져야 합니다(Beatty 2019). 이러한 새로운 전달 방식에 대한 교수진의 개발과 지원은 이러한 다각적인 전달 방식을 구축하고 촉진하기 위한 인식과 마찬가지로 중요합니다(Rhoads 2020; Lakhal 외. 2021). HyFlex 교육은 어렵기 때문에 교수진은 일반적으로 비동기식 수업의 '백본'으로 시작하여 F2F 또는 동기식 구성 요소를 추가하여 온라인 교육을 '시도'하는 소규모로 시작할 수 있습니다. 마지막으로, HyFlex 전달 방법을 개발하면 필요한 경우 완전한 온라인 학습으로 신속하게 전환할 수 있는 교육학적으로 건전한 코스 개발 시간을 확보할 수 있으므로 향후 (팬데믹, 자연재해 또는 대중교통 문제로 인한) ERT를 피할 수 있습니다(Beatty 2019). 
For institutions and teachers, HyFlex learning also requires fewer ‘brick and mortar’ lecture halls and complex scheduling arrangements, at possible cost savings. However, faculty need to be comfortable with uncertainty and ‘dynamic flexibility,’ since learners may change their mode of delivery at any time, affecting group composition and interactivity (Beatty 2019). Faculty development and support for these new delivery methods is important (Rhoads 2020; Lakhal et al. 2021), as is recognition to build and facilitate these multifaceted delivery modes. HyFlex teaching is difficult, and faculty may want to start small to ‘try out’ online teaching – typically with the ‘backbone’ of an asynchronous class and adding on either F2F or synchronous components. Lastly, developing HyFlex delivery methods allows the time for pedagogically sound course development with the ability to quickly pivot to fully online learning if required, avoiding future ERT (caused by pandemics, natural disasters, or public transportation issues) (Beatty 2019).

HyFlex 설계에는 일반적으로 추가 소프트웨어, 하드웨어(다중 모니터, 마이크, 양방향 카메라, 테크놀로지 지원) 및 강의실 재구성을 제공하기 위한 기관의 지원이 필요합니다(Lakhal 외. 2021). 또한 학습자는 이러한 새로운 학습 환경에 완전히 참여할 수 있도록 하드웨어, 소프트웨어 및 스킬을 지원받아야 합니다. 그러나 이러한 지원을 받는 것이 어렵거나 불가능해 보이는 경우, 더 낮은 수준의 테크놀로지 옵션도 가능합니다(예: 보충 부록 4 참조).  
HyFlex design typically requires institutional support to provide additional software, hardware (multiple monitors, microphones, two-way cameras, and technical support) and classroom reconfiguration (Lakhal et al. 2021). Learners also need to be supported with the hardware, software, and skills to participate fully in these new learning environments. However, if obtaining this support seems daunting or not feasible, lower tech options are also possible (see for example Supplementary Appendix 4).

imte_a_2197135_sm1830.docx
1.04MB

특히 처음 시작할 때는 이러한 복잡한 환경에서 상호 작용, 카메라 선택 및 테크놀로지 지원을 안내하고 F2F 참가자와 온라인 참가자 간의 동등한 참여를 보장하기 위해 온라인 공동 진행자 또는 수업 내 테크놀로지 지원/룸 코디네이터가 필수적입니다(Lakhal 외. 2021; Thomson 외. 2022). 
Online co-facilitation or an in-class technical support/room coordinator is essential, especially when first starting out, to help Guide interactivity, camera selection and technical support in these complex environments and ensure equal participation between F2F and online participants (Lakhal et al. 2021; Thomson et al. 2022).

HyFlex는 캠퍼스와 교육 장소가 분산된 HPE 교육 프로그램(레지던트 프로그램 등)이나 F2F 및 원격 참석 방식이 포함된 CPD 제공에 특히 중요할 수 있습니다. 또 다른 이점은 원격 참여로 수업 규모를 확장하는 데 테크놀로지가 도움이 될 수 있는 소규모 F2F 인원만 허용하는 교육(예: 수술실 또는 시뮬레이션실(Zehler 외, 2021), 병리학 실험실 또는 환자 노출)에도 유용합니다. HyFlex는 많은 장점을 가지고 있고 완전한 온라인 학습이 직면한 많은 문제를 해결하는 데 도움이 될 수 있지만, 복잡성, 지원, 변화를 수용하려는 의지 등을 고려할 때 모든 수업, 강사 또는 교육기관에 적합하지 않을 수 있습니다. 그러나 얼마 전까지만 해도 동기식 환경에서의 교육에 대해서도 마찬가지였으며, 이제는 일반적이고 친숙한 환경이 되었습니다.  
HyFlex may be particularly important for HPE training programs with dispersed campuses and training locations (such as residency programs), or CPD offerings that involve F2F and remote ways to attend. Another benefit is for training that allows only small F2F numbers (e.g. operating or simulation rooms (Zehler et al. 2021), pathology labs, or patient exposures) where technology can help expand class size with remote participation. While HyFlex has numerous advantages and may help to negate many of the challenges faced with fully online learning, it may not be suited for all classes, instructors or institutions given the complexity, support, and willingness to embrace the change that HyFlex requires. However, it was not so long ago that the same was true about teaching in synchronous environments, which has now become commonplace and familiar.

HyFlex와 모든 온라인 환경에서 성공적인 온라인 학습을 위해서는 교수진의 개발과 경험이 필수적입니다. 다음 섹션에서는 효과적인 온라인 커리큘럼 개발을 위한 단계와 지침을 안내하는 온라인 교육 설계 섹션의 기초로서 교수자 개발의 중요성에 대해 논의합니다(그림 3). 
In HyFlex and all online contexts, faculty development and experience are essential for successful online learning. Next, we discuss the importance of faculty development as a foundation for the next section on online educational design, which will guide readers through steps and guidelines for effective online curriculum development (Figure 3).

온라인 교육 설계
Online educational design

온라인 교육 설계는 온라인 HPE에서 FSD의 중요성을 먼저 강조하지 않고는 논의할 수 없습니다. FSD는 HP 교육자로서 현대적 역량을 개발하는 데 필수적이며, 교수진이 다음을 하게 해준다.

  • 자신의 역할을 비판적으로 재고하고,
  • 교육에서 '큰 가정'에 도전하며,
  • 교육학적으로 정보에 입각한 교육 관행을 가능하게 하고,
  • '모든 것에 맞는 한 가지' 교육 관행에서 벗어나 교육 과정을 재설계한다.

일부에서는 온라인 교육 역량에 대한 온라인 FSD가 교육기관과 HP 교육자의 현대적 표준이자 책임이 되어야 한다고 주장합니다. 
Online educational design cannot be discussed without first highlighting the importance of FSD in online HPE. FSD is essential to the development of contemporary competencies as a HP educator, and allows faculty to

  • critically rethink their roles,
  • challenge ‘big assumptions’ in education,
  • enable pedagogically informed teaching practices, and
  • redesign curriculum outside ‘one size fits all’ teaching practices (Mohr and Shelton 2017).

Some argue that online FSD of online teaching competencies should be a contemporary standard and responsibility of institutions and HP educators.

안타깝게도 HPE의 온라인 FSD에 대한 연구는 제한적입니다. 다른 연구와 마찬가지로, 코로나19의 의학교육 발전에 대한 BEME 범위 검토에서도 코로나19 기간 동안 교수진 또는 전문성 개발에 초점을 맞춘 연구는 단 두 건(1.6%)에 불과했습니다(Daniel 외. 2021). F2F에 비해 교육자는 온라인 환경에서 학습자 또는 교사로서의 개인적인 경험이 제한적이고, 멘토링 기회가 적으며, 온라인 교육자로서 편안함과 정체성을 구축할 수 있는 FSD 기회가 적은 경우가 많습니다(O'Doherty 외. 2018). 이는 온라인 학습에 대한 경험적 사용과 연구를 더욱 촉진하고, F2F 또는 기본적인 동기식 교육만 제공하는 것에 대한 기관의 안일함을 야기합니다. 이론, 교수법 설계, 실제 적용 경험에 대한 교육이 부족하여 교육자가 스스로를 '테크놀로지 이민자'로 인식하고 학습자와의 연결성이 떨어지고 새로운 환경에서 비효율적이라고 느끼는 경우 교육자 정체성 부조화와 교육 저항으로 이어질 수 있습니다(Ruiz 외. 2006; Maheshwari 외. 2021). 
Unfortunately, there is limited research in online FSD in HPE. Like other studies, the BEME scoping review on medical education developments in Covid-19 showed only two studies (1.6%) focused on faculty or professional development during Covid (Daniel et al. 2021). Compared to F2F, educators often have limited personal experience as a learner or teacher in online environments, fewer mentorship opportunities, and fewer FSD opportunities on which to build comfort and identity as an online educator (O’Doherty et al. 2018). This further drives empirical use and research of online learning, and a sense of institutional complacency with providing only F2F or basic synchronous teaching. Lack of training in theory, pedagogical design, and practical application experience may lead to educator identity dissonance and teaching resistance if educators self-identify as ‘technology immigrants’ and feel less connected to their learners and ineffective in these new environments (Ruiz et al. 2006; Maheshwari et al. 2021).

본질적으로 FSD(문화적 변화, 시간, 리소스, 교육 포함) 및 시스템 수준 요소는 모든 온라인 HPE의 통합에 필수적입니다. 독자들은 테크놀로지 통합의 문화적 변화에 영향을 미치는 요인에 대해 자세히 알아보려면 Rogers의 혁신 확산 이론(Rogers 1983; Berwick 2003)과 Gartner의 '하이프 사이클(Gartner Hype Cycle Research Methodology 2022)'을 고려하는 것이 좋습니다. 
In essence, FSD (including cultural shift, time, resources, and training) and system-level factors are essential to integration of any online HPE. Readers are encouraged to consider Rogers Diffusion of Innovation Theory (Rogers 1983; Berwick 2003) and the Gartner’s’ Hype Cycle (Gartner Hype Cycle Research Methodology 2022) to learn more about factors influencing cultural shift in technology integration.

 

커리큘럼 설계에 학습자를 포함하면

  • 온라인 학습의 학습자 중심 및 동료 학습 정신을 구축하는 동시에 유니버설 디자인(아래 참조)과 학습자 참여를 촉진하는 데 도움이 될 수 있습니다.
  • 이는 학생 리더십, 학습자 커뮤니티와 교육자 간의 열린 커뮤니케이션/피드백, 테크놀로지적이고 교육학적으로 새로운 학습 방식에 대한 관용을 높일 수 있는 기회를 제공합니다(Peters 외. 2019).
  • 마지막으로, 학습자는 웹사이트, 비디오, 팟캐스트 또는 모듈 제작을 지원하거나 온라인 공동 진행(예: 소규모 회의실 또는 토론 게시판 진행)과 같은 스킬을 가져올 수 있습니다. 그러나 이러한 동료 교사 역할에 대한 신중한 계획 및 교수자 개발 기회와 균형을 이루어야 합니다. 

Including learners in curriculum design may also

  • help build on the learner-centric and peer learning ethos of online learning while promoting Universal Design (see below) and learner engagement.
  • It provides opportunities for student leadership, open communication/feedback between learner communities and educators, and an increased tolerance for technical and pedagogically new ways of learning (Peters et al. 2019).
  • Lastly, learners may bring a skill set such as assisting with creating websites, videos, podcasts, or emodules or in online co-facilitation (e.g. leading a breakout room, or discussion board). However, this should be balanced with thoughtful planning and faculty development opportunities for these peer-teacher roles.

온라인 학습을 위한 교수 설계
Instructional design for online learning

교수 설계는 학습 경험을 계획, 개발, 실행 및 평가하는 체계적인 프로세스입니다. ID 모델은 학습 이론이 아니지만 학습 이론이 ID 모델에 영향을 줄 수 있다는 점에 유의할 필요가 있습니다(Snell 외. 2018). 온라인 커리큘럼을 개발할 때는 앞서 설명한 온라인 학습 이론과 다음 섹션에 설명된 설계 고려 사항을 적용해야 합니다. 궁극적으로 학습을 주도하기 위해 테크놀로지를 먼저 선택하는 것이 아니라 학습이 테크놀로지 사용을 주도하는 것이 중요합니다. 아래에서 설명하는 ID 모델과 원칙을 따르면 이러한 '교육 우선' 접근 방식이 용이해집니다.
Instructional Design is the systematic process of planning, developing, executing, and evaluating learning experiences. It is worth noting that ID models are not learning theories but learning theories may inform ID models (Snell et al. 2018). The online learning theories described earlier, and design considerations described in the following section should be applied when developing online curricula. Ultimately, it is critical that learning drives technology use, rather than first selecting technology to drive learning. Following ID models and principles discussed below facilitates this ‘education first’ approach.

수십 가지의 ID 모델이 있지만, 커리큘럼 개발에 대한 ADDIE와 컨의 6단계 접근법은 부록 5에 자세히 설명된 두 가지 참고할 만한 모델입니다(Snell 외. 2018; Chen 외. 2019). 
Although there are dozens of ID models, ADDIE and Kern’s six-step approach to curriculum development are two well-referenced models detailed further in Supplementary Appendix 5 (Snell et al. 2018; Chen et al. 2019).

많은 ID 모델에는 다음 4단계의 변형이 포함됩니다(Demiroz 2016): 
Many ID models include variations of the following four steps (Demiroz 2016):

  • 1. 학습 필요를 결정하기 위한 요구 분석;
  • 2. 학습 목표/목적 결정;
  • 3. 학습 경험 설계, 개발 및 제공;
  • 4. 평가, 평가 및 피드백.
  1. A needs analysis to determine the learning need;
  2. Determining learning goals/objectives;
  3. Designing, developing, and delivering learning experiences;
  4. Evaluating, assessing, and feedback.

아래에서는 1단계인 요구 사항 평가부터 시작하여 온라인 ID의 맥락에서 이 네 단계를 각각 검토합니다. 온라인 교육 설계는 학습자가 무엇을 알고 있어야 하는지 또는 무엇을 할 수 있어야 하는지 추정하기보다는 지식, 스킬 또는 행동 격차를 철저히 분석하는 것부터 시작해야 합니다. 격차에 따라 학습 요구 사항이 결정되며, 학습 요구 사항은 학습 활동 설계와 평가 프레임워크에 영향을 미칩니다. 온라인 학습은 온라인 코스 전 설문조사, 퀴즈 또는 시뮬레이션 연습 또는 여러 온라인 데이터 소스(역량 기반 데이터 또는 환자/시스템/조직 요구 사항 분석 등) 사용과 같은 요구 사항 평가를 용이하게 하는 데 도움이 될 수 있습니다. 이러한 데이터는 교육 개입이 시작되기 훨씬 전에 또는 교육 과정 내내 반복적으로 커리큘럼에 정보를 제공할 수 있습니다. 
Below, we will review each of these four steps in the context of online ID, starting with Step 1, needs assessment. Rather than presuming what learners should know or be able to do, designing online instruction should begin with a thorough analysis of the knowledge, skill, or behavior gap. The gap determines learning needs, and learning needs inform both the design of learning activities and the evaluation framework. Online learning can help facilitate needs assessments, such as online pre-course surveys, quizzes, or simulation exercises, or using multiple online data sources (such as competency-based data or patient/system/organization needs analysis). These can inform curricula long before the education intervention starts, or iteratively throughout the course.

요구 사항 평가의 결과를 바탕으로 2단계에서는 학습 목표를 개발합니다. 블룸의 교육 목표 분류법(블룸 외, 1956)은 F2F 상황을 위해 개발되었으며 온라인 환경에 맞게 조정되었습니다. 부록 6에서는 블룸의 교육 목표 분류를 온라인 활동 및 평가에 맞게 조정한 방법을 보여줍니다. 
Building on the results of the needs assessment, Step 2 deals with the development of learning objectives. Bloom’s taxonomy of educational objectives (Bloom et al. 1956) was developed for F2F contexts and adapted to online settings. Supplementary Appendix 6 demonstrates an adaptation of Bloom’s to online activities and assessments.

Cognitive domain Associated actions verbs Sample online activities Sample online assessments
Remember
Retain, recall, and recognize knowledge
Arrange, define, identify, indicate, label, list, match, memorize, recall, recite, recognize Online flash cards,
videos, modules, infographics, mind mapping using online collaborative tools, online gamification/ contests
Online quiz,
label a figure via online whiteboard,
eModules with multiple choice quizzes and matching exercises
Understand
Translate and interpret knowledge
Compare, classify, describe, discuss, explain, give examples, interpret, paraphrase, predict, present, report, rewrite, summarize Virtual patients,
online whiteboarding,
online demonstration,
asynchronous discussions,
think-pair-share via webinar platform,
podcasts of patient experiences
Summarize understanding via blog post, infographic, or video,
virtual presentation with examples,
share opinions or supporting content via social media platform
Apply
Apply knowledge to different situations
Calculate, complete, demonstrate, execute
illustrate, implement, modify, organize, practice, prepare, predict, solve, show, use, write
eModules with patient scenarios,
virtual simulation,
synchronous role play, telemedicine/ virtual care, virtual patients, virtual labs
Virtual OSCE, virtual or telemedicine observed patient encounter, virtual or online simulated patient encounter, recording of skill-based outcome (e.g., suturing, IV insertion, injection), patient feedback via QR code post visit
Analyze
Break down information to look at relationships
Categorize, contrast, compare, criticize, debate, differentiate, experiment, inspect, infer, investigate, modify, organize, outline, question, separate, test Compare and contrast via synchronous whiteboard,
online collaboration tools to create a concept map,
asynchronous discussions;
Think-pair-share via zoom breakout rooms,
virtual/twitter journal clubs, social media discussions, online CBL/PBL.
Critique a paper, video or podcast via video recording, upvotes/ feedback/ contributions to online discussions, lead a twitter journal club/ discussion thread or social media discussion
 
Evaluate
Make judgements based on evidence found
Attribute, argue, assess, check, compare, conclude, contrast, criticize, critique, defend, examine, justify, measure, recommend, support, reflect Compare and contrast via online collaboration tool,
online whiteboard to illustrate a concept map;
blog post describing pros and cons.
Online debate;
persuasive social media post,

synchronous or asynchronous discussions,
online presentation.
 
Create
Compile information to generate novel solutions
Arrange, calculate, compose, construct, design, develop, devise, formulate, generate, hypothesize, plan, prepare, produce, propose, revise, summarize, synthesize Develop plan for video or podcast, including researching, collaborating, script development, planning and alternative solutions
 
Creation of infographic for patient education, develop podcast or video for peer learning, synchronous teaching presentation

 

3단계, 학습 경험을 설계, 개발 및 전달하는 단계는 좀 더 복잡하며, 동영상(Iorio-Morin 외. 2017), 모듈 및 프레젠테이션(Grech 2018)과 같은 효과적인 멀티미디어 교육 자료를 설계하는 방법을 더 잘 이해하기 위해 Mayer의 멀티미디어 학습 인지 이론(CTML)(Mayer 2010, 2014)으로 시작됩니다.
Step 3, designing, developing, and delivering learning experiences is more complex, and begins with Mayer’s Cognitive Theory of Multimedia Learning (CTML) (Mayer 2010, 2014) to better understand how to design effective multimedia instructional material, such as videos (Iorio-Morin et al. 2017), emodules and presentations (Grech 2018).

메이어의 멀티미디어 학습에 대한 인지 이론
Mayer’s Cognitive Theory of Multimedia Learning

CTML은 사람들이 말(구어 및 문어)과 그림(정적 및 동적)을 통해 학습하는 방법을 설명하며, 이는 인지 과학의 연구 지원 원칙과 일치하고 인지 부하 이론(Young et al. 2014)에 근거합니다. CTML에 대한 시각적 묘사와 자세한 설명은 부록 7을 참조하십시오. 
CTML describes how people learn from words (both spoken and written) and pictures (both static and dynamic) that is congruent with research-supported principles in cognitive science and grounded in Cognitive Load Theory (Young et al. 2014). See Supplementary Appendix 7 for a visual depiction and further explanation of CTML.

CTML은 학습에 대한 세 가지 인지 과학적 원리를 기반으로 합니다(Mayer 2014):
The CTML is based on three cognitive science principles of learning (Mayer 2014):

  1. 이중 채널 가정학습자는 시각적 정보를 처리하는 시각적 채널과 언어적 정보를 처리하는 언어적 채널의 두 가지 채널을 통해 정보를 처리합니다.
    Dual channel assumption
    : Learners process information through two channels; a visual channel that processes visual information; and a verbal channel that processes verbal information.
  2. 제한된 용량 가정: 학습자는 각 채널에서 주어진 시간에 몇 개의 '청크' 정보만 처리할 수 있습니다.
    Limited capacity assumption
    : Learners can only process a few ‘chunks’ of information in each channel at any given time.
  3. 능동적 처리 가정: 학습자가 관련 정보를 선택하고, 일관된 표현으로 구성하고, 장기 기억에서 활성화된 사전 지식과 통합할 수 있을 때 의미 있는 학습이 이루어집니다.
    Active processing assumption
    : Meaningful learning occurs when learners can select relevant information, organize it into a coherent representation and integrate with prior knowledge activated from long-term memory.

교사는 부록 8에 설명된 멀티미디어 학습의 13가지 원칙을 적용하여 학습자가 정보를 선택, 구성 및 통합하는 데 도움이 되는 방식으로 콘텐츠를 설계하여 불필요한 처리를 최소화하고 필수 처리를 관리하며 생성적 처리를 촉진하는 콘텐츠를 설계함으로써 학습자의 작업 기억에 대한 요구를 줄일 수 있습니다(Maheshwari 외. 2021).
Teachers can reduce the demand on their learner’s working memory by designing content in a way that helps learners select, organize, and integrate information by designing content that minimizes extraneous processing, manages essential processing, and fosters generative processing by applying the 13 principles of multimedia learning as described and applied using examples in Supplementary Appendix 8 (Maheshwari et al. 2021).

    Examples
Reduce Extraneous processing (minimize distractions)
Coherence Principle Eliminate extraneous material.
 


Figure a. Example of the Coherence Principle – AF Algorithm
 
Eliminate unnecessary information. In the algorithm on the left, colour, outlines, font size, font weight, arrow weight all convey meaning (i.e., associations, hierarchy, importance) however these associations and hierarchies were not intended. The example on the right removed unnecessary colours, font weights and sizes.
 
Image source: Dr. Michelle Hart created by Kataryna Nemethy
Signaling Principle Highlight essential material

Figure b. Example of signaling principle
 
Use cues to help learners organize key material. This can be verbal (headings, vocal emphasis) or visual (colour, arrows, font weight, font size, greying out nonessential information). The image on the right uses font size, font weight and colour to cue important information. Cues should be used with discretion.
 
Image source: Kataryna Nemethy
Redundancy Principle
Do not add printed text to spoken text
Figure c.


Do not have a narrator read text that appears on screen. Text on screen should be used judiciously to complement visuals and audio.
 
Image source Kataryna Nemethy
Spatial/Temporal Contiguity Principles
Place printed text near corresponding graphic simultaneously


Figure d. Example of spatial contiguity principle – Labeled Cochlea
 
Pictures and related text should be placed close to each other or have them appear near each other temporally.
 
Image source: Wikimedia Commons (Author: OpenStax) (https://commons.wikimedia.org/wiki/File:1406_Cochlea.jpg)
Manage essential processing (help process new material)
Segmenting Principle
Break presentation into parts
Figure e.


 
Chunk content into shorter segments, rather than a lengthy continuous presentation. This can also be applied to content within a page or slide. Visual cues like white space or colour blocking can also help chunk information.
 
Image source: Kataryna Nemethy
Pre-training Principle
Describe names and characteristics of key elements before the lesson
Scaffold information to help manage intrinsic load; introduce your learners to key terms or concepts before diving into deeper learning.
Modality Principle Use spoken rather than printed text Use graphics and narration rather than solely animation and text on screen. The University of Waterloo's Centre for teaching excellence highlights that this principle is not always true; it is most applicable for novice learners engaging with complex material.(Centre for Extended Learning UXDL)
Foster generative processing (help learners construct schema)
Multimedia Principle
Use words and pictures rather than words alone
Using multiple media such as pictures, audio and text together foster generative processing better than words, pictures, or audio alone.
Personalization Principle
Put words in conversational style
Use a conversational approach and voice/tone. For example, when providing instruction say “your” rather than “the”, or preface a topic with a phrase such as “Let’s have a closer look at…”
Voice Principle
Use human voice for spoken words
Do not use auto generated text to speech which results in a depersonalized robotic tone. Narrate with a natural sounding voice.
Image Principle
 
An image of an instructor or “talking head” on screen while relevant graphics, text appear on screen does not necessarily result in deeper learning. The University of Waterloo's Centre for teaching excellence describes how human demonstration on the other hand (in instructors hand drawing an image), can result in deeper learning.(Centre for Extended Learning UXDL)

Fig a.

 Fig b.

 Fig c.

 

Fig d.

Fig e.

 

학습자가 한 과목에 숙달됨에 따라 인지 부하의 부담이 달라지므로 자료는 항상 대상 청중을 염두에 두고 설계해야 한다는 점에 유의할 필요가 있습니다. 예를 들어, 온라인 수업을 처음 시작할 때는 Zoom의 주석 달기와 같은 간단한 온라인 협업 도구로 시작하여 시간이 지남에 따라 그룹 역학, 테크놀로지 사용 및 콘텐츠 숙달에 따른 인지 부하가 줄어들면 Miro와 같은 더 복잡한 협업 도구로 진행할 수 있습니다. 
It is worth noting that the burden of cognitive load changes as learners develop mastery in a subject, therefore, materials should always be designed with the target audience in mind. For example, when first meeting with an online class, you may want to start with a simple online collaboration tool such as annotation in Zoom, and progress to more complex collaboration tools such as Miro as the cognitive load of group dynamics, technology use, and content mastery lessens over time.

학습 경험의 설계, 개발, 제공에 이어 이제는 온라인 환경에서의 형평성, 다양성, 포용성, 접근성 고려사항을 포함한 UDL로 눈을 돌리고 있습니다.
Continuing with designing, developing, and delivering learning experiences, we now turn to UDL, including equity, diversity, inclusivity and accessibility considerations in online environments.

유니버설 디자인, 형평성, 다양성, 포용성 및 접근성 고려 사항
Universal design, equity, diversity, inclusion, and accessibility considerations

유니버설 디자인, 접근성 디자인, 포용적 디자인, 모두를 위한 디자인은 모든 능력의 사람들의 접근성을 개선하는 학습 자료 및 환경을 만드는 데 있어 유사한 접근 방식을 취하지만 다른 이름입니다. 
Universal Design for Learning, accessible design, inclusive design, design for all are different names though similar approaches to creating learning material and environments that improve access for people of all abilities.

UDL은 우리가 학습할 때 세 가지 신경망(인지, 전략, 정서)이 관여한다고 가정합니다. 그러나 이러한 신경망의 개인차는 정보를 처리하는 방식에 영향을 미칩니다. 학습 자료와 경험은 이러한 다양성을 수용하도록 설계되어야 합니다(유니버설 학습 디자인에 대하여 2022). 
UDL posits that three neural networks (recognition, strategic, and affective) are engaged when we learn. However, individual variability across these networks impacts how we process information. Learning material and experiences should be designed to accommodate this variability (About Universal Design for Learning 2022).


UDL 가이드라인은 교사가 UDL을 구현하는 데 사용할 수 있는 도구입니다. 이 가이드라인에서는 코스 설계자가 학습자에게 다양한 참여, 표현, 행동 및 표현 수단을 제공해야 한다고 제안합니다. 부록 9에서는 온라인 의학 교육에서 이 원칙을 어떻게 적용할 수 있는지에 대한 제안된 예와 함께 최신 버전의 가이드라인(2018년에 업데이트됨)을 제공합니다. 
The UDL Guidelines is a tool teachers can use to implement UDL. The guidelines suggest course designers should provide learners with multiple means of engagement, representation, and action and expression. Supplementary Appendix 9 offers an adaptation of the most recent version of the Guidelines (updated in 2018) with suggested examples of how the principles can be applied in online medical education. 

Provide multiple means of Engagement
Provide options for Recruiting Interest
Optimize individual choice and autonomy Provide multiple options to engage on Zoom (e.g., reactions, chat, open mic);
Provide multiple assignment options (e.g., paper, podcast, video, individual vs. group)
Optimize relevance, value, and authenticity Include examples from diverse voices and perspectives when designing virtual patients;
Provide tasks that allow for active participation through use of games and polls;
Invite personal evaluation and self-reflection through personal blogs;
Give learners opportunities to be part of curriculum design - this increases learners tolerance for technical and pedagogically new ways of learning.(Peters et al. 2019)
Minimize threats and distractions Establish netiquette for a supportive learning environment;
Vary the level of sensory stimulation by allowing off camera time;
Provide opportunities for physical movement;
Vary social demands by interspersing passive engagement (watching a video), with a think-pair-share exercise using breakout rooms in zoom
Provide options for Sustaining Effort & Persistence
Heighten salience of goals and objectives Prompt learners to formulate or restate goals;
Engage learners in assessment discussions of what constitutes success
Vary demands and resources to optimize challenge Provide assessment rubrics and exemplar assignments;
Differentiate the degree of difficulty with which assignments can be completed (e.g., beginner, intermediate, advanced);
Vary the degrees of freedom for acceptable performance
Foster collaboration and community Create learning groups with clear goals, roles, timelines and responsibilities;
Establish rules of engagement that guide learners in when and how to ask peers and/or teachers for guidance;
Encourage peer to peer support through discussion forums;
Construct communities of engaged learners through slack discussions, or conversations on social media
Increase mastery-oriented feedback Provide feedback, that is:
Frequent
Timely
Specific
Substantive
And models how to incorporate evaluation into positive strategies for success
Utilize peer and group feedback
Celebrate/showcase exemplar student work
Consider various ways of providing feedback online (e.g., video feedback instead of text only feedback)
Provide options for Self-Regulation
Promote expectations and beliefs that optimize motivation Develop group learning norms;
Have explicit objectives, outlines, homework assignments, and rubrics for assignments;
Hold office hours;
Promote peer support (collaborative assignments and Q&A discussion boards)
Facilitate personal coping skills and strategies Frequent check-ins with learners;
Acknowledge contributions to class learning and growth;
Celebrate achievement of milestones
Develop self-assessment and reflection Embedded self-assessment quizzes;
Midterm personal reflection exercises and course feedback;
Development of personal objectives and projects and check-in on completion
Provide multiple means of Representation
Provide options for perception
Offer ways of customizing the display of information Display information on an LMS or website so the size of text, images, tables can be varied, so that the contrast can be varied, and so videos can be played at differing speeds
Offer alternatives for auditory information Use live closed captions for Zoom;
Use closed captions in videos and animations
Offer alternatives for visual information Use alternative and descriptive text when describing images or videos on a website, or on the LMS
Provide options for Language and Symbols
Clarify vocabulary and symbols Link vocabulary and symbols within the text (e.g., hyperlinks to definitions or explanations)
Promote understanding across languages Use multiple language options if available on an LMS;
Show learners how to access different language subtitles in YouTube or how to use Otter.ai
Illustrate through multiple media Present key concepts through multiple means (e.g., as text together with illustration, diagram, video, animation, or podcast)
Provide options for Comprehension
Activate or supply background knowledge Activate background knowledge through flipped classroom;
Scaffold by helping link background knowledge via online discussion, self-reflections blog or vlogs, or via mind-mapping tools
Highlight patterns, critical features, big ideas, and relationships Use visual and auditory cues in a video or animation to draw attention to critical concepts
Guide information processing, visualization, and manipulation Use online mind maps to draw connections when exploring new content;
Chunk content by providing micro modules;
Progressively release information via an LMS;
Reduce cognitive load by guiding essential processing in visual presentations
Highlight patterns, critical features, big ideas, and relationships Use visual and auditory cues in a video or animation to draw attention to critical concepts
Provide multiple means of Action & Expression
Provide options for Physical Action
Vary the methods for response and navigation Ensure websites and emodules are navigable via keyboard in addition to mouse;
Ensure videos can be paused and repeated
Optimize access to tools and assistive technologies Provide alternatives to mouse actions via keyboard in eModules;
Allow text to speech options where possible
Provide options for Expression & Communication
Use multiple media for communication Compose in multiple media (e.g., text, speech, illustrations, mind-maps, videos, podcasts);
Use social media, discussion forums, annotation tools, blogs, collaborative platforms for asynchronous discussions, balancing variety without overwhelming learners
Use multiple tools for construction and composition Provide Speech to Text software;
Use online concept mapping tools
Build fluencies with graduated levels of support for practice and performance Utilize different software to provide gradual and safe competency acquisition. For example, start with patient cases in emodules, then virtual AI patients for practice, then online simulation with feedback and ultimately, supervised telemedicine practice
Provide options for Executive Functions
Guide appropriate goal setting Use an LMS or website to:
Provide prompts and scaffolds
Estimate effort, time, resources, and difficulty 
Provide guides and checklists for scaffolding goal setting
Post goals, objectives, and schedules in an obvious place;
Utilize peer feedback
Support planning and strategy development Use an LMS, website or group discussion board to provide checklists and project planning templates 
Facilitate managing information and resources Provide graphic organizers and templates for data collection and organizing information via an LMS or website
Enhance capacity for monitoring progress Ask questions and use templates to guide self-monitoring and reflection via a blog or discussion forum;
Use assessment checklists, rubrics, and examples of  student work

 

포용적 학습을 위한 설계는 매우 중요합니다: UDL은 다양하고 유연한 학습 옵션을 제공함으로써 모든 학습자를 포용하는 학습 환경을 조성하는 것을 목표로 합니다. 다음 버전의 가이드라인은 불평등한 학습 결과를 초래하는 시스템적 장벽을 구체적으로 다루는 것을 목표로 합니다(2022년 유니버설 학습 설계 정보). 또한 다양성의 여러 측면에서 학습을 촉진하는 방법에 대한 구체적인 사례와 전략을 제공하는 수많은 대학 관련 리소스(형평성, 다양성 및 포용성(EDI) 2022)와 Sanger의 연구(Sanger 2020)가 있습니다. 교육기관에서는 교육 및 학습 환경에서 UDL 및 포용적 디자인을 장려하기 위한 정책, 참고 자료 및/또는 가이드라인을 제공할 수도 있습니다. 
Designing for inclusive learning is crucial: UDL aims to help create learning experiences that are inclusive of all learners by offering varied and flexible learning options. The next iteration of the guidelines aims to specifically address systemic barriers that result in inequitable learning outcomes (About Universal Design for Learning 2022). In addition, there are numerous university-affiliated resources (Equity, Diversity, and Inclusivity (EDI) 2022), and work by Sanger (Sanger 2020) which offer concrete examples and strategies on how to promote learning across multiple cross sections of diversity. Your institution may also provide policies, reference material, and/or guidelines on promoting UDL and inclusive design in your teaching and learning environments.

UDL은 모든 학습자를 위한 다양하고 유연한 학습 옵션을 설계하기 위한 프레임워크를 제공하지만, 개별 학습자에게는 인지, 감각 또는 신체 장애와 관련된 특정 디지털 편의 사항이 필요할 수 있으므로 온라인 접근성과는 구별됩니다(Ableser and Moore 2018). 온라인 콘텐츠를 제작할 때 교육기관은 접근 장벽을 제거하는 방법을 규정하는 웹 접근성 표준, 법률 및 규정을 적용해야 합니다. 장애가 없는 많은 학습자들도 접근 가능한 콘텐츠의 혜택을 누릴 수 있다는 점에 주목할 필요가 있습니다. 예를 들어, 모국어가 아닌 언어로 학습하는 학습자는 자막이나 느린 재생 속도로 자료를 다시 볼 수 있는 기능의 혜택을 누릴 수 있습니다. 
UDL is distinguished from online accessibility, as, while UDL provides a framework for designing varied and flexible learning options for all learners, individual learners may require specific digital accommodations related to cognitive, sensory, or physical impairments (Ableser and Moore 2018). When creating online content, institutions need to apply web accessibility standards, laws, and regulations that govern how barriers to access should be removed. It is worth noting that many learners without impairments benefit from accessible content as well. For example, those learning in a non-native language may benefit from closed captioning or the ability to revisit the material at a slower play-back speed.

UDL은 본질적으로 포용적이며 접근성을 촉진하지만, 다음과 같은 경우 UDL과 접근성 간에 긴장이 발생합니다(Ableser 및 Moore 2018): 
Although UDL is inherently inclusive and promotes accessibility, tensions between UDL and accessibility arise when (Ableser and Moore 2018):

  • 접근성 조정으로 인해 교수자 또는 교육기관이 유연한 학습 콘텐츠를 신속하게 개발 및/또는 배포하는 능력이 제한되는 경우.
    accessibility accommodations limit an instructor’s or institution’s ability to quickly develop and/or disseminate flexible learning content, and
  • 교육 테크놀로지가 접근성 표준을 충족하지 않거나 개별 학습자의 요구를 수용하기에 충분히 유연하지 않은 경우. 예를 들어, 일부 학습자는 자막이 필요할 수 있고 다른 학습자는 자막이 산만하다고 느낄 수 있습니다. 테크놀로지은 이상적으로는 학습자 개개인의 선택권을 허용해야 합니다.
    educational technologies do not meet accessibility standards or are not flexible enough to accommodate individual learner needs. For example, some learners may require closed captioning and others may find it distracting. Technologies ideally should allow for individual learner choice.

교육기관은 교육자가 신규 및 기존 교육 자료에 관한 규정 및 표준을 준수해야 하는 방법을 설명할 수 있습니다. 교수자가 혼자서 작업하는 경우 온라인에서 미디어를 디자인하거나 제공할 때 고려해야 할 일반적인 접근성 기능을 제공하는 부록 10을 참조할 수 있습니다. 
Institutions may outline how educators are expected to comply with regulations and standards regarding new and existing educational material. If instructors are working in isolation, then they may wish to refer to Supplementary Appendix 10 which offers common accessibility features that should be considered when designing or offering media online.

Text readability and legibility Fonts:
       Avoid cursive and complex fonts (more accessible fonts include Arial, Open Sans, and Verdana)
       Limit the number of different font styles
       Ensure font size is adequate for optimal reading
       Avoid using all caps or underlining
Formatting:
       Avoid centre justified paragraphs
       Use a minimum of 1.15 spaced text (the recommended spacing is 1.5x)
       Break up long paragraphs
       When possible, use heading levels (h1, h2, etc.) to create an interactive table of contents; this also helps to chunk content
       Use “true lists’ (as depicted here), as opposed to using * or - to convey bulleted lists
Colour:
       Ensure colour contrasts are accessible by using free colour contrast tools such as  https://contrastchecker.com/ https://webaim.org/resources/contrastchecker/
       Do not use colour alone to convey meaning, use patterns, bolded headings, or font size
Provide alternative/descriptive text Images should have a text equivalent via an alt-text option. The purpose of alt text ensures users with vision impairments understand the meaning of the image.
Provide closed captions Audio should have a text equivalent ensuring hearing impaired users have access to the content.
Provide navigation controls for media Use media players that support accessibility, e.g., include closed captions, have options to pause/play/replay, allow for keyboard control

접근성 및 UDL 설계는 수용하기 어려울 수 있습니다. 온라인 접근성은 여전히 모순으로 가득 차 있습니다. 청각 장애가 있는 학습자를 위한 편의 기능을 예로 들면, 테크놀로지를 통해 자막, 볼륨 확대 또는 다른 비디오 참가자의 입술을 자세히 읽을 수 있는 기능이 제공될 수 있습니다. 다른 한편으로는 언어 통역의 비언어적 단서를 제한하거나 하드웨어, 소프트웨어 또는 대역폭에 액세스할 수 없는 학습자를 고립시킬 수 있습니다. 궁극적으로 접근 가능한 UDL 교육에는 시간, 테크놀로지, 적절한 스킬 및 학습자 오리엔테이션이 필요합니다. 그럼에도 불구하고 구현에는 여전히 많은 장애물이 남아 있지만, 법률, 소프트웨어 개선, 학습자의 요구와 선호도는 보다 포용적이고 수용적인 학습 환경을 조성하는 데 도움이 되고 있습니다. 
Accessibility and UDL design can be challenging to accommodate. Online accessibility remains fraught with contradictions. Take as one example, accommodations for learners with hearing impairments: on one hand, technology may allow closed captioning, volume augmentation, or the ability to closely read lips of other video participants. On the other, it may limit non-verbal cues of language interpretation or isolate learners who do not have access to hardware, software, or bandwidth. Ultimately, UDL instruction that is accessible takes time, skill, appropriate technology, and learner orientation. Even with this, there remain many roadblocks to implementation, but legislation, software improvements, and learner needs and preferences are helping to drive more inclusive and accommodating learning environments.

온라인 ID의 4단계: 평가, 평가 및 피드백은 큰 주제이며 전용 AMEE 가이드가 있습니다(Dennick 외. 2009). 온라인 평가에 대한 가이드가 업데이트될 예정입니다.
Step 4 of online ID: evaluation, assessment, and feedback is a large topic and has its own dedicated AMEE guide (Dennick et al. 2009). An updated Guide on online assessment is planned.

 

디지털 전문성, 개인 정보 보호 및 저작권
Digital professionalism, privacy, and copyright

ID의 모든 측면을 관통하는 전문성, 개인 정보 보호 및 저작권에 대한 몇 가지 고려 사항에 대한 논의로 1부를 마무리합니다. 이러한 문제는 온라인 학습 환경에만 국한된 것은 아니지만, 정보에 쉽게 접근하고 복사하고 배포할 수 있다는 점에서 더욱 심각합니다. 최근의 여러 AMEE 가이드에서 디지털 전문성 고려 사항을 살펴보고 있으며(Ellaway 외. 2015, Masters 2020), 여기서는 개인정보 보호 및 저작권 고려 사항에 대해 간략하게 설명합니다:
We end this Part 1with a discussion of some considerations of professionalism, privacy, and copyright that ribbon through all aspects of ID. Although these issues are not unique to online learning environments, they are amplified, given the ease with which information can be accessed, copied, and distributed. Several recent AMEE Guides explore digital professionalism considerations (Ellaway et al. 2015; Masters 2020), and we will briefly discuss privacy and copyright considerations here:

개인정보 보호: 개인정보 보호는 정부, 조직, 기관, 개인이 개인정보를 수집하는 방법을 규율하는 법률에 의해 보호되는 기본적인 인권입니다. 개인정보 보호법은 보편적인 것이 아니며 연방, 주/지방 또는 기타 국가 규제 기관을 통해 제정될 수 있습니다. 개인 정보 보호가 중요한 이유에 대한 글렌 그린월드의 TED 강연에서는 디지털 시대에 개인 정보 보호에 관심을 가져야 하는 이유와 그 의미에 대해 설명합니다(Greenwald 2014).
Privacy: Privacy is a fundamental human right protected by laws that govern how governments, organizations, institutions, and individuals can collect personal information. Privacy laws are not universal and may be instituted federally, provincially/at the state level, or through other national regulatory bodies. Glenn Greenwald’s TED talk on Why Privacy Matters discusses why we should care about privacy and its implications in the digital age (Greenwald 2014).

온라인에서 개인 정보 보호에 대한 위험은 어디에나 존재하지만, 공개적인 담론을 통해 혜택을 볼 수 있는 교육 및 학습 영역이 있습니다. 다음은 온라인 환경에서 교사와 학습자가 고려해야 할 몇 가지 고려 사항입니다(Bates 2015):
Although the risks to privacy are omnipresent when online, there are some areas of teaching and learning that benefit from an open discourse. Below are some considerations that teachers and learners should consider in online environments (Bates 2015):

  • 비공개 및 보안 유지 의무가 있는 학습자 정보는 무엇인가요? 서버에 저장된 정보(예: 이름 및 이메일)는 서버가 위치한 지역의 개인정보 보호법의 적용을 받을 수 있습니다.
    What learner information are you obliged to keep private and secure? Information stored on servers (e.g. names and emails) may be governed by privacy laws where servers are located.
  • 개인정보가 침해될 수 있는 특정 테크놀로지를 사용할 경우 어떤 위험이 있습니까?
    What is the risk of using a particular technology where privacy could be breached?
  • 어떤 교육 및 학습 영역을 잠그고 등록된 학생만 사용할 수 있도록 해야 하는가(예: 보안 LMS와 트위터와 같은 소셜 미디어 플랫폼을 통한 공개 토론).
    What areas of teaching and learning should be locked and available only to registered students (e.g. a secure LMS vs. open discourse via a social medial platform like Twitter).

온라인 환경에서는 개인 정보 보호 고려 사항을 명시적으로 논의 및/또는 협상해야 합니다(예: 보다 개방적인 토론을 위해 일부 토론을 녹화하지 않아야 하는가?). 학습자가 프레젠테이션을 녹화하거나 스크린샷을 찍을 수 있습니까?) 이는 그룹 규모, 콘텐츠, 상황, 학습자/교사의 역할, 계층 구조, 선호도에 따라 달라질 수 있지만, 많은 온라인 학습 문제와 마찬가지로 '정답'이 없는 경우가 많습니다. 그러나 공동의 협상, 열린 소통, 학습 환경에 대한 명확한 설명은 학습에 대한 신뢰와 안전을 구축하는 데 도움이 될 것입니다. 교육기관이나 규제 기관에서 개인정보 보호와 관련된 문제에 대한 지침이나 정책을 제공할 수도 있습니다.
Privacy considerations should be explicitly discussed and/or negotiated in online environments (e.g. should some discussions not be recorded to allow more open discussion? Are learners allowed to record or take screenshots of presentations?) This will often depend on group size, content, context and learner/teacher roles, hierarchies, and preferences, but, like many online learning issues, there is often not a ‘right’ answer. However, joint negotiation, open communication and being explicit about the learning environment will help to build trust and safety in learning. Your institution or regulatory body may also provide guidance or a policy on issues pertaining to privacy.

저작권: 저작권법은 저작자의 원본 유형 제품을 법적으로 보호합니다. 디지털 테크놀로지를 사용하면 이러한 자료를 쉽게 복사하고 배포할 수 있습니다. 교사는 교육 콘텐츠에 텍스트, 이미지, 오디오 및 비디오와 같은 저작권이 있는 자료를 포함할 때 해당 국가, 지방 또는 주의 저작권에 관한 법률을 숙지하고 적절한 라이선스를 취득해야 합니다. 허가 없이 사용할 수 있는 콘텐츠의 예와 교육자가 온라인 자료의 저작권을 보호할 때 사용할 수 있는 크리에이티브 커먼즈 라이선스(https://creativecommons.org/)는 부록 11을 참조하세요. 교사는 저작권이 있는 자료를 올바르게 사용하는 모범을 보이고 학습자가 그렇게 할 수 있도록 가이드라인을 설정하는 것이 중요합니다. 
Copyright: Copyright laws legally protect an author’s original tangible product. Digital technologies make copying and distributing these materials easier. Teachers should be aware of the laws governing copyright in their respective countries, provinces or states and obtain appropriate licenses when including copyrighted material such as text, images, audio, and video in their educational content. Refer to Supplementary Appendix 11 for examples of content that is available for use without permission and creative commons licensing (https://creativecommons.org/) that educators can use when copyrighting their own online materials. It is important as a teacher to model proper use of copyrighted material and set guidelines for learners to do the same.


There are several scenarios in which teachers can freely use content without permission such as:

      Fair-use and Fair-dealing - Some countries’, states’, or provinces’ copyright laws may include Fair-use or Fair-dealing exceptions that allow some percentage of material to be used for the purposes of research, private study, or education, among others.(Bell 2016)

      Public Domain - Copyright protection is finite; once copyright expires, a work becomes freely available for anyone to copy, manipulate, and distribute without permission from the original copyright holder.(Bell 2016) One must remember, however, that copyright laws vary internationally, and may be changed.

      Linking content - Providing a link to the original source does not copy the original material, therefore copyright laws usually do not apply.(Bell 2016)  (There have been cases in which websites have demanded royalties from such links, but these do not generally impact education usage).

      Open Educational Resources (OERs)- Some authors may choose to share their original content freely for educational use. These materials typically have an open licence, though authors may specify whether attribution is required.(Bell, 2016)  If teachers wish to share their own content, then they should first confirm with their institutions; in many cases, institutions hold copyright of teachers’ materials by default. Some OER repositories can be found here: https://libguides.lib.msu.edu/oer/find

       Creative Commons - Material licensed through creative commons are free to use, though authors specify what attribution is required when copying their material. Read more about creative commons attributions and how to attribute your own work here https://creativecommons.org/. This will allow you to licence your work in the way you wish others to use it.  Repositories of images licensed under creative commons include: https://www.flickr.com/groups/allfreepictures, https://wordpress.org/openverse/, https://www.pexels.com/, https://commons.wikimedia.org/ These sites may be helpful when finding images for your websites, videos, or even PowerPoint presentations.


 

결론
Conclusions

본 가이드의 1부에서는 HPE 온라인 학습의 기초에 필요한 배경 증거, 이론, 방법, 최신 이슈, 설계 고려 사항 등 광범위한 문제를 다루었습니다. 
Part 1 of this Guide has covered a wide range of issues, including background evidence, theories, methods, contemporary issues, and design considerations necessary for a foundation in HPE online learning.

고등 교육 전문가들은 2025년까지 소수의 학습자만 완전한 F2F 또는 완전한 온라인 학습을 하고 대다수는 혼합형 및 HyFlex 형식으로 참석할 것이라는 데 동의합니다. 혼합형 학습과 온라인 및 HyFlex 모델의 학습자 중심 이점에 대한 증거는 온라인 학습이 계속될 것임을 상기시켜 줍니다. HPE에서는 역량 기반 교육, 분산된 교육 장소, 학습자 중심 교육과 같은 다른 트렌드가 온라인 HPE가 코로나19 경험 이후에도 계속 발전할 수 있는 원동력이 되고 있습니다. 
Higher education experts agree that by 2025, only a minority of learners will be either fully F2F or fully online, with the majority attending in blended and HyFlex formats. The evidence for blended learning and learner-centered advantages of online and HyFlex models reminds us that online learning is here to stay. In HPE, other trends such as competency-based training, dispersed training locations, and learner centered education are driving forces for online HPE to continue to evolve beyond COVID-19 experiences.

우리는 온라인 학습이 교육 옵션을 확장하고 다중 모드, 분산형, 종단형, 학습자 중심 교육 등 F2F 옵션만으로는 달성할 수 없었던 방식으로 HPE를 혁신할 수 있는 가능성을 확인했습니다. 그러나 온라인과 F2F 제공이라는 이분법적 사고를 피하고 테크놀로지 중심적이고 경험적인 실험에서 벗어나야 합니다. 대신 교육을 우선시하고 교육학에 기반한 접근 방식을 사용하여 다양한 혼합 방식을 사용해야 합니다. 교수진 개발, 제도적 지원, 새로운 접근 방식에 대한 연구를 통해 우리는 코로나19 ERT를 넘어 장벽과 과제를 해결하고 이러한 복잡한 학습 환경에 대한 이해를 발전시킬 수 있을 것입니다. 
We have seen that online learning expands our educational options, with the possibility to transform HPE in ways that we could not achieve with F2F options alone, including multimodal, spaced, longitudinal, and learner centered education. However, we should avoid binary thinking of online vs. F2F delivery and move away from technocentric and empirical experimentation. Instead, we should use diverse blended methods using an education first and pedagogically informed approach. Faculty development, institutional support, and research into new approaches to HPE will allow us to reach beyond our comfort levels, address barriers and challenges and evolve our understanding of these complex learning environments, beyond COVID-19 ERT.

이제 이 가이드의 2부에서는 1부에서 살펴본 기본 개념을 바탕으로 구체적인 온라인 학습 도구와 실제 사례를 살펴보고 적용해보시기 바랍니다. 마찬가지로 2부의 독자들은 1부와 부록을 다시 참조하여 2부의 도구와 예시를 교육적으로 활용할 수 있기를 바랍니다. 
We hope that readers will now turn to Part Two of this Guide to examine specific online learning tools and practical examples, building upon and applying the foundational concepts we have examined in Part 1. Likewise, we hope readers of Part 2 refer back to Part 1 and its appendices, to inform the pedagogical use of tools and examples in Part 2.

 

 


Med Teach. 2023 Apr 24:1-14. doi: 10.1080/0142159X.2023.2197135. Online ahead of print.

Online learning in Health Professions Education. Part 1: Teaching and learning in online environments: AMEE Guide No. 161

 

Affiliations

1Department of Medicine, Continusing Professional Development, Temerty Faculty of Medicine, University of Toronto, Toronto, Canada.

2Medical Education and Informatics Department, College of Medicine and Health Sciences, Sultan Qaboos University, Muscat, Oman.

3Baycrest Academy, Dalla Lana School of Public Health, University of Toronto, Toronto, Canada.

4Faculté de Médecine, Université Paris Cité, Paris, France.

PMID: 37094079

DOI: 10.1080/0142159X.2023.2197135

Abstract

Online learning in Health Professions Education (HPE) has been evolving over decades, but COVID-19 changed its use abruptly. Technology allowed necessary HPE during COVID-19, but also demonstrated that many HP educators and learners had little knowledge and experience of these complex sociotechnical environments. Due to the educational benefits and flexibility that technology can afford, many higher education experts agree that online learning will continue and evolve long after COVID-19. As HP educators stand at the crossroads of technology integration, it is important that we examine the evidence, theories, advantages/disadvantages, and pedagogically informed design of online learning. This Guide will provide foundational concepts and practical strategies to support HPE educators and institutions toward advancing pedagogically informed use of online HPE. This Guide consists of two parts. The first part will provide an overview of evidence, theories, formats, and educational design in online learning, including contemporary issues and considerations such as learner engagement, faculty development, inclusivity, accessibility, copyright, and privacy. The second part (to be published as a separate Guide) focuses on specific technology tool types with practical examples for implementation and integration of the concepts discussed in Guide 1, and will include digital scholarship, learning analytics, and emerging technologies. In sum, both guides should be read together, as Guide 1 provides the foundation required for the practical application of technology showcased in Guide 2.Please refer to the video abstract for Part 1 of this Guide at https://bit.ly/AMEEGuideOnlineLearning.

Keywords: Online learning; distance learning; educational technologies; instructional technologies; online education.

얽힌 페다고지: 페다고지-테크놀로지 이분법을 넘어 (Postdigital Science and Education, 2022)
An Entangled Pedagogy: Looking Beyond the Pedagogy—Technology Dichotomy
Tim Fawns1

 

 

소개 테크놀로지-페다고지 이분법 넘어서기
Introduction: Moving Past the Technology—Pedagogy Dichotomy

'페다고지 우선'은 테크놀로지가 교육에 지나치게 영향을 미칠 수 있다는 우려에 대한 만트라가 되었습니다(Cousin 2005; Tsui와 Tavares 2021). 새로운 테크놀로지가 필연적으로 학습을 변화시키거나 향상시킨다는 마케팅 및 연구 담론의 과대 포장과 과장에 대응하여 많은 교육자들은 '페다고지적인 말'이 '테크놀로지적인 카트'를 운전하기를 원합니다(Sankey 2020). '페다고지적으로 주도'(Anderson and Dron 2011)된다는 것은 '오히려 많은 것이 변화하는 상황에서 아무것도 변하지 않는다'는 안도감을 제공합니다(Brett and Cousin 2010: 610). 그러나 교사와 학생의 목표나 기존 관행을 충분히 고려하지 않고 테크놀로지를 도입하는 것은 분명 문제가 있지만(즉, '테크놀로지 우선' 접근 방식), 테크놀로지를 가장 마지막에 두려는 시도는 교육자들이 교육 활동에서 테크놀로지가 어떻게 얽혀 있는지에 대한 복잡성을 제대로 인식하지 못하도록 만들 수 있습니다. 
‘Pedagogy first’ has become a mantra against worries that technology might overly influence education (Cousin 2005; Tsui and Tavares 2021). In response to the hype and hyperbole of marketing and research discourse, where each new technology inevitably transforms or enhances learning (Kirkwood and Price 2012), many educators want the ‘pedagogical horse’ to drive the ‘technological cart’ (Sankey 2020). Being ‘pedagogically driven’ (Anderson and Dron 2011) offers reassurance that ‘nothing is changing in a context in which rather a lot is changing’ (Brett and Cousin 2010: 610). However, whilst it is certainly problematic to introduce technology without sufficient consideration of the aims or established practices of teachers and students (i.e. a ‘technology first’ approach), attempting to put technology last leaves educators susceptible to an inadequate appreciation of complexity relating to how it is entangled in educational activity.

[테크놀로지 주도적 입장]과 [페다고지 주도적 입장] 모두 테크놀로지를 탈맥락화하여 다양한 형태의 결정론에 취약하게 만듭니다(자세한 내용은 Oliver 2011 참조). 이 논문과 가장 관련성이 높은 것은 테크놀로지 결정론과 페다고지 결정론입니다.

  • 테크놀로지 결정론테크놀로지가 사회 변화를 주도하는 것으로 보고(Kaplan 2009), 설계와 기능으로 결과를 예측할 수 있다고 봅니다. 이러한 관점은 낙관적일 수도 있고(예: 테크놀로지는 필연적으로 효율성을 높인다), 비관적일 수도 있습니다(예: 테크놀로지는 필연적으로 우리를 비인간화하거나 해를 끼친다)(Chandler 1995; Friesen 2008; Kanuka 2008). 테크놀로지를 반대하거나 강요하는 사람들은 종종 도덕적 비난을 받기도 합니다(Chandler 1995).
  • '페다고지 우선' 입장은 비관적인 테크놀로지 결정론을 제시할 수도 있고, 사람(예: 교사)이 목표 달성을 위해 방법과 테크놀로지를 사용하여 변화를 주도하는 페다고지 결정론(사용 결정론, 카누카 2008, 인간 결정론, 버그 1998 참조)을 제시할 수도 있습니다(Anderson and Dron 2011). 페다고지 결정론에서 페다고지는 공격할 수 없고 탈맥락화된 특성으로 귀속되며(Berg 1998), 사고와 실천에 대한 테크놀로지의 영향은 무시됩니다(Chandler 1995; Kanuka 2008). 

Both technology-led and pedagogy-led positions decontextualise technology and make us vulnerable to different forms of determinism (see Oliver 2011 for a review). Most relevant to this paper are technological and pedagogical determinism.

  • Technological determinism sees technology as driving social change (Kaplan 2009), where outcomes can be predicted by design and functionality. This view can be optimistic (e.g. technology inevitably leads to greater efficiency) or pessimistic (e.g. technology inevitably dehumanises or harms us) (Chandler 1995; Friesen 2008; Kanuka 2008). Moral disapproval often awaits those who oppose, or impose, technology, respectively (Chandler 1995).
  • A ‘pedagogy first’ position could suggest pessimistic technological determinism, or it could suggest pedagogical determinism (see also use determinism, Kanuka 2008, and human determinism, Berg 1998) where people (e.g. teachers) drive change, using methods and technology to achieve their objectives (Anderson and Dron 2011). In pedagogical determinism, pedagogy is attributed with unassailable, decontextualised characteristics (Berg 1998) and technology’s influence on thinking and practising is neglected (Chandler 1995; Kanuka 2008).

테크놀로지를 사용하여 무엇을 해야 하는지에 대한 코스 수준의 결정이 내려지기 전에 테크놀로지(예: 중앙 집중식 가상 학습 환경[VLE] 또는 학습 분석 대시보드)이 도입되는 경우도 있지만, 더 큰 문제는 교사 자신이나 학생의 목적, 가치 및 맥락을 충분히 고려하기 전에 교사 자신이 먼저 방법을 선택하는 경우일 수 있습니다. 그러면 테크놀로지, 과제, 사회적 구성 및 리소스에 대한 선택은 이미 제한된 교육 개념 내에서 가능한 것에 의해 제한됩니다. 예를 들어, 코로나19 팬데믹 기간 동안의 긴급 원격 교육(Hodges 외. 2020)은 전통적인 방법과 '물리적 교실 교육 시뮬레이션'(Tsui and Tavares 2021) 시도가 온라인 상황에 적합하지 않은 관행을 강화할 수 있음을 보여주었습니다. 방법을 우선하는 것은 방법을 테크놀로지로 간주하는 테크놀로지 결정론(Dron 2021 참조) 또는 방법이 테크놀로지와 크게 독립적인 것으로 간주하는 페다고지 결정론을 암시할 수 있습니다(Anderson and Dron 2011). 전자는 교사와 학습자의 자율성이 소외된 방법(예: 강의와 문제 기반 학습)을 환원적으로 비교하는 것으로 예시됩니다. Clark(1983)은 후자의 예를 들며, 교사는 방법을 실행하고 테크놀로지는 '교육을 전달할 뿐 학생의 성취에 영향을 미치지 않는 단순한 수단'이라고 주장합니다(445쪽). 결정론의 형태는 누가 또는 무엇이 원동력으로 생각되는지(예: 방법 자체 또는 방법을 사용하는 교사)와 관련이 있습니다. 

Whilst technology is sometimes imposed before course-level decisions are made about what should be done with it (e.g. centralised virtual learning environments [VLEs] or learning analytics dashboards), the greater problem may be where teachers themselves start with a method before sufficiently considering their own or their students’ purposes, values and contexts. Choices about technology, tasks, social configurations and resources are then restricted by what is possible within an already-constrained conception of teaching. For example, emergency remote teaching (Hodges et al. 2020), during the COVID-19 pandemic, showed that traditional methods and attempts to ‘simulate physical classroom teaching’ (Tsui and Tavares 2021) can reinforce practices unsuitable to online contexts. Primacy of methods can suggest technological determinism, where methods are seen as technologies (see Dron 2021), or pedagogical determinism, where methods are seen as largely independent of technology (Anderson and Dron 2011). The former is exemplified by reductive comparisons of methods (e.g. lectures vs problem-based learning) where teacher and learner agency are marginalised. Clark (1983) gives an example of the latter, arguing that teachers implement methods, and technologies are ‘mere vehicles that deliver instruction but do not influence student achievement’ (p. 445). The form of determinism relates to who or what is conceived of as the driving force (e.g. the method itself or the teacher who employs it).

결정론은 복잡한 문제를 해결할 수 있는 간단한 가능성을 제시한다는 점에서 매력적입니다. 올리버(2011)는 두 가지를 대조한다. 

  • '하드' 결정론(테크놀로지가 불가피한 사회 변화를 야기하거나 인간이 완전한 자율성을 갖는 경우)과
  • '소프트' 결정론: 인과적 파워를 테크놀로지나 인간에게 돌리지만 다른 힘과 사회적, 문화적, 역사적 관계를 인정하는 경우 

테크놀로지 철학 문헌의 일반적인 결론은 이러한 관점 중 어느 것이든 극단적인 것은 문제가 있으며, 테크놀로지의 영향력을 보다 복잡한 관계의 일부로 간주해야 한다는 것입니다(Chandler 1995). 테크놀로지, 사용자, 사회적 맥락이 모두 중요하며 이 모든 것이 부분적으로 활동을 결정합니다(Winner 1980). 
Determinism is appealing because it suggests simple possibilities for solving complex problems. Oliver (2011) contrasts

  • ‘hard’ determinism (where technologies cause inevitable social change, or where humans have complete autonomy) with
  • ‘soft’ determinism that attributes causal power to technology or humans but acknowledges other forces and social, cultural and historical relations.

A general conclusion from the philosophy of technology literature is that extremes of any of these views are problematic, and we should consider the influence of technology as part of a complex set of wider relations (Chandler 1995). Technology, users and social context all matter, and all partially determine activity (Winner 1980).

결정론을 피하려면 테크놀로지의 목적에 맞는 사용에 대한 총체적인 관점이 필요합니다(Berg 1998; Oliver 2011). 문화사적 활동 이론(Engeström and Sannino 2010), 실천 이론(Nicolini 2013; Schatzki 외 2001), 행위자 네트워크 이론(Latour 2005), 포스트휴머니즘(Barad 2007) 등 테크놀로지 연구에 대한 사회학적 접근법은 요소보다는 관계에 초점을 맞추려는 강한 의지를 통해 [테크놀로지 주도적 관점]과 [페다고지 주도적 관점] 사이의 영역을 탐색하는 데 도움이 됩니다(예: Barad 2007에서 개인과 객체는 항상 이미 활동에 얽혀 있는 것 외에는 전혀 존재하지 않는다고 주장함). 이와 관련하여 [포스트 디지털 관점]에서는 모든 디지털 활동을 사회적, 물질적이며 풍부하고 다양한 맥락에 내재된 것으로 봅니다(Fawns 2019; Jandrić 외. 2018). 개별 교사나 테크놀로지를 분석 단위로 삼는 것이 아니라 얽혀 있는 요소들을 총체적으로 바라보는 것은 복잡성을 고려하는 데 더 강력한 기반을 제공합니다(Edwards 2010; Fenwick 2015). 다음에 제시된 얽힌 페다고지 모델은 사회 물질적 관점포스트 디지털 관점을 바탕으로 교육 실천의 주요 관계를 개괄적으로 설명합니다. 
Avoiding determinism requires a holistic view of situated, purposeful uses of technology (Berg 1998; Oliver 2011). Sociomaterial approaches to the study of technology, including cultural historical activity theory (Engeström and Sannino 2010), practice theory (Nicolini 2013; Schatzki et al. 2001), actor network theory (Latour 2005) and posthumanism (Barad 2007), can help us navigate the territory between technology-led and pedagogy-led views through a strong commitment to focusing on relations rather than elements (e.g. for Barad 2007, individuals and objects do not exist at all except as things always already entangled in activity). Relatedly, postdigital views see all digital activity as social, material and embedded in rich and diverse contexts (Fawns 2019; Jandrić et al. 2018). Taking neither individual teachers nor technology, as the unit of analysis, but a holistic view of entangled elements, provides a stronger basis for taking complexity into account (Edwards 2010; Fenwick 2015). The entangled pedagogy model, presented next, draws from sociomaterial and postdigital perspectives to outline the key relations within educational practice.

얽힌 페다고지 모델
A Model of an Entangled Pedagogy

환상 대 현실
Illusions Vs Actuality

아래 그림 1은 테크놀로지와 페다고지의 관계에 대한 세 가지 관점을 보여줍니다.

  • 열 1은 테크놀로지가 교육 활동과 결과의 원동력으로 간주되는 '테크놀로지 우선' 관점을 나타냅니다.
  • 열 2는 '페다고지 우선'(또는 '테크놀로지 후순위') 관점으로, 교육자가 원동력이 되고 테크놀로지는 교육 접근 방식에 종속되는 것으로 간주합니다.

테크놀로지로 무엇을 할 것인지(또는 왜)를 결정하기 전에 테크놀로지를 선택할 수도 있고, 테크놀로지에 대해 생각하기 전에 교수법을 선택할 수도 있지만, 열 1과 열 2는 이러한 선택에 따른 결과를 다른 요소와 무관한 것으로 묘사하기 때문에 착각으로 분류됩니다. 각각은 교육 상황을 잘못 해석하고 비현실적인 수준의 통제와 예측 가능성을 제시합니다(Chandler 1995).  

Figure 1, below, shows three views of the relationship between technology and pedagogy.

  • Column 1 represents a ‘technology first’ view, in which technology is seen as the driver of educational activity and outcomes.
  • Column 2 represents a ‘pedagogy first’ (or ‘technology last’) view, in which educators are seen as the driving force, and technology is subservient to the teaching approach.

Whilst it is possible to choose technologies before deciding what to do with them (or why), and whilst it is also possible to choose teaching approaches before thinking about technology, Columns 1 and 2 are labelled as illusions because they portray what follows these choices as independent of other factors. Each misinterprets educational situations and suggests an unrealistic level of control and predictability (Chandler 1995).

실제 교육 활동은 항상 여러 요인이 복잡하게 얽혀 있으며, 반복적으로 서로 영향을 주고받습니다. 열 3은 교육이 방법과 테크놀로지뿐만 아니라 교사, 학생 및 기타 이해관계자의 목적, 맥락 및 가치에 의해 구성되는 얽혀 있는 관점을 나타냅니다. 테크놀로지는 실천에 영향을 미치고 교사는 테크놀로지의 교육적 가능성을 잘 활용하는 것을 목표로 해야 하지만(Bates 2019), 이러한 가능성은 사회적, 물질적으로 위치하며 테크놀로지가 내재된 전통, 관행, 문화, 정책 및 인프라와 관련되어 있습니다(Fawns 2019).
Actual educational activity is always a complex entanglement of factors, iteratively and mutually shaping each other. Column 3 represents an entangled view, in which pedagogy is constituted not just by methods and technology, but also the purposes, contexts and values of teachers, students and other stakeholders. Whilst technology does have implications for practice, and teachers should aim to make good use of its educational possibilities (Bates 2019), these possibilities are socially and materially situated, and relate to the traditions, practices, culture, policy and infrastructure in which they are embedded (Fawns 2019).

열 1의 환상은 테크놀로지 결정론을 자명하고 자연스럽거나 상식적인 것으로 전달하는 마케팅 및 연구 담론에 의해 조장됩니다(Chandler 1995; Feenberg 2001). 예를 들면 다음이 이에 해당합니다. 

  • 온라인 학습의 보편적 특성이나 영향에 대한 주장(예: 짐머만 2020), 
  • 결과나 학생의 경험을 테크놀로지 플랫폼에 귀속시키는 주장(에이트켄과 헤이즈 2021), 
  • 학생들을 '디지털 네이티브'로 묘사하거나(존스 2015; 올리버 2011) 
  • '디지털 시대'에 적응하지 못하는 교사들에 대한 불만(클레그 2011) 등

Column 1’s illusion is promoted by marketing and research discourse that conveys technological determinism as self-evident, natural or common sense (Chandler 1995; Feenberg 2001). Examples include claims about universal qualities or impacts of online learning (e.g. Zimmerman 2020), attributions of outcomes or student experiences to technological platforms (Aitken and Hayes 2021), descriptions of students as ‘digital natives’ (Jones 2015; Oliver 2011) or complaints about teachers unable to adapt to the ‘digital age’ (Clegg 2011).

열 2의 환상은 교육자 네트워크에서 '페다고지 우선'을 상식적이고 인간 주도의 접근법으로 지지하는 프레젠테이션과 블로그 게시물 등을 통해 조장합니다(예: Ash-Brown 2020; Lukes 2019; Sheninger 2016). 

  • 열 2의 보다 미묘한 지표에는 '도구'(예: 도구가 아니라 도구를 사용하는 방법이 중요하다) 또는 '테크놀로지 강화 학습'(Cousin 2005)에 대한 언급이 포함됩니다. 
  • '향상enhancement'은 테크놀로지가 '이미 좋은 것을 더 좋게 만들 뿐'이라는 교사들을 안심시킬 수 있지만(Cousin 2005: 121), 이는 학습에 대한 획일적이고 선형적인 사고에 대한 통제를 의미합니다(Bayne 2015; Kirkwood and Price 2014).

Column 2’s illusion is promoted by educator networks, for example, through presentations and blog posts endorsing ‘pedagogy first’ as a common-sense, human-led approach (e.g. Ash-Brown 2020; Lukes 2019; Sheninger 2016).

  • More subtle indicators of Column 2 include references to ‘tools’ (e.g. it’s not the tool, it’s how you use it) or ‘technology-enhanced learning’ (Cousin 2005).
  • ‘Enhancement’ can reassure teachers that technology ‘will only make better what is already good’ (Cousin 2005: 121) but it implies control over a reified, linear idea of learning (Bayne 2015; Kirkwood and Price 2014).

테크놀로지와 페다고지가 필연적으로 서로 얽혀 있다는 점을 인식하면 교육 활동에 대한 보다 의미 있는 분석의 가능성이 열립니다(Cousin 2005). 그러나 이전 단락의 예는 본질주의, 도구주의, 결정론의 협상이 얼마나 미묘하고 어려운지를 보여줍니다(Feenberg 1999; Finnegan 1989). 열 1과 열 2는 확고한 가정이나 일시적이고 의도하지 않은 입장을 나타낼 수 있습니다. 이러한 착각을 피하려면 교육적 요소의 상황에 따른 새로운 조합에 주의를 기울여야 합니다(Berg 1998). 얽힌 모델은 교육자가 설계 및 실행에서 열 1과 열 2의 환상을 탐색할 수 있도록 안내하는 가이드 역할을 합니다. 
Recognising that technology and pedagogy are, inevitably, entangled, opens up possibilities for more meaningful analyses of educational activity (Cousin 2005). Yet the examples in the previous paragraph show how the negotiation of essentialism, instrumentalism and determinism is nuanced and fraught (Feenberg 1999; Finnegan 1989). Columns 1 and 2 may indicate entrenched assumptions, or temporary and unintentional positions. Avoiding these illusions requires vigilance in attending to situated, emergent combinations of educational factors (Berg 1998). The entangled model is intended as a guide for educators to navigate the illusions of Columns 1 and 2 in their design and practice.

테크놀로지, 방법, 컨텍스트, 가치 및 목적을 캡슐화하는 페다고지
Pedagogy as Encapsulating Technology, Methods, Contexts, Values and Purposes

Anderson과 Dron(2011)은 '테크놀로지는 비트를 설정하고 음악을 만드는 반면, 페다고지는 동작을 정의하는'(81쪽) 춤의 은유를 사용합니다. 얽힌 모델에서 페다고지는 춤입니다. 방법과 테크놀로지는 모든 교육 제도의 구성 요소 중 일부일 뿐입니다. 테크놀로지는 페다고지 안에 얽혀 있기 때문에 페다고지를 먼저 선택한 다음 테크놀로지를 선택할 수 없으며, 기존의 테크놀로지 인스턴스화 위에 페다고지를 덧붙일 수도 없습니다. 교사와 교육 설계자는 부분적이고 관계적인 주체일 뿐이기 때문에 페다고지를 테크놀로지보다 우선시한다고 해서 페다고지적 결정론을 의미하지는 않습니다. 교사나 교육 설계자가 결과를 결정할 수는 없습니다.

  • 교사는 안무를 주도할 수는 있지만, 춤이 어떻게 진행되는지에 대한 통제권은 제한적입니다(Anderson and Dron 2011; Dron 2021; Gravett 외. 2021).
  • 또한 이 모델에서 교육은 교사뿐만 아니라 다양한 이해관계자가 함께 상호 노력하여 수행합니다(Dron 2021; Fawns 외. 2021a).
    • 학생들은 교사의 계획을 재해석하고 완성하면서 공동 구성 및 공동 설계를 합니다(Dron 2021; Fawns 외. 2022; Goodyear 2015).
    • 학습 테크놀로지스트와 정보 테크놀로지 직원은 현지 교육을 가능하게 하고 제약을 가하는 플랫폼을 조달하고 구성합니다.
    • 관리자는 교사와 학생 간의 과정과 관계에 영향을 미칩니다.
    • 정책 입안자들은 문화와 관행을 형성합니다.

Anderson and Dron (2011) use the metaphor of a dance, in which ‘technology sets the beat and creates the music, while the pedagogy defines the moves’ (p. 81). In the entangled model, pedagogy is the dance. Methods and technology are just part of the constituent components of any situated enactment of education. Since technology is entangled within pedagogy, it is not possible to first choose a pedagogy and then a technology, nor can pedagogy be tacked onto an existing instantiation of technology. Placing pedagogy above technology does not imply pedagogical determinism because teachers and educational designers have only partial and relational agency. Neither they, nor their methods, can determine outcomes.

  • Teachers may lead the choreography, but they have only limited control over how the dance plays out (Anderson and Dron 2011; Dron 2021; Gravett et al. 2021).
  • Furthermore, teaching, in this model, is not just done by teachers but by a range of stakeholders in a combined, mutual effort (Dron 2021; Fawns et al. 2021a).
    • Students co-configure and co-design as they reinterpret and complete teachers’ plans (Dron 2021; Fawns et al. 2022; Goodyear 2015).
    • Learning technologists and information technology staff procure and configure platforms that enable and constrain local teaching.
    • Administrators influence processes and relationships between teachers and students.
    • Policymakers shape culture and practice.

교육 활동은 창발적이며, 교사와 테크놀로지의 역할은 아래에 설명된 바와 같이 방법, 목적, 가치, 맥락과 함께 페다고지라는 광범위한 개념 안에 얽혀 있습니다. 
Educational activity is emergent, and the roles of teachers and technologies are entangled within a broader conception of pedagogy, along with methods, purposes, values and context, as outlined below.

테크놀로지
Technology

테크놀로지는 널리 퍼져 있습니다. 인간은 항상 테크놀로지를 만들고 사용해 왔으며, 사물을 조작하여 일상적인 기능을 수행하고(Chandler 1995; Nye 2006), 경험을 형성하고(Nardi 1996), 세상에 질서를 가져다주었습니다(Winner 1980). 교육은 항상 테크놀로지를 통해 이루어지며, 교사는 테크놀로지 사용법을 배우는 것을 피할 수 없습니다(Dron 2021). 일부 테크놀로지는 교육 시스템에 너무 많이 내장되어 거의 보이지 않습니다. 예를 들어, Murphy와 동료들(2001)은 물리적 교실은 '그 자체가 테크놀로지거나 책상과 의자, 흑백 및 녹색 칠판, 분필, 펜, 프로젝션 장치, 워크시트, 교과서, 노트북, 조명 및 음향 시스템 등과 같은 우리가 대부분 당연하게 여기는 일련의 테크놀로지로 구성되어 있다'고 제안합니다. (p. 2). ['테크놀로지 강화형']과 [일반 학습], 심지어 [디지털 교육]과 [일반 교육] 사이의 구분은 다소 인위적입니다(Fawns 2019). 
Technology is pervasive. Humans have always made and used technology, manipulating objects to achieve day-to-day functions (Chandler 1995; Nye 2006), shape experiences (Nardi 1996) and bring order to the world (Winner 1980). Education is always enacted through technology, and teachers cannot avoid learning to use it (Dron 2021). Some technologies are so embedded in educational systems that they are almost invisible. For example, Murphy and colleagues (2001) suggest that the physical classroom ‘itself is a technology, or comprises a set of technologies which we mostly take for granted—physical materials such as desks and chairs, black, white and green boards, chalk, pens, projection devices, worksheets, textbooks, notebooks, lighting and sound regimes and so on’. (p. 2). Our distinctions between ‘technology-enhanced’ and general learning, or even digital education and general education, are somewhat artificial (Fawns 2019).

'어포던스'라는 용어는 특정 테크놀로지로 무엇을 할 수 있는지 설명할 때 자주 사용되지만, 동질적인 사용자와 추상화된 속성을 의미할 수도 있습니다(Oliver 2005, 2011). 테크놀로지는 일반화할 수 있는 특성이나 결과를 가진 고정되고 동질적인 것이 아닙니다(Chandler 1995). 테크놀로지에 대한 두 가지 문제적 이해인 본질주의도구주의는 미리 결정된 기능을 예상되는 관행 및 결과와 연결할 수 있다는 가정을 공유합니다(Hamilton과 Friesen 2013).

  • 본질주의에서 테크놀로지에는 '이데올로기적 편견', '양도할 수 없는 특성' 또는 인간 활동과 무관한 내재적이고 추상적인 교육적 원리가 내재되어 있습니다. 이와 대조적으로
  • 도구주의는 테크놀로지를 사회적 힘과 무관하고 '인간의 선택에 종속된' 테크놀로지적 속성에 의해 정의되는 중립적 도구의 집합으로 간주합니다(Kaplan 2009: 4).

The term ‘affordances’ is frequently used to describe what can be done with a particular technology, but it can imply homogenous users and abstracted properties (Oliver 2005; 2011). Technologies are not fixed, homogenous things with generalisable characteristics or consequences (Chandler 1995). Two problematic understandings of technology, essentialism and instrumentalism, share an assumption that we can link predetermined functions with expected practices and outcomes (Hamilton and Friesen 2013).

  • In essentialism, technology is imbued with ‘ideological bias’ (Postman 1993: 13), ‘inalienable qualities’ or intrinsic, abstract pedagogical principles (Hamilton and Friesen 2013) that are independent of human activity.
  • In contrast, instrumentalism sees technology as a set of neutral tools, defined by technical properties, independent of social forces, and ‘subservient to human choices’ (Kaplan 2009: 4).

교육적 결정론도구주의와 연관되어 있지만, 테크놀로지 결정론본질주의적 관점이나 도구주의적 관점과 일치할 수 있습니다(Feenberg 2006). 도구주의의 중립성은 효율성의 가치를 가릴 수 있는데(Feenberg 2006), 여기서 중요한 것은 도구가 작동work하는 것이며, 작동work하는 것은 '보편적으로 타당하고 과학적으로 확립된 원칙에 따라 객관적으로 결정될 수 있다'(Kaplan 2009: 4)는 것입니다. 
Whilst pedagogical determinism is associated with instrumentalism, a technological determinist view can coincide with either essentialist or an instrumental views (Feenberg 2006). Instrumentalism’s neutrality can mask values of efficiency (Feenberg 2006), where what matters is that a tool works, and what works can be ‘determined objectively according to universally valid, scientifically established principles’ (Kaplan 2009: 4).

실제로 테크놀로지는 항상 여러 가지 다른 테크놀로지의 집합체이며(Dron 2021), 항상 그 부분의 합보다 더 큽니다(Chandler 1995). 테크놀로지는 항상 맥락에 얽혀 있으며, 서로 다른 환경에서 서로 다른 사람들에 의해 다르게 이해됩니다(Dron 2021). 특정 사물이나 장치에 초점을 맞추기보다는 [사용 중인 테크놀로지의 조합]과 [그 테크놀로지가 내장된 시스템과의 관계]가 중요합니다(Kanuka 2008).

  • 예를 들어, VLE를 이해하는 것은 현지 문화와 인프라에 따라 달라집니다(Enriquez 2009). VLE는 특정 기관의 역할과 관행을 강화하고 다른 기관의 역할과 관행을 더 어렵게 만듭니다(Oliver 2011).
  • 한편, 전통적인 관행과 방법(예: 강의 또는 튜토리얼)은 코로나19 팬데믹 기간 동안 Zoom 또는 기타 화상회의 소프트웨어와 같은 다른 테크놀로지(Oliver 2011)을 커뮤니티에서 채택함으로써 지속되고 있습니다(Fox 외. 2021; Rapanta 외. 2020).
  • 그러나 개별 교육자는 여전히 대부분의 테크놀로지를 사용하여 다양한 접근 방식을 구성할 수 있습니다(예: 가상 글쓰기 수련회에서는 침묵을 사용하여 Zoom을 통한 병행 활동 참여를 장려합니다, Koulaxi와 Kong 2022 참조). 

In practice, technology is always an assembly of multiple other technologies (Dron 2021), and always more than the sum of its parts (Chandler 1995). It is always entangled in context, and understood differently by different people in different settings (Dron 2021). Rather than focusing on particular objects or devices, it is the combination of technologies in use, and its relations to the systems in which it is embedded, that matters (Kanuka 2008).

  • Understanding a VLE, for example, depends on local culture and infrastructure (Enriquez 2009). VLEs reinforce certain institutional roles and practices, and make others more difficult (Oliver 2011).
  • Meanwhile, traditional practices and methods (e.g. lectures or tutorials) are perpetuated by community take-up of other technologies (Oliver 2011), such as Zoom or other videoconferencing software during the COVID-19 pandemic (Fox et al. 2021; Rapanta et al. 2020).
  • Yet individual educators still have some agency to configure different approaches with most technologies (e.g. virtual writing retreats use silence to encourage participation in parallel activity via Zoom, see Koulaxi and Kong 2022).

방법
Methods

방법은 교사와 학생이 학습을 촉진하기 위해 어떻게 진행해야 하는지에 대한 구조화된 템플릿입니다. 강의, 튜토리얼, 문제 기반 학습, 시뮬레이션, 자기 주도 학습 등이 그 예입니다. 교수법에는 테크놀로지(예: 강의실, 온라인 강의실, 화상 회의 소프트웨어)가 필요하지만, 학습에 대한 특정 아이디어나 사람들이 어떻게 행동해야 하는지에 대한 아이디어를 구체화하는 데 사용되는 테크놀로지 자체로도 이해될 수 있습니다(Dron 2021).

  • 교수법은 암시적이든 명시적이든 학생들에게 가치를 전달합니다(Biesta 2010). 방법은 특정 맥락에서 일을 수행하는 규범적이고 상상된 올바른 방법이 될 수 있습니다.
  • 교수법은 활동을 직접적으로 결정하지는 않지만 '허용 가능한 행동 유형'에 대한 가이드 역할을 합니다(Oliver 2011: 379).
  • 이론적으로, 더 엄격한 방법은 숙련된 조율에 덜 의존하므로 유연한 방법보다 더 신뢰reliable할 수 있습니다(Dron 2021). 드론은 '경직된 수업 계획'을 학생 활동의 가능성을 차단하는 '딱딱한' 테크놀로지로 예로 들었습니다.

Methods are structured templates for how teachers and students should proceed in the facilitation of learning. Examples include lectures, tutorials, problem-based learning, simulation and self-directed learning. Methods require technologies (e.g. classrooms, VLEs, videoconferencing software), yet can also, themselves, be understood as technologies, where they are used to reify particular ideas about learning or about how people should act (Dron 2021).

  • Teaching methods convey values to students, whether implicitly or explicitly (Biesta 2010). Methods can become normative, imagined right ways of doing things within a particular context.
  • They do not directly determine activity but function as guides to ‘acceptable kinds of action’ (Oliver 2011: 379).
  • More rigid methods are, in theory, less reliant on skilful orchestration and are, therefore, more reliable than flexible methods (Dron 2021). Dron gives the example of a ‘rigid lesson plan’ as a ‘hard’ technology that shuts down possibilities for student activity.

그러나 방법은 단순히 대본을 따라 '작동'하는 것이 아니라 가치, 목적, 학습 및 교수 맥락에 따라 실행되어야 합니다 (Biesta 2015). 또한 공식적인 방법학생의 학습 활동의 일부일 뿐이며(Ellis and Goodyear 2009), 비공식적인 활동은 과정 중과 과정 후에 학습에 큰 영향을 미칩니다(Dron 2021). 자율성과 재량권을 역동적으로 표현하는 현장 교수 또는 학습 활동은 종종 교수법을 구성하는 엄격한 기준에 부합하지 않는 경우가 많습니다(Davis 2017). 
However, methods do not simply ‘work’ by following a script, they must be enacted in accordance with values, purpose and the learning and teaching context (Biesta 2015). Furthermore, formal methods are only ever part of any student’s learning activity (Ellis and Goodyear 2009), and informal activities have a significant influence on learning during and after a course (Dron 2021). Situated teaching or learning activity, with its dynamic expressions of agency and discretion, often does not neatly fit strict criteria for what constitutes a method (Davis 2017).

목적
Purposes

교육 목적을 명시하면 교사와 학생은 무엇을 할 것인지뿐만 아니라 왜 그것을 하는지를 알 수 있습니다(Kanuka 2008). 그러나 교사는 목적에 대해 막연한 개념만 가지고 있을 수 있으며, 목적(특히 장기적인 목적)을 명확하게 표현하는 것은 어려운 일입니다(Priestley 외. 2015). 프리스틀리와 동료들이 지적했듯이, 피상적이고 단기적인 목적(예: 세션 결과)은 행동의 가능성을 좁히고 교사와 학생의 선택권을 제한하기 때문에 문제가 됩니다. 학습 결과는 많은 학습이 돌발적이고 따라서 예측할 수 없기 때문에 불충분하며(Fawns 외. 2021d), 모든 교육 활동에는 항상 여러 가지 목적이 있습니다(Biesta 2009). Biesta는 교육 목적이 자격, 사회화, 주체화라는 세 가지 범주에 속할 수 있다고 주장합니다.

  • 자격은 학생들이 경제 성장, 시민권 및 사회에서 기능하는 데 필요한 형태의 문해력에 기여할 수 있도록 준비시키는 지식, 스킬 및 이해의 개발과 관련이 있습니다.
  • 사회화는 학생들이 '기존의 행동과 존재 방식'에 적응하고, 규범과 가치를 받아들이고, '사회적, 문화적, 정치적 '질서'' 의 구성원이 될 수 있도록 준비시킵니다. 이와는 대조적으로
  • 주체화는 학생들이 비판적 사고나 다양성에 대한 인식을 통해 자율적이고 독립적인 사람이 될 수 있도록 준비시킵니다.

Making educational purposes explicit helps teachers and students to know not just what they will do but why (Kanuka 2008). However, teachers may hold only vague notions of purpose, and a clear articulation of purposes (particularly longer-term ones) is challenging (Priestley et al. 2015). As Priestly and colleagues note, superficial, short-term purposes (e.g. sessional outcomes) are problematic because they narrow possibilities for action and thus the agency of teachers and students. Learning outcomes are insufficient because much learning is emergent and, therefore, unpredictable (Fawns et al. 2021d), and there are always multiple purposes for any educational activity (Biesta 2009). Biesta argues that educational purposes can be located within three broad categories: qualification, socialisation and subjectification.

  • Qualification involves the development of knowledge, skills and understandings that prepare students to contribute to economic growth, citizenship and forms of literacy necessary to function in society.
  • Socialisation prepares students for ‘existing ways of doing and being’, to take on norms and values, and to become members of ‘social, cultural and political “orders”’ (p. 40). In contrast,
  • subjectification prepares students to be autonomous and independent (e.g. through critical thinking or appreciation of diversity).

비에스타는 의도가 무엇이든 교육은 항상 이 세 가지 목적 모두에 기여하지만, 서로 다른 목적이 긴장 관계에 있을 수 있다고 주장합니다. 
Biesta argues that, whatever the intentions, education always contributes to all three, though these different purposes can be in tension.

또한 목적은 이해관계자 간에 협의를 거쳐야 합니다.

  • 교사는 자신의 발전이나 미래에 유용하게 쓰일 작품의 생산과 관련된 추가적인 목적을 가질 수 있습니다. 
  • 교육기관은 수익, 평판 등과 관련된 목적을 가질 수 있습니다. 
  • 각 학생은 모든 학습 과제에 대해 여러 가지 목적을 가질 수 있습니다(예: 좋은 성적 달성, 어떤 일을 하는 방법 배우기, 또래를 알아가기, 학습 방법 배우기). 

목적에 대한 인식은 이해관계자 간의 효과적인 커뮤니케이션에 도움이 되며(Kanuka 2008), 양질의 교육에서는 목적이 방법 및 가치와 신중하게 연계됩니다(Biesta 외. 2015; Kanuka 2008). 
Purposes must also be negotiated across stakeholders.

  • Teachers may have additional purposes relating to their development, or to the production of work that will be useful in the future.
  • Institutions have purposes relating to revenue, reputation, etc.
  • Each student may hold multiple purposes for any learning task (e.g. achieving a good grade, learning how to do something, getting to know peers, learning to learn).

An appreciation of purpose helps effective communication between stakeholders (Kanuka 2008) and, in quality education, purposes are carefully aligned with methods and values (Biesta et al. 2015; Kanuka 2008).

가치
Values

교육적 가치(이상, 표준, 원칙 및 내재적 가치의 자질을 포함하여) 학습과 가르침에서 무엇이 중요한지에 대한 신념입니다(Fawns 외. 2022). 예를 들어 Dron(2021)은 '주제, 학습, 학습자에 대한 보살핌은 타협할 수 없다'고 주장합니다. 다른 예로는 취약성(Lee 2021), 협업(Fawns 외. 2021b) 또는 비판적 사고(Harland and Pickering 2010) 등이 있습니다.

  • 목적과 함께 가치는 교육자가 자신이 하는 일을 하는지를 뒷받침합니다(Biesta 2015). 가치는
  • 어떤 내용, 과제, 사회적 그룹 또는 평가 형식의 우선순위에 영향을 미치며,
  • 실천에 대한 증거를 해석하는 근거를 제공합니다(Biesta 2010; House and Howe 1999).

가치는 설계, 실무(Gudmundsdottir 1990) 및 평가(Biesta 2015)에서 불가피하지만, 특히 객관성과 합리성을 강조하는 학문이나 문화에서는 암묵적으로 남아 있는 경우가 많습니다(Harland and Pickering 2010). 겉으로 보기에 객관적이고 표준화된 평가에는 효율성과 효과성이라는 기본값이 포함되는 경우가 많습니다(Biesta 2009). 명확하게 표현된 가치가 없으면 교육자는 행동의 가능성에 제한을 받게 됩니다(Harland and Pickering 2010).
Educational values are beliefs about what matters within learning and teaching (Fawns et al. 2022), including ideals, standards, principles and qualities of intrinsic worth (Collinson 2012). Dron (2021), for example, argues that ‘caring for the subject, for learning, and for the learner are non-negotiable’. Other examples include vulnerability (Lee 2021), collaboration (Fawns et al. 2021b) or critical thinking (Harland and Pickering 2010).

  • Along with purpose, values underpin why educators do what they do (Biesta 2015).
  • They influence what content, tasks, social groupings or forms of assessment are prioritised, and
  • provide a basis for interpreting evidence about practice (Biesta 2010; House and Howe 1999).

Values are inevitable in design, practice (Gudmundsdottir 1990) and evaluation (Biesta 2015), yet often remain implicit, especially where a discipline or culture emphasises objectivity and rationality (Harland and Pickering 2010). Apparently objective and standardised evaluation often involves default values of efficiency and effectiveness (Biesta 2009). Without clearly articulated values, educators are limited in their possibilities for action (Harland and Pickering 2010).

가치는 또한 실천과 맥락을 통해 형성됩니다(Veugelers and Vedder 2003). 부수적인 학습과 부작용이 항상 존재하기 때문에 학생들이 어떻게 학습하는지가 중요합니다(Biesta 2015; Feenberg 2006). 종종 교사는 재량권을 사용하여 변화하는 상황에서 교육 관행을 자신의 가치와 일치시켜야 하는데(Fawns 외. 2021b), 이는 부적절한 자료, 시스템, 교육 조건 또는 교육 전문 지식으로 인해 어려울 수 있습니다(Veugelers and Vedder 2003). 프리스틀리 외(2015: 54)가 주장한 것처럼, 가치는 '진공 상태로 존재하는 것이 아니라 교사가 생각하고 행동하는 환경(특정 생태)을 구성하는 다양한 영향, 요구, 압력의 결과물'입니다. 테크놀로지와 방법의 선택은 의도적이든 그렇지 않든 특정 가치를 전달하고 촉진할 수 있습니다(Harland and Pickering 2010). 예를 들어, 교사는 교육적 관계에 대한 신뢰를 중시하면서도 학생에게 표절 감지 소프트웨어에 평가서를 제출하도록 요구할 수 있습니다. 따라서 교육자가 이를 실천에 옮길 지식이나 권한이 충분하지 않은 경우 가치는 열망에 머물러 있을 수 있습니다(Fawns 외. 2021b). 실제로 '페다고지 우선'은 민주적 가치로서 교사의 자율성에 대한 열망을 암시합니다(Feenburg 2001).
Values are also shaped through practice and context (Veugelers and Vedder 2003). How students learn is important (Biesta 2015; Feenberg 2006) because there is always collateral learning and side effects. Often, teachers must use their discretion to align educational practice with their values in shifting contexts (Fawns et al. 2021b), which can be difficult with inadequate materials, systems, teaching conditions or teaching expertise (Veugelers and Vedder 2003). As Priestley et al. (2015: 54) argue, values do not exist ‘in a vacuum but are themselves the result of the range of influences, demands and pressures that structure the settings – the particular ecologies – within which teachers think and act’. Choices of technology and method can, intentionally or otherwise, convey and promote certain values (Harland and Pickering 2010). For instance, a teacher may value trusting educational relationships whilst still requiring students to submit assessments to plagiarism detection software. Thus, values can remain aspirational (Fawns et al. 2021b) where educators have insufficient knowledge or agency to put them into practice. Indeed, ‘pedagogy first’ is suggestive of an aspiration towards teacher agency as a democratic value (Feenburg 2001).

컨텍스트
Context

맥락에 민감하다는 것복잡한 활동을 이해할 때 즉각적으로 초점을 맞추는 것 이상의 정보를 고려하는 것을 의미합니다(Korica 및 Nicolini 2019). 여기에는 학생의 개인사, 문화적 배경, 가정 생활, 학습 조건, 목표, 동기, 경제적 압박, 영역별 고려 사항(예: 의학, 법률 또는 건축의 특정 요구 사항), 실질적인 압박(예: 일정 및 자원) 등이 포함될 수 있으며, 각 요소는 그 자체로도 복잡합니다. 다른 이해관계자(예: 관리자, 정책 입안자, 징계 기관)가 활동하는 맥락도 관련성이 있습니다(Dron 2021; Fawns 외. 2021a). 그러나 '맥락'은 위험한 속기입니다. 맥락에는 거의 모든 것이 포함될 수 있으며, 잠재적으로 상세한 분석을 대체하고, 위치 활동에 영향을 미치는 '더 넓은 그림'의 중요한 부분을 조명하기보다는, 오히려 모호하게 할 수 있습니다(Nicolini 2013: 234). 
Being sensitive to context means taking account of information beyond what is in immediate focus, when making sense of complex activity (Korica and Nicolini 2019). This might include students’ personal histories, cultural backgrounds, home lives, studying conditions, goals, motivations, economic pressures, domain-specific considerations (e.g. the particular requirements of medicine, law or architecture), practical pressures (e.g. scheduling and resources) and so on, each of which is also complex in its own right. The contexts in which other stakeholders operate (e.g. administrators, policymakers, disciplinary bodies) are also relevant (Dron 2021; Fawns et al. 2021a). Yet, ‘context’ is a dangerous shorthand. It can include almost anything, potentially substituting for detailed analysis, and obscuring, rather than illuminating, important parts of the ‘wider picture’ that influence situated activity (Nicolini 2013: 234).

교사는 관련 목적과 가치를 식별해야 하는 것처럼 어떤 맥락 요소가 관련성이 있는지, 어떻게, 왜 관련성이 있는지도 결정해야 합니다(Shulman 1986). 예를 들어,

  • 단순히 테크놀로지를 맥락적 요소로 지정하는 대신 교사는 학생 및 교사와의 특정 역사적 관계를 고려할 수 있습니다(예: 강의 또는 Zoom은 문화적, 개인적 짐을 축적해 왔습니다).
  • 또한 교사는 물리적 환경, 자료 및 사회적 배치가 교육 설계뿐만 아니라 기관 정책 및 중앙 집중식 테크놀로지 구성에 의해 어떻게 영향을 받는지도 고려해야 합니다(Goodyear and Carvalho 2019).

맥락은 단순히 학습 활동에 미리 존재하는 것이 아니라 학습 활동에 의해 형성되는 것이기 때문에 관련성이 있는 것을 항상 미리 알 수 있는 것은 아닙니다(Ellis and Goodyear 2009). 일단 코스가 시작되면 학생과 교사의 새로운 공동 구성과 관련된 추가적인 맥락적 요소가 작용합니다(Ellis and Goodyear 2009; Sun and Goodyear 2020). 
Just as they must identify relevant purposes and values, teachers must also decide which contextual elements are relevant, how, and why (Shulman 1986). For instance,

  • rather than simply designating technologies as contextual elements, teachers can consider their specific historical relations with students and teachers (e.g. lectures or Zoom have accumulated cultural and personal baggage).
  • Teachers must also account for how physical environments, materials and social arrangements are influenced not only by educational design but also by institutional policies and centralised configurations of technology (Goodyear and Carvalho 2019).

What is relevant is not always knowable beforehand: context does not simply pre-exist learning activity, it is also shaped by it (Ellis and Goodyear 2009). Once a course begins, further contextual elements come into play, relating to the emergent co-configuration of students and teachers (Ellis and Goodyear 2009; Sun and Goodyear 2020).

얽힌 페다고지에 대한 열망적 관점
An Aspirational View of Entangled Pedagogy

얽힌 모델(그림 1)은 교육자가 교사와 학생이 학습하는 동안 실제로 테크놀로지에 참여하는 다양한 방식과 이러한 방식이 다양한 상황적 요인에 의해 어떻게 영향을 받는지 고려하도록 장려합니다(Jones 2015). 열 3에서는 서로 얽혀 있는 요소들을 비계층적인 것으로 제시하여 상호 형성(Tsui and Tavares 2021)과 전체적이고 비방향적이며 비선형적인 관계 관점의 가치를 인정합니다(Chandler 1995). 각 요소는 다른 어떤 요소보다 더 중요하거나 덜 중요하지 않습니다. 개별 요소보다 조합이 더 중요합니다. 
The entangled model (Fig. 1) encourages educators to consider the diverse ways in which teachers and students actually engage with technology whilst learning, and how these are influenced by a range of situated factors (Jones 2015). In Column 3, the entangled elements are presented as non-hierarchical, acknowledging their mutual shaping (Tsui and Tavares 2021) and the value of a holistic, non-directional, non-linear view of relations (Chandler 1995). Each factor is no more or less important than any other. Combinations matter more than individual elements.

그럼에도 불구하고 교사, 학생 및 기타 이해 관계자가 각 요소를 상대적으로 강조하는 것은 주목할 가치가 있습니다. 그림 2에서는 교사, 학생 및 기타 이해관계자가 교육 활동의 새로운 복잡성에 어떻게 참여할 수 있는지에 대한 포부적인 관점인 열 4를 추가했습니다. 이 관점은 교육 담론, 설계 및 실천에서 방법과 테크놀로지가 지나치게 강조되는 경향이 있음을 인식합니다(Dron 2021). 이 관점은 목적, 가치, 맥락을 의도적이고 정기적으로 재검토하여, 방법과 테크놀로지에 대한 선택에 의미 있고 반복적으로 정보를 제공하는 동시에, [교육적 혼합pedagogical mix]의 일부로서 테크놀로지와 방법의 형성적 역할을 인식해야 할 필요성을 제시합니다. 
Nonetheless, the relative emphasis placed on each element by teachers, students and other stakeholders is worth attending to. In Fig. 2, I have added Column 4: an aspirational view of how teachers, students and other stakeholders can engage with the emergent complexity of educational activity. This view recognises that methods and technology tend to become over-emphasised in educational discourse, design and practice (Dron 2021). It suggests a need to intentionally and regularly revisit purposes, values and contexts, to ensure that they meaningfully and iteratively inform choices around methods and technology, whilst also recognising the shaping role of technology and methods as part of the pedagogical mix.

 

'페다고지 우선' 관점은 테크놀로지보다 방법, 맥락, 가치 또는 목적을 강조하려는 의도적인 노력일 수 있습니다. 그러나 테크놀로지를 강조하지 않을 때는 특히 교육이 제도적 구조에 어떻게 얽혀 있는지를 고려할 때, 테크놀로지가 요소의 상호 형성에서 불가피하게 얽혀 있음을 인식하는 것이 중요합니다. 예를 들어, 온라인 감독과 같은 테크놀로지를 통해 학문적 무결성의 가치를 감시와 통제로 제정할 수 있습니다(Fawns and Schaepkens 2022). IT 직원, 관리자 및 관리자는 [교사가 중요하게 의도한 가치]와 [실제로 중요하게 여겨지는 가치] 사이의 불일치를 인식하지 못할 수 있습니다. 가치, 목적, 맥락에 주의를 기울이면 복잡한 문제에 대한 단순한 해결책, 학생에 대한 환원적 특성화(예: '디지털 네이티브', Oliver 2011 참조), 교사가 현대 디지털 문화와 관행에 따라야 한다는 주장(Clegg 2011) 등 문제가 있는 가정을 식별하는 데 도움이 될 수 있습니다. 
A ‘pedagogy first’ view may be an intentional effort to emphasise method, context, values or purpose over technology. However, in de-emphasising technology, it is important to recognise its inevitable entanglement in the mutual shaping of elements, particularly when we consider how teaching is entangled in institutional structures. For instance, values of academic integrity can be enacted, via technologies such as online proctoring, as surveillance and control (Fawns and Schaepkens 2022). IT staff, administrators and managers may not be aware of discrepancies between what teachers intend to value and what is actually valued in practice. Attending to values, purposes and context can help us identify problematic assumptions, such as those embedded in simple solutions to complex problems, reductive characterisations of students (e.g. as ‘digital natives’, see Oliver 2011), or assertions that teachers should conform to modern digital culture and practices (Clegg 2011).

이러한 상호 의존적 요인에 대한 의미 있는 설명은 실행 가능한 지식을 생성하는 복잡한 분석이 필요합니다(Markauskaite 외. 2020). 이러한 분석은 개별 요소보다는 관계에 초점을 맞춘 관찰, 증거 및 대화에 기반해야 합니다(Goodyear and Carvalho 2019). 각 이해관계자는 서로 다른 가치와 목적을 가지고 있을 수 있으며, 서로 다른 맥락적 힘이 작용할 수 있습니다. 학생은 디자인을 공동 구성하기 때문에 학생과 함께 학습 조건을 분석하고 이를 과정의 일부로 논의하는 것이 좋습니다(예는 Fawns 외. 2022 참조). 이는 코스의 공동 설계 및 오케스트레이션에 정보를 제공할 뿐만 아니라 학생이 자신의 학습 환경을 성찰하고 재구성하는 데 도움이 될 수 있습니다. 이러한 논의에 관리자, 학습 테크놀로지자 또는 고용주와 같은 이해 관계자를 포함하면 다양한 요소를 보다 명확하고 가시적으로 파악하는 데 도움이 될 수 있습니다. 
A meaningful account of these interdependent factors requires a complex analysis that produces actionable knowledge (Markauskaite et al. 2020). This analysis should be based on observation, evidence and dialogue that focus on relations rather than individual elements (Goodyear and Carvalho 2019). Each stakeholder may hold different values and purposes, and have different contextual forces acting upon them. Since students co-configure designs, it makes sense to work with them to analyse their learning conditions, and to discuss these as part of the course (see Fawns et al. 2022 for an example). Ideally, this could inform collaborative design and orchestration of the course, as well as helping students to reflect on and reconfigure their learning environments. Including stakeholders such as administrators, learning technologists, or employers, in these discussions, could help to make the different elements more explicit and visible.

기관의 협상과 이러한 복잡한 얽힘을 통해 생성되는 새로운 결과는 교사, 학생 및 다른 사람들이 교육 활동에서 협력할 수 있는 신뢰 파트너십의 필요성을 시사합니다. 코스 수준에서 이를 위해서는 교사가 불확실성, 불완전성, 개방성, 정직성을 수용하고 학생들이 코스 중에 학습한 내용, 이후에도 학습해야 하는 내용, 학습 방법을 이해하도록 도와야 할 수 있습니다(Fawns 외. 2022; Fawns 외. 2021d). 이는 어려운 일이며, 교사는 자신의 학습을 계속할 수 있도록 지원이 필요합니다. 목적, 맥락, 가치를 명확히 하고 이를 테크놀로지 및 방법에 대한 결정과 조화시키는 것은 교육자가 교육 전문성과 페다고지에 대한 기관의 가치에 뿌리를 둔 현지 문화와 인프라에 대한 전문성, 재량권, 자신감을 가질 때 더 쉬워집니다(Fawns 외. 2021c). 
The negotiation of agency and the emergent outcomes produced through such complex entanglements suggest a need for trusting partnerships through which teachers, students and others can collaborate in educational activity. At course level, this may require teachers to embrace uncertainty, imperfection, openness and honesty, and to help students make sense of what is learned during a course, what must still be learned afterwards and how to go about it (Fawns et al. 2022; Fawns et al. 2021d). This is challenging, and teachers need support to continue their own learning. Clarifying purposes, contexts and values, and reconciling these with decisions about technology and methods, is easier when educators have expertise, discretion and confidence in the local culture and infrastructure which are, in turn, rooted in the institution’s valuing of educational expertise and pedagogy (Fawns et al. 2021c).

얽힌 지식
Entangled Knowledge

테크놀로지를 활용한 교육에는 다양한 종류의 지식이 결합되어야 합니다. Koehler 등(2013)은 Shulman(1986; 1987)의 페다고지적 내용 지식을 바탕으로 TPACK 프레임워크를 제안합니다. 여기에는 다음이 포함됩니다.

  • 테크놀로지 지식(정보 테크놀로지 활용 방법),
  • 페다고지 지식(교수 및 학습 방법),
  • 내용 지식(학습해야 할 주제)

Teaching with technology requires a non-trivial combination of different kinds of knowledge. Koehler et al. (2013) build on Shulman’s (1986; 1987) pedagogical content knowledge to propose the TPACK framework. This involves

  • technological knowledge (how to work with information technology),
  • pedagogical knowledge (ways of teaching and learning) and
  • content knowledge (the subject matter to be learned).

다양한 종류의 지식은 개별적으로 고려되기보다는 함께 고려됩니다. 예를 들어, 컴퓨터 활용 능력(테크놀로지 지식)은 중요하지만 윤리, 철학 또는 테크놀로지와 학습의 관계(모두 테크놀로지 페다고지 지식에 해당)를 포괄하기 위해 페다고지 지식과 결합되어야 합니다(Koehler 외. 2013). 다양한 요소와 그 조합이 교육 상황을 어떻게 형성하는지에 대한 사려 깊고 미묘한 협상의 필요성을 인식한 TPACK은 일부 측면(목적, 가치, 학습자 특성)을 다른 측면(테크놀로지 및 방법)보다 우선시합니다. 
Different kinds of knowledge are considered in combination rather than individually. For example, computer literacy (technological knowledge) is important, but must be combined with pedagogical knowledge to encompass ethics, philosophy or the relationship between technology and learning (all of which constitute technological pedagogical knowledge) (Koehler et al. 2013). Recognising the need for thoughtful, nuanced negotiation of how different factors, and their combinations, shape educational situations, TPACK prioritises some aspects (purposes, values, learner characteristics) over others (techniques and methods).

TPACK은 개별 교사에게 필요한 광범위한 지식의 형태를 확립하는 데 유용하지만, 얽히고설킨 페다고지는 집합적으로 제정됩니다. 교사는 상당한 책임을 지고 있지만 부분적 또는 '관계적' 권한만 가지고 있으며, 결과를 협상할 때 다른 사람들과 협력해야 합니다(Edwards 2010: 61). 성공은 또한 교사, 기관 및 규제 기관이 관리하는 구조 내에서 활동하는 학생에게 달려 있습니다. 관리자, 테크놀로지 지원 직원, 정책 입안자, 고용주, 교육 테크놀로지 개발자 등이 모두 페다고지 제정에 기여하며 때로는 서로 다른 방향으로 나아갑니다. 예를 들어, VLE를 중앙 집중식으로 채택하면 코스 수준 실무자의 가능성을 제한합니다(Feenberg 2006; Winner 1980). 

Whilst TPACK is useful in establishing the broad forms of knowledge required by individual teachers, entangled pedagogy is collectively enacted. Teachers hold considerable responsibility, yet have only partial or ‘relational’ agency, and must work with others in negotiating outcomes (Edwards 2010: 61). Success is also reliant on students, who, in turn, operate within structures that are governed by teachers, institutions and regulatory bodies. Administrators, technical support staff, policymakers, employers, educational technology developers, etc. all contribute to the enactment of pedagogy, sometimes pulling in different directions. Centralised adoption of VLEs, for example, constrains possibilities for course-level practitioners (Feenberg 2006; Winner 1980).

이러한 복잡성을 이해하면 교사는 코스 수준을 넘어서는 변화를 옹호하는 것을 포함하여 상황에 총체적으로 대처할 수 있으며, 시간이 지남에 따라 변화가 천천히 간접적으로 나타나는 방식을 확인할 수 있습니다. 그러나 교육 활동은 이해관계자 간의 효과적인 협상과 지식 조합의 분배를 통해 가장 큰 이점을 얻을 수 있습니다. 얽힌 페다고지 모델은 교사의 지식이 위치한 더 넓은 맥락을 고려하도록 TPACK을 확장할 수 있으며(TPACK에 맥락 지식을 포함시키는 것에 대한 Mishra 2019 참조), 교사 이외의 사람들이 필요로 하는 지식도 고려할 수 있습니다. 이해관계자마다 전문 지식의 수준과 형태가 다르므로 대화, 설계 및 적용에 대한 참여를 포함하여 지식 개발을 지원하기 위한 다양한 전략이 필요합니다(Koh 2020)(Sharpe and Oliver 2013). 
Understanding this complexity allows teachers to attend holistically to situations (including advocating for change beyond course level), and to see how changes emerge slowly and indirectly, over time. However, educational activity will benefit most from the effective negotiation and distribution of knowledge combinations across stakeholders. The entangled pedagogy model can extend TPACK to consider the broader contexts in which teachers’ knowledge is situated (see also Mishra 2019 on including contextual knowledge within TPACK), and the knowledge required by those other than teachers. Different stakeholders have different levels and forms of expertise, and multiple strategies for supporting knowledge development are needed (Koh 2020), including involvement in dialogue, design, and application (Sharpe and Oliver 2013).

얽히고설킨 윤리와 윤리적 지식
Entangled Ethics and Ethical Knowledge

교육적 맥락에서 여러 테크놀로지의 결합은 항상 의도된 결과와 의도하지 않은 결과, 예측 가능한 결과와 예측 불가능한 결과와 '부작용'을 낳습니다(Adams 2020; Chandler 1995; Dron 2021). 테크놀로지의 얽힘은 윤리적 문제일 뿐만 아니라 페다고지적 문제이며, 평가에는 잠재적인 피해도 포함되어야 합니다(Fawns 외. 2021a). 여기에는 기능이나 구현을 넘어 테크놀로지가 작동하는 방식과 특정 맥락에 대한 통합의 의미를 이해하는 것이 포함됩니다. 윤리는 '선형적인 사건의 연쇄'(Barad 2007: 384)를 따르는 것 이상의 것을 요구하며, 관계를 추적하여 그것이 어디로 이어지는지 확인하는 것을 의미합니다. 
The combination of multiple technologies within an educational context always produces intended and unintended, predictable and unpredictable consequences and ‘side effects’ (Adams 2020; Chandler 1995; Dron 2021). The entanglement of technology is an ethical as well as a pedagogical issue, and evaluation should include potential harms (Fawns et al. 2021a). This involves going beyond functionality or implementation, to understanding how technologies work and the implications of their integration into specific contexts. Ethics requires more than following ‘a linear chain of events’ (Barad 2007: 384); it means tracing relations to see where they lead.

여기서 윤리적 가치(예: 포용성, 공정성)와 이를 실천에 포함시키는 데 필요한 지식을 구분하는 것이 중요합니다. 가치(윤리적 가치를 포함하되 이에 국한되지 않음)는 얽힌 페다고지에 대한 '실제적' 관점(열 3)을 알려주는 반면, 복잡한 윤리적 지식은 '열망적' 관점(열 4)의 일부입니다. 이는 우리 앞에 놓인 과제를 인식합니다. 테크놀로지와 교육에서의 윤리는 연구가 부족하고 잘 이해되지 않고 있습니다(Moore and Ellsworth 2014). TPACK 프레임워크 내에서 윤리가 간략하게 인정되고 있지만, 필요한 윤리적 지식에 대한 추가 설명이 필요하며(Adams 2020; Asamoah 2019), 이해관계자 간에 어떻게 배포될 수 있는지에 대한 설명이 필요합니다(Dron 2021). 
Here, it is important to differentiate between ethical values (e.g. inclusivity, fairness) and the required knowledge to embed them within practice. Whilst values (including, but not limited to, ethical values) inform the ‘actual’ view (Column 3) of entangled pedagogy, complex ethical knowledge is part of the ‘aspirational’ view (Column 4). This recognises the challenge before us. Ethics in technology and education is under-researched and poorly understood (Moore and Ellsworth 2014). Although ethics is briefly acknowledged within the TPACK framework, further clarification of the required ethical knowledge is needed (Adams 2020; Asamoah 2019) along with how it might be distributed across stakeholders (Dron 2021).

코스 수준에서는 학생들의 가정 공간, 물리적 장치, 광대역 및 인프라가 디지털 테크놀로지를 통해 과제, 교사 및 동료와 소통할 수 있는 방식을 어떻게 형성하는지 고려할 수 있습니다(Fawns 외. 2022). 다음을 질문할 수 있습니다.

  • 사회적 및 물질적 디자인이 디지털 인터페이스와 결합하여 타이핑, 시청, 말하기 또는 앉는 경험을 어떻게 형성하는지,
  • 물리적 움직임이나 작업 공간의 구성을 어떻게 제한하는지(예: 카메라에 찍히면 학생이 집안에서 더 잘 보이도록 특정 위치에 앉도록 유도할 수 있음),
  • 권력 관계와 사회적 역학을 어떻게 형성하거나 강화하는지(예: 외모, 재산 또는 성향의 차이를 강화함으로써) 

At course level, we can consider how students’ home spaces, physical devices, broadband and infrastructure shape the ways in which they are able to engage with tasks, teachers and peers through digital technology (Fawns et al. 2022). We can ask

  • how social and material designs combine with digital interfaces to mould experiences of typing, watching, speaking or sitting;
  • how they constrain physical movements or the configuration of workspaces (e.g. being on camera might encourage a student to sit in a particular location within the home that looks more presentable); or
  • how they shape or reinforce power relations and social dynamics (e.g. by reinforcing differences in appearance, wealth or disposition).

제도적 차원에서는 테크놀로지가 인프라와 정책에 어떻게 포함되는지에 대한 윤리적 함의가 있습니다(윌리엄슨과 호건 2021). 무엇보다도 다음을 알아야 합니다. 

  • 데이터가 어떻게 저장, 해석 및 사용되는지(예: 학생이 자신의 데이터에 대해 어떤 액세스 권한과 통제권을 갖는지),
  • 플랫폼이 시간이 지남에 따라 얼마나 안정적인지(예: 플랫폼이 중단될 수 있는지, 이용 약관이 변경되는지),
  • 학생이 구성에 어떤 영향을 받는지(예: 학생이 표절 감지 소프트웨어에 작품을 제출하도록 요구하는 것은 신뢰 관계에 영향을 미치는지 [Ross and Macleod 2018]) 


At an institutional level, there are ethical implications of how technology is embedded within infrastructures and policy (Williamson and Hogan 2021). Amongst other things, we need to know

  • how data are stored, interpreted and used (e.g. what access and control do students have over their data),
  • how stable platforms will be over time (e.g. might they be discontinued; will their terms and conditions change) and
  • how students are affected by configurations (e.g. requiring students to submit work to plagiarism detection software affects trust relations [Ross and Macleod 2018]).

페다고지처럼 윤리는 교사의 전적인 책임이 될 수 없습니다. 대학 IT 직원과 상업적 제공업체 간의 업무 관계는 테크놀로지의 광범위한 제도적 구현뿐만 아니라 페다고지 및 윤리적 지식의 배포와 의사 결정에 영향을 미칩니다. VLE, 학습 분석 인터페이스, 화상 회의 소프트웨어 등의 상위 수준 구성은 경제성, 합법성, 데이터 보안 또는 테크놀로지 지원 측면뿐만 아니라 윤리적, 교육적 측면에서도 교육 기관의 구성원들이 이해해야 합니다(Williamson 2016). 교사에게 페다고지적 지식이나 테크놀로지적 지식만 따로따로 필요한 것이 아니라 이러한 지식의 조합이 필요한 것처럼, 조달, 지원, 유지보수, 실행, 정책 결정 및 교수진 개발의 책임이 있는 사람들도 마찬가지입니다.
Like pedagogy, ethics cannot be the sole responsibility of teachers. Working relationships between University IT staff and commercial providers shape not only broader institutional implementations of technology, but the distribution of pedagogical and ethical knowledge and decision-making. The higher-level configurations of VLEs, learning analytics interfaces, videoconferencing software, etc. should be understood by members across educational institutions, not just in terms of economics, legality, data security or technical support, but also in ethical and pedagogical terms (Williamson 2016). Just as teachers need more than pedagogical or technological knowledge in isolation but a combination of those forms of knowledge, so too do those with responsibilities in procurement, support, maintenance, implementation, policy-making and faculty development.

우리는 새로운 테크놀로지뿐만 아니라 모든 테크놀로지에 대해 윤리적 질문을 던져야 합니다. 디지털 플랫폼과 기기의 통합이 증가함에 따라 이러한 문제가 더욱 시급해졌지만, 교육에서 테크놀로지와 페다고지의 얽힘은 새로운 현상이 아닙니다(Cousin 2005; Murphy 외. 2001). 이러한 이유로 Adams(2020)는 테크놀로지 지식에 대한 개념을 문제 삼으며, 관련 테크놀로지가 교육 실천에 더욱 통합됨에 따라 '다른 지식과 겹치면 궁극적으로 투명해져 관심에서 멀어질 것'(53쪽)이라고 주장합니다. 즉, 테크놀로지는 맥락이 되고, 디자인 및 실습에 대한 물질적 또는 구체화 된 고려 사항에 주변적이됩니다 (Gourlay 2021). 새로운 것이 낯설거나 오래된 것이 보이지 않을 때 테크놀로지 윤리에 대한 무지는 변명의 여지가 없습니다. 우리는 항상 얽힘의 일부이며 항상 부분적으로 책임이 있습니다 (Barad 2007). 
We should ask ethical questions, not only about new technology but about all technology. Though the increasing integration of digital platforms and devices makes these issues more pressing, the entanglement of technology and pedagogy in education is not a new phenomenon (Cousin 2005; Murphy et al. 2001). For this reason, Adams (2020) problematises the idea of technological knowledge, arguing that when it ‘overlaps with other knowledges, [it] will ultimately become transparent and thus slip from attention’ (p. 53) as the relevant technology becomes more integral within teaching practice. In other words, technology becomes context, peripheral to material or embodied considerations of design and practice (Gourlay 2021). When faced with the unfamiliarity of the new, or the invisibility of the old, ignorance of the ethics of technology is not an excuse: we are always part of entanglements, and we are always partly responsible for them (Barad 2007).

평가 및 연구에 대한 시사점
Implications for Evaluation and Research

얽힘 모델의 열 1 또는 열 2로 대표되는 관점에 기반한 연구는 잠재적으로 오해의 소지가 있습니다. 예를 들어, 미디어 비교 연구(예: Zoom 대 실제 강의실, 온라인 대 캠퍼스 내 강의실)는 결정론적 관점에 의해 뒷받침되는 경우가 많습니다. 결과는 테크놀로지, 방법 또는 양식의 산물로 간주되지만 조건 내 분산이 조건 간 분산보다 큰 경우가 많으며(Dron 2021; Saba 2000), 통계적 테스트는 열 3에 표시된 복잡한 상호 관계로 인해 혼동을 일으킵니다. 명확한 결과를 도출하기 위해 문제가 있는 단순화를 사용하지만(Shulman 1987), 연구자들은 종종 유의미한 차이를 발견하지 못합니다(Dron 2021; Lockee 외. 2001; Saba 2000). 사바(2000)가 20여 년 전에 주장했듯이, 이는 연구 결과를 다른 연구자 및 실무자와 관련시킬 수 있는 설명 가능한 이론적 틀이 부족하기 때문입니다. 
Research based on views represented by Columns 1 or 2 of the entangled model is potentially misleading. For example, media comparison studies (e.g. Zoom vs physical classroom, or online vs on campus) are often underpinned by deterministic views. Outcomes are seen as products of technology, method or modality, yet variance within conditions is often greater than variance between them (Dron 2021; Saba 2000), and statistical tests are confounded by the complex interrelations shown in Column 3. Problematic simplifications are used to produce clear results (Shulman 1987), but researchers often find no significant differences (Dron 2021; Lockee et al. 2001; Saba 2000). As Saba (2000) argued, over 20 years ago, this stems from the lack of explanatory theoretical frameworks to make results relevant to other researchers and practitioners.

또한 교육의 혜택은 주로 현지화된 목적과 가치에 따라 달라집니다(Kanuka 2008). 최근의 많은 연구에서는 디지털 학습 환경(특히 온라인 또는 하이브리드 학습 환경)을 사회적, 물질적 맥락과 무관한 것으로 설명합니다(Fawns 2019; Gourlay 2021). 얽힌 페다고지 모델은 맥락, 목적, 가치 및 방법의 적절한 조합에 대한 테크놀로지의 관계가 더 중요하기 때문에 양식(코스 또는 프로그램이 캠퍼스에 있든, 온라인이든, 하이브리드이든)에 대해 불가지론적입니다. 온라인, 캠퍼스 내, 하이브리드 교육 간에는 중요한 차이점이 있지만, 이러한 분류는 각 요소의 상호 작용을 충분히 표현하지 못합니다. 디지털 교육은 항상 물질적이고 사회적이며 구체화되어 있으며(Fawns 외. 2019), 현대 고등 교육의 모든 교육 활동에는 양식에 관계없이 항상 디지털 측면이 존재합니다. 양식과 대강의 범주(예: '줌' 또는 '강의')를 넘어서면, 실제로 일어나는 일을 맥락화하고 우리 앞에 놓인 다양하고 상황에 맞는 요구에 대응할 수 있습니다. 테크놀로지와 방법은 항상 물질적, 사회적, 디지털 활동에서 창발하는 집합체이지만(Fawns 2019; Fenwick 2015), 공통의 특징과 패턴을 가지고 있습니다(Goodyear 2021).
Moreover, benefits of education are largely contingent on localised purposes and values (Kanuka 2008). Many recent studies describe digital learning environments (particularly in online or hybrid learning contexts) as independent of their social and material contexts (Fawns 2019; Gourlay 2021). The entangled pedagogy model is agnostic about modality (whether a course or programme is on campus, online or hybrid), because the relationship of technology to the situated combination of context, purposes, values and methods is more important. Whilst there are important differences between online, on campus and hybrid teaching, those labels are insufficient representations of the interplay of elements. Digital education is always also material, social and embodied (Fawns et al. 2019), and there is always some digital aspect of any educational activity in contemporary higher education, irrespective of modality. Looking past modality, and crude categories (e.g. ‘Zoom’ or ‘lectures’), allows us to contextualise what is actually happening and respond to the diverse and situated needs in front of us. Technologies and methods are always emergent assemblages of material, social and digital activity (Fawns 2019; Fenwick 2015), albeit with features and patterns of commonality (Goodyear 2021).

얽힌 평가를 위한 분석 단위는 구성 요소가 아닌 조합입니다. 테크놀로지나 교수법은 그것이 내재되어 있는 맥락과 분리하여 평가할 수 없습니다(Dron 2021; Fawns 외. 2021a; Fawns와 Sinclair 2021). 열 3의 각 요소도 내부적으로 얽혀 있습니다. 테크놀로지는 교육적 맥락의 일부이지만 학습의 대상이 될 수도 있습니다(즉, 교육 목적의 일부). 방법도 테크놀로지로 이해될 수 있으며, 사용 중인 테크놀로지를 이해하려면 맥락에 따라 형성되는 가치에 대해 질문하는 등의 작업이 포함됩니다. 따라서 교육적 춤을 추는 동안 무용수들(목적, 맥락, 가치, 방법, 테크놀로지)은 물레를 돌릴 때 흰색만 보이는 것처럼 분리를 무시하고 끊임없이 움직입니다. 각 요소는 명확한 시작과 끝이 없는 더 큰 얽힘 속에서 통합된 것으로 이해되어야 하기 때문에 테크놀로지나 페다고지를 먼저 또는 나중에 놓는 것은 불가능합니다(Barad 2007). 얽혀 있는 요소들(또는 Barad가 '기관'이라고 부르는)은 서로를 함께 구성하며, 테크놀로지 없이는 방법도 없고 맥락 없이는 가치도 없습니다. 교육적 얽힘은 유동적이며 '매우 구체적인 구성'(74쪽)입니다. 따라서 성과는 테크놀로지, 방법 또는 교사가 아니라 얽힘에 의해 발생하며, 주장은 '맥락에서 벗어난 요소가 아니라 전체 현상과 관련하여' 이루어져야 합니다(Oliver 2011: 377). 
The unit of analysis for entangled evaluation is combinations rather than components. Neither technologies nor teaching methods can be evaluated in isolation of the contexts in which they are embedded (Dron 2021; Fawns et al. 2021a; Fawns and Sinclair 2021). Each element in Column 3 is also internally entangled. Technologies are part of the educational context, but can also be objects of study (i.e. part of educational purpose). Methods can be understood as technologies; understanding technology in use involves interrogating values, which are shaped by context, and so on. Thus, during the pedagogical dance, the dancers (purpose, context, values, methods and technology) are in a constant whirr of motion, defying separation, just as only white can be seen in a spinning wheel of colours. It is impossible to put technology or pedagogy first or last because each element must be understood as integrated within a greater, emergent entanglement that has no clear beginning or end (Barad 2007). Entangled elements (or, as Barad calls them, ‘agencies’) co-constitute each other: there is no method without technology, no values without context, and so forth. Pedagogical entanglements are fluid and ‘highly specific configurations’ (p. 74). Thus, outcomes are not caused by technology, methods or teachers, but entanglements, and claims must be made ‘in relation to the whole phenomenon, and not to elements … taken out of context’ (Oliver 2011: 377).

교육자는 특정 접근 방식(예: 원격으로 실시하는 시험, 동기식 화상 회의 튜토리얼, '잠복'을 막기 위한 토론 포럼 평가)이 모든 학생에게 특정한 결과를 가져올 것이라고 가정하기보다는, 정책, 프로세스, 개인적 상황, 학습 환경 등이 어떻게 일부 활동에 문제를 일으키고 잠재적으로 학생들이 기대치를 뒤집으려는 욕구를 더욱 증가시킬 수 있는지 고려할 수 있습니다(Fawns and O'Shea 2019). 교육자는 위에서 설명한 윤리적 얽힘뿐만 아니라 직접적 및 부작용과 관련하여 교육에서 테크놀로지의 특정 통합이 자신의 가치와 학생의 가치에 어떻게 부합하는지 고려할 수 있습니다(Adams 2020; Dron 2021). 
Rather than assuming that certain approaches (e.g. remotely invigilated exams, synchronous video-conferenced tutorials or assessment of discussion forums to disincentivise ‘lurking’) will result in particular outcomes for every student, educators might take account of how policies, processes, personal circumstances, study environments and so on can make some activities problematic and, potentially, further increase the drive for students to subvert expectations (Fawns and O’Shea 2019). In relation to both direct and side effects, as well as the ethical entanglements described above, educators can also consider how particular integrations of technology in education align with their values, and with the values of their students (Adams 2020; Dron 2021).

결론
Conclusions


페다고지를 우선시하라는 요구는 이해할 수 있지만, 테크놀로지가 필연적으로 교육 및 학습 활동을 형성하는 방식을 잘못 표현하고 교육에서 테크놀로지의 가능성, 제약 및 위험에 대한 부적절한 인식으로 이어질 수 있습니다. 또한 테크놀로지가 페다고지의 유일한 동인이 될 수도 없습니다. 테크놀로지가 교육 문제를 해결하거나 특정 결과를 도출할 수 있다는 제안은 테크놀로지가 맥락에 내재된 방식을 지나치게 단순화합니다(Fawns 2019). 테크놀로지를 주도하는 페다고지에 대한 논의나 그 반대의 논의는 잘못된 이분법을 강화합니다. 페다고지는 단순한 방법이 아니며, 테크놀로지가 그 방법을 구현하기 위한 수단인 것도 아니다. 페다고지는 주관적으로 이해되는 맥락에서 목적과 가치와 관련하여 방법과 테크놀로지를 협상하는 것을 포함합니다. 
Whilst calls to put pedagogy first are understandable, they misrepresent the ways in which technology inevitably shapes teaching and learning activity, and may lead to inadequate appreciation of the possibilities, constraints and risks of technology in education. Nor can technology be the sole driver of pedagogy. Proposals that technology can solve educational problems, or produce particular outcomes, oversimply the ways in which technology is embedded in context (Fawns 2019). Discussions of pedagogy driving technology, or vice versa, reinforce a false dichotomy. Pedagogy is not just method, and technology is not just a vehicle for implementing that method. Pedagogy involves the negotiation of methods and technologies, in relation to purposes and values, in a subjectively understood context.

이 논문에서 저는 테크놀로지는 복잡한 교육 활동 내에서 항상 상호 의존적인 여러 요소 중 하나라는 얽힌 페다고지 모델을 제시했습니다. 이 모델은 교육자의 가치, 목적, 맥락은 물론 학생의 가치와도 일치하는 선택을 할 수 있는 강력한 기반을 제공합니다. 이 모델은 페다고지와 테크놀로지의 관계를 이해하는 세 가지 다른 방식(테크놀로지 우선, 페다고지 우선, 얽혀 있음)을 고려한 다음, 교육자가 설계와 실행에서 이러한 관계의 복잡성을 의미 있게 고려할 수 있는 방법에 대한 지향적인 관점을 제안합니다. 여기서 목적 가치와 맥락은 교육 설계 및 조율 과정에서 지속적으로 재검토함으로써 강조됩니다. 동시에 교사는 학생 및 다른 사람들과 협력하여 이러한 요소를 공동으로 협상하고 페다고지 지식은 교육 기관의 다양한 수준의 이해 관계자에게 배포됩니다 (Dron 2021). 이는 교육 활동의 효율성뿐만 아니라 윤리에도 중요합니다. 
In this paper, I have presented a model of entangled pedagogy, in which technology is one of a number of elements that are always interdependent within complex pedagogical activity. This model provides a stronger basis for making choices that align with educators’ values, purposes and contexts, as well as with those of their students. It considers three different ways of understanding the relationship between pedagogy and technology (technology first, pedagogy first and entangled), before proposing an aspirational view of how educators can meaningfully take account of the complexity of these relationships in design and practice. Here, purpose values and contexts are emphasised by continually revisiting them during teaching design and orchestration. At the same time, teachers collaborate with students and others to collectively negotiate these factors, and pedagogical knowledge is distributed across stakeholders at different levels of the institution (Dron 2021). This is important not only for the effectiveness but also the ethics of any entangled educational activity.

 


Abstract

‘Pedagogy first’ has become a mantra for educators, supported by the metaphor of the ‘pedagogical horse’ driving the ‘technological cart’. Yet putting technology first or last separates it from pedagogy, making us susceptible to technological or pedagogical determinism (i.e. where technology is seen either as the driving force of change or as a set of neutral tools). In this paper, I present a model of entangled pedagogy that encapsulates the mutual shaping of technology, teaching methods, purposes, values and context. Entangled pedagogy is collective, and agency is negotiated between teachers, students and other stakeholders. Outcomes are contingent on complex relations and cannot be determined in advance. I then outline an aspirational view of how teachers, students and others can collaborate whilst embracing uncertainty, imperfection, openness and honesty, and developing pedagogical knowledge that is collective, responsive and ethical. Finally, I discuss implications for evaluation and research, arguing that we must look beyond isolated ideas of technologies or teaching methods, to the situated, entangled combinations of diverse elements involved in educational activity.

 

분산된 인지: 보건의료전문직교육에 이론적 통찰과 실용적 적용: AMEE Guide No. 159 (Med Teach, 2023)
Distributed cognition: Theoretical insights and practical applications to health professions education: AMEE Guide No. 159 

James G. Boylea, Matthew R. Waltersb, Susan Jamiesonc and Steven J. Durningd aUndergraduate Medical School, School of Medicine, Dentistry and Nursing, University of Glasgow, Glasgow, UK; bSchool of Medicine, Dentistry and Nursing, University of Glasgow, Glasgow, UK; cHealth Professions Education Programme, School of Medicine, Dentistry and Nursing, University of Glasgow, Glasgow, UK; dCenter for Health Professions Education, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, MD, USA  

 

소개
Introduction

분산 인지(DCog)는 [ 결과outcome가 시스템의 기능에 따라 달라]지는 [복잡하고 협력적이며 역동적인 시스템]에서 [의료 서비스에 대한 보다 통합적인 관점]을 개발하기 위해 렌즈를 확대할 것을 장려하는 사회 인지 이론 계열에 속하는 이론으로, 의료 서비스에 대한 보다 통합적인 관점을 개발하도록 장려합니다. 따라서 DCog는 의료 서비스 제공 중 의료 전문가 교육에 적용되는 임상 성과(및 오류)를 탐구하는 데 유용한 렌즈입니다. 이 AMEE 가이드에서는 먼저 DCog를 정의하고 이론의 역사적 기원에 대한 세부 정보를 제공합니다. 그런 다음 다양한 의료 환경에서 수행된 이전 이론 기반 작업의 예를 제공한 다음, 진화하는 경험적 임상 스토리에서 10가지 핵심 원칙을 설명하여 이론적 통찰력을 설명하고, 이 사례에서는 내과 회진 팀의 인지 및 임상 추론에 대해 설명할 것입니다. 이 AMEE 가이드에서는 임상 추론을 '임상의가 임상 정보(병력, 검사 결과, 검사 결과), 선호도, 의학 지식, 맥락적(상황적) 요소를 통합하여 개별 환자의 치료에 대한 결정을 내리는 인지 과정'으로 정의합니다(Cook 외. 2019). 각 신조는 보건 전문직 교육에 대한 실질적인 시사점을 보여주는 사례로 마무리합니다.
Distributed cognition (DCog) is a member of a family of social cognitive theories that encourages us to zoom out, widening our lens to develop a more integrated view of healthcare in a complex, collaborative and dynamic system, where outcomes are dependent on how well the system functions. DCog is therefore a fecund lens for exploring clinical performance (and error) as applied to health professions education during healthcare delivery. In this AMEE Guide, we will begin by defining DCog, providing details of the historical origin of the theory. We will then provide examples of previous theory informed work done in different healthcare settings before explicating theoretical insights by expounding on 10 central tenets in an evolving empirical clinical story where we describe cognition and, in this case, clinical reasoning in an internal medicine rounding team. For the purposes of this AMEE Guide we will define clinical reasoning as ‘the cognitive processes by which clinicians integrate clinical information (history, exam findings, and test results), preferences, medical knowledge, and contextual (situational) factors to make decisions about the care of an individual patient’ (Cook et al. 2019). We conclude each tenet with examples of practical implications for health professions education.

분산 인지란 무엇인가요?
What is distributed cognition?

인지에 대한 우리의 이해는 상당한 진전을 이루었으며, 20세기 중반에 등장한 초기 정의는 인지가 정보 처리 활동이라는 견해를 공유했습니다. 예를 들어, Neisser(1967)는 인지'감각 입력이 변형, 축소, 저장, 복구 및 사용되는 모든 과정'을 의미한다고 정의했습니다. 선별된 정보 처리 이론(예: 이중 과정 이론, 인지 부하 이론)은 고도로 맥락화된 현상에서 개별 수준의 데이터를 검사하여 가시화할 수 있는 정신 활동으로서의 인지 연구에 정보를 제공하는 데 사용되어 왔습니다. 이와 동시에 인지에 대한 환경의 역할인지가 맥락 속에서 구체화되고 위치한다는 인식이 증가했습니다(Lave 1977; Greeno 1989).
There has been substantial progress in our understanding of cognition and early definitions, that emerged mid-way through the twentieth century, shared the view that cognition is an information processing activity. For example, Neisser (1967) defined cognition as referring ‘to all of the processes by which the sensory input is transformed, reduced, stored, recovered, and used’. Selected information processing theories (e.g. dual process theory, cognitive load theory) have been used to inform research in cognition as a mental activity that permits the inspection of individual level data from highly contextualized phenomena to be made visible. In parallel, there has been increasing recognition of the role of the environment on cognition; and that cognition is embodied and situated in a context (Lave 1977; Greeno 1989).

DCog는 상황성 이론으로 알려진 사회 인지 계열의 일원입니다. DCog는 가족 구성원의 교리(구체화 인지, 생태 심리학 및 상황 인지)를 수용하고 인지 시스템을 이해하려고 합니다(Durning and Artino 2011). 정보 처리 이론은 인지 과정이 머리 안의 뉴런 시스템 내의 조직에서 나온다고 가정합니다. 그러나 위의 Neisser의 정의는 인지가 발생하는 아키텍처 구조를 명시하지 않으며, 이러한 활동을 수행하는 모든 아키텍처 구조 또는 시스템을 인지적이라고 설명할 수 있습니다(Perry 2003). DCog 렌즈는 관심 있는 시스템에 따라 머리 밖건축 구조의 다양한 공간적 규모를 확대 및 축소할 수 있는 가능성을 제공합니다. 정보 처리 이론과 상황성 이론의 핵심적인 차이점은 표 1에 요약되어 있습니다. 
DCog is a member of a social cognitive family known as situativity theory. DCog embraces the tenets of family members (embodied cognition, ecological psychology and situated cognition) and seeks to understand cognitive systems (Durning and Artino 2011). Information processing theory posits that cognitive processes emerge from the organization within a system of neurons inside the head. Neisser’s definition above, however, does not specify the architectural structure in which cognition occurs; any architectural structure or system performing these activities could be described as cognitive (Perry 2003). The DCog lens provides the potential to zoom in and out at many spatial scales of architectural structure outside the head depending on the system of interest. The core differences between information processing and situativity theories are outlined for the reader in Table 1.

DCog의 역사적 기원은 에드윈 허친스의 선구적인 민족지학적 분석과 1980년대 중후반 미국 해군 함정 USS 팔라우의 항해 과정에 대한 그의 설명에 가장 큰 기원을 두고 있습니다. 현재 표준 텍스트로 자리 잡은 '야생에서의 인지'에서는 배의 위치와 항구에 정박하기 위한 진행 상황을 파악하기 위해 선원들이 지식과 정보를 측정, 조작, 공유하는 과정을 허친스의 광범위한 DCog 분석을 통해 놀라운 수준의 세부 정보를 제공합니다. 허친스(1995)와 샌디에이고 대학의 동료들이 수행한 이 중요한 연구는 선박 갑판의 항해 과정을 최초로 (인간 사회 행위자 그룹인) 선원과 (항해 차트와 같이 인간이 만든 도구인) 인공물을 포함하는 정보 처리 시스템으로 설명하는 데 기여했습니다. 
The historical origin of DCog is most attributed to the pioneering ethnographic analysis of Edwin Hutchins and his description of the navigation processes of the U.S. naval vessel USS Palau into harbour in the mid-late 1980s. In the now canonical text Cognition in the Wild, an incredible level of detail is provided by Hutchins’ extensive analysis of DCog with the ship crew measuring, manipulating, and sharing knowledge and information to determine the ship’s location and progress towards docking in the harbour. This seminal work by Hutchins (1995), and colleagues at the University of San Diego, served as the first description of the navigation process on the ship deck of a vessel as an information processing system that includes the ship crew – a group of human social actors and artifacts – such as human made tools like navigational charts – on the ship.

허친스(1995)는 항해 계급의 계층적 체계와 이러한 각 사회적 행위자가 항해 '수정 수행' 주기에서 수행해야 하는 역할과 책임을 설명합니다. 예를 들어, 

  • 항해사는 항해팀의 모든 활동을 감독합니다.
  • 선박은 전 세계 어딘가에 있으며 선박의 위치를 결정하거나 '수정'한다는 것은 특정 항해 차트에서 선박의 위치에 해당하는 위치를 찾는 것입니다.
  • 선박 승무원은 수정 주기라고 하는 활동 주기에 따라 선박의 위치를 지속적으로 표시해야 합니다. 여기에는 항해 팀원 여러 명이 3분 간격으로 정기적으로 항구에 들어오는 선박의 방위를 측정하고 플로팅하는 작업이 포함됩니다.
  • 수정 주기는 고도로 일상화된 활동으로, 선박이 올바른 항로를 유지하도록 하기 위해 사회적 행위자와 인공물의 복잡한 조율이 필요합니다.

Hutchins (1995) describes the hierarchical system of naval rank and the roles and responsibilities that each of these social actors is expected to play in the navigational ‘fix taking’ cycle. For example,

  • the quartermaster supervises all the activities of the navigation team.
  • The ship is somewhere in the world and to determine or ‘fix’ the position of the ship is to find the location on a particular navigational chart that corresponds to the position of the ship.
  • The ship crew need to continuously plot the ship’s position by a cycle of activity called the fix cycle. This involves several members of the navigation team taking and plotting bearings of the ship as it comes into the harbour, at regular three-minute intervals.
  • The fix taking cycle is a highly routinised activity, requiring the complex coordination of social actors and artifacts – all of which is crucial to ensure that the ship is on the correct course.

DCog는 항공기 조종석(Hutchins and Palen 1997; Hutchins 1995; Hutchins and Klausen 1996), 항공 교통 관제(Halverson 1995), 소프트웨어 팀(Flor and Hutchins 1992), 엔지니어링(Rogers and Ellis 1994), 의료 분야의 다양한 환경(Furniss and Blandford 2006; Furniss et al. 2019) 등 광범위한 업무 환경을 조명해왔습니다. 의료 분야는 위에서 설명한 작업을 기반으로 구축하기에 직관적인 후보였습니다.

  • 의료 전문가는 '공통의 가치 있는 목표를 향해 역동적이고 상호의존적이며 적응적으로 상호 작용하는 두 명 이상의 사람들로 구성된 구별 가능한 집합으로, 각각 수행해야 할 특정 역할이나 기능이 할당되고 멤버십 수명이 제한되어 있는 팀'으로 정의할 수 있는 전문가 간 팀에서 일합니다(Salas 외. 2001).

허친스의 선박 항해 사례와 마찬가지로, 의료 서비스에서의 성공은 시스템 전체가 얼마나 잘 작동하는지에 따라 달라집니다. 즉, 의료 서비스에서의 성공은 어느 한 의료 전문가에게만 기인할 수 없습니다. 예를 들어, 의료 전문가 혼자서 다른 팀원 및 환자의 전자 건강 기록(EHR)과 상호 작용하지 않고 구조화되지 않은 의료 문제를 성공적으로 해결하는 것은 상상하기 어려울 것입니다. 
DCog has shone light on a wide range of workplaces that include an aircraft cockpit (Hutchins and Palen 1997; Hutchins 1995; Hutchins and Klausen 1996), air traffic control (Halverson 1995), software teams (Flor and Hutchins 1992), engineering (Rogers and Ellis 1994) and different settings within healthcare (Furniss and Blandford 2006; Furniss et al. 2019). The workplace of healthcare was an intuitive candidate to build upon the work described above.

  • Health professionals work in interprofessional teams that can be defined as ‘a distinguishable set of two or more people who interact dynamically, interdependently and adaptively toward a common and valued goal, who have each been assigned specific roles or functions to perform and who have a limited life span of membership’ (Salas et al. 2001).

Just like Hutchins’ example of ship navigation, outcomes rely on how well the system functions as a whole – in other words success in healthcare cannot be attributable to any one health professional. For example, it would be difficult to imagine a solitary health professional successfully working through the ill-structured problems of medicine without having to interact with other team members and patients’ electronic health records (EHR).

연구팀은 임상 환경에서의 협업적 팀워크를 조사하기 위해 DCog를 사용할 것을 촉구했습니다(Hazlehurst 외. 2008; Boyle 외. 2020, 2021). 현재까지 DCog는 중환자실(Hazlehurst 외. 2003; Malhotra 외. 2007; Rajkomar and Blandford 2012), 외과 수술실(Hazlehurst 외. 2007), 응급실(Cohen 외. 2006; Feufel 외. 2011), 전문 클리닉(Lippa 외. 2017), 원격 의료(Kaufman 외. 2009) 등 여러 임상 환경을 연구하는 데 사용되었습니다. 특히, DCog는 다음에 사용되었습니다.

  • 복잡한 협업 환경에서 작업의 세부 사항을 밝히고,
  • 임상 치료를 지원하는 인지 인공물의 중재 역할에 초점을 맞추고(Nemeth 외. 2005),
  • 오류에 도움이 될 수 있는 분산된 인지 시스템의 특징을 식별하고(Horsky 외. 2003; Cohen 외. 2006; Malhotra 외. 2007),
  • 상황 인식(Hazlehurst 외. 2007)  공유 의사 결정(Lippa 외. 2017), 재택 원격 의료 워크플로(Kaufman 외. 2009), 의료 기기의 설계 및 사용(Furniss 외. 2015; Rajkomar and Blandford 2012) 을 연구하기 위해
  • 마지막으로 축구 부상으로 응급실에 내원한 환자를 둘러싼 의대생, 레지던트, 주치의 간의 상호작용을 이용한 직장 학습(Pimmer 외. 2013)

다양한 의료 환경에서의 DCog 정보 기반 업무에 대한 자세한 설명은 이 AMEE 가이드의 범위를 벗어나지만, 강조 표시된 사례가 독자의 공감을 불러일으키고 추가 탐색을 위한 유용한 이정표가 되기를 바랍니다.

Research teams have called for the use of DCog to examine collaborative teamwork in clinical environments (Hazlehurst et al. 2008; Boyle et al. 2020, 2021). To date, DCog has been used to study several different clinical environments, such as critical care (Hazlehurst et al. 2003; Malhotra et al. 2007; Rajkomar and Blandford 2012), the surgical operating room (Hazlehurst et al. 2007), emergency department (Cohen et al. 2006; Feufel et al. 2011), specialty clinics (Lippa et al. 2017) and telemedicine (Kaufman et al. 2009). In particular, DCog has been used

  • to reveal details of work in complex collaborative settings,
  • to focus on mediating roles of cognitive artifacts in supporting clinical care (Nemeth et al. 2005),
  • identify features of the distributed cognitive system that may be conducive to error (Horsky et al. 2003; Cohen et al. 2006; Malhotra et al. 2007),
  • to study situation awareness (Hazlehurst et al. 2007), shared decision making (Lippa et al. 2017), home telemedicine workflow (Kaufman et al. 2009), the design and use of medical devices (Furniss et al. 2015; Rajkomar and Blandford 2012) and finally
  • to describe workplace learning using interactions between a medical student, resident and attending physician around a patient who attended the emergency department with a soccer injury (Pimmer et al. 2013).

While an exhaustive description of DCog informed work in different healthcare settings is out with the scope of this AMEE Guide, we hope the highlighted examples provided resonate with the reader and provide a helpful signpost for further exploration.

진화하는 임상 스토리
An evolving clinical story

이제 내과 회진 팀의 인지 및 임상 추론에 대해 설명하는 진화하는 경험적 임상 스토리에서 10가지 핵심 원칙을 설명하여 DCog의 이론적 인사이트를 설명하겠습니다. 다양한 임상 추론 과정과 결과가 흔히 발생하는 전형적인 임상 업무 환경을 설명하는 것으로 이야기를 시작하겠습니다:
We will now explicate theoretical insights from DCog by expounding on 10 central tenets in an evolving empirical clinical story where we describe cognition and, in this case, clinical reasoning in an internal medicine rounding team. Let’s begin our story by describing a typical clinical workplace where various clinical reasoning processes and outcomes commonly occur:

'전환' 첫 주 월요일이었습니다. 내과의 아침 회진은 16병상 규모의 급성수용실(ARU)에서 시작되었고, 필요에 따라 종이 케이스 노트가 담긴 트롤리와 모바일 노트북 워크스테이션을 중심으로 매듭작업(임시) 팀이 처음으로 모였습니다: 주치의이자 학부 1년차 책임자인 George, 레지던트 Paula, 인턴 Linda, 수간호사 John, 약사 Richard, 의대생 Olivia가 모여 있었습니다. 간단한 소개가 끝난 후 
It was Monday on the first week of “changeover”. Morning rounds in Internal Medicine began in the 16 bed Acute Receiving Unit (ARU) where a knotwork (adhoc) team assembled, when necessary, around a trolley of paper case notes and a mobile laptop workstation for the first time; George the Attending and Undergraduate Year Director, Paula the Resident, Linda the Intern, John the Staff Nurse, Richard the Pharmacist and Olivia the Medical Student. After brief introductions,

존(수간호사): 1번 침대가 아닌 16번 침대부터 시작해도 될까요? 주드 씨는 흉통으로 입원한 45세 남성입니다. 한 시간 전에 열이 나서 야간 레지던트에게 주드 씨를 검토해달라고 요청해야 했습니다.
John (Staff Nurse): Do you mind if we start with Bed 16 rather than Bed 1? Mr Jude is a 45 year old man who had been admitted with chest pain. We had to ask the night resident to review Mr Jude because he had a fever an hour ago.

폴라(레지던트): 넘겨받은 물건이 많았어요. 제 기억으로는 핸드 오브에서 주드 씨를 언급했던 것 같아요. 화이트보드를 잠깐 볼게요. 네, 어제 저녁에 흉통으로 입원하셨어요. 야간 레지던트는 심장 허혈로 진단했고 트로포닌을 포함한 여러 가지 검사를 보냈다고 말했습니다. 밤새 심장내과 진료를 받았고 심근경색 검사에서 양성이 나오면 알려달라고 했습니다. 열의 원인에 대해 물었을 때 야간 레지던트는 작업 진단에 맞지 않는다고 말했지만 어쨌든 혈액 배양 세트를 채취했습니다. 올리비아, 병상 차트를 가져다 주면 전자 건강 기록에 액세스하기 위해 노트북을 가져올게요.
Paula (Resident): There was a lot of things handed over. From memory, I think Mr Jude was mentioned at handof. Let me have quick look at the white board. Oh yes, he was admitted yesterday evening with chest pain. The night resident said the working diagnosis was cardiac ischaemia and that they have sent off a bunch of tests including a troponin. Cardiology were consulted overnight and said let them know if the myocardial infarction screen was positive. When I asked about the cause of the fever, the night resident said it didn’t quite fit with the working diagnosis, but they have taken a set of blood cultures in any case. Oliva, if you grab the bedside chart, I will grab a laptop to access the electronic health record.

올리비아(의대생): 병상 차트를 찾을 수가 없어요. 흉부 엑스레이를 찍으러 가셨을 때 의사실에 두고 가신 건지 아니면 방사선과에 두고 가신 건지 궁금해요.
Olivia (Medical Student): I can’t seem to find his bedside chart. I wonder if it was left in the Doctors room or at radiology when he went for his Chest x-ray?

리처드(약사): 환자에게 다시 확인했는데 처방약을 복용하고 있지 않다고 합니다. 하룻밤 사이에 모르핀을 투여한 것 같습니다. 아스피린과 저분자량 헤파린이 처방되었지만 아직 투여되지 않았습니다.
Richard (Pharmacist): I double checked with the patient, and they are not on any prescription medication. Looks like they have given morphine overnight. Aspirin and low molecular weight heparin have been prescribed but haven’t been administered yet.

린다(인턴): 좋아 올리비아, 심전도 어때?
Linda (Intern): Okay Olivia, what do you think of the ECG?

올리비아(의대생): 부비동 빈맥 110bpm으로 보입니다. 심근경색의 증거는 보이지 않아요.
Olivia (Medical student): Looks like sinus tachycardia 110 bpm. I can’t see any evidence of myocardial infarction.

John(직원 간호사): 죄송해요, 제 간호 동료가 관찰한 내용을 포켓용 침대 시트에 메모해 두었습니다. 사실 오늘 아침 오른팔 혈압이 190/70mmhg로 꽤 높았어요.
John (Staff nurse): Sorry, my nursing colleague had a note of the observations on their pocket crib sheet. Right arm BP was actually pretty high this morning at 190/70mmhg.

조지(어텐딩, 야간 레지던트가 급히 작성한 서류를 내려다보며). 올리비아, 지금까지는 흉통, 발열, 부비동 빈맥, 고혈압이 있네요. 이것이 심장 허혈의 실제 진단과 일치하나요? 감별 진단을 염두에 두고 있나요?
George (Attending, glances down at the rushed clerking document completed by the night resident). So, Olivia, so far, we have chest pain, fever, sinus tachycardia and hypertension. Does that fit with a working diagnosis of cardiac ischaemia? Do you have a differential diagnosis in mind?

올리비아(의대생): 그렇지는 않지만 심장 허혈은 반드시 진단을 놓치지 말아야 합니다. 폐렴이나 폐색전증이 더 잘 맞는 것 같아요. 감염이 빈맥을 유발하고 통증이 고혈압을 유발할 수 있나요? 감염이나 색전증을 시사하는 염증 표지자나 D-다이머가 상승했는지 알고 싶습니다.
Olivia (Medical Student): Not really, but cardiac ischaemia is a must not miss diagnosis. I think pneumonia or even pulmonary embolus fits better. Could infection lead to tachycardia and the pain cause hypertension? I would like to know if the inflammatory markers or a D-Dimer were raised to suggest infection or embolus.

폴라(거주자, 깊은 한숨과 감탄사). 처음 두 대의 노트북 배터리가 방전되어 지연되어 죄송합니다. 세 번째는 운이 좋았어요! (폴라가 컴퓨터 화면을 가리킨다). 트로포 닌은 음성 인 것 같지만 염증 마커와 D- 이량 체가 올라갑니다. 누가 D-이합체를 검사했나요? 흉통이 흉막염이었나요?
Paula (Resident, deep sigh and interjects). Sorry for the delay, the batteries on the first two laptops were dead. Third time lucky! (Paula points at the computer screen). Looks like troponin is negative, but inflammatory markers and D-dimer are raised. Who checked a D-dimer? Was the chest pain pleuritic?

존(수간호사): 방해해서 죄송하지만 주드 씨의 통증이 점점 심해지는 것 같습니다.
John (Staff Nurse): Sorry to interrupt but Mr Jude’s pain appears to be getting worse.

조지(어텐딩): 팀원들, 가서 환자를 보러 가자. 존, 한 번 더 관찰하면 좋을 것 같아요.
George (Attending): Come on team, let’s go and see the patient. John it would be great if we get another set of observations.

회진팀은 병상 옆으로 가서 주드 씨를 보고, 조지는 관례대로 침대 왼쪽에서 가설에 근거한 병력 청취를 시작합니다.
The rounding team go to the bedside to see Mr Jude and George starts to take a hypothesis driven history from the left side of the bed (as is convention).

존(수간호사): 존은 침대 반대편에 있는 주드 씨에게 다가가 관찰 사항을 다시 확인하기 시작합니다. John은 먼저 산소 포화도와 체온이 정상이라고 팀원들을 안심시킵니다. 그런 다음 John은 전자 혈압계의 깜박이는 빨간색 디스플레이를 가리킵니다. 왼쪽 팔에서 측정한 혈압은 90/60mmHg에 불과합니다.
John (Staff Nurse): John approaches Mr Jude on the other side of the bed and begins rechecking the observations. John first reassures the team that oxygen saturations and temperature are normal. John then points at the flashing and alarming red display on the electronic blood pressure monitor. Blood pressure is only 90/60mmHg when measured on the left arm.

린다 (인턴): 좋아요 팀, 흉부 엑스레이를 잠깐 볼게요. (린다(인턴)가 침대 옆을 떠납니다.
Linda (Intern): Okay team, I’ll take a quick look at the chest x-ray. (Linda leaves the bedside).

린다 인턴은 노트북에서 흉부 엑스레이 이미지를 해석한 후 재빨리 침상 옆으로 돌아옵니다. 그녀는 조지가 불만 사항을 제시하는 기록을 완료할 때까지 기다립니다.
Linda interprets the chest x-ray image on the laptop and then quickly returns to the bedside. She waits until George has completed the history of presenting complaint.

조지(어텐딩): 주드 씨, 갑자기 통증이 시작되어 가슴이 찢어질 것 같네요.
George (Attending): So, Mr Jude, the pain came on suddenly and is tearing in character.

주드 씨: 맞아요, 의사 선생님 - 뭐 좀 처방해 주실 수 있나요? 점점 더 심해져서 이제는 견갑골 바로 사이가 아파요.
Mr Jude: That’s right doc – can you give me anything for it? It is getting worse and is now right between my shoulder blades.

조지(주치의가 시선을 돌리며 린다를 향해 고개를 끄덕이자 린다도 고개를 끄덕입니다):
George (Attending, turning his gaze and nodding towards Linda, who nods back):

주드 씨, 잠시만 기다려주세요 곧 돌아올게요. 리처드, 처방받은 약을 중단하도록 해 주세요.
Mr Jude, please give me a moment, I will be straight back. Richard, please make sure that we discontinue the prescribed medication.

폴라(레지던트): 좋아요, 정맥주사를 맞아야겠어요.
Paula (Resident): Okay, I better get some intravenous access.

린다, 조지, 올리비아가 침대 옆에서 노트북 쪽으로 모여듭니다.
Linda, George and Olivia congregate away from the bedside towards the laptop

린다(어텐딩): 흉부 엑스레이 필름에 종격동이 넓어졌어요.
Linda (Attending): He has a widened mediastinum on the chest x-ray film.

올리비아(의대생): 급성 대동맥 박리인가요?
Olivia (Medical Student): Is it an acute aortic dissection?

이 AMEE 가이드의 독자들이 우리의 임상 사례를 통해 의료 현장에서의 임상적 추론과 오류는 본질적으로 지저분할 수 있다는 점에 동의해 주시기를 바랍니다. 우리는 DCog 이론이 복잡성을 포용하고 그러한 혼란을 헤쳐 나가는 데 유용한 렌즈라고 믿습니다. 
We hope that the readers of this
 AMEE Guide will concur that our clinical story has reinforced that clinical reasoning and error in the wild of the healthcare workplace can be inherently messy. We believe that theory of DCog is a fecund lens with which to embrace the complexity and move forward through such messiness.

이제 다음 10가지 DCog의 핵심 교리를 설명하겠습니다. 이 교리는 모든 내용을 담고 있지는 않지만, 분산형 선박 항법 및 항공기 조종석 시스템에 대한 허친스의 중요하고 일반적으로 인용되는 연구를 이 AMEE 가이드의 독자들이 더 쉽게 이해할 수 있기를 바랍니다. 독자가 보건 전문직 교육 맥락에 익숙해지도록 진화하는 임상 이야기로 돌아가서 독자에게 더 친숙할 수 있는 10가지 원칙 각각에 대한 보건 전문직 교육 사례를 병행하여 제공할 것입니다. 이를 통해 보건 전문직 교육에서 DCog의 잠재적인 실제 적용 사례를 조명하고, 가능한 경우 추가 연구를 위한 질문을 제기할 것입니다. 다시 한 번 말씀드리지만, 이 글은 모든 내용을 담으려는 것이 아니며, 여러 분야에 대한 교리의 실제 적용에는 불가피하게 중복되는 부분이 있을 수 있습니다. 이 원칙을 살펴보면서 독자들은 각자의 상황이나 전문 영역에서 AMEE 가이드에 개념화되지 않은 이전 사례에 대한 잠재적 적용 가능성을 발견할 수 있을 것으로 기대합니다. 가이드의 다음 섹션은 표 2에 요약되어 있습니다. 
We will now expound the following ten central tenets of DCog, which are not meant to be exhaustive, but we hope make Hutchins’ seminal and commonly cited works on distributed ship navigation and an aircraft cockpit system to be more accessible to readers of this AMEE Guide. To orientate the reader to the health professions education context we will return to our evolving clinical story and provide a parallel health professions education example of each of the ten tenets that should be more familiar to the reader. By doing so, we will also endeavour to shine a light on some potential practical applications of DCog in health professions education and, where possible, posit questions for further research. Again, this is not meant to be exhaustive and inevitably there will be overlap in the practical applications of tenets to different areas. We anticipate that, as we move through the tenets, readers will identify potential applications to previous examples, perhaps in their own context or area of expertise that have not been conceptualised in the AMEE Guide. The following section of the Guide is summarised in Table 2.

분산 인지의 10가지 핵심 원칙
Ten central tenets of distributed cognition

신조 1: 인지는 시스템에서 탈중앙화되어 있다.
Tenet 1: Cognition is decentralized in a system

첫 번째 핵심 신조는 인지가 탈중앙화되어 있으므로 인지에 대한 분석 단위가 머릿속에만 국한되지 않는다는 것입니다. 처음부터 DCog는 '인지의 한 종류가 아니라 모든 인지에 대한 관점'이라는 점을 이해하는 것이 중요합니다(Hutchins 1991). DCog는 세상에서 일어나는 일에 대한 대규모 설명을 얻는 데 도움이 되는 거시적 이론입니다. 기존의 정보 처리 미시 이론과는 달리, 인지적이라고 간주되는 범위를 개인을 넘어 사회적 행위자와 인공물(예: 시스템) 간의 상호작용까지 포괄하도록 확장합니다. 또한 DCog는 인지 과정을 구성할 수 있는 요소의 범위를 넓혔습니다. Hollan과 동료들은 '단순히 뇌에서 일어난다고 해서 인지적 과정이 아니며, 여러 뇌 간의 상호작용에서 일어난다고 해서 비인지적 과정도 아니다'라고 가정합니다. 임상 사례로 돌아가서, 위에서 설명한 통합 임상 작업장에서 다른 개인이나 인공물과의 상호작용 없이 혼자 일하는 개인을 상상하기는 어려울 것입니다. DCog는 문제를 해결하고 과제(흉통 증상에 대한 임상적 추론의 과정과 결과)를 수행하는 데 사용되는 인지 자원(예: 정보 처리)이  개인(예: 어텐딩 조지)의 피부와 두개골 내에 국한되지 않는다는 것을 이해해야 할 필요성에서 출발했습니다, 더 큰 분석 단위에서 수행되어 인공물(종이 케이스 노트, 인수인계 보드, 침대 시트, EHR 및 병상 관찰 노트)의 사용과 다른 사회적 행위자(나머지 회진 팀과 첫 번째 환자 Jude 씨)의 참여를 통합합니다.

The first central tenet is that cognition is decentralized and thus the unit of analysis for cognition is not limited to inside the head. It is important from the outset to understand that DCog ‘is not a kind of cognition; it is a perspective on all of cognition’ (Hutchins 1991). DCog is a macro theory that helps us obtain a large-scale description of what is occurring in the world. Unlike the traditional information processing micro theories, it extends the reach of what is considered cognitive beyond the individual to encompass interactions between social actors and artifacts (e.g. the system). DCog also broadens the label of what might constitute a cognitive process. Hollan and colleagues posit that ‘a process is not cognitive simply because it happens in a brain, nor is a process noncognitive simply because it happens in the interactions among many brains’. Returning to our clinical story, in the integrated clinical workplace described above, it would be difficult to imagine a solitary individual working without any interaction with other individuals or artifacts. DCog grew out of the need to understand that cognitive resources (like information processing) used to solve a problem and perform a task (such as the process and outcome of clinical reasoning in the presentation of chest pain) are not confined within the skin and skull of an individual (such as George the Attending), they are performed across a larger unit of analysis to incorporate the use of artifacts (the paper case notes, the handover board, the crib sheet, the EHR and the bedside observation notes) and the involvement of other social actors (the rest of the rounding team and our first patient Mr Jude).

독자들이 자신의 의료 전문직 교육 상황과 자신이 속한 인지 체계의 규모를 고려하는 것이 좋습니다. 의과대학이나 병원 부서와 같은 대규모 시스템일 수도 있고 병동, 수술실, 상담 클리닉과 같은 소규모 시스템일 수도 있습니다. 규모가 크든 작든, 그리고 그 사이의 모든 시스템에서 인지는 커리큘럼 계획, 교수 및 학습 활동, 형성 및 총괄 평가와 관련하여 분산될 것입니다. DCog는 보건 전문직 교육 맥락에서 우리가 속한 다양한 시스템에 대한 이해를 향상시킬 수 있는 잠재력을 가진 이론입니다. 이제 임상 추론의 예로 돌아가서 각 신조를 살펴보면서 실제 적용 사례를 찾아보겠습니다. 
We would encourage readers to consider their own health professions education context and what sizes of cognitive system they belong to. It could be a large system like a medical school or hospital department or a smaller system like a ward, an operating theatre or consulting clinic. Large or small and everything in between, cognition will be decentralized whether it be related to curriculum planning, to teaching and learning activities, or to formative and summative assessment. DCog is a theory that has the potential to improve our understanding of the different systems we belong to in our own health professions education context. Let’s now return to our example of clinical reasoning and look for practical applications as we move through each tenet.

신조 2: 분석 단위는 시스템이다
Tenet 2: The unit of analysis is the system

두 번째 핵심 신조는 지식과 정보가 인지 체계의 모든 사람이 공유한다는 가정에서 출발한다는 것입니다. 즉, 이중 과정 이론은 모든 인지 과정이 머릿속에 집중되어 있다고 가정하지만, 허친스는 '모든 인지 사례는 분산된 과정에서 나온 것으로 볼 수 있으며', '항상 분산된 것으로 볼 수 있는 방법이 있다'고 단언합니다(Hutchins 2014). 허친스는 더 나아가 '중앙집중형과 분산형이라는 개념은 항상 조사의 규모에 따라 상대적'이라고 가정합니다. 즉, DCog는 세상을 바라보는 유일한 방법이 아니라 세상을 바라보는 한 가지 방법이라는 것입니다. 위에서 언급한 바와 같이, DCog의 분석 단위의 경계는 고정되어 있지 않으며 당연히 달라질 수 있습니다.

  • 예를 들어, 항공사 조종석에서는 조종사 개인이 아니라 비행기를 조종하는 데 필요한 조종사조종석 계기(아티팩트)가 분석 단위가 됩니다.
    • 실제로 비행기를 안전하게 비행하기 위해 분석 단위항공 교통 관제 팀으로 확장할 수 있습니다.
  • 임상 사례로 돌아가서 회진 팀, 아티팩트(종이 메모 및 EHR), 환자(주드 씨)를 하나의 시스템으로 설명할 수 있으며, 주드 씨의 흉통과 발열을 성공적으로 진단하고 관리하기 위해서는 개인의 인지적 특성 외에도 이 시스템 내의 임상적 추론이 매우 중요합니다.
    • 조종석의 예와 마찬가지로 분석 단위를 더 확장하여 그날 아침에 발생한 야간 팀핸드오프, 배양이 진행되는 실험실, 영상의학과에서 흉부 엑스레이를 촬영한 방사선사와 필름을 보고해야 하는 방사선사까지 포함할 수 있습니다.

A second central tenet is that DCog begins with the assumption that knowledge and information is shared by all in a cognitive system. In other words, while dual process theory posits that all cognitive processes are centralized inside the head, Hutchins affirms that ‘all instances of cognition can be seen as emerging from distributed processes’ and that there is ‘always a way to see it as distributed’ (Hutchins 2014). Hutchins goes further to posit that ‘the notions of centralized and distributed are always relative to some scale of investigation’. In other words, DCog is one way of looking at the world rather than the only way of looking at the world. As suggested above, the boundaries of the unit of analysis for DCog are not fixed and of course can vary. For example,

  • in an airline cockpit, the pilots and cockpit instrumentation (artifacts) constitute the unit of analysis that are necessary to fly the plane rather than an individual pilot.
    • Indeed, to fly the plane safely, the unit of analysis could be expanded to include the air traffic control team.
  • Returning to our clinical story, the rounding team, the artifacts (paper notes and EHR) and the patient (Mr Jude) could be described as a system – and besides the individual cognitive properties, clinical reasoning within this system is crucial to diagnose and manage Mr Jude’s chest pain and fever successfully.
    • Just like the cockpit example, the unit of analysis could be expanded further to include the night team and the handoff that occurred that morning, to the laboratory that the cultures are being processed in, and the radiographer that carried out chest x-ray in the radiology department and the radiologist who is to report the film.

독자들이 각자의 의료 전문직 교육 맥락에서 분석 단위를 고려할 것을 권장합니다. 예를 들어, 급성 대동맥 박리와 같이 놓쳐서는 안 되는 진단 라벨을 부착하는 데 필요한 진단 및 임상적 추론을 여러 유형의 장비를 사용하는 여러 선수가 참여하는 진정한 팀 스포츠로 간주할 수 있습니다(Thomas and Newman-Toker 2016). 라운딩 시간에 대한 임상 사례에서

  • 팀의 성과를 평가하기 위해 어떤 분석 단위를 사용해야 할까요?
  • 시간 경과에 따른 진단 오류로 이어지는 시스템의 고장을 조사하려면 어떤 분석 단위를 사용해야 할까요?

We encourage readers to consider units of analysis in their own health professions education context. For example, we could consider diagnosis and the clinical reasoning required to attach a must not miss diagnostic label like an acute aortic dissection to Mr Jude as a truly team sport with several players aided by different types of equipment (Thomas and Newman-Toker 2016). In our clinical story of a rounding time,

  • what unit of analysis should we use to assess the team’s performance?
  • What unit of analysis should we use to examine breakdowns in the system leading to diagnostic error through time?

의료 전문직 교육에서 임상 추론의 평가는 선다형 객관식 문제, 실무 기반 평가(예: 미니-CEX) 또는 객관적 구조화 임상시험(OSCE) 등 개인과 머릿속의 인지 과정에 초점을 맞추는 경우가 많습니다(Holmboe and Durning 2014; Daniel 외. 2019; Schuwirth 외. 2020).

  • DCog는 특정 시스템 내에서 팀의 임상 추론 수행에 대한 유효하고 신뢰할 수 있는 평가의 개발과 역량 기반 교육에서 전문가 간 임상 팀의 맥락에서 위탁 가능한 전문 활동의 개발에 정보를 제공할 수 있습니다(Frank 외. 2010; Ten Cate 외. 2018).
  • 또한 DCog 렌즈를 통해 팀에 대한 평가자 인지에 대한 이해를 확장할 수 있습니다(Gingerich 외. 2014).

예를 들어, 여러 전문가 간 관점이 개별 학습자에 대한 팀의 참조 프레임에 어떤 영향을 미칠까요(Kogan 외. 2011). DCog 렌즈를 통해 우리는 다양한 집단 교수 및 학습 활동에 영향을 미치는 팀의 임상적 추론 역량을 정의하는 방법을 알 수 있습니다(Swing 2007; Frank 외. 2014; Olson 외. 2019).
Assessment of clinical reasoning in health professions education, whether it be by single best answer multiple choice questions, work placed based assessments (e.g. mini-CEX) or objective structured clinical examinations (OSCE), often focuses on the individual and the cognitive processes inside the head (Holmboe and Durning 2014; Daniel et al. 2019; Schuwirth et al. 2020).

  • DCog could inform the development of valid and reliable assessments of team clinical reasoning performance within a specific system as well as entrustable professional activities in the context of interprofessional clinical teams in competency-based education (Frank et al. 2010; Ten Cate et al. 2018).
  • Through a DCog lens we could also extend our understanding of rater cognition for teams (Gingerich et al. 2014).

For example, how do multiple interprofessional perspectives influence a team’s frame of reference for an individual learner? (Kogan et al. 2011). Through a DCog lens we could inform how we define the competencies of clinical reasoning of teams that inform a range of our collective teaching and learning activities (Swing 2007; Frank et al. 2014; Olson et al. 2019).

신조 3: 인지 프로세스는 분산되어 있다.
Tenet 3: Cognitive processes are distributed

세 번째 핵심 신조는 DCog 렌즈를 통해 시스템이 '다양한 기능을 수행하기 위해 하위 시스템을 조정하도록 스스로를 동적으로 구성'할 것으로 기대한다는 것입니다(Hollan 외. 2000). 이 경우 DCog는 인지 과정이 반드시 공간에서의 공동 위치가 아니라 시스템 내 요소들의 기능적 관계에 따라 사회적, 물질적, 시간적으로 분산되어 있음을 발견할 것으로 기대합니다. 현상의 분포 방식은 다음과 같이 세 가지로 구분할 수 있습니다(Rogers and Ellis 1994; Hollan 외. 2000):
A third central tenet is that through a DCog lens, a system is expected to ‘dynamically configure itself to bring subsystems into coordination to accomplish various functions’ (Hollan et al. 2000). When this occurs DCog expects to find that cognitive processes are sociallymaterially and temporally distributed by the functional relationship of the elements in the system, not necessarily by their co-location in space. Three different ways of phenomena being distributed have been described (Rogers and Ellis 1994; Hollan et al. 2000) and are as follows:

  • 사회적 분산: 인지 과정이 사회 집단의 구성원 전체에 분산될 수 있습니다. 예를 들어, 배에서 수리를 하는 동안 선원들이 서로 의사소통을 하거나 레지던트 폴라와 수간호사 존이 밤새 환자의 경과에 대한 지식을 공유하고 회진에서 주드 씨가 마지막이 아닌 첫 번째로 진료를 받았다는 사실을 우선순위에 두는 경우가 이에 해당합니다. 
    Socially distributed
    : cognitive processes may be distributed across the members of a social group. For example, between the ship crew members communicating with each other during fix taking on a ship or between Paula the resident and John the staff nurse sharing their knowledge of the patient’s progress overnight and prioritizing that Mr Jude was seen first rather than last on rounds.
  • 물질적 분산: 인지 과정에는 내부(머리 속)와 외부(머리 밖) 표상 또는 지식 구조 간의 조정이 포함될 수 있습니다. 예를 들어, 선박 승무원이 배를 수리하는 동안 배에서 항해 차트를 사용하거나 간호사 John이 침대 시트에 관찰 사항을 기록하거나 야간 팀이 인수인계 보드에 기록하는 것을 들 수 있습니다.
    Materially distributed
    : cognitive processes may involve coordination between internal (inside the head) and external representations (outside the head) or knowledge structures. For example, ship crew members using navigational charts on the ship during fix taking on a ship or John the nurse writing down the observations on a crib sheet or the night team writing on the handover board.
  • 시간적 분산: 인지 프로세스는 이전 이벤트의 산물이 이후 이벤트의 성격을 변화시킬 수 있는 방식으로 시간에 따라 분산될 수 있습니다. 예를 들어, 수정 작업 주기가 시작되기 위해서는 먼저 배의 날개에 서서 알리다데(특수 망원경 조준 장치)를 사용하여 해안에 있는 랜드마크를 찾은 다음 알리다데를 사용하여 랜드마크의 방위를 측정하는 선박 승무원이 필요합니다. 임상 사례의 한 예로, 야간 레지던트가 야간 회진을 할 때 일상적인 관찰에서 발열이 발견되어 회진 팀에서 즉시 심장 허혈 진단 라벨을 넘겨받은 일이 있습니다.
    Temporally distributed
    : cognitive processes may be distributed through time in such a way that the products of earlier events can transform the nature of later events. For example, for the fix taking cycle to begin, a ship crew member – called the bearer – initially must find the landmark on the shore by standing on the wings of the ship and then measuring the bearings of the landmark using an alidade (special telescopic sighting device). An example from our clinical story is that the night resident’s handoff of the diagnostic label of cardiac ischaemia was promptly challenged by the team on rounds due to the finding of a fever on routine observations when the nursing staff were doing their rounds overnight.

독자들은 각자의 보건 전문직 교육 맥락에서 인지 과정이 분포하는 세 가지 방법을 고려해 보시기 바랍니다. 몇 가지 다른 맥락을 차례로 살펴보겠습니다:
We encourage readers to consider three ways cognitive processes are distributed in their own health professions education context. Let’s look at some different contexts in turn:

  • 임상 추론을 가르치는 교수진 개발 활동에서 인지 과정이 사회적으로 어떻게 분배되나요? 예를 들어, 교수진은 임상 추론에 대한 동일한 운영 정의를 공유하고 있나요? 
  • 학습 중에 인지 과정이 물질적으로 어떻게 분배되나요? 예를 들어, 팀이 임상 의사결정 지원 시스템에 접근하는 방식이 임상 추론 학습에 어떤 영향을 미칩니까(Leung 외. 2003)? 
  • 학습자의 임상 추론은 시간에 따라 어떻게 분배될까요? 예를 들어, DCog는 종단적 커리큘럼 내에서 의대생의 임상 추론 발달에 대한 데이터를 언제 어디서 수집해야 하는지 알려줄 수 있습니다. 
  • How are cognitive processes socially distributed across our faculty development activities in the teaching of clinical reasoning? For example, do our faculty share the same operational definition of clinical reasoning?
  • How are cognitive processes materially distributed during learning? For example, how does the way teams access clinical decision support systems influence the learning of clinical reasoning (Leung et al. 2003)?
  • How is our learners’ clinical reasoning distributed through time? For example, DCog could inform where and when to gather data of medical students’ development in clinical reasoning within a longitudinal curriculum.

이 세 가지 방법으로 DCog 렌즈를 통해 수집된 데이터는 학습 분석, 학업 궤적 모니터링, 어려움을 겪는 학습자의 적시 식별 및 보건 전문직 교육에서 프로그램적 평가를 향한 움직임 내에서 적응 전문성 분야에 정보를 제공할 수 있습니다(Schuwirth and Van der Vleuten 2011, Chan 외. 2018, Pusic 외. 2018, Landoll 외. 2022). 
Data gathered through a DCog lens in each of these three ways could inform the field of learning analytics, academic trajectory monitoring, the timely identification of struggling learners and adaptive expertise within the movement towards programmatic assessment in health professions education (Schuwirth and Van der Vleuten 2011; Chan et al. 2018; Pusic et al. 2018; Landoll et al. 2022).

신조 4: 인지 과정은 상호작용에서 창발한다.
Tenet 4: Cognitive processes emerge from interactions

네 번째 핵심 신조는 인지를 관심 있는 시스템의 요소들의 상호 작용에서 나타나는 과정으로 항상 조사할 수 있다는 것입니다. 허친스는 여기서 더 나아가 인지의 분포 여부나 시기가 아니라 '인지 체계의 요소, 요소 간의 관계, 그리고 이러한 요소 간의 상호작용으로부터 인지 과정이 어떻게 발생하는지'를 고려하도록 도전합니다. (허친스 1991). 따라서 관심 있는 시스템의 인지가 각 부분 간의 상호 작용에서 비롯된 것으로 간주되도록 다양한 조사 척도를 선택할 수 있습니다. DCog는 인지 과정이 분산되어 있다는 개념을 넘어, 인지 과정이 비선형적이어서 입력에서 예측한 것과 다를 수 있고, 실제로는 부분의 합보다 크거나 작을 수 있는 출력을 생성한다고 가정합니다. 따라서 허친스는 DCog를 '어느 개인에게 귀속되지 않는 공동의 인지적 성취'라고 설명했습니다(Hutchins 1996). 임상 사례로 돌아가서, 병상에서 팀원과 환자 간의 상호작용을 통해 병력, 양쪽 팔의 혈압 차이, 비정상적인 흉부 엑스레이를 함께 구성하여 급성 대동맥 박리라는 가장 가능성이 높은 진단에 대한 공유된 정신 모델을 형성한 과정을 살펴볼 수 있습니다.
A fourth central tenet is that it will always be possible to investigate cognition as a process that emerges from the interactions of the elements in the system of interest. Hutchins goes further by challenging us to ask not if, when or whether cognition is distributed but to consider ‘the elements of the cognitive system, the relations among the elements, and how the cognitive process arise[s] from the interactions among those elements.’ (Hutchins 1991). Thus, one can select different scales of investigation such that cognition in systems of interest is seen as emergent from interactions among their parts. DCog goes beyond the concept that cognitive processes are distributed and posits that they are also non-linear creating outputs that may be different from what is predicted from the inputs – indeed, they could be greater or less than the sum of the parts. Thus, Hutchins has described DCog as a ‘joint cognitive accomplishment not attributable to any individual’ (Hutchins 1996). Returning to our clinical story, we can see how the interaction between team members and the patient at the bedside was co-constructed to elicit an evolving history, the difference in blood pressure in each arm and the abnormal chest x-ray to a form a shared mental model of the most likely diagnosis of acute aortic dissection.

독자들이 자신의 보건 전문직 교육 맥락에서 상호작용을 통해 인지 과정이 어떻게 나타나는지 생각해 볼 것을 권장합니다. 몇 가지 다른 상호작용을 차례로 살펴보겠습니다. DCog는 문제 기반 학습(PBL), 사례 기반 학습(CBL), 팀 기반 학습(TBL)과 같은 학습 및 교수 활동 중에 학생들이 문제 또는 사례를 통해 임상적으로 추론하면서 학습하는 방식에 대한 이해를 높이는 데 사용할 수 있습니다. 예를 들어,

  • 소그룹 학습에서 학습자 간의 상호 작용을 통해 학습자의 임상적 추론이 어떻게 나타날까요?
  • 사용된 자극, 그룹의 규모, 학습자의 수준, 활동의 전문가 간 여부가 상호작용 패턴에 어떤 영향을 미칠까요?
  • 학습자의 임상적 추론은 시간이 지남에 따라 교수진과의 상호작용을 통해 어떻게 발전하나요?
  • 소그룹 학습 중 교수자의 촉진은 시간이 지남에 따라 학습자와의 상호 작용을 통해 어떻게 나타나나요?

인지 과정의 비선형성과 진단적 추론과 관리적 추론의 관계를 더 잘 이해하면 예를 들어 소그룹 교육에 대한 새로운 접근 방식의 교육 설계에 정보를 제공할 수 있습니다(Cook 외. 2018). 
We encourage readers to consider how cognitive processes emerge from interactions in their own health professions education context. Let’s look at some different interactions in turn. DCog could be used to improve our understanding of how students learn as they clinically reason through a problem or case during learning and teaching activities such as problem-based learning (PBL), cased based learning (CBL) and team-based learning (TBL). For example,

  • how does learners’ clinical reasoning emerge through interactions between each other in small group learning?
  • What influence does the stimulus used, the size of the group, the level of the learner and whether the activity is interprofessional have on the patterns of interactions?
  • How does learners’ clinical reasoning emerge through interactions with faculty over time?
  • How does faculty’s facilitation during small group learning emerge through interactions with the learners over time?

A greater understanding of non-linearity of cognitive processes and the relationship of diagnostic versus management reasoning could for example inform the instructional design of new approaches to small group teaching (Cook et al. 2018).

신조 5: 인지 과정은 상호 의존적이다.
Tenet 5: Cognitive processes are interdependent

다섯 번째 핵심 신조는 인지 과정도 상호 의존적이라는 것, 즉 작업을 완수하기 위해서는 서로 의존해야 한다는 것입니다(Durning and Artino 2011). 예를 들어, 미시적 수준의 분석으로 확대하면 인지 프로세스는 지식 구조라고도 하는 표현 상태의 생성, 변환 및 전파를 통해 실현됩니다(Simon 1981; Hutchins 1995). 즉, 조정된 외부 표상은 여러 모드(예: 시선에서 제스처, 음성, 필기 노트 등)로 시스템을 통해 흐릅니다. 허친스는 '픽스 플로팅이라는 비교적 단순하지만 중요한 조정 활동을 위해 일어나는 미디어 전반에 걸친 표상 상태의 세부적인 조정'을 설명합니다(Rogers 1997). 예를 들어, 픽스 플로팅은 다양한 표현 상태의 생성 및 변형으로 특징지어져 왔습니다(Rogers and Ellis 1994).

  • 배의 승무원으로 돌아가서, 한 명의 승무원(소지자)은 랜드마크의 이름과 설명을 기억(내부 표상)하는 동시에 알리다데를 사용하여 랜드마크를 특정 설정과 정렬(물질적으로 매개된 표상 상태의 조정)하는 랜드마크의 목격(외부 표상)과 조율해야 합니다.
  • 플롯을 고정하는 다음 단계는 소지자가 전화 회로를 통해 자신의 판독값을 조종실에 있는 다른 선박 승무원인 방위 타이머 기록자에게 보고하는 것입니다(사회적으로 분산되고 물질적으로 매개된 표상 상태의 조정).
  • 그런 다음 방위 타이머 기록자는 보고된 방위를 방위 일지에 기록합니다(물질적으로 매개된 표상 상태의 조정).
  • 그런 다음 이 정보가 다음의 두 가지 중 하나의 방식으로 다른 선박 승무원인 플로터에게 전파되고 플로터는 다양한 도구를 사용하여 종이 항해도에 이 정보를 플로팅합니다(물질적으로 매개된 표상 상태의 조정).
    • 방위 타이머 기록자가 구두로 정보를 전달하거나(사회적으로 분산된 표상 상태의 조정)
    • 종이 일지를 읽는(다시 내부 및 외부 표상 상태의 조정) 플로터에 의해 

A fifth central tenet is that DCog suggests that cognitive processes are also interdependent – in other words, they must rely on each other to get the job done (Durning and Artino 2011). For example, zooming in to a micro-level of analysis, cognitive processes are realized through the creation, transformation, and propagation of representational states, also known as knowledge structures (Simon 1981; Hutchins 1995). In other words, coordinated external representations flow through the system in multiple modes (for example, gazes to gestures to speech to writing notes). Hutchins describes the ‘detailed coordination of representational states across media that take place for the relatively simple, but critical coordinating activity of plotting a fix’ (Rogers 1997). For example, plotting a fix has been characterized as the creation and transformation of various representational states (Rogers and Ellis 1994).

  • Returning to our ship crew, one member – the bearer – must remember (internal representation) the name and description of the landmark while coordinating with the sighting (external representation) of the landmark using the alidade to line up the landmark with a particular setting (materially mediated coordination of representational states).
  • The next stage of fixing a plot involves the bearer reporting his readings over a telephone circuit to another ship crew member – the bearing timer-recorder – who is located in the pilothouse (socially distributed and materially-mediated coordination of representational states).
  • The bearing timer recorder then writes the reported bearings in a bearings logbook (materially mediated coordination of representational states).
  • This information is then propagated to another ship crew member – the plotter – either
    • by the bearing timer-recorder verbally communicating the information (socially distributed coordination of representational states) or
    • by the plotter reading from a paper logbook (again coordination of internal and external representational states) who then plots this information on a paper navigational chart by using various instruments (materially mediated coordination of representational states).

임상 사례로 돌아가서, 표상은 여러 가지 특성을 가질 수 있는데, 관심 있는 시스템에서 여러 사회적 행위자가 서로 엮고 공동 구성할 수 있을 뿐만 아니라 시간과 공간을 통한 접근성, 영속성 및 안정성에 따라 입증될 수 있습니다(Pimmer 외. 2013; Boyle 외. 2021). 예를 들어, 다음을 들 수 있습니다.

  • 레지던트 간의 잊혀지기 쉬운 인수인계,
  • 초기에 잘못 배치된 병상 관찰 기록,
  • 중요한 흉부 엑스레이 이상을 검토하기 위한 전자 건강 기록에 대한 지연된 액세스

Returning to our clinical story, representations can have several characteristics – they can be interwoven and co-constructed by multiple social actors in the system of interest, as well as substantiated depending on their accessibility, permanence and stability through time and space (Pimmer et al. 2013; Boyle et al. 2021). For example,

  • the ephemeral dyadic handoff between residents,
  • the initially misplaced bedside observation notes, and
  • the delayed access to the electronic health record to review the pivotal chest x-ray abnormality.

공간과 시간을 통한 일련의 표현 상태는 관심 있는 시스템이 목표를 달성하는지 여부(예: 배가 정확한 시간에 항구에 도착하는지 또는 의료팀이 주드 씨에 대한 정확한 진단을 제시간에 내리는지 등)를 밝혀 생명을 구하는 치료의 메커니즘을 밝혀낼 수 있는 잠재력을 가지고 있습니다. 허친스는 '...이 계산 시스템의 속성은 [개별 행위자의 인지적 속성]만큼이나 [표상 매체의 특성과 표상 간의 상호 연결 패턴]에 의해 결정됩니다...'(Hutchins 1992)라고 주장합니다. 
The sequence of representational states through space and time has the potential to shine a light on the mechanism(s) by which the system of interest achieves a goal or not – for example if the ship reaches the harbour at the correct time or if the team reaches the correct diagnosis for Mr Jude in time – in this case for life-saving treatment. Hutchins purports that the ‘…properties of this computational system are determined as much by the nature of the representational media and the pattern of interconnection among representations as they are by the cognitive properties of the individual actors…’ (Hutchins 1992).

독자들이 자신의 보건 전문직 교육 맥락에서 인지 과정이 표상 상태를 통해 어떻게 상호 의존적으로 실현되는지 생각해 볼 것을 권장합니다. Pimmer 등은 이미 직장 학습에 대한 설득력 있는 설명을 제공했으므로 임상 추론을 위한 시뮬레이션 교육이라는 또 다른 예를 고려해 보겠습니다(Pimmer 등, 2013; Rybing 등, 2016; Rybing 2018). 시뮬레이션 시나리오의 설계는 학습자 또는 학습자 그룹이 몰입하는 동안 임상 추론에 어떤 영향을 미칠까요? 병동 또는 수술실의 예와 마찬가지로 시뮬레이션실작은 시스템으로 개념화할 수 있습니다. 콘텐츠와 충실도에 대한 설계 선택은 시스템 내에서 생성되는 표현 상태와 시간이 지남에 따라 변형 및 전파되는 방식에 큰 영향을 미칠 수 있습니다. 예를 들어,

  • 시나리오에서 심맨 또는 시뮬레이션 환자를 사용하며 두 가지 모두 임상적 추론을 위한 정보 수집을 동일한 방식으로 용이하게 하나요?
  • 인계가 음성으로 이루어지나요, 수기로 이루어지나요, 아니면 둘 다 이루어지나요?
  • 시뮬레이션 룸에 전자 건강 기록이 있으며 학습자에게 이에 대한 안내가 제공됩니까?
  • 또 다른 중요한 고려 사항은 시간이 지남에 따라 시뮬레이션에 어떤 변화가 발생합니까?

We encourage readers to consider how cognitive processes are interdependently realized through representational states in their own health professions education context. Pimmer et al. have already provided a compelling account in workplace learning so let’s consider another example, simulation education for clinical reasoning (Pimmer et al. 2013; Rybing et al. 2016; Rybing 2018). How does the design of a simulation scenario influence a learner or group of learners’ clinical reasoning during immersion? Just like the examples of a ward or operating theatre, a simulation room can be conceptualized as a small system. Design choices around content and fidelity have the potential to greatly influence which representational states are created within the system and how they are then transformed and propagated over time. For example,

  • does the scenario use a Sim Man or a simulated patient and do both facilitate information gathering for clinical reasoning in the same way?
  • Is the handover spoken or handwritten or both?
  • Is there an electronic health record present in the simulation room and are the learners signposted to it?
  • Another important consideration is what changes to the simulation occur over time?

예를 들어, 시뮬레이션된 환자의 스크립트 및 심박수, 혈압, 몰입 중 학습자의 대리인 등 생체 의학적 관찰에 대한 변화는 시스템 내에서 임상적 추론에 영향을 미칠 가능성이 매우 높습니다. 교수자가 주도하는 학습자 디브리핑 중에 인지 과정이 표상 상태를 통해 상호 의존적으로 실현되는 방식, 예를 들어 시뮬레이션에서 어떤 클립과 임상 추론 요소에 집중하기로 선택하는지 등을 고려하기 위해 시뮬레이션 제품군의 시스템으로 시간을 더 확대할 수 있습니다(Dreifuerst 2012).
For example, the scripts of the simulated patient(s) and changes to biomedical observations such as heart rate, blood pressure and the agency of the learner(s) during immersion are very likely to influence clinical reasoning within the system. We can zoom out further to the system of the simulation suite through time to consider how cognitive processes are interdependently realized through representational states during faculty led learner debrief and, for example, on what clips and elements of clinical reasoning in the simulation they choose to focus (Dreifuerst 2012).

신조 6: 사회적 조직은 인지적 아키텍처이다.
Tenet 6: Social organization is a cognitive architecture

여섯 번째 핵심 교리는 거시적 분석 수준에서 확대할 때 인지 과정은 관심 시스템의 인지 구조를 반영하는 사회적 조직에 의해 크게 영향을 받는다는 것입니다. Hollan 등(2000)은 다음을 고려할 것을 권장합니다. 

  • '우리가 일반적으로 개인의 마음과 연관 짓는 인지 과정이 개인들의 집단에서 어떻게 구현되는지,
  • 집단의 인지 특성은 그 집단에서 행동하는 사람들의 인지 특성과 어떻게 다른지,
  • 집단 활동에 참여함으로써 개인의 마음의 인지 특성이 어떻게 영향을 받는지'

A sixth central tenet is that when zooming out at a macro-level of analysis, cognitive processes are heavily influenced by social organization which reflects a form cognitive architecture in the system of interest. Hollan et al. (2000) encourages us to consider ‘

  • how are the cognitive processes we normally associate with an individual mind implemented in a group of individuals,
  • how do the cognitive properties of groups differ from the cognitive properties of the people who act in those groups, and
  • how are the cognitive properties of individual minds affected by participation in group activities?’

한 가지 예로 관심 체계 내의 사회 및 목표 구조의 결과를 들 수 있습니다. 사회 조직은 항상 무작위적인 것은 아니며, 위계질서와 목표에 따라 구체화된 사회 행위자의 행동에 영향을 받을 수 있습니다.

  • 예를 들어, 미국 해군 함정 USS 팔라우에서 해군 계급 계층의 역할과 책임을 생각해 보세요. 이 예에서 일부 승무원은 항해 팀의 목표가 달성되었는지 여부에 대해 상급 계급(예: 주임원사)이 판단할 때만 작업을 중단할 수 있습니다.
  • 임상 사례로 돌아가서, 간호사 John이 환자의 임상 상태가 악화되고 있다고 팀에 업데이트했을 때 주치의 George가 전자 건강 기록에 충분한 시간을 보냈다고 판단하는 경우를 예로 들 수 있습니다. 

An example is the consequence of social and goal structure within the system of interest. The social organization is not always random and may be influenced by the behaviour of the embodied social actors due to hierarchy gradients and goals.

  • For example, consider the roles and responsibilities of the hierarchy of the naval rank on the U.S. naval vessel USS Palau. In this example, some ship crew members can only stop when their superior rank – for example the quartermaster – determines that the goals of the navigation team have been met or not.
  • Returning to our clinical story, an example would be George the attending deciding that the team had spent enough time with the electronic heath record when John the nurse updated the team that the patient’s clinical status was deteriorating.

이러한 형태의 위계 구조 내에서 목표는 선박 승무원 또는 임상 팀원 간에 중복되는 책임이 있는 선박 또는 임상 환경을 통해 필터링됩니다. 순차적으로, 병렬적으로 또는 협력적으로 일하는 선박 승무원 또는 임상 팀원 간의 지식도 각 개인의 '환경 증거에 대한 접근성', '초기 활성화 패턴 또는 성향', 직면한 현상에 대한 고유한 '스키마'로 인해 중복되거나 잉여되는 등 가변적입니다(Hutchins 1996). 따라서 선박의 승무원과 임상 팀원은 '서로 다른 종류의 지식을 보유할 가능성이 높으므로 다양한 자원을 모아 임무를 완수할 수 있는 상호작용에 참여할 것'입니다(Rogers 1997).

  • 예를 들어 레지던트 폴라는 인수인계에 대한 지식을 가지고 있고 약사 리차드는 약과 처방전을 조정했습니다. 

Within this form of hierarchy, goals filter down through the ship or clinical setting with overlapping responsibility between ship crew members or clinical team members. Knowledge between ship crew or clinical team members, working sequentially, in parallel or collaboratively, is also variable – both overlapping and redundant due to each individual’s ‘access to environmental evidence’, ‘initial pattern of activation or predispositions’ and idiosyncratic ‘schemata’ for the phenomenon encountered (Hutchins 1996). Crew members on a ship and clinical team members are therefore ‘likely to possess different kinds of knowledge and so will engage in interactions that will allow them to pool the various resources to accomplish their tasks’ (Rogers 1997).

  • For example, Paula the resident had knowledge of the handover and Richard the pharmacist has reconciled the medicines and prescription.

개방적인 상호 작용을 통해 업무 지식 공유를 촉진할 수 있습니다. 

  • - 예를 들어 플로터와 방위 타이머 레코더 간의 상호 작용은 분대장에게 공개되었고, 간호사 John은 주드 씨의 상태가 악화되고 있음을 팀원들에게 공개적으로 강조했습니다. 

개방형 도구를 통해 업무 지식 공유를 촉진할 수도 있습니다. 

  • - 예를 들어 내비게이션 차트의 디자인은 '위치와 동작을 명시적으로 그래픽으로 묘사한 것으로, 솔루션의 특정 측면을 쉽게 확인할 수 있습니다'(Hutchins 1996). 
  • 마찬가지로 전자 혈압계의 디스플레이는 말을 주고받을 필요 없이 팀원들의 즉각적인 조치를 이끌어 냈습니다.

궁극적으로 시스템은 전반적인 목표를 달성할 수 있습니다.

  • - 예를 들어 승무원과 함께 선박을 성공적으로 운항하거나 임상 팀원 모두가 각자의 하위 업무에 집중하여 환자를 진단할 수 있습니다(Hutchins 1995).

Shared task knowledge can be facilitated by open interactions 

  • – for example the interaction between the plotter and bearing timer-recorder was visible to the quartermaster, whilst John the nurse openly highlighted to the team that Mr Jude was deteriorating.

Shared task knowledge can also be facilitated by open tools 

  • – for example the design of the navigation chart ‘is an explicit graphical depiction of the position and motion, it easy to see certain aspects of solutions’ (Hutchins 1996). Similarly, the display on the electronic blood pressure monitor led to immediate action from team members without the need for an exchange of words.

Ultimately, the system can get the overall goal completed

  • – for example successful ship navigation with crew members or patient diagnosis with clinical team members who are all concerned about their local sub-tasks (Hutchins 1995).

독자들이 자신의 보건 전문직 교육 맥락에서 인지 아키텍처를 반영하는 사회 조직에 의해 인지 과정이 어떻게 영향을 받는지 고려해 보시기를 권장합니다. 또 다른 예로 의과대학에서 종단적 임상 추론 커리큘럼을 구현한 사례를 살펴봅시다(Kononowicz 외. 2020; Sudacka 외. 2021). 최근의 연구는 개념, 시간, 동기 부여, 인프라, 교육, 평가, 문화 등 여러 가지 인식된 장벽으로 인해 이러한 실행의 시급한 필요성과 잠재적 어려움을 모두 강조했습니다. 저자들은 이러한 장벽을 복잡하고 상호 연결된 것으로 분류하고 '상황을 악화시키는 상호 인과적 사슬'의 가능성을 제기하며 '수집된 인사이트'가 이를 극복하는 데 도움이 될 수 있다고 주장합니다(Sudacka 외. 2021).

  • DCog 렌즈가 보건 전문직 교육에서 이 문제에 빛을 비출 수 있을까요?
    • 예를 들어, DCog 렌즈를 통해 종단적 임상 추론 커리큘럼을 하나의 시스템으로 볼 수 있을까요?
    • 그렇다면 또 다른 질문은 사회 조직이 시스템 내에서 그러한 문제의 인지적 구조를 어떻게 반영할 수 있을까요?
    • 그렇다면 DCog는 이 분야에 대한 추가 연구에 정보를 제공할 수 있습니다. 

We encourage readers to consider how cognitive processes are influenced by social organization which reflects a cognitive architecture in their own health professions education context. Let look at another example: the implementation of a longitudinal clinical reasoning curriculum in a medical school (Kononowicz et al. 2020; Sudacka et al. 2021). Recent work has highlighted both the urgent need and potential difficulty of such implementation with several perceived barriers including concept, time, motivation, infrastructure, teaching, assessment, and culture. The authors label the barriers as complex and interconnected and posit the possibility of ‘reciprocal causal chains that aggravate the situation’ and that ‘collected insights’ may help overcome (Sudacka et al. 2021).

  • Could a DCog lens shine a light on this problem with health professions education?
    • For example, through a DCog lens, can the longitudinal clinical reasoning curriculum can be viewed as a system?
    • If so, another question would be how social organization might reflect the cognitive architecture of such a problem within the system?
    • If so, DCog could inform further research in this area.

신조 7: 노동의 분업
Tenet 7: Division of labour

일곱 번째 핵심 신조이자 사회 조직과 관련된 신조는 분업의 개념입니다. 사회적 행위자 그룹은 한정된 에너지 예산을 가지고 있으며, 그 아웃풋은 사회 조직이 구조화된 환경을 최대한 활용할 수 있는 효율성에 따라 달라집니다. Hutchins(1996)는 모든 분업(물리적 분업이든 인지적 분업이든)은 활동을 조정하기 위해 분산된 인지적 프로세스를 필요로 한다고 주장합니다. 허친스(1996)는 두 가지 유형의 인지 노동을 설명합니다.

  • 첫 번째 유형은 과제 그 자체인 인지입니다. DCog에서 인지가 분산되어 있기 때문에 과제는 종종 다른 개인 및 공유 지식을 가진 사회적 행위자에게 분해됩니다. 예를 들어, 인턴 린다와 레지던트 폴라는 주드 씨로부터 급성 대동맥 박리의 전형적인 병력을 듣고 각각 가설에 기반하여 흉부 엑스레이를 검토하고 긴급한 정맥주사를 맞으러 갑니다. 다시 말하지만, 다양한 관점에서 정보와 업무 지식에 대한 공유 액세스는 허친스가 관찰의 지평이라고 설명한 것(다른 팀원들에 대해 가시적인 것), 즉 배 갑판에서 다른 승무원이 무엇을 하고 있는지에 대한 상황 인식과 같은 것이다. 허친스는 '일관성이 있지만 차선책인' 해석을 하는 것이 해석이 없는 것보다 낫다고 주장했습니다(Hutchins 1996).
  • 두 번째 유형의 인지 노동은 작업의 요소들을 조정하는 데 전념하는 인지입니다. Hollan 등(2000)은 '조정을 유지하는 데는 노력이 필요하며, 사람들은 가능할 때마다 인지적 노력을 환경으로 오프로드한다'며 '사회 조직에는 인지적 부하 균형의 역학이 개선되어 있다'고 제안합니다. 따라서 분업은 사회적 행위자의 행동을 예측하고, 서로의 성과를 모니터링하며, 오류를 감지하는 데 매우 중요할 수 있습니다. 

A seventh central tenet – and related to social organization – is the concept of the division of labour. A group of social actors have a finite budget of energy, and the output depends on the efficiency with which the social organization can make the most of the structured environment. Hutchins (1996) asserts that all divisions of labour (whether physical or cognitive) require distributed cognitive processes in order to coordinate activities. Hutchins (1996) describes two types of cognitive labour.

  • The first type is the cognition that is the task. As cognition is decentralized in DCog, tasks are often decomposed to social actors with different individual and shared knowledge. For example, Linda the intern and Paula the resident hearing the typical history of acute aortic dissection from Mr Jude and going to review the chest x-ray in a hypothesis driven way and gain urgent intravenous access respectively. Again, shared access to information and task knowledge from multiple perspectives can facilitate expectations to occur in what Hutchins described as horizons of observation – or what is visible to different members of the team – for example situation awareness of what other crew members are up to on a ship deck. Hutchins has argued that having ‘a coherent but suboptimal’ interpretation is better than having none (Hutchins 1996).
  • A second type of cognitive labour is the cognition dedicated to the coordination of the elements of the task. Hollan et al. (2000) suggest that it ‘takes effort to maintain coordination – people off-load cognitive effort to the environment whenever practical’ and that ‘there are improved dynamics of cognitive load-balancing available in social organisation’. The division of labour might therefore be critical to the anticipation of social actors’ actions, how they monitor each other’s performance and to detection of error.

오류 감지는 시스템에 견고성을 부여하며, 허친스(1996)는 이를 아한 분해라고 설명합니다. 우아한 분해는 선박 운항과 관련된 선원들의 공유된 정보와 중복되는 지식, 업무 책임, 역량에 의해 제공되는 시스템 내의 '유연 조직'으로 설명되었습니다. 우아한 분해는 개선된 표현 상태의 전파를 보장하기 위해 지속적인 분업을 동적으로 재구성할 수 있는 능력입니다. 

  • 예를 들어, 승무원이나 임상 팀원 한 명이 혼자서 선박을 항해하거나 병동 또는 병원 환자를 모두 진단하거나 관리할 수는 없으며, 시스템의 성공은 상호 의존적인 상호 작용과 그에 따른 조정에 달려 있습니다. 

Error detection creates robustness in the system, which Hutchins (1996) describes as the property of graceful degradation. Graceful degradation has been described as a ‘flexible tissue’ within the system afforded by shared information and overlapping knowledge, task responsibility, competency within the crew members involved in ship navigation. Graceful degradation is the ability to dynamically reconfigure their ongoing division of labour to ensure the propagation of an improved representational state.

  • For example, no one crew member or clinical team member can navigate a ship or diagnose or manage all the ward or hospital patients on their own – system success lies in the interdependent interactions and the resultant coordination.

오류 감지 학습의 기회도 제공합니다(Seifert와 Hutchins 1992). 허친스는 수정 계획을 세우는 조정된 활동이 어떻게 함정 승무원에게 구조화된 경험을 제공하여 보다 일반적으로 절차 및 해군의 문화적 관행에 대한 개별 학습을 가능하게 하는지에 대해 설명합니다. 허친스(1995)가 언급했듯이: 

  • '...이 환경에서 대부분의 학습은 실행 과정에서 이루어지기 때문에 외부 미디어와 조정할 수 있도록 내부 미디어를 변경하는 것은 미디어를 서로 조정하는 것과 동일한 프로세스에서 발생합니다. 이 과정에서 발생하는 분기장의 기술과 지식의 변화는 그 과정의 정신적 잔재입니다. 

임상 스토리에서 의대생 올리비아는 임상 추론의 과정과 결과를 통해 팀에 참여하여 학습하고 있으며, 시간이 지남에 따라 실무 진단과 관리가 심장 허혈에서 급성 대동맥 박리로 빠르게 변화하고 있습니다.

Error detection also provides an opportunity for learning (Seifert and Hutchins 1992). Hutchins describes how the coordinated activities of plotting a fix provide a structured experience for the ship crew members, enabling more generally individual learning of procedures and the cultural practices of the navy. As noted by Hutchins (1995):

  • ‘…since most learning in this setting happens in the doing, the changes to internal media that permit them to be coordinated with external media happen in the same processes that bring the media into coordination with one another. The changes to the quartermaster’s skills and the knowledge produced by this process are the mental residua of the process’.

In our clinical story, Olivia the medical student is learning through participation in the team working through the process and outcome of clinical reasoning, with the working diagnosis and management quickly changing through time away from cardiac ischaemia and toward acute aortic dissection.

독자들이 자신의 의료 전문직 교육 맥락에서 인지 과정이 분업의 영향을 어떻게 받는지 생각해 보시기 바랍니다. 이전의 두 가지 예, 즉 임상 추론에 대한 평가와 시뮬레이션 교육으로 간단히 돌아가 보겠습니다. DCog는 특정 시스템 내에서 다양한 관점에서 개별 임상 추론 수행에 대한 유효하고 신뢰할 수 있는 형성 및 종합 평가의 개발에도 정보를 제공할 수 있습니다.

  • 기존 평가의 예로는 여러 교수진의 직접 관찰 및 피드백 또는 360도 피드백 도구와 같은 서술형 보고서가 포함된 평가가 있습니다. 각 평가자의 관찰 범위는 다르지만 중복될 가능성이 높기 때문에 평가자의 인식 차이를 설명할 수 있으며, 시간이 지남에 따라 교수진 내에서 평가 과제가 어떻게 분해되었는지를 통해 이러한 평가의 유용성을 개선할 수 있는 잠재력을 가지고 있습니다.
  • 우리는 이미 시뮬레이션 교육 설계에서 개방형 도구 및 인공물(예: 전자 건강 기록)의 형태로 관찰의 지평이 갖는 역할에 대해 언급했습니다. 예를 들어 진단 제안이나 부정확한 진단 라벨의 전달과 같이 시뮬레이션 시나리오 또는 가상 환자 사례인 시스템에 오류를 삽입하는 것은 특히 시스템이 점진적인 저하 요소로 설계된 경우 안전한 환경에서 학습할 수 있는 기회를 제공할 수 있습니다(Quail and Boyle 2019).

We encourage readers to consider how cognitive processes are influenced by the division of labour in their own health professions education context. Let us briefly return to two previous examples: assessment of, and simulation education for, clinical reasoning. DCog could also inform the development of valid and reliable formative and summative assessments of individual clinical reasoning performance from multiple perspectives within a specific system.

  • Examples of existing assessments include direct observation and feedback from multiple faculty or ratings with narrative reports such 360-degree feedback tools. The different but likely overlapping horizons of observation of each assessor may explain differences in assessment rater cognition and has the potential to improve the utility of such assessment through time, potentially through how assessment tasks were decomposed within faculty.
  • We already alluded to the role of the horizon of observation in the form of open tools and artifacts (e.g. electronic health record) in the design of simulation education. Inserting error into the system that is a simulation scenario or virtual patient case, for example in the form of diagnostic suggestion or the handover of an inaccurate diagnostic label, is likely to present an opportunity for learning in a safe environment, particularly if the system is also designed with elements of graceful degradation (Quail and Boyle 2019).

신조 8: 사회 조직은 커뮤니케이션 시스템이다
Tenet 8: Social organization is a system of communication

여덟 번째 핵심 신조는 다시 사회 조직에 대한 미시적 수준의 분석으로 확대하여 공식적이든 비공식적이든 커뮤니케이션 시스템의 결과관심 시스템을 통해 정보와 지식의 흐름 패턴을 어떻게 알려주는지에 대한 것입니다. 커뮤니케이션 시스템은 다음에 의해 결정되고 결정될 수 있습니다(Hutchins 1996).

  • '누가 누구와 이야기하는지',
  • '무엇을 이야기하는지',
  • '언제 이야기하는지',
  • '얼마나 설득력이 있는지',
  • '어디에서 이야기하는지'

An eighth central tenet, again zooming into a micro-level of analysis of social organization is how the resultant system of communication, both formal and informal, informs patterns in the flow of information and knowledge though the system of interest. The system of communication may determine and be determined by

  • ‘who talks to whom’,
  • ‘what they talk about’,
  • ‘when they talk about it’,
  • ‘how persuasive they are’ and
  • ‘where they talk about it’ (Hutchins 1996).

중요한 것은 사회적 행위자들 간에 정보에 대한 접근을 공유하고 과제 지식을 공유하면 '조정된 행동의 기초에서 기대의 조정이 차례로 나타날 수 있다'는 것입니다. 예를 들어, '명시적으로 묻거나 말하지 않고 누군가를 쳐다보며 자신이 무언가를 할 차례라는 신호를 보낼 때'(Rogers 1997) 발생하는 주관적 의사소통을 들 수 있습니다. 정보와 지식에 대한 공유된 액세스가 없으면 시스템이 조정을 유지하기가 매우 어려워 분산된 행동으로 인해 부정확하거나 잘못된 타이밍에 문제가 발생할 수 있습니다. 이에 대한 예로 항공업계의 업무를 들 수 있습니다.

  • Rogers와 Ellis(1994)는 비행기를 조종하는 기장과 부기장(F/O)의 몇 초 분량의 비디오를 자세히 분석하여 다음과 같이 이야기합니다. Hutchins와 Klausen(1997)은 수행되어야 할 일상적인 행동에 대한 기대치가 위반되었을 때 어떤 일이 발생하는지 설명합니다. 항공교통관제센터로부터 메시지를 받은 부기장은 일반적인 절차에 따라 기장이 무언가를 말하기를 기대합니다. 기장이 그렇게 하지 않으면 부기장은 어떻게 해야 할지 모릅니다. 그는 기장을 힐끗 쳐다보는 것으로 반응합니다.
  • 진화하는 임상 스토리에서 이러한 유형의 주관적 의사소통을 보여주는 몇 가지 예가 있는데, 특히 인턴 린다와 주치의 조지 사이의 침대 옆에서 고개를 끄덕이는 장면이 가장 대표적입니다.

Importantly, having shared access to information and shared task knowledge among social actors enables ‘the coordination of expectations to emerge in turn from the basis of coordinated action’. For example, the intersubjective communication that occurs when ‘glancing at someone to signal it is their turn to do something rather than explicitly asking or telling them’ (Rogers 1997). Without shared access to information and knowledge, it would be very challenging for the system to maintain coordination, leading to issues with distributed actions – incorrect or at the wrong time. An example of this is the body of work in aviation.

  • Rogers and Ellis (1994) recount ‘in a detailed analysis of a few seconds of video of a captain and a first officer (F/O) flying a plane Hutchins and Klausen (1997) describe what happens when an expectation about a routine action that should have been carried out is violated. Having received a message from Air Traffic Control the F/O expects, as is normal procedure, the captain to say something. When the captain fails to do so the F/O is uncertain what to do. He reacts by glancing at the captain.’
  • There are several examples of this type of intersubjective communication in our evolving clinical story, most notably the nods at the bedside between Linda the intern and George the attending.


독자들이 자신의 의료 전문직 교육 맥락에서 사회적 조직과 그에 따른 시스템 내 인지 과정이 커뮤니케이션 시스템에 어떻게 영향을 받는지 생각해 보시기 바랍니다. 한 가지 예로 팀 맥락에서 의사소통 기술을 가르치고 그 결과 임상적 추론을 위한 정보를 수집하는 것을 들 수 있습니다. 예를 들어, 소그룹 교육을 위한 자극으로 실제 진단 팀의 시뮬레이션 시나리오에 대한 DCog 정보에 기반한 마이크로 분석을 포함할 수 있습니다. 또 다른 예로는 시스템 간에 시간이 지남에 따라 통신이 발생할 때 DCog 기반의 거시적 분석을 위해 시스템을 줌아웃하는 것입니다. 

  • 예를 들어, 한 환자가 아티팩트로 지원되고 때로는 다양한 형태의 원격 진단을 포함하는 여러 치료 팀을 만납니다(Wilson 외. 2020; Boyle 외. 2021).
    • 지역사회와 병원 간 인터페이스 또는 서로 다른 지리적 위치에 있는 전문가 팀 간의 시간 경과에 따른 커뮤니케이션을 통해 서면 의료 기록, 이메일, 의뢰서 및 퇴원서 내의 임상적 추론에 대한 정보를 분석하면 임상적 추론의 교육 및 평가에 정보를 제공할 수 있습니다.
    • 병원 환경의 수술실과 종양위원회 또는 커뮤니티 케어의 다학제 팀 회의와 같은 다른 맥락에서는 각각 인지 아키텍처에 정보를 제공하는 커뮤니케이션 시스템을 갖추고 있을 가능성이 높으며, 임상 추론을 위한 교육을 구성하는 방법을 배울 수 있는 기회가 될 수 있습니다.
  • 임상 추론 평가 영역에서 한 단계 더 나아갈 수 있는 방법은 OSCE 스테이션에서 시뮬레이션 역할의 수를 늘리는 것입니다(예: 병력 청취 시 시뮬레이션 환자와 시뮬레이션 친척이 함께 있거나, 인수인계 시 두 명의 시뮬레이션 임상의가 함께 있음). 교육 또는 형성적 팀 평가를 위해 시뮬레이션 환경에서 정보에 입각한 작업을 DCog로 복귀하는 것도 커뮤니케이션 시스템을 통해 향상될 수 있습니다.

We encourage readers to consider how social organization and the resultant cognitive processes within a system are influenced by the system of communication in their own health professions education context. One example would be in teaching of communication skills in the context of teams and the resultant information gathering for clinical reasoning. For example, this could involve a DCog informed micro-analysis of simulated scenarios of a diagnostic team in action as a stimulus for small group teaching. Another example would be to zoom out for a DCog informed macro-analysis of a system when communication occurs through time between systems.

  • For example, a patient meets several care teams supported by artifacts and sometimes involving various forms of telediagnosis (Wilson et al. 2020; Boyle et al. 2021).
    • DCog informed analysis of clinical reasoning within written medical notes, emails, referral and discharge letters across community and hospital interfaces or communication over time between specialist teams in different geographical locations could inform both the teaching and assessment of clinical reasoning.
    • Different contexts such as operating theatres and tumor boards in a hospital setting or a multi-disciplinary team meeting in community care are likely to each have systems of communication that inform the cognitive architecture, with opportunities for learning how we structure teaching for clinical reasoning.
  • One further step in the area of assessment of clinical reasoning would be to increase the number of simulated roles in an OSCE station (e.g. the presence of a simulated patient with a simulated relative when taking a history, or two simulated clinicians in a handover). Returning to DCog informed work in the simulated setting for education or formative team assessment could also be enhanced by the system of communication.

신조 9: 버퍼링과 필터링
Tenet 9: Buffering and filtering

아홉 번째 핵심 원칙은 버퍼링과 필터링이 정보의 흐름과 관심 있는 시스템의 정보 및 지식 패턴에 정보를 제공하는 두 가지 잠재적 방법이라는 것입니다. 버퍼'병렬로 실행되는 프로세스의 파괴적인 간섭'을 방지하기 위해 '시스템의 한 부분에서 다른 부분으로 통제되지 않은 전파를 방지'할 수 있습니다. 버퍼링의 개념은 Perrow(1984)가 느슨한 결합이라고 설명한 것에 기인합니다. 느슨하게 결합된 시스템에서는 '사전에 계획하지 않았더라도 즉흥적이고 순간적인 버퍼링, 중복 및 대체가 발견될 가능성이 더 높다'는 것입니다.

  • 예를 들어, 방위 일지를 사용하는 방위 시간 기록기의 버퍼링 활동은 플로터가 다른 선박 승무원인 펠로러스 운영자와 통신할 수 있도록 '시스템에 여유를 도입'합니다.
  • 임상 사례에서 인턴 린다(Linda)는 조지가 급성 대동맥 박리의 전형적인 병력을 이끌어낼 때까지 기다렸다가 흉부 엑스레이의 우려스러운 소견을 공유합니다. 

A ninth central tenet is that buffering, and filtering are two further potential ways the flow of information and the pattern of information and knowledge in the system of interest is informed. Buffers may ‘prevent uncontrolled propagation from one part of the system to another’ to prevent ‘destructive interference in processes running in parallel’. The concept of buffering has been attributed to what Perrow (1984) described as loose coupling. In loosely coupled systems ‘there is a better chance that expedient, spur of the moment buffers, and redundancies and substitutions can be found, even though they were not planned ahead of time’.

  • For example, the buffering activity of the bearing-time recorder using the bearing logbook ‘introduces slack into the system’ to allow the plotter to communicate with another ship crew member – the pelorus operator.
  • In our clinical story, Linda the intern waits until George has elicited the typical history of acute aortic dissection before sharing the concerning findings on the chest x-ray.

베어링 타이머 레코더는 또한 베어링을 플로터로 전달할 때 '생산의 시간적 특성을 전달하지 않고' 필터링을 사용합니다. 필터링수신기의 '통신에 필요한 대역폭'과 '처리 요구'를 줄일 수 있지만(예: 베어링 시간 기록기로부터 짧은 전화 통화를 수신하는 플로터), 임상 상황에서는 '프로세스의 어떤 것도 정상적으로 전달되지 않기 때문에' 진단에 오류가 발생할 가능성이 더 커질 수 있습니다(Hutchins 1996). 임상 사례에서 필터링의 한 예로 야간 레지던트가 추론에 대한 정당화 없이 작업 진단을 내린 경우를 들 수 있습니다. Rogers는 '기능 시스템에서 발생하는 프로세스, 속성 및 고장을 식별함으로써 활동의 역동적 측면에 초점을 맞추고 있다'고 강조합니다(Rogers 2006). 예를 들어, 커뮤니케이션 시스템을 미시적으로 분석하면 '정상적인 사고'를 유발하는 '사소한 주방 사고'와 같은 오류의 '임신' 순간을 밝혀낼 수 있습니다(Perrow 1984).
The bearing timer-recorder will also use filtering when passing the bearing to the plotter ‘without passing the temporal characteristics of their production’. Filtering can reduce the ‘bandwidth required for communication’ and ‘processing demands’ of the receiver – for example the plotter receiving a short telephone call from the bearing time-recorder – but in a clinical context can make it more likely to make errors in diagnosis as ‘nothing of the process is normally communicated’ (Hutchins 1996). An example of filtering in our clinical story is when the night resident handed off the working diagnosis without any justification of their reasoning. Rogers reinforces that by ‘identifying the processes, properties and breakdowns that occur in functional systems, the focus is very much on the dynamic aspects of activity’ (Rogers 2006). For example, micro-level analysis of the system of communication can reveal ‘pregnant’ moments’ in error such as the ‘trivial kitchen mishaps’ that give rise to ‘normal accidents’ (Perrow 1984).

독자들이 자신의 보건 전문직 교육 맥락에서 시스템 내의 인지 과정이 버퍼링 및 필터링과 같은 개념에 어떻게 영향을 받는지 생각해 볼 것을 권장합니다. 한 가지 예로 인적 요인(예: 상황 인식), 진단 오류 및 환자 안전(예: 조기 종결 및 시스템 요인)이 임상 추론 과정과 결과에 어떻게 영향을 미치는지 가르치는 것이 있습니다(Graber 외. 2005; Fioratou 외. 2010; Singh 외. 2012; Boyle 외. 2020).

  • 임상 사례에서 알 수 있듯이 임상 환경은 의료 서비스 제공뿐만 아니라 의료 전문직 교육이 이루어지기에도 지저분합니다. 예를 들어, 응급실에서는 환자가 내과로 이동하는 임상 추론 과정에서 여러 차례의 핸드오버를 통해 진료가 중단되거나 전환되는 경우가 많습니다(Bowen 외. 2018; Chan 외. 2018).

버퍼링 및 필터링과 같은 개념이 학습과 성과에 어떤 영향을 미치는지에 대한 통찰력을 얻고 시간이 지남에 따라 임상 추론의 교육 및 평가에 정보를 제공하려면 다른 곳에서 제안한 것처럼 이중 프로세스 또는 인지 부하와 같은 미시 이론과 DCog를 결합해야 할 수 있습니다(Boyle 외. 2022; Daniel 외. 2021). 실제로 다른 연구자들이 강조했듯이, 의료 전문가 교육에서 DCog에 기반한 작업을 통해 치료의 질을 개선할 수 있는 가시적인 가능성이 있습니다(Hazlehurst 2015).

We encourage readers to consider how cognitive processes within a system are influenced by concepts like buffering and filtering in their own health professions education context. One example would be teaching how human factors (e.g. situation awareness), diagnostic error and patient safety (e.g. premature closure and system factors) influence the clinical reasoning process and outcome (Graber et al. 2005; Fioratou et al. 2010; Singh et al. 2012; Boyle et al. 2020).

  • As our clinical story highlights, the clinical setting is not only messy for healthcare delivery but also for health professions education to occur. For example, there is often multiplicity and time pressure in the emergency department and then discontinuity and transitions of care through multiple handovers during the clinical reasoning process when patients then move to internal medicine (Bowen et al. 2018; Chan et al. 2018).

To gain insight into how concepts such as buffering and filtering influence learning and performance and inform the teaching and assessment of clinical reasoning through time may require the combination of DCog with micro-theories such as dual process or cognitive load, as has been suggested elsewhere (Boyle et al. 2022; Daniel et al. 2021). Indeed, as others have highlighted, there is a tangible possibility of improving the quality of care through DCog informed work in health professions education (Hazlehurst 2015).

신조 10: 인지 과정은 문화화된다
Tenet 10: Cognitive processes are encultured

마지막으로, DCog 이론의 열 번째 신조는 인지가 문화화된다는 것입니다. 허친스(1995)는 문화는 구조화된 환경에서 사회적 행위자와 인공물의 상호작용에서 나오지만, 이러한 상호작용을 형성하는 역사적 관행(사회적, 물질적)과 분리될 수 없다고 강조합니다. 관심 있는 시스템의 인지적 과정은 그 문화에 내재되어 있습니다(Hollan 외. 2000). 허친스(1995)는 해변을 빗질하는 개미의 움직임에 대한 사이먼(1981)의 비유를 확장하여 문화적 인지를 우아하게 설명합니다. 이 비유는 시간이 지남에 따라 해변에서 먹이를 찾는 개미의 역사에 대해 생각해 보도록 유도합니다. 시간이 지남에 따라 초기 개미들이 화학 흔적을 남기면서 해변의 풍경이 바뀝니다. 잠시 후, 나중에 개미들이 화학 흔적을 따라 먹이를 찾아 곧장 이동합니다. 허친스는 이렇게 주장한다.

  • 명백히 사이먼의 말이 옳았다. 개미가 점점 더 똑똑해지고 있다는 결론을 내리는 데 그치지 말고 '개미를 관찰하면서 우리는 개미 내부에 있는 것보다 해변에 대해 더 많은 것을 배운다'. 그리고 사람들이 야생에서 생각하는 것을 보면서 우리는 사람의 내부에 있는 것보다 환경에 대해 더 많은 것을 배우고 있을지도 모릅니다'. (허친스 1996).

Finally, a tenth tenet of the theory of DCog is that cognition is encultured. Hutchins (1995) highlights that while culture emerges out of interactions of social actors and artifacts in the structured environment, it cannot be separated from the historical practices – both social and material – that shapes those interactions. The cognitive processes in the system of interest are embedded in that culture (Hollan et al. 2000). Hutchins (1995) elegantly explains cultural cognition by extending Simon’s (1981) parable of an ant’s movements when combing a beach. This parable encourages us to think about a history of ants searching for food on a beach over time. As time passes, the beach’s landscape changes as earlier ants leave chemical trails. After a while, later ants follow the chemical trails to go straight to the food source. Hutchins encourages us to stop short of concluding that the ants are getting smarter by exclaiming

  • ‘Simon was obviously right: in watching the ant, we learn more about the beach than about what is inside the ant. And in watching people thinking in the wild, we may be learning more about their environment for thinking than what is inside them’. (Hutchins 1996).

마찬가지로 허친스는 사회적 행위자들은 그들의 행동을 뒷받침할 수 있는 풍요로운 환경을 가지고 있다고 주장합니다. 선박 항해, 항공기 조종석, 라운딩 팀의 예로 돌아가서, 각 팀은 이전 세대에 의해 채택, 개발, 정착되어 시스템의 문화 유산의 일부를 형성하고 있습니다. 예를 들어, 라운딩 팀이 조립하고 상호 작용하는 방식은 시간이 지남에 따라 인수인계 보드, 침대 시트 및 EHR과 같은 아티팩트의 지원을 받아 오류를 감지하고 팀 진단에 도달합니다(Smith et al. 2019). 
Similarly, Hutchins argues, social actors have been left with an enriched landscape to support their behaviour. Returning to the examples of ship navigation, an aircraft cockpit and the rounding team, each team has been adopted, developed, and laid down by previous generations that form part of systems’ cultural heritage. For example, the way the rounding team assembled and interacted, supported by artifacts such as the handover board, crib sheet and EHR through time, to detect error and reach a team diagnosis (Smith et al. 2019).

요약하면, 문화화된 시스템'자주 발생하는 문제에 대한 부분적인 해결책'을 축적하는 '학습, 문제 해결 및 추론을 위한 자원의 저장소'라는 DCog 렌즈를 통해 적절하게 설명할 수 있습니다. 풍부한 환경은 도움이 될 수도 있고 해가 될 수도 있습니다

  • - 예를 들어, 오래된 문제에 대한 해결책을 찾기 위해 관심 있는 시스템을 항상 처음부터 시작할 필요는 없습니다.
  • - 예를 들어 조종사가 항공기 계기판에 속도 버그를 배치하고 조정하여 항공기 조종석 시스템이 항공기 무게에 따른 착륙 속도의 안전 매개변수를 기억할 수 있도록 도와줍니다. 
  • - 새로운 문제를 해결할 때 숲에서 나무를 보지 못할 수 있습니다.(Hutchins and Klausen 1996).

In sum, through a DCog lens, an encultured system has been aptly described as a ‘reservoir of resources for learning, problem solving, and reasoning’ that accumulates ‘partial solutions to frequently encountered problems’. An enriched landscape can be both helpful and harmful

  • – for example while the system of interest doesn’t always have to start from the beginning to find solutions to old problems
  • – for example pilots placing and adjusting a speed bug on an aircraft instrument to help the aircraft cockpit system remember the safe parameters for landing speeds depending on an aircraft’s weight
  • – it may not be able to see the wood from the trees when tackling new problems (Hutchins and Klausen 1996).

마지막으로, 앞선 아홉 가지 원칙을 통해 독자들이 이미 인지 프로세스가 어떻게 문화화되는지 생각해 보셨을 것으로 예상합니다(이제는 일상화되었을 것입니다). 위의 각 예에서는 커리큘럼 개발, 학습, 교육 및 임상 추론 평가에 이르기까지 인지 과정이 문화화되어 있습니다. 예를 들어, 진화하는 이야기로 돌아가서 라운딩 팀에서 발생하는 임상 추론은 개인이 시스템 내에서 일상화된 방식으로 모이는 시기와 방법 또는 팀 기반 진단을 완료하는 환경의 진화하는 인체공학적 설계에 관계없이 문화화되어 있습니다. 이제 DCog의 9가지 원칙이 시간이 지남에 따라 이 프로세스에 어떤 영향을 미쳤는지 명확히 알 수 있을 것입니다.
Finally, we anticipate that readers have already considered how cognitive processes are encultured having been encouraged to do so during our previous nine tenets – it is perhaps now routine? In each of the examples above, from curriculum development, learning, teaching and assessment of clinical reasoning, cognitive processes have been encultured. For example, returning to our evolving story clinical reasoning occurring with a rounding team is encultured whether it be when and how the individuals assemble in a routinized fashion within the system or the evolving ergonomics of the environment in which they complete their team-based diagnosis. Indeed, it is hopefully now clear how each of the nine tenets of DCog has informed this process over time.

결론
Conclusion

이 AMEE 가이드에서 이 거시적 이론에 초점을 맞추기로 한 것은 DCog가 정보 처리 이론이나 상황성 계열의 다른 사회 인지 이론을 대체해야 한다고 제안하기 위한 것이 아닙니다. 이 AMEE 가이드의 독자들이 DCog가 의료 전문가 교육에 추가적인 통찰력을 제공할 수 있는 보완적인 렌즈라는 점에 동의하기를 바랍니다. 내과 회진 팀에서 발생하는 임상적 추론을 경험적 사례로 조명하기 위해 DCog를 선택했지만, 다양한 의료 전문직 교육 맥락을 선택할 수도 있었습니다. 앞으로 우리 분야에서 DCog에 기반한 더 많은 연구 결과를 읽을 수 있기를 기대합니다.
Our choice to focus on this grand (macro) theory in this AMEE Guide was not intended to suggest DCog should replace information processing theory or other social cognitive theories in the situativity family. We hope that readers of this AMEE Guide concur that DCog is a complementary lens that can provide additional insights in health professions education. While we chose DCog to illuminate clinical reasoning occurring in the internal medicine rounding team as an empirical story, we could have chosen many different health professions education contexts. We now look forward with optimism to reading about more DCog informed work in our field in future years.

 


Med Teach. 2023 Apr 12:1-11. doi: 10.1080/0142159X.2023.2190479. Online ahead of print.

Distributed cognition: Theoretical insights and practical applications to health professions education: AMEE Guide No. 159

Affiliations

1Undergraduate Medical School, School of Medicine, Dentistry and Nursing, University of Glasgow, Glasgow, UK.

2School of Medicine, Dentistry and Nursing, University of Glasgow, Glasgow, UK.

3Health Professions Education Programme, School of Medicine, Dentistry and Nursing, University of Glasgow, Glasgow, UK.

4Center for Health Professions Education, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, MD, USA.

PMID: 37043405

DOI: 10.1080/0142159X.2023.2190479

Abstract

Distributed cognition (DCog) is a member of the family of situativity theories that widens the lens of cognition from occurring solely inside the head to being socially, materially and temporally distributed within a dynamic system. The concept of extending the view of cognition to outside the head of a single health professional is relatively new in the healthcare system. DCog has been increasingly used by researchers to describe many ways in which health professionals perform in teams within structured clinical environments to deliver healthcare for patients. In this Guide, we expound ten central tenets of the macro (grand) theory of DCog (1. Cognition is decentralized in a system; 2. The unit of analysis is the system; 3. Cognitive processes are distributed; 4. Cognitive processes emerge from interactions; 5. Cognitive processes are interdependent; 6. Social organization is a cognitive architecture; 7. Division of labour; 8. Social organization is a system of communication; 9. Buffering and filtering; 10. Cognitive processes are encultured) to provide theoretical insights as well as practical applications to the field of health professions education.

Keywords: Clinical reasoning; diagnosis; distributed cognition; error; health professions education; medical education; situated cognition; situativity theory.

전문직업성의 짧은 역사와 허약한 미래: 의료의 사회계약의 침식( Perspect Biol Med. 2008)
The Short History and Tenuous Future of Medical Professionalism: the erosion of medicine’s social contract

Matthew K. Wynia

전문직으로서 의학의 정확한 탄생일은 모호하며 " 전문직 "에 대한 정의에 따라 달라집니다. 하지만, 의료 전문직에 대한 정의, 즉 통일된 교육과 진료 표준을 공유하고 이를 타인을 위해 사용하겠다고 공개적으로 '공언'하는 집단이라는 정의를 받아들인다면 대략적으로 의료 전문직의 탄생 연대를 추정할 수 있습니다. 그리고 그것은 많은 사람들이 상상하는 것보다 훨씬 더 젊고, 어쩌면 더 취약할 수도 있습니다.
The exact birth date of medicine as a profession is murky and depends on one’s definition of “profession.” But if one accepts a bare-bones definition —a group that publicly “professes” to share uniform training and standards of practice, which they promise to use in service to others—it is possible, roughly, to date the birth of medical professionalism. And it is much younger, and perhaps more fragile, than many might imagine it to be.

어떤 이들은 의료 전문직의 기원을 히포크라테스 시대로 거슬러 올라가기도 합니다. 마가렛 미드는 히포크라테스가 처음으로 치료사와 마법사의 역할을 분리했다고 지적했습니다(Bulger and Barbato 2000). 그들은 행동 기준을 공언하는 선서를 한 것으로 유명하며, 경험적 관찰을 의료 행위의 기초로 장려했습니다. 그럼에도 불구하고 저명한 역사학자 루드비히 에델슈타인(1943)이 주장했듯이, 히포크라테스는 모든 그리스 의사를 위한 통일된 진료 및 행동 표준을 만드는 데 성공하지 못한 소수 종파였습니다.

  • 일부 히포크라테스 강령에 위배되는 그리스 의사들은 낙태를 시행하고 자살을 도왔습니다(Baker 1993).
  • 부자와 권력자들은 그리스 의사를 의료 청부업자로 고용하기도 했습니다.
  • 로마 역사가 타키투스에 따르면 황제의 아내 아그리피나는 그리스 궁정 의사 가이우스 스테르티니우스 제노폰(기원전 10~54년경)을 고용하여 남편인 클라우디우스 황제를 독살했습니다(연대기, 제14권 1-16장).

Some would date medical professionalism to the Hippocratic era. Margaret Mead has noted that Hippocratics first separated the roles of healer and sorcerer (Bulger and Barbato 2000). They famously swore an oath professing standards of conduct, and they promoted empirical observation as the basis of medical practice. Nonetheless, as the eminent historian Ludwig Edelstein (1943) has argued, the Hippocratics were a minority sect, who did not succeed in creating uniform standards of practice and behavior for all Greek physicians.

  • Contravening some Hippocratic dicta, Greek physicians performed abortions and assisted in suicides (Baker 1993).
  • The rich and the powerful could even hire Greek physicians as medical hit men.
  • According to the Roman historian Tacitus, the emperor’s wife, Agrippina, hired a Greek court physician, Gaius Stertinius Xenophon (ca. 10 BCE–54 CE), to poison her husband, the Emperor Claudius (The Annals, Book XIV, 1–16).

이 기록에 대한 대중적인 수용은 환자를 해치는 것을 금지하는 히포크라테스의 금지 규정이 그리스 의사들에게 일률적으로 적용되지 않았음을 시사합니다. 그 대신 당시 대부분의 의사는 화학 물질과 식물을 사용하는 전문가였을 뿐, 통일된 행동 강령이나 진료 표준에 얽매이지 않았습니다. 의학 역사가 앨버트 존슨(2000)이 말했듯이 히포크라테스 시대에는 "의료 전문직과 같은 것은 없었던 것으로 보인다"(9쪽)고 합니다.
Popular acceptance of this account suggests that the Hippocratic prohibition against harming patients was not uniformly practiced by Greek physicians. Instead, most physicians of the time were simply specialists in the uses of chemicals and botanicals, unbound by a uniform code of conduct or standards of practice. As the medical historian Albert Jonsen (2000) put it, in Hippocratic times “there does not appear to have been anything like a medical profession” (p. 9).

의과대학의 표준 커리큘럼, 새로운 공중 보건 노력, 마을에서 '전염병 의사'를 고용하여 의사가 수행해야 할 사회적 의무를 명확히 하기 시작한 중세 또는 르네상스 시대까지 의료 전문직의 시기를 거슬러 올라가는 사람들도 있습니다. 예를 들어, 1666년 런던의 약사였던 윌리엄 보허스트는 전염병이 유행할 때 의사가 환자를 치료할 의무가 있다고 주장했습니다. 그러나 이러한 의무와 사회적 역할은 명확하게 표현되거나 널리 받아들여지지 않았고, 실제로 이 시대에 전염병에 직면한 의사들은 자신과 부유한 환자 모두에게 '빨리 가라, 멀리 가라, 너무 빨리 돌아오지 마라'라는 표준 조언을 내렸습니다. 전염병이 창궐하는 동안 마을에서 특정 의사를 고용하여 환자를 돌봐야 했다는 사실은 지속적인 진료에 대한 헌신이 의사의 역할의 일부로 인정되지 않았음을 시사합니다.
Others might date medical professionalism to the Middle Ages or to the Renaissance, when standard curricula in medical schools, novel public-health efforts, and the hiring of “plague doctors” by towns began to clarify some of the social obligations that medical doctors should take on. For instance, in 1666 William Boghurst, a London apothecary, asserted that physicians were obliged to treat patients during epidemics. Yet these obligations and social roles were neither clearly articulated nor widely accepted—indeed, the standard advice of physicians facing the plague in this era, both for themselves and their wealthy patients, was cito, longe, tarde: go quickly, go far, and don’t come back too soon. The fact that towns had to hire specific doctors to stay and care for patients during epidemics suggests that a commitment to continue providing care was not acknowledged as part of the physician’s role.

의료 윤리와 현대적 의미의 전문직이라는 용어는 19세기 초 영국의 의사인 맨체스터의 토마스 퍼시벌 박사가 그의 저서 『의료 윤리』(1803)에서 처음 사용했습니다. 퍼시벌(1803)은 모든 의사의 구체적인 사회적 역할을 명확하게 제시했으며, 이러한 역할이 널리 채택되기를 바랐습니다. 따라서 의료 전문직의 탄생 시점을 1803년으로 보고 싶은 유혹이 있지만, 모든 의사를 위한 윤리 기준을 문서화하여 영국 의료계가 동의하도록 하려는 퍼시벌의 노력은 안타깝게도 크게 거부당했습니다. 당시 영국에서는 신사들은 이미 어떻게 행동해야 하는지 잘 알고 있기 때문에 문서화된 윤리 기준이 필요하지 않다는 분위기가 팽배했습니다. 실제로 Baker 외(1999)가 말했듯이 윤리 강령은 "품격이 부족한 사람이 품격이 있는 척하고 싶어 하는 사람에게만 유용"하기 때문에 "바람직하지 않은" 것으로 간주되었습니다. 
The term medical ethics and the modern use of profession first appeared in the early 19th century, when an English physician, Dr. Thomas Percival of Manchester, introduced them in his book, Medical Ethics (1803). Percival (1803) clearly articulated specific social roles for all physicians and hoped to see these widely adopted. While it is tempting, therefore, to date the birth of medical professionalism to 1803, Percival’s efforts to get the British medical profession to agree to a written set of ethical standards for all physicians were, unfortunately, [End Page 566] sharply rebuffed. The sentiment in England at the time was that proper gentlemen didn’t need written ethical standards, because they already knew how to behave. In fact, as Baker et al. (1999) put it, codes of ethics were considered “undesirable” because they were “useful only to persons who, lacking decent character, wish to pretend that they had one.”

결국 19세기 중반, 미국 의료계가 최초로 국가 차원의 윤리 및 진료 표준을 만들었습니다. 결국 비슷한 기준이 거의 보편적으로 받아들여지면서 현대 의료 직업의 개념이 만들어졌습니다. 미국 의사들은 여러 가지 이유로 본격적인 전문직을 창출할 준비가 되어 있었습니다. 아마도 가장 중요한 이유는 프랑스, 영국, 스코틀랜드 계몽주의 사상가들에 의해 고안되었지만 비합법적 계급주의에 반대하는 반란군이 만든 신생 미국 공화국에서 가장 완벽하게 구현된 사회 계약이라는 개념에 미국인들이 매력을 느꼈기 때문일 것입니다. 미국에서는 사람들이 평등하게 관계를 맺어야 했습니다. 사회적 관계는 노블레스 오블리주나 신사적 예의와 같은 모호한 개념이 아니라 의지가 있는 당사자 간의 어느 정도 명시적인 계약에 기반해야 했습니다. 이러한 사고 방식은 사회적 관계의 조건을 구체화하려는 욕구로 이어졌습니다. 의학에서 이러한 구체화는 서면 윤리 강령의 형태를 띠게 됩니다.
In the end, it was the American medical profession that, in the mid-19th century, created the first national set of ethical and practice standards. Eventually, similar standards were almost universally accepted, thereby creating the modern concept of the medical profession. American physicians were primed for the task of creating a full-fledged profession for several reasons. Perhaps most important was the Americans’ attraction to the notion of a social contract—a notion conceived by French, English, and Scottish Enlightenment thinkers, but implemented most fully in the young American republic, created by rebels against inegalitarian classism. In the United States, people were to relate as equals. Social relations were to be built upon more-or-less explicit contracts between willing parties, not such nebulous notions as noblesse oblige or gentlemanly honor. This way of thinking led to the desire to specify the terms of social relations. In medicine, this specification would take the form of a written code of ethics.

1847년 미국 의학은 혼란에 빠져 있었습니다. 의학 교육, 의료 행위, 의료 윤리에 대한 통일된 기준이 없었습니다. 

  • 대부분의 의료 서비스는 효과가 없었고 종종 생명을 위협할 정도로 위험했습니다. 
  • 매수자 부담 원칙( Caveat emptor )이 의료계를 지배했습니다. 
  • 자유 시장으로 인해 교육을 받지 못한 다양한 비전문 의료인이 난립했습니다. 
  • 과학적 의학은 나중에 기적적인 치료법을 만들어내기는커녕 제대로 태어나기도 전에 사라질 위험에 처해 있었습니다. 

이러한 환경에서 '정통orthodox' 의사들이 모여 초기 과학 의학이라는 '전문직'을 정의하고 방어할 수 있는 일련의 교육 및 윤리적 기준을 마련했습니다. 이들이 만든 문서인 1847년 미국의사협회(AMA)의 의료 윤리 강령은 모든 전문직에 대한 최초의 국가 윤리 강령이었습니다.
In 1847, American medicine was in disarray. There were no uniform standards for medical education, medical practice, or medical ethics.

  • Most medical care was ineffective and often life-threateningly dangerous.
  • Caveat emptor ruled the field.
  • The free market was leading to the rampant production of a wide variety of uneducated and unorthodox practitioners.
  • The survival of scientific medicine was under threat—at risk of dying before it had been fully born, let alone produced any of the miraculous cures it would later deliver.

In this environment, a group of “orthodox” practitioners met to draw up a set of educational and ethical standards, by which they might define—and defend—the nascent “profession” of scientific medicine. The document they produced, the 1847 Code of Medical Ethics of the American Medical Association (AMA), was the first national code of ethics for any profession.

당시 미국 독립선언서만큼이나 혁명적이라는 찬사를 받았던 이 윤리 강령은 퍼시벌, 히포크라테스 등의 연구에서 파생된 것이 분명합니다(Baker 외. 1999). 그러나 그것은 또한 전형적으로 미국적이기도 했습니다. 의사와 환자, 의사와 다른 의사, 의사와 지역사회 간의 상호 의무를 명시한 세 부분으로 구성된 사회 계약이 제시되었습니다. 대부분의 경우 이러한 의무는 중요하고 구체적이었습니다. 강령의 세 장은 이러한 상호 의무를 따라 작성되었습니다. 예를 들어,

  • 지역 사회와 의사의 의무와 관련하여 의사는 "지역 사회의 이익을 위해 자신의 건강과 생명을 노출해야 하며, 그 대가로 모든 구성원에 대해 집단적으로나 개별적으로 자신의 조치를 수행하는 데 도움을 요청할 정당한 청구권이 있다"고 규정하고 있습니다.
  • 개별 환자와의 관계에서 의사는 "병자의 부름에 항상 순종할 준비가 되어 있어야 하며", "비밀과 섬세함"을 "엄격하게 준수"해야 하는 등의 의무를 지녀야 했습니다.
  • 그러나 그 대가로 환자는 적절한 훈련을 받은 의사만을 선택해야 하고 "자신의 질병의 원인을 의사에게 충실하고 가감 없이 전달"해야 했으며(그러나 환자는 "지루한 세부 사항"으로 의사를 "지치게 해서는 안 된다!"), 물론 "의사의 처방에 대한 환자의 순종은 신속하고 암묵적으로 이루어져야 한다"(Baker 외, 1999, 부록 B 및 C)고 했습니다.

This code of ethics, which was hailed at the time for being as revolutionary as the Declaration of Independence (Baker et al. 1999), was clearly derived from the work of Percival, the Hippocratics, and others. Yet it was also quintessentially American. It laid out a three-part social contract, with reciprocal obligations spelled out between physicians and patients, physicians and other physicians, and physicians and their communities. In many cases these obligations were significant and specific. The three chapters of the code were drawn along the lines of these reciprocal obligations.

  • With regard to community-physician obligations, for example, a physician is “required to expose his health and life for the benefit of the community, [and] he has a just claim, in return, on all its members, collectively and individually, for aid to carry out his measures.”
  • In relations with individual patients, physicians were to “be ever ready to obey the calls of the sick,” “secrecy and delicacy” should be “strictly observed,” and so on.
  • But in return, patients were to select only properly trained physicians and to “faithfully and unreservedly communicate to their physician the supposed cause of their disease” (yet a patient should not “weary” the physician with “tedious detail”!), and, of course, “the obedience of a patient to the prescriptions of his physician should be prompt and implicit” (Baker et al. 1999, appendix B and C).

이러한 상호 의무는 의사의 개인적 미덕에 의존하지 않았지만, 고결한 개인이 직업에 참여하기를 확실히 희망했습니다. 대신 의료 전문가의 의무를 명시적으로 서면으로 규정하여 환자, 지역사회, 의사 모두가 이러한 기준을 인지할 수 있도록 했습니다. 의료계는 대중의 신뢰와 공중 보건 개선의 기초가 될 의사의 자질에 대해 일관된 주장을 하는 것을 목표로 삼았습니다(우연은 아니지만 자율 규제와 독점권 확립의 기초가 되었습니다). 
These reciprocal obligations did not depend on the personal virtue of the practitioner, though it was certainly hoped that virtuous individuals would join the profession. Instead, the obligations of medical professionals were laid out, explicitly and in writing, so that patients, the community, and physicians all would be aware of these standards. The profession aimed to make uniform claims about the quality of its practitioners, which would be the basis of public trust and improved public health (and—not coincidentally—the foundation for the establishment of self-regulation and monopoly power).

이러한 상호 의무가 어느 정도 실천되었는지, 특히 의사들이 강령에 명시된 이상에 어느 정도 부응했는지에 대해서는 분명 논쟁의 여지가 있습니다. 또한 환자가 이 새로운 계약의 기꺼이 당사자로 참여한 정도에 대해서도 의문을 제기할 수 있습니다. 그럼에도 불구하고 모든 의사에게는 구체적이고 고유한 의무가 있으며 사회에서 특별하고 특권적인 역할이 있다는 일반적인 개념은 이 새로운 전문가 집단이 (1) 이러한 문제를 문서화하고 (2) 새로운 강령 준수를 장려하기 위해 자율 규제 메커니즘을 개발하려는 의지를 보인 후에야 널리 받아들여졌습니다(Wynia 2006). 실제로 의사의 사회적 지위는 이타주의, 시민 의식, 과학적 이상에 대한 헌신, 자율 규제를 통한 역량 및 품질 보증 약속을 요구하는 이러한 명시적인 사회 계약에 따라 결국 성층권에 가까운 수준으로 높아졌습니다.  
One can certainly argue about the extent to which these reciprocal sets of obligations were lived out, and the degree to which physicians, in particular, lived up to the ideals they espoused in the code. One can also raise questions about the extent to which patients were a willing party to this new contract. Nonetheless, the general notion that all physicians have specific and unique obligations, and a special, privileged role in society, became widely accepted only after this new group of professionals was willing to (1) put these matters in writing and (2) develop mechanisms for self-regulation to encourage adherence to its new code (Wynia 2006). Indeed, the social status of physicians was eventually raised to near-stratospheric heights, based in part on this explicit social contract that demanded altruism, civic-mindedness, devotion to scientific ideals, and a promise of competence and quality assurance through self-regulation.

전문직 협회의 역할
The Role of Professional Associations

전문직은 집단 기반의 사회적 실체이기 때문에 공동체의 일원이 되는 것은 전문직의 필수적인 특징입니다. 특히, 전문직이 서면으로 작성된 사회 계약, 즉 윤리 강령을 기반으로 하는 경우 윤리 강령을 작성하는 단체의 역할이 매우 중요해집니다. 전문직 종사자가 사회 계약에 영향을 미치고 싶다면 전문직 협회를 통해 할 수 있습니다. 의료계가 사회적으로 인정받고 성공을 거두면서, 즉 사회 계약이 진행되면서 지역, 주, 전국 전문직 협회에 참여하는 것은 다른 여러 가지 이유로 중요해졌습니다.
Since professions are group-based social entities, being part of a collegial community is an essential feature of professionalism. In particular, when a profession is based on a written social contract—a code of ethics—the organization that writes this code becomes very important. If a practitioner wants to affect the social contract, the way to do so is through the professional association. And participation in local, state, and national professional associations became important for many other reasons as the medical profession became socially recognized and successful—that is, as the social contract played out.

초기 AMA의 일부 활동은 길드 형태의 활동으로, 은행 대출과 의료 과실 보험이 종종 AMA 회원 자격에 따라 조건부로 제공되었다는 사실과 같은 것이었습니다. "전염병이 만연할 때" 의사는 자신의 건강에 대한 위험에도 불구하고, 심지어 (1912년 이후에는) 보수와 "무관하게" 환자를 계속 돌봐야 한다는 AMA 강령에 명시된 의무와 같이 공익을 더 명확하게 증진하거나 명백히 이타적이었던 활동과 기준도 있었습니다(Huber와 Wynia 2004). 
Some activities of the early AMA were guild-type activities, such as the fact that bank loans and malpractice insurance were often contingent upon AMA membership. Other activities and standards more clearly promoted the public good, or were plainly altruistic—such as the obligation specified in the AMA Code that “when pestilence prevails,” physicians must continue to care for patients despite the risk to their own health and even (after 1912) “without regard” to remuneration (Huber and Wynia 2004). [End Page 568]

전문 협회의 회원이 되는 것은 진화하는 의학 과학에 대한 최신 정보를 얻는 방법이기도 했는데, 이는 미국에서 멀리 떨어진 개인 개업의에게 특별한 도전이었습니다. 예를 들어 수술 중 의뢰와 도움을 받는 데 필요한 동료 관계를 구축하는 방법이기도 했습니다. 유명한 의사 윌리엄 오슬러 경은 전문가가 성장할 수 있는 비옥한 토양으로서 전문 학회의 중요성을 다음과 같이 거듭 언급했습니다."어느 곳에서든 전문직 동료와 떨어져 지낼 여유가 없습니다. 그들의 협회에 가입하고, 그들의 모임에 어울리고, 여기 모이고 저기 흩어지되, 어디에서나 여러분이 가르침을 받는 만큼 기꺼이 가르치는 충실한 학생임을 보여주어야 합니다."(Bryan 1997, 51쪽). 
Being a member of one’s professional association was also how one kept upto-date on the evolving science of medicine, a special challenge to far-flung solo practitioners in the United States. It was how one forged collegial relations— needed for referrals and assistance during surgery, for example. The famous physician Sir William Osler repeatedly noted the importance of professional societies as the fertile ground in which professionals grew: “You cannot afford to stand aloof from your professional colleagues in any place. Join their associations, mingle in their meetings, gathering here, scattering there; but everywhere showing that you are faithful students, as willing to teach as be taught” (Bryan 1997, p. 51).

이 인용문에서 알 수 있듯이 전문가 협회는 초기 의학의 비금전적 보상 시스템을 개발하는 데 중요한 역할을 했습니다. 초기 의료계 사회학자에 따르면, 의료계에 입문하는 사람들에게 의외로  금전적 보상은 드문 동기 부여였습니다. 예를 들어 Talcott Parsons는 의사가 된 사람들이 돈에 이끌리기보다는 동료들 앞에서 잘 보이고 싶은 욕구에 이끌려 의사가 되는 경향이 있다고 제안했습니다(Latham 2002). 이것이 사실이라면, 동료 그룹에게 자신의 연구를 발표하는 것은 과학뿐만 아니라 응집력 있는 동료 전문가 커뮤니티의 발전에도 중요했습니다.
As this quote suggests, professional associations played an important role in developing the non-monetary reward system of early medicine. According to early sociologists of the medical profession, monetary rewards were scant and a surprisingly rare motivator for those entering the medical profession. Talcott Parsons, for example, suggested that people who became doctors tended to be driven less by money than by a desire to look good in front of their peers (Latham 2002). Insofar as this was true, presenting work to one’s peer group was important not only to science, but to the development of a cohesive, collegial professional community.

전문가 협회에 참여하는 것은 윤리적 의무이기도 했습니다. 특히 의료계 지도자들에게는 전문직의 미래를 위한 이타적 의무의 핵심으로 여겨졌습니다. 오슬러에 따르면, "어떤 의사도 자신을 자신의 소유물로 여길 권리는 없지만, 각자가 전문직의 일부라는 점에서 모두 자신을 전문직에 속한 것으로 간주해야 한다"(Bryan 1997, 50쪽). 한 번은 오슬러가 한 의대생으로부터 지역 의사회 회의에 참석해야 하는지 여부를 묻는 질문을 받았는데, 그 학생은 회의에서 무엇을 얻을 수 있을지 확신할 수 없었기 때문에 오슬러는 "내가 거기에서 얻을 수 있는get out of 것을 위해 갈까요, 아니면 내가 거기에 넣을 수 있는put into 것을 위해 갈까요?"라고 대답했습니다. (브라이언 1997, 49쪽).
Participation in professional associations was also an ethical obligation. For medical leaders in particular, participation was seen as a core altruistic obligation to the future of the profession. Again, according to Osler: “no physician has a right to consider himself as belonging to himself; but all ought to regard themselves as belonging to the profession, inasmuch as each is a part of the profession” (Bryan 1997, p. 50). Once, when Osler was asked by a medical student whether he (the student) should attend a local medical society meeting, because he wasn’t sure what he would get out of it, Osler responded, “Do you think I go for what I can get out of it, or what I can put into it?” (Bryan 1997, p. 49).

과학의 발전, 겸손의 상실
Advances in Science, Loss of Humility

세기가 바뀌면서 과학적 의학은 그 가능성을 보이기 시작했습니다. 이전 세대의 의사들은 병자에게 의학적 혜택을 줄 수 있는 무언가가 있다고 믿었지만, 공중 위생과 예방 접종을 이해한 의사 세대는 실제로 생명을 구했고, 극적으로도 그렇게 했습니다.

  • 1900년부터 1920년 사이에 장티푸스, 디프테리아, 위염으로 인한 사망자가 절반 이상 줄었고 결핵으로 인한 사망자는 3분의 1로 감소했습니다.
  • 1940년대에는 페니실린과 스트렙토마이신이 도입되면서 인플루엔자 사망자가 급감하고 결핵 사망자가 급격히 감소하여 결핵이 퇴치될 것이라는 기대가 널리 퍼져나갔고, 1940년대에 이르러서는 결핵 사망자가 급격히 감소했습니다.
  • 드크루이프의 『미생물 사냥꾼』(1926)과 같은 책에서 전염병 퇴치를 위한 의사들의 자기 희생과 성공에 대해 언급하자 많은 미국인이 의사를 영웅으로 여기게 되었습니다.

By the turn of the century, scientific medicine was beginning to show its promise. While previous generations of doctors had believed, often falsely, that they had something of medical benefit to offer the ill, the generation of doctors that understood public hygiene and inoculation actually did save lives, and dramatically so.

  • Between 1900 and 1920, deaths from typhoid, diphtheria, and gastritis were cut by more than half, and tuberculosis deaths dropped by one-third.
  • By the 1940s, with the introduction of penicillin and streptomycin, influenza deaths plummeted, and tuberculosis deaths were falling so rapidly that the disease was widely expected to be eliminated.
  • When books like DeKruif ’s The Microbe Hunters (1926) noted both the self-sacrifice and success of physicians in combating infectious diseases, many Americans came to see physicians as heroes.

안타깝게도 영웅적 지위를 얻게 된 결과 중 하나는 의사들이 히포크라테스의 뿌리에 남아 있을지도 모르는 겸손의 잔재를 잃게 된 것입니다. 흥미롭게도 히포크라테스가 겸손을 강조한 것은 인간의 생명에 대한 신의 힘에 대한 경외심과 의사가 신의 계획에 반하는 개입을 하면 오만함의 죄를 짓는다는 믿음에 근거한 것이었습니다. 이후 세대의 의사들은 인체를 기계적이고 조작과 측정이 가능하며 과학적 조사와 학습의 대상으로 보았습니다. 의사들은 과학적 의문에 대한 믿음에서 겸손을 배웠어야 했고, 일부는 실제로 겸손을 배웠습니다. 과학적 지식은 항상 미약하며 더 개선될 수 있다는 점을 인정한 것이다.(Wynia and Kurlander 2007). 예를 들어,

  • 존 그레고리(1724-1773)는 이러한 과학적 겸손을 "자신감diffidence"이라고 부르며 "(신념에 열려 있고, 자신의 실수를 인정하고 수정할 준비가 되어 있는) 솔직함"이 의사의 도덕적 의무라고 주장하면서 진료의 오류를 의료 행위를 연구하고 개선하는 데 사용해야 한다고 촉구했습니다(Gregory 1772, 209-10페이지).
  • 컬럼비아 의과대학의 설립자인 사무엘 바드는 1769년 졸업하는 의대생들에게 다음과 같이 말했습니다: "너희가 실패할 정도로 불행할 때마다, 그것을 구제하려는 노력에서, 특정한 불행을 일반적으로 축복으로 바꾸는 것이 너희의 끊임없는 목표가 되도록 하라. 죽은 자의 시신을 주의 깊게 검사하고 질병의 원인을 탐구하며, 그로부터 너희 자신의 지식을 향상시키고 더 유용한 발견을 함으로써." (13-14페이지).

Sadly, one effect of gaining heroic status was the loss of any remnants of [End Page 569] humility that doctors might have retained from their Hippocratic roots. Interestingly, the Hippocratics’ emphasis on humility had been based on an awe of the gods’ powers over human life and a belief that physicians would be guilty of hubris if they intervened contrary to the gods’ plans. Later generations of physicians saw the human body as mechanistic, amenable to manipulation and measurement, and the subject of scientific scrutiny and learning. They should have (and some had) derived humility from their belief in scientific questioning—recognizing that scientific knowledge is always tenuous and subject to further refinement (Wynia and Kurlander 2007).

  • John Gregory (1724–1773), for instance, called such scientific humility “diffidence” and held that “candor, which makes him open to conviction, and ready to acknowledge and rectify his mistakes,” is a moral duty for physicians, urging that errors in care be used to study and improve medical practice (Gregory 1772, pp. 209–10).
  • Samuel Bard, founder of the Columbia College of Physicians and Surgeons, told graduating medical students in 1769:“Whenever you shall be so unhappy as to fail, in your Endeavors to relieve; let it be your constant Aim to convert, particular Misfortunes into generaly Blessings, by carefully inspecting the Bodies of the Dead, inquiring into the Causes of their Diseases, and thence improving your own Knowledge, and making further useful Discoveries” (pp. 13–14).

과학적 겸손은 과학적 탐구와 새로운 치료법 개발을 촉진하는 한에서 엄청난 성공을 거두었습니다. 그러나 예상대로 과학이 발전하고 의학이 더 큰 성공을 거두면서 의사들이 겸손함을 유지하기가 더 어려워졌습니다. 리처드 캐봇(1868~1939)이나 어니스트 코드먼(1869~1940) 같은 용감한 의료 질 개선의 선구자처럼 오류를 통해 교훈을 얻으려 했던 의사들은 종종 다른 의사들로부터 비방을 받기도 했습니다. 
Scientific humility, insofar as it drove scientific inquiry and the development of new treatments, was tremendously successful. But, perhaps predictably, as science made advances and medicine had greater success, it became harder for physicians to remain humble. Those physicians who sought out errors to learn from them, brave pioneers of quality improvement like Richard Cabot (1868–1939) and Ernest Codman (1869–1940), were often vilified by other practitioners.

이러한 비방 중 일부는 오류를 인정하거나 자신의 실수가 노출되는 것을 꺼리는 인간의 기본적인 본성을 반영한 것이었습니다. 그러나 그것은 또한 의학의 과학과 예술(교양) 사이의 지속적인 분열, 즉 연구자들은 과학에 더 관심이 많았던 반면, 임상의들은 예술에 더 헌신적이었던 직업 발전 초기의 모습을 반영한 것일 수도 있습니다. 과학에 관심을 두지 않고 의술을 행하는 것은 어리석은 일이고, 예술에 관심을 두지 않고 인간을 돌보는 것은 잔인한 일이기 때문에 많은 사람들은 이러한 구분이 인위적인 것이라고 생각하지만, 둘 다 훌륭한 의료 행위를 위해 필요합니다. 그러나 실제로 이러한 논쟁에서 예술이라는 용어는 개별 의사가 최신 과학에 대한 정보도 없고, 동료나 다른 사람의 의미 있는 감독도 받지 않은 채, 자신의 최선의 판단에 따라 진료할 수 있어야 한다는 개념을 나타내는 코드였습니다.
Some of this vilification reflected basic human nature—the reluctance to admit error or have one’s errors exposed. But it might also have reflected an ongoing divide early in the development of the profession, between the science and art of medicine: researchers were more interested in science, while clinicians were more devoted to art. To be sure, many believe that this divide was, and remains, largely artificial, since practicing medicine without attention to science would be foolish, and caring for human beings without attention to art would be cruel: both are necessary to good medical practice. In effect, however, in some of these debates the term art was code for the notion that individual practitioners should be allowed to practice according to their own best judgment, often uninformed by the latest science and without meaningful oversight from colleagues or anyone else.

전문가 자율성 정의
Defining Professional Autonomy

어떤 의미에서 과학 대 예술에 대한 초기의 싸움은 지금 우리가 "전문직업적 자율성"이라고 부르는 것의 정의에 관한 것이었습니다. 적어도 AMA가 창립된 이후 의사들 사이에서는 다음과 같은 질문에 대한 고민이 있었습니다:

  • 전문직 자율성이란 국가나 시장을 통해 표준을 제정하는 것이 아니라 전문직이 집단으로서 표준을 제정하고 모든 구성원이 이에 따르도록 하는 것을 의미할까요?
  • 아니면 자격을 갖춘 것으로 판명된 개별 전문가가 자신만의 업무 패턴을 정할 수 있도록 허용하는 것을 의미할까요? 

In a way, this early fight about science versus art was about the definition of something we would now call “professional autonomy.” At least since the founding [End Page 570] of the AMA, there had been an undercurrent of concern amongst practitioners over the following question:

  • would professional autonomy mean that the profession, as a group, was to establish standards (rather than having them established by the state or through the marketplace) and ensure that all members lived up to them?
  • Or would it mean that each individual professional, once found to be qualified, would be allowed to establish their own patterns of practice?

이 질문은 잠시 후에 다시 다루겠지만, 프로그레시브 시대(약 1890~1913년) 초기에는 전문가 집단이 자율 규제의 기준과 메커니즘을 확립하는 방향으로 논쟁이 해결되고 있는 것처럼 보였습니다(Burrow 1977). 예를 들어,

  • AMA는 창립 1년 만에 의학교육, 의과학, 실용의학, 수술, 산부인과, 의학 문헌 및 출판물에 대한 표준을 설정하는 위원회를 설립했습니다.
  • 곧이어 해부학, 생리학, 의학 재료, 화학, 법의학, 생체 통계, 위생 및 위생 조치에 관한 위원회가 뒤를 이었습니다(Haller 1981).

제안된 계약은 명확했습니다. 개별 개업의는 AMA가 제공하는 직업적 사회적 특권의 혜택을 받지만, 그 대가로 AMA 위원회가 정한 전문직의 지시를 따라야 한다는 것이었습니다. 

We’ll return to this question momentarily, but early on—certainly throughout the Progressive Era (ca. 1890–1913)—it appeared that the debate was being resolved in favor of professionals, as a group, establishing standards and mechanisms of self-regulation (Burrow 1977). For example,

  • within a year of its founding, the AMA established committees to set standards on medical education, medical sciences, practical medicine, surgery, obstetrics, and medical literature and publications.
  • Committees on anatomy, physiology, materia medica, chemistry, forensic medicine, vital statistics, hygiene, and sanitary measures soon followed (Haller 1981).

The proposed arrangement was clear: individual practitioners would benefit from professional social privileges garnered by the AMA, but in return they were expected to follow the dictates of the profession, as set by AMA committees.

과학이 발전함에 따라 임상의와 과학자 사이의 격차는 좁혀지는 듯 보였습니다. 청진기, 다양한 혈액 검사, 현미경과 같은 새로운 과학적 측정 도구가 의료 무기의 일부가 되었습니다. 과학적 진료보다는 예술적 진료에 대한 임상의들의 선호도는 점점 줄어들고 있는 것처럼 보였습니다. 1904년 AMA 회장인 존 H. 머서 박사는 "과학적 정밀성이 들어오면서 소위 예술이 사라지고 있습니다. 직관에 의한 진단, 부주의한 '경험칙'에 의한 진단은. . 사하라 사막의 모래가 움직이는 것만큼이나 신뢰할 수 없다"(King 1983, 2478쪽)고 말했습니다. 
As science advanced, the divide between clinicians and scientists seemed to narrow. New scientific measurement tools, such as the stethoscope, various blood tests, and microscopy, became part of the medical care armamentarium. The clinicians’ preference for artful rather than scientific practice looked to be on the wane. Dr. John H. Musser, President of the AMA in 1904, remarked, “With the incoming of scientific precision there is the outgoing of so-called art. Diagnosis by intuition, by careless ‘rule of thumb’. . . is as little trustworthy as the shifting sand of the Sahara” (King 1983, p. 2478).

과학적 성공과 권위의 다른 위험
Other Perils of Scientific Success and Authority

진료와 과학의 연결은 환자 치료와 공중 보건에 큰 발전을 가져왔습니다. 그러나 안타깝게도 과학과 연계된 성공의 단점도 상당했습니다. 의사들은 '예술'에 대한 겸손과 존중을 잃었을 뿐만 아니라 고객 서비스 지향성도 잃게 되었습니다. 의학은 점점 더 복잡해지고 미시적인 현상을 설명하기가 쉽지 않았습니다. 더 중요한 것은 인체에 대한 기계적인 이해는 환자가 예방 접종과 같이 이러한 혜택이 어떻게 발생하는지 이해하거나 믿지 않더라도 의학이 엄청난 혜택을 제공할 수 있다는 것을 의미했습니다. 그래서 의사들은 인구 수준에서 공중 보건 의무를 추진했고, 개인 수준에서는 환자에 대해 매우 가부장적인 태도를 취했습니다.
Linking practice to science led to great advances in patient care and public health. Sadly, however, the downsides of this success-linked-to-science were substantial: physicians not only came to lose humility and respect for “the art,” but their customer service orientation as well. Medicine became increasingly complex, and microscopic phenomena weren’t always easy to explain. Perhaps more important, a mechanistic understanding of the human body meant that medicine could provide tremendous benefits whether or not the patient understood or believed in how these benefits came about (such as with inoculations). So physicians pushed for public-health mandates at the population level and adopted a highly paternalistic attitude towards patients at the individual level.

그러나 슬프게도 의사의 사회적 권위의 원천인 과학적 역량에 대한 이러한 집중이 가져온 부정적인 결과는 교만, 가부장주의, 예술과 고객 서비스의 상실뿐이 아니었습니다. 다른 하나는 의사의 시민적 의무가 결국 당연한 것으로 여겨지거나 중요하지 않다고 여겨지거나 잘못 해석되어 많은 사람들이 거의 포기하게 되었다는 것입니다. 
But pride, paternalism, and the loss of art and customer service were, sadly, not the only negative consequence of this focus on scientific competence as the source of physicians’ social authority. Another was that physicians’ civic obligations eventually came to be taken for granted, seen as unimportant, or misconstrued; and many were nearly abandoned.

  • 첫째, 백신, 항생제, 심장 수술, 장기 이식 및 기타 기적이 일어나면서 과학적 역량을 넘어서는 전문적 의무가 더 이상 필요하지 않게 되었습니다. 생명을 구하는 것만으로도 높은 수준의 대중적 존경을 받기에 충분했기 때문입니다.
  • 둘째, 전염병이 유행하는 동안 환자를 계속 돌봐야 하는 직업적 의무와 같은 일부 시민의 의무는 과학적 의학의 성과로 인해 결국 '시대착오적'인 것으로 여겨졌습니다. 1970년 미국 외과의사 장관이 말했듯이, "전염병의 시대는 끝나가고 있다"(Huber and Wynia 2004)고 했습니다. 이 정도의 오만함을 가진 전문직이 윤리 규정의 필요성을 거의 느끼지 않는다고 상상하는 것은 어렵지 않습니다. 결국 질병을 없애는 것보다 더 윤리적인 일이 있을 수 있을까요? 

First, in the wake of vaccination, antibiotics, cardiac surgery, organ transplantation, and other miracles, any professional obligations beyond scientific competence no longer seemed necessary. Saving lives was sufficient to garner high levels of public respect. Second, some civic obligations, such as the professional duty to continue caring for patients during epidemics, were eventually seen as “anachronistic,” because the achievements of scientific medicine had made them so. As the U.S. Surgeon General put it in 1970, “the era of infectious diseases is coming to an end” (Huber and Wynia 2004). It’s not hard to imagine a profession with this level of hubris feeling little need for any ethical regulations—after all, what could be more ethical than eliminating disease?

  • 세 번째이자 더 복잡한 문제는 우리가 더 이상 자율 규제를 해야 한다는 데 의문의 여지가 없을 정도로 높은 신뢰를 얻게 되었다는 점입니다. 언뜻 보기에는 이러한 발전이 자율 규제의 시민적 의무를 촉진하는 것처럼 보일 수 있지만, 의심의 여지가 없는 자율 규제 능력을 확보하는 것은 불행한 반발을 불러일으켰습니다. 설립 당시부터 AMA의 목표는 국가의 지원을 받아 의사에 대한 신뢰도를 높여 전문직 독점, 즉 '전문직 폐쇄'를 만드는 것이었습니다. 즉, 전문직이 정한 기준에 따라 자격을 갖추지 못한 의사는 주정부에 의해 업무에서 배제되는 것입니다. 전문직 폐쇄에 성공하면 부도덕하고 비과학적인 의사로부터 대중을 보호할 수 있습니다. 또한 자격을 갖춘 의사들의 지위와 급여도 높아질 것입니다. (제 생각에 이렇게 이타적 동기와 이기적 동기를 완전히 분리하는 것은 불가능합니다.) 의사들이 의료 서비스를 개선하겠다는 약속을 지키고, 이를 위해 자신의 목숨까지 걸면서, 의사들은 규제 철폐를 주장하는 데 큰 성공을 거두었습니다. 실제로 의료계는 이러한 측면에서 매우 성공적이었기 때문에 의료 면허, 인증 기관, 기타 전문직에서 파생된 다양한 구조 및 프로세스와 같은 많은 자율 규제 메커니즘이 법적 구속력이 있는 것으로 받아들여져 국가와 전문직 간의 경계가 모호해졌습니다. 많은 의사들은 이러한 다양한 규제 구조를 더 이상 직업적 자율 규제의 일부이자 장기적으로 사회적 신뢰를 유지하는 데 필요한 것으로 인식하지 않고, 국가가 의사를 감시하고 진료를 방해하기 위해 파견한 간섭적인 외부 기관으로 인식하게 되었습니다.

Third—and more complex—is that the profession accrued so much credibility there was no longer any question that it should be self-regulatory. At first blush, this development might seem to promote the civic obligation of self-regulation, but gaining the unquestioned capacity to self-regulate created an unfortunate backlash. From the time of its founding, a goal of the AMA had been to develop a heavy mantle of credibility around physicians that would create a professional monopoly, or “professional closure,” with the assistance of the state. That is, those who were not qualified, according to standards established by the profession, would be closed out of practice by the state. If successful, professional closure would protect the public from unscrupulous and unscientific practitioners. It would also raise the status, and presumably the pay, of qualified practitioners. (It is, in my view, impossible to fully disentangle these altruistic and self-serving motivations.) As physicians delivered on their promises to improve medical care, and risked their own lives in doing so, the profession became extremely successful in arguing for regulatory closure. In fact, medicine was so successful in this regard that many of our self-regulatory mechanisms, such as medical licensure, accreditation bodies, and various other professionally derived structures and processes, were accepted as legally binding—which blurred the lines between the state and the profession. Victims of our own success, many physicians no longer recognized these various regulatory structures as a part of professional self-regulation and necessary to maintaining our social credibility over the long term; instead, they came to be perceived as meddlesome outside bodies, sent in by the state to scrutinize us and disrupt our practice.

마지막으로, 인정하기 싫지만 의료 윤리 분야의 급성장도 의사들이 전문성에 시민적 책임이 수반된다는 의식을 상실하는 데 기여했습니다. 위에서 언급한 바와 같이 가부장주의에서부터 사회에 대한 의무를 가장한 의사의 나치 반인도 범죄 가담에 이르기까지 정당한 우려에 대응하는 초기 생명윤리학은 생명윤리의 원칙으로서 자율성의 중요성을 강력히 강조하고, 의사의 시민적 의무를 경시하거나 심지어 폄하했습니다. 일부는 의사에게 시민적 고려를 완전히 무시하고 환자 개개인의 복지만 생각하라고 촉구했습니다. 예를 들어, 1984년 노먼 레빈스키는 뉴잉글랜드 의학 저널에 "의사는 비용이나 기타 사회적 고려 사항을 고려하지 않고 각 환자에게 도움이 된다고 생각되는 모든 것을 해야 한다"고 썼습니다(1573페이지). 이러한 진술은 개인의 자율성에 대한 존중이 의료 윤리를 지배하고 있음을 반영하는 것이기도 하지만, 의사의 전문성을 뒷받침하는 사회 계약의 핵심적인 측면, 의사가 사적 이익과 공동체 이익 사이의 중재자 역할을 해야 한다는 사회학자 Talcott Parsons가 설명했던 의무가 상실되었음을 보여줍니다(Latham 2002; Wynia 외. 1999 ).
Finally, though it pains me to admit it, the burgeoning field of medical ethics also contributed to the loss of physicians’ sense that professionalism entails civic responsibilities. Early bioethics, responding to legitimate concerns—ranging from paternalism, as noted above, to physician participation in Nazi crimes against humanity under the guise of obligations to society—strongly stressed the importance of autonomy as a principle of biomedical ethics and deemphasized [End Page 572] or even denigrated physicians’ civic duties. Some urged physicians to ignore civic considerations altogether and think only of the welfare of the individual patient before them. For instance, in 1984 Norman Levinsky wrote in the New England Journal of Medicine that “physicians are required to do everything that they believe may benefit each patient, without regard to costs or other societal considerations” (p. 1573). Such a statement reflects the domination of medical ethics by respect for individual autonomy, but it also illustrates the loss of a cardinal facet of the social contract that had grounded physician professionalism, and which the sociologist Talcott Parsons had described: the obligation of physicians to serve as mediators between private and community interests (Latham 2002 ; Wynia et al. 1999 ).

요약하자면, 20세기 후반에는 진료실에 앉아있는 환자에게만 관심을 가져야 한다는 개념으로 대표되는 매우 다른 전문직업의식이 발전했습니다. 단순하고 일차원적인 윤리로서 엄격한 개인 옹호라는 개념은 환자의 눈앞의 이익에 호소력이 있었으며 의사에게는 쉬워 보였습니다. 하지만 이는 의사, 환자, 지역사회 간의 복잡한 상호 의무로 구성된 전문직업성에 대한 초기의 이해와 크게 다르지 않습니다. 
In sum, in the late 20th century there developed a very different sense of professionalism, epitomized by the notion that one should care only about the patient sitting in the exam room. As a simple, one-dimensional ethics, this notion of strict individual advocacy appealed to patients’ immediate interests, and it seemed easy for doctors. But it could hardly be more different from the initial understanding of professionalism as comprising a complex set of reciprocal obligations between physicians, patients, and the community.

 

수탁자로서의 의사
The Physician as Trustee

의료계에 대한 원래의 사회 계약에 따라 의사는 환자에 대한 의무뿐만 아니라 지역사회에 대한 의무도 가지고 있었으며, 이러한 의무가 충돌할 수 있다는 것을 인식했습니다. 의료보험이 도입되기 전인 초기에는 공유 재정 자원에 대한 청지기적 책임이 분명한 문제는 아니었지만, 환자의 요구와 욕구, 그리고 환자가 생산적인 사회 구성원이 되기를 바라는 지역 사회의 희망을 둘러싸고 갈등이 발생했습니다. 이러한 책임이 상충할 때 훌륭한 전문가는 중재자 역할을 수행하여 모든 관계자를 위해 가능한 한 최선을 다했습니다. 
Under the original social contract for the medical profession, doctors had obligations to patients but also obligations to the community—and it was recognized that these could come into conflict. While stewardship of shared financial resources was not an obvious issue early on (before health insurance came into existence), conflicts arose around patient wants and desires, and the hope of the community for those patients to be productive members of society. When these responsibilities conflicted, a good professional would serve as a mediator, seeking to do the best possible for all concerned.

다른 전문직보다도 의사의 중재자 역할은 사회 계약에서 중요한 부분을 차지했습니다. 오늘날의 계약은 간단하고 실용적인 용어로 다음과 같이 요약할 수 있습니다. 즉, 의사는 병자를 생산적인 삶으로 복귀시키기 위해 노력함으로써 사회를 돕겠다는 집단적 약속의 대가로 병자를 보호할 수 있는 특정 사회적 특권(예: 병자에게 휴직을 허가함)을 부여받습니다. 따라서 윤리적으로, 의사는 건강한 사람들을 대상으로 하는 시장있을지라도, 건강한 사람들의 결근을 핑계로 진단서를 판매할 수 없습니다. 
Even more than for other professions, this mediator role was an important part of the social contract for physicians. In simple, practical terms today, the agreement is the following: physicians are given certain social privileges to protect the ill (such as by allowing time off work) in exchange for a collective promise to help society by working to return the ill to productive life. So, ethically, physicians cannot sell notes to excuse otherwise healthy people from work, despite the fact that there might be a ready market for them.

이는 1847년 의료 윤리 강령에서 의사의 기술이 "공공의 이익을 위해 신뢰받는 자질"이라고 명시한 데서도 잘 드러납니다. 그리고 더 큰 공익을 위해 봉사하겠다는 약속은 19세기에 의학이 처음으로 달성한 직업적 지위에 결정적인 역할을 했습니다."19세기의 법적 조치는 처음으로 의학에 개인적 및 집단적 자율성과 함께 의료에 대한 광범위한 독점권을 부여했으며, 그 대가로 의학은 자신이 봉사하는 사회의 건강 문제에 관심을 갖고 자신보다 사회의 복지를  우선시할 것이라는 명확한 이해와 함께"(943쪽) 의학에 대한 독점권을 부여했습니다.
This was recognized in the 1847 Code of Medical Ethics, which noted that a physician’s skills “are qualities which he holds in trust for the general good.” And our commitment to serving the larger public good played a crucial part in the professional standing that medicine first achieved during the 19th century.As Cruess and Cruess (1997) put it:“[19th-century] legal measures for the first time granted medicine a broad monopoly over health care—along with both individual [End Page 573] and collective autonomy—with the clear understanding that in return medicine would concern itself with the health problems of the society it served and would place the welfare of society above its own” (p. 943).

일차원적 사회 계약의 문제점
Problems with a One-Dimensional Social Contract

그러나 단순화된 자율성 중심적 관점에서는 의사 윤리가 변호사 윤리와 비슷한 모습을 띠게 되었습니다. 즉, 의뢰인을 열성적으로 옹호하는 것이 의사의 주된 의무가 되었습니다. 그러나 이러한 단순한 입장에 대한 실질적이고 개념적인 문제는 상당하며(Sage 1999), 오늘날에도 계속되고 있습니다. 
Under a simplified, autonomy-centric view, however, physician ethics came to look something like lawyerly ethics. Namely, zealous advocacy for one’s client became the primary, if not only, duty of the physician. But the practical and conceptual problems with such a simplistic stance are substantial (Sage 1999), and they are playing out today.

가장 큰 문제는 열성적인 옹호자가 상대 변호사와 판사 역할을 동시에 할 수 없다는 것입니다. 그러나 의학에서는 법률 시스템과 달리 상대편 변호인이 없습니다. 설령 있다고 하더라도 의사의 주장과 더 큰 공동체를 위한 가상의 옹호자의 주장을 비교 검토할 공정한 판사도 없습니다. 열성적인 옹호가 의사의 유일한 윤리적 책임으로 작동하고 개인과 공동체의 요구가 충돌할 때 공정한 결과를 도출하려면 의사가 항소해야 하고 의사가 최종 결정권을 갖지 않는 시스템이 마련되어야 할 것입니다
The main problem is that a zealous advocate cannot also serve as the opposing counsel and the judge. But in medicine, unlike in the legal system, there is no opposing counsel. And even if there were, there is no impartial judge to weigh the physician’s arguments against those of this hypothetical advocate for the larger community. To make zealous advocacy work as the physician’s sole ethical responsibility, and to produce just outcomes when the needs of individuals and communities came into conflict, there would need to be a system in place to which the physician would have to plea—and in which the physician would not have the final word.

이 시나리오는 대부분의 의사에게 그다지 매력적이지 않습니다. 적대적 의료 시스템은 환자와 의사 모두에게 매우 비효율적이고 불만스러울 것입니다. 하지만 의사들이 일차원적인 옹호 역할만을 고집한다면 반드시 진화해야 합니다. 실제로 오늘날 우리는 의료 결정에 대한 통제권을 의료 보험사와 구매자에게 넘기고, 의사와 환자는 이에 항의해야 하는 그런 시스템을 개발하고 있습니다. 
This scenario is not very appealing to most physicians. An adversarial medical care system would be profoundly inefficient and frustrating for patient and doctors alike. Yet it is what must evolve if physicians insist on adopting a one-dimensional advocacy role. And indeed, we are developing just such a system today, with control over medical decisions devolving to health plans and purchasers, to which physicians and their patients must plea.

간단한 계약, 복잡한 문제
Simple Contract, Complex Problems

환자 개개인에 대한 옹호만을 기반으로 하는 이 새로운 사회 계약은 다른 파급 효과도 있습니다. 예를 들어, 전문직 폐쇄성이 약화됩니다. 기존의 전문직 표준에 따라 자격을 갖추지 못했지만 자율성 중심의 사회 계약이 장려하는 시장의 지시에 따라 자유롭게 진료할 수 있는 새로운 의사 그룹이 생겨납니다. 아직 거기까지는 이르지 못했지만, 누구나 간판을 걸고 자신을 "의사"라고 부를 수 있었던 1847년 이전의 시대로 서서히 회귀하고 있습니다. 
This new social contract, based only on advocacy for individual patients, has other ramifications as well. For instance, professional closure weakens. New groups of practitioners arise, unqualified according to the old professional standards but free to practice according to the dictates of the market that an autonomy-centric social contract promotes. We are not there yet, but we are experiencing a slow reversion towards the days before 1847, when anyone could hang a shingle and call themselves a “doctor.”

또한 직업적 자율성이 무엇을 의미하는지에 대한 장기적인 논쟁에서 단순화된 사회 계약 직업적 자율성을 진료 기준을 설정하고 시행함으로써 집단이 자율적으로 규제할 수 있는 권리가 아니라 개별 의사가 개인의 선호에 따라 환자를 치료할 수 있는 권리로 재정의하려는 사람들에게 결정적으로 유리하게 작용할 수 있습니다. 
Also, in the long-running dispute over what professional autonomy means, a simplified social contract decisively tilts the playing field towards those who would redefine professional autonomy to mean the right of individual doctors to treat patients according to individual preference, rather than the right of the group to self-regulate by setting and enforcing practice standards. [End Page 574]

계약의 주체가 집단에서 개인으로 바뀌면서 윤리 강령에서 벗어나 개인 덕목의 윤리로 회귀하고 있습니다. 덧붙여 말하자면, 미덕은 오랜 기간에 걸쳐 규칙을 주의 깊게 준수하여 뿌리내릴 때까지 습관화되는 것이라고 믿었던 아리스토텔레스의 '미덕'과 혼동해서는 안 됩니다. 오늘날 의과대학의 윤리 과목은 의사가 공유된 행동 표준에 구속되어 있으며, 학생들이 이러한 행동 표준이 습관화될 때까지 수용해야 한다는 점을 강조하기보다는, 학생들이 스스로 생각할 수 있도록 훈련하는 데 중점을 두는 경향이 있습니다. 물론 이는 칭찬할 만한 일이며 전문가 집단 사고에 제동을 거는 데 필요한 일이지만, 각 개인의 분석에 전적으로 의존해야 한다고 생각하기는 어렵습니다. 이러한 의존은 일부 의사들이 정당화할 수 있다고 믿는 잘못된 행동을 취하도록 이끌고, 다른 의사들은 허용 가능한 행동에 대해 매우 다른 이해를 가지고 시작하게 될 것입니다. 구어체로 표현하자면, 윤리적 분석을 가르친 다음 전문직업성을 유지하기 위해 '레드 페이스 테스트'에 의존하는 것의 문제점은 어떤 사람들은 쉽게 부끄러워하지 않는다는 것입니다. 때로는 명확한 규칙과 이를 준수해야 한다는 의미 있는 의무를 부여하는 것이 더 나을 수도 있습니다. 
As the contract devolves away from groups and towards individuals, there has been a reversion away from codes of ethics and back towards an ethics of individual virtue. Incidentally, this is not to be confused with “the virtues” à la Aristotle, who believed virtue to be habitual and based upon carefully following rules over a long period of time, until they become ingrained. Rather than emphasizing that physicians are bound by a shared set of behavioral standards, which students should embrace until they become second nature, ethics courses in medical schools today tend to focus on training students to think things through for themselves. This, of course, is laudable and a necessary brake against professional group-think, but it’s hard to believe we should depend completely on each individual’s analysis. Such reliance will predictably lead some physicians to take wrong actions that they believe they can justify, and others will start out with a very different understanding of acceptable actions. To put this in colloquial terms: the problem with teaching ethical analysis and then relying on the “red-face test” to maintain professionalism is that some people don’t embarrass easily. Sometimes, we’d be better off with clear rules and a meaningful obligation to follow them.

마지막으로, 1차원적이고 개인에 초점을 맞춘 계약으로 인해 미묘하고 집단 지향적인 기존의 사회적 계약을 작성하고 시행했던 AMA와 같은 조직에 대한 필요성이 덜 인식되고 있습니다. 이것이 AMA 회원 문제의 유일한 원인은 아니지만, 부정적인 회원 이탈의 핵심적인 부분입니다. 아이러니하게도 개업 의사들로 구성된 AMA 회원들은 대부분 단순화된 사회 계약에 동의했고, 이로 인해 협회 자체의 중요성이 줄어들었습니다. 의사들 사이에서 위상이 떨어지면서 회원 수와 사회적 명성이 떨어졌고, 의료 환경에 영향을 미칠 수 있는 능력도 감소했습니다. 더 많은 의사들이 협회의 제한된 역할에도 불구하고 협회가 비효율적이라고 생각하게 되면서 협회를 탈퇴하는 의사들이 늘어났습니다. 이러한 상황에 직면한 조직 리더는 절망에 빠지기 쉽고, 남은 구성원들을 만족시킬 방법을 찾게 됩니다. 이들을 만족시키기 위해 노력하다 보면 의료에 대한 사회적 계약을 작성하고 모든 의사가 이를 준수하도록 하는 AMA의 핵심 사명에서 더욱 멀어져 주변부에 있는 사람들을 더욱 소외시키기 쉽습니다. 
Finally, with a one-dimensional, individually focused contract, there is less perceived need for organizations like the AMA that wrote and enforced the old, more nuanced and group-oriented, social contract. This is hardly the only cause of the AMA’s membership woes, but it is a key part of a negative membership spiral. Ironically, AMA members—comprising practicing physicians—largely bought into the simplified social contract, in which the association itself became less important. With its loss of stature among physicians came losses in membership and social prestige, and a reduced ability to influence the environment of medical practice. Then, more doctors chose to abandon the organization, because it came to be seen as ineffectual even in its more limited role. Organizational leaders facing such a situation can easily become desperate, casting about for ways to please the remaining members. In their efforts to serve them, it is easy to further alienate those on the margins, by moving even further from the core mission around which the AMA was created: writing the social contract for medicine and ensuring that all physicians are living up to it.

전문과목 협회는 상대적으로 동질적인 회원을 위한 협상에 더 집중할 수 있기 때문에 AMA의 권한을 일부 물려받아 독자적인 사회 계약을 수립하려고 노력해 왔으며, 어느 정도 성공을 거두었습니다. 그러나 안타깝게도 이러한 노력은 종종 전문직의 분열을 심화시키고 내부 갈등을 빈번하게 발생시키는 결과를 초래합니다. 전문직 커뮤니티의 결속력이 약해지면 전문직의 사회적 자본, 회복력, 효율성도 떨어집니다. 
Specialty associations have tried to inherit some of the AMA’s power to establish their own, independent social contracts with some success, since they can better focus on negotiating for a relatively homogeneous membership. Sadly, however, these efforts often result in the increasing fragmentation of the profession and frequent episodes of internecine conflict. As cohesion in the professional community declines, so does professional social capital, resilience, and effectiveness. [End Page 575]

이제 어디로 가야 할까요?
Where to Go from Here?

최근의 역사와 현재의 추세를 고려할 때, AMA가 사라진다고 해서 눈물을 흘리는 의사는 상대적으로 적을 것으로 보이지만, 그 자리를 대신할 대체 조직이 제안되지 않고 있기 때문에 모든 의사를 위한 국가 협회가 없는 것이 대안이 될 수 있습니다. 우리 대부분은 직관적으로 '각자도생'이 직업을 유지하기 위한 확고한 기반이 될 수 없다는 것을 알고 있을 것입니다. "모든 전문 분야가 각자의 전문 분야"도 그다지 좋지 않습니다. 요컨대, 통합된 전문가 협회가 없다면 우리는 직업을 가질 수 없습니다. 
Given recent history and current trends, it seems that relatively few physicians might weep over the passing of the AMA, but since no alternative organization is being proposed to take its place, the alternative is to have no national association for all physicians. Most of us probably know, intuitively, that “every one for oneself ” is not a solid basis on which to maintain a profession. “Every specialty for itself ” isn’t much better. In short, without a unified professional association we cannot have a profession.

새로운 세기의 도전에 대응하기 위해 의학의 사회적 계약을 재건할 수 있을까요? 과학에 대한 우리의 헌신을 유지하면서 사회에 대한 봉사, 예술적 실천, 겸손, (원래의 의미에서) 직업적 자율성의 의무를 회복하고 강화하면서 의학의 새로운 진보적 시대를 만들 수 있을까요? 이 과제를 달성하는 데 도움이 되도록 AMA와 같은 오래된 기관을 재활할 수 있을까요? 
Can we rebuild medicine’s social contract to meet the challenges of the new century? Can we create a new progressive era for medicine, retaining our commitment to science while building back in and reinforcing our obligations of service to society, artful practice, humility, and professional autonomy (in its original sense)? Is it possible to rehabilitate old institutions, such as the AMA, to help accomplish this task?

오늘날 우리는 1847년과 같은 사회 계약을 원하지도, 필요로 하지도 않습니다현대의 사회 계약은 자원 분배, 품질 측정, 의료 시스템 내 다양한 주체들의 상호 작용에 훨씬 더 많은 관심을 기울여야 합니다. (더 이상 환자와 의사뿐만 아니라 구매자, 규제 당국, 기타 의료 종사자들도 계약에 참여해야 합니다.) 실제로 이러한 아이디어는 미국 의학협회(AMA)에서도 주목을 받고 있습니다(윤리적 힘 프로그램 2008).
We don’t want or need the same social contract today that we developed in 1847. A contemporary social contract should focus far more attention on matters of resource distribution, quality measurement, and the interactions of the various players in the health-care system. (It’s not just patients and doctors anymore: purchasers, regulators, and other practitioners must be brought into the contract.) And, in fact, these ideas are gaining traction within the AMA (Ethical Force Program 2008).

그러나 많은 진보적인 의사들은 AMA가 실제로 어떻게 작동하는지에 대해 거의 알지 못함에도 불구하고 AMA와 그 발전 가능성에 대한 희망을 잃었습니다. 제 생각에 AMA의 종말에 대한 소문은 시기상조입니다. 전문직 협회의 근본적인 역할은 전문직에 대한 사회적 계약을 작성하는 것입니다. 우리가 선택할 수 있는 방법은 여러 단체가 각 전문 분야별로 서로 다른 사회 계약을 통해 이 임무를 수행하도록 하거나, 또는 모든 의사를 위한 통일된 사회 계약을 맺는 것입니다. 후자를 선호하는 데에는 충분한 이유가 있습니다. 
Many progressive physicians, however, have lost hope for the AMA and its capacity for evolution, even though most know little of how the AMA actually works. In my view, rumors of the AMA’s demise are premature. The fundamental role of professional associations is to write the social contract for the profession. Our options are to have multiple organizations perform this task—with different social contracts for each specialty—or to have a uniform social contract for all physicians. There are good reasons to favor the latter.

둘째, AMA가 이 작업에 계속 참여하고 있으며, 불완전하지만 작동하는 프로세스가 전반적으로 상당히 견고하다는 점입니다. AMA는 모든 주요 전문 분야와 모든 주에서 대표를 선출하는 대의민주주의입니다. 당연히 민주적 구조는 관련된 사람들의 다수의 생각을 반영합니다. 따라서 의사라는 직업, 특히 AMA는 포고 문제에 직면해 있습니다. 즉, 우리는 적을 만났고 그 적은 바로 우리 자신입니다. 
Second, the AMA remains engaged in this task, and the process through which it works (though imperfect), is, on the whole, fairly solid. The AMA is a representative democracy, with representatives from all major specialties and every state. Naturally, democratic structures reflect the majority thinking of those who are involved. So the profession of medicine, and the AMA in particular, faces something of a Pogo problem: we have met the enemy . . . and he is us.

마지막으로, 미국 의학은 민주주의 사회 내에 존재합니다. 의사들은 사회 계약을 수립할 때 혼자서 하는 것이 아니라 다양한 커뮤니티와 끊임없이 협상합니다. 이러한 협상은 종종 민주적인 절차를 통해 이루어지며, 전문직 협회는 의료계의 목소리를 공공 정책 토론에 투영할 수 있는 수단입니다. 특정 의사가 미국 의학의 목소리나 내용이 마음에 들지 않는다고 해서 협회를 떠나는 것만으로는 충분하지 않습니다. 오슬러가 이해한 바와 같이, 참여하여 그 목소리가 말하는 내용이나 말하는 방식을 바꾸도록 도와야 할 직업적 의무가 있습니다

Finally, American medicine exists within a democratic society. Physicians are not alone in establishing our social contract, we do so in constant negotiation with various communities. Often, these negotiations take place through democratic processes, and our professional associations are the means we have of projecting the voice of medicine into public policy debates. If certain physicians don’t like the tenor or content of the voice of American medicine, it is not enough to leave. There is, as Osler understood, a professional obligation to be engaged and help change what the voice is saying or how it is being said. [End Page 576]

그럼에도 불구하고 우리 중 일부는 지난 40년 동안 정치적 양극화에 익숙해졌습니다. 어떤 사람들은 조직화된 의학이 기업의 이해관계에 너무 얽매여 있고, 정당에 너무 집착하며, 지나치게 반응적이라서 구원의 여지가 없다고 생각할 수도 있습니다. 그 결과, AMA는 조직화된 의학에 대해 너무 냉소적이어서 적어도 때때로 자신의 가치를 반영하고 전문직이 공공 서비스를 지향하는 데 도움이 될 수 있는 진화한 AMA를 상상할 수 없는 두 세대 이상의 의사 중 많은 부분을 잃었을 수 있습니다. 안타깝게도 제 경험상 많은 학계 의학 리더들이 - 비록 마음은 진보적이고 일반적으로 권한 부여에 대한 감각이 부족하지는 않지만 - 이런 입장에 처해 있습니다. 그들은 AMA와 그 변화의 능력, 또는 변화를 도울 수 있는 능력에 대해 뿌리 깊은 냉소주의를 가지고 있습니다. 
Nevertheless, some of us have become inured to political polarization over the last 40 years. Some might see all of organized medicine as beyond redemption —too much in hock to corporate interest, too attached to a political party, too reactive. As a result, the AMA might have lost large segments of two or more generations of physicians, who are so cynical about organized medicine that they cannot imagine an evolved AMA, one that might (at least sometimes) reflect their values and help orient the profession towards public service. Sadly, in my experience many leaders of academic medicine—though progressive at heart and generally not lacking a sense of empowerment—are in this position. They hold a deep-seated cynicism about the AMA and its ability to change—or their ability to help change it.

이러한 리더들을 포기해서는 안 됩니다. 그들의 기술과 지식은 매우 귀중할 수 있기 때문입니다. 하지만 동시에 아직 냉소적인 태도를 취하지 않은 젊은 전문가들을 직접 참여시켜야 합니다. 젊은 의사들 사이에서 활동주의가 증가하고 있으며, AMA 회원 가입률도 증가하고 있지만, 시니어 의사들 사이에서 활동주의는 계속 감소하고 있습니다. 작년에 40세 미만 의사의 AMA 회원 수는 2.2% 증가한 반면, 40세 이상 의사의 회원 수는 2.8% 감소했습니다(Julie Gill, AMA 회원 및 마케팅, 개인 커뮤니케이션, 2008년 5월 15일). 아마도 우리가 일부 의료계 지도자들에게 기대할 수 있는 최선은 당황한 침묵일 것이며, 그 밑에 있는 젊은 진보주의자들은 의료계의 사회적 계약에 활력을 불어넣기 위해 전문직 협회를 활용하는 방법을 배울 것입니다. 

We should not give up on these leaders: their skills and knowledge can be invaluable. At the same time, though, we need to directly engage young professionals who haven’t yet adopted this cynical attitude. Activism among young physicians is rising, as is AMA membership, even while it continues to fall among more senior members of the profession. In the last year, membership in the AMA among physicians under 40 rose 2.2%, while membership among those older than 40 fell 2.8% (Julie Gill, AMA Membership and Marketing, personal communication, May 15, 2008). Perhaps the best we can hope for from some medical leaders will be a bemused silence, as the young progressives under them learn how to use our professional association to reinvigorate the social contract of the medical profession.

 


Perspect Biol Med. 2008 Autumn;51(4):565-78. doi: 10.1353/pbm.0.0051.

The short history and tenuous future of medical professionalism: the erosion of medicine's social contract

Affiliation

1The Institute for Ethics, American Medical Association, 515 North State Street, Chicago, IL 60610, USA. matthew.wynia@ama-assn.org

PMID: 18997359

DOI: 10.1353/pbm.0.0051

Abstract

The profession of medicine is based on a shared set of tacit and explicit agreements about what patients, doctors, and society at large should be able to expect from each other, a social contract that defines the profession. Historically, the development of this set of agreements depended upon the creation of social organizations that could speak for the entire profession. Over the last several decades, however, the perceived need for these organizations, and especially the umbrella organization for the profession, the American Medical Association, has waned. The reasons for this are complex, but the consequences are significant: an eroding social contract, fragmentation, lack of cohesion and integrity, and loss of the public's confidence. The present social contract is one-dimensional, overly simplistic, and failing to sustain the public's trust. To address these problems, a renewed social contract is necessary. Although this renewed contract should be based on foundations similar to the original, it must directly confront such contemporary challenges as resource allocation and conflicts of interest. Equally as important, to reinvigorate our social contract more physicians will need to come to grips with a basic truth: to sustain professionalism we need a strong, unified professional association.

행복은 무엇인가? 의학교육을 위한 비판적 내러티브 리뷰(Perspect Med Educ. 2023)
What about Happiness? A Critical Narrative Review with Implications for Medical Education
FABIENNE SCHWITZ, JACQUELINE TORTI, LORELEI LINGARD

소개
Introduction

30년이 넘는 기간 동안 우리는 직장에서의 의사 웰빙 문제에 대해 논의해 왔습니다. 의사 웰빙과 삶의 만족도 및 웰빙과 같은 관련 개념에 대한 학계에서는 소진의 원인 및 영향 분석[1, 2, 3], 의사들의 건강 문제 및 잠재적 해결책 파악[1, 4, 5], 웰빙과 균형 추구[6, 7, 8], 의사들의 회복력 향상을 위한 개입[9, 10, 11, 12] 등을 수행해왔습니다. 이 연구들은 의학교육과 의학에서 웰빙을 개선하기 위한 운동에 영향을 미쳤습니다[13, 14]. 이 운동의 주요 차원은 조직 전략의 변화[1, 12], 교수진 개발을 통한 수련 중인 의사의 복지 증진[13, 15], 개인 요인의 체계적 강화[1, 12, 15] 등입니다. 
For more than 30 years, we have been discussing the issue of physician wellbeing at work. Scholarship on physician wellbeing and related concepts such as life satisfaction and wellness has: analysed contributors and impacts of burnout [1, 2, 3], identified health problems among physicians and potential solutions [1, 4, 5], explored wellness and the pursuit of balance [6, 7, 8], and implemented interventions to improve resilience among physicians [9, 10, 11, 12]. This scholarship has informed a movement to improve wellbeing in medical education and medicine [13, 14]. Main dimensions of this movement are: changing of organizational strategies [1, 12], promoting the wellbeing of physicians in training through faculty development [13, 15] and systematic strengthening of individual factors [1, 12, 15].

이러한 풍부한 연구와 개선 이니셔티브에도 불구하고 의사 복지 문제는 거의 개선되지 않은 것으로 보입니다[15]. 2016년부터 2019년까지 미국 의과대학 졸업 설문조사 및 2학년 설문조사 데이터에 따르면 의대생들은 목표한 노력에도 불구하고 개선의 조짐이 보이지 않습니다[16, 17]. 의학전문대학원 교육인증위원회에서도 매년 레지던트와 교수진을 대상으로 설문조사를 실시하고 있지만, 설문지 구조의 변화와 팬데믹의 발병으로 인해 최근 몇 년간의 웰빙 변화를 분석하기는 어렵습니다. 분명한 것은 의사들의 정신 질환과 자살이 증가했다는 점이며[18], 이는 의사들의 정신 건강 증상 비율이 높다는 데이터[19]에 의해 뒷받침됩니다. 게다가 코로나19 팬데믹은 상황을 더욱 악화시킨 것으로 보입니다. 의료 종사자의 정신 건강에 미치는 잠재적 영향이 연구되었으며[20], 의료 전문가들 사이에서 스트레스, 불안 및 우울 증상에 대한 일관된 보고가 있었습니다[21]. 따라서 의사의 웰빙을 위한 노력이 왜 실패하는지에 대한 질문은 특히 시급합니다. 
Despite this wealth of scholarship and improvement initiatives, the problem of physician wellbeing seems to have improved very little [15]. Data from the Association of American Medical Colleges Graduation Questionnaire and Year 2 Questionnaire from 2016 to 2019 show no sign of improvements among medical students despite targeted efforts [16, 17]. The Accreditation Council for Graduate Medical Education also surveys residents and faculty annually, but changes to wellbeing in recent years are challenging to analyze due to a change in the structure of the questionnaire and the onset of the pandemic. What is clear is that mental illness and suicide among doctors has increased [18], supported by data highlighting high rates of mental health symptoms among physicians [19]. Furthermore, the COVID-19 pandemic appears to have worsened the situation. Its potential impact on the mental wellbeing of health workers has been studied [20], with consistent reports of stress, anxiety and depressive symptoms among healthcare professionals [21]. Thus, the question of why physician wellbeing efforts are unsuccessful is particularly pressing.

한 가지 이유는 개념적인 문제일 수 있습니다. 의사 웰빙을 중심으로 형성된 일련의 개념들 중에서 '행복'이라는 개념은 크게 부각되지 않습니다. 행복은 다른 영역에서 풍부하게 이론화된 개념입니다. 행복은 여러 가지 다른 구성에 사용되며[22, 23], 정서적 웰빙과 유다이모니아 또는 유다이모닉 웰빙(삶의 의미와 목적)을 구분하는 것은 고대부터 인식되어 왔습니다[22]. 웰빙과 행복이라는 두 가지 조건은 문헌에서 서로 연관되어 있거나 심지어 혼용되기도 하지만, 그 관계는 명확하지 않습니다. 이 검토는 '행복'이라는 용어가 의학교육에서 의사의 웰빙에 대한 논의에 영향을 미칠 수 있는 추가적인 고유한 의미를 내포할 수 있다는 가정에서 출발했습니다. 다른 학자들도 비슷한 생각을 가지고 있습니다. 예를 들어, 앨런 피터킨은 '우리의 수련과 업무에서는 즐거움과 행복pleasure and happiness이 소홀히 다루어지고 있다'고 지적했습니다[24]. 따라서 저희는 두 가지 질문에 따라 비판적 내러티브 검토를 진행했습니다: '의사의 웰빙에 관한 의학교육 문헌에서 행복은 어떻게 등장하고 있는가?' 그리고 '의학 밖에서 행복은 어떻게 개념화되고 있는가?'입니다. 우리는 의학교육에서 행복의 특징이 있는지 여부와 그 방식, 다른 선택된 영역에서 행복의 구성이 어떻게 이해되는지, 그리고 앞으로 의사 웰빙에 대한 학문을 풍부하게 하기 위해 다른 영역의 이해를 어떻게 채택할 수 있는지 설명하는 것을 목표로 합니다. 
One reason might be conceptual. Amid the suite of concepts around which physician wellbeing work has formed, the notion of ‘happiness’ does not strongly feature. Happiness is a richly theorized construct in other domains. It is used for a number of different constructs [22, 23], and a distinction between affective wellbeing and eudaimonia or eudaimonic wellbeing (meaning and purpose of life) has been recognised since antiquity [22]. While the two conditions, wellbeing and happiness, are related (or even perhaps conflated) in the literature, their relationship is not clear. This review arises from our assumption that the term ‘happiness’ may carry additional, distinctive meanings that could influence the conversation about physician wellbeing in medical education. Other scholars have had similar ideas: e.g., Alan Peterkin has noted that ‘pleasure and happiness are neglected in our training and in our work’ [24]. Thus, we conducted a critical narrative review guided by two questions: ‘How does happiness feature in the medical education literature on physician wellbeing?’ and ‘How is happiness conceptualized outside medicine?’ We aim to describe whether and how happiness features in medical education, how the construct of happiness is understood in other select domains, and how we might adopt understandings from other domains to enrich the scholarship of physician wellbeing at work going forward.

연구 방법
Methods

이 비판적 내러티브 리뷰는 내러티브 리뷰 논문 평가 척도(SANRA) 절차[25]를 따랐으며 칼케의 연구[26]에서도 정보를 얻었습니다. 우리의 목표는 광범위한 문헌을 탐색하고 내러티브 리뷰의 핵심적인 기여, 즉 학문적 대화를 발전시키는 심화된 이해를 달성할 수 있는 작품을 의도적으로 선별하여 강조하는 것이었습니다[27]. 
This critical narrative review followed the Scale for the Assessment of Narrative Review Articles (SANRA) procedure [25] and was also informed by Kahlke’s work [26]. Our goal has been to explore a wide-ranging literature and to be deliberately selective in highlighting works that allow us to achieve the key contribution of a narrative review: deepened understanding that advances the scholarly conversation [27].

우리의 검토는 '의사 웰빙에 관한 의학교육 문헌에서 행복은 어떻게 나타나는가'라는 질문에서 시작되었습니다. '행복'은 광범위하고 다면적인 개념으로, 단일 검토로는 포괄적으로 포착하기 어려우므로, 직장에서의 의사 행복에 대한 관심을 고려하여 "직장 행복workplace happiness"이라는 용어를 사용하여 조사에 초점을 맞췄습니다. 사서의 도움을 받아 의학 문헌에서 '직장 행복과 의사'에 대한 구조화된 문헌 검색을 PubMed, CINHAL, PsycINFO 데이터베이스에서 실시했습니다. 선별 과정에서 '행복'(또는 '행복한' 등의 파생어)이라는 용어가 정의나 개념화 없이 그대로 포함된 기록은 제외했습니다. 예를 들어, 한 논문에서는 병리학자의 52%가 자신의 직업에 '행복하다'고 언급했지만 행복이 어떻게 이해되는지 설명하지 않았습니다[28]. 
Our review began with the question ‘How does happiness feature in the medical education literature on physician wellbeing?’ ‘Happiness’ is a broad and multifaceted concept, one which a single review would struggle to comprehensively capture; given our interest in physician happiness at work, we used the term “workplace happiness” to focus our inquiry. We conducted a structured literature search in the medical literature for ‘workplace happiness AND physicians’ in the databases PubMed, CINHAL and PsycINFO with librarian assistance. In the screening process, we excluded records that contained the term ‘happiness’ (or derivatives such as ‘happy’) in passing, without definition or conceptualization. For example, one article mentioned that 52% of pathologists are ‘happy’ with their job but did not describe how happiness was understood [28].

의학교육에 대한 기록을 확인한 다음, 두 번째 질문인 '행복이라는 용어가 의학 밖에서는 어떻게 사용되는가'를 해결하기 위해 인문사회과학 문헌을 검색했습니다. Web of Science, Embase 및 Scopus에서 '직장 행복'과 '행복'의 의도적인 조합을 사용하여 검색했습니다. 회색 문헌에서 검색한 내용은 구글 스콜라에서 TED 강연에 이르기까지 광범위한 스펙트럼을 포괄했습니다. 심리학, 사회학, 철학, 여성학, 의학교육 분야의 전문가들과의 토론을 통해 관련 자료를 찾아냈습니다. 행복의 개념화를 완전히 탐구하는 것이 아니라 각 학문 분야에서 행복이라는 용어를 어떻게 사용하는지 이해하는 것이 목적이었기 때문에 검색에서 행복의 동의어는 사용하지 않았습니다. 
Having identified the records in medical education, our next step was a humanities and social sciences literature search to address the second question, ‘How is the term happiness used outside medicine?’ We searched using purposeful combinations of ‘workplace happiness’ and ‘happiness’ in Web of Science, Embase and Scopus. Searches in the grey literature covered a broad spectrum from Google Scholar to TED Talks. Discussion with experts from psychology, sociology, philosophy, women studies and medical education helped us identify relevant sources. We did not use synonyms for happiness in our search, as our intent was not a full exploration of the conceptualization of happiness but rather an understanding of how these disciplines use the term happiness.

저자들은 두 가지 수준에서 데이터베이스의 충분성을 판단했습니다.

  • 첫째, 행복이 이론화되는 다양한 학문을 대표하고자 했습니다. 구조화된 검색을 통해 사회학, 심리학, 경제학, 조직행동학에서 출처를 찾을 수 있었기 때문에 이러한 분야를 중심으로 결과를 도출했습니다. 비판적 내러티브 검토는 포괄적인 기록이 아닌 선별적인 기록을 수집하는 것이므로, 이 범위의 학문 분야는 향후 연구의 기초가 되는 유용한 통찰력을 제공하기에 충분하다고 판단했습니다.
  • 두 번째 충분성의 기준은 행복에 관한 주요 개념을 표현하기 위해 각 분야의 기록이 얼마나 많이, 그리고 어떤 기록이 필요한지와 관련이 있습니다. 저자들은 특정 수의 기록에 대한 임계값을 설정하는 대신, 기록이 개념을 충분히 강력하게 설명하는지 여부를 고려했습니다. 선별된 기록을 분석하면서 개념을 설명하고 추가 기록에서 중복을 인식할 수 있으면 충분하다고 판단했습니다. 이러한 판단을 내릴 수 없는 경우에는 추가 기록을 찾았습니다.

전반적으로, 우리는 의학교육에서 이 주제에 대한 우리의 생각을 발전시킬 수 있는 다양한 행복 개념에 대한 설명을 뒷받침할 수 있는 문헌의 능력을 기준으로 문헌 선택을 정당화했습니다. 이 과정은 비판적 내러티브 리뷰에서 엄격함의 본질입니다[26]. 
The authors judged the sufficiency of our database on two levels. First, we sought to represent a range of disciplines in which happiness is theorized. Because our structured search returned sources from sociology, psychology, economics and organizational behaviour, these became the focus of our results. Critical narrative review involves compiling a selective rather than comprehensive set of records; we judged this range of disciplines sufficient to provide useful insights on which to base future research. The second point of sufficiency relates to how many and which records from each discipline are necessary to represent key notions around happiness. Rather than setting a threshold for a specific number of records, the authors instead considered whether the records offered a sufficiently robust description of the concept. As we analysed selected records, we judged them sufficient once we could explain the concept and recognize redundancies in additional records. Where we could not make this judgment, we sought additional records. Overall, we justified the choice of literature based on its ability to support a description of different conceptualizations of happiness that could advance our thinking on the topic in medical education. This process is the essence of rigour in critical narrative reviews [26].

심사 및 선정은 연구팀 구성원의 성향에 따라 결정되었습니다. 우리 그룹에는 인문학에 학문적 뿌리를 둔 시니어 의학교육 연구자, 공중보건 및 건강 증진에 뿌리를 둔 초기 경력 의학교육 연구자, 의학교육 석사 과정을 마친 심장학 교육자 등이 포함되어 있습니다. 예를 들어, 우리 모두는 의학교육학에 익숙했지만 두 명은 사회과학, 심리학, 조직행동학 분야의 학문과 어휘에 익숙했지만 경제학 학문에 대해서는 전혀 알지 못했습니다. 이는 검색에서 검색된 특정 개념에 대한 우리의 통찰력과 열정에 항상 영향을 미쳤지만, 우리는 함께 검색된 모든 기록에 대해 동일한 관심을 가지고 다루려고 노력했으며 서로가 익숙하지 않은 부분을 해석하기 위해 서로를 지원했습니다. 
Screening and selection were shaped by the orientations of our research team members. Our group includes a senior medical education researcher with disciplinary roots in the humanities, an early career medical education researcher with roots in public health and health promotion, and a cardiology educator completing a masters in medical education. We brought to the review different degrees of familiarity and comfort with the disciplines we were searching: for instance, we were all familiar with medical education scholarship, but two of us were also familiar with scholarship and vocabulary from social sciences, psychology and organizational behaviour, while none of us were familiar with economics scholarship. This invariably influenced our insights and enthusiasms for particular concepts retrieved in our search, but together we endeavoured to address all retrieved records with the same attention and support each other to interpret those we were less familiar with.

의학교육에 초점을 맞춘 검색과 광범위한 다분야 검색을 위해 기록을 선별하고 선택한 후, 연구의 신뢰성을 높이기 위해 콘텐츠 분석을 수행했습니다. 내용 분석을 통해 행복의 정의와 개념화, 아이디어의 학문적 기원, 연관성 및 유사성, 차이점 또는 긴장감 등 다양한 범주로 데이터를 체계적으로 정리할 수 있는 방법을 제시했습니다. 개념 매핑을 통해 이러한 범주 간의 관계를 시각화할 수 있었고, 이러한 관계에 대한 해석에 정보를 제공했습니다. 
After screening and selection of records for both the focused medical education search and the broader, multi-discipline search, content analysis was done to enhance the trustworthiness of the study. Content analysis offered a way to arrange the data systematically into distinct categories, including definitions and conceptualizations of happiness, disciplinary origin of ideas, connections and similarities, and differences or tensions. Concept mapping enabled us to visualize the relationships among these categories, and informed our interpretation of these relationships.

결과
Results

검색 결과 401개의 레코드가 검색되었습니다. 초록 및 제목 스크리닝을 거쳐 28건이 전체 텍스트 검토 대상으로 선정되었고, 이 중 13건이 포함되었습니다. 여기에 수작업 검색과 회색 문헌에서 10건이 추가되어 총 23건이 포함되었습니다. 의학교육에 초점을 맞춘 검색에서 4개의 기록이 나왔습니다. 두 번째 광범위한 검색에서는 심리학(8건), 조직 행동(6건), 경제학(2건), 사회학(3건)의 기록이 나왔습니다. 이러한 학문적 범주는 필연적으로 단순화할 수밖에 없지만, 다음 섹션에서는 기록에서 행복을 특징짓는 방식에서 학문적 패턴을 강조하기 위한 조직 구조로 사용합니다(그림 1: 행복의 특징짓기에서의 학문적 패턴). 의학교육 기록을 분석한 결과, 이 장학금이 심리학적 개념만을 사용했음을 알 수 있었기 때문에 첫 번째 연구 질문에 해당하는 이러한 기록을 해당 섹션에 포함시켰습니다. 의학교육 기록의 수가 적기 때문에 연구 결과의 대부분은 두 번째 연구 질문에 관한 것입니다. 이 문헌에서는 용어가 다양하고 상호 교환적으로 사용되었지만(크롬비가 Frawley에서 인용)[29], 일관성을 위해 다른 용어를 사용하는 기록에서 인용하는 경우를 제외하고는 의도적으로 '행복'이라는 용어를 사용했습니다. 
Our searches retrieved 401 records. After abstract and title screening, 28 were selected for full-text review, of which 13 were included. An additional 10 were included from hand-searching and grey literature for a total of 23. Our focused medical education search yielded 4 records. Our second, broader search yielded records from psychology (8), organizational behavior (6), economics (2) and sociology (3). While such disciplinary categories are necessarily simplifications, we use them in the following sections as organizing structures to highlight disciplinary patterns in how the records characterize happiness (Figure 1: Disciplinary patterns in the characterization of happiness). Because our analysis of the medical education records showed that this scholarship exclusively employed psychological concepts, we have included these records (which address our first research question) in that section. Because of the small number of medical education records, the bulk of our results address our second research question. Terminologies vary and are used interchangeably in this literature (Cromby cited in Frawley) [29]; however, for consistency we deliberately use the term ‘happiness’ except when quoting from a record that uses another term.

심리적 개념으로서의 행복
Happiness as a psychological concept

행복에 대한 심리적 개념은 주로 개인적 접근이라는 공통점이 있습니다. 이 섹션에서는 의학교육에서 이미 다루어진 개념을 포함하여 직장에서의 의사 웰빙과 특히 관련성이 있는 네 가지 심리적 개념을 강조합니다. 
Psychological concepts of happiness have in common a predominantly individual approach. In this section, we highlight four psychological concepts that have particular relevance in the context of physician wellbeing at work, including those that have already been taken up in medical education.

첫 번째 개념은 플로우(몰입) 이론[30]으로, 행복하기 위해서는 도전과 능력 사이의 이상적인 균형 상태인 플로우 느낌이 필요하다는 것입니다. 플로우란 집중력, 황홀감, 내면의 명료함, 평온함을 느끼고, 어떤 활동이 가능하다는 것을 알고, 시간을 초월한 느낌과 내재적 동기를 느끼는 상태입니다[31]. 플로우는 여가 시간보다 직장에서 더 많이 발생하는 경향이 있습니다[32]: 예를 들어 음악가는 콘서트 중에 플로우 상태에 도달할 수 있습니다. 플로우라는 개념은 긍정 심리학에서 유래했습니다. 플로우 이론에 대한 심리학자 칙센트미하일리의 초기 연구에는 외과의사가 포함되었으며, 플로우 개념은 직업적 즐거움, 성과 및 직장 행복 증진에 관한 논문에서 의학교육에서 다루어졌습니다[33, 34]. 이 연구에서는 코칭, 심리 기술 훈련, 정신 기술 훈련 또는 스트레스 관리 훈련과 같은 개별 개입 훈련을 통해 플로우를 지원했습니다[33]. 의료 서비스에서 플로우를 지원하려면 환자 치료 시간을 늘리고, 행정 업무를 최소화하고, 건설적인 학습 환경을 조성하는 등 시스템 차원의 보완적인 개입이 필요한 것으로 인식되고 있지만, 시스템 차원의 연구는 흔하지 않습니다[33, 35].
The first concept is flow theory [30], which states that you need a flow feeling – a state of ideal balance between challenges and abilities—to be happy. Flow is a state of being focused; having a sense of ecstasy, inner clarity and serenity; knowing that an activity is doable; feeling timelessness and intrinsic motivation [31]. Flow tends to occur at work more than in leisure time [32]: e.g., a musician could reach a flow state during a concert. The concept of flow has its origin in positive psychology. The initial study about flow theory by psychologist Csíkszentmihályi included surgeons, and the concept of flow has been taken up in medical education in a paper about enhancing career enjoyment, performance and workplace happiness [33, 34]. This work supported flow through training in individual interventions such as coaching, psychological skills training, mental skills training or stress management training [33]. While supporting flow in health care is recognized to require supplementary system-level interventions, such as increasing time for patient care, minimizing administrative tasks, and promoting constructive learning environments, scholarship at the system level is less common [33, 35].

긍정 심리학의 두 번째 개념은 인위적synthetic 행복입니다. 이 용어는 다니엘 길버트가 2004년 TED 강연에서 만들었지만, 이후 그의 저서에서는 이 용어를 사용하지 않습니다. 원하는 것을 얻었을 때 느끼는 '자연적 행복'과는 대조적으로, '인위적 행복'은 원하는 것을 얻지 못했을 때 만들어지는 행복입니다[36]. 하버드 대학교 심리학자 다니엘 길버트가 만든 용어인 합성 행복은 심리적 면역 체계와 같은 역할을 하여 '상황에 대처할 수 있을 만큼 기분이 좋으면서도 무언가를 할 수 있을 만큼 나쁘지 않은 균형'을 유지합니다[36, 37]. 우리는 우리가 가진 것이 어차피 우리가 선택했을 것이라고 스스로 확신합니다. 예를 들어, 임상실습생들은 각 전문과목을 순환하면서 각 과목을 좋아하거나 싫어하는 점을 인정하지만, 레지던트 기간 동안에는 이미 선택이 이루어졌기 때문에 그 선택에 만족한다고 스스로를 설득할 가능성이 높습니다. 인위적인 행복은 우리가 가진 것을 좋아하는 방법을 찾는 데 도움이 됩니다. 그러나 인위적 행복은 '거짓'이 아니며, 길버트는 '인위적 행복은 자연적 행복만큼이나 현실적이고 지속적'이라고 주장하며[36], 불완전한 일터에서 행복해지는 데 시사점을 줄 수 있다고 말합니다.
The second concept from positive psychology is synthetic happiness. The term was coined by Daniel Gilbert in a 2004 TED Talk, although his subsequent writings do not use it. Contrasted with ‘natural happiness’ which is what we feel when we get what we want, ‘synthetic happiness is what we make when we do not get what we want’ [36]. A term coined by Harvard psychologist Daniel Gilbert, synthetic happiness acts like a psychological immune system, to ‘[strike] a balance that allows us to feel good enough to cope with our situation but bad enough to do something about it’ [36, 37]. We convince ourselves that we have is what we would have chosen anyway. For instance, clinical clerkship students acknowledge what they like or dislike about each specialty as they rotate through them, but during residency their choice is already made, so they are likely to convince themselves that they are happy with it. Synthetic happiness helps us to find a way to like what we have. However, synthetic is not ‘false’; Gilbert argues that ‘synthetic Happiness is as real and enduring as the natural happiness’ [36], suggesting it could have implications for being happy in an imperfect workplace.

마지막으로, 긍정 심리학의 두 가지 관련 개념인 번영과 마음챙김이 기록에 등장했습니다[38, 39]. 

  • 번영꽃의 성장에 비유한 것으로, 최적의 생활, 삶의 과제 숙달, 친절, 개인적 성장, 회복탄력성에 의해 결정되는 라이프스타일을 의미합니다. 긍정적 감정, 참여, 관계, 의미, 성취 등 다섯 가지 기둥이 필요합니다[40]. 이러한 요소는 깊은 성취감을 느끼는 삶을 위한 기본 전제 조건입니다.
  • 마음챙김자각에 집중함으로써 달성되는 정신 상태로 설명됩니다. 마음챙김은 번영과 특징을 공유하지만, 그 순간에 판단하지 않고 주의를 기울이는 연습입니다. 마음챙김을 '행복 증진'을 위한 일련의 개입의 일부로 사용한 사례는 단 한 건에 불과했으며4, 다른 연구에서는 행복 증진을 마음챙김의 명시적 목표로 제시하지 않았습니다.

Finally, two related concepts from positive psychology occurred in our records: flourishing and mindfulness [38, 39].

  • Flourishing draws on the metaphor of flower growth, and refers to a lifestyle determined by optimal living, mastering life’s tasks, kindness, personal growth, and resilience. Five pillars are required: positive emotion, engagement, relationships, meaning, and accomplishment [40]. These factors form the basic precondition for a life of profound fulfilment.
  • Mindfulness is described as a mental state achieved by focusing one’s awareness. While it shares features with flourishing, it is the practice of non-judgmental attention in the moment. Only one record used mindfulness as part of a suite of interventions to ‘increase happiness’4; the others did not articulate increased happiness as an explicit goal of mindfulness.

조직의 개념으로서의 행복
Happiness as an organizational concept

행복에 대한 조직적 접근 방식은 개인이 성인 생활의 대부분을 일하면서 보낸다는 전제에서 출발합니다. 따라서 직장에서의 행복은 삶의 전반적인 행복의 핵심 요소입니다. 이 섹션에서는 직무 만족도, 생산성, 직원 참여도 등 직장에서의 행복과 관련된 주요 개념을 강조합니다. 
Organizational approaches to happiness arise from the premise that individuals spend most of their adult lives working. As such, happiness in the workplace is a key component of overall happiness in life. In this section, we highlight key concepts in our records that were associated with happiness at work, including job satisfaction, productivity, and employee engagement.

행복에 관한 조직 문헌에서 흔히 볼 수 있는 개념은 '직무 만족도'입니다. 직원의 행복에 기여하는 직무 만족의 구성 요소에는 일시적, 개인(직원), 조직 또는 집단적 차원의 측면이 포함됩니다[41, 42]. 

  • 일시적 수준의 직장 행복 기여도에는 순간적 영향, 직장에서의 감정 및 흐름 상태가 포함됩니다 [43]. 
  • 직원 차원의 직장 행복에 대한 기여에는 고용 안정, 의미 있는 업무, 동료와의 긍정적인 관계, 인정, 자율성 및 참여가 포함됩니다[44].
  • 조직적 측면에서 직장 행복에 기여하는 것은 성장 기회, 보상, 업무 유연성, 긍정적인 업무 환경, 일과 삶의 균형, 조직 문화 등이 포함됩니다[44]. 

A common idea in the organizational literature about happiness is ‘job satisfaction’. Components of job satisfaction that contribute to employee happiness include aspects at the transient, individual (employee) and organizational or collective level [41, 42].

  • Transient-level contributions to workplace happiness include momentary affect, emotion at work and flow state [43].
  • Employee-level contributions to workplace happiness include job security, meaningful work, positive relationships with coworkers, recognition, autonomy and engagement [44].
  • The organizational aspects that contribute to workplace happiness include opportunities for growth, compensation, job flexibility, a positive work environment, work-life balance, and organizational culture [44].

고용주(리더)와 개인(팔로워) 모두 건설적인 의견 불일치dissensus를 통해 행복에 기여하는 조직적 측면을 형성하는 데 중요한 역할을 합니다[45]. 건설적인 의견 불일치란 신념과 가치를 공유하는 등 리더와 팔로워 간의 상호 이해를 통해 직장에서의 삶의 질을 향상시키는 것을 말합니다. 직장 내 행복을 개선하기 위한 개입은 다각도로 이루어져야 하며, 개인의 행복을 개선하는 것뿐만 아니라 직무 성과와 직원 유지율을 높이기 위한 조직적 측면에도 초점을 맞춰야 합니다[45].
Both the employer (leader) and the individual (follower) play a strong role in shaping organizational aspects that contribute to happiness through constructive dissensus [45]. Constructive dissensus refers to a mutual understanding between leaders and followers, including shared beliefs and values, leading to improved quality of life at work. Interventions aimed at improving workplace happiness should be multi-faceted and focus both on improving individual happiness as well as the organizational aspects to enhance job performance and employee retention [45].

행복-생산적 근로자 이론에 따르면, 모든 것이 동등할 때, 행복한 근로자가 행복하지 않은 근로자보다 더 나은 성과를 낸다고 합니다. 이 아이디어는 지난 20년간 경영 및 조직 심리학 연구의 성배로 여겨져 왔습니다. 긍정 심리학에 뿌리를 둔 행복-생산적 근로자 이론은 '직장에서의 행복의 결과로서의 생산성'에 명시적으로 초점을 맞추고 있습니다[46]. 이 논문에서 행복은 다양한 구성 요소(정동, 웰빙, 소진, 삶의 만족도, 성장 및 목적)에 의해 작동되었으며, 이는 일반적으로 행복한 사람들이 더 생산적이지만 직장에서 특별히 행복한 사람들이 반드시 그렇지는 않다는 경험적 문헌의 결정적이지 않은 특성을 설명할 수 있습니다.  
The happy-productive worker thesis states that all things being equal, happy workers perform better than those who are less happy. This idea has been the holy grail of management and organizational psychology research for two decades. With roots in positive psychology, the happy-productive worker thesis explicitly focuses on ‘productivity as a consequence of happiness at work’ [46]. Happiness in this thesis was operationalized by a diversity of constructs (affect, wellbeing, burnout, life satisfaction, growth and purpose), which may explain the inconclusive nature of the empirical literature, which finds that people who are happy in general are more productive, but people who are happy specifically at work are not necessarily so.

'몰입도Engagement'는 직장에서의 행복을 측정하는 중요한 차원이었습니다[47]. 직장 몰입직원들이 직장에서 신체적, 인지적, 정서적으로 자신을 표현하는 방식을 포함하는 지속적인 정서적 상태로 정의됩니다. 몰입의

  • 신체적 측면은 개인이 업무를 수행하기 위해 소비하는 에너지에 초점을 맞추고,
  • 인지적 측면은 조직에 대한 직원의 믿음에 초점을 맞추고,
  • 정서적 측면은 조직에 대한 직원의 느낌에 초점을 맞추고 있습니다 [48].

직장 내 행복Workplace happiness '조직 내 직원과 업무 관계에서부터 효율적인 생산과 고객 만족이라는 최종 결과에 이르기까지 다양한 상호 연계된 요소의 결과로 나타나는 직장에서의 긍정적인 결과'입니다[47]. 조직 행동 문헌은 몰입과 생산성을 연결합니다. 조직 몰입이 조직 성장, 운영 비용 절감, 결근율 감소, 이직 의도 감소와 같은 구성 요소와 긍정적인 상관관계가 있다고 설명하는 조직 문헌은 행복의 경제학을 설명하기 시작했으며, 이는 우리가 분석한 경제 기록에서 더욱 명확하게 드러납니다.
‘Engagement’ was a crucial dimension of measuring happiness at work [47]. Workplace engagement is defined as a persistent affective state that includes how employees express themselves physically, cognitively, and emotionally at work.

  • The physical aspect of engagement focuses on the energy expended by individuals to perform their job, while
  • the cognitive aspect focuses on employees’ beliefs about their organization and
  • the emotional aspect focuses on how employees feel towards the organization [48].

Workplace happiness is the ‘positive outcomes at the workplace which are a result of many interlinked factors ranging from employee-work relation within the organization to the end results of efficient production and customer satisfaction’ [47]. The organizational behavior literature connects engagement to productivity. Describing engagement as having a positive correlation with constructs like organization growth, lower operational costs, lower absenteeism, and decreased intentions to turnover [47], the organizational literature begins to articulate an economics of happiness which is even more explicit in the economic records we analyzed.

경제적 개념으로서의 행복
Happiness as an economic concept

행복에 대한 경제적 접근 방식은 행복한 근로자가 경제를 향상시킨다는 입장에서 비롯됩니다. 따라서 행복을 추구하는 것 또한 점점 더 많은 비즈니스가 되고 있습니다. 이 섹션에서는 '행복 산업'과 관련된 측면을 강조합니다.
Economic approaches to happiness arise from the position that happy workers improve the economy. Therefore, the search for happiness has also become more and more of a business. In this section, we highlight the aspects related to the ‘happiness industry’.

행복은 경제학의 핵심 개념입니다. 세계은행과 세계보건기구(WHO)와 같은 글로벌 기관들은 주관적 행복과 경제적 웰빙의 관계를 인정하고 있으며[29], 2012년부터는 세계행복보고서에서 경제적 건강의 지표로 국가의 행복을 추적하고 있습니다. '행복 경제학'은 행복을 객관적이고 측정 가능한 실체, 즉 '계산 가능한 단위로 환원할 수 있는 것'으로 간주합니다[29]. 행복을 국내총생산, 소비자 지출, 고용률과 같은 친숙한 종류의 경제적 자본으로 전환하는 것을 목표로 개인 및 그룹 수준에서 행복을 계산합니다.
Happiness is a central concept in economics. Global institutions such as the World Bank and the World Health Organization embrace the relationship between subjective happiness and economic wellbeing [29], and, since 2012, the World Happiness Report has tracked the happiness of countries as a marker of economic health. ‘Happiness economics’ conceives of happiness as an objective, measurable entity, something that can be ‘reduced to calculable units’ [29]. Happiness is calculated at individual and group levels, with the goal of converting happiness into familiar kinds of economic capital like gross domestic product, consumer spending, and employment rates.

행복 산업이 부상하면서 행복과 시장 간의 상호작용이 경제학의 핵심 관심사가 되었습니다. 마케팅 수단으로서 행복은 전략적입니다. 소비자 그룹은 제품이 행복을 가져다준다는 생각을 지속할 수 있을 만큼 충분히 행복하고, 더 많은 구매의 필요성을 느낄 만큼 충분히 불행한 '쾌락과 고통 사이'에 위치해야 합니다[49]. 그러나 경제 성장에 대한 강박은 소비자에게 선택의 고통에 직면하게 함으로써 행복에 부정적인 영향을 미칠 수 있습니다. 다양한 옵션은 옵션의 수가 여전히 관리 가능한 수준일 때만 행복에 기여할 수 있습니다. 특정 임계값에 도달하면 추가 옵션이 더 이상 행복을 가져다주지 않습니다. 그리고 구매력은 해결책이 아닙니다. 
With the rise of the happiness industry, the interaction between happiness and the markets becomes a central concern of economics. As a marketing device, happiness is strategic. Consumer groups must be poised ‘between pleasure and pain’: just happy enough to sustain the idea that products bring happiness and just unhappy enough to feel the need to buy more [49]. However, economic growth compulsion can have a negative impact on happiness, as consumers are confronted with the agony of choice. Multiple options can only contribute to happiness as long as the number of options is still manageable. Once a certain threshold is reached, additional options do not bring further happiness. And purchasing power is not the solution.

소득과 행복의 관계에 대한 연구에 따르면 경제 성장과 번영에도 불구하고 사람들이 더 행복해지지 않는다고 합니다. 그러나 동시에 비판적인 경제학자들은 가난할수록 더 행복하다고 추정하는 것에 대해 경고하며(Frawley에서 인용한 Pender)[29], 대중의 주관적인 감각에 대한 강조가 식량 부족과 같은 객관적인 현실에 대한 관심을 돌릴 수 있다는 우려를 제기합니다. 또한 돈과 행복의 관계는 복잡합니다. '지위 트레드밀' 개념은 행복으로 이어질 수 있는 소득은 절대적인 것이 아니라 상대적인 것이며, 상대적 소득이 동료보다 높을 때 더 행복하다는 개념을 담고 있습니다[50]. 직장에서의 의사 행복과 관련하여 이러한 경제적 개념은 의사 소득과 행복 사이의 복잡하고 비선형적인 관계를 시사합니다. 
Studies of the relationship between income and happiness suggest that, despite economic growth and increased prosperity, people are not happier. At the same time, however, critical economic scholars warn against extrapolating that poorer means happier (Pender cited in Frawley) [29], and raise concern that the emphasis on the subjective sensations of the populace can deflect attention from objective realities like insufficient food. Furthermore, the relationship between money and happiness is complex: the ‘status treadmill’ concept captures the notion that it is relative, not absolute, income that can lead to happiness, and we are happier when our relative income is higher than our peers [50]. In relation to physician happiness at work, these economic concepts suggest a complex, nonlinear relation between physician income and happiness.

사회적 개념으로서의 행복
Happiness as a social concept

행복에 대한 사회학적 접근은 행복에 대한 주로 심리학적 접근이 구조적 차원에서 존재하는 행복의 어포던스 및 장애물에 주목하지 못한다는 입장에서 비롯됩니다. 이 섹션에서는 만족의 위기강제로서의 행복이라는 두 가지 개념이 기록에서 발생했다는 점을 강조합니다.
Sociological approaches to happiness arise from the position that the predominantly psychological treatment of happiness fails to attend to the affordances and impediments to happiness that exist at a structural level. In this section, we highlight two concepts – the crisis of contentment and happiness as coercion – that arose in our records.

맥켄지는 <행복의 해체>라는 책에서 만족의 위기에 대해 설명합니다. 그들은 개인의 특성인 행복과 '자아보다 더 큰 무언가에 헌신하는 것'[51]에서 비롯되는 '집단적 사회적 프로젝트'[51]인 만족을 구별합니다. 만족은 사회적으로 정의되고 동기가 부여되며, 쾌락 중심의 일시적이고 개인적인 형태의 행복과는 대조적입니다. 이러한 구분을 통해 저자는 현재 현대 사회에서 우리는 행복이 아닌 '만족의 위기'를 경험하고 있다고 주장합니다. 우리의 삶은 '행복으로 이끄는 거의 끝없는 제품, 서비스, 자기계발서로 가득 차 있지만', '사람들은 행복해야 할 만큼 행복하지 않은 것 같다'[51] 왜냐하면 개인의 행복은 맥락 없이는 의미와 장기적인 만족을 제공할 수 없기 때문입니다. 사회 세계의 가치와 규범이 이러한 맥락을 제공합니다. 따라서 '개인이 사회적 가치와 규범에 대해 자신을 긍정적으로 자리매김할 수 있는 방법'[51]이 만족감의 기초가 됩니다.
In the book, Deconstructing Happiness, McKenzie describes a crisis of contentment. They distinguish happiness, which is an individual characteristic, from contentment, which is ‘a collective social project’ [51] arising from ‘committing to something greater than the self’ [51]. Contentment is socially defined and motivated, standing in contrast to pleasure-driven, temporary and individual forms of happiness. With this distinction, the author argues that we are currently experiencing a ‘crisis of contentment’ (not of happiness) in modern society. Our lives are ‘filled with an almost unending range of products, services and self-help books that will lead to happiness’ but ‘people do not seem to be as happy as they SHOULD be’ [51] because individual happiness cannot provide meaning and long-term satisfaction without context. The values and norms of the social world provide this context. Therefore, ‘how the individual is able to positively place him-or herself with regard to social values and norms’ [51] is the basis of contentment.

만족의 위기라는 개념은 개인의 행복이나 행복의 부족에 대한 우려에서 벗어나게 합니다. 대신 개인과 사회 간의 관계를 형성하는 사회적, 정치적, 경제적 요인에 관심을 가져야 합니다[51]. 특히 행복에 대한 우리의 기대치를 비판할 필요가 있습니다[29]. 일부 사회학자들은 행복이라는 개념이 현대사회에 만연한 '긍정의 폭정'의 일부이며, 개인에게 '문화적으로 승인된 행동과 성향의 이상에 부합하도록' 압력을 가한다고 주장합니다[51]. 점점 더 많은 연구가 '행복이 일종의 본질을 '가지고 있다'는 인식론적 오류'에 도전하고, 대신 행복의 개념은 사회 역사적 맥락과 그에 수반되는 사회적 규범으로부터 의미를 얻는 관계적 구성물이라고 주장합니다[51]. 이들은 행복은 중립적인 개념이 아니라고 주장합니다.
The concept of a crisis of contentment moves us away from concerns about the individual’s happiness or lack thereof. Instead, we must be concerned with the social, political and economic factors that shape the relationship between the individual and society [51]. In particular, we need to critique our expectations of happiness [29]. Some sociologists have argued that the idea of happiness is part of a widespread ‘tyranny of positivity’ in modernity, pressuring individuals ‘to conform to culturally sanctioned ideals of behavior and disposition’ [51]. A growing body of work challenges the ‘epistemological fallacy that happiness ‘has’ a kind of essence’ and argues instead that the concept of happiness is a relational construct, gaining meaning from socio-historical context and attendant social norms’ [51]. Happiness, they argue, is not a neutral concept.

강압으로서의 행복은 비판적 페미니스트 학계에서 주장하는 것처럼 중립성이 결여된 사례입니다. 예를 들어, 사라 아메드는 행복을 '세상을 만드는 장치'[52]로 간주합니다. 세상은 대부분 인정되지 않는 사회적 가치와 규범에 따라 적절한 '행복'이 무엇인지 규정함으로써 만들어집니다. 따라서 행복은 개인을 공동선을 향해 reorienting 시키는 도구입니다. 따라서 '일상 생활 속의 관념이나 열망'으로서 행복은 '한 사람의 행복이 ... 다른 사람들과 같은 것들에 의해 행복해지려는 의지에 의해 조건부'로 만들어지는 일종의 강제로 이어질 수 있습니다. 따라서 행복은 우리에게 요구를 합니다[50]. 행복이 무엇인지 규정해온 사회적 가치를 웃는 얼굴로 받아들일 것을 요구합니다. 1950년대 '행복한 주부'의 예를 들어, 그녀는 여성의 행복에 대한 이러한 개념이 '성별화된 노동 형태'를 강요하며 사회가 규정하는 방식으로 행복해지기를 거부할 수 있는 가능성을 고려하도록 장려한다고 주장합니다. 대신 '불행할 자유를 주장한다'는 것은 무엇을 의미할까요[52]?
Happiness as coercion is an instance of its lack of neutrality, as argued by critical feminist scholarship. For instance, Sara Ahmed considers happiness as a ‘world-making device’ [52]: the world is made by prescribing what is appropriate ‘happiness’ based on largely unacknowledged social values and norms. Happiness, then, is an instrument for reorienting the individual toward a common good. Thus, as ‘an idea or aspiration within everyday life’ happiness can lead to ‘forms of coercion …such that one person’s happiness is …made conditional on their willingness to be made happy by the same things as other people’. Happiness, therefore, makes demands on us [50]. It demands that we accept, with a smile, the social values that have dictated what happiness is. Using the example of ‘happy housewife’ of the 1950s, she argues that this notion of female happiness enforces ‘gendered forms of labour’ and encourages us to consider the possibility of refusing to be happy in the ways that society prescribes. What would it mean instead to ‘claim the freedom to be unhappy’ [52]?

토론
Discussion

이 비판적 내러티브 검토는 의학교육에서 의사의 웰빙에 접근하는 방식에 정보를 제공할 수 있는 행복에 대한 여러 가지 개념화를 명확히 했습니다. 이 섹션에서는 이러한 행복의 개념화에 대한 세 가지 주요 통찰을 제공하고, 직장에서의 의사 복지와 관련된 장학금 및 개선 노력에 대한 함의를 고려합니다. 
This critical narrative review has articulated multiple conceptualizations of happiness that could inform the way we approach physician wellbeing at work in medical education. In this section, we provide three main insights about these conceptualizations of happiness and consider their implications for scholarship and improvement efforts related to physician wellbeing in the workplace.

행복은 개인적일 뿐만 아니라 사회적입니다.
Happiness is not only individual: it is also social

직장에서의 의사 행복을 조사한 4개의 의학교육 논문은 모두 긍정심리학에 기반한 행복의 개념에 의존하고 있습니다. 의사의 업무 몰입flow과 마음챙김을 증진하기 위한 노력은 가치가 있지만, 이는 개인에 초점을 맞추기 때문에 현상에 대한 부분적인 관점을 나타냅니다. '의사 건강: 웰빙을 넘어 행복으로'라는 캐나다 의사협회 저널의 요청에서도 금욕주의와 완벽주의와 같은 개인적 속성에 중점을 두고 있습니다. 그러나 맥켄지가 주장했듯이 '행복에 대한 개인의 접근 방식은 불완전하고 본질적으로 결함이 있습니다'[51]. 우리는 개인의 심리만을 강조해서는 의사의 행복을 완전히 이해할 수 없다고 주장할 것입니다. 또한 사회적, 정치적, 경제적 요인에 주의를 기울여야 하는 만족감의 개념을 고려하여 개인과 사회의 관계를 다룰 필요가 있습니다. 맥켄지가 제안했듯이, 이러한 변화로 인해 '더 이상 행복을 찾으려는 개인의 시도를 지원하는 것이 아니라 의미 있는 사회적 내러티브 안에서 삶의 기복ups and downs을 경험하는 것'이 목표가 되었습니다[51]. 이러한 점을 고려할 때, 의사들이 업무의 기복을 경험하는 '의미 있는 사회적 내러티브'를 갖는다는 것은 무엇을 의미할까요? 
The four medical education papers we analysed that explored physician happiness at work all relied upon concepts of happiness based in positive psychology. And while efforts to promote physician flow and mindfulness at work are valuable, they represent a partial view of the phenomenon due to their focus on the individual. Even in the Canadian Medical Association Journal call to consider ‘Physician health: beyond wellness to happiness’, the emphasis is on personal attributes such as stoicism and perfectionism. However, as McKenzie argued, ‘the individual approach to happiness is both incomplete and inherently flawed’ [51]. We would argue that we’ll never fully understand physician happiness by exclusively emphasizing individual psychology. We need to also address the relationship between the individual and society by considering the concept of contentment, which requires paying attention to social, political and economic factors. As McKenzie has suggested, with this shift ‘the goal is no longer supporting individual attempts to find happiness, rather [it is] experiencing the ups and downs of life within a meaningful social narrative’ [51]. Given this, we might ask, what would it mean to have ‘a meaningful social narrative’ for physicians to experience the ups and downs of their work?

첫 번째 단계는 이러한 기복을 정상화하고, 이러한 의미 부여를 형성하는 사회적, 정치적, 경제적 요인에 주의를 기울이면서, 우리가 이를 어떻게 이해하는지 공개적으로 논의하는 것일 수 있습니다. 예를 들어, 경제학은 이러한 사회적 내러티브의 일부이지만 절대 소득은 상대 소득보다 덜 중요합니다[50]. 이러한 요인에 주의를 기울이면 직장 내 웰빙에서 의사 소득의 위치에 대한 논의가 복잡해지고, 전문직 간 및 전문직 내부에서 보건 전문직과 의료 전문직의 상대적 가치에 대한 질문에 관심을 기울일 수 있습니다. 의사 업무의 기복에 대한 의미 있는 사회적 내러티브에 중요한 다른 사회적 요인으로는 '번성하고 협력적인 집단 정체성'[49]이 있으며, 이 문헌은 건설적인 합의에 대한 약속과 연결됩니다. 이 약속을 더 탐구하기 위해 학계는 갈등의 순간에 공유된 의미를 협상하는 능력이 의사의 만족도에 어떤 영향을 미치는지 이해하기 위해 웰빙 대화를 팀워크에 대한 대화와 연결하기 시작할 수 있습니다.
A first step might be to normalize these ups and downs and openly discuss how we make sense of them, paying attention to the social, political and economic factors that shape this sense-making. Economics, for instance, is part of this social narrative, but absolute income is less important than relative income [50]. Attention to such factors might helpfully complicate discussions about the place of physician income in wellbeing at work and draw our attention to questions of the relative value of health professions and medical specialties in inter and intra professional workplaces. Other social factors that matter for a meaningful social narrative of the ups and downs of physician work include ‘a thriving and collaborative group identity’ [49] which this literature connects to the promise of constructive dissensus. To further explore this promise, scholarship might begin to connect the wellbeing conversation to the conversation about teamwork to understand how the ability to negotiate shared meaning in moments of conflict influences physician contentment.

개인의 행복은 객관적인 것이 아니라 주관적인 것입니다.
Individual happiness is not objective, it is subjective

행복의 정의는 다면적입니다. 용어는 다양하며 표준화된 정의는 아직 없습니다[29]. 그러나 대부분의 용어의 공통점은 행복을 객관적인 것, 즉 우리가 어느 정도 '얻을 수 있는' 것으로 접근한다는 것입니다. 그러나 연구 결과에 따르면 행복은 주관적인 것으로, 우리가 지각하는 것이며 심지어 심리적 면역 체계 덕분에 우리가 만들어내는 것이라는 데 동의합니다. 행복이 주관적이고 불안정하며, 심지어 합성적이라는 사실을 알면 행복을 측정해야 한다는 주장에 의문을 제기할 수 있습니다. 의학교육에서 나온 의사 행복에 관한 대부분의 기록은 측정에 초점을 맞춘 것이었습니다. 행복의 구성을 의학교육에 보다 완전하게 통합할 때 지나치게 단순화하지 않으려면 측정에 대한 우리의 끝없는 욕구와 개별 측정 자체에 대한 비판적 검토가 필요합니다. 행복을 측정할 수 있는지에 대한 의문에도 불구하고, 우리의 연구 결과는 행복을 이해하는 것이 행복의 경험보다 기대와 해석을 측정하는 것과 더 관련이 있을 수 있음을 시사합니다. 이러한 점을 고려할 때, 우리는 의료 수련생이 직업에 대해 갖는 기대와 해석이 무엇인지, 시간이 지남에 따라 어떻게 변화하는지, 이러한 변화가 직장에서의 행복에 어떤 영향을 미치는지 살펴볼 수 있습니다. 
The definition of happiness is multifaceted. Terminologies vary, and there remain no standardised definitions [29]. But what most terms have in common is that they approach happiness as an objective thing – something we can ‘get’ more or less of. However, our results suggest agreement that happiness is subjective: it is something we perceive and even something we manufacture thanks to our psychological immune system. Knowing that happiness is subjective, unstable, situated – even synthetic – calls into question our insistence on measuring it. Most of the records about physician happiness from medical education were measurement-focused. A critical examination of both our insatiable appetite to measure and the individual measures themselves is necessary if we are to avoid oversimplifying the construct of happiness as we integrate it more fully into medical education. Notwithstanding the question of whether happiness can be measured at all, our results suggest that understanding happiness may have more to do with measuring expectations and interpretations than experiencing happiness. Given this, we might explore the expectations and interpretations medical trainees bring to the profession, how they change over time, and how these changes influence happiness at work.

행복은 무조건 좋은 것이 아니며, 잠재적으로 강압적일 수도 있습니다.
Happiness is not straightforwardly good; it is also potentially coercive

행복에 대한 비판적 사회학적 접근 방식은 행복이 '기존의 질서를 영속화하기 위한 주관성 관리를 위한 중심적인 진정 수사이자 중요한 기술'로서의 역할에 주목합니다[29]. 행복에 대한 이러한 비판은 의사 개개인의 행복을 증진하기 위한 노력과 함께 비판적으로 성찰해야 한다는 점을 상기시켜 줍니다. 우리는 다음과 같은 질문을 던져야 합니다:

  • 누가 의사에게 '행복'을 정의하는가?
  • 그 정의는 어떤 사회적 규범과 권력 관계에 부합하는가?
  • 의사의 행복에 대한 우리의 개념화는 문화적 우발성을 인정하는가?

우리는 행복을 개선하려는 이니셔티브를 포기해야 한다고 제안하는 것이 아니라, 이러한 이니셔티브를 추구할 때 이러한 이니셔티브가 어떻게 '강압적'인 기존의 구조적, 정치적 질서를 영속시키고 인정되지 않는 권력 관계를 유지시키는지 자문해 보아야 합니다. 아메드의 용어를 빌리자면, 우리는 정해진 대로 행복하기를 거부함으로써 기존 질서를 영속화하기를 거부하는 의사들을 '킬조이'[52]로 규정하고 있을까요?

  • 우리는 의사들이 비극 앞에서 불행해지도록 지지할 것인가,
    아니면 그러한 감정을 억누르고 행복해지도록(또는 적어도 중립적이어야 한다고) 요구할 것인가? 

Critical sociological approaches to happiness draw our attention to the role of happiness as ‘a central pacifying rhetoric and important technolog[y] for the management of subjectivity to ensure … the perpetuation of the existing order of things’ [29]. Such critiques of happiness remind us that, amid our efforts to promote the happiness of individual physicians, we must also be critically reflexive. We need to ask questions such as:

  • Who defines ‘happiness’ for physicians?
  • What social norms and power relations does that definition serve?
  • Does our conceptualization of physician happiness acknowledge cultural contingencies?

We are not suggesting that we should abandon initiatives that seek to improve happiness; however, as we pursue them, we must also ask ourselves how these perpetuate an existing structural and political order that is ‘coercive’, sustaining unacknowledged power relations. To use Ahmed’s term, do we cast as ‘killjoys’ [52] physicians who refuse to perpetuate the existing order by refusing to be happy-as-prescribed?

  • Do we support physicians to be unhappy in the face of tragedy, or demand that they suppress that emotion and be happy (or at least neutral)?

행복에 대한 지배적인 이해 문화, 성별, 인종 또는 기타 소수 요인에 따라 일부 의사들의 권한을 박탈할 수 있다는 점을 인식하고, 우리는 행복에 대한 일반적인 개념화가 평등, 다양성, 포용, 탈식민화(EDI-D)를 고려하는지 여부와 그 방법을 고려해야 합니다. 슬라빈이 인정한 바와 같이, '웰빙 프로그램은 획일적인 접근 방식이었으며 우리 커뮤니티의 많은 사람들이 직면한 웰빙과 만족도에 대한 추가적인 위협을 적절히 인정하고 해결하지 못했습니다'[15]. 직장에서의 의사 행복에 대한 논의를 진전시키기 위해서는 의사 행복에 대한 기존의 정의가 특히 소수자나 형평성을 요구하는 집단에게 얼마나 강압적일 수 있는지 인식할 필요가 있습니다. 우리는 의사의 불행을 질병이 아닌 증상으로 보아야 하며, 심지어는 규정된 내러티브에 대한 저항의 한 형태로서 경계해야 합니다.
Recognizing that dominant understandings of happiness might disempower some physicians based on culture, gender, race or other minority factors, we should consider whether and how the prevalent conceptualization of happiness takes equality, diversity, inclusion and decolonisation (EDI-D) into account. As Slavin has recognized, ‘wellbeing programming has been a one-size-fits-all approach and has not adequately acknowledged and addressed the additional threats to wellbeing and satisfaction faced by many in our community’ [15]. To advance the conversation about physician happiness at work, we need to recognize how conventional definitions of physician happiness may be coercive, especially for minorities and equity deserving groups. We should be alert to physician unhappiness as a symptom not a disease – and even, perhaps, as a form of resistance to prescribed narratives.

한계
Limitations

행복에 대한 비판적 내러티브 검토는 설계상 철저하고 중립적이기보다는 선택적이고 포지셔닝된 것입니다[53]. 우리는 직장에서의 의사 행복에 초점을 맞춘 것과 관련된 행복의 분야와 개념을 강조하기로 선택했습니다. 따라서 본 연구에서는 의학교육에서 행복의 중요한 구성 요소 중 하나인 직장 내 행복의 개념을 검토했습니다. '직장 내 행복' 이외의 다른 행복의 측면도 관련성이 있을 수 있지만 본 연구에서는 다루지 않았습니다. 우리는 심리학, 사회학, 경제학, 조직행동학 등 일부 학문에 초점을 맞추었으며, 각 학문의 행복 개념에 대한 검토는 포괄적이기보다는 선택적이라는 점을 인정합니다. 이는 검색을 통해 얻은 기록을 반영한 것이며, 향후 자체적으로 구축한 연구를 통해 이러한 학문의 행복에 대한 다른 통찰력이 있을 수 있음을 인정합니다. 또한, 다른 학문 분야를 포함하면 이 연구에서 설명한 행복의 개념이 더욱 풍부해지고 확장될 수 있을 것입니다. 한 가지 아쉬운 점은 검색 과정에서 포착된 철학 관련 기록이 부족하다는 점입니다. 철학 학자의 자문을 구한 결과, 철학의 용어가 검색어와 크게 다르기 때문이라는 결론을 내렸습니다. 종교학이나 역사학과 같은 다른 학문 분야도 행복 구성 요소에 대한 용어의 차이로 인해 초기 검색 범위에서 벗어났을 가능성이 높습니다. 리뷰어는 원래 검색어에서 어디까지 범위를 넓혀야 할지, 어디까지 선을 그어야 할지 결정해야 하는 어려운 과제를 안고 있습니다. 직장에서의 의사 행복과 관련된 '행복'에 대한 이 첫 번째 내러티브 리뷰에서는 검색어에 일관성을 유지하기로 결정했으며, 따라서 우리의 결과가 모든 출판 문헌에서 이 개념을 포괄적으로 다룰 수 없음을 인정합니다. 마지막으로, 포함된 분야를 모두 검토한 것이 아니라 직장에서의 의사 행복을 이해하는 것과 관련된 행복에 대한 몇 가지 주요 개념화를 설명하기 위한 것이었습니다. 의심할 여지 없이 행복에 대한 각 분야의 접근 방식에 대한 역사와 미묘한 차이에 대해 더 많은 것을 배워야 할 것입니다. 
A critical narrative review of happiness is, by design, selective and positioned rather than exhaustive and neutral [53]. We have chosen to highlight disciplines and concepts of happiness specifically related to our focus on physician happiness in the workplace. Consequently, our review examines the concept of workplace happiness as one important component of happiness in medical education: other aspects of happiness beyond ‘workplace happiness’ are likely relevant but are not captured in this work. We have focused on a subset of disciplines (psychology, sociology, economics, organizational behavior), and we acknowledge that our review of concepts of happiness in each discipline is selective rather than comprehensive: it reflects the records our search returned and there may be other insights about happiness in these disciplines that future work building on our own could explore. Furthermore, the inclusion of additional disciplines would probably enrich and expand the conceptualizations of happiness we have described in this work. A particular gap is the lack of philosophy records captured in our search, which initially surprised us. After consulting with a philosophy scholar, we determined that this was because the terminology in philosophy differs significantly from our search terms. Likely other disciplines, such as religious studies or history, were also outside the scope of our initial search due to differences in terminology for the happiness construct. This is a challenge for any review: reviewers need to decide how far from their original search terms to venture and where to draw the line. For this first narrative review of ‘happiness’ as it relates to physician happiness at work, we decided to remain consistent in our search terms and we therefore acknowledge that our results cannot be comprehensive of all treatments of the concept in all published literature. Finally, our review of included disciplines was not intended to be exhaustive, but to describe some key conceptualizations of happiness as they relate to understanding physician happiness at work. Undoubtedly there is much more to be learned about the history and nuances of each of these fields’ approaches to happiness.

결론
Conclusion

이 비판적 내러티브 검토를 통해 의학교육에 직장에서의 행복이라는 개념이 거의 포함되지 않았으며, 포함되더라도 긍정심리학에만 의존하고 있음을 알 수 있었습니다. 이러한 학문적 강조는 행복을 개별적이고 객관적이며 반드시 좋은 것으로 취급하도록 유도합니다. 행복의 조직적, 경제적, 사회적 측면을 이해하면 행복은 사회적이며 주관적이고 잠재적으로 강압적일 수 있다는 통찰력을 포함하여 직장에서의 의사 복지에 대한 논의를 유용하게 확장할 수 있습니다. 이러한 인사이트를 통해 우리는 의사 복지라는 고질적인 문제에 대한 다양한 해결책을 상상할 수 있으며, 심지어 문제 자체를 재정의할 수도 있습니다.

This critical narrative review has revealed that medical education rarely incorporates the concept of happiness in the workplace and, when it does, it draws exclusively from positive psychology. This disciplinary emphasis orients us to treat happiness as individual, objective, and necessarily good. Understanding organizational, economic and social aspects of happiness can usefully expand the conversation about physician wellbeing at work to include the insights that happiness is also social, subjective, and potentially coercive. With such insights, we might imagine different solutions to the persistent problem of physician wellbeing – in fact, we might even redefine the problem itself.


 

Perspect Med Educ. 2023 Jun 6;12(1):208-217. doi: 10.5334/pme.856. eCollection 2023.

What about Happiness? A Critical Narrative Review with Implications for Medical Education

Affiliations collapse

1Cardiologist and medical educator, Department of Medicine, Schulich School of Medicine and Dentistry, Western University, Medical Sciences Building, Suit 102A, London, Canada.

2Department of Cardiology, Inselspital Bern University Hospital, University of Bern, CH 3010 Bern, Switzerland.

3Department of Medicine, Schulich School of Medicine and Dentistry, Western University, Medical Sciences Building, Suit 102A, London, Canada.

PMID: 37304335

PMCID: PMC10253238

DOI: 10.5334/pme.856

Free PMC article

Abstract

Introduction: Despite abundant scholarship and improvement initiatives, the problem of physician wellbeing persists. One reason might be conceptual: the idea of 'happiness' is rare in this work. To explore how it might influence the conversation about physician wellbeing in medical education, we conducted a critical narrative review asking: 'How does happiness feature in the medical education literature on physician wellbeing at work?' and 'How is happiness conceptualized outside medicine?'

Methods: Following current methodological standards for critical narrative review as well as the Scale for the Assessment of Narrative Review Articles, we conducted a structured search in health research, humanities and social sciences, a grey literature search, and consultation with experts. After screening and selection, content analysis was performed.

Results: Of 401 identified records, 23 were included. Concepts of happiness from the fields of psychology (flow, synthetic happiness, mindfulness, flourishing), organizational behaviour (job satisfaction, happy-productive worker thesis, engagement), economics (happiness industry, status treadmill), and sociology (contentment, tyranny of positivity, coercive happiness) were identified. The medical education records exclusively drew on psychological concepts of happiness.

Discussion and conclusion: This critical narrative review introduces a variety of conceptualizations of happiness from diverse disciplinary origins. Only four medical education papers were identified, all drawing from positive psychology which orients us to treat happiness as individual, objective, and necessarily good. This may constrain both our understanding of the problem of physician wellbeing and our imagined solutions. Organizational, economical and sociological conceptualizations of happiness can usefully expand the conversation about physician wellbeing at work.

 

의학교육에서 증례-기반 학습: 존재론적 충실성을 위한 요구(Perspect Med Educ. 2023)
Case-Informed Learning in Medical Education: A Call for Ontological Fidelity

ANNA MACLEOD, VICTORIA LUONG, PAULA CAMERON, SARAH BURM, SIMON FIELD, OLGA KITS, STEPHEN MILLER, WENDY A. STEWART

 

학부 의학교육 커리큘럼에 대한 사례를 작성해 달라는 요청을 받았다고 상상해 보세요: "고혈압에 대한 증례를 작성해 주세요." 이 지시에 따라 일련의 활동을 진행해야 하는데, 질환, 임상 증상, 관련 징후, 치료 옵션 및 예후에 대해 설명할 수 있습니다. 포함된 정보가 정확하고 근거에 기반하며 최신 정보인지 확인하기 위해 문헌을 참고할 수도 있습니다. 
Imagine you’ve been asked to write a case for an undergraduate medical education curriculum with the direction: “Please write a case about hypertension.” That instruction sets into place a sequence of activity: you would likely go about describing the condition, its presenting clinical manifestations, relevant signs, treatment options, and prognosis. You might turn to the literature to ensure the information included is accurate, evidence-based, and up to date.

반대로 다음과 같은 지시를 받았다고 상상해 보세요: "고혈압 환자의 이야기를 담은 사례를 작성해 주세요."라는 지시를 받았다고 상상해 보세요. 미묘하지만 분명한 차이가 있습니다. 이 경우 질병과 진단에 대한 이야기를 쓸 때 질병의 본질 또는 생생한 경험을 전달하려는 시도가 다른 초점으로 부각됩니다. 이러한 다른 방향성은 미묘하지만 중요하다고 생각합니다. 
In contrast, imagine you received the direction: “Please write a case that tells the story of a person with hypertension.” The difference is subtle, but notable. The path you would take to write this case, in telling the story of an illness and diagnosis, brings to the fore a different focus: an attempt to convey the essence, or lived experience, of the illness. We believe this different orientation, though subtle, matters.

사실 텍스트 기반 사례는 의학 교육의 기본입니다. 사례 기반 학습(문제 기반, 사례 기반, 팀 기반 등 사례를 중심으로 한 다양한 학습 접근 방식을 포괄하는 포괄적인 용어로 사용함)이 이루어지는 주요 메커니즘입니다. 우리는 사례의 형식, 내용, 목적 등 우리가 사례를 작성하고 생각하는 방식이 의학에서 실제라고 보는 정보 유형(사실, 증거, 프로시져 등)에 대한 '사소하지 않은 단서'를 제공한다고 주장합니다. 
Text-based cases are, in fact, fundamental to medical education. They are the primary mechanism through which case-informed learning (which we will use as an umbrella term that includes the various approaches to learning with cases at their heart, including problem-based, case-based, team-based and others) occurs. We contend that the way we write and think about cases, including their format, content, and purpose, provides not-so-subtle clues about the types of information medicine takes to be real: fact, evidence, procedure.

교육적 장치로서의 사례는 의학교육 문헌에서 놀라울 정도로 덜 탐구되었지만, 존재하는 기여는 개인의 사회적 상호 작용과 정체성이 임상적 만남과 건강 결과에 영향을 미칠 수 있는 방식보다는 사실적인 의료 정보에 중점을 두었습니다 [1, 2, 3]. 이러한 경우 환자의 목소리가 거의 들리지 않는 것은 악의나 나쁜 의도의 산물이 아니라고 생각합니다. 오히려 학생이 다음 단계의 교육으로 넘어가는 데 필요한 정보, 즉 필수적인 내용을 사례에 가득 채우고자 하는 욕구에서 비롯된 것입니다. 여기에 어떤 정보가 실제로 사례에 포함해야 하는 필수 정보인지 어떻게 결정할 수 있을까요? 
While cases as an educational device remain surprisingly under-explored in the medical education literature, those contributions that do exist have noted an emphasis on the factual medical information rather than the way an individual’s social interactions and identity can affect a clinical encounter and health outcome [1, 2, 3]. This largely absent patient voice in cases, we believe, is not a product of ill-will or bad intention. On the contrary, it arises from a desire to ensure that cases are packed full of the essentials, meaning the information a student needs to move onto the next stage of their education. Herein lies the challenge: How do we determine what information is, in fact, essential to include in a case?

여기서 놓치고 있는 부분은 철학적 문제, 더 구체적으로는 존재론적 문제라고 주장합니다. 즉, 우리가 교육에 사용하는 사례는 현실의 본질에 대한 의심할 여지 없는 철학적 가정을 재생산합니다. 과학 철학에서는 의학교육을 포함한 모든 분야는 다음을 포함한 일련의 철학적 원칙을 통해 구성된다고 주장합니다[4].

  • 존재론(무엇이 실재하는가),
  • 인식론(우리가 무엇을 알 수 있는가),
  • 방법론(우리가 어떻게 알 수 있는가),
  • 공리론(우리가 무엇에 가치를 두는가)

가장 단순한 형태로 온톨로지는 존재의 과학으로 정의할 수 있습니다. 의학교육의 세계에서 바르피오와 맥레오드[4]는 온톨로지를 한 분야로서 우리가 실재한다고 가정하는 것으로 설명했습니다. 
The missing piece here, we contend, is a philosophical issue, and more specifically, an ontological one. In other words, the cases we use for education reproduce unquestioned philosophical assumptions about the nature of reality. The philosophy of science holds that all fields, including medical education, are constituted through a set of philosophical principles, including

  • ontology (what is real),
  • epistemology (what we can know),
  • methodology (how we can know), and
  • axiology (what we value) [4].

In its simplest form, ontology can be defined as the science of being. In the world of medical education, Varpio and MacLeod [4] described ontology as what we, as a field, assume to be real.

이 원고에서 우리는 증례는 교육적 인공물이며, 우리가 교육에 사용하는 증례의 목적, 구조 및 내용에는 의학의 존재론적 가정이 존재하거나 존재하지 않는다는 입장을 취합니다. 우리는 존재론적 충실성의 관점에서 증례를 만든다는 것은 무엇을 의미하며, 일상적인 의학 교육에서 이를 수행하는 방법에 대한 제안을 제공한다는 질문을 던집니다. 
In this manuscript, we take the position that cases are educational artefacts, and that the ontological assumptions of medicine are present (or not) in the purpose, structure, and content of the cases we use for teaching. We ask the question: what would it mean to create cases from a position of ontological fidelity and provide suggestions for how to do this in everyday medical education?

철학이 중요한 이유는 무엇일까요?
Why does philosophy matter?

의학교육은 모든 관련 분야와 마찬가지로 철학의 영향을 많이 받습니다. 그러나 철학적 탐구는 아직 의과대학의 일상적인 업무에 적용되지 못하고 있습니다. 의학의 철학과 의학교육 시리즈[5], 아카데믹 메디슨의 과학철학 시리즈[4], 최근 출간된 보건 전문직 교육을 위한 응용철학[6] 등 학문 영역에서 철학적 아이디어를 통합하는 데 대한 관심이 높아지고 있음에도 불구하고 말입니다. 물론 의학교육은 철학의 도구를 활용하여 새로운 관점을 통해 의학의 오랜 과제를 해결함으로써 이점을 얻을 수 있습니다[5]. 빈과 시안치올로[5]는 "철학은 복잡하고 불확실할 때 잠시 멈춰서 명백해 보이는 관행에 대해 기본적인 질문을 던져 새로운 방식으로 사물을 보고 행동할 수 있도록 하는 근본적인 접근 방식으로 볼 수 있다"고 말합니다[5 p337].  
Medical education, along with all related fields, is steeped in philosophy. Yet, philosophical inquiry has yet to find its way to the everyday practices of our medical schools. This is despite increasing interest in integrating philosophical ideas in the academic realm, notably within Teaching and Learning in Medicine’s Philosophy and Medical Education series [5], Academic Medicine’s Philosophy of Science series [4], and the recent book Applied Philosophy for Health Professions Education [6]. Certainly, medical education can benefit from turning to the tools of philosophy to address medicine’s long-standing challenges through a fresh perspective [5]. As Veen and Cianciolo [5] remind us, “philosophy can be seen as the fundamental approach to pausing at times of complexity and uncertainty to ask basic questions about seemingly obvious practices so that we can see (and do) things in new ways” [5 p337].


전통적으로 의학 및 의학교육은 합리성, 객관성, 중립성에 대한 실증주의적 이상을 수용해 왔습니다[7]. 근거 기반 의학 및 비판적 평가와 같이 불확실성을 최소화하기 위해 고안된 체계적인 관행은 역사적으로 의학 및 의학교육 내에서 특권의 지위를 유지해 왔습니다[8]. 그러나 객관성과 중립성이라는 개념은 복잡하고 모순적이며 종종 예측할 수 없는 인간 활동의 본질을 가리고 있습니다[9]. 연구 맥락에서, 의학교육의 세계는 지식이 발견을 기다리는 객관적인 '사실'로 존재하는 것이 아니라 사회적 산물이며 제작자의 주관성이 반영된 증거라는 구성주의적 관점의 혜택을 받았습니다[10, 11](그림 1 참조). 트위터는 학술적 작업에서 다양한 온톨로지를 위한 공간을 마련하고 있으며, 최근 우이 저널과 컨퍼런스에서 비판 지향적이고 이론적 정보를 바탕으로 한 사회과학적 관점의 기고문을 발표하고 있습니다[1, 12, 13]. 그러나 흥미롭게도 사례 기반 학습을 포함한 교육 관행에서 동일한 공간을 만드는 것은 그다지 성공적이지 않았습니다. 
Traditionally, medicine and medical education have embraced positivist ideals around rationality, objectivity, and neutrality [7]. Systematic practices designed to minimize uncertainty like evidence-based medicine and critical appraisal have historically maintained a position of privilege within medicine and medical education [8]. However, notions of objectivity and neutrality disguise the complex, contradictory, and often unpredictable nature of human activity [9]. In the context of research, the world of medical education has benefited from constructivist perspectives that knowledge does not exist as an objective “fact” awaiting discovery; rather, it is a social product, a testament to the subjectivities of its creators [10, 11] (See Figure 1). We make room for multiple ontologies in our scholarly work, with recent contributions of critically oriented, theoretically informed social science perspectives in our journals and conferences [1, 12, 13]. Interestingly, however, creating the same space in our educational practices, including case-informed learning, has not been quite as successful.

그림 1 사례 기반 학습에 대한 실증주의 및 구성주의 접근 방식.
Figure 1 Positivist and Constructivist Approaches to Case-Based Learning.

 

사례 기반 학습
Case-Informed Learning

사례 기반 학습은 학습자가 가장 먼저 접하게 되는 교육적 접근 방식 중 하나입니다. 이 접근 방식은 원래 1960년대 중반 Barrows와 Tamblyn에 의해 문제 기반 학습(PBL)으로 개념화되고 구현되었으며[14], 학생들이 교수진 또는 튜터와 함께 소그룹으로 작업하여 실제 임상 상황을 시뮬레이션하는 임상 '문제'(즉, 사례)를 해결하도록 합니다[15]. 목표는 "지식의 단편화와 무의미한 사실의 습득을 줄이고, 호기심과 팀워크를 촉진하며, 질병 모델이 아닌 환자를 제시하는 것"입니다[16 p868]. 즉, 학습자가 당면한 사례를 공동으로 조사하면서 정보를 찾고 문제를 해결하는 기술을 개발하여 추후 전문 실무에 적용할 수 있습니다[15]. 
Case-informed learning is one of the first pedagogical approaches learners will encounter. This approach, originally conceptualized and implemented as Problem-Based Learning (PBL) by Barrows and Tamblyn in the mid 1960s [14], involves students working in small groups with a faculty facilitator or tutor to solve a clinical “problem” (i.e., a case) that simulates a real-life clinical situation [15]. The goal is to “reduce fragmentation of knowledge and acquisition of meaningless facts, to promote curiosity and teamwork, and to present a patient rather than a disease model” [16 p868]. In other words, as learners collaboratively investigate the case at hand, they develop the skills to find information and solve problems they can subsequently apply to their professional practice [15].

사례 기반 학습 접근법은 사실 존재론적 인공물입니다. 이는 의견과 행동이 감정이나 감각적 경험보다는 이성과 지식(예: 수학적 지식)에 근거해야 한다는 합리주의 이론에서 그 기원을 찾을 수 있으며, 인지 심리학[17]과 듀이[18]의 독립적이고 경험적인 학습 장려[15]의 영향을 강하게 받습니다. 시뮬레이션된 사례 또는 문제에서 학습한다는 개념은 듀이가 '실제 생활'과 함께 맥락과 학습을 매우 중요하게 여겼기 때문에 그의 공로를 인정받을 수 있습니다.
Case-informed learning approaches are, in fact, ontological artefacts. They can be traced to theories of rationalism, which refer to the idea that opinions and action should be based on reason and knowledge (e.g., mathematical knowledge) rather than on emotions or sensory experience, and are strongly influenced by cognitive psychology [17] as well as Dewey’s [18] encouragement of independent and experiential learning [15]. The notion of learning from a simulated case, or problem, can also be credited to Dewey, as he considered context and learning in concert with “real life” critically important.

사례 기반 학습은 시간이 지남에 따라 사례 및 팀 기반 학습과 같은 변형이 인기를 얻으면서 발전해 왔지만, 질문의 중심이 되는 내러티브 사례 이야기는 일관되게 유지되고 있습니다. 텍스트 기반 커리큘럼 모델로서 사례 기반 접근 방식은 의료 현장의 이야기를 포용할 수 있는 잠재력을 가지고 있습니다. 그러나 실제로는 기술적, 과학적, 전문적인 접근 방식인 '의학의 목소리'가 질병 이야기를 지배해 왔으며, 환자의 '삶의 목소리', 즉 환자의 삶의 사건과 문제에 대한 생생한 경험은 희생되어 왔습니다[19, 20]. 따라서 실제로 우리가 더 자주 보게 되는 것은 Coulehan이 설명한 것과 같은 의료 중심의 '병원 이야기'입니다[21]: 
While case-informed learning has evolved over time, with variations like case- and team-based learning gaining popularity, the narrative case story at the heart of the inquiry remains consistent. As a text-based curricular model, case-informed approaches have the potential to embrace the stories of medical practice. In reality, however, the “voice of medicine”—a technical, scientific, and professional approach—has dominated illness stories, at the expense of the patient’s “voice-of-the-life-world”: the patient’s lived experiences of events and problems in their life [19, 20]. What we therefore see more often in practice are the medical-centric “hospital stories,” such as those described by Coulehan [21]:

병원 정신에 스며든 이야기에는 일반적으로 환자가 주인공으로 등장하지 않으며, 심지어 인간적인 역할을 하는 부수적인 인물로 등장하지 않는 경우가 많습니다. 오히려 환자는 이야기의 진행을 방해하는 장애물이나 도전과 같이 영리하거나 좌절감을 주는 플롯 장치로 등장하거나, 때로는 이야기의 성공적인 해결을 촉진하는 예상치 못한 선물과 같은 긍정적인 플롯 장치로 등장하기도 합니다[21 p109]. 
The stories that permeate the hospital ethos don’t usually have patients as their protagonists, and often not even as ancillary characters that play human roles. Rather, patients quite frequently serve as clever or frustrating plot devices—obstacles or challenges that impair the story’s progress; or sometimes they may serve as positive plot devices, unexpected gifts that facilitate the story’s successful resolution [21 p109].

Coulehan과 다른 내러티브 학자들[22]은 이야기를 통해 성취되는 작업에 주목할 것을 권장했습니다. 내러티브 의학[23, 24, 25]은 내러티브 역량을 키우기 위한 의미 있는 수단으로 번창했습니다: "질병에 대한 이야기를 인식하고, 흡수하고, 대사하고, 해석하고, 감동할 수 있는 능력"[23 p1265]. 의학교육 연구와 의학 인문학 커리큘럼에서 환자의 주관적인 질병 경험을 묘사함으로써 "(재)인간화 의학"[26 p113]을 통해 생생한 경험이 지식으로 정당화되고 환자가 자신의 이야기를 서술하는 화자로서 주체성을 갖게 됩니다[26]. 하지만 흥미롭게도 미래의 의사를 가르치는 데 사용하는 이야기에 대한 관심은 현저히 떨어집니다. 
Coulehan, and other scholars of narrative [22], have encouraged us to pay attention to the work that is accomplished through stories. Narrative medicine [23, 24, 25] has flourished as a meaningful avenue for fostering narrative competence: “the capacity to recognize, absorb, metabolize, interpret, and be moved by stories of illness” [23 p1265]. By “(re)humanizing medicine” through portrayals of patients’ subjective experience of illness in medical education research and medical humanities curriculum [26 p113], lived experience becomes legitimized as knowledge and provides patient agency as narrator of their own story [26]. Interestingly, though, the stories that we use for teaching future physicians have received significantly less attention.

사례는 어떻습니까?
What about the case?

다양한 사례 기반 학습 접근법을 다루는 수십 년간의 연구에도 불구하고, 놀랍게도 전통적인 사례 형식에 이의를 제기한 연구는 거의 없습니다[2, 27, 28, 29]. Kenny와 Beagan[30]은 전형적인 사례 구성은 "환자의 목소리를 배제하고 의사의 목소리에 궁극적인 권위를 부여한다"고 지적했습니다. 이는 의학적 관찰과 해석을 논쟁의 여지가 없는 사실로 구성하는 반면 환자의 관찰은 주관적이고 오류 가능성이 있는 것으로 평가 절하합니다."(30페이지 1073). 이러한 방식으로 학생들은 환자를 해결해야 할 문제로 여기고 스스로를 문제 해결자로 여기는 데 길들여질 수 있습니다[1].
Despite decades of research addressing various case-informed learning approaches, surprisingly few studies have contested the traditional format of cases [2, 27, 28, 29]. Kenny and Beagan [30] noted that the typical construction of cases “grants ultimate authority to the voice of the doctor, excluding the voice of the patient. It constructs medical observations and interpretations as incontestable facts while devaluing patient observations as subjective and fallible” (30 p1073). In this manner, students may be accultured to view patients as problems to be solved, and themselves as problem-solvers [1].

물론 사례는 학생들에게 특정 진단 이상의 것을 교육합니다. 증례를 통해 재조명되는 의학의 존재론적(그리고 이와 관련된 공리론적, 즉 우리가 중요하게 여기는 것) 토대는 학생들에게 

  • 주의해야 할 것과
  • 무시해도 되는 것에 대해 암묵적으로 가르칩니다. 이는 다시 학생들이 
  • 무엇을, 어떻게 생각해야 하는지뿐만 아니라 
  • 무엇을, 어떻게 느껴야 하는지, 그리고 이러한 영역에
  • 어떻게 중요성을 부여하고 우선순위를 정해야 하는지도 결정합니다.

Certainly, cases educate students about more than a particular diagnosis. The ontological (and relatedly, axiological, i.e., what we value) foundations of medicine, reinscribed through the case, implicitly teach students about

  • what they need to concern themselves with, and
  • what they can ignore. This, in turn, dictates not only
  • what and how they should think, but also
  • what and how they should feel, and
  • how they ascribe and prioritize importance to these areas.

의학교육 문헌에 일관되게 기술된 사례 기반 접근법의 주요 특징은 '실제 삶'을 시뮬레이션한다는 점입니다[3, 14, 17, 27, 31, 32, 33, 34]. 의학교육자로서 우리는 잠시 멈춰서 스스로에게 질문해야 합니다. 이 사례를 통해 어떤 유형의 진료를 시뮬레이션할 수 있기를 바라는가? 
A key feature of case informed approaches consistently described in the medical education literature is their simulation of “real life” [3, 14, 17, 27, 31, 32, 33, 34]. As medical educators, we must pause to ask ourselves: what type of practice do we hope this case will simulate?

사례, 시뮬레이션 및 온톨로지 충실도
Case, Simulation, and Ontological Fidelity

흥미롭게도 사례 기반 학습이 사실 시뮬레이션의 한 유형이라는 것을 알고 있지만, 우리 분야에서는 아직 사례와 충실도 개념을 명확하게 연결 짓지 못했습니다. 시뮬레이션 기반 의학 교육의 맥락에서 충실도우리가 기대하는 현실감의 정도 또는 시뮬레이션이 현실을 재현하는 정확성의 정도를 의미합니다[35, 36, 37]. 의료 교육자는 일반적으로 두 가지 유형의 충실도에 중점을 둡니다[35, 38].

  • 물리적(즉, 시뮬레이터의 모양과 느낌의 유사성)과
  • 기능적(즉, 시뮬레이터가 조작 또는 개입에 반응하는 방식의 유사성)이라는 

기본 철학적 가정으로 돌아가서, 이러한 충실도에 대한 접근 방식은 실증주의적 방향에 기반하며, 이러한 시뮬레이션이 "실제" 임상 실습과 일치하는 객관적이고 측정 가능한 방식에 관심을 기울입니다[37]. 
Interestingly, while we recognize that case-informed learning is, in fact, a type of simulation, our field has not yet made a clear connection between cases and the concept of fidelity. In the context of simulation-based medical education, fidelity refers to the degree of realism we should expect, or the degree of exactness with which the simulation reproduces reality [35, 36, 37]. Medical educators generally focus on two types of fidelity:

  • physical (i.e., similarity in the look and feel of the simulator) and
  • functional (i.e., similarity in how the simulator responds to manipulation or intervention) [3538].

Returning to our underlying philosophical assumptions, these approaches to fidelity draw on positivistic orientations, concerned with objective, measurable ways these simulations align with “real” clinical practice [37].

또 다른 연구에서는 신중하게 고려할 가치가 있는 추가적인 충실도 유형으로 존재론적 충실도 개념을 제시했습니다[12]. 이 연구에서 우리는 학습자가 마네킹이 아닌 카데바에서 프로시져를 연습할 때와 시체에서 프로시져를 연습할 때 매우 다르게 참여하는 것을 발견했습니다. 간단히 말해서 시체는 실제와 다름없기 때문입니다. 카데바는 사연과 역사가 있는 살아있는 사람이었고, 그 이전의 삶이 교육 세션에 스며들었습니다[12, 39]. 간단히 말해, 존재론적 충실도는 시뮬레이터가 실제 환자와 얼마나 일치하는지, 즉 실제 인간과 얼마나 일치하는지를 의미합니다. 카데바의 존재론적 충실도는 가장 큰 강점이며 매우 다른 유형의 실습에 영감을 주었습니다. 최선의 노력에도 불구하고 아무리 기술을 발전시켜도 그 리얼리티를 재현할 수는 없었습니다.
In another study, we brought forward the concept of ontological fidelity as an additional type of fidelity that merits our careful consideration [12]. In that work, we noticed that learners engaged very differently when they practiced procedures on a cadaver as opposed to a manikin because, to simplify, the cadaver was real—and unmistakably so. The cadaver had been a living person with a story and a history, and that former life permeated the teaching sessions [12, 39]. Stated simply, then, ontological fidelity refers to the degree to which a simulator matches what a patient is: a real, human person. The ontological fidelity of cadavers was their greatest strength and inspired a very different type of practice. Despite our best efforts, no amount of technological advancement could reproduce that realness.

존재론적 충실도의 개념을 사례 기반 학습으로 확장하여, 우리는 내러티브 실천으로서의 의학이 실제로 이야기를 통해 구성된다고 믿습니다. 물론 의학에는 설득력 있고 실제적인 사례를 만들 수 있는 실화가 충분히 많지만, 이는 우리가 내러티브 실천에 동의하고 사례에서 의학에 대한 인간적 경험을 위한 공간을 확보하는 경우에만 가능합니다. 
Extending the concept of ontological fidelity to case-informed learning, we believe that medicine, as a narrative practice, is in fact constructed through story. Certainly, there are enough true stories in medicine that we can create a compelling, and real, case—but only if we agree to engage in narrative practice, and only if we make space for the human experience of medicine in our cases.

사례 기반 학습으로 돌아가서, 우리는 일련의 철학적 질문에 직면하게 됩니다:

  • 무엇이 진짜인가?
  • 또는 더 정확하게는 사례를 통해 무엇을(그리고 누구의) 현실을 시뮬레이션하고자 하는가?
  • 실제처럼 느끼게 하는 사례의 필수 요소는 무엇일까요?
  • 사례 형식으로 재현하고자 하는 임상 스토리는 무엇인가요?

Returning to case-informed learning, we are faced with a set of philosophical questions:

  • What is real? Or, perhaps more accurately,
  • what (and whose) reality do we want to simulate through cases?
  • What are the essential elements of a case that make it feel real?
  • What is the clinical story we want to reproduce in case format?

 

사례 기반 학습에 온톨로지적 충실도 제공
Bringing Ontological Fidelity to Case-Informed Learning

현재 사례 기반 학습에 대해 우리가 알고 있는 것은 환자의 이야기, 감정, 경험보다는 객관적인 사실이 사례의 실체를 구성해야 한다는 실증주의적 존재론적 입장을 강화하는 방식으로 사례 자체가 계속 당연시되고 있다는 것입니다. 우리는 존재론적 충실성에 주의를 기울이면 더 의미 있는 사례로 이어질 것이라고 제안합니다. 이를 위해 교육자들은 잠시 멈춰서 무엇이 실제인지에 대한 가정과 이러한 가정이 사례의 세 가지 요소인 형식, 내용, 목적에 어떻게 적용되는지 신중하게 검토할 것을 권장합니다(표 1 참조). 

What we currently know about case-informed learning is that cases themselves continue to be taken-for-granted in ways that reinforce the positivist ontological position that objective fact, rather than patients’ stories, emotions, and experiences should constitute the substance of the case. We propose that attending to ontological fidelity will lead to more meaningful cases. To do that, we encourage educators to pause and deliberately examine their assumptions about what is real, and how those assumptions translate into three elements of cases: format, content, and purpose (See Table 1).

 

형식
Format

텍스트 기반 증례의 형식은 꾸준히 도전받지 않고 있습니다. 기관마다 차이가 있을 수 있지만, 일반적으로 사례는 간결하게 작성되고 사례의 임상적 초점을 강조하는 전통적인 구조를 따르는 것이 일반적입니다. 일반적으로 증상, 조사 및 치료법이 나열된 환자 시나리오에 대한 설명, 일련의 학습 목표 및 리소스, 몇 가지 안내 질문이 포함됩니다
The format of text-based cases remains consistently unchallenged. While there might be variation between institutions, we have generally come to expect cases that are written concisely, and offer a traditional structure that highlights the clinical focus of the case. They generally include a description of the patient scenario where symptoms, investigations, and treatments are listed; a set of learning objectives and resources; and some guiding questions.

각 사례마다 등장하는 환자의 이름과 상태는 다르지만 사례의 틀 자체는 몇 번이고 반복해서 재현됩니다. 학생들은 이를 다소 지루하게 느낄 수 있으며, 이는 "PBL 피로감"[40]의 원인이 될 수 있습니다. 또한 이러한 유사한 구조의 사례는 각 모의 임상 상황을 다소 '동일'하게 제시하여 각 환자의 고유성과 복잡성을 떨어뜨리고, 환자 및 동료와의 임상 상황(예: 구두 사례 인계 시)에서 경험할 수 있는 구술 방식에서 벗어날 수 있습니다. 또한 텍스트가 많은 문서는 난독증과 같은 학습 장애를 가진 학습자를 포함하여 다양한 학습 프로필을 가진 학습자의 접근성에 장벽이 될 수 있습니다.
Although each case is unique in terms of the names and conditions of the patients represented, the framework for the case, itself, is reproduced again and again. Students can begin to find this rather boring, contributing to what has been referred to as “PBL fatigue” [40]. Additionally, these similarly structured cases present each simulated clinical encounter as more or less “the same,” detracting from the uniqueness and complexity of each patient, and deviating from the ways that spoken speech may be experienced in clinical encounters with patients and colleagues (e.g., during oral case handovers). Further, text-dense documents may pose barriers to accessibility for learners with diverse learning profiles, including those with learning differences such as dyslexia.

표준화된 판례 형식을 재현하는 것은 오랜 관행으로 보입니다. 예를 들어, 1993년 굿과 굿은 "사례 구성 방식(사회적, 개인적 특성은 최소화되고, 생리적 세부 사항은 매우 많음)과 환자가 사례로 재구성되는 방식에 대해 명시적인 주의를 기울이지 않는다"고 관찰했습니다. [41 p94].
The reproduction of a standardized case format appears to be a long-standing practice. For example, in 1993, Good and Good observed, “No explicit attention is paid to how cases are constructed (with minimal social and personal characteristics and great physiological detail) and how sufferers are reconstructed as cases….” [41 p94].

존재론적 충실성을 고려하기 위해 사례 형식을 재구상한다면, 사례 구조화에 대한 규정된 접근 방식을 재고할 수 있습니다. 템플릿은 포함해야 하는 모든 세부 사항을 처리한다는 측면에서 의심할 여지 없이 유용하지만, 템플릿은 모든 사례가 동일하게 보이고, 따라서 동일한 방식으로 관리될 수 있다는 기대를 강화하는 역할을 하기도 합니다. 각 사례와 그 사례에서 영감을 얻거나 필요로 하는 관련 활동이 고유하도록 정보의 순서를 변경할 수 있습니다. 어떤 사례에는 환자의 이야기(글 또는 동영상)가 포함될 수 있고, 어떤 사례에는 의료진의 반성적 의견이 포함될 수도 있습니다. 유도 질문은 특정 정보를 이끌어내기 위해 고안된 것이 아니라 더 높은 수준의 토론, 비판적 사고 및 공감을 불러일으키기 위해 방향을 바꿀 수 있습니다.  
Were we to reimagine case format to attend to ontological fidelity, we might reconsider the prescribed approach to structuring cases. While templates are undoubtedly helpful in terms of attending to all the details that need to be included, templates also serve to reinforce the expectation that all cases look the same, and relatedly, can be managed in the same way. The order of information might be changed so that each case, and the related activities it inspires/requires, is unique. Sometimes cases may feature stories from patients (which could be written or video), and in others they might include reflective comments from practitioners. Guiding questions, rather than being designed to draw out specific bits of information, might be reoriented to inspire higher level discussion, critical thinking, and empathy.

콘텐츠
Content

사례 기반 접근법은 흔히 '환자 중심'의 교육적 접근법으로 설명됩니다[14, 16, 27, 42, 43, 44, 45, 46, 47]. 각 사례에는 환자가 등장하는데, 그 외에 다른 무엇이 있을 수 있을까요? 
Case-informed approaches are frequently described as a “patient-centred” pedagogical approach [14, 16, 27, 42, 43, 44, 45, 46, 47]. Each case features a patient—how could they be anything else?

그러나 우리는 단순히 각 사례에 이름이 지정된 환자가 있는 것만으로는 존재론적 충실성에 필요한 환자 관점을 제공하지 못한다고 생각합니다. 교육 사례에서 환자는 종종 내러티브 장치, 즉 생물의학 또는 임상 정보를 전달하는 2차원적인 수단으로 쓰입니다. 이러한 환자들은 이름과 직업이 부여된 증상 목록으로 제시됩니다. 

  • 환자의 목소리를 직접 듣는 경우는 거의 없습니다[2].
  • 해당 사례의 감정적 요소에 대해 배우거나 고려하는 경우는 거의 없습니다.
  • 개별 환자에게 진단이 얼마나 큰 영향을 미치는지, 진단을 받은 환자의 삶이 어떻게 변할지를 거의 다루지 않습니다. 특히 몇 주에서 몇 달에 걸친 긴 검사와 진료 예약을 거치는 동안의 삶은 서류상 한두 단락과 동일시할 수 없다.
  • 환자의 사회적 위치에 따라 질병이 다르게 경험된다는 진단의 사회적 현실을 다루는 사례는 거의 없습니다.

대신, 사례는 일반적으로 환자의 구체화된 경험, 주체성, 인간성의 윤곽이 결여되어, 평면적이고, 정돈되고, 질서정연합니다. 이러한 평면성은 어떤 악의적인 의도에서 비롯된 것은 아니지만, 그 결과는 심각합니다
We believe, however, that simply having a named patient in each case does not offer the patient perspectives necessary for ontological fidelity. The patient in an educational case is often written as a narrative device: a two-dimensional vehicle for relaying biomedical or clinical information.

  • They are presented as a list of symptoms assigned a name and, in some instances, a job.
  • Rarely do we hear from a patient in their own voice in cases [2].
  • Rarely do we learn about, or even consider, the emotional elements of the case in question.
  • Rarely do cases engage with the magnitude of the diagnosis for individual patients and what life will look like for those who have been diagnosed, particularly as they wade through lengthy weeks and months of testing and appointments, which does not equate to a paragraph or two on paper.
  • Rarely do cases address the social realities of a diagnosis: that an illness is experienced differently depending on social location of the patient.

Instead, cases are generally flat, tidy, and orderly—lacking the contours of a patient’s embodied experience, agency, and humanness. While this flatness does not arise from any ill intent, it is consequential.

존재론적 충실성을 고려하기 위해 사례 콘텐츠를 재구상한다는 것은 관련 임상 정보뿐만 아니라 임상적 만남의 다른 인간적 차원에도 주의를 기울이는 것을 의미할 수 있습니다. 환자는 종종 신뢰할 수 없는 정보 출처로 고정관념화되어 지식 생성에 기여할 수 있는 능력을 부정당하는 등 인식론적 불공평으로 인해 환자의 목소리는 역사적으로 배제되어 왔습니다[48]. 사례 작성 과정에서 실제 환자(뿐만 아니라 의사 및 기타 의료 서비스 제공자)를 초대하여 일상적인 임상 이야기를 공유함으로써 환자-의사 상호작용의 내러티브 특성을 더욱 부각시킬 수 있습니다. 
Reimagining case content to attend to ontological fidelity might mean attending not only to the relevant clinical information, but also to the other human dimensions of a clinical encounter. The patient voice has historically been excluded, in part, due to epistemic injustice: patients are often stereotyped as unreliable sources of information and are therefore denied the capacity to contribute to knowledge generation [48]. The narrative nature of any patient-physician interaction would be made more present by inviting real patients (as well as physicians and other health care providers) to share everyday clinical stories in the case writing process.

우리는 (임상의, 환자 및 당면한 시나리오와 관련된 다른 사람들의) 목소리를 들을 수 있습니다. 사용된 단어, 표현된 감정, 묘사된 반응은 진솔할 것이며, 이야기는 깔끔하거나 논리적인 타임라인을 따르지 않을 수도 있고, 심지어 약간 지저분할 수도 있습니다! 학습자가 커리큘럼을 진행하면서 기술, 지식 및 자신감을 얻게 되면 의료 행위를 포함한 인간 경험의 특징인 불확실성과 모호함에 대한 편안함을 키우기 위해 노력하면서 사례가 점차 더 지저분해질 여지가 있을 수도 있습니다. 
We would hear voices—of clinicians, of patients, and of others relevant to the scenario at hand. The words used, the feelings expressed, and the reactions described would be authentic, and the story might not follow a neat or logical timeline—it might even be a bit messy! There may even be room for cases to become progressively messier as learners move through the curriculum and gain skill, knowledge, and confidence, working toward fostering comfort with uncertainty and ambiguity that characterizes human experience, including medical practice.

목적
Purpose

풍부한 대화를 유도하고 깊은 사고를 불러일으키는 사례를 작성하기 위해 최선을 다하고 있지만, 일반적으로 커리큘럼을 구성하는 사례는 주로 필수 정보를 전달하는 것을 목표로 합니다. 따라서 사례는 일종의 체크리스트 역할을 하는 경우가 많습니다
Despite our best efforts to write cases that lead to rich conversation and inspire deep thinking, the cases that commonly structure our curriculum aim primarily to impart essential information. Consequently, cases often come to serve as a type of checklist.

사례의 의식화된 목적은 학생들이 기대하는 일련의 규정된 소그룹 학습 관행을 불러일으키며, 강렬하고 스트레스가 많은 업무량[49]으로 인해 '일단 해치우자'는 태도로 접근하는 경우가 많습니다[2]. 사례에 접근하는 방식을 사례에 대입하면, 사례는 종종 세부 사항이 제한되어 간결하게 작성되고[33], 복잡한 아이디어를 암기하기 쉬운 단계나 범주로 단순화하며, 다가오는 시험에서 평가될 수 있는 자료를 간소화하는 데 중점을 두는 경우가 많다는 것을 의미합니다.
The ritualized purpose of a case invokes a set of prescribed small-group learning practices that students have come to expect, and—motivated by a workload that is intense and stressful [49]—these are often approached with a ‘let’s get this done’ attitude [2]. Translated into how we approach cases, this means that they are often anticipated to be succinct with limited detail [33]; they simplify complex ideas into easy-to-memorize steps or categories; and they focus on streamlining material that might be assessed on an upcoming exam.

마찬가지로 사례는 일상적인 방식으로 전개될 것으로 예상됩니다. 부정적(예: 환자의 사망으로 끝나는 경우)이든 긍정적(예: 환자의 회복과 번영으로 끝나는 경우)이든 학습자는 일반적으로 사례가 구체적인 해결책으로 마무리될 것으로 기대합니다. 그러나 사례의 목적이 학생이 맥락에서 학습할 수 있는 메커니즘을 제공하는 것이라면 사례는 다층적이고 복잡한[14, 17, 30] 실제 의료 행위의 맥락을 시뮬레이션해야 합니다[50]. 반응과 풍부한 대화를 유도하기 위해 사례는 다소 복잡할 것이라고 예상할 수 있습니다.
Likewise, cases are expected to unfold in a routine way. Whether negative (ending with the patient’s death, perhaps) or positive (ending with the patient recovering and thriving, for example), learners generally expect the cases to conclude with a concrete resolution. However, if the purpose of cases is to provide a mechanism for students to learn in context, cases ought to simulate the context of real-life medical practice [14, 17, 30], which is multi-layered and complex [50]. One might expect that cases would be somewhat convoluted, in order to inspire reaction and rich conversation.

존재론적 충실도를 고려하기 위해 사례를 재구성한다면, 의료 행위를 구성하는 스토리를 위한 공간을 확보할 수 있도록 사례를 재구성할 수 있습니다. 사례는 복잡한 상황이나 일상에서 벗어나 쉽게 해결되지 않을 수 있는 상황을 제시할 수 있습니다. 이러한 사례는 의사들이 실제 진료에서 직면하게 될 문제 유형에 대해 더 깊은 사고와 성찰, 분석을 촉진할 수 있습니다. 
If we were to reimagine cases to attend to ontological fidelity, we might reorient cases so that they make space for the stories that constitute medical practice. Cases might present a complicated situation, or one that moves away from the routine and might not be easily resolved. This could foster deeper thinking, introspection, and analysis of the types of challenges they will face moving forward in practice.

 

"실제 생활"에서의 온톨로지 충실도
Ontological Fidelity in “Real Life”

의심할 여지 없이 증거에 기반한 과학적, 임상적 접근 방식이 치료에 반드시 존재해야 하지만, 이것만이 중요한 것은 아닙니다. 사례에 철학적 관점을 통합하는 것이 복잡해 보일 수 있지만, 실제로 사례는 이미 의학 분야에서 존재론적 지향의 인공물로서 존재합니다. 우리가 할 일은 단순히 우리가 실제적이고 중요한 것으로 표현하고자 하는 것을 반영하는 것입니다.
Without a doubt, evidence-based scientific and clinical approaches must be present in cases—but these are certainly not the only things that matter. While the integration of a philosophical perspective to cases may seem complicated, in reality, cases already exist as an artefact of our ontological orientation in the field of medicine. Our job is simply to reflect on what we want to represent as real and important.

우리는 미래의 실제 시나리오를 시뮬레이션하려는 모든 교육 전략과 마찬가지로 사례도 충실도의 문제를 고려해야 한다고 믿습니다. 그러나 물리적 또는 기능적 충실도보다는 모든 사례의 핵심은 존재론적 충실도입니다. 존재론적 충실도를 제공하는 가장 간단한 방법, 즉 학생들이 사례를 실제처럼 느낄 수 있도록 하는 방법은 실제 인물을 바탕으로 사례를 만들고 이를 학생들에게 전달하는 것입니다. 그러나 문학 작품을 읽거나 영화를 본 사람이라면 누구나 알 수 있듯이, 이야기가 사실적이어야만 현실감을 느낄 수 있는 것은 아닙니다. 사례를 신중하게 구성하면 현실에 깊이 뿌리박고 있는 보편적인 진리를 우리가 인식하는 방식으로 전달할 수 있습니다. 이러한 방식으로, 이전 연구에서 학생들이 현실감 때문에 마네킹에 비해 시체에 다르게 참여했던 것처럼[12], 사실적인 느낌의 사례를 만들면 학생들이 사례 기반 학습에 참여하는 방식이 달라질 수 있습니다. 
We believe that, like all education strategies that attempt to simulate future real-life scenarios, cases should attend to the question of fidelity. But, rather than physical or functional fidelity, it is ontological fidelity that lies at the heart of every case. Perhaps the simplest way to provide ontological fidelity—to make the cases feel real to students—is to base these cases on real people and communicate that to students. However, as any reader of literature or movie-goer can attest, we do not need stories to be true in order for them to feel real. When cases are thoughtfully constructed, they convey universal truths in ways that we recognize to be deeply rooted in reality. In this manner, just as the students in our previous study engaged differently with cadavers compared to manikins because of their realness [12], creating cases that feel authentic may change the way students engage with case-informed learning.

우리가 의학 교육에 사용하는 사례는 현실의 본질에 대한 의심할 여지 없는 철학적 가정을 재현합니다. 정해진 공식을 고수하는 사례는 튜토리얼과 사례가 어떤 모습이어야 하고 무엇을 할 수 있는지에 대한 협소한 구성을 강화하는 데 도움이 됩니다. 존재론적 충실성이라는 개념에 초점을 맞추면서 교육자가 사례의 가능성과 사례의 필수 요소에 대한 생각을 넓힐 것을 권장합니다. 이는 사례의 형식, 내용, 목적을 재검토하는 것을 의미할 뿐만 아니라 스토리, 환자의 목소리, 감정, 문화, 경험 등 '삶의 세계'를 진정성 있게 통합하려는 공동의 노력도 포함합니다. 교육 관리자와 사례 작성자는 현실의 본질과 관련된 존재론적 질문에 귀를 기울이면서 점진적이고 협력적으로 사례 작성에 접근함으로써 얻을 수 있는 것이 무엇인지 고려할 것을 권장합니다. 사례 작성 과정에서 실제 환자, 의사 및 기타 의료 서비스 제공자와 상담하거나 초대하여 일상적인 임상 사례를 공유하는 것도 좋은 방법이 될 수 있습니다.

The cases we use for medical education reproduce unquestioned philosophical assumptions about the nature of reality. Cases that stick to a prescribed formula help to reinforce a narrow construction of what tutorials and cases should look like and what they can do. As we focus on the idea of ontological fidelity, we encourage educators to broaden their ideas about what cases not only could be, but also what they should be. This means re-examining case format, content, and purpose, but also involves a concerted effort to authentically integrate the “lifeworld,” including story, patient voice, emotion, culture, and experience. We encourage educational administrators and case writers to consider what might be gained by approaching case writing progressively and collaboratively, while attuning to ontological questions relating to the nature of reality. Consulting with, and even inviting real patients, physicians, and other health care providers to share everyday clinical stories in the case writing process would be a good way forward.


Perspect Med Educ. 2023 Apr 12;2(1):120-128. doi: 10.5334/pme.47. eCollection 2023.

Case-Informed Learning in Medical Education: A Call for Ontological Fidelity

Affiliations collapse

1Department of Continuing Professional Development and Medical Education, Dalhousie University, Halifax, Nova Scotia, Canada.

2Department of Emergency Medicine, Dalhousie University, Halifax, Nova Scotia, Canada.

3Department of Pediatrics, Dalhousie University, Halifax, Nova Scotia, Canada.

PMID: 37063601

PMCID: PMC10103732

DOI: 10.5334/pme.47

Free PMC article

Abstract

Case-informed learning is an umbrella term we use to classify pedagogical approaches that use text-based cases for learning. Examples include Problem-Based, Case-Based, and Team-Based approaches, amongst others. We contend that the cases at the heart of case-informed learning are philosophical artefacts that reveal traditional positivist orientations of medical education and medicine, more broadly, through their centering scientific knowledge and objective fact. This positivist orientation, however, leads to an absence of the human experience of medicine in most cases. One of the rationales for using cases is that they allow for learning in context, representing aspects of real-life medical practice in controlled environments. Cases are, therefore, a form of simulation. Yet issues of fidelity, widely discussed in the broader simulation literature, have yet to enter discussions of case-informed learning. We propose the concept of ontological fidelity as a way to approach ontological questions (i.e., questions regarding what we assume to be real), so that they might centre narrative and experiential elements of medicine. Ontological fidelity can help medical educators grapple with what information should be included in a case by encouraging an exploration of the philosophical questions: What is real? Which (and whose) reality do we want to simulate through cases? What are the essential elements of a case that make it feel real? What is the clinical story we want to reproduce in case format? In this Eye-Opener, we explore what it would mean to create cases from a position of ontological fidelity and provide suggestions for how to do this in everyday medical education.

복잡한 수행능력 평가에서 인지적 영향: 의학과 심리학 사이의 상호작용으로부터의 교훈(Journal of Applied Research in Memory and Cognition, 2018)
Cognitive Influences on Complex Performance Assessment:Lessons from the Interplay between Medicine and Psychology 

Kevin W. Eva∗

 

의료 서비스의 효율성은 부분적으로 의료진의 역량에 의해 결정됩니다. 이러한 역량을 확보하기 위해 매년 수백만 달러가 사내 평가, 면허 및 인증 시험, 역량 프로그램의 개발 및 운영에 지출되고 있습니다. 이러한 관행의 대부분은 현대 의료 시스템에서 잘 기능하는 데 필요한 다양한 자질을 평가하기보다는 임상의가 알아야 할 내용을 알고 있는지 여부를 테스트하는 협소하게 초점을 맞추고 있습니다. 그러나 적절한 치료가 개별 의료진이 보유한 지식에만 의존하는 것이 아니라는 인식이 점점 더 확산되고 있습니다(Anderson, 2011). 효과적이고 안전하게 진료하려면 의료 전문가는 환자가 자신의 건강 문제를 해결하는 데 적극적으로 참여할 수 있는 다양한 기술에 능숙해야 하며, 다른 의료 전문가, 환자 가족 및 진화하는 기술 지원과의 협력을 촉진해야 합니다(Balogh, Miller, & Ball, 2015). 그러나 개인이 필요한 다양한 역량에 대한 역량을 개발했는지 여부를 판단하는 것은 쉬운 일이 아닙니다. 
The effectiveness of healthcare is determined, in part, by the competence of its practitioners. Assuring such competence results in millions of dollars being spent annually to develop and run intramural assessments, licensing and certification examinations, and maintenance of competence programs. The majority of these practices are narrowly focused, testing whether or not clinicians know what they should know rather than assessing the many qualities required to function well in modern healthcare systems. It is increasingly recognized, however, that adequate care is not solely dependent on the knowledge possessed by individual practitioners (Anderson, 2011). To work effectively and safely, health professionals must be proficient at a wide range of skills that enable patients to become active participants in solving their health concerns while also promoting collaboration with other health professionals, with patients’ families, and with evolving technological supports (Balogh, Miller, & Ball, 2015). Determining whether or not an individual has developed capacity for the various competencies required, however, is no easy matter.

이 점에서 의료계만 특별한 것은 아닙니다. 결과가 중요하고 부정적인 결과가 가혹하기 때문에 의사로 일할 수 있는 사람을 잘못 결정하면 어떤 영향을 미칠지 쉽게 상상할 수 있습니다. 하지만 누구와 친구가 되고 싶은지에 대한 사회적 판단에서부터 고용 제안을 연장하는 것, 국가의 지도자가 될 정치 후보를 선택하는 것까지, 모든 삶의 영역에서 우리는 누가 성공(어떻게 정의되든) 가능성을 최적화하고, 동시에 용납할 수 없는 부정적인 결과의 위험을 최소화할 수 있는 자질의 적절한 균형을 유지하는지에 대한 평가를 내립니다. 때로는 이러한 역량 평가가 옳을 때도 있지만 때로는 끔찍하게 잘못될 수도 있습니다. 이 주제 글에서는 의료 수련생과 전문가에 대한 평가를 예로 들어 복잡한 성과 평가에 대해 알려진 많은 내용과 이를 개선하는 방법을 요약해 보겠습니다. 의학은 이 분야에 대한 연구의 우선순위를 정해온 오랜 역사(Epstein, 2007)가 있을 정도로 그 중요성이 높기 때문에 대부분의 응용 분야에서 수행된 것보다 더 많은 경험적 연구를 산출할 수 있는 풍부한 영역입니다. 이러한 역사는 응용 분야와 학문 분야 간의 상호작용에 대한 흥미로운 사례 연구를 제공하는 방식으로 기초 심리학의 연구를 활용하려는 노력으로 가득 차 있습니다. 이러한 사례를 살펴보기 위해 보건 전문 교육자가 직면한 과제, 해결책을 도출하기 위해 인지 심리학을 적용하여 얻은 통찰력, 그리고 인지 기초 연구에 피드백될 수 있는 과학의 현재 상태와 지속적인 요구 사항에 대한 몇 가지 성찰을 제공할 것입니다. 
In this regard, medicine is not unique. It is easy to imagine the impact of poor decisions about who should be trusted to work as a physician because the outcomes matter and negative results are harsh. In any walk of life though, ranging from social judgments about who we want to befriend, through extending employment offers, to choosing between political candidates who will become our nations’ leaders, we make assessments about who maintains the right balance of qualities that will optimize the likelihood of success (however defined) and minimize the risk of unacceptably negative consequences. Sometimes these assessments of competence are right; sometimes they go horribly wrong. In this target article I will use the assessment of medical trainees and professionals as an example to summarize much of what is known about complex performance assessment and the ways in which it is being improved. Medicine is a rich domain for that purpose because the stakes are high enough that there is a long history of prioritizing research in this area (Epstein, 2007), yielding more empirical study than has been conducted in most applied contexts. That history is rife with efforts to draw upon studies from basic psychology in a way that provides an interesting case study for the interplay between an applied field and an academic discipline. To explore that case, I will provide an overview of the challenges facing health-professional educators, the insights that have been gained from the application of cognitive psychology toward deriving solutions, and some reflections on the current state of the science and ongoing needs that might be fed back into the fundamental study of cognition.

의학 분야의 복잡한 성과 평가
Complex Performance Assessment in Medicine

응급실 진료실에 들어선 레지던트(즉, 수련의)가 영어를 잘 못하는 히스테리에 가까운 엄마가 안고 있는 눈은 시커멓게 충혈되고 이마는 심하게 멍이 든 채 우는 아이를 만났다고 상상해 보세요. 분명히 상당히 효율적으로 해결해야 할 진단 문제가 있습니다: 뼈가 부러지지는 않았는가? 아이의 눈이 손상되었나요? 뇌진탕이나 내부 출혈이 있을 가능성이 있나요? 어떤 진단을 고려해야 하는지, 어떤 검사를 통해 중요한 임상 상태를 배제할 수 있는지, 환자를 치료하기 위해 취해야 할 주요 조치(근본적인 문제가 무엇이든)에 대한 임상의의 지식을 정확하게 평가하는 것은 비교적 간단합니다. 이 시나리오와 같이 매우 간단한 시나리오에서도 의사가 이해해야 할 내용이 많습니다(예: 해부학, 생리학, 위험도, 수행할 수 있는 검사의 예측 가치, 특정 조치를 취했을 때의 비용/편익 등). 그러나 잘 작성된 객관식 또는 단답형 시험은 지식 기반의 강점을 적절히 파악할 수 있습니다(Case & Swanson, 2002). 실제로 일부 상황에서는 의사가 환자를 진찰한 지 10년이 지난 후에도 심장 사망률(Ramsey et al., 1989) 및 기타 중요한 임상 지표(Wenghofer et al., 2009)를 포함한 실제 환자 결과를 예측할 수 있는 것으로 나타났습니다. 

Imagine the medical resident (i.e., senior trainee) who enters an examining room in the emergency department to meet a crying child with a blackened eye and badly bruised forehead who is being held by a nearly hysterical mother who speaks English poorly. Clearly there are diagnostic issues that need to be resolved fairly efficiently: Are any bones broken? Has the child's eye been damaged? Is he likely to be concussed or haemorrhaging internally? Accurately assessing the clinician's knowledge regarding what diagnoses need to be considered, what tests will help rule out important clinical conditions, and what key steps need to be taken to treat the patient (whatever the underlying problem happens to be) is relatively straightforward. There is a lot that needs to be understood by the physician even in a fairly simple scenario such as this one (e.g., anatomy, physiology, risk, the predictive value of tests that could be performed, and the costs/benefits of taking particular actions). Well-written multiple choice or short answer exams, however, can adequately capture the strength of one's knowledge base (Case & Swanson, 2002). In fact, in some circumstances they have been shown capable of predicting real patient outcomes including cardiac mortality rates (Ramsey et al., 1989) and other important clinical measures (Wenghofer et al., 2009) a decade after the physician is examined.

그러나 환아와 그 가족에게 긍정적인 결과를 가져다주는 것은 단순히 진단 라벨을 지정하여 현재 문제를 분류하는 방법을 아는 것의 문제가 아닙니다(Ilgen, Eva, & Regehr, 2016). 

  • 환자 및 어머니와 효과적으로 소통할 수 있는 능력을 포함한 대인관계 기술은 환자의 상태와 그 원인을 제대로 이해하는 것뿐만 아니라 어머니가 상황을 완화하여 아이가 필요한 지원을 받고 이해할 수 있도록 하는 데에도 필요합니다(Menichetti, Libreri, Lozza, & Graffigna, 2016). 
  • 팀 기반 접근 방식과 이를 실행하는 데 필요한 기술은 이 환자뿐만 아니라 클리닉에 계속 유입되는 다른 문제와 관련하여 이러한 상호 작용을 분류하는 데 필요한 다양한 작업 및 후속 조치 단계를 조정하는 데 필요합니다(Abu-Rish 외., 2012). 
  • 부상의 원인을 파악하고 다시 발생할 가능성을 줄이려면 특히 학대가 의심되는 경우 의사의 상당한 주의와 옹호가 필요할 수 있으며, 향후 문제 예방을 위한 조율된 노력을 이끌기 위한 조치를 다시 취해야 합니다(Hubinette, Dobson, & Regehr, 2015). 
  • 그리고 이 모든 과정은 모든 의료 전문가에게 기대되는 전문성을 정의하는 데 기여하는 이타주의, 정직성, 다양성에 대한 존중을 보여주면서 이루어져야 합니다(Kelly, Mullan, & Gruppen, 2016).

Enabling a positive outcome for this child and his family, however, is not simply a matter of knowing how to categorize the presenting problem by assigning a diagnostic label (Ilgen, Eva, & Regehr, 2016).

  • Interpersonal skills, including the capacity to communicate effectively with the patient and his mother, are required not only to gain a proper understanding of the patient's condition and its cause, but to defuse the situation so the mother can understand and get the child the support he needs (Menichetti, Libreri, Lozza, & Graffigna, 2016).
  • A team-based approach and the skills required to enact it are necessary to coordinate the various stages of work-up and follow-up needed not just by this patient, but also for triaging this interaction relative to the other problems that continue to flow into the clinic (Abu-Rish et al., 2012).
  • Determining the cause of the injury and reducing the likelihood that it will happen again may require considerable care and advocacy on the part of the physician, especially if abuse is suspected, again with steps taken to lead a coordinated effort toward prevention of future problems (Hubinette, Dobson, & Regehr, 2015).
  • And, all of this must be done while demonstrating the altruism, honesty, and respect for diversity that contribute to defining the professionalism expected of all healthcare professionals (Kelly, Mullan, & Gruppen, 2016).

캐나다 왕립 의사 및 외과의 대학에서 설계한 모델로 전 세계 여러 지역에서 의사 교육을 안내하는 데 사용되어 온 CanMEDS 프레임워크의 최신 버전에는 "의사가 의료 서비스를 제공하는 사람들의 의료 요구를 효과적으로 충족하는 데 필요한 능력을 설명"하는 7가지 역할이 나열되어 있습니다: 협력자, 커뮤니케이터, 리더, 건강 옹호자, 의료 전문가, 전문가, 학자(Frank, Snell, & Sherbino, 2015). 이러한 역할은 27개의 "핵심 역량"으로 요약되며, 이는 다시 93개의 "활성화 역량"으로 세분화됩니다. 대부분의 역량을 평가하려면 실제 시나리오에서 의도적인 관찰 노력이 필요하며(Wass, van der Vleuten, Shatzer, & Jones, 2001), 관찰된 행동이 원하는 역량을 어느 정도 대표할 수 있는지에 대한 상당한 추론이 필요합니다(Kogan, Conforti, Bernabeo, Iobst, & Holmboe, 2011). 
In the latest iteration of the CanMEDS framework, a model designed by the Royal College of Physicians and Surgeons of Canada that has been used to guide physician training in many parts of the world, 7 roles are listed that “describe the abilities physicians require to effectively meet the healthcare needs of the people they serve”: Collaborator, Communicator, Leader, Health Advocate, Medical Expert, Professional, and Scholar (Frank, Snell, & Sherbino, 2015). These roles encapsulate 27 “key competencies” that are further subdivided into 93 “enabling competencies.” Assessment of most of them requires deliberate efforts at observation in real-world scenarios (Wass, van der Vleuten, Shatzer, & Jones, 2001) with considerable need for inferences to be drawn regarding the extent to which the behaviour observed is representative of the skillset desired (Kogan, Conforti, Bernabeo, Iobst, & Holmboe, 2011).

대부분의 임상 상황에서는 긍정적인 결과에 이르는 여러 경로가 존재하고(Eva, 2005) 모든 사례에서 경로와 결과 간의 불완전한 상관관계가 존재하기 때문에 이러한 영역에서는 "지상 진실"과 같은 것은 존재하지 않습니다(Zwaan & Singh, 2015);

  • 맥락이 행동의 강력한 결정 요인으로 밝혀졌기 때문입니다(Eva, Neville, & Norman, 1998); 그리고
  • 역량이 나타내는 복잡한 개념을 "객관적으로" 식별 가능한 행동으로 원자화하려는 노력은 필연적으로 그 개념이 의미하는 본질을 나타내지 못하기 때문입니다(Eva and Hodges, 2012, Whitehead et al. , 2015).

예를 들어, 상대의 눈을 바라보는 것은 훌륭한 의사소통 기술의 구성 요소로 취급되어 왔지만, 그 적절성과 의미는 문화적으로 다양하며(Akechi et al., 2013), 서구 문화권 내에서도 상대방의 눈을 바라보는 방식(예: 공격성, 연민, 지루함 또는 이해)이 중요하며 사람마다 다르게 해석될 수 있습니다(Gingerich, Ramlo, van der Vleuten, Eva, & Regehr, 2017). 실제로 의학 분야의 전문가 성과는 알고리즘에 따른 일련의 행동을 엄격하고 의도적으로 준수하는 것이 특징이 아니라는 사실은 20년 동안 알려져 왔습니다(Norman & Brooks, 1997). 그 결과, 사전 정의된 작업의 완료를 문서화하는 데 사용되는 체크리스트 중심 전략과 비교할 때, 주관적인 성과 등급을 사용하여 의료진을 평가하려는 노력은 신뢰할 수 있으면서도 숙련된 전문가와 수련생을 더 잘 구별할 수 있는 경향이 있습니다(Hodges, Regehr, McNaughton, Tiberius, & Hanson, 1999).

There is no such thing as “ground truth” in such domains because there are multiple pathways to positive outcomes in most clinical situations (Eva, 2005) and an imperfect correlation between pathway and outcome in all cases (Zwaan & Singh, 2015);

  • because context has been shown to be a robust determinant of one's behaviour (Eva, Neville, & Norman, 1998); and,
  • because efforts to atomize the complex concepts represented by the competencies into “objectively” identifiable behaviours inevitably fail to represent the essence the concepts are meant to signify (Eva and Hodges, 2012Whitehead et al., 2015).

For example, while looking one in the eye has been treated as a component of good communication skill, the appropriateness and meaning of doing so is culturally variable (Akechi et al., 2013) and, even within Western cultures, the way in which one looks another in the eye (e.g., with aggression, with compassion, with boredom, or with understanding) matters and can be interpreted differently by different people (Gingerich, Ramlo, van der Vleuten, Eva, & Regehr, 2017). In fact, it has been known for two decades that expert performance in medicine is not characterized by strict and deliberate adherence to an algorithmic set of actions (Norman & Brooks, 1997). As a result, when compared to checklist-driven strategies used to document completion of pre-defined tasks, efforts to assess medical practitioners using subjective ratings of performance tend to be just as reliable, yet better able to differentiate trainees from experienced professionals (Hodges, Regehr, McNaughton, Tiberius, & Hanson, 1999).

이러한 모든 이유(무엇보다도)로 인해 의학 분야의 성과 평가는 개인의 판단에 크게 의존합니다(Kogan & Holmboe, 2013). 판단의 근거가 되는 관찰 자료는 시뮬레이션 환경이나 직장에서 수집할 수 있습니다. 실시간으로 수집하거나 평가 대상자에게 이전에 노출된 적이 있는 개인을 대상으로 한 설문조사를 기반으로 수집할 수도 있습니다. 임상 교육자, 실습 동료 또는 환자가 제공할 수도 있습니다. 그러나 모든 경우에서 개인의 역량을 표현하기 위해서는 개인이 인식한 것을 번역해야 합니다(Williams, Klamen, & McGaghie, 2003). 평가 과정의 적절성은 일반적으로 주장의 진실성을 검증하여 결정할 수 없기 때문에 의료계는 효용성utility의 구성에 기반하여 사례를 만드는 데 의존하고 있습니다(van der Vleuten & Schuwirth, 2005). 이 영역에서 효용성은 일반적으로 평가 과정의 실현 가능성, 수용 가능성, 신뢰성, 타당성 및 교육적 영향의 조합으로 해석되어 왔습니다. 예를 들어, 신뢰성의 향상은 일반적으로 타당성에 영향을 미치지 않으면서도 타당성의 저하를 동반하기 때문에 이러한 기능은 서로 상응하지 않는 경우가 많습니다(Eva, 2009). 이 백서에서는 이러한 실제적인 현실을 제쳐두고 이 문제에 인지적 렌즈를 적용하여 평가자 기반 평가를 개선하기 위한 노력에서 배운 내용에만 초점을 맞출 것입니다. 예를 들어, 사회문화 이론가들은 평가 대상, 방법, 이유에 대해 완전히 다른 인식론적 질문을 제기할 수 있다는 점을 고려할 때, 인지적 관점만이 이 문제와 관련된 유일한 관점은 아닙니다. 하지만 개인에게 복잡한 퍼포먼스의 강도에 대한 판단을 요구하는 데 내재된 인지적 문제 자체가 충분히 중요하고 흥미로우며 도전적이기 때문에 지금은 그러한 질문은 한쪽으로 치워두겠습니다.  
For all these reasons (among others) performance assessment in medicine is heavily dependent on the judgment of individuals (Kogan & Holmboe, 2013). Observations on which judgments are made might be collected in simulated settings or in the workplace. They might be collected in real time or based on surveys of individuals who have had previous exposure to the individual being assessed. They might be provided by clinical educators, practicing colleagues, or patients. In all instances, however, they require the translation of what one perceives into a representation of the individual's competence (Williams, Klamen, & McGaghie, 2003). Because the adequacy of the assessment process cannot commonly be determined by verifying the veracity of any claims made, the medical profession is reliant on making a case based on the construct of utility (van der Vleuten & Schuwirth, 2005). In this domain, utility has generally been interpreted as a combination of the feasibility, acceptability, reliability, validity, and educational impact of the assessment process. These features are not often commensurate with one another as improvements in reliability, for example, are generally accompanied by declines in feasibility without necessarily impacting upon validity (Eva, 2009). For the purpose of this paper, we will set aside such practical realities and focus exclusively on what has been learned in efforts to improve rater-based assessments by applying a cognitive lens to this problem. This is not the only lens that is relevant given that socio-cultural theorists, for example, would raise entirely different epistemological questions regarding what is being assessed, how, and why. For now though such questions will be set to the side because the cognitive issues inherent in asking individuals to offer judgment on the strength of complex performances are themselves sufficiently important, interesting, and challenging.

평가자 기반 평가의 가치에 의문을 제기하는 지속적인 문제는 신중하게 통제된 자극(예: 환자와의 의료적 상호작용을 비디오로 녹화한 것)조차도 동등한 자격과 훈련을 받은 개인으로부터 매우 다양한 평가를 이끌어내는 경향이 있다는 것입니다(Cook 외., 2010, Downing, 2005, Margolis 외., 2006). 실제로 똑같은 자극에 대한 평가가 9점 척도에서 6점 차이가 나는 것은 흔한 일이며, 그 결과 평가자에 따라 합격-불합격 결정이 일관되지 않게 내려집니다(Holmboe, Huot, Chung, Norcini, & Hawkins, 2003). 긍정적 왜곡, 후광 효과, 극단값 회피와 같은 평가 편향이 일반적이며, 성과가 해석될 수 있는 방식에 대한 내재적 모호성은 일반적으로 인식되지 않습니다(Haber and Avins, 1994, Herbers 등, 1989, Kalet 등, 1992, LaMantia 등, 1999, Lurie 등, 2009). 이러한 문제를 개선하려는 노력은 크게 두 가지 범주 중 하나로 나뉘는데, 두 가지 모두 평가자의 개인적인 경험과 인식에 대한 의존도를 제한하거나 줄이는 평가자 기반 평가 프로토콜을 구축하려는 의도적인 시도에 해당합니다. 즉, 모든 평가자가 인정하지 않는 의료진의 성과에 대한 객관적인 현실이 있다는 가정에서 출발합니다.
A persistent problem that calls into question the value of rater-based assessments is that even carefully controlled stimuli (e.g., video-recorded renditions of a medical interaction with a patient) tend to elicit highly variable ratings from equally qualified and trained individuals (Cook et al., 2010, Downing, 2005, Margolis et al., 2006). It is commonplace, in fact, for ratings of the exact same stimulus to reveal a 6-point variation on a 9-point scale, resulting in inconsistent pass–fail decisions that are highly dependent on the assessors consulted (Holmboe, Huot, Chung, Norcini, & Hawkins, 2003). Rating biases such as positive skew, halo effects, and end aversion are common and the inherent ambiguity regarding the ways in which a performance could be interpreted generally goes unrecognized (Haber and Avins, 1994, Herbers et al., 1989, Kalet et al., 1992, LaMantia et al., 1999, Lurie et al., 2009). Efforts to ameliorate these problems have broadly fallen into one of the two categories, both of which amount to deliberate attempts to build rater-based assessment protocols that constrain or reduce dependency on the personal experience and perceptions of the raters. That is, they derive from the assumption that there is an objective reality to the quality of a medical practitioner's performance that simply is not recognized by all raters.

이러한 노력의 첫 번째는 평가자를 교육하여 조직의 표준과 정의에 대한 이해를 높임으로써 관찰된 성과에 대한 자신의 해석을 극복할 수 있도록 노력하는 것입니다(Kogan, Conforti, Bernabeo, Iobst, & Holmboe, 2015). 이 전략은 대체로 성공적이지 못했습니다(Cook, Dupras, Beckman, Thomas, & Pankratz, 2009). 평가자 교육은 때때로 평가자의 엄격성을 증가시키지만, 일반적으로 평가자 간 신뢰도에는 뚜렷한 영향을 미치지 않습니다(Holmboe, Hawkins, & Huot, 2004). 또한, 평가자의 임상 경험이 많을수록 평가자로서의 수행이 잘 바뀌지 않는 경향이 있습니다(Eva, 2001). 평가자는 평가자와 같은 방식으로 과제를 수행하는 사람에게 더 높은 평가를 내리는 것으로 알려져 있는데(Kogan, Hess, Conforti, & Holmboe, 2010), 이는 앞서 언급했듯이 이러한 맥락에서 적절하고 의미 있는 많은 시나리오의 경우 단일 전략이 진정한 표준이 되지 않고 좋은 치료를 위한 여러 경로가 있기 때문에 문제가 될 수 있습니다. 
The first such effort involves training raters, striving to help them overcome their own interpretations of the performances observed by improving their understanding of the organization's standards and definitions (Kogan, Conforti, Bernabeo, Iobst, & Holmboe, 2015). This strategy has largely been unsuccessful (Cook, Dupras, Beckman, Thomas, & Pankratz, 2009). Rater training sometimes increases rater stringency, but does not typically have a discernible influence on inter-rater reliability (Holmboe, Hawkins, & Huot, 2004). Further, the more clinical experience a rater has the less malleable their performance as a rater tends to be (Eva, 2001). Raters are known to give higher ratings to others who engage with the observed task in the same way the rater would (Kogan, Hess, Conforti, & Holmboe, 2010), which is problematic because (as alluded to earlier) for many of the scenarios that are relevant and meaningful in this context there are multiple pathways to good care without any single strategy being a true gold standard.

두 번째 노력은 응답 옵션의 수를 줄이거나(예/아니오 체크리스트의 극단적인 경우) 평가자가 평가해야 하는 행동의 수와 구체성을 늘려 평가자가 사용하도록 요청하는 평가 척도를 조정하거나 확장하는 것입니다. 다시 말하지만, 이러한 전략의 궁극적인 목표는 평가자의 인식에 존재하는 특이성을 극복하는 것입니다. 다시 말하지만, 이러한 전략은 대체로 성공적이지 못했습니다(Cook and Beckman, 2009, Donato et al., 2008). 포괄적인comprehensive 평가 도구를 생성하려는 노력은 특정 질문과 관련된 샘플링 오류를 줄임으로써 수집된 평가의 내적 일관성을 높일 수 있습니다. 그러나 척도를 완성하는 것이 너무 부담스러워 평가자가 직접 관찰보다는 기억에 의존하는 경우가 많기 때문에 이러한 이점이 약화되는 경향이 있습니다(Eva et al., 2007). 또한, 이러한 척도는 행동의 개별적인 측면이 특정 평가자에게 특히 두드러지게 나타나는 특이성을 줄이는 데 아무런 도움이 되지 않으며(Yeates, O'Neill, Mann, & Eva, 2013), 동시에 과제의 인지적 난이도를 증가시킵니다(Tavares & Eva, 2013).
The second effort involves tweaking or expanding the rating scales that assessors are asked to use by reducing the number of response options (to the extreme of a yes/no checklist) or increasing the number and specificity of the behaviours raters are asked to assess. Again, the ultimate goal of such strategies is to overcome idiosyncrasies present in raters’ perceptions. Again, such strategies have largely been unsuccessful (Cook and Beckman, 2009, Donato et al., 2008). Efforts to generate comprehensive rating instruments can enable increasing degrees of internal consistency in the ratings collected by reducing the sampling error related to asking particular questions. That benefit tends to be undermined though because completion of the scale becomes so burdensome that raters increasingly depend on their memory (often over long periods) rather than direct observation (Eva et al., 2007). Further, such scales do nothing to reduce the idiosyncrasy with which individual aspects of behaviour appear particularly salient to particular raters (Yeates, O’Neill, Mann, & Eva, 2013) while simultaneously increasing the cognitive difficulty of the task (Tavares & Eva, 2013).

종합하면, 이 영역의 증거 기반은 복잡한 수행 평가에는 의사 또는 수련의의 기술을 측정하는 것이 [관찰 대상의 수행]보다 [평가자의 관점]에 대한 더 나은 통찰력을 제공할 수 있는 상당한 위험이 수반된다는 것을 시사합니다. 극단적인 사례로, 기존의 패널 기반 의과대학 입학 면접에서 부여된 점수 차이의 거의 60%가 면접관 간의 차이에 기인하는 것으로 밝혀졌습니다(Harasym, Woloschuk, Mandin, & Brundin-Mather, 1996). 즉, 지원자 자체의 기술이나 자질보다는 누가 특정 지원자를 면접하도록 배정되었는지에 따라 입학 여부가 결정되었는데, 이러한 상황은 고위험 상황에서는 명백히 비윤리적이라고 할 수 있습니다(Norman, 2004). 
Taken together, the evidence base in this domain suggests that complex performance assessment carries with it considerable risk that measurement of a physician's or trainee's skill provides better insight into the perspective of the rater than it does into the performance of the observed. In one extreme case, nearly 60% of the variance in scores assigned during traditional panel-based medical school admissions interviews was found to be attributable to differences between interviewers (Harasym, Woloschuk, Mandin, & Brundin-Mather, 1996). In other words, who gained entry to the school was driven by who happened to be assigned to interview a given candidate moreso than by the skill or qualities of the candidates themselves, a situation that is plainly unethical in high-stakes contexts (Norman, 2004).

다행히도 인지 심리학의 원리를 적용하여 의학 분야에서 평가자 기반 평가를 개선하는 방향으로 일부 진전이 이루어지고 있습니다. 의학은 이러한 원리를 적용할 수 있는 풍부한 영역을 제공하지만, 이러한 원리는 복잡한 성과 평가의 모든 영역에 적용될 수 있습니다. 따라서 다음과 같이 인지심리학의 적용을 통해 의학교육이 얻은 교훈을 요약한 이유는 JARMAC 독자들이 의료행위에 특별히 관심이 있다고 가정하기 때문이 아니라, 의사에 대한 평가가

  • (a) 다양한 맥락에서 복잡한 수행평가에 정보를 제공할 수 있는 사례 연구를 제공하고,
  • (b) 인지를 통해 다루면 좋을 미해결 문제에 대한 지침을 제공하며,
  • (c) 참가자가 제한된 실제 환경에서 심리적 과정을 조사하려고 할 때 양보해야 하는 점을 강조함으로써 수행의 어려움에 대한 통찰을 제공하기 때문입니다.

후자의 문제와 관련하여 원하는 모든 데이터에 액세스할 수 있는 경우는 거의 없습니다. 의학 교육 참가자는 그 수가 제한되어 있고 모집하는 데 많은 비용이 듭니다. 따라서 이러한 상황에서 이러한 문제를 현명하게 연구하려면 경험적 데이터, 이론, 논리, 삼각측량, 추론의 조합이 필요합니다. 이는 응용 현상을 이해하기 위해 인지심리학 같은 핵심 학문의 가치를 강조하는 동시에, 이러한 학문의 이론적, 실험실 기반 연구를 현실 세계와 관련이 있고 의미 있는 관찰과 사례에 근거하는 것의 가치를 강조하는 것이기도 합니다. 

Fortunately, some headway is being made toward improving rater-based assessment in medicine through the application of principles from cognitive psychology. While medicine provides a rich domain for such application, those principles are likely pertinent to any area of complex performance assessment. As such, we offer the following summary of the lessons learned by medical education from the application of cognitive psychology not because we assume readers of JARMAC care specifically about medical practice, but because the assessment of physicians offers a case study that can

  • (a) inform complex performance assessment in various contexts,
  • (b) provide guidance on unresolved challenges that would do well to be taken up by cognition, and
  • (c) offer insight into the challenges of doing that by highlighting the concessions that need to be made when trying to examine psychological processes in real-world environments with limited supplies of participants.

With respect to the latter issue, few and far between are the cases when one can have access to all the data one might desire. Participants in medical education are limited in number and expensive to recruit. As a result, sensibly studying these issues in these contexts requires a combination of reasoning from empirical data, theory, logic, triangulation, and parsimony. This simultaneously reinforces the value of having a core discipline like cognitive psychology on which to draw to understand applied phenomena and emphasizes the value of grounding theoretical, lab-based studies from such disciplines in observations and practices that are relevant in and meaningful to the real world.

의학교육과 심리학의 상호 작용에서 얻은 교훈
Lessons Derived from the Interplay Between Medical Education and Psychology

기본적으로 임상 환경에서 임상의의 성과에 대한 결정을 내리는 것은 여러 가지 속성을 고려해야 하는 다중 속성 선택 작업으로, 판단자는 매우 산만한 환경에서 불완전한 정보와 함께 항상 일치하지 않는 여러 측면의 역량을 고려해야 합니다. 즉, Simon(1956)이 제시한 만족satisficing의 개념에 따라 휴리스틱과 유사성 기반 추론에 의존하도록 유도하는 완벽한 레시피입니다. 평가자가 아무리 신중하고 성실하게 앞에 놓인 과제에 참여하려고 노력하더라도 합리적으로 추론하는 능력은 시간, 정신 능력 및 문제를 통제할 수 있는 정도에 의해 제한된다는 점에서 합리성은 불가피하게 "한계"를 가질 수밖에 없습니다(Gigerenzer & Selten, 2002). 
Fundamentally, making a decision about a clinician's performance in a clinical setting is a multi-attribute choice task, in which the judge has to consider many aspects of competence that do not always align, in a highly distracting environment, with incomplete information. In other words, it is a perfect recipe to induce reliance on heuristics and similarity-based reasoning as per Simon's (1956) notion of satisficing; regardless of how deliberately and conscientiously assessors strive to engage with the task before them, their rationality is inevitably “bounded” in that the capacity to reason rationally is limited by time, mental capacity, and the extent to which the problem can be controlled (Gigerenzer & Selten, 2002).

지난 섹션에서 시작했던 응급실에서 우는 아이의 시나리오와 관련하여 이러한 요소를 고려해 보세요. 그러나 이제 레지던트 앞에 놓인 임상 과제를 상상하는 대신, 레지던트의 성과를 관찰하고 문서화하며 개선을 촉진할 책임이 있는 감독 의사가 앞에 놓인 과제를 상상해 보십시오. 그녀는 환자의 치료를 궁극적으로 책임진다는 점에서 레지던트와 동일한 과제를 안고 있습니다(더 큰 시간 압박을 느낄 수도 있습니다). 그러나 레지던트가 해당 수련 단계의 레지던트에게 기대되는 모든 역량을 충족하고 있는지 여부도 고려해야 합니다. 보다 제약된(즉, 시뮬레이션된) 환경에서도 이 작업은 지각 능력, 주의력, 작업 기억에 상당한 스트레스를 주는 매우 까다로운 작업으로, 많은 정보를 사용할 수 있고 해석을 고려해야 한다는 단순한 사실 때문에(Byrne, Tweed, & Halligan, 2014), 지각 능력과 주의력, 작업 기억에 상당한 부담을 줍니다. 취급용이성tractability 측면에서 볼 때, 개별 임상의의 경험과 특이한 환자 시나리오가 상호 작용하여 행동을 결정하는 무수한 방식으로 인해, 임상의의 효과 판단을 [쉽게 통제할 수 있는 문제]로 의미 있게 취급하는 것은 불가능합니다. 
Consider these factors in relation to the scenario of a crying child in the emergency department that began the last section. Now, however, instead of imagining the clinical task put before the resident, imagine the task put before the supervising physician who is responsible for observing, documenting, and facilitating the improvement of the resident's performance. She has all the same challenges as the resident given that she is ultimately responsible for the patient's care (and may feel even greater time pressures). In addition, however, she also needs to consider whether the resident is meeting all of the competencies expected of someone at that level of training. Even in a more constrained (i.e., simulated) environment, this is an incredibly demanding task that places considerable stress on one's perceptual abilities, attentional capacity, and working memory (Byrne, Tweed, & Halligan, 2014) by virtue of the simple fact that there is a lot of information available and many interpretations to be weighed. In terms of tractability, the countless ways in which individual clinicians’ experiences and idiosyncratic patient scenarios interact to determine behaviour make it impossible to meaningfully treat the judgment of a clinician's effectiveness as an easily controlled problem.

따라서 평가자의 사고 과정에 대한 통찰력을 제공하기 위해 작성된 연구 논문에서 의학교육 연구자들이 평가자가 가용성 휴리스틱, 확증 편향, 프레이밍 효과 등에 매우 취약한 정보 처리 모델을 사용하여 평가자의 과제를 일상적으로 구성하도록 유도하는 것은 놀라운 일이 아닙니다(Gauthier, St-Onge, & Tavares, 2016). 이 섹션에서는 교육 설계자가 이러한 근본적인 인지 과정을 극복하기 위해 급류에 휩쓸리지 않고 이를 수용하려는 노력을 통해 수행 평가의 관행을 개선할 수 있는 방법에 대한 구체적인 통찰을 제공한 몇 가지 연구 사례를 소개합니다. 

As a result, it should come as no surprise that research articles written to offer insight into the thought processes of raters have led medical education researchers to routinely frame the rater's task using information processing models within which assessors are highly susceptible to availability heuristics, confirmation bias, framing effects, and so on (Gauthier, St-Onge, & Tavares, 2016). In this section we offer a few examples of research that has provided particular insights into how educational designers might improve the practice of performance assessment through efforts to accommodate such fundamental cognitive processes rather than swimming upstream with the goal of overcoming them.

평가에 인지를 맞추는 것이 아니라 인지에 평가를 맞추기
Matching Assessment to Cognition Rather than Cognition to Assessment

평가자 기반 평가를 제한적 합리성의 관점에서 생각하면 평가자 교육, 보다 포괄적인 평가 양식 개발, 객관성을 위한 노력 등을 통해 평가 관행을 개선하려는 노력이 왜 제한적인 이점을 가져올 수밖에 없는지(또는 아예 실패할 수밖에 없는지) 밝히는 데 도움이 됩니다. 우리는 다음과 같은 주장이 심리학의 기본 법칙에 가장 근접한 것이라고 생각합니다: 주의력은 유한하고, 지각은 기대의 영향을 받으며, 기억은 제한적이고, 판단은 상대적이다. 의학에서 성과 평가를 제공하기 위해 활용해야 하는 대규모 인구에서 이러한 원칙을 뒤집거나 극복하려는 것은 어리석은 일입니다. 의사 결정이 복잡할수록 이러한 법칙의 역할은 더욱 두드러질 것이며, 아무리 많은 평가자 교육을 받아도 다음의 사실은 변하지 않을 것입니다.

  • 의학 분야의 성과는 다면적이고
  • 역량은 다양한 방식으로 나타나며
  • 특정 행동의 근간이 되는 원동력에 대한 추론을 도출해야 한다 

[주의해야 할 행동의 목록을 더 객관적이고, 더 길고, 더 세밀하게 원자화하여 제시하는 것]은 위에서 언급한 심리 법칙을 그대로 두고 있을 뿐만 아니라, 주의력을 더 많이 분산시키고 기억을 압도하는 역효과를 초래할 수 있습니다.
Thinking of rater-based assessment in terms of bounded rationality helps shine light on why efforts to improve assessment practices through rater training, by developing more comprehensive rating forms, or by striving for objectivity are destined to produce limited benefits (or fail altogether). We consider the following claims to be as close as one can come to stating fundamental laws in psychology: Attention is finite, perception is influenced by expectations, memory is limited, and judgment is relative. Hoping to reverse or overcome such principles in the large population that must be drawn upon to provide performance assessment in medicine is a fool's task. The more complex the decision made the more prominent a role these laws will play, and no amount of rater training will change the fact

  • that performance in medicine is multifaceted,
  • that competence presents itself in many ways, and
  • that inferences regarding the driving forces underlying particular behaviours must be drawn.

Offering a more objective, longer, or more carefully atomized list of behaviours to watch for will not only leave the above-stated psychological laws untouched, but may be counterproductive by virtue of dividing attention and overwhelming memory to an even greater extent.

그렇다면 평가자의 인지에 대한 주의를 기울이는 것이 복잡한 성과 평가를 수행하는 능력을 향상시키는 데 어떻게 사용될 수 있는지 이해하는 데 있어 어떤 시사점을 얻을 수 있을까요? 인간 인지의 다른 영역에서와 마찬가지로, 성과 평가자에게도 타불라 라사가 존재하지 않는다는 점을 고려할 때, 이 영역의 혁신은 지각과 학습이 우리가 이미 알고 있는 것을 기반으로 구축된다는 점을 고려해야 합니다. 이러한 구성주의 모델을 효과적으로 적용하여 성과 평가를 개선하려면 해당 활동에 참여한 사람들의 생생한 경험을 고려해야 합니다. 즉, 평가자의 선입견과 일치하지 않는 세계관을 강요하기보다는, 평가자가 있는 곳에서 평가자를 만나면 평가 프로세스에 도움이 될 수 있습니다. 
Where does this leave us in terms of understanding how attention to raters’ cognition might be used to improve their capacity to provide complex performance assessments? Given that the tabula rasa does not exist for performance assessors any more than it does in other realms of human cognition, innovations in this domain must take into account that perceptions and learning are built upon what we already know. Effectively applying such a constructionist model to improve performance assessment demands that we consider the lived experience of those who have been involved in that activity. That is, our assessment processes stand to benefit if we meet assessors where they are rather than trying to force a worldview on them that is inconsistent with their preconceptions.

이를 위해 연구자들은 일련의 연구를 통해 수퍼바이저가 수련생 성과에 대한 인식의 핵심에 '신뢰성'이 있다는 설득력 있는 주장을 펼쳤다는 점에 주목할 필요가 있습니다(Hauer 외., 2015, ten Cate, 2006). 임상 수퍼바이저를 대상으로 열등, 평균, 우수 레지던트에게서 관찰한 특징에 대해 말하게 하기 위해 인터뷰를 진행한 긴스버그, 맥일로이, 울라노바, 에바, 레거(2010)는 언급된 많은 행동이나 활동이 공식적으로 확립된 역량 프레임워크와 상당히 잘 일치하지만, '역량'이라는 라벨을 붙이기는 어려운 요소의 영향이 강한 것으로 보인다는 결론을 내렸습니다. 예를 들어, 수퍼바이저들은 수련생이 독립성과 임상적 정교함을 보여준 정도와 수련생이 수퍼바이저의 업무를 더 쉽게 만든 정도에 대해 일상적으로 이야기했습니다. 또한, 각 행동의 해석이 다른 행동과의 관계에 어느 정도 영향을 받는다는 점을 고려할 때, 관찰된 긍정적 행동과 부정적 행동을 단순히 합산하는 것만으로는 능력에 대한 판단이 자연스럽게 도출되지 않음을 시사하는 미묘한 뉘앙스가 응답에 드러났습니다(Ginsburg, Regehr, Lingard, & Eva, 2015). 실제로 '강하다' 또는 '견고하다'와 같이 단순해 보이는 형용사가 어떻게 해석되는지는 표현되는 문맥에 따라 달라집니다(Ma, Min, Neville, & Eva, 2013). 
To this end, it is important to note that a series of studies have led researchers to make compelling claims that “entrustability” is at the heart of supervisors’ perceptions of trainee performance (Hauer et al., 2015, ten Cate, 2006). Interviewing clinical supervisors in an effort to get them to speak about the characteristics they observed in poor, average, or good medical residents led Ginsburg, McIlroy, Oulanova, Eva, and Regehr (2010) to conclude that, while a number of behaviours or activities that were mentioned aligned reasonably well with formally established competency frameworks, there appeared to be a strong influence of things that one would be hard pressed to force into a “competency” label. For example, supervisors spoke routinely of the extent to which the trainee demonstrated independence and clinical sophistication, as well as the degree to which the trainee made the supervisor's job easier. Further, their responses revealed a degree of nuance that suggested naturally generated judgments of ability did not derive simply from summing the positive and negative behaviours observed given that the interpretation of each behaviour was to some extent influenced by its relation to other behaviours (Ginsburg, Regehr, Lingard, & Eva, 2015). Indeed, how seemingly simple adjectives like “strong” or “solid” are interpreted is dependent on the context in which they are expressed (Ma, Min, Neville, & Eva, 2013).

이러한 관찰은 단순히 평가자 기반 평가가 오류 가능성이 있다는 또 다른 증거로 사용될 수 있지만, 특히 Crossley, Johnson, Booth, Wade(2011)는 보다 낙관적이고 발전적인 전망을 유지해야 하는 이유를 입증했습니다. 이들은 이 문헌을 사용하여 평가자가 고려하도록 요청받은 평가 척도를 교육생의 성과에 대한 인식을 나타낼 때 자연스럽게 생각하는 특성과 더 잘 일치시킴으로써 평가의 유용성을 개선할 수 있는지 여부에 대해 질문했습니다. 즉, 평가자에게 다른 구성 요소의 정의를 내면화하도록 요구하기보다는, 평가자가 중요하게 생각하는 구성 요소와 평가 척도를 일치시키기 위해 노력했습니다. 보다 구체적으로, 이들은 일련의 평가 척도에 제시된 형용사를 '기대 충족'과 같은 형식적이고 추상적인 역량 기반 서술어에서, 훈련생이 보여준 독립성과 정교함의 정도를 나타내는 구조에 부합하는 서술어로 수정했습니다. 이렇게 함으로써 여러 평가 전략에 걸쳐 신뢰도가 향상되었으며, 이러한 결과는 최근 프로그램 평가 영역에서도 재현되고 있습니다(Rusticus, Eva, & Peterson, 언론 발표). 물론 이러한 관찰은 의견의 특이성이 어디에서 비롯되는지에 대한 근본적인 의문을 여전히 남깁니다. 
While these observations could be used simply as another indication that rater-based assessment is fallible, Crossley, Johnson, Booth, and Wade (2011) in particular have demonstrated reasons to maintain a more optimistic and generative outlook. They used this literature to question whether or not the utility of ratings could be improved by better aligning the rating scales assessors were asked to consider with the characteristics they indicated naturally thinking about when indicating their perceptions of trainees’ performance. In other words, they made an effort to bring the rating scales in line with the constructs considered important to raters rather than asking raters to internalize the definitions of other constructs. More specifically, they modified the adjectives presented on a series of rating scales away from formal and abstract competency-based descriptors such as “meeting expectations” to construct-aligned descriptors that indicated the degree of independence and sophistication the trainee demonstrated. Doing so resulted, across a number of assessment strategies, in improved reliability, a finding that has recently been replicated in the realm of program evaluation (Rusticus, Eva, & Peterson, in press). These observations of course still leave alive the fundamental question of whence does idiosyncrasy of opinion derive?

과거 경험과 판단의 상대성이 평가자의 특이성을 만드는 방법
How Past Experience and the Relativity of Judgment Create Rater Idiosyncrasy

평가자가 자신의 평가에서 두드러진 특징이라고 주장하는 구조에 맞춰 평가 프로토콜을 구축하면 개선 효과가 있는 것처럼 보이지만, 평가자 간 신뢰도는 여전히 불완전합니다. 비디오로 녹화된 하나의 수행능력에에 주의를 기울였다고 주장하는 두 사람이 공연자가 환자와 눈을 마주치는 것과 같은 간단한 행동을 했는지 여부에 대해 근본적으로 다른 관점을 가질 수 있는 이유는 무엇일까요? 평가자의 특이성이 발생하는 다양한 메커니즘을 직접적으로 이해하기 위한 몇 안 되는 연구 중 하나인 Yeates 등(2013)은 평가자의 판단이 기본적인 인지적 힘과 개인의 이전 경험 간의 상호 작용에 의해 좌우된다는 것을 시사하는 데이터 패턴을 보고했습니다. 연구진은 후배 의사가 환자의 병력을 받는 임상 수행을 비디오로 녹화한 후, 평가자에게 각 의사의 역량에 대한 인상을 공식화하면서 큰 소리로 생각하도록 요청했습니다. 작성된 문장을 주제별로 분석한 결과, (이전 연구를 반복한) 평가의 다양성은 다음 때문에 발생하는 것으로 나타났습니다. 

  • (a) 평가자가 수행의 서로 다른 측면에 주목하고(차별적 중요도),
  • (b) 평가자가 수행을 판단하는 데 가장 중요한 기준에 대해 다른 인상을 가지고 있으며(기준 불확실성),
  • (c) 평가자가 이러한 독특한 관점을 사용하여 개인의 수행에 대한 전체적인 인상을 형성함(정보 통합) 

While building rating protocols to align with the constructs that assessors claim to be prominent in their assessments appears to offer improvement, inter-rater reliabilities remain imperfect. How is it possible that two people, who both claim and appear to be paying attention to a single video-recorded performance, come to fundamentally different perspectives on whether or not the performer did something as straightforward as making eye contact with the patient? In one of the few studies aimed directly at understanding the various mechanisms whereby rater idiosyncrasy arises, Yeates et al. (2013) reported patterns of data that suggest raters’ judgments are driven by the interaction between basic cognitive forces and personal previous experiences. Upon presenting video-recorded representations of clinical performances involving junior doctors taking a history from a patient, they asked assessors to think aloud as they formulated their impressions of each physician's competencies. Thematic analysis of the statements made suggested that the variability of ratings (which replicated previous work) arose due to

  • (a) assessors attending to different aspects of performance (differential salience),
  • (b) assessors having different impressions of the criteria that were most important for judging performance (criterion uncertainty), and
  • (c) assessors forming global impressions of the individual's performance using these unique perspectives (information integration).

즉, 평가자는 고려해야 할 성과에 대한 각 측면에 대해 쉽게 등급을 매기지만, 전체적인 인상은 관찰된 행동의 일부에 초점을 맞춘 독특한 관점에 의해 현저하게 좌우되는 것으로 보입니다. 중요한 것은 평가자의 다양한 인상을 좌우하는 관점의 특이성이 평가자와 그들이 관찰한 다른 수련의/의사 간의 이전 만남의 강도와 두드러짐의 차이에서 비롯되었다는 강력한 징후가 있었다는 점입니다. 이러한 결과를 종합하면, 관찰한 내용이 서로 다른 방식으로 의사의 성과에 대한 판단으로 변환되더라도 똑같이 정확할 수 있기 때문에 인상의 다양성이 반드시 일부 평가자의 '옳음'과 일부 평가자의 '틀림'에 기인한 것은 아니라는 점을 시사합니다(Gingerich et al., 2017).
In other words, while assessors readily provide ratings to each aspect of performance they are asked to consider, their overall impressions appear to be driven markedly by an idiosyncratically focused upon subset of the behaviours observed. Importantly, there were strong indications that the idiosyncrasies of perspective that drove raters’ variable impressions arose from differences in the strength and salience of previous encounters between the assessors and other trainees/physicians they had observed. Taken together, these findings suggest that the variability in impression was not necessarily driven by some raters being “right” and some being “wrong” because the observations made could be equally accurate even though they were translated into judgments of physician performance in different ways (Gingerich et al., 2017).

평가자는 일반적으로 다른 사람이 자신과 현저하게 다른 인상을 형성할 수 있다는 사실을 인식하지 못하기 때문에 복잡한 성과를 평가할 때 발생할 수 있는 측정의 어려움을 이해하기가 어렵습니다. 다시 말하지만, 이는 지식의 저주(타인이 우리와 동일한 배경 지식과 정보를 가지고 있다고 가정함으로써 파생되는 타인의 관점을 고려하는 데 내재된 어려움; Camerer, Loewenstein, & Weber, 1989)의 예를 제공하므로 광범위하게 적용할 수 있는 인지적 현상을 나타냅니다. 대부분의 임상의들은 (일화적으로) 관찰된 자극의 모호성 가능성을 인식할 수 있는 어떤 흔들림도 없이 어떤 훈련생이 문제가 될 가능성이 있는지 몇 분 안에 안다고 말할 것입니다. 이러한 맥락에서 판단이 필요한 영역에서 직관적 전문성을 발휘할 수 있는 조건으로 카네만과 클라인(2009)이 제시한 조건이 거의 충족되지 않는다는 점을 고려하면 이러한 인상이 착각일 수 있다는 점을 놓치기 쉽습니다. 직관적 판단이 진정으로 숙련되려면 다음과 같아야 한다고 주장합니다

  • 환경이 상황의 본질에 대해 적절하게 유효한 단서를 제공하고
  • 사람들이 관련 단서를 학습할 수 있는 기회를 가져야 한다

Assessors are not generally aware that others can form such markedly different impressions from the ones they possess, making it hard to understand the measurement difficulties that can arise when trying to assess complex performances. Again, this is indicative of a broadly applicable cognitive phenomenon as it offers an example of the curse of knowledge (the difficulty inherent in considering the perspective of others derived from presumptions they have the same background knowledge and information that we possess; Camerer, Loewenstein, & Weber, 1989). Most clinicians (anecdotally) will tell you that they know within minutes which trainees are likely to be problematic without any vacillation that would suggest recognition of the potential for ambiguity in the stimulus observed. It is easy in this context to miss that such impressions can be illusory given that the conditions outlined by Kahneman and Klein (2009) as enabling intuitive expertise in domains requiring judgment are rarely met. For intuitive judgment to be genuinely skilled, they argue,

  • the environment must provide adequately valid cues to the nature of the situation and
  • people must have the opportunity to learn the relevant cues.

규칙성이 너무 적은 복잡한 상황(예: 임상 교육 환경)에서는 첫 번째 요건을 위반하기 때문에 예측이 실패합니다. 임상의 평가자는 가장 눈에 띄는 단서가 가장 예측력이 높은 단서라기보다는, 자신의 개인적인 경험(예: 연습 방법 및 과거에 만났던 유사한 훈련생)과 가장 관련성이 높은 단서일 수 있다는 사실을 인식하지 못한 채 성과를 구별하는 데 도움이 되는 단서에 집중합니다. 
In complex situations in which there is too little regularity (e.g., clinical training environments), forecasting fails because the first requirement is violated. Clinician raters focus upon the cues that help them differentiate between performances without recognizing that the cues that are most noticed by them may be the ones that are most relevant to their personal experience (i.e., how they practice and similar trainees they have encountered in the past) rather than those that are most predictive.

자신의 결정의 정확성에 대한 피드백이 일상적으로 제공되지 않는 경우(예: 의학의 거의 모든 성과 평가 상황), 두 번째 요건도 위반됩니다. 평가는 관찰 대상자를 추적 관찰할 기회와 분리되는 경우가 많으며, 그렇지 않은 경우에도 임상의가 개별 학습자에 대한 인상을 통해 다른 인상을 가진 교육생과 다르게 상호작용하도록 유도함으로써 자기충족적 예언을 만들 수 있다는 것은 쉽게 상상할 수 있습니다(우리가 아는 한 문서화된 적은 없지만). 동시에, 인상이 바뀌는 경우 초기 인상이 잘못되었다고 결론 내리기보다는 관찰 대상자의 성장으로 인한 변화로 돌리는 것이 더 쉬울 수 있습니다.
When feedback regarding the accuracy of one's decision is not routinely available (e.g., nearly every performance assessment context in medicine), the second requirement is also violated. Assessments are often divorced from opportunities to follow up with the person being observed and, even when they are not, it is easy to imagine (although never documented to our knowledge) that clinicians’ impressions of individual learners would create self-fulfilling prophecies by leading them to interact differently with trainees about whom they have different impressions. At the same time, if one's impression does change it is likely easier to attribute such change to growth on the part of the person being observed rather than to conclude that one's initial impression was wrong.

예이츠와 그의 팀은 평가자에게 제시하는 순서를 조작(또는 기록)하는 일련의 연구를 통해 과거 경험이 현재 관찰 대상에 대한 인상에 미치는 영향을 실험적으로(그리고 관찰적으로) 확인했습니다. 대조 효과(자극 간의 차이를 지나치게 강조하는 현상; Stewart, Brown, & Chater, 2005)는 순차적으로 제시된 자극을 의도적으로 고려해야 하는 과제에서 발생하는 경향이 있다는 심리적 앵커링 문헌의 제안에 따라(Mussweiler, 2003, Tanner, 2008), 연구진은 동일한 수행을 관찰하기 전에 좋은 수행을 관찰했을 때보다 나쁜 수행을 관찰하기 전에 수행했을 때 응시자의 수행이 일상적으로 평균적으로 높게 평가되는 것을 발견했습니다. 이러한 패턴은 평가자가 신중하게 통제된 비디오에 부여한 평가(Yeates, O'Neill, Mann, & Eva, 2012), 실제의 고부담 평가 상황에서 부여된 평가를 조사한 연구(Yeates, Moreau, & Eva, 2015), 평가자가 수행을 관찰한 후 훈련생에게 제공하기로 선택한 내러티브 피드백(Yeates, Cardell, Byrne, & Eva, 2015)에서도 발견되었습니다. 이러한 판단의 상대성은 우리가 관찰 가능하고 잠재적으로 의미 있는 모든 정보를 고려하는 동시에 작업 기억에서 활성화되는 절대적 기준에 대한 정신적 접근(또는 보유 능력)의 한계로 인해 사용 가능한 정보의 일부에만 인상을 근거로 삼을 수밖에 없음을 시사합니다(Tavares & Eva, 2013).
Yeates and his team experimentally (and observationally) confirmed the influence of past experience on one's impressions of current observations across a series of studies in which they manipulated (or recorded) the order of presentation to raters. Consistent with the psychological anchoring literature's suggestion that contrast effects (an over-emphasis on differences between stimuli; Stewart, Brown, & Chater, 2005) tend to arise when tasks involve deliberate consideration of sequentially presented stimuli (Mussweiler, 2003, Tanner, 2008), they found that candidates’ performance was routinely rated higher on average when it was preceded by observation of a poor performance relative to when the same performance was preceded by observation of a good performance. This pattern was seen in the ratings assessors assigned to carefully controlled videos (Yeates, O’Neill, Mann, & Eva, 2012), in a study examining ratings assigned in a real life, high-stakes, assessment context (Yeates, Moreau, & Eva, 2015), and also in the narrative feedback assessors chose to provide to trainees after observing their performance (Yeates, Cardell, Byrne, & Eva, 2015). Such relativity of judgment suggests we are forced to base our impressions on only a sample of the information available due to limitations in our mental access to (or capacity to hold) absolute standards active in working memory while also considering all observable and potentially meaningful information (Tavares & Eva, 2013).

적은 것을 요구하여 더 많은 것을 얻기
Getting More by Asking for Less

평가자가 사용 가능한 정보의 일부에 크게 영향을 받는 작업 기억 제약에 대한 이러한 우려는 평가자에게 특정 시점에 더 적은 일을 요구함으로써 평가자의 특이성을 어느 정도 극복할 수 있다고 제안하는 Tavares의 실험 연구와 함께 고려할 때 더욱 강화됩니다. 그의 연구의 기본 설계는 평가자의 평가의 유용성이 어떻게 달라지는지를 확인하는 것이었습니다.

  • 평가자에게 표준 직장 기반 평가 과제(즉, 의료 전문가에게 기대되는 광범위한 역량을 반영하는 7개 차원에 대해 성과를 관찰하고 등급을 부여하는 과제)를 완료하도록 요청했을 때와
  • 평가자에게 7개 차원 중 2개만 포함된 수정된 버전의 동일한 평가 양식을 사용하여 동일한 성과를 검토하고 점수를 부여하도록 요청했을 때 

평가자가 작업 기억 과부하로 인해 부담을 느끼고 7가지 차원 버전에서는 주의가 너무 얇게 나뉜다는 가설을 세우고, (a) 두 그룹에 일관된 수행의 2개 차원에 해당하는 행동을 성공적으로 식별한 수를 고려하여 평가자 기반 평가의 유용성을 조사하고 (b) 해당 2개 차원에 할당된 점수의 평가자 간 신뢰도를 계산하여(Tavares and Eva, 2014, Tavares et al, 2016), (c) 평가자가 제공한 피드백의 양을 조사했습니다(Tavares et al., 2016). 
Such concerns about working memory constraints leading assessors to be heavily influenced by a subset of the information available become strengthened when considered in conjunction with experimental research conducted by Tavares that suggests rater idiosyncrasy can be overcome to some extent by asking them to do less at any given point in time. The basic design of his studies has been to determine what happens to the utility of assessors’ ratings

  • when they are asked to complete a standard workplace-based assessment task (i.e., observing a performance and assigning ratings to 7 dimensions that reflect the breadth of competencies expected of health professionals) compared to
  • when they are asked to review and score the same performance using a modified version of the same rating form that includes only 2 of the 7 dimensions.

Hypothesizing that raters are burdened by working memory overload and that their attention is divided too thinly in the 7 dimensional version, the utility of rater-based assessment has been examined by (a) considering the number of behaviours successfully identified that are specific to the 2 dimensions of performance consistent to both groups (Tavares & Eva, 2014), (b) calculating the inter-rater reliability of the scores assigned to those 2 dimensions (Tavares and Eva, 2014, Tavares et al., 2016), and (c) examining the amount of feedback provided by assessors (Tavares et al., 2016).

각각의 데이터는 평가자에게 관찰된 성과를 보다 포괄적으로 평가하도록 요청할 때 평가의 질이 저하되는 것을 시사했습니다. 또한, 과제 후 인터뷰의 주제별 분석에 따르면 평가자들은 적어도 사후에 평가 과제를 단순화하기 위한 조치를 취해야 한다는 사실을 인식하고 있었습니다(Tavares 외., 2016). 7가지 차원을 모두 평가해야 했던 평가자들은 의사의 행동과 관련된 모든 특징을 추적하는 것이 너무 어려웠기 때문에 일부 차원에 우선순위를 둠으로써 자발적으로 과제 요구 사항을 줄였다고 보고했습니다. 이 과정에서 평가자들은 "가장 쉬운", "부정적인" 또는 "가장 명백한" 항목에 집중했다고 주장합니다. 개별 평가자가 특정 행동에 일관되게 우선순위를 부여한다는 증거가 없기 때문에, 평가자가 스스로 판단하여 과제를 단순화하는 방법을 결정하도록 맡길 경우 해당 범주에 해당하는 차원 또는 행동은 평가를 수행하는 개인과 평가 대상자 간의 상호작용에 따라 달라지는 것으로 보입니다. 

In each case the data suggested a decline in the quality of assessments when assessors are asked to rate the performances observed more comprehensively. Further, thematic analysis of post-task interviews suggested that assessors were aware, at least after the fact, of taking steps to simplify the assigned rating task (Tavares et al., 2016). Those charged with assessing all seven dimensions reported feeling that they had spontaneously reduced the task demands by prioritizing a subset of the dimensions because they found it too difficult to track all relevant features of the physician's behaviour. In doing so, assessors claim to have focused on what they found “easiest,” “negative,” or “most obvious.” When left to their own devices to determine how to simplify the task before them, what dimensions or behaviours fit into those categories appears to be idiosyncratic to the interaction between the individual performing the assessment and the individual being assessed, as there has been no evidence that individual raters consistently prioritize particular behaviours.

이러한 발견은 다양한 역량의 개발과 평가를 장려하여 진료의 현대화를 위해 노력하는 의학교육자들에게 상당한 수수께끼를 안겨줍니다. 즉, 수행의 모든 중요한 측면을 한 시점에 개인이 평가할 수 없다는 사실을 인정하거나 평가의 질을 희생해야 한다는 것입니다. 즉, 평가 설계자는 평가자가 고려해야 할 사항을 제한함으로써 평가 프로세스의 유용성을 향상시킬 수 있지만, 역량 기반 의학교육이 극복하고자 했던 상황, 즉 지나치게 좁은 진료 범위에 대한 불균형적인 의존과 주의로 돌아갈 위험이 있습니다(Frank et al., 2015). 이러한 상충하는 힘의 조화는 모든 것을 평가해야 하지만 반드시 한꺼번에 평가할 필요는 없다는 생각에 있을 수 있습니다. 물론 평가 과제를 분산하면 실행 가능성에 대한 압박이 발생하지만, 최근 Tavares 등이 수행한 후속 연구에 따르면 평가자에게 6가지 역량 차원을 판단하도록 요청하는 것보다 각각 2가지 역량 차원을 평가하도록 요청받은 평가자의 판단을 합산하는 것이 평가의 신뢰도를 높이고 수행자에게 더 많은 피드백을 제공하는 것으로 나타났습니다. 

Such findings create a considerable puzzle for medical educators who strive to modernize practice by encouraging the development and assessment of varied competencies: either accept that not every important aspect of performance can be assessed by an individual at a point in time or sacrifice quality of the assessment. That is, while assessment designers can improve the utility of an assessment process by limiting what assessors are asked to consider, they risk doing so in a manner that returns to the situation that competency-based medical education was intended to overcome: unbalanced reliance on, and attention to, an overly narrow scope of practice (Frank et al., 2015). The reconciliation of these competing forces may lie in the idea that while everything needs to be assessed it need not necessarily be assessed all at once. Spreading out an assessment task of course creates feasibility pressures, but recent follow-up work conducted by Tavares et al. has indicated that, relative to asking assessors to judge 6 dimensions of competence, aggregating the judgments of raters who are each asked to evaluate two dimensions of competence increased the reliability of the ratings and resulted in more feedback to the performer.

군중의 지혜 활용하기
Taking Advantage of the Wisdom of Crowds

그렇다고 해서 성과 판단에 대한 책임을 분담한다고 해서 분담 규모에 비례하여 리소스의 필요성이 반드시 증가한다고 가정할 필요는 없을 것입니다. 작업을 더 단순하게 만들면 더 짧은 시간에 의미 있는 성과에 대한 인상을 형성할 수 있습니다. 지금까지 논의한 문헌과 일관되게, 직무 또는 교육 프로그램 면접에서 성과 평가를 조사한 연구에 따르면 성과에 대한 포괄적인 인상을 주기 위해 더 많은 시간을 투자하는 것은 환상에 불과하다고 합니다. Ambady 등은 면접에서 지원자의 성과를 판단해 달라는 요청을 받은 평가자가 몇 분 안에 대부분 인상을 형성한 다음, 대부분의 경우 지원자가 인상 관리 전략을 성공적으로 사용할 수 있는 더 큰 기회를 놓칠 위험을 감수하면서 면접의 나머지 시간을 초기 인상을 강화하는 데 보낸다고 보고합니다(Ambady and Rosenthal, 1992, Ambady 등, 2000, Ellis 등, 2002). Wood, Chan, Humphrey-Murto, Pugh, Touchie(2017)는 임상 수행 환경에서 평가자가 관찰 후 1분 이내에 형성하는 판단이 수행이 완료된 후 수집된 최종 평가를 강력하게 예측한다는 사실을 유사하게 보여주었습니다. 관찰에서 수집된 정보의 양보다 수행 평가의 신뢰성에 훨씬 더 중요한 것은 정보를 수집하는 관찰 횟수입니다. 일련의 짧은 만남에 대한 평가는 일반적으로 한 번의 만남에 장기간 노출되는 것보다 더 높은 신뢰성을 제공합니다(Axelson & Kreiter, 2009). 이는 필기 평가와 임상 수행 평가 모두에서 강력하게 입증되었으며, 샘플링은 오랜 시간 동안 평가 형식 전반에 걸쳐 주요 일관성을 유지하는 것으로 확인되었습니다(Eva, 2009). 
That said, it perhaps need not be assumed that divvying up responsibility for judging performance necessarily increases resource needs proportionate to the amount of division. If the task is made simpler, then one can potentially form a meaningful impression of performance in less time. Consistent with the literature discussed to this point, studies examining performance assessment in job or training program interviews suggest that the value of spending more time striving to generate a comprehensive impression of performance is illusory. Ambady and others report that assessors who are asked to judge the performance of job candidates during an interview have largely formed their impression within minutes and then, for the most part, spend the rest of the interview reinforcing that initial impression at the risk that candidates find greater opportunity to successfully engage impression management strategies (Ambady and Rosenthal, 1992, Ambady et al., 2000, Ellis et al., 2002). Wood, Chan, Humphrey-Murto, Pugh, and Touchie (2017) have similarly shown that in clinical performance settings, the judgments that assessors form within the first minute of observation are strongly predictive of their final rating collected after the performance is complete. Much more important to the reliability of a performance assessment than the amount of information collected from an observation is the number of observations from which information is collected. Assessment of a series of brief encounters generally offers greater reliability than prolonged exposure to a single encounter (Axelson & Kreiter, 2009). This has been demonstrated both in written assessments and clinical performance assessments so robustly that sampling has been identified as the main consistency across assessment formats that have stood the test of time (Eva, 2009).


학생 선발 문헌을 예로 들면, 지원자에 대한 짧은 노출을 많이 활용하는 혁신적인 면접 형식에 대한 10년 반의 연구를 통해 시험-재시험 신뢰도가 기존 면접 전략의 두 배에 달하고(Eva 외, 2009), 면접이 실시된 후 최대 4년까지 수행 결과를 예측할 수 있는 강력한 역량을 확보한 것으로 나타났습니다(Eva 외, 2009, Eva 외, 2012c, Reiter 외, 2007). 다중 미니 인터뷰(MMI)라고 불리는 이 형식은 지원자가 여러 면접관과의 긴 패널식 인터뷰에 참여하는 대신 단일 면접관과의 짧은(5~8분) 인터뷰 시리즈(n = 8~12)를 돌아가며 진행하도록 하는 사실상 '벨 러너(bell ringer)'입니다(Eva, Rosenfeld, Reiter, & Norman, 2004). 중요한 점은 이러한 연구에서 데이터를 제공한 평가자들이 특정 분야에 대해 고도로 훈련된 전통적인 의미의 '전문가'가 아니었다는 점입니다. 의대 지원자를 평가해 달라는 요청을 받은 사람들 중에는 의사가 포함되어 있었지만, 의대와 관련이 없는 의대생과 지역사회 구성원도 포함되었습니다. 사실, 의사가 환자 인구의 대부분을 차지하는 일반인과 얼마나 효과적으로 소통하는지를 판단하는 데는 의사보다 일반인이 더 나은 참고 집단이라는 점에서 이 맥락에서 어떤 형태의 '전문성expertise'이 특히 가치가 있는지는 명확하지 않습니다. 

Using the student selection literature as an example, a decade and a half of work on an innovative interview format that relies on many short exposures to candidates has revealed test–retest reliabilities double that of traditional interview strategies (Eva et al., 2009) and yielded stronger capacity to predict performance outcomes up to four years after the interviews take place (Eva et al., 2009, Eva et al., 2012c, Reiter et al., 2007). The format, called a Multiple Mini-Interview (MMI) is effectively a “bell ringer” in which applicants are asked to rotate through a series (n = 8–12) of brief (5–8 min) interviews with single examiners rather than participating in a long panel-style interview with multiple interviewers (Eva, Rosenfeld, Reiter, & Norman, 2004). Importantly, the raters who provided the data in these studies were not “experts” in the traditional sense of being highly trained in a particular area. Those asked to judge candidates to medical school included physicians, but they also included medical students and community members with no affiliation to the medical school. In fact, what form of “expertise” is particularly valuable in this context is not clear because arguably laypeople are a better reference group than physicians to determine how effectively physicians communicate with the laypeople who constitute the majority of the patient population.

어떤 경우에는 전문성이 도움이 될 수 있으며, 후보자 간에 일관된 초점이 유지되도록 면접을 신중하게 구조화함으로써 얻을 수 있는 유용성이 있는 것으로 보이지만(Axelson, Kreiter, Ferguson, Solow, & Huebner, 2010), 최근 발표된 실험 비교에 따르면 MMI 프로세스를 수행함으로써 얻을 수 있는 이점의 대부분은 여러 맥락에서 여러 평가자의 인상을 샘플링함으로써 생성되는 것으로 나타났습니다(Eva & Macala, 2014). 수로비에츠키(2004)의 저서 '군중의 지혜'에서 널리 알려진 이 원칙은 다음이 증가함에 따라 주관성의 가치가 증가한다는 것으로 요약할 수 있습니다. 

  • (a) 수집된 관찰의 수,
  • (b) 관찰의 독립성,
  • (c) 평가가 생성되는 관점의 다양성,
  • (d) 평가가 이루어지는 근거의 탈중앙화(즉, 평가자가 특정 알고리즘을 적용하여 판단하도록 장려하는 것이 아니라 자신의 경험과 전문성을 바탕으로 자신의 인상을 형성하도록 맡김)

Expertise might be beneficial in some instances, and there appears to be some utility derived from carefully structuring interviews such that a consistent focus is maintained across candidates (Axelson, Kreiter, Ferguson, Solow, & Huebner, 2010), but recently published experimental comparisons have indicated that the bulk of the benefit gained from undertaking the MMI process is generated by sampling the impressions of multiple assessors in multiple contexts (Eva & Macala, 2014). The principle, popularized in Surowiecki's (2004) book, The Wisdom of Crowds, is summarized by that author as the value of subjectivity increasing with

  • (a) the number of observations collected,
  • (b) the independence of those observations,
  • (c) the diversity of perspectives from which the assessments are generated, and
  • (d) decentralization of the basis from which the assessment is made (i.e., leaving the assessors to form their own impressions based on their experience and expertise rather than encouraging them to apply a particular algorithm to form their judgment).


의학의 많은 평가 상황에서 다양한 사람들을 많이 접할 수 없는 현실을 고려할 때, 크라우드 소싱의 이점이 다양한 사람들이 자신의 인상을 제공하는 것에 전적으로 의존하지 않는다는 증거가 있다는 사실을 아는 것은 매우 중요합니다. 오히려 개인이 여러 차례 독립적으로 관찰하는 동안 성능 평가를 제공함으로써 '군중의 지혜'가 생성될 수 있습니다. 벌과 파슬러(2008)는 개인의 판단이 그들이 인식하는 확률 분포의 표본을 나타낼 수 있으며, 이를 통해 한 개인의 여러 표본이 다양한 사람들의 관점에서 표본을 추출하는 것과 동일한 많은 이점을 복제할 수 있다고 제안합니다. 연구진은 일반 지식 질문을 사용하여 추측 사이에 지연이 개입되었는지 여부에 관계없이 여러 추측의 평균이 개별 추정치보다 더 정확하다는 사실을 발견했습니다. 마찬가지로 튜토리얼 기반 평가 관행과 관련된 신뢰도 지표에 좌절감을 느낀 저희는 앞서 언급한 노력과는 정반대로, 맥락과 관련된 성능의 측면을 의도적으로 많이 나열하여 "평가 척도를 개선"하려는 노력을 기울였습니다(Eva et al., 2007). 문헌의 여러 보고서에서는 튜토리얼 기반 평가자에게 더 많은 질문을 함으로써 평가 척도의 내적 일관성을 개선할 수 있다고 제안했습니다(Hebert and Bravo, 1996, Ladouceur et al., 2004). 안타깝게도 시험-재시험 신뢰도는 개선되지 않았으며, 이는 이러한 노력이 기껏해야 한 시점에만 학생의 성과에 대한 유효한 인상을 생성하는 반면 응답 부담은 더 커졌음을 시사합니다. 한 학기에 한두 번만 양식을 작성하면 평가자가 학기 말의 평가가 학생의 평균 성적을 반드시 대표하지 않는 최근 또는 특히 두드러진 관찰에 의해 주로 좌우될 가능성이 높다는 점에서 가용성 편향(Tversky & Kahneman, 1973)에 매우 취약해집니다. 기억력의 한계를 극복하기 위해 설문지를 길게 작성하는 대신 3개 문항으로만 단축하고(그룹 과정에 대한 기여도, 그룹 내용에 대한 기여도, 전문적 행동),  7개 과목의 튜터에게 각 튜터링이 끝난 후 학생을 위해 양식을 작성하도록 요청했습니다(Eva et al., 2007). 튜터의 직관과 달리 튜토리얼마다 부여된 평가는 매우 다양했으며, 이는 성과(또는 적어도 평가자의 성과에 대한 인상)가 우리가 일반적으로 인식하는 것처럼 관찰할 때마다 일관적이지 않다는 것을 나타냅니다. 그러나 각 튜토리얼에 부여된 등급을 집계한 결과, 테스트-재테스트 신뢰도가 완벽에 가까워짐에 따라 관찰된 성능을 정의하는 데 사용되는 점수가 안정화되었습니다. 즉, 메모리는 제한되어 있지만 평가자의 성과 평가를 보다 체계적으로 수집하려는 의도가 있다면 메모리에 의존할 필요가 없습니다. 한 시점에(즉, 지체 없이) 여러 개의 추정치를 취하면 오류가 줄어든다는 벌과 파슬러의 발견은 평가자에게 관찰된 각 수행 후에 특정 능력에 대한 여러 개의 추정치를 제공하도록 요청하는 또 다른 방법을 시사합니다. 

Given the practical reality that many assessment contexts in medicine do not allow access to a large number of varied people, it becomes valuable to know that evidence suggests that the benefits of crowd sourcing are not fully dependent on many different people providing their impressions. Rather, there may be a “wisdom of the crowd within” that can be generated by having individuals offer performance ratings during multiple independent occasions of observation. Vul and Pashler (2008) suggest that an individual's judgments may represent a sample of the probability distribution they perceive, which would enable multiple samples from within an individual to replicate many of the same benefits as sampling across the perspectives of various people. They found, using general knowledge questions, that the average of multiple guesses was more accurate than individual estimates whether or not a delay intervened between guesses. Similarly, frustrated by reliability metrics associated with tutorial-based assessment practices, we took a tack opposite to the efforts alluded to earlier that strive to “improve the rating scales” by deliberately listing as many aspects of performance as are relevant to the context (Eva et al., 2007). Multiple reports in the literature suggested that one could improve the internal consistency of rating scales by asking tutorial-based assessors a larger number of questions (Hebert and Bravo, 1996, Ladouceur et al., 2004). Unfortunately, test–retest reliability did not improve, suggesting that at best the effort generated a valid impression of student performance at only one point in time while resulting in greater response burden. Filling out the form only once or twice a term leaves raters highly susceptible to availability bias (Tversky & Kahneman, 1973) in that their ratings at the end of a term are likely to be predominantly driven by recent or particularly salient observations, neither of which are necessarily representative of the student's average performance. To try to overcome the limitations of memory, rather than lengthening the questionnaire, we shortened it to only 3 questions (contribution to group process, contribution to group content, and professional behaviour) and asked tutors in seven distinct courses to complete the form for their students after each tutorial (Eva et al., 2007). Contrary to tutors’ intuitions, the ratings assigned from one tutorial to the next were highly variable, indicating that performance (or at least assessors’ impressions of performance) was not as consistent from one observation to the next as we commonly perceive. However, aggregating across the ratings assigned to each tutorial resulted in stabilization of the scores used to define the performance observed as the test–retest reliability approached perfection. In other words, while memory is limited, we need not rely on it if we are deliberate about gathering raters’ assessments of performance more systematically. Vul and Pashler's finding that multiple estimates taken at a single time point (i.e., without delay) resulted in error reduction implies another way forward by asking raters to offer multiple estimates of a particular ability after each observed performance.

요약 및 지속적인 요구 사항
Summary and Ongoing Needs

복잡한 성과를 평가하기 위한 평가자 기반 평가 관행을 개발하려는 노력에서 나온 많은 문헌의 주제를 가장 일반적으로 표현하면, 평가자는 인간이라는 사실에 의해 방해를 받는다는 것입니다. 인간의 인지 능력은 여러 가지 면에서 제한적입니다.

  • 유한한 주의력,
  • 불완전한 정보로 자동적이고 빠르게 인상을 형성하는 경향,
  • 모든 관찰을 기억에 완벽하게 기록하지 못하는 점 등 

이러한 요인들은 단순히 다르게 생각하라고 말하는 것만으로는 바꿀 수 없는 방식으로 성과 평가에 영향을 미칩니다. 다행히도 효과적인 수행을 정의하는 광범위한 역량을 평가하려면 판단력이 필요하다는 점을 고려할 때, 평가자의 인지를 탐구하려는 최근의 노력(예: Gauthier 외, 2016, Gingerich 외, 2014)은 우리의 한계로 인해 발생하는 문제를 더 잘 인식한다면 우리의 단점을 수용하는 방식으로 평가 프로토콜을 설계하고 그 단점에 맞서 싸우지 않고 자연스러운 사고 방식을 활용할 수 있음을 시사합니다. 이 백서에 소개된 다양한 사례를 통해 주관적인 인상 형성을 통해 수집된 데이터의 유용성을 향상시킬 수 있는 방법을 설명했습니다. 이를 무술의 아이키 원리에 비유하자면, 상대방에게 직접적으로 대항하여 상당한 힘이나 노력을 기울이기보다는 상대방의 기세를 이용하여 상대방의 힘을 무력화하거나 방향을 전환하는 것입니다. 다시 말해, 우리는 적을 보았고, 그 적은 바로 우리 자신입니다.
Expressed most generally, the theme of much of the literature that has emerged from efforts to develop rater-based assessment practices for the evaluation of complex performances is that raters are hindered by the fact they are human. Human cognition is limited in many ways,

  • from our finite attentional capacity,
  • through our tendency to form impressions automatically and rapidly with incomplete information,
  • to an inability to retain a complete record of all observations in memory.

These factors influence performance assessment in ways that cannot be changed by simply telling people to think differently. Fortunately, given that assessing the breadth of competencies that define effective practice requires judgment, more recent efforts to explore rater cognition (e.g., Gauthier et al., 2016, Gingerich et al., 2014) suggest that if we are more aware of the challenges our limitations create, we can design assessment protocols in ways that accommodate our shortcomings and take advantage of our natural ways of thinking rather than fighting against them. In the variety of examples outlined in this paper we have illustrated ways in which doing so has improved the utility of data collected through subjective impression formation. We liken this to the martial arts principle of Aiki, which amounts to negating or redirecting the power of one's opponent by taking advantage of his momentum rather than exerting considerable force or effort by trying to directly oppose it. In other words, we have seen the enemy and it is us.

이러한 문헌의 증가에 따라 Crossley와 Jolly(2012)는 의학교육 분야에서 "올바른 사람에 대해 올바른 방식으로 올바른 질문을 하는 것"을 목표로 평가자 기반 평가에 대해 생각해 보도록 설득력 있게 도전했습니다. 아이키를 그 방법에 대한 은유로 사용하게 된 연구를 고려할 때, 우리는 어디에 서 있으며 인지 심리학은 이러한 각 요구와 관련하여 무엇을 더 제공할 수 있을까요?
As a result of this growing literature, Crossley and Jolly (2012) eloquently challenged the field of medical education to think about rater-based assessment with the goal to “ask the right questions, in the right way, about the right things, of the right people.” Given the research that prompted the use of Aiki as a metaphor for how to do so, where do we stand and what more can cognitive psychology provide with respect to each of these demands?

올바른 질문하기 ...
Ask the Right Questions …

인지적 한계로 인해 더 많은 질문을 할 때 내적 일관성을 보장하는 후광 효과와 혼 효과가 발생하기 때문에 점점 더 많은 수의 질문을 더 자세히 묻는 것은 평가 관행이 개선되었다는 착각만 불러일으킵니다(Eva 외., 2007). 이는 의료 전문가가 유지해야 하는 다양한 역량에 대한 변별력 있는 지침을 제공하려는 시도를 저해하는 요인으로 작용합니다(Lurie et al., 2009). 반대로, 평가 프로토콜을 성과 평가자가 성과 품질을 정의할 때 강조하는 구성에 맞게 조정하면 현재 관찰과 평가자가 상대적 판단을 내리는 경험의 토대 사이에 더 나은 일치를 만들어 평가의 유용성을 개선하는 데 도움이 됩니다(Crossley et al., 2011). 
Asking increasing numbers of questions in increasing detail creates only the illusion of improved assessment practices because cognitive limitations lead to halo and horn effects that ensure greater internal consistency when larger numbers of questions are asked (Eva et al., 2007). That acts to the detriment of attempts to offer discriminating guidance regarding the diverse competencies health professionals are expected to maintain (Lurie et al., 2009). In contrast, tailoring assessment protocols to the constructs of performance raters themselves highlight as defining performance quality helps improve the utility of the ratings by creating better alignment between current observations and the foundation of experience against which raters make relative judgments (Crossley et al., 2011).

가장 엄격한 평가 프로토콜에서도 불가피하게 가변적 인상이 발생할 때 이를 어떻게 처리해야 하는지는 아직 이해되지 않았습니다. 다양한 연구에 따르면 평가의 특이성은 평가자가 자신의 경험을 통해 수행의 특이적인 측면에 초점을 맞추도록 유도하기 때문에 발생한다는 사실이 밝혀졌다고 해서(Kogan 외., 2010), 점수의 변동에 기여한 사람이나 모든 사람이 틀렸다고 단정할 수는 없습니다(Gingerich, Regehr, & Eva, 2011). 학습자(즉, 우리 모두)는 부정적인 피드백을 무시하는 경향이 있지만(Eva 외., 2012a, Harrison 외., 2013), 관찰자마다 다른 인상을 형성했다고 해서 평가 정보를 무시하는 것은 너무 안일한 대응입니다. 임상의의 일반적인 경향을 의미 있게 표현하기 위해 많은 노력이 필요하다는 사실은 모든 삶의 영역에서와 마찬가지로, 의학에서도 특정 성과에 대한 다양한 관점을 가진 사람들을 계속 만나게 될 것임을 나타냅니다. 따라서 우리는 평가자와 평가 대상자 모두가 이러한 다양성과 씨름하는 방식을 더 잘 이해하여 평가의 정보적 가치를 반사적으로 디스카운트하지 않고 최적화할 수 있는 방법이 있는지 판단할 필요가 있습니다. 결국, 마음에 들지 않는 평가를 받으면 일부 사람들이 그러한 인상을 형성하는 것에 만족할지, 아니면 다른 '이상치'가 동일한 인상을 형성할 위험을 최소화하기 위해 어떤 식으로든 행동을 바꿔야 할지 결정해야 할 책임이 우리에게 있습니다.
Not yet understood is what to do with variable impressions when they inevitably arise, even in the most rigorous of assessment protocols. The fact that various studies have shown idiosyncrasy of assessment arises because assessors are prompted, through their own experiences (Kogan et al., 2010), to focus upon idiosyncratic aspects of performance (Yeates et al., 2013), does not necessitate that anyone or everyone who contributed to the variability in scores was wrong (Gingerich, Regehr, & Eva, 2011). While learners (i.e., all of us) have a tendency to discount feedback that is negative (Eva et al., 2012a, Harrison et al., 2013), ignoring assessment information just because different observers formed different impressions is too glib a response. The fact that so much effort is required to generate a meaningful representation of a clinician's general tendencies indicates that we will continue in medicine, as in all walks of life, to encounter people with variable perspectives on the strengths of any given performance. As such, we need to better understand how raters and ratees alike grapple with such variability to determine if there are ways to optimize the informational value of assessments rather than reflexively discounting them. When we receive an assessment that is less than comfortable, after all, the onus lies upon us to determine if we are content for some people to form that impression or if we need to change our behaviour in some way to minimize the risk of other “outliers” forming the same impression.

올바른 방법으로...
… in the Right Way …

평가자에게 현실을 표현하기 위해 질문에 숫자를 할당하도록 요청하는 것은 모든 목적에 충분하지 않은 정확성에 대한 환상만 불러일으킵니다(Regehr et al., 2012). 이는 품질 보증 요구(게이트키핑 역할)를 충족하는 것 외에도 질적 개선(평가의 정보적 가치를 활용하여 전문성 개발을 지속하는 것)을 위해 평가 관행을 사용하려는 시도를 저해하는 요인으로 작용합니다. 이와는 대조적으로, 심리학 및 의학교육 분야에서 평가 관행이 학습의 측정으로만 작용하기보다는 학습을 가능하게 할 수 있다는 연구가 급증하고 있지만(Roediger and Butler, 2011, Schuwirth and van der Vleuten, 2011), 보건 전문가에게 기대되는 광범위한 역량을 고려할 때, 의사소통 기술에서 4.3점을 받았다는 말만으로는 개선 방법에 대한 충분한 지침을 제공하지 못합니다. 이 원고 전체에 걸쳐 설명된 평가 프로토콜의 목적은 암묵적으로 측정 속성을 개선할 수 있는 방식으로 데이터를 수집하는 데 중점을 두었습니다. 성과 개선이 최우선 과제인 순간에는 수집된 평가의 심리측정 특성을 높이는 것이 그 목적을 달성하는 수단이 아닐 수 있습니다.
Asking raters to assign numbers to questions as a representation of reality creates only the illusion of precision that will not be sufficient for all purposes (Regehr et al., 2012). That acts to the detriment of attempts to use assessment practices for the sake of quality improvement (taking advantage of assessment's informational value to continue one's professional development) in addition to fulfilling quality assurance needs (their gatekeeping role). In contrast, while there is a burgeoning industry of research in both psychology and medical education indicating that assessment practices can enable learning rather than acting purely as measurement of learning (Roediger and Butler, 2011, Schuwirth and van der Vleuten, 2011), for the breadth of competencies expected of health professionals, being told that one achieved a rating of 4.3 for communication skills does not provide sufficient guidance regarding how to improve. Throughout this manuscript the purpose of the assessment protocols described has implicitly been focused on gathering data in ways that might improve their measurement properties. In moments when performance improvement is one's priority, increases in the psychometric properties of the ratings collected may not be the means through which that end is achieved.

복잡한 행동과 역량을 평가로 적절히 추출할 수 있다고 믿기보다는 내러티브나 다른 형태의 평가를 고려함으로써 더 많은 것을 얻을 수 있는 정도는 아직 이해되지 않았습니다. 한 영역에서 숙련되지 않은 사람들은 자신이 숙련되지 않았다는 사실을 인식하지 못할 것이며, 더 큰 문제는 숙련되기 위해 무엇을 해야 하는지 판단할 수 있는 능력이 부족할 것이라고 믿을 만한 충분한 이유가 있습니다(Kruger & Dunning, 1999). 여기에 설명된 모든 동일한 문제(의견의 다양성 등)가 수치적 피드백에 영향을 미치는 것만큼이나 서술형 피드백에도 쉽게 영향을 미칠 수 있고, 서술형 피드백에는 더 많은 리소스가 필요하다는 추가적인 문제가 있음에도 불구하고, 서술형 평가 형식이 이러한 수행의 복잡성을 적절히 포착하고 보다 건설적인 지침을 제공할 수 있는지 여부를 결정하기 위한 노력이 진행 중입니다. 평가자가 특정 의견을 할당하도록 유도하는 요인과 그러한 의견의 해석에 영향을 미치는 요인은 정성적 평가 데이터와 정량적 평가 데이터가 서로 함께 제시될 때 상호 작용의 영향과 마찬가지로 더 자세히 살펴볼 필요가 있습니다(Eva, Regehr, & Gruppen, 2012). 
Not yet understood is the extent to which more might be gained by considering narrative or other forms of assessment rather than trusting that complex behaviours and competence can be adequately distilled into ratings. There is good reason to believe that those who are unskilled in a domain will be unaware that they are unskilled and, more problematically, will be poorly positioned to determine what to do to become skilled (Kruger & Dunning, 1999). Efforts are underway to determine whether or not narrative forms of assessment can adequately capture that complexity of performance and provide more constructive guidance despite the fact that all the same challenges outlined here (variability of opinion, etc.) will impact narrative feedback as readily as they impact numerical feedback and that narrative has the added challenge of being more resource intensive. What prompts raters to assign particular comments and what factors influence interpretation of such comments needs to be further explored, as does the influence of the interplay between qualitative and quantitative assessment data when presented in conjunction with one another (Eva, Regehr, & Gruppen, 2012).

... 올바른 것들에 대해 ...
… About the Right Things …

평가자에게 특정 수행의 맥락에서 고려해야 할 중요하고 관련성이 있는 모든 역량을 파악하도록 요청하는 것은 주의력이 유한하고 모든 것을 하려고 하면 제대로 된 것이 없기 때문에 평가 관행이 개선되었다는 환상만 불러일으킵니다(Tavares & Eva, 2013). 이는 현대 의료 전문가에게 기대되는 많은 역할을 신뢰성 있게 반영하는 교육 및 품질 보증 시스템을 활성화하려는 노력에 해를 끼칩니다(Frank et al., 2015). 반면, 평가자가 의도적이고 전향적으로 성과 차원의 하위 집합에 우선순위를 두도록 하면 관련 행동을 식별하는 속도가 빨라지고 평가자 간 신뢰도가 높아지며 수행자에 대한 차원별 피드백이 더 많이 생성됩니다(Tavares et al., 2016).
Asking raters to capture the entire breadth of competencies that might be relevant and important to consider in the context of any given performance creates only the illusion of improved assessment practices because attention is finite and trying to do everything results in nothing being done well (Tavares & Eva, 2013). That acts to the detriment of efforts to enable a system of education and quality assurance that credibly reflects the many roles expected to be played of modern day health professionals (Frank et al., 2015). In contrast, having raters deliberately and prospectively prioritize attending to a subset of performance dimensions increases the rate at which relevant behaviours are identified, raises inter-rater reliability, and generates more dimension-specific feedback for performers (Tavares et al., 2016).

이러한 관찰로 인해 발생하는 타당성 문제를 극복하는 가장 좋은 방법은 아직 이해되지 않았습니다. 특정 평가 순간에 평가자의 집중력을 의도적으로 좁힌다고 해서 수행의 모든 측면을 고려해야 할 책임이 사라지는 것은 아닙니다. 많은 의료 교육 환경에서 소수의 임상 프리셉터와만 상호 작용할 수 있기 때문에 평가자를 추가하거나 관찰되는 환자 수를 늘리는 것이 항상 가능한 것은 아닙니다. 또한, 시간적 여유가 있는 프리셉터도 작업장 기반 평가를 의미 있게 만드는 데 필요한 직접 관찰 및 피드백 세션을 수행하는 데 우선순위를 정하기 어려운 경우가 많습니다. 여러 평가자를 참여시키기 위해 비디오 기반 성과 검토가 필요한지, 새로운 방식으로 평가 프로토콜을 운영하면 '군중 내 평가자의 지혜'를 활용할 수 있는지, 아니면 이러한 상황에서 평가자가 함께 일하는 수련의에 대한 첫인상을 극복할 수 없게 만드는 동화 효과가 이러한 노력을 방해하는지 여부는 아직 결정되지 않았습니다. 즉, 좁혀진 판단의 초점이 긍정적인 효과를 발휘할 수 있는 한계와 조건에 대해 더 잘 이해할 필요가 있습니다. 

Not yet understood is the best way to overcome the feasibility problems that these observations create. Deliberately narrowing assessors’ focus during particular assessment moments does not remove the onus of considering all dimensions of performance. Adding raters or increasing the number of patient encounters observed are not always options because many medical training environments allow interactions with only a few clinical preceptors. Further, those who are available often find it difficult to prioritize time to conduct the direct observations and feedback sessions required to make workplace-based assessment meaningful. Whether video-based review of performance is necessary to get multiple raters involved, whether operationalizing assessment protocols in novel ways allows one to take advantage of the “within rater wisdom of crowds,” or whether assimilation effects plague such efforts by making it impossible for raters in this context to overcome their initial impressions of trainees with whom they work remains to be determined. In other words, we need to better understand the limitations and conditions that allow narrowed focus of judgment to have positive effect.

... 적합한 인재의 평가
… of the Right People

특정 영역에 대한 전문성 수준에 관계없이 개인에게 훈련생의 수행 능력에 대한 의견을 제시하도록 요청하는 것은 해당 훈련생의 근본적인 성격이나 능력에 대해 알고 있다는 착각만 불러일으킵니다(Harasym 외., 1996). 이는 행동과 행동에 대한 인식이 현재 관찰과 이전 경험 간의 유사성을 비롯한 다양한 맥락적 요인에 의해 영향을 받는다는 점을 인식하는 데 방해가 됩니다(Norman & Brooks, 1997). 반대로 평가 프로토콜은 가능한 한 다양한 평가자 그룹에서 독립적으로 생성된 많은 인상을 우선적으로 취합하도록 설계되어야 합니다(Surowiecki, 2004). 

Asking an individual, any individual, regardless of her level of expertise in a domain, to offer an opinion on the proficiency of a trainee's performance creates only the illusion that one has an indication of the fundamental character or ability of that trainee (Harasym et al., 1996). That acts to the detriment of appreciating that both behaviour and perceptions of behaviour are influenced by various contextual factors including the similarity between current observations and previous experience (Norman & Brooks, 1997). In contrast, assessment protocols should be designed wherever possible to prioritize the aggregation of many independently generated impressions from diverse rater groups (Surowiecki, 2004).

일반적인 평가자 교육 워크숍에서 일반적으로 제시되는 추상적인 내용을 중심으로 교육하는 대신 사례의 강점과 약점을 비교하고 대조하는 노력을 기울인 사례 분포를 제시하는 것을 중심으로 평가자 교육을 의도적으로 구성하여 평가자 간의 공통된 이해를 촉진하는 교육 관행을 확립할 수 있는지 여부는 아직 이해되지 않았습니다. 고도로 기능하고 성공적인 평가 프로그램은 단순히 평가자의 인식에만 의존하는 것이 아니라 다양한 제도적, 문화적, 사회 문화적 영향에 따라 달라진다는 것은 말할 필요도 없습니다. 즉, 평가자의 인상이 모든 의료 시스템에서 중요한 역할을 하는 이유는 개인이 실습에 필요한 기술을 습득했는지 여부뿐만 아니라 기술을 향상시키는 데 필요한 바람직한 어려움을 경험할 수 있는 기회가 부여되는지 여부를 결정하기 때문입니다. 따라서 평가자의 인지에 대한 향상된 이해를 바탕으로 판단을 수집하는 노력을 더 잘 구현하면 복잡한 성과 평가의 세계에서 직면한 다른 과제를 극복하는 데 도움이 될 수 있는지 판단할 필요가 있습니다. 

Not yet understood is whether or not training practices can be established that would facilitate a greater degree of common understanding between assessors by deliberately structuring rater training around presentation of a distribution of cases with efforts to compare and contrast their strengths and weaknesses rather than training around the abstractions that are commonly presented during typical rater training workshops. It goes without saying that a highly functioning and successful assessment program is not simply reliant on the cognition of our raters, but rather it is dependent on various systemic, cultural, and socio-cultural influences. That said, raters’ impressions play a crucial role in any healthcare system because they determine not only whether or not individuals have amassed the skills necessary to practice, but also whether or not those same individuals are granted the opportunities to experience the desirable difficulties necessary to further their skill. As a result, it behooves us to determine if better implementation of efforts to collect judgments based on improved understanding of rater cognition might help facilitate the surmounting of other challenges faced by the world of complex performance assessment.


The assessment of healthcare professionals is a critical determinant of patient safety and healthcare quality, playing both a gatekeeping function and a path toward performance improvement. Given the complexity of physician–patient interactions and the inadequacy of self-assessment for judging one's own strengths and weaknesses, medicine exemplifies a domain in which adequate assessment is dependent on the perceptions and perspectives of observers. Such perspectives are susceptible to influences that range well beyond the performance itself, offering an opportunity to consider how cognitive psychology can guide improved practices and how examination of psychological processes in real-world environments can inform thinking about cognition. In this target article I will provide an overview of the challenges facing health professional educators, the insights that have been gained from the application of cognitive psychology toward deriving solutions, and some reflections on the current state of the science and ongoing needs. These efforts lead to the conclusion that performance assessment protocols stand a better chance of success when they are designed to accommodate limitations of attentional capacity, working memory, and the idiosyncratic influence of prior experience rather than striving to change these fundamental aspects of human cognition through rater training or response form alterations.

"내 평가는 편향되었어요!": 의학교육에서 평가의 공정성을 달성하기 위한 측정과 사회문화적 접근(Acad Med, 2023)
“My Assessments Are Biased!” Measurement and Sociocultural Approaches to Achieve Fairness in Assessment in Medical Education 
Karen E. Hauer, MD, PhD, Yoon Soo Park, PhD, Justin L. Bullock, MD, MPH, and Ara Tekian, PhD, MHPE 

 

학습자 평가의 편향성은 의학교육의 질에 대한 중요하고 지속적인 도전 과제입니다. 편견에 기반한 개인 또는 하위 그룹의 평가된 퍼포먼스에 대한 부당한 차이는 학습자의 발달을 저해할 수 있으며 일부 학습자는 의료계에서 계속 활동하지 못할 수도 있습니다. 임상 성과 평가는 편견을 도입하고 영속화할 위험이 특히 높습니다. 다양한 학습 경험, 평가자 또는 평가가 이루어지는 상황을 표준화할 수는 없습니다. "좋은" 퍼포먼스에 대한 허용 기준은 평가자 또는 환자 또는 간병인의 문화와 맥락, 기관의 규범과 문화에 따라 달라질 수 있으며, 이는 모두 필요한 환자 치료, 의사소통 기술 및 전문적 행동에 대한 기대치에 영향을 미칩니다. 이러한 다양성은 일부 학습자에게 불이익을 주는 유해한 편견의 발판을 마련합니다. 
Bias in learner assessment presents a critical, ongoing challenge to the quality of medical education. Unwarranted differences in assessed performance of individuals or subgroups rooted in bias can hinder learners’ developmental progress and may prevent some from continuing in the medical profession. Assessment of clinical performance raises particular risks for introducing and perpetuating bias. It is not possible to standardize the wide array of learning experiences, assessors, or contexts under which assessment occurs. Acceptable standards for “good” performance may vary based on the assessor’s—or patient’s or caregiver’s—culture and context and institutional norms and culture, which all influence expectations for what constitutes needed patient care, communication skills, and professional behavior. This variability sets the stage for harmful bias that disadvantages some learners.

의학교육에 관한 연구 결과, 의학 분야에서 소외된 배경을 가진 학생(UIM)에게 불리하게 작용하는 학습자 특성에 따른 평가 성과에 대한 체계적인 차이가 점점 더 많이 확인되고 있습니다.1-4 예를 들어, 의학 지식 시험은 일부 학습자 그룹에게 다른 학습자 그룹보다 문항 내용이 더 익숙하거나 사전 교육 경험으로 인해 일부 학습자 그룹이 다른 그룹보다 더 잘 준비할 수 있기 때문에 편향된 결과를 초래할 수 있습니다. 의과대학과 레지던트 수련 프로그램은 다양한 환자 집단을 대표하고 서비스를 제공하기 위해 학습자 집단을 다양화하는 것이 중요하므로, 학습자가 공평하게 학습하고 평가받고 후속 수련 및 취업 기회에 선발될 기회를 갖는 것이 중요합니다.5 유해한 편견을 이해하고 해결하는 것은 모든 학습자에게 공정하고 평등한 학습 환경과 평가 과정을 만드는 데 필수적입니다. 
Studies in medical education have increasingly identified systematic differences in assessed performance based on learner characteristics that disadvantage students from backgrounds underrepresented in medicine (UIM).1–4 For example, examinations of medical knowledge can generate biased results due to the content of items being more familiar to some learner groups than others, or prior educational experiences affording better preparation for some learner groups than others. As medical schools and residency training programs embrace the importance of diversifying their learner populations to represent and serve diverse patient populations, it is critical that learners have equitable opportunities to learn, be assessed, and be selected for subsequent training and job opportunities.5 Understanding and addressing harmful bias is essential to making the learning environment and assessment process fair and equitable for all learners.

이 원고에서는 임상 학습자에 초점을 맞춘 평가의 편향성에 대한 개요를 제공합니다. 평가에 대한 접근 방식의 역사적 맥락에 뿌리를 두고 편견을 정의하고, 평가에서 유해한 편견이 어떻게 도입되고 나타나는지 설명하며, 그 결과를 개괄적으로 설명합니다. 편견은 평가의 타당성과 공정성을 위협하며 학습자, 환자 및 간병인, 지역사회 및 의학 분야에 해를 끼칩니다. 메시크의 타당도 프레임워크의 관점에서 평가의 편향성을 살펴보고,6 의학교육에서 평가의 편향성을 해결하기 위해서는 공정성과 교육의 사회문화적 맥락에 대한 추가적인 고려가 필요하다는 점을 자세히 설명합니다. 편견을 극복하고 이상적인 평가 시스템을 구축하기 위한 권장 사항을 제시합니다. 
This manuscript provides an overview of bias in assessment with a focus on clinical learners. Rooted in the historical context of approaches to assessment, we define bias, describe how harmful bias is introduced and manifests in assessment, and outline its consequences. Bias threatens the validity and fairness of assessment, with harm to learners, patients and caregivers, communities, and the field of medicine. We examine bias in assessment from the perspective of Messick’s validity framework,6 elaborating how addressing bias in assessment in medical education requires additional consideration of fairness and the sociocultural context of training. We present recommendations to overcome bias and create an ideal assessment system.

평가의 편향성: 정의, 원인 및 결과
Bias in Assessment: Definition, Causes, and Consequences

옥스퍼드 고급 학습자 사전에서는 편향bias일반적으로 불공평하다고 여겨지는 방식으로 한 사물, 사람 또는 그룹을 다른 사물, 사람 또는 그룹과 비교하여 찬성하거나 반대하는 편견prejudice으로 정의합니다. 편향은 해석을 돕기 위해 정보를 분류하려는 인간의 타고난 경향에서 비롯됩니다. 예를 들어, 임상 의사 결정에서 임상의는 방대한 정보를 이해하고 패턴을 식별하여 진단을 용이하게 하는 휴리스틱 또는 인지적 지름길을 사용합니다. 편향은 긍정적일 수도 있고 부정적일 수도 있지만, 이 원고에서는 해로운 편견에 초점을 맞춥니다. 학습자 평가에서 학습자의 능력과 성과에 근거하지 않은 평가자의 범주화, 해석 및 가정에서 발생하는 편견은 구조적으로 억압받는 집단의 학습자에게 불균형적이고 부정적인 영향을 미칩니다. 
The Oxford Advanced Learner’s Dictionary defines bias as prejudice in favor of or against one thing, person, or group compared with another, usually in a way considered unfair. Bias arises from innate human tendencies to categorize information to aid interpretation. For example, in clinical decision making, clinicians employ heuristics, or cognitive shortcuts, that enable making sense of voluminous information and identifying patterns to facilitate diagnoses. While bias can be positive or negative, this manuscript focuses on harmful bias. In learner assessment, bias that arises from assessors’ categorizations, interpretations, and assumptions that are not based on learners’ ability and performance disproportionately and negatively affects learners from structurally oppressed groups.

의학 교육에서 편향이 평가에 영향을 미친다는 증거가 점점 더 많아지고 있습니다. 예를 들어, 인종적/민족적 배경이 소수인종인 학습자는 커리큘럼 자료와 일상적으로 접하는 고정관념 및 미시적 공격에서 해로운 인종주의, 차별, 편견에 직면합니다.7 여러 의과대학에서 소수인종 학생이 비 소수인종 학생보다 낮은 임상실습 성적을 받는 것으로 보이는 평가된 성과에서 소폭이지만 일관된 그룹 간 차이를 확인했습니다.1-3 이러한 차이는 향후 명예, 인정, 수상 및 기회에 있어 심각한 불공평을 초래합니다.1 레지던트 지원자를 분석한 결과, 다른 성과 척도를 통제한 후에도 인종, 성적 지향, 어린 시절 가정 소득을 기준으로 의학계에서 소외된 정체성을 가진 학생들은 경쟁이 치열한 레지던트 프로그램에 선발되는 데 도움이 되는 알파 오메가 알파 명예 의사회에 선발될 가능성이 동료들보다 낮았습니다.4,8 이러한 연구를 종합하면 의학교육 평가에 만연한 편향이 학습자와 미래의 의사 인력에 중요한 결과를 초래할 수 있음을 알 수 있습니다.
Growing evidence suggests bias plagues assessment in medical education. For example, learners from racial/ethnic backgrounds that are UIM face harmful racism, discrimination, and bias in curricular materials and in daily stereotypes and microaggressions they encounter.7 Multiple medical schools have identified modest but consistent group differences in assessed performance that appear to result in UIM students earning lower clerkship grades than non-UIM students.1–3 These differences create critical inequities in future honors, recognitions, awards, and opportunities for UIM learners.1 Analyses of residency candidates revealed that, after controlling for other measures of performance, students with identities marginalized in medicine based on race, sexual orientation, and childhood family income were less likely than their peers to be selected to the Alpha Omega Alpha Honor Medical Society, a coveted recognition that helps drive selection to competitive residency programs.4,8 Taken together, these studies demonstrate pervasive bias in medical education assessments with important consequences for learners and the future physician workforce.

여러 연구에서 여성보다 남성을 선호하는 성과 평가의 차이를 확인했지만 성별 편견에 관한 연구 결과는 엇갈렸습니다.9-12 응급의학과 레지던트 평가에서는 리더십 중심 역량에서 여성보다 남성이 더 높은 평가를 받았습니다.10 두 기관에서 최고 임상실습 성적을 받은 의대생의 서면 평가서를 분석한 결과,

  • 남성과 비 UIM 학습자를 설명하는 데 눈에 띄는 단어(예, "최상급")과 지식 및 역량과 관련된 단어가 더 많이 사용되었으며, 사용된 단어가 더 많은 반면,
  • 여성과 UIM 학생은 더 부드러운 언어(예: "좋은", "유능한")와 노력 및 협업과 관련된 단어로 설명되었습니다.13

여러 의과대학의 의대생 성과 평가에 포함된 언어를 텍스트 분석한 결과 성별과 인종에 따라 유사한 패턴이 나타났습니다.14 이러한 연구는 교차하는 의료 학습자 특성을 기반으로 평가된 성과에 편향이 있음을 시사합니다. 
Studies have revealed mixed findings regarding gender bias, although multiple studies have identified differences in ratings of performance favoring men over women.9–12 Evaluations in emergency medicine residency show higher ratings for men than women in leadership-oriented competencies.10 Analysis of written evaluations of medical students who earned top clerkship grades at 2 institutions revealed

  • more standout words (e.g., “superlative”) and more words relating to knowledge and competence used to describe men and non-UIM learners,
  • whereas women and UIM students were described with more muted language (e.g., “good,” “competent”) and words relating to effort and collaboration.13 

Textual analysis of language in Medical Student Performance Evaluations from multiple medical schools showed similar patterns based on gender and race.14 These studies suggest bias in assessed performance based on intersecting medical learner characteristics.

평가 편향은 다른 많은 학습자 특성과 관련해서도 발생합니다. 장애가 있는 학습자에게 적절한 편의를 제공하기 위한 정책과 절차의 부재는 편견에 뿌리를 두고 있을 수 있는 구조적 장벽을 나타내며 이러한 학습자가 평가에서 성공하는 데 방해가 됩니다.15 국제 의학 졸업생(IMG)의 경우, 시험의 평가 항목이나 임상 환경에서의 상호작용이 다른 문화권 출신에게 익숙하지 않은 시나리오나 언어를 제시하거나 다른 나라에서 교육받은 개인에게 익숙하지 않은 형식을 사용하는 경우 편향된 평가가 발생할 수 있습니다.16 레즈비언, 게이, 양성애자, 성전환자 또는 퀴어라고 밝힌 학습자는 최상의 수행 능력과 평가 능력을 방해할 수 있는 학대를 더 많이 경험합니다.17표 1은 위에서 언급한 범주에 대한 샘플 사례로 문제, 편견의 원인이 되는 요인, 대응을 안내하는 가치/원칙 및 잠재적 해결책을 강조합니다.
Assessment bias also arises related to many other learner characteristics. Lack of policies and procedures to implement appropriate accommodations for learners with disabilities represents a structural barrier that may be rooted in bias and inhibits these learners from achieving success in assessment.15 For international medical graduates (IMGs), biased assessment can arise if assessment items on an exam or interactions in the clinical setting present scenarios or language not familiar to someone from a different culture or use formats unfamiliar to individuals educated in a different country.16 Learners who identify as lesbian, gay, bisexual, transgender, or queer experience higher rates of mistreatment that can disrupt their ability to perform and be assessed at their best.17Table 1 presents sample cases for the categories mentioned above highlighting the problem, factors that contribute to biases, values/principles that guide response, and potential solutions.

편견에 대한 측정 및 사회문화적 관점
Measurement and Sociocultural Perspectives on Bias

평가의 편향성은 크게 두 가지 관점에서 고려할 수 있습니다.

  • 심리측정학적 측정 관점에서 볼 때, 평가의 문항이 인종, 성별, 사회경제적 지위 또는 종교와 같은 학습자의 특성으로 인해 학습자에게 불쾌감을 주거나 불공정한 불이익을 줄 때마다 평가 편향이 존재합니다.18 이러한 평가에서 도출된 추론은 특정 학습자에 대한 편향으로 인해 학습자의 성과를 부정확하게 반영하므로 타당하지 않습니다.
  • 평가에서 편견에 대한 관점을 넓히면 사회문화적 관점을 고려해야 하며, 이를 통해 유해한 편견이 교육에서 학습과 평가에 어떤 영향을 미치는지 살펴볼 수 있습니다. 예를 들어, UIM 그룹의 학습자는 고정관념의 위협과 미시적 공격으로 인해 학습 성과를 제약받습니다.19 교수자는 무의식적으로 학습자의 특성에 따라 학습 기회를 차별적으로 할당하여 불평등하고 유해한 학습 환경을 조성할 수 있습니다. 

Bias in assessment can be considered from 2 broad perspectives.

  • From a psychometric, measurement perspective, assessment bias exists whenever items on an assessment offend or unfairly penalize learners because of learner characteristics, such as race, gender, socioeconomic status, or religion.18 Inferences drawn from such assessments are invalid, reflecting learner performance inaccurately due to bias against certain learners.
  • Broadening views of bias in assessment invite consideration of sociocultural perspectives, which explore how harmful bias affects learning and assessment in training. For example, learners from UIM groups experience stereotype threat and microaggressions that, in turn, constrain their performance.19 Faculty may unknowingly assign learning opportunities differentially to learners based on their characteristics, creating inequitable and harmful learning environments.

측정 문제로서의 편향성
Bias as a measurement problem

통계학자들은 편향을 평가의 공정성과 정확성을 방해하는 측정 문제로 이해합니다. 평가의 편향은 특정 하위 그룹(예: 인종, 성별)에 대한 차별적 선호를 수반하며, 이는 선호 그룹의 구성원이 아닌 학습자에게 불쾌감을 주거나 불공정한 불이익을 줄 수 있습니다.18 편향의 결과에는 학습자의 성과를 저해하는 평가 콘텐츠를 접한 학습자 하위 그룹에 대한 의도하지 않은 불공정한 불이익이 포함됩니다. 교육 및 심리 검사 표준은 편향이 시험 구성의 두 가지 문제로 인해 공정성을 저해하는 방법을 설명합니다.20

  • 첫 번째는 구성 과소 대표성으로, 시험이 측정 대상인 구성을 너무 좁게 다룰 때 발생합니다.
  • 두 번째, 구성과 무관한 분산은 평가가 원하는 구성과 다른 것을 측정할 때 발생합니다.

표 2는 이러한 형태의 측정 편향이 검사 및 실제 임상 평가 환경에서 어떻게 발생하고 해를 끼치는지 설명합니다.
Statisticians understand bias as a measurement problem that interferes with the fairness and accuracy of assessments. Bias in assessment entails differential preference to a particular subgroup (e.g., race, gender) that can offend or unfairly penalize learners who are not members of the preferred group(s).18 Consequences of bias include unintended, unfair penalties for learner subgroups who encounter assessment content that inhibits their performance. The Standards for Educational and Psychological Testing explain how bias interferes with fairness due to 2 problems in test construction.20 

  • First is construct underrepresentation, which occurs when the test too narrowly addresses the construct being measured.
  • The second, construct-irrelevant variance, arises when assessments measure something different than the desired construct. 

Table 2 describes how these forms of measurement bias arise and cause harm in examination and real-world clinical assessment settings.


측정의 관점에서 볼 때, 특히 표본 추출 및 구조(평가 설계)와 관련하여 평가 개발 및 시행에서 해로운 편향이 발생할 수 있습니다.
From a measurement perspective, harmful bias may arise in assessment development and implementation, specifically regarding sampling and structure (assessment design).

평가에서의 샘플링.
Sampling in assessment.

평가에는 가능한 학습자 활동의 세계(사례 및 임상 문제)에서 지식, 기술 또는 행동의 대표 표본을 추출하는 작업이 수반됩니다. 학습에 대한 사전 결정된 기대치를 기반으로 표본을 추출하지 않으면 편견을 유발할 수 있는 잘못된 표본 추출 기법을 의미합니다. 필기 시험 또는 객관적이고 구조화된 임상 시험을 위한 계획된 샘플링은 시험 또는 평가 청사진을 통해 체계적으로 이루어집니다.21,22 평가할 내용과 요구되는 역량 수준에 대한 기대치가 모든 학습자에게 동일하게 명확하지 않으면 편향이 개입할 수 있습니다. 블루프린팅은 기대치와 평가를 일치시키고 구성 과소 대표성 및 구성과 무관한 분산으로 인해 발생하는 편향에 대한 해결책을 제공합니다. 
Assessment entails taking representative samples of knowledge, skills, or behaviors from a universe of possible learner activities—cases and clinical problems. Failure to sample based on predetermined expectations for learning represents poor sampling technique that can introduce bias. Planned sampling for a written examination or objective structured clinical examination is done systematically through test or assessment blueprints.21,22 Bias may interfere if expectations are not equally clear to all learners regarding what content will be assessed and what level of competence is required. Blueprinting aligns expectations and assessment and provides a solution to bias arising from construct underrepresentation and construct-irrelevant variance.

임상 환경에서는 평가의 편향성이 더 커질 위험이 있다. 교수진이 학습자의 임상 활동을 관찰하거나 어떤 환자가 병원이나 클리닉에 내원하는지에 따라 샘플링이 무작위로 이루어지기 때문이다. 

  • 편향의 위험을 해결하기 위한 첫 번째 해결책은 역량, 이정표 또는 행동 또는 활동 목록(목표 또는 위임 가능한 전문 활동)을 사용하여 기대치를 명확히 하여 감독자와 학습자가 기대치에 대한 공통된 이해를 안내하는 것입니다.
  • 직장 기반 평가(WBA)와 같이 학습자를 자주 관찰하도록 설계된 도구는 감독자(또는 동료, 환자 또는 기타 의료 전문가)가 병력 기록, 신체 검사 또는 임상 절차와 같은 특정 행동을 직접 관찰하고 문서화하는 빈번한 "샘플링"을 권장합니다.23,24
  • 세 번째 해결책은 학습자와 그들의 업무에 대한 많은 관찰이 역량과 발전에 대한 판단에 정보를 제공하도록 빈번한 샘플링입니다.25

In the clinical environment, sampling becomes more random—and bias in assessment more of a risk—based on what faculty members happen to observe learners doing clinically or which patients happen to present to the hospital or clinic.

  • A first solution to address the risk of bias is clarifying expectations using competencies, milestones, or a list of behaviors or activities (objectives or entrustable professional activities) to guide supervisors’ and learners’ common understanding of expectations.
  • A tool designed for frequent observation of learners, such as with workplace-based assessment (WBA), encourages frequent “sampling” as a supervisor (or peer, patient, or other health professional) directly observes and documents specific behaviors, such as history taking, physical exam, or clinical procedures.23,24 
  • A third solution is frequent sampling so that many observations of learners and their work inform judgments about competence and advancement.25

평가의 구조.
Structure in assessment.

모든 평가에서 구조structure는 구인construct과 무관한 분산과 평가 편향을 최소화하는 것을 목표로 하는 관리, 사례/항목 선택, 데이터 수집에 사용되는 도구 등의 표준화를 수반합니다. 평가 유형이나 형식에 따라 이러한 구조적 측면의 표준화는 다양한 스펙트럼으로 이루어질 수 있습니다. 일부 형태의 편향은 구조를 통해 완화될 수 있지만, 편향은 여전히 내용에서 발생하거나 평가자의 암묵적 편향에 의해 간섭을 받습니다. 임상 환경에서의 평가는 경험을 구조화하는 데 더 큰 어려움을 야기합니다. WBA와 임상 평가는 환자 상태, 팀 구성 및 관계, 평가 시기(종종 실제 수행 후 한참 지난 후), 맥락에 따라 가변성이 발생합니다. 미리 정해진 평가 도구로 구조를 도입하면 평가 데이터를 수집하고 측정하는 방법에 대한 지침을 얻을 수 있습니다. 그러나 완전한 표준화는 어렵고 아래 권장 사항에 자세히 설명된 대로 편견을 완화하기 위한 추가 전략이 필요합니다.
In any assessment, structure entails standardization—in administration, case/item selection, and instrument used to collect data—aimed toward minimizing construct irrelevant variance and assessment bias. A spectrum of standardization of these aspects of structure is possible, depending on assessment type or format. While some forms of bias may be mitigated through structure, bias still arises in content or interferes via rater implicit bias. Assessment in the clinical environment creates even greater challenges for structuring experiences. WBAs and clinical evaluations introduce variability in patient condition, team composition and relationships, timing of assessment (often long after actual performance), and context. Introducing structure with a predetermined assessment instrument provides guidance on how assessment data are collected and measured. However, full standardization becomes elusive and additional strategies to mitigate bias are needed, as elaborated in the recommendations below.

심리측정학자들은 이러한 표본 추출 및 구조의 문제를 인식하고 학습자의 성과(관심 구성)를 시험/문항 특성에서 분리하는 방법을 모색해 왔습니다. 차등 문항 기능(DIF)과 같은 기법은 비슷한 능력을 가지고 있지만 다른 특성(인종, 성별 등)을 가진 학습자가 다르게 수행하는 문항을 식별합니다.26 DIF와 같은 측정 솔루션은 편향을 감지할 수 있지만 의학 교육에서는 한계가 있습니다. 이러한 기법은 분석을 수행하기 위해 많은 수의 항목과 응시자가 필요합니다. 평가 내용이나 평가 정보가 사용되는 방식은 다루지 않습니다. 
Recognizing these problems with sampling and structure, psychometricians have sought ways to disentangle learner performance (the construct of interest) from test/item characteristics. Techniques such as differential item functioning (DIF) identify items on which learners of similar ability, but with different characteristics (race, gender, etc.), perform differently.26 While measurement solutions such as DIF can detect bias, they have limitations in medical education. These techniques require large numbers of items and test takers to conduct analyses. They do not address assessment content or how assessment information is used.

사회문화적 문제로서의 편향성
Bias as a sociocultural problem

실제 임상 환경에서 학습자 하위 그룹 간의 평가 성과 차이는 평가자의 접근 방식과 편견, 학습자의 배경, 경험 및 학습 준비, 각 학습자에게 주어진 학습 활동, 학습 환경 및 맥락에서 발생할 수 있습니다.27 이에 따라 해결책이 달라지고 편견을 완화하기 위한 포괄적인 접근 방식이 필요하므로 성과 차이의 원인을 이해하는 것이 필수적입니다(표 1). 사회문화적 관점에서 볼 때 평가 편향의 원인은 여러 가지가 있습니다. 
In the real-world clinical environment, differences in assessed performance between learner subgroups may arise from assessors’ approaches and biases; learners’ backgrounds, experiences, and preparation for learning; learning activities afforded each learner; and the environment and context of learning.27 Understanding causes of differential performance is essential because solutions will vary accordingly and a comprehensive approach to mitigating bias is needed (Table 1). From a sociocultural perspective, multiple sources of assessment bias exist.

평가자.
Assessors.

평가자 관행의 다양성은 편향된 평가로 나타날 수 있습니다. 일부 문제가 있는 평가자의 행동은 모든 학습자에게 영향을 미칩니다.

  • 관찰되지 않은 역량에 대해 학습자를 평가하거나,28
  • 지나치게 가혹하거나 관대한 평가를 제공하거나,29
  • 적시에 평가를 완료하지 않는 등 

실제 수행 능력과 무관한 이유로 임상 수행 능력이 낮게 평가될 수 있는 일부 학습자 그룹에는 추가적인 문제가 불균형적으로 영향을 미칩니다. 
Variability in assessor practices may manifest in biased assessment. Some problematic assessor behaviors affect all learners, such as

  • evaluating learners on competencies not observed,28 
  • providing overly harsh or lenient ratings, or
  • not completing timely assessments.

Additional problems disproportionately affect some learner groups whose assessed clinical performance may be lower for reasons unrelated to their actual performance.

암묵적 편견(개인 집단에 대한 부정적이고 해로운 사고 패턴)한 집단을 다른 집단보다 선호하는 휴리스틱을 수반합니다.29 휴리스틱은 인간이 정보를 덩어리로 묶고 가정을 세워 정보를 빠르게 처리하는 데 사용하는 인지적 지름길입니다.30 방대한 양의 데이터를 조작하고 처리하는 데 유용하지만, 인식하지 않으면 휴리스틱은 평가에서 편견을 조장할 수 있습니다. 예를 들어,

  • 평가자가 학습자가 속한 집단에 대한 고정관념에 근거하여 학습자의 숙련도에 대한 초기 결정을 내린 다음 더 이상 그 결정을 바꿀 수 있는 증거를 찾지 않을 때 평가에서 "조기 종결"이 발생합니다.
  • "후광 효과"는 개인에 대한 일반적인 인상(예: "훌륭한 사람!" 또는 "소심한 사람")이 여러 영역에 걸쳐 해당 학습자의 성과에 대한 인식에 영향을 미치면서 발생합니다.
  • 회상 편향은 평가자가 학습자를 관찰한 지 한참 후에 학습자에 대한 평가를 완료하여 학습자의 특성이나 문화에 대한 일반성에 고정된 평가를 내릴 때 발생할 수 있습니다.

종합적으로, 인지적 지름길은 편향된 평가에 기여할 수 있습니다. 이러한 위험을 인지한 학습자는 첫인상을 두려워하여 결과적으로 성적이 떨어질 수 있습니다. 
Implicit bias—negative, harmful patterns of thinking about groups of individuals—entails heuristics that favor one group over another.29 Heuristics are cognitive shortcuts that humans use to process information rapidly by chunking information and making assumptions.30 While useful to manipulate and process voluminous data, without awareness, heuristics may promote bias in assessment. For example,

  • “premature closure” in assessment arises when an assessor makes an initial determination about a learner’s proficiency, perhaps based on stereotypes about a group to which the learner belongs, and then no longer looks for evidence that could alter that determination.
  • The “halo effect” arises with a general impression of an individual (e.g., “great person!” or “timid person”) that influences perceptions of that learner’s performance across multiple domains.
  • Recall bias can arise when assessors complete assessments of learners long after observing them, precipitating anchoring on generalities around learner characteristics or culture.

Collectively, cognitive shortcuts can contribute to biased assessment. Learners who recognize this risk may fear the first impression they will make and consequently perform less well.

학습자.
Learners.

의료 학습자는 자신이 속한 집단에 대한 부정적인 고정관념을 충족하는 것을 두려워하는 심리적 현상고정관념 위협을 경험할 수 있습니다.19,31 인종/민족 고정관념 위협은 같은 인종/민족의 사람들이 평가 또는 기타 활동에서 성적이 떨어지는 경향이 있다는 내부 대화로 인해 궁극적으로 성과가 저하되는 개인에게 영향을 미칩니다. 의학에서 고정관념 위협은 학생의 인종/민족을 통제하더라도 핵심 임상실습에 대한 평가 성과와 반비례합니다.32 만성적인 고정관념 위협[개인이 시험의 타당성, 지식의 영역 또는 교수자의 역량을 무시하여, 노력을 덜 투자하고, 결과적으로 더 낮은 성과를 내는 현상]인 도메인 탈동일시를 생성합니다.33
Medical learners can experience stereotype threat, a psychological phenomenon in which individuals fear fulfilling negative stereotypes about groups to which they belong.19,31 Racial/ethnic stereotype threat affects individuals whose performance ultimately suffers because their internal dialogue tells them that people of their same race/ethnicity tend to perform less well on an assessment or other activity. In medicine, stereotype threat is inversely associated with assessed performance on core clerkships, even when controlling for a student’s race/ethnicity.32 Chronic stereotype threat generates domain disidentification: a phenomenon in which individuals may discount the validity of tests, domains of knowledge, or competence of an instructor and thereby invest less effort and subsequently perform more poorly.33

부록 디지털 부록 1(https://links.lww.com/ACADMED/B415 참조)에서는 성별, 인종/민족, 성적 지향, 능력 상태 및 IMG로서의 경험에 따라 일부 학습자의 성과 및 평가에 부정적인 영향을 미치는 위협의 전체 목록을 제공하지 않습니다.
In Supplemental Digital Appendix 1 (available at https://links.lww.com/ACADMED/B415), we provide a nonexhaustive list of examples of threats that negatively impact performance and assessment of some learners based on gender, race/ethnicity, sexual orientation, ability status, and experience as an IMG.

acadmed_2023_04_18_hauer_acadmed-d-23-00419_sdc1.pdf
0.17MB

학습 환경.
Learning environment.

학습 환경은 일부 학습자가 학습하고 자신의 역량을 입증하려고 할 때 불평등하게 불리하게 작용할 수 있습니다. 학습자와 평가자 간의 정체성 차이는 학습과 평가에 영향을 미치는 암묵적 편향을 촉발할 수 있습니다.34 편향은 학습 기간 동안 일부 학습자 또는 학습자 그룹이 자신의 기술을 연습하고 시연할 수 있는 기회가 차별적으로 주어질 때 발생합니다. 연습, 피드백 및 개선의 기회를 제공하는 학습 활동은 학습자 특성에 따라 다르게 할당될 수 있습니다. 일부 학습자가 이전의 개인적, 가족적 또는 직장 경험을 바탕으로 더 많은 이해를 가지고 참여하는 경우 학습자 그룹에 따라 성과 기대치의 명확성이 달라질 수 있습니다. 
The learning environment may unequally disadvantage some learners as they learn and attempt to demonstrate their competence. Differences in identities among learners and their assessors can precipitate implicit bias affecting learning and assessments.34 Bias arises during periods of learning when some learners or learner groups have differential opportunities to practice and demonstrate their skills. Learning activities, which drive opportunities for practice, feedback, and improvement, may be assigned differently based on learner characteristics. The clarity of performance expectations may vary for learner groups if some learners enter with greater understanding based on prior personal, family, or work experiences.

미세 공격[자신의 정체성에 대한 적대감을 나타내는 대인 관계 언어적 또는 행동적 거부감]으로35, 의학계에 만연해 있으며 의대생의 인종/민족적 고정관념 위협의 주요 유발 요인입니다.19 미세 공격은 대상자에게 심리적 및 생리적 고통을 유발하며, 미세 공격은 누적적으로 학습자의 소속감과 안전감에 타격을 줍니다.36 미세 공격은 학생 성과에 부정적인 영향을 미칠 수 있는 우울 및 불안 증상 등 부정적인 정신 건강 결과와 연관됩니다.37 
Microaggressions are interpersonal verbal or behavioral snubs that indicate hostility to one’s identity35; they are pervasive in medicine and a key trigger of racial/ethnic stereotype threat in medical students.19 Microaggressions cause psychological and physiological distress in targeted individuals; microaggressions cumulatively take a toll on learners’ feelings of belonging and safety.36 Microaggressions are associated with adverse mental health outcomes, including greater depressive and anxiety symptoms, conditions that may adversely affect student performance.37

타당성과 공정성 추구를 통한 편견 최소화
Minimizing Bias Through Pursuit of Validity and Fairness

타당도 프레임워크
Validity framework

모든 평가의 목표는 타당하고 공정한 결정을 내리는 것입니다. 교육자는 특정 상황에서 주어진 도구에 대한 타당도 증거의 출처를 고려해야 합니다. 그러면 타당도는 사용 가능한 증거에 의해 뒷받침되는 주장이 됩니다. Messick의 통합 타당도 프레임워크에는 5가지 타당도 근거 소스가 포함되어 있습니다(표 3).6 의학교육 환경의 복잡성과 평가되는 역량의 범위는 공정하고 편견을 최소화하는 타당도에 대한 전반적인 접근 방식을 채택해야 할 필요성을 높입니다. 
The goal with any assessment is to render valid and fair decisions. Educators must consider sources of validity evidence for a given tool in a particular context. Validity then becomes an argument supported by available evidence. Messick’s unified validity framework includes 5 sources of validity evidence (Table 3).6 The complexity of the medical education environment and range of assessed competence heightens the need to employ an overall approach to validity that is fair and minimizes bias.

공정성
Fairness

공정성은 타당성과 밀접하게 연관되어 있습니다. 좋은 평가 관행의 특징으로서 공정성에 대한 광범위한 지지에도 불구하고, 평가의 공정성에 대한 단일 정의는 없습니다. 공정한 평가는 학습자의 진정한 능력을 측정하고 보고합니다.20 따라서 공정성은 단순히 평가 절차나 결과의 평등이나 표준화가 아닙니다.38 The Standards에서는 공정성을 "개인의 특성과 시험의 맥락에 반응하여 점수가 의도한 사용자에게 타당한 해석을 산출하는 것"으로 정의합니다.20 공정성을 위해서는 평가가 의도한 구성과 무관한 특성으로 인해 일부 개인에게 불이익을 주어서는 안 됩니다.20 이 표준은 시험에 초점을 맞추고 있습니다.
Fairness is closely aligned with validity. Despite widespread endorsement of fairness as a hallmark of good assessment practice, fairness in assessment has no single definition. Fair assessment measures and reports learners’ true abilities.20 Therefore, fairness is not just equality or standardization of assessment procedures or outcomes.38 The Standards define fairness as “responsive to individual characteristics and testing contexts so that scores yield valid interpretations for intended users.20 To be fair, assessments should not disadvantage some individuals due to characteristics irrelevant to the intended construct.”20 These standards focus on testing.

이 백서에서는 특히 수많은 학습 경험과 환자 및 전문가 간 동료와의 상호작용이 있는 복잡한 임상 맥락에서 의료 학습자에 대한 모든 평가를 포함하도록 공정성에 대한 고려 사항을 넓혔습니다. [평가의 공정성을 정의하고 추구하는 것]은 편견을 해결하고 모든 학습자에게 도움이 되고 사회 개혁에 기여하는 이상적인 평가 접근법을 구상하는 데 매우 중요합니다.39 
In this paper, we broaden considerations of fairness to include all assessments of medical learners, particularly in the complex clinical context with myriad learning experiences and interactions with patients and interprofessional colleagues. Defining and pursuing fairness in assessment is critical to addressing bias and envisioning an ideal approach to assessment that serves all learners and contributes to social reform.39

공정성은 의학 및 사회에서 역사적으로 억압받아온 집단을 포함한 모든 학습자 집단에 대해 존재해야 합니다. 좋은 평가 관행은 의료 학습자 사이에서 증가하는 다양성을 인정하고 이를 충족시켜야 합니다.40 공정성은 모든 학습자와 환자, 지역사회, 교육 프로그램 리더(평가 데이터를 사용하여 프로그램의 질을 판단하거나 평가 데이터를 사용하여 학습자 또는 직원을 선발하는 사람)를 포함한 기타 의료 교육 이해관계자에게 중요합니다.
Fairness must exist for all learner groups, including groups historically oppressed in medicine and society. Good assessment practice must acknowledge and serve the increasing diversity among medical learners.40 Fairness matters to all learners and other medical education stakeholders, including patients, communities, and education program leaders (whose program quality may be judged using assessment data or who use assessment data to select learners or employees).

[타당도]평가가 측정하고자 하는 구조를 얼마나 잘 포착하는지를 다루는 반면, [공정성]개인의 특성, 배경, 평가 상황에 대한 반응성을 요구합니다.41 예를 들어, 특정 그룹의 학습자가 숙련도가 낮거나 참여도가 낮기 때문에 임상실습에서 유능하지 않다는 결론을 내리는 것은 해당 학습자에게 환자를 보거나 시술을 하거나 주치의에게 사례를 발표할 기회가 더 적게 주어진다면 불공정하고 편향된 결론이 될 수 있습니다. [공정성]은 모든 학습자가 측정 대상 구성에서 자신의 성취도를 입증할 수 있도록 하는 것을 포함합니다. 이러한 접근 방식에는 개인이 자신의 역량을 발휘할 수 있도록 표준화와 유연성이 모두 수반됩니다. 교육에서의 유니버설 디자인은 배경 특성과 능력에 관계없이 모든 학습자가 교육과 학습 환경에 접근하고 포용할 수 있도록 하는 철학적 접근 방식입니다.42 유니버설 디자인의 원칙에는 형평성, 유연성, 단순성, 오류 허용, 다양한 학생의 능력과 필요에 맞는 물리적 설계가 포함됩니다. 교육자는 접근 문제를 최소화하고 학습자가 필요한 편의를 요청할 수 있는 메커니즘을 만들어야 합니다. 학습 기회에 대한 접근성 보장평가의 공정성을 위한 발판을 마련합니다. 
Whereas validity addresses the degree to which an assessment captures the construct being measured, fairness also requires responsiveness to individual characteristics, backgrounds, and assessment contexts.41 For example, drawing conclusions that learners from a particular group are less skilled or less participatory and, therefore, less competent in a clerkship would be unfair and biased if those learners were afforded fewer opportunities to see patients, do procedures, or present cases to attendings. Fairness encompasses enabling all learners to demonstrate their achievement in the construct being measured. This approach entails both standardization and flexibility to ensure individuals can demonstrate their competence. Universal design in education is a philosophical approach to make education and the learning environment accessible and inclusive for all learners regardless of their background characteristics and abilities.42 Principles of universal design include equity, flexibility, simplicity, tolerance for error, and physical design amenable to a range of student abilities and needs. Educators must minimize access challenges and create mechanisms for learners to request needed accommodations. Assurance of access to learning opportunities sets the stage for fairness in assessment.

객관성과 주관성
Objectivity and subjectivity

객관성 또는 측정 정밀도에만 의존하는 것은 공정성과 동일시할 수 없으며 해로운 편견 문제를 해결할 수 없습니다.43 임상 수행 능력 평가에는 암묵적 편견에 취약한 개인적 의견을 포함하여 임상의의 주관적 판단이 필연적으로 포함될 수밖에 없습니다. 따라서 임상 수행 평가의 편향성은 단순히 객관성과 주관성의 문제로 이분화할 수 없습니다.43,44 평가의 객관성이라는 목표에 대한 집요한 의존은 의학교육의 맥락에서 그 명확성이 부족합니다.43,45 
Sole reliance on objectivity, or measurement precision, cannot equate to fairness and solve the problem of harmful bias.43 Clinical performance assessments inevitably incorporate clinicians’ subjective judgments, including personal opinions vulnerable to implicit bias. Hence, bias in clinical performance assessment cannot be simply dichotomized as an issue of objectivity and subjectivity.43,44 The tenacious reliance on the goal of objectivity in assessment falls short of its seeming clarity in the medical education context.43,45

평가에서 객관성과 주관성의 강점을 결합하는 것이 임상 평가에 더 적합합니다. 평가자 해석의 지속적인 차이는 의미 있는 정보를 나타낼 수 있습니다.46 평가자 교육은 평가자 간의 일관성을 개선하고 특이성의 함정을 인식하게 할 수 있지만, 교육이 인식과 접근 방식에서 개인의 다양성을 제거하지는 않습니다.47 교육자가 학습자의 성과를 명확하고 상세하게 설명하는 기술과 어휘를 갖추면 학습자와 프로그램에 유용하고 실행 가능한 정보가 생성됩니다.48 여러 활동과 평가자로부터 정보를 샘플링하고 수집하면 하나의 평가가 평가 결과에 불균형하게 영향을 미칠 위험을 완화할 수 있습니다. 평가 프로그램 설계에서 정당한(필요, 바람직한) 변수와 부당한 변수를 구분하고 평가 편향 등 부당한 변수를 해결하기 위해 지속적인 품질 개선을 위한 강력한 절차를 구축하는 것은 앞으로 나아갈 수 있는 단계를 제공합니다.49 
A combination of the strengths of both objectivity and subjectivity in assessment is better suited to clinical assessment. Persistent differences in raters’ interpretations may represent meaningful information.46 While rater training can improve consistency among raters and bring awareness to the pitfalls of idiosyncrasy, training does not eliminate individual variability in perceptions and approaches.47 Equipping educators with skills and vocabulary to describe learners’ performance in clear and detailed narratives produces useful, actionable information for learners and their programs.48 Sampling and collecting information from multiple activities and assessors mitigates the risk that any one assessment disproportionately influences assessment outcomes. Distinguishing warranted (necessary, desired) and unwarranted variation in assessment program design and building robust procedures for continuous quality improvement to address unwarranted variability, including bias in ratings, offer steps forward.49

권장 사항
Recommendations

유해한 편견을 피하는 이상적인 평가 시스템에 필수적인 5가지 영역과 12가지 구체적인 권장 사항을 제시합니다(표 4).
We present 5 domains essential to an ideal assessment system that avoids harmful bias, with 12 specific recommendations (Table 4).

평가를 안내하는 명확한 가치 표현
Articulate values to guide assessment

1. 평가 설계 및 실행을 환자와 학습자 중심의 가치와 일치시킵니다.
1. Align assessment design and practices with values centered on patients and learners.

해로운 편견을 피하고 평가의 공정성을 달성하려면 의료 학습자를 평가하는 접근 방식을 주도하는 가치를 명확히 해야 합니다(목록 1).50 모든 학습자 그룹이 최상의 학습과 수행을 할 수 있는 기회를 보장하는 것이 공정하고 공평한 평가의 특징입니다.38 루시와 동료들은 다음과 같이 썼습니다:

  • "평가의 공평성은 모든 학생이 의학 분야에서 미래의 성공을 예측할 수 있는 성취를 입증하여 학습, 평가, 코칭, 채점, 진급, 졸업 및 후속 기회에 선발될 수 있는 공정하고 공평한 기회를 가질 때 존재하며, 학습 경험이나 평가가 학습자 또는 평가자의 개인적 또는 사회적 특성과 관련된 구조적 또는 대인적 편견에 의해 부정적 영향을 받지 않을 때 나타납니다."5

현재 많은 교육 기관에서 다양성, 공평성 및 포용에 관한 가치를 명시하여 평가의 편향성에 대한 관점을 넓히고 사회 문화적 관점을 통합하는 것이 중요하다는 것을 강조하고 있습니다. UIM 학습자보다 비 UIM 학습자를 선호하는 평가 시스템을 설계하고, 평가 결과의 타당성에 의문을 제기하지 않고 평가 결과의 그룹 간 차이를 용인하는 것은 편견을 최소화하고 형평성을 증진하겠다는 명시된 약속에 모순됩니다. 평가 개선은 인종/민족에 따른 성취도 차이를 해결하고 의학교육의 결과에 대한 기관의 책임을 인정하기 위한 주요 전략입니다.51 
Avoiding harmful bias and achieving fairness in assessment entail articulating values that drive the approach to assessing medical learners (List 1).50 Ensuring all learner groups have opportunities to learn and perform at their best characterizes fair and equitable assessment.38 Lucey and colleagues write:

  • “Equity in assessment is present when all students have fair and impartial opportunities to learn, be evaluated, coached, graded, advanced, graduated, and selected for subsequent opportunities based on their demonstration of achievements that predict future success in the field of medicine, and that neither learning experiences nor assessments are negatively influenced by structural or interpersonal bias related to personal or social characteristics of learners or assessors.”5 

Many education institutions now articulate values around diversity, equity, and inclusion that emphasize the importance of broadening views on bias in assessment and incorporating sociocultural perspectives. Designing assessment systems that favor non-UIM learners over UIM learners, and condoning group differences in assessed outcomes without questioning the validity of those outcomes, contradict stated commitments to minimize bias and promote equity. Improving assessment is a primary strategy to address differential attainment based on race/ethnicity and acknowledge institutional accountability for outcomes in medical education.51


목록1. 편견을 완화하고 공정성과 형평성을 증진하기 위해 의료 학습자 평가 접근 방식을 주도하는 가치 
List 1 
Values That Drive the Approach to Assessing Medical Learners to Mitigate Bias and Promote Fairness and Equity

1. 평가는 공정하고 공평해야 합니다.
1. Assessment must be fair and equitable.

2. 의학교육에서의 평가는 모든 학습자가 공평하게 배우고 발전할 수 있는 기회를 제공하는 데 기여해야 합니다.
2. Assessment in medical education must contribute to equitable opportunities for all learners to learn and advance.

3. 의학교육은 환자와 인구가 필요로 하는 의료 서비스를 제공할 준비가 된 의사를 양성하는 데 목적이 있습니다.
3. Medical education serves the purpose of training physicians prepared to provide the health care that patients and populations need.

4. 평가는 사회 정의와 건강 형평성을 증진할 수 있는 학습자의 능력을 키워야 합니다.
4. Assessment should foster learners’ ability to promote social justice and health equity.

5. 적응형 학습자 기술 및 성장 마인드를 습득하여 의료 학습자가 의사 경력 전반에 걸쳐 적응하고 개선할 수 있도록 준비시킵니다.
5. Master Adaptive Learner skills and a growth mindset prepare medical learners to adapt and improve throughout their physician careers.


평가 시스템 설계 및 실행은 학습자의 발달적 성장에 가치를 두고 모든 학습자의 성공을 보장하기 위한 노력을 보여 주어야 합니다. 이러한 가치는 단일 평가 및 전체 평가 시스템의 공정성과 평가 결과가 의사 결정에 사용되는 방식에 대한 고려를 이끌어냅니다. 임상의와 환자의 다양한 관점과 경험을 초대하고 경청함으로써 포용성을 중시하는 것은 학습자와 교사의 행동 및 결과에 대한 중요한 결정을 내리는 데 도움이 됩니다. 이러한 가치는 편견을 최소화하고 공정성을 달성하기 위해 활용할 수 있는 총체적인 학습자 선택, 표준 설정 및 전문가 합의 모델과 공감을 불러일으킵니다.
Assessment system design and implementation should demonstrate value placed on learners’ developmental growth and commitment to ensuring all learners’ success. These values also drive consideration of fairness for single assessments and the entire assessment system, and how assessment results are used to make decisions. Valuing inclusivity by inviting and listening to diverse perspectives and experiences of clinicians and patients informs decisions about what learner and teacher behaviors and results are important. Such values resonate with practices of holistic learner selection, standard setting, and expert consensus models, which can be leveraged to minimize bias and achieve fairness.

2. 편견을 줄이고 형평성을 지원하기 위한 교육기관 및 프로그램 정책을 작성합니다.
2. Write institutional and program policies to reduce bias and support equity.

평가의 편견을 최소화하려면 평가의 공정성과 형평성을 명문화하는 기관 정책이 필요합니다. 정책은 학습 기회와 경험, 평가, 성적 및 진급 결정에서 형평성과 억압 방지를 안내하고 지원해야 합니다.18 예를 들어,

  • 성과 결과의 그룹 간 차이를 모니터링하고 식별하기 위해 데이터 검토 및 분석이 필요한 정책을 시행하는 것은 편견을 해결하고 구조적 불평등을 완화하는 데 중요한 단계입니다.
  • 평가에 관한 정책은 또한 성과 평가에서 시험 점수에 과도한 가중치를 부여하여 연수생의 경력 발전 기회에 부정적인 영향을 미칠 수 있는 것을 방지하는 데 도움이 될 수 있습니다.
  • 이동 및 조기 경력 개발을 위한 자금 제공을 포함하여 다양한 정체성을 가진 제공자를 모집하고 유지하기 위한 기관, 주 및 국가 정책을 옹호하면 더 많은 인구를 대표하는 인력 개발을 촉진할 수 있습니다. 

Minimizing bias in assessment requires institutional policies that codify fairness and equity in assessment. Policies should guide and support equity and antioppression in learning opportunities and experiences, assessment, and grading and advancement decisions.18 For example,

  • implementing policies that require data review and analysis to monitor for and identify group differences in performance outcomes is a crucial step in addressing bias and mitigating structural inequities.
  • Policies about assessment can also help avoid the overweighting of exam scores in performance assessment, which might otherwise negatively impact trainees’ opportunities for career advancement.
  • Advocacy for institutional, state, and national policies to recruit and retain providers of diverse identities, including provision of funding for moving and early career development, promotes development of a workforce representative of the larger population.

학습과 성과를 촉진하는 평가 설계
Design assessment to foster learning and outcomes

3. 평가를 시스템으로 구현합니다.
3. Implement assessment as a system.

임상 평가는 전반적인 평가 시스템 내에서 개념화되어야 하며, 여러 개별 평가 소스의 정보를 결합하고 역량 기반 의학교육(CBME)의 통합 구조와 프로그램 평가 원칙을 사용하여 종합해야 합니다.25 교육 결과를 정의하는 프레임워크인 CBME는 학습자와 평가자에게 학습자 성과에 대한 명확한 기대치를 제공합니다.52 평가 시스템은 기준 기반 표준(동료와의 규범적 비교가 아닌 사전 정의된 표준과 비교)과 기대치를 사용하여 CBME 프레임워크에 맞게 조정할 수 있습니다. CBME에서는 모든 학습자가 이정표를 따라 성장하고 있다는 가정을 통해 개발과 개선을 정상화하고 개별 역량에 도달할 수 있는 기회를 제공합니다.27 
Clinical assessments should be conceptualized within an overall assessment system, combining information from multiple sources of individual assessments and synthesized using a unifying structure of competency-based medical education (CBME) and principles of programmatic assessment.25 As a framework that defines the outcomes of training, CBME affords clearly articulated expectations for learner performance for learners and assessors.52 Assessment systems can be tailored to align with the CBME framework, using criterion-based standards (comparing with a predefined standard rather than normative comparison with peers) and expectations. With CBME, the assumption that all learners are growing along milestones normalizes development and improvement and invites opportunity for individual paths to competence.27

프로그램식 평가는 CBME를 운영하기 위한 접근 방식으로, 그룹 의사 결정을 통해 모든 평가 데이터를 수집하고 검토하는 엄격한 절차를 보장합니다.53 프로그램식 평가에서는 단일 인상이나 점수로 결론을 내리는 것이 아니라 많은 평가 데이터 포인트가 전반적인 성과에 대한 판단에 기여합니다. 샘플링은 평가자 또는 활동의 가변성의 한계를 광범위하게 극복하고 공정성을 높이고 편견을 최소화하는 학습자 성과에 대한 균형 잡힌 관점을 생성합니다. 
Programmatic assessment is an approach to operationalize CBME, ensuring rigorous procedures to collect and review all assessment data using group decision making.53 In programmatic assessment, many assessment data points contribute to judgments about overall performance, rather than single impressions or scores driving conclusions. Sampling broadly overcomes limitations of variability in assessors or activities and creates a well-rounded view of learner performance that advances fairness and minimizes bias.

4. 학습자를 형성적으로 평가할 수 있는 기회를 극대화합니다.
4. Maximize opportunities to assess learners formatively.

고품질의 형성적 평가에 대한 노력은 편견을 극복하고 학습 및 평가의 형평성을 증진하는 데 도움이 됩니다. 고부담의 평가 전에 저부담의 평가를 통해 피드백을 제공하면 학습자가 피드백을 통해 성장한 모습을 보여줄 수 있습니다.40 이러한 관행은 연습 기회가 없었던 학습자에게는 놀랍고 연습 기회가 있었던 학습자에게는 익숙한 총평 형식 또는 내용일 때 발생하는 편견을 방지합니다. 학습자와 교사 간의 파트너십을 구축하기 위해 고안된 형성 평가는 모든 학습자에게 연습하고 피드백을 받을 수 있는 기회를 제공합니다.54 형성 평가에서

학습자의 역할은

  • 관찰과 피드백을 구하고
  • 학습 활동을 다시 시도하여
  • 해결할 학습 격차를 파악하는 것을 수반합니다.

감독자의 역할

  • 학습 기대치를 명확히 하고,
  • 학습자가 문제를 해결하거나 과제를 수행하는 과정을 관찰하고,
  • 구체적인 피드백을 제공하고,
  • 학습자가 자신의 성과를 반성하도록 유도하는 것입니다.  

A commitment to high-quality formative assessment helps overcome bias and promote equity in learning and assessment. Providing feedback through low-stakes before high-stakes assessment offers learners opportunities to demonstrate growth from feedback.40 This practice avoids the bias that arises when summative assessment formats or content are a surprise to learners who didn’t have practice opportunities and familiar to those who did. Formative assessment designed to create partnerships between learners and their teachers affords all learners opportunities to practice and receive feedback.54 

  • The learner role in formative assessment entails
    • seeking observation and feedback and
    • identifying learning gaps to address
    • by reattempting a learning activity.
  • A supervisor’s role is to
    • clarify learning expectations,
    • observe the learner working on problems or doing tasks,
    • provide specific feedback, and
    • engage the learner in reflecting on their performance.

평가 절차 준수
Attend to assessment procedures

5. 평가 설계 전반에 걸쳐 편향성을 고려합니다.
5. Consider bias throughout assessment design.

블루프린트을 사용하여 평가를 설계하고 평가 항목의 내용을 검토하는 것은 잠재적인 편향을 식별하고 바람직한 교육 결과에 초점을 맞추는 데 매우 중요합니다. 억압과 차별적 평가 결과를 지속시키는 개인적 편견과 구조를 포함하여 임상 주제와 편견의 원인을 모두 이해하는 전문가 또는 전문가 패널을 참여시켜 문항과 평가 도구/접근법을 검토하면 고정관념이나 편견을 지속시키는 문제가 있는 문항을 제거하거나 수정할 수 있습니다.51 이러한 전문가 검토자는 평가가 CBME 프로그램에 정의된 결과 기대치를 전체적으로 어느 정도 반영하는지 질문해야 합니다. 구조적으로 억압받는 배경을 가진 학습자 및 기타 개인으로 구성된 자문 그룹은 교육자에게 평가에 대한 자신의 경험을 알리고 편견을 최소화할 수 있는 영역을 제안할 수 있습니다. 
Using blueprints to design assessments and reviewing the content of assessment items is critical to identifying potential bias and maintaining focus on desired outcomes of training. Engaging experts, or an expert panel, who understand both the clinical subject matter and sources of bias, including individual biases and structures that perpetuate oppression and differential assessment outcomes, to review items and assessment tools/approaches enables removal or revision of problematic items that perpetuate stereotypes or bias.51 These expert reviewers should ask the degree to which the assessment overall reflects the outcome expectations defined in the CBME program. An advisory group of learners and other individuals from structurally oppressed backgrounds can inform educators about their experiences with assessment and suggest areas to minimize bias.

6. 편견을 최소화하는 평가 절차를 사용합니다.
6. Use rating procedures that minimize bias.

루브릭(마일스톤이 이러한 목적에 부합할 수 있음)을 사용하여 수행 기대치 및 수행 수준을 정의하는 구조에 부합하는 평가 척도를 개발하면 기준이 명확하고 일관되게 설정됩니다.55 학습자와 루브릭을 공유하면 교수자와 학습자가 이러한 이해에 일치하게 됩니다. 학습자의 이름 또는 사진을 숨길 수 있는 경우, 이 전략은 학습자에 대한 다른 관찰에 기반한 확증 편향(즉, 교수자가 평가 데이터를 학습자에 대해 이미 생각한 바를 확인하는 것으로 간주하는 것)을 완화할 수 있습니다. 
Using rubrics (milestones can serve this purpose) to develop construct-aligned rating scales that define performance expectations and levels of performance makes criteria clear and consistent.55 Sharing rubrics with learners aligns faculty and learners in this understanding. In cases where concealing learner names and/or photos is possible, this strategy may mitigate confirmation bias based on other observations of the learner (i.e., faculty member views the assessment data as confirmation of what they already thought of the learner).

7. 내러티브 평가를 통합합니다.
7. Incorporate narrative assessment.

학습자 성과에 대한 설명은 평가자가 일반적인 인상을 바탕으로 숫자를 부여하는 것이 아니라 학습자와 학습자의 작업을 관찰해야 합니다. 따라서 평가자는 미리 정의된 기대치에 대해 자신의 평가와 인상을 정당화해야 합니다. 소수 배경을 가진 학습자는 내러티브가 공평하고 유익하다고 강조합니다.27 
Descriptions of learner performance require that assessors observe learners and their work, rather than just assign a number based on a general impression. Thus, assessors are prompted to justify their ratings and impressions against predefined expectations. Learners from minoritized backgrounds highlight narratives as equitable and beneficial.27

8. 의사 결정에 그룹 프로세스를 사용합니다.
8. Use group processes for decision making.

평가 설계는 교수진 패널 간의 공동 토론을 통해 학습자의 진도 및 진도에 대한 합의된 결정에 도달하여 편견을 완화하도록 최적화할 수 있습니다. 평가 및 채점 시 그룹 검토는 개인의 편견 위험을 줄이고 구성원이 서로의 해석에 의문을 제기하고 이의를 제기함으로써 교수개발의 한 형태가 될 수 있습니다.56 그룹에는 채점 위원회, 진도 위원회 및 임상 역량 위원회가 포함됩니다.57,58 다양한 배경 특성(성별, 연령, 인종/민족 포함) 및 경험을 가진 다양한 그룹 구성원을 모집하면 평가 대상 학습자 집단을 반영하는 등 관점을 넓히고 의사 결정을 강화할 수 있습니다. 그룹 구성원은 자신의 책임과 업무 수행 방법에 대한 공유된 사고 모델을 협상해야 합니다.59 공유된 사고 모델은 기대 학습자 성과에 대한 이해, 평가 데이터 해석 및 기대치와 비교한 학습자의 성과에 대한 그룹의 의사 결정에 대한 접근 방식을 가이드합니다. 학습자의 진도에 대한 의사 결정을 담당하는 그룹은 편견을 피하기 위한 노력을 공유하고 편견을 최소화하기 위한 절차를 통합해야 합니다.56 학습자의 성과 관찰에 기반한 구조화된 토론은 비구조화된 토론, 그룹 응집력에 대한 과도한 헌신, 학습자에 대한 일화적 증거에 대한 과도한 의존에서 나타나는 편견을 최소화합니다.56 
Assessment design can be optimized to mitigate bias using collaborative discussion among a panel of faculty to reach consensus decisions on learner promotion and progress. Group review in assessment and grading reduces the risk of individual bias and can serve as a form of faculty development as members question and challenge one another’s interpretations.56 Groups include grading committees, progress committees, and clinical competency committees.57,58 Recruiting diverse group members with a range of background characteristics (including gender, age, race/ethnicity) and experiences, including those that reflect the learner population being assessed, broadens perspectives and strengthens decisions. Group members should negotiate a shared mental model of their charge and how they will accomplish their work.59 Shared mental models guide understanding of expected learner performance, interpretation of assessment data, and approaches to the group’s decision making about learners’ performance compared with expectations. Groups charged with decision making about learners’ progress must share commitment to avoiding bias and incorporate procedures to minimize bias.56 Structured discussions based on observations of learners’ performance minimize biases that manifest with unstructured discussions, excessive commitment to group cohesion, and overreliance on anecdotal evidence about learners.56

품질 보증 촉진
Promote quality assurance

9. 평가 시스템 설계, 유지 관리 및 개선에 다양한 배경과 관점을 가진 개인을 포함시킵니다.
9. Include individuals with diverse backgrounds and perspectives in assessment system design, maintenance, and improvement.

평가 시스템 설계, 선택한 도구 및 문항 검토, 표본 추출 및 채점 절차, 결과 검토에 다양한 목소리를 참여시키면 불공정한 문항이나 절차를 유발하는 편견을 발견할 수 있습니다. 예를 들어, 학습자 또는 커뮤니티 구성원은 고정관념을 고착화하거나 학습자 하위 그룹에 장벽을 제시하는 평가 도구 또는 항목을 식별할 수 있습니다. 이러한 절차에 학습자를 참여시키는 것은 학습자가 자신의 개발에 참여하기 위한 전략으로서 공동 제작에 대한 권장 사항을 준수하는 것입니다.60  
Engaging diverse voices in assessment system design, review of selected tools and items, procedures for sampling and scoring, and review of outcomes can reveal biases that drive unfair items or procedures. For example, learners or community members could identify assessment tools or items that perpetuate stereotypes or present barriers for subgroups of learners. Involving learners in these procedures adheres to recommendations for co-production as a strategy for learner engagement in their own development.60

10. 평가 데이터 및 결과를 모니터링합니다.
10. Monitor assessment data and consequences.

평가 시스템 내에 존재할 수 있는 편견을 발견하기 위해서는 정기적인 데이터 검토가 필수적입니다. 편향의 신호가 될 수 있는 하위 그룹 성과 차이에 대한 평가 데이터의 지속적인 검토를 안내하는 품질 개선 절차를 개발하면 적시에 개입할 수 있습니다.61 교육 프로그램은 평가 사무소와 협력하여 DIF 분석과 같은 심리측정 방법을 사용하여 편향의 신호를 조사하여 학습자가 속한 UIM 그룹에 따라 다르게 능력을 측정할 수 있는 평가 항목을 식별해야 합니다. 평가 결과는 교육 리더, 교수진, 학습자와 공유하여 투명성을 높이고 다양한 이해관계자의 정보를 바탕으로 문제를 해결할 수 있도록 해야 합니다. 교육자는 평가 데이터를 기반으로 부적절하거나 불공정한 점수 해석을 사용하지 않도록 보호하고 불평등을 지속시키는 절차를 적시에 수정해야 합니다. 
Committing to regular data review is essential to uncovering bias that may exist within the assessment system. Developing quality improvement procedures to guide ongoing review of assessment data for subgroup performance differences that can signal bias enables timely intervention.61 Educational programs should collaborate with offices of assessment to examine signals for bias using psychometric methods, such as DIF analyses, to identify assessment items that may measure ability differently based on UIM groups to which the learner belongs. Results should be shared with education leaders, faculty, and learners to promote transparency and enable problem solving informed by diverse stakeholders. Educators must safeguard against using inappropriate or unfair score interpretations based on assessment data and make timely corrections to procedures that perpetuate inequity.

공평한 학습 및 평가 환경 조성
Foster an equitable learning and assessment environment

11. 학습의 맥락을 최적화합니다.
11. Optimize context of learning.

이 원고에서 다루지 않았지만, 모든 학습자가 연습하고, 피드백에 대해 토론하고, 최고의 성과에 따라 평가받을 수 있는 기회를 경험하려면 학습 환경에 대한 관심이 중요합니다. 모든 학습 환경에서 임상 팀 내에서 포용성을 배양하고 미세공격을 최소화하는 전략이 이러한 목표를 지원합니다.

  • 학습자가 차별이나 괴롭힘 사례를 보고할 수 있는 시스템을 구축하면 학습자에게 권한을 부여하고 문제가 있는 개인과 구조를 파악할 수 있습니다. 이 시스템은 필요한 경우 기관의 조사와 조치로 이어져야 합니다.
  • 구조적으로 억압받는 집단에서 교수진을 채용하면 모든 학습자의 학습 환경이 개선되고 평가에서 형평성을 추구하는 교수진의 역량이 강화됩니다.51
  • UIM 학습자를 위한 멘토십 프로그램은 소속감을 고취하고 교육 프로그램 전반에 걸쳐 지원을 제공할 수 있습니다.
  • 장애 자원 담당자가 주도하는 잘 홍보된 편의 제공 프로세스는 장애 학습자의 공정성을 촉진합니다. 

Though beyond the scope of this manuscript, attention to the learning environment is critical for all learners to experience opportunities to practice, discuss feedback, and be assessed based on their best performance. Strategies to cultivate inclusivity within clinical teams in all learning environments and minimize microaggressions support this aim.

  • Creating a system for learners to report instances of discrimination or harassment empowers them and identifies problematic individuals and structures. This system must lead to institutional investigation and action when appropriate.
  • Recruiting faculty from structurally oppressed groups improves the learning environment for all learners and strengthens the ability of the faculty at large to pursue equity in assessment.51 
  • Mentorship programs for UIM learners can promote feelings of belonging and offer support throughout the training program.
  • A well-advertised accommodations process led by disability resource personnel promotes fairness for learners with disabilities.

12. 평가의 편견과 공정성에 대한 교수진 개발을 제공합니다.
12. Provide faculty development on bias and fairness in assessment.

평가의 편향성은 교수자 개발을 통해 모든 수준에서 잠재적으로 완화될 수 있습니다. 학습자와 피드백을 논의하거나, 학습자의 성과에 대한 더 높은 수준의 평가에 참여하거나, 평가를 개발하고 해석하는 교수진은 편향성에 대한 교육이 필요합니다. 교육의 목표는

  • 첫째, 암묵적 편견의 가능성과 학습자 평가에 대한 자신의 편견에 대한 취약성을 인식하고
  • 둘째, 반성과 지속적인 학습을 촉진하는 것입니다.62

편견을 완전히 제거할 수는 없지만, 암묵적 편견을 식별하고 최소화하는 기술을 포함하여 편견을 해결하기 위한 전략을 교육할 수 있습니다. 사기꾼 증후군, 고정관념 위협, 미세 공격에 대처하는 심리적으로 안전한 학습 환경 조성에 관한 교육을 통해 교수진은 학습자가 최고의 학습과 성과를 달성할 수 있는 환경을 조성할 준비를 할 수 있습니다. 
Bias in assessment can potentially be mitigated at all levels through faculty development. Faculty who discuss feedback with learners, participate in higher-stakes assessment of learner performance, or develop and interpret assessments require training about bias. The goals of training are:

  • first, to bring awareness to the potential for implicit bias and for one’s own vulnerability to bias in ratings of learners, and
  • second, to promote reflection and continued learning.62 

While bias may not be fully eliminated, strategies to address bias can be trained, including skills to identify and minimize implicit bias. Training about creating psychologically safe learning environments that addresses imposter syndrome, stereotype threat, and microaggressions prepares faculty to foster environments that allow learners to achieve their best learning and performance.

평가의 질에 대한 교수진에 대한 피드백은 교육의 중요한 구성 요소입니다.63 워크숍에 참석하거나 자료를 검토한 교수진은 교육이 끝난 것이 아니라 임상의가 임상에서 계속 배우고 개선하는 것처럼, 교육은 교육자를 위한 지속적인 개선 과정입니다. 구조화된 도구를 사용하여 학습자의 임상 성과에 대한 교수자 평가 및 서술형 평가의 품질을 측정한 다음 해당 정보를 교수자 평가자에게 제공하면 후속 평가의 품질이 향상됩니다.64
Feedback to faculty on the quality of their assessments is an important component of training.63 Faculty who attended a workshop or reviewed materials are not done with their training; rather, training is an ongoing process of continuous improvement for educators, just as clinicians continue to learn and improve in their clinical practice. Using a structured tool to measure quality of faculty ratings and narrative assessments of learners’ clinical performance and then providing that information to faculty raters improves their subsequent assessment quality.64

결론
Conclusions

이 문서에서는 임상 학습자를 중심으로 평가에서 유해한 편견의 결과적 영향에 대한 개요를 제공합니다. 편견에 대한 정의를 제공하고 측정, 의학교육 및 사회문화 분야 전반에 걸친 문헌을 종합합니다. 유해한 편견을 입증하는 증거가 증가하고 있지만, 여전히 커뮤니티에서 더 많은 강조와 집단적 사고가 필요한 주제입니다. 이 가이드라인에서는 평가 편향을 완화하기 위한 권장 사항과 지침을 제시합니다. 

  • 평가 가치에 초점을 맞추고,
  • 평가 시스템 설계 및 평가 절차에 주의를 기울이고,
  • 그룹 심의 의사결정 과정학습자 홍보를 위한 모범 사례를 소개하고,
  • 형평성 관점에서 평가 시스템을 모니터링하고,
  • 평가 결과를 검토하고,
  • 공평한 학습 환경을 조성함으로써

이 가이드라인은 공정성 원칙과 타당성 증거에 부합하는 평가를 사용하여 학습자에게 학습 기회를 제공합니다. 우리는 방어 가능한 관련 절차 및 프로세스를 갖춘 강력한 평가 시스템을 개발하고, 학습자에게 공평한 방식으로 의미 있는 학습을 제공하며, 궁극적으로 환자 안전과 공중 보건을 보호하고자 합니다. 
This article provides an overview of consequential effects of harmful bias in assessments, focusing on clinical learners. We provide a definition of bias and synthesize literature across measurement, medical education, and sociocultural disciplines. While evidence documenting harmful bias is growing, it remains a topic that needs greater emphasis and collective thought from the community. We present recommendations and guidelines to mitigate assessment bias by

  • focusing on assessment values,
  • attending to assessment system design and assessment procedures,
  • introducing best practices for group deliberation decision-making processes and learner promotion,
  • monitoring the assessment system from an equity perspective,
  • reviewing assessment consequences, and
  • fostering an equitable learning environment.

These guidelines provide learning opportunities for learners through use of assessments that conform to principles of fairness and validity evidence. We aspire to develop robust assessment systems with associated procedures and processes that are defensible, provide meaningful learning to learners in an equitable manner, and ultimately protect patient safety and public health.


 

 

Acad Med. 2023 Apr 21. doi: 10.1097/ACM.0000000000005245. Online ahead of print.

 

 

"My Assessments Are Biased!" Measurement and Sociocultural Approaches to Achieve Fairness in Assessment in Medical Education

Affiliations collapse

Affiliations

1K.E. Hauer is associate dean for competency assessment and professional standards, and professor, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California; ORCID: http://orcid.org/0000-0002-8812-4045.

2Y.S. Park is associate professor and associate head, Department of Medical Education, University of Illinois at Chicago College of Medicine, Chicago, Illinois; ORCID: http://orcid.org/0000-0001-8583-4335.

3J.L. Bullock is a fellow, Department of Medicine, Division of Nephrology, University of Washington School of Medicine, Seattle, Washington; ORCID: http://orcid.org/0000-0003-4240-9798.

4A. Tekian is professor and associate dean for international education, Department of Medical Education, University of Illinois at Chicago College of Medicine, Chicago, Illinois; ORCID: http://orcid.org/0000-0002-9252-1588.

PMID: 37094278

DOI: 10.1097/ACM.0000000000005245

Abstract

Assessing learners is foundational to their training and developmental growth throughout the medical education continuum. However, growing evidence shows the prevalence and impact of harmful bias in assessments in medical education, accelerating the urgency to identify solutions. Assessment bias presents a critical problem for all stages of learning and the broader educational system. Bias poses significant challenges to learners, disrupts the learning environment, and threatens the pipeline and transition of learners into health professionals. While the topic of assessment bias has been examined within the context of measurement literature, limited guidance and solutions exist for learners in medical education, particularly in the clinical environment. This article presents an overview of assessment bias, focusing on clinical learners. A definition of bias and its manifestations in assessments are presented. Consequences of assessment bias are discussed within the contexts of validity and fairness and their impact on learners, patients/caregivers, and the broader field of medicine. Messick's unified validity framework is used to contextualize assessment bias; in addition, perspectives from sociocultural contexts are incorporated into the discussion to elaborate the nuanced implications in the clinical training environment. Discussions of these topics are conceptualized within the literature and the interventions used to date. The article concludes with practical recommendations to overcome bias and to develop an ideal assessment system. Recommendations address articulating values to guide assessment, designing assessment to foster learning and outcomes, attending to assessment procedures, promoting continuous quality improvement of assessment, and fostering equitable learning and assessment environments.

보건의료전문직교육에서 학생의 학습동기와 성과에 평가가 미치는 영향: 검토와 실재주의자 통합(Acad Med, 2023)
The Effect of Assessments on Student Motivation for Learning and Its Outcomes in Health Professions Education: A Review and Realist Synthesis
Rashmi A. Kusurkar, MD, PhD, Cesar Orsini, MEd, DHPE, Sunia Somra, MSc, Anthony R. Artino Jr, PhD, Hester E.M. Daelmans, MD, PhD, Linda J. Schoonmade, and Cees van der Vleuten, PhD 

 

일반적으로 고등 교육, 특히 보건 전문직 교육(HPE)에서 저자들은 "평가가 학습을 주도한다", "학습을 위한/위한 평가", "학습으로서의 평가"와 같은 문구를 사용하여 평가가 학습에 미치는 영향에 대해 논의해 왔습니다.1-3 그러나 이러한 과학적 논의에서 평가가 학습 동기의 질과 그 결과에 미치는 영향은 대부분 소홀히 다루어져 왔습니다. 고부담 평가는 장기적으로 학생의 자율적 동기를 저해할 뿐만 아니라4 심리적 고통을 유발할 수 있기 때문에 이러한 격차는 중요합니다.5 따라서 고부담 평가가 동기 부여에 미치는 영향은 평가가 학습 및 심리적 안녕에 영향을 미치는 하나의 인과 메커니즘일 수 있습니다.6,7 이 검토에서는 평가가 학생의 학습 동기에 어떻게 영향을 미치고, 이는 다시 학습 및 심리적 안녕 결과에 영향을 미치는지에 대한 보건 전문직 교육자의 이해를 높이는 것을 목표로 하고 있습니다.  
In higher education, in general, and in health professions education (HPE), more specifically, authors have debated the effect of assessments on learning, with phrases like “assessment drives learning,” “assessment for/of learning,” and “assessment as learning” pervading the literature.1–3 However, the effect of assessments on the quality of student motivation for learning and its consequences have been largely neglected in this scientific dialogue. This gap is important as high-stakes assessments can not only hamper students’ autonomous motivation in the long term4 but also produce psychological distress.5 Thus, high-stakes assessment's effect on motivation could be one causal mechanism by which assessment influences learning and psychological well-being.6,7 In this review, we aim to improve health professions educators’ understanding of how assessments influence student motivation for learning, which in turn has an effect on learning and psychological well-being outcomes.

이 검토에서 심리적 안녕은 기분이 좋고 효과적으로 기능하는 것을 포함합니다.7 따라서 부정적인 심리적 안녕은 이 두 가지 중 하나 또는 둘 다 손상된 것으로 특징지어집니다.7 학습"연습 또는 다른 형태의 경험에서 비롯되는 행동의 지속적인 변화 또는 주어진 방식으로 행동할 수 있는 능력"을 의미합니다.8 
For this review, psychological well-being includes feeling good and functioning effectively.7 Thus, negative psychological well-being would be characterized as either or both of these being compromised.7 Learning denotes “an enduring change in behavior or the capacity to behave in a given fashion, which results from practice or other forms of experience.”8

교육자는 학생의 지식과 기술에 대한 총체적인 평가를 제공하는 것과 함께, 평가를 통해 학습을 이끌어내려는 의도를 가지고 있는 경우가 많습니다. 반면에 학생들은 학습보다는 '성과'에 초점을 맞추는 경우가 많습니다.9,10 이는 평가의 의도와 영향력 사이에 큰 차이가 있음을 나타냅니다. "2018 좋은 평가를 위한 합의 프레임워크"에서는 학생 동기와 관련된 교육적 효과와 촉매적 효과를 포함하여 평가에 대한 7가지 기준을 권장합니다.11

  • 교육적 효과는 학생이 교육적 혜택을 준비하고 생산하도록 동기를 부여하는 평가를 말하며,
  • 촉매적 효과는 교육을 창출, 개선 및 지원하는 이해 관계자에게 동기를 부여하는 결과와 피드백을 제공하는 평가를 말합니다.11

Along with providing summative evaluations of students’ knowledge and skills, educators often intend for assessments to produce learning. Students, on the contrary, often focus on “giving a performance” rather than on learning.9,10 This represents a major gap between the intention and impact of assessments. The “2018 consensus framework for good assessment” recommends 7 criteria for assessments, including that they have educational and catalytic effects that are concerned with student motivation.11 

  • Educational effects refer to assessments motivating students to prepare for and produce educational benefit, whereas
  • catalytic effects refer to assessments providing results and feedback that motivate stakeholders in creating, improving, and supporting education.11 

이 프레임워크에서는 교육적 혜택에 초점을 맞추기 때문에 동기 부여의 개념이 다소 제한적이며, 교육이 학생의 호기심을 불러일으키고 자극해야 한다는 동기 부여의 측면을 무시합니다.12,13 Lineberry는 학생 동기를 고려하고 교육에서 학습과 성과를 장려하는 주요 방법으로 평가를 사용할 것을 권장하는 "학습에 영향을 미치는 평가"의 개념을 제시합니다.9 그러나 이러한 접근 방식은 통제된 동기자율적 동기를 통해 학생의 학습을 촉진하는 것을 구분하거나 통제된 동기를 촉진하는 것이 자율적 동기에 해로운 영향을 미치는 문제를 다루지 않습니다.12,13 동기를 자율적 동기(진정한 관심 및/또는 개인적으로 지지하는 중요성)와 통제된 동기(내부 또는 외부 압력 또는 보상이나 제재에 따른 조건부)로 분류하는 동기 자기 결정 이론(SDT)은 통제된 동기보다는 자율적 동기를 촉진하기 위해 평가를 어떻게 개념화해야 하는지에 대한 지침을 제공할 수 있습니다.12,13 통제된 동기와 비교하여 자율적 동기는 심층 학습, 학업 성취도 향상, 창의성 및 심리적 안녕과 관련이 있습니다.12-14 자율적 동기를 자극하는 것은 자율성(학습에 대한 선택감), 유능감(학습 능력), 관련성(또래 집단에 대한 소속감)이라는 세 가지 기본 심리적 욕구의 충족에 달려 있습니다. 반대로 통제된 동기는 이러한 욕구의 좌절에 의해 자극됩니다.12-14 
In this framework, the concept of motivation is rather limited, as it focuses on the educational benefit, while ignoring the aspect of motivation suggesting education should inspire and stimulate student curiosity.12,13 Lineberry puts forward the concept of “assessment affecting learning,” which considers student motivation and recommends using assessment as the primary way of encouraging learning and performance in education.9 But, this approach does not differentiate between driving student learning through controlled and autonomous motivation or address the problem of how driving controlled motivation has a harmful effect on autonomous motivation.12,13 Self-determination theory (SDT) of motivation—which classifies motivation as autonomous (out of genuine interest and/or personally endorsed importance) and controlled (out of internal or external pressure or contingent on rewards or sanctions)—can provide guidance on how assessments should be conceptualized to foster autonomous rather than controlled motivation.12,13 Autonomous motivation as compared with controlled motivation is associated with deep learning, better academic performance, higher creativity, and psychological well-being.12–14 Stimulating autonomous motivation is contingent on the satisfaction of 3 basic psychological needs: autonomy (sense of choice in learning), competence (sense of capability for learning), and relatedness (sense of belonging to the peer group). In contrast, controlled motivation is stimulated by the frustration of these needs.12–14

SDT는 고부담의 평가가 학생들의 자율적인 학습 동기에 해로운 영향을 미치고 교육 관행을 부패시킬 수 있다고 가정합니다.4 교육자가 형성 평가총괄 평가를 구분한 후에도 학생들은 종종 형성 평가의 순간을 총괄 평가의 순간으로 인식하는 경우가 많습니다. 학생들은 형성 평가에서 최고의 성적을 거둔 순간을 선택하여 성적을 관리하려고 합니다.15 이는 평가가 미래의 교육 기회를 결정하는 데 도움이 되는 경우가 많다는 생각에 뿌리를 두고 있을 수 있습니다. 따라서 이러한 현상은 주로 학습을 위한 평가 기회로 설계된 프로그램 평가와 같은 정교한 평가 시스템이나 프로그램에서도 발생할 수 있습니다.16 프로그램 평가를 채택한 의과대학에서 학생들은 평가 결과에 대한 통제감을 느끼지 못할 때 형성 평가를 총괄 평가처럼 취급하는 것으로 나타났습니다.17 이는 특히 정답이 구조화된 지식 기반 평가의 경우, 교사와의 신뢰 관계가 부족하고 평가가 수행 능력 향상에 사용될 수 없는 경우 더욱 그렇습니다.17 또한 교사는 교육과정 개발자의 의도와 다르게 평가를 시행할 수 있습니다(예: 임상 감독자마다 역량 채점 기준을 다르게 적용하는 것으로 밝혀짐).3,18 이는 평가의 의도와 영향 사이의 격차를 확대할 수 있는 추가적인 요인입니다. 따라서 좋은 의도의 평가 시스템이나 프로그램이라도 잘못 시행하면 학생의 동기 부여에 역행할 수 있습니다.19 
SDT posits that high-stakes assessments have deleterious effects on students’ autonomous motivation for learning and can corrupt educational practices.4 Even after educators distinguish between formative and summative assessments in HPE, students often perceive formative moments as summative ones. They try to control their grades by choosing their best performance moments for their formative assessments.15 This may be rooted in the notion that assessments often help to determine future educational opportunities. This can, therefore, happen even in sophisticated assessment systems or programs, like programmatic assessment, which is primarily designed as an assessment for learning opportunity.16 In medical schools that have adopted programmatic assessment, students have been found to treat formative assessments like summative assessments when they do not feel a sense of control over the assessment outcome.17 This is especially true for knowledge-based assessments with structured answers, when there is a lack of a trusting relationship with teachers and when assessments cannot be used for improving performance.17 Moreover, teachers may implement assessments differently than intended by curriculum developers (e.g., different clinical supervisors have been found to apply standards for scoring competencies differently).3,18 This is an additional factor that can widen the gap between the intention and impact of assessments. Thus, even a well-intentioned assessment system or program may work against student motivation if implemented incorrectly.19

따라서 이 검토는 HPE 문헌에 보고된 바와 같이 평가가 동기에 미치는 영향과 그 결과를 조사하여 학생의 호기심과 자율적 동기를 자극하여 궁극적으로 학습과 장기적인 임상 성과 및 심리적 안녕을 촉진하는 평가를 설계하기 위한 과학적 근거를 제공하는 것을 목표로 합니다. 이 검토를 이끄는 연구 질문은 다음과 같습니다: HPE에서 평가는 학생의 학습 동기에 어떤 영향을 미치는가? 어떤 상황에서 어떤 결과를 가져오는가? 
Therefore, this review aims to examine the effect of assessments on motivation and its consequences, as reported in the HPE literature, thereby attempting to provide a scientific grounding for designing assessments that stimulate student curiosity and autonomous motivation which, in turn, should ultimately foster learning and long-term clinical performance and psychological well-being. The research questions guiding this review were: How do assessments affect student motivation for learning in HPE? What outcomes does this lead to in which contexts?

조사 방법
Method

체계적인 방식으로 검색을 수행했으며 데이터 분석을 위해 실재주의적 종합 방법을 사용했습니다. 방법론 논문과 함께 HPE에 게재된 현실주의적 검토를 인용하여 방법을 안내했습니다.20-24 
We conducted our search in a systematic manner and used realist synthesis method for data analysis. We used the cited realist reviews published in HPE along with methodology articles to guide our method.20–24

검색 전략
Search strategy

검색 전략은 정보 전문가(L.J.S.)와 함께 반복적으로 개발했으며, 실현 가능성을 고려하여 2010~2020년으로 제한했습니다.21 2020년 10월, 2010년 1월 1일부터 2020년 10월 29일까지의 논문을 포함하는 6개의 서지 데이터베이스(PubMed, Embase, APA PsycInfo, ERIC(교육자원정보센터), CINAHL, Web of Science Core Collection)에서 언어 제한 없이 종합적인 검색을 수행했습니다. 다음 용어는 색인어 또는 자유 텍스트 단어의 반복적으로 개발된 3개의 검색 문자열(동의어 및 밀접하게 관련된 단어 포함)에 사용되었습니다: "평가" 및 "동기 부여" 및 "보건 전문직 교육/학생"(보충 디지털 부록 1 참조). 중복 논문은 제외되었습니다. 더 관련성이 높은 논문을 찾기 위해 포함된 모든 논문의 참고문헌에 대해 눈덩이 검색을 실시했습니다. 
The search strategy was developed iteratively with an information specialist (L.J.S.) and was limited to 2010–2020 because of feasibility considerations.21 In October 2020, a comprehensive search was performed in 6 bibliographic databases—PubMed, Embase, APA PsycInfo, ERIC (Education Resources Information Center), CINAHL, and Web of Science Core Collection—that included articles from January 1, 2010, to October 29, 2020, with no language restrictions. The following terms were used in 3 iteratively developed search strings (including synonyms and closely related words) of index terms or free-text words: “assessments” AND “motivation” AND “health professions education/students” (see Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/B420 for the full search strategy). Duplicate articles were excluded. A snowball search was conducted on the references of all included articles to identify more relevant articles.

포함 기준
Inclusion criteria

HPE에서 평가(모든 유형)가 학생의 학습 동기에 미치는 영향을 조사하고, 경험적 논문 및 문헌 고찰이며, 양적, 질적 또는 혼합 방법을 사용한 논문이 포함되었습니다. 
Articles were included if they investigated the effect of assessments (all types) on student motivation for learning in HPE; were empirical papers and literature reviews; and used quantitative, qualitative, or mixed methods.

제외 기준
Exclusion criteria

HPE가 아닌 집단을 조사했거나, 평가와 동기를 다루지 않았거나, 비경험적 출판물(의견, 관점, 편지, 사설, 논평, 논문, 학회 초록)이거나, 동기가 결과 측정이 아니거나 측정 또는 평가되지 않은 경우 논문은 제외되었습니다. 
Articles were excluded if they examined a non-HPE population, were not on assessments and motivation, were nonempirical publications (opinions, perspectives, letters, editorials, commentaries, dissertations, conference abstracts), or if motivation was not an outcome measure or was not measured or evaluated.

엄격성 및 관련성
Rigor and relevance

포함된 논문의 엄격성과 관련성은 사실주의적 합성을 위한 RAMSES(Realist and Meta-narrative Evidence Syntheses: Evolving Standards) 출판 표준에 명시된 대로 평가되었습니다.20,21 엄격성은 결과를 생성하는 데 사용된 방법의 신뢰성과 신뢰성을 평가했습니다. 관련성은 연구 질문에 답하는 데 있어 논문의 중요성을 평가했습니다.20 
The rigor and relevance of included articles were evaluated as specified by the RAMSES (Realist and Meta-narrative Evidence Syntheses: Evolving Standards) standards of publication for a realist synthesis.20,21 Rigor evaluated the credibility and trustworthiness of the method used to generate the results. Relevance evaluated the importance of the article in answering our research questions.20

사실주의 합성을 선택한 이유
Rationale for choosing realist synthesis

저희는 복잡한 주제, 즉 평가가 동기 부여에 미치는 영향이 학습 및 심리적 웰빙 결과에 미치는 영향이라는 의도된 결과와 의도하지 않은 결과를 연구하고 싶었습니다. 현실주의적 종합은 "어떤 메커니즘이 어떤 맥락에서 어떤 결과를 초래하는지"(맥락-기제-결과)를 탐구하기 때문에 우리 분석에 가장 적합한 방법이라고 생각했습니다.20,21 즉, 우리의 의도는 즉시 실제적으로 적용할 수 있는 개입을 찾는 것이 아니었기 때문에 Carrieri와 동료들이 설명한 현실주의적 검토 방법을 따르지 않았습니다(예, 모든 단계에서 중요한 이해관계자를 참여시켜 의사와 의대생의 정신건강 문제를 해결하는 데 가장 적합한 개입을 결정하는 것).25 대신 동기 부여에 영향을 미쳐 학습 및 심리적 웰빙 결과를 산출하는 평가 기능(예: 평가 내용, 형식)의 맥락-기제-결과 구성을 연구하고자 했습니다. 따라서 HPE의 특정 변수에 영향을 미치는 요인을 연구한 다른 저자들이 따르는 현실주의적 방법이 우리의 목표에 더 적합했습니다.21-24 
We wanted to study the intended and unintended consequences of a complex topic—the effect of assessments on motivation and hence on, among others, learning and psychological well-being outcomes. Because realist synthesis explores “which mechanisms lead to what outcomes in which contexts” (context–mechanism–outcome), it seemed to be the most suitable method for our analysis.20,21 That said, we did not follow the realist review method described by Carrieri and colleagues because our intention was not to find an immediately practically applicable intervention (e.g., to determine which intervention is best for tackling doctors’ and medical students’ mental ill-health by involving important stakeholders at all stages).25 Our intention was instead to study the context–mechanism–outcome configurations of assessment features (e.g., assessment content, format) that influence motivation and hence produce, among others, learning and psychological well-being outcomes. Thus, the realist method followed by other authors, who also studied factors influencing certain variables in HPE, suited our objectives better.21–24

데이터 추출
Data extraction

R.A.K.와 C.O. 또는 S.S.는 먼저 모든 제목과 초록을 읽고 포함 또는 제외를 결정한 후 전문을 읽고 추가 포함 또는 제외를 결정했습니다. 의견 차이는 회의에서 논의하고 합의를 통해 해결했습니다. 그런 다음 R.A.K.와 C.O. 또는 S.S.가 독립적으로 기사에서 실제 데이터 문장 또는 구문을 추출하고(보충 디지털 부록 2 참조), 합의를 통해 최종 확정했습니다. 그런 다음 R.A.K는 문맥-메커니즘-결과 데이터(보충 디지털 부록 3 참조)를 추출하여 C.O.와 S.S.가 독립적으로 확인했습니다. 의견 차이는 합의를 통해 해결되었습니다. 
R.A.K. and C.O. or S.S. first read all titles and abstracts to make inclusion or exclusion decisions followed by reading full texts to make further inclusion or exclusion decisions. Differences of opinion were discussed in a meeting and resolved through consensus. R.A.K. and C.O. or S.S. then independently extracted actual data sentences or phrases from the articles (see Supplemental Digital Appendix 2 at https://links.lww.com/ACADMED/B420), which was finalized through consensus. R.A.K then extracted context–mechanism–outcome data (see Supplemental Digital Appendix 3 at https://links.lww.com/ACADMED/B420), which was independently checked by C.O. and S.S. Differences in opinion were resolved through consensus.

데이터 분석
Data analysis

분석의 모든 단계는 R.A.K.가 수행했습니다. 각 단계는 최고운영책임자(CO)와 수석연구원이 독립적으로 확인했습니다. A.R.A. Jr는 무작위로 선정된 6개 논문의 코딩된 데이터를 확인했습니다. 
R.A.K. conducted all steps of the analysis. C.O. and S.S. checked each step independently. A.R.A. Jr checked the coded data of 6 randomly chosen articles.

첫째, R.A.K.는 자율적 또는 통제적 동기의 자극을 식별하기 위해 MAXQDA(버전 2020, VERBI GmbH, 독일 베를린)를 사용하여 SDT로부터 민감화 개념을 사용하여 데이터의 내용 분석을 수행했습니다. 
First, R.A.K. used MAXQDA (version 2020, VERBI GmbH, Berlin, Germany) to conduct a content analysis of the data using sensitizing concepts from SDT to identify stimulation of autonomous or controlled motivation.

둘째, 내용 분석에서 나온 코드를 맥락, 메커니즘 또는 결과로 분류했습니다. 자율적 또는 통제적 동기에 영향을 미치는 조건이 맥락을 구성했습니다. 자율적 또는 통제적 동기가 자극되는 방식은 메커니즘을 구성했습니다. 결과는 학습 및 심리적 웰빙 결과(예: 영감 감소, 성과 문화 조성)로 구성되었습니다.  
Second, she classified the codes from the content analysis as a context, mechanism, or outcome. The conditions which led to effects on autonomous or controlled motivation constituted the context. How autonomous or controlled motivation was stimulated constituted the mechanism. Outcomes comprised learning and psychological well-being outcomes, among others (e.g., decreased inspiration, creation of a performance culture).

셋째, R.A.K.는 맥락-기제-결과 구성을 추출하여 평가 기능이 자율적 또는 통제적 동기를 자극하는 방식에 대한 중요한 프로그램 이론을 제안했습니다. 여기서 제안된 현실주의 프로그램 이론은 연구팀 전체의 합의를 통해 최종 확정되었습니다. 
Third, R.A.K. extracted context–mechanism–outcome configurations to propose overarching program theories on how assessment features stimulate autonomous or controlled motivation. The realist program theories proposed here were finalized through consensus among the whole research team.

결과
Results

포함 및 제외 기준을 적용한 결과 15,291개의 논문 중 24개의 논문이 포함되었습니다(그림 1 참조).26-49 각 논문의 엄격성과 관련성은 부록 디지털 부록 2에 보고되어 있습니다.  
After applying the inclusion and exclusion criteria, 24 out of 15,291 articles were included (see Figure 1).26–49 The rigor and relevance of each article is reported in Supplemental Digital Appendix 2 (at https://links.lww.com/ACADMED/B420).

의대생 또는 레지던트를 대상으로 한 연구는 10건, 간호학과 학생을 대상으로 한 연구는 4건, 의대생과 간호학과 학생을 대상으로 한 연구는 1건, 영양학과 학생을 대상으로 한 연구는 2건, 수의학, 물리치료, 보건학, 구강보건, 의사 보조, 약학, 치의학 학생을 대상으로 한 연구는 각각 1건씩이었습니다. 유럽에서 11건, 호주에서 4건, 아시아와 미국에서 각각 3건, 캐나다에서 2건, 중동에서 1건의 연구가 수행되었습니다. 현실주의적 종합 접근법을 사용했기 때문에 이 리뷰에서는 다양한 평가의 특징에 중점을 두었습니다. 따라서 구체적인 평가는 여기서는 다루지 않았지만 부록 디지털 부록 4에 나열되어 있습니다. 
Ten studies were conducted on medical students or residents; 4 on nursing students; 1 on medical and nursing students; 2 on nutrition students; and 1 each on veterinary medicine, physiotherapy, health sciences, oral health, physician assistant, pharmacy, and dental students. Eleven studies were conducted in Europe, 4 in Australia, 3 each in Asia and the United States, 2 in Canada, and 1 in the Middle East. As we used a realist synthesis approach, we focused on the features of the different assessments in this review. The specific assessments were, therefore, not relevant, but are listed in Supplemental Digital Appendix 4 (at https://links.lww.com/ACADMED/B420). 

분석에서는 SDT의 민감 개념을 사용하여 어떤 평가 기능이 자율적 동기와 통제적 동기를 자극하는지 파악했습니다. 아래에서 이 두 가지 범주 각각에 대한 맥락, 메커니즘 및 결과를 보고합니다(주요 결과의 개요는 차트 1 참조).
In our analysis, we used sensitizing concepts from SDT, to identify which assessment features stimulated autonomous versus controlled motivation. We report the contexts, mechanisms, and outcomes for each of these 2 broad categories below (see Chart 1 for an overview of the main findings).

 

통제된 동기 부여
Controlled motivation

결과.
Outcomes.

통제된 동기를 자극하는 평가의 결과로는 다음 등이 있습니다.33

  • 외부 압력에 의한 노력 증가26-30, 
  • 표면적 및 전략적 학습(흥미 또는 향후 연습을 위해 학습을 희생하면서 평가될 가능성이 있는 내용만 학습)26-28,31-34, 
  • 학생 참여 및 학습 저해34, 
  • 학습에 대한 압박감, 불안, 좌절, 스트레스26,27,33, 
  • 학습 및 개발을 희생한 '성과 문화' 조성33, 
  • 평가 프로그램의 학습 잠재력 저해 

평가에서 통제된 동기를 자극하는 평가는 영감과 동기를 감소시키고35 학생들의 자기 효능감을 감소시키며, 직장 기반 학습에 대한 학생들의 성찰에 색을 입힙니다.33 학습에 대한 압박, 불안, 좌절, 스트레스, 영감 감소, 낮은 자기 효능감은 모두 부정적인 심리적 안녕의 지표로 간주될 수 있습니다.7 
The outcomes of assessments stimulating controlled motivation included

  • higher effort driven by external pressure26–30;
  • surface and strategic learning (learning only what is likely to be assessed, which happened at the expense of learning out of interest or for future practice)26–28,31–34;
  • undermining of student engagement and learning34;
  • feelings of pressure to study, anxiety, frustration, and stress26,27,33;
  • creation of a “performance culture” at the expense of learning and development33; and
  • undermining of the learning potential of an assessment program.33 

With assessments that stimulate controlled motivation failure in assessments decreased inspiration and motivation,35 reduced students’ sense of self-efficacy, and colored their reflections of workplace-based learning.33 Pressure to study, anxiety, frustration, stress, decreased inspiration, and low perceived self-efficacy can all be considered indicators of negative psychological well-being.7

맥락.
Contexts.

통제된 동기 부여의 자극은 다양한 맥락에서 일어났습니다. 평가(형성형31,32 또는 총괄형26-28,36,37)가 있다는 것만으로도 학습 또는 평가 준비에 대한 외적 동기를 유발했으며,34,38 고부담의 평가(면허 시험36 등),26 사실적 지식에 대한 강한 초점도 마찬가지였습니다.27 통제된 동기를 자극하는 다른 맥락으로는 경쟁 요소의 존재26,31, 성과와 관련된 압력,27 시간,26-28,35 감정,27 외부 보상,27 내적 이유(감독자의 기대 충족 욕구)36, 지식 부족 또는 실패를 드러내는 것에 대한 두려움 등이 있었습니다.26,27 임상 전문직 준비와 최종 시험 통과 사이의 갈등26,38 및 평가와 결합된 결과도 통제된 동기를 자극했습니다.39 평가의 단계는 평가가 끝날수록 동기가 떨어지는 것처럼 보였기 때문에 중요한 역할을 하는 것으로 보였습니다.40
Stimulation of controlled motivation happened in different contexts. The mere presence of assessments (formative31,32 or summative26–28,36,37) was an external motivator for learning or preparing for the assessments, as were the presence of grades,34,38 high-stakes assessments (like licensure examinations36),26 and a strong focus on factual knowledge.27 Further contexts stimulating controlled motivation included the presence of a competitive element26,31; pressures related to performance,27 time,26–28,35 emotions,27 external rewards,27 and internal reasons (the desire to fulfill supervisor’s expectations)36; and fear of disclosing a lack of knowledge or failure.26,27 Conflict between preparing for the clinical profession and to pass the final examinations26,38 and consequences being coupled with assessments also stimulated controlled motivation.39 The phase of the assessment seemed to play a role as motivation seemed to dip toward the end of the assessment.40

메커니즘.
Mechanisms.

평가는 여러 가지 메커니즘을 통해 통제된 동기를 자극했습니다.

  • 실습practice에 중요한 내용을 배우기 위해 공부하거나28 평가를 통과하기 위해 공부하도록 가해지는 외부 압력은 통제된 동기를 자극했습니다.27,31
  • 시험은 틀을 제공하고 학생들이 필요한 지식을 습득하고 우선순위를 정하도록 강요했습니다.28
  • 외부 압력보상은 통제된 동기를 유발하는 트리거로 작용했습니다.27,29,31,38,41,42
  • 평가는 통제된 동기를 유발하여 학생들이 평가를 위해 공부하고 연습하게 했습니다.27
  • 일부 형성 평가는 학생들의 통제된 동기를 자극하여 성취도를 높였습니다.31 평가 채점은 학생들이 양질의 과제를 제출하도록 동기를 부여했습니다.43
  • 형성 평가에서 출제된 문제가 기말 시험에 중요하다고 인식되는 경우 더 많은 학습 노력을 기울였습니다.31
  • 평가는 학생들이 더 많이 공부해야 한다는 압박감을 느끼게 하지만, 과목에 대한 흥미를 자극할 수도 있습니다.27
  • 외부 규제 기관과 규정의 존재는 평생 학습을 자극했습니다.36
  • 평가 결과에 대한 위임에 초점을 맞추면 학습자가 지속적으로 평가를 받는다는 인식과 평가가 형성적이기보다는 총괄적인 것으로 인식되는 것으로 나타났습니다.33 이러한 효과는 신뢰와 심리적 안전에 기반한 평가 프로그램의 학습 잠재력을 약화시킬 수 있습니다.33
  • 자율성과 감독되지 않은 연습에 중점을 두기 때문에 위임 언어는 학습과 개발을 희생하는 성과 문화로 이어질 수 있습니다.33 평가는 또한 불안과 좌절감을 유발했습니다.26,27,40,41 

Assessments stimulated controlled motivation through several mechanisms.

  • External pressure exerted to study to learn material that was important for practice28 or to study to pass assessments stimulated controlled motivation.27,31 
  • Examinations provided a framework and forced students to acquire and prioritize the required knowledge.28 
  • External pressures and rewards functioned as triggers for controlled motivation.27,29,31,38,41,42 
  • Assessments triggered controlled motivation, which made students study and practice for assessments.27 
  • Some formative assessments stimulated students’ controlled motivation and hence achievement.31 
  • Grading of assessments motivated students to submit high-quality work.43 
  • Questions asked in a formative assessment garnered more study effort if they were perceived to be important for final examinations.31 
  • Although assessments made students feel pressure to study more, they could also stimulate an interest in the subject.27 
  • The existence of external regulating bodies and regulations stimulated lifelong learning.36 
  • Focus on entrustment as the assessment outcome seemed to enhance learner perceptions of being judged continuously and of assessments being perceived as summative rather than formative.33 This effect can undermine the learning potential of an assessment program, which is based on trust and psychological safety.33 
  • Because of its focus on autonomy and unsupervised practice, entrustment language can lead to a performance culture at the expense of learning and development.33 Assessments also led to anxiety and frustration.26,27,40,41

평가는 또한 경쟁 의식을 유발하거나, 실패 또는 성과 저하에 대한 두려움으로 인해 통제된 동기를 자극하기도 합니다. 동료 평가는 동료와의 비교를 유도하고,42 낮은 점수를 받는 것에 대한 두려움(기여하지 않은 경우)29 학습 동기를 부여했습니다. 동료들이 자신의 과제에 대해 어떻게 생각하는지 알고 싶어서 동료의 피드백에 비추어 자신의 과제를 다시 읽게 되었습니다.42 학생들은 추가 학점이라는 보상을 위해27 더 열심히 공부했고,26,29 성적이 낮아지거나,26,29 실패하거나,30 성적이 좋지 않을 것이라는 두려움 때문에 더 열심히 공부했습니다.26,31 학생들은 동료 학생들을 실망시키지 않기 위해 협력 시험을 위해 열심히 공부했고, 이는 자신감을 강화하고 뛰어난 성적을 거두게 만들었습니다.44
Assessments also stimulated controlled motivation through creating a sense of competition or out of fear of failure or poor performance. Peer assessment led to comparisons with peers,42 fear of receiving low marks (if they did not contribute),29 and motivated them to learn. Wanting to know what their peers thought of their work prompted them to reread their work in light of the peer feedback.42 Students studied harder for the reward of extra credits27 and out of fear of getting lower grades, failing,26,29 or performing poorly.30 Competition motivated students to prepare for assessments.26,31 Students studied hard for collaborative tests to avoid disappointing fellow students; this strengthened their confidence and made them excel.44

평가는 통제된 동기를 자극하여 표면적이고 전략적인 학습을 장려했습니다. 평가에서 사실적 지식에 초점을 맞추고 동기를 통제하면 표면적 학습이 이루어졌습니다.27 암기식으로 학습하여 시험 때에는 이해 없이 토해내는regurgitate 학생은 특정 평가에서 더 잘하는 경향이 있었습니다.26 전통적인 채점을 사용했을 때 학생들은 평가가 전체 성적에서 차지하는 비중을 기준으로 평가를 평가했습니다. 이는 주제와 학습 목표에 대한 참여도에 영향을 미쳤습니다.34 학습할 내용을 선택하는 것은 실무에 필수적인 지식보다는 이전 시험 문제를 기반으로 했습니다.28 학생들은 가능하면 더 좋은 성적을 받기 위해 더 쉬운 평가 활동을 선택하는 경향이 있었습니다.26 높은 비중의 평가는 표면적 학습 접근 방식을 장려하는 반면, 다른 평가 유형은 낮은 비중으로 인해 심층적 학습 접근 방식을 장려했습니다.26 특정 평가 유형(예: 위탁 전문 활동[EPA])의 비중을 높게 설정하면 학생들 사이에서 전략적 학습 행동을 유발할 수 있습니다.33 
Assessments stimulated controlled motivation resulting in encouragement of surface and strategic learning. Focus on factual knowledge in assessments and controlled motivation led to surface learning.27 Students who learned by rote memorization and regurgitated the material without understanding it during examinations tended to fare better on certain assessments.26 When traditional grading was employed, students valued the assessment on the basis of the weight it carried for the overall grade. This influenced their engagement with the topic and the learning objectives.34 Choosing what to study was based on previous examination questions rather than on the knowledge essential for practice.28 When possible, students were inclined to pick easier assessment activities to fare better.26 High-stakes assessments encouraged a surface learning approach, while other assessment types encouraged a deep learning approach owing to the lower stakes.26 Making certain assessment types (like entrustable professional activities [EPAs]) high stakes may give rise to strategic learning behavior among students.33

평가에 대한 개별적인 인식은 서로 다른 행동을 유발했습니다(예: 일부 학생은 능동적 학습 기반 평가에서 아이디어를 생성하는 것을 경쟁 과정으로 인식한 반면, 다른 학생은 이를 성찰의 기회로 인식했습니다40).
Individual perceptions about assessments gave rise to different behaviors (e.g., some students perceived generating ideas, in an active learning-based-assessment, as a competitive process, while others perceived it as an opportunity for reflection40).

자율적 동기 부여
Autonomous motivation

결과.
Outcomes.

자율적 동기를 자극하는 평가의 결과는 더 높은 창의성34; 기술 개발44; 자기 조절, 시간 관리 기술, 숙달 학습 및 자기 주도적 수정 행동의 육성30,34,41; 주제에 대한 관심27; 더 깊이 있는 학습 접근 방식26,43,45,46 더 높은 노력과 자료와의 더 나은 연결34,47 등이었습니다; 업무의 질 향상,29 역량, 자신감 및 성과26,40; 목표 설정 및 학습 참여도 향상33,44; 오류 식별 능력 향상 및 임상 술기 연습에 대한 노력 증가48; 환자와 더 많은 시간을 보내려는 동기 부여 증가38; 기술 및 전문성 개발 증가45; 학생의 업무 개선 독려. 42 자율적 동기를 자극하는 형성적 평가에도 불구하고 총합적 평가에 비해 형성적 평가에서 더 낮은 노력이 발견되었습니다.38 평가에 대한 성찰은 학생의 동기, 학습 및 복지를 향상시켰습니다.33  
The outcomes of assessments that stimulated autonomous motivation were higher creativity34; skill development44; fostering of self-regulation, time management skills, mastery learning, and self-directed corrective actions30,34,41; interest in the topic27; a deeper learning approach,26,43,45,46 higher effort and better connection with the material34,47; increased quality of work,29 competence, confidence, and performance26,40; improved goal setting and engagement in learning33,44; better error identification and higher effort on practicing clinical skills48; increased motivation to spend more time with patients38; increased skills and professionalism development45; and encouraging students to improve their work.42 Lower effort was found in formative compared with summative assessments in spite of formative assessments stimulating autonomous motivation.38 Reflection on assessments enhanced student motivation, learning, and well-being.33

맥락.
Contexts.

자율적 동기의 자극은 평가가

  • 재미있고 흥미로우며 도전적인26,27,36,40,45,
  • 혁신적이고 숙달에 기반하며 종단적으로 실시되는33,34,
  • 수업의 일부로 매끄럽게 도입되는46,
  • 학생 자율성의 측면이 포함된 맥락에서 발생했습니다 (예,
    • 교사가 미리 정한 숙달 기준에 따라 학생 스스로 채점,34
    • 합격/불합격 채점만 사용,34
    • 여러 번의 합격 시도 제공,26
    • 과제 선택,34
    • 관심 있는 주제에 대한 학습 선택,40,45
    • 평가 장소 및 시간 선택39). 

Stimulation of autonomous motivation happened in the context of the assessment being

  • fun, interesting, and challenging26,27,36,40,45;
  • innovative, mastery-based, and conducted longitudinally33,34;
  • introduced in a seamless manner as part of instruction46; and
  • embedded with facets of student autonomy (e.g.,
    • students graded themselves on mastery criteria predetermined by the teacher,34 
    • use of pass/fail grading only,34 
    • provision of multiple attempts to pass,26 
    • choices of assignments,34 
    • choices in learning about topics of interest to them,40,45 
    • choices in place and time of assessment39).

평가가 직접적으로 역량을 키울 수 있도록 준비되어 있고, 시기적절하고 외부적이며 다양한 피드백을 제공하는 능동적 학습 평가인 경우에도 자율적 동기를 자극하는 효과가 있었습니다.28,31,33,40,41,44,47,49) 다음과 같은 평가도 자율적 동기를 자극합니다.

  • 개별적40 또는 공유 목표 설정이 포함된 평가,41
  • 학습자의 성찰을 자극하고,33
  • 학습자와 교사가 공동으로 구성하고,45
  • 임상 실습과 진정성이 있고,26,28,35,37,38,49
  • 공유를 장려하거나 그룹 학습 및 책임을 공유하며,27,39,41,44
  • 학생에게 개인적인 가치를 부여하는 27,31,45

높은 기본 자율적 동기(학습에 대한) 수준,39 개인적 성취 또는 만족에 대한 동기, 학습에 대한 애정과 열정 등 특정 학생 특성도 자율적 동기 자극의 맥락을 형성합니다.26,40 평가 유형(예: 사실 회상 또는 심층 사고 테스트)에 따라 평가가 동기에 미치는 영향의 차이가 나타났습니다.26 
Stimulation of autonomous motivation also happened if the assessment was poised to directly build competence and was an embedded active learning assessment, with timely, external, and multiple sources of feedback.28,31,33,40,41,44,47,49 Assessments that 

  • included setting individual40 or shared goals,41 
  • stimulated learners to reflect,33 
  • were jointly constructed by learners and teachers,45 
  • had authenticity with clinical practice,26,28,35,37,38,49 
  • encouraged sharing or shared group learning and responsibility,27,39,41,44 and
  • held personal value for students also stimulated autonomous motivation.27,31,45 

Certain student characteristics also form the context for autonomous motivation stimulation, such as high baseline autonomous motivational (for learning) levels,39 having the motivation for personal achievement or satisfaction, or having a love of learning and passion for the topic.26,40 Variations in the effect of assessments on motivation were seen depending on the type of assessment (i.e., testing fact recall or deep thinking).26

메커니즘.
Mechanisms.

평가는 여러 가지 메커니즘을 통해 자율적 동기를 자극합니다. 재미있고 도전적인 평가는 자율적 동기를 유발하고, 그룹으로 수행하면 개별 학생이 혼자서 하기 어려운 전체적인 그림을 그릴 수 있습니다.27 학생들은 스스로 주제를 선택하고 학습 방식을 변경할 수 있을 때 개인적 동기에 의해 더 많이 움직였습니다.45 학생들은 자율적 동기에 의해 일정에 따라 학습했습니다.32 일부 학생은 좋은 의사가 되고 싶어서 성적이 나오지 않더라도 평가를 위해 공부했습니다.38 형성 평가는 학생들이 이미 알고 있는 내용과 공부해야 할 내용을 인식하게 함으로써 동기를 부여했습니다.27 특정 평가 유형은 루브릭을 통해 즉각적인 피드백을 제공하고 숙달 학습으로 초점을 전환함으로써 자율적 동기를 자극했습니다.34
Assessments stimulated autonomous motivation through several mechanisms. A fun and challenging assessment triggered autonomous motivation and doing it in a group provided a holistic picture, which would be difficult for individual students to do on their own.27 Students were more driven by personal motivation when they could choose their own topics and change their learning approach.45 Students worked to a schedule because they were autonomously motivated.32 Some students would study for the assessment even if they were not graded as they just wanted to be good doctors.38 Formative assessments motivated students by making them aware of what they already knew and what they needed to study.27 Certain assessment types stimulated autonomous motivation by providing instant feedback through rubrics and shifting the focus to mastery learning.34

학습의 자율성은 또한 자율적 동기를 자극했습니다. 포트폴리오를 사용하면 학생들이 개인적으로 더 많은 동기를 갖게 되어 학습을 강의 자료에만 의존하지 않게 되었습니다.45 평가에서 어느 정도의 선택권(예: 학습 주제 또는 포트폴리오에 추가할 내용)은 커리큘럼에 국한된 경계를 없애고 개인적인 탐색을 허용하며 학습 주제에 대한 학생들의 인정appreciation을 높였습니다.45 학생들이 계획 과정을 진행하고 더 독립적이 되면서 동기 부여가 증가했습니다.45 학습의 자율성은 학생들이 독립적으로 자신의 기술을 개발하고 동기를 증가시켰습니다.40 자신의 수행을 볼 수 있다는 것은 학생들이 기술을 연습하도록 동기를 부여했습니다.48 특정 평가 유형은 학생들이 더 많이 공부하고 중요한 개념에 집중하며 학습을 반성하도록 동기를 부여했습니다.31 일부 평가 유형은 즉각적인 피드백을 제공함으로써 동기를 높였습니다.41 평가에서 기대되는 것을 알고 이해하면 학생들이 향상하는 데 도움이 되었습니다.42
Autonomy in learning also stimulated autonomous motivation. Use of portfolio made students more personally motivated and so they did not rely only on lecture material for their study.45 Some amount of choice in assessments (e.g., of topics to study or what to add in the portfolio) removed boundaries (e.g., being confined to the curriculum), allowed for personal exploration, and increased students’ appreciation of the study topics.45 Students’ motivation increased as they progressed through the planning process and became more independent.45 Autonomy in learning made students independently develop their skills and increased their motivation.40 Being able to watch their own performance motivated students to practice their skills.48 Certain assessment types motivated students to study more, focus on important concepts, and reflect on their learning.31 Some assessment types increased motivation by giving immediate feedback.41 Knowing and understanding what was expected in the assessment helped students to improve.42

피드백을 받는 것은 여러 가지 방식으로 자율적 동기를 자극했습니다

  • 대면 피드백은 학생의 역량과 자신감을 향상시켰습니다.26 
  • 환자와 동료의 피드백은 학생이 역량을 향상하고 우수성을 추구하도록 동기를 부여했습니다.49 
  • 평가 직후 정답을 알게 되면 학생이 모든 문제에 더 집중하고 동기를 부여하도록 자극했습니다.31 
  • 평가 후 설명 피드백은 학습 과정을 개선하고 학생 동기를 지속했습니다.46 
  • 오류 감지는 학생이 자신의 지식 격차를 파악하는 데 도움이 되었습니다.47 
  • 공동 시험은 지속적인 동료 평가와 피드백을 통해 수행 격차를 줄이는 데 도움이 되었습니다.44 
  • 평가에 대해 성찰하면 학생의 발달에 대해 더 잘 파악하여 동기, 학습, 웰빙을 개선했습니다.33

Getting feedback stimulated autonomous motivation in several ways.

  • Face-to-face feedback improved students’ competence and confidence.26 
  • Feedback from patients and colleagues motivated students to improve their competence and pursue excellence.49 
  • Getting to know the correct answer immediately after the assessment stimulated students to focus more on all questions and their motivation.31 
  • Assessment followed by explanatory feedback enhanced the learning process and sustained student motivation.46 
  • Error detection helped students to identify their knowledge gaps.47 
  • Collaborative testing helped in closing a performance gap through constant peer evaluation and feedback.44 
  • By providing a better picture on their development, reflection on assessments improved students’ motivation, learning, and well-being.33

능동적 학습 평가는 자율적 동기를 자극했습니다. 능동적 학습 평가는 학습 여정의 각 단계를 완료한 후 기술, 자신감 및 동기 부여를 향상시켰습니다.40,47 능동적 학습 평가는 지식 구축을 지원할 뿐만 아니라 학생들에게 질문을 공식화할 기회를 제공함으로써 탐구심을 유발하여 인지적, 정서적으로도 학생들의 참여를 유도했습니다.42,45
Active learning assessments stimulated autonomous motivation. They led to increased skills, confidence, and motivation after the completion of each stage of the learning journey.40,47 Active learning assessments not only supported knowledge building but also engaged students cognitively and emotionally,42,45 as they generated enquiry by providing students with the opportunity to formulate questions.45

실습과 진정성이 있는 평가는 온전함을 제공하고, 임상 기술과 전문성을 키우고, 학생들의 관심을 끌고, 팀워크를 장려하기 때문에 학생들에게 본질적인 동기를 부여했습니다.27,38,41,44,45 포트폴리오에 포함할 내용을 선택할 수 있어 학생들은 자신의 개인적인 경험을 학습에 포함할 수 있었고 상당한 동기를 부여했습니다.45 의사의 직업적 책임은 학생들에게 평생 학습에 대한 동기를 부여했습니다.36
Assessments that had authenticity with practice motivated students intrinsically as they provided a sense of wholeness, fostered clinical skills and professionalism, captured students’ interest, and encouraged teamwork.27,38,41,44,45 Having choices in what to include in the portfolio allowed students to include their personal experiences into their study and significantly motivated them.45 The professional responsibility of physicians motivated students for lifelong learning.36

동료, 그룹 또는 공유 학습은 학생들이 자신의 지식 격차를 파악하고 건설적인 마찰을 일으키며 비고츠키의 근위 발달 영역(즉, 학생들이 충분히 도전하고 새로운 것을 배우고자 하는 동기가 있는 영역)으로 이동하여 학습을 향상시키는 데 도움이 되었습니다.41

  • 동료 평가는 개별 학생이 의미 있는 방식으로 그룹에 기여할 수 있는 추가적인 동기 부여 전략으로 기능하고 팀워크 경험을 제공했습니다.29,44
  • 동료 학습 형식은 상호 작용을 유도하여 참여와 동기를 부여했습니다.44
  • 동료 평가 과정은 학생들에게 권한을 부여하고 동기를 부여하며 학습에 대한 자신감과 참여도를 높였습니다.42
  • 그룹 평가는 학생들이 혼자서는 달성하기 어려웠을 주제에 대해 더 넓은 시각을 갖도록 도왔습니다.27
  • 상호 의존적인 목표를 공유하는 그룹에서 학습하면 학생들은 그룹 작업에 대한 개인적인 책임감을 느끼고 지식과 노력 측면에서 더 많은 기여를 하게 됩니다.41
  • 일부 학생들은 평가의 일부인 아이디어 창출을 경쟁 과정으로 인식한 반면, 다른 학생들은 자신의 아이디어를 반성하고 비교할 기회로 인식했습니다.40
  • 실패는 학생들이 더 열심히 공부하도록 이끌었습니다.33 위탁 평가를 통과하지 못한 학생들은 좌절감을 느낍니다.33 

Peer, group, or shared learning helped students to identify their knowledge gaps, created constructive friction, and moved them into Vygotsky’s Zone of Proximal Development (i.e., the zone in which students have enough challenge and are motivated to learn new things), enhancing their learning.41 

  • Peer assessment functioned as an extra motivational strategy for individual students to contribute to the group in a meaningful way and provided teamwork experience.29,44 
  • Peer learning formats led to interactions, resulting in engagement and motivation.44 
  • The peer assessment process empowered students, motivated them, and increased their confidence and engagement in learning.42 
  • Group assessment helped students to get a broader view of topics, which would have been hard to achieve on their own.27 
  • Learning in a group with a shared interdependent goal made students feel personal responsibility for the group work and contribute more in terms of knowledge and effort.41 
  • Some students perceived generating ideas as part of the assessment as a competitive process, while others perceived it as an opportunity to reflect on their ideas and make comparisons.40 
  • Failure led students to study harder.33 Not passing their entrustment assessment made students feel frustrated.33

맥락-기제-결과 조합에 기반한 새로운 프로그램 이론
Emergent program theories based on context–mechanism–outcome combinations

그림 2는 평가가 어떻게 통제된 동기를 향상시키고 부정적인 학습 및 심리적 웰빙 결과를 초래할 수 있는지 설명하는 신흥 현실주의 프로그램 이론을 보여줍니다. 부정적인 심리적 웰빙은 질적 데이터에서만 보고된 결과로 불안, 스트레스, 좌절과 같은 부정적인 감정이 특징입니다.26,27,33 평가가 어떻게 통제된 동기를 향상시킬 수 있는지에 대한 이해를 위해 평가 시스템 또는 프로그램 수준과 개별 학생 수준에서 자율성을 빼앗고 역량에 대한 부정적인 인식을 형성하는 맥락적 요인을 발견했습니다. 또한 평가 시스템 또는 프로그램 수준에서 통제된 동기를 자극하면 성과 문화가 형성되고 평가 시스템의 학습 잠재력이 약화된다는 사실도 발견했습니다.

Figure 2 depicts the emergent realist program theory that explains how assessments can enhance controlled motivation and lead to negative learning and psychological well-being outcomes. Negative psychological well-being was an outcome reported only in qualitative data and was characterized by negative emotions, such as anxiety, stress, and frustration.26,27,33 For an understanding on how assessments can enhance controlled motivation, we found contextual factors at an assessment system or program level as well as at an individual student level that work by taking away autonomy and creating negative perceptions of competence. We also found that at an assessment system or program level, stimulation of controlled motivation led to creation of a performance culture and undermining of the learning potential of the assessment system.

그림 3은 평가가 어떻게 자율적 동기를 강화하고 긍정적인 학습 결과로 이어질 수 있는지를 설명하는 새로운 현실주의 프로그램 이론을 보여줍니다. 평가가 어떻게 자율적 동기를 향상시킬 수 있는지에 대한 통찰력을 얻기 위해, 우리는 평가 기능의 맥락적 요인(즉, 평가 내용 및 형식과 개별 학생 수준에서)이 자율성, 역량 및 관련성이라는 기본적인 심리적 요구를 충족하고 개별 학생 수준에서 긍정적인 학습 결과를 생성하는 활동에 대한 가치를 창출함으로써 작용한다는 사실을 발견했습니다. 자율적 동기를 자극하는 평가에 대한 심리적 웰빙 결과를 찾지 못했습니다.

Figure 3 depicts the emergent realist program theory that explains how assessments can enhance autonomous motivation and lead to positive learning outcomes. For insights into how assessments can enhance autonomous motivation, we found that contextual factors in the assessment features (i.e., in the assessment content and format, as well as at an individual student level) work through satisfying the basic psychological needs of autonomy, competence, and relatedness as well as by creating value for the activity to produce positive learning outcomes at an individual student level. We did not find psychological well-being outcomes for assessments that stimulate autonomous motivation.

토론
Discussion

이 검토 및 현실주의적 종합에서 우리는 평가가 학생의 학습 및 심리적 웰빙 결과로 이어지는 동기에 어떻게 영향을 미치는지에 대한 맥락 메커니즘-결과 구성을 평가 시스템 또는 프로그램 수준뿐만 아니라 개인 수준에서도 설명함으로써 HPE 문헌에 추가하고자 했습니다.

  • 우리는 평가 시스템 또는 프로그램과 개별 학생 수준에서 평가가 자율성과 역량이라는 SDT 기반 심리적 요구를 좌절시킴으로써 통제된 동기를 강화하여 평가 시스템 또는 프로그램과 개별 학생 수준에서 부정적인 결과를 초래한다는 것을 발견했습니다.
  • 반면, 특정 평가와 학생 개개인의 특성은 자율성, 유능성, 관계성이라는 SDT 기반의 기본 심리적 욕구를 충족시켜 자율적 동기를 강화하고 학생 개인 수준에서만 성과를 창출하는 가치를 창출한다는 사실을 발견했습니다.

현재 HPE 문헌에서 자율적 동기 향상과 관련된 심리적 웰빙이나 평가 시스템 또는 프로그램 수준의 결과를 찾지 못했습니다. 

In this review and realist synthesis, we sought to add to the HPE literature by describing context–mechanism–outcome configurations for how assessments influence motivation leading to learning and psychological well-being outcomes among students at an individual level as well as at an assessment system or program level.

  • We found that assessments, at the assessment system or program as well as the individual student levels, enhance controlled motivation by frustrating the SDT-based psychological needs of autonomy and competence, leading to negative outcomes at the assessment system or program as well as the individual student levels.
  • In contrast, we found that certain assessment as well as individual student characteristics enhance autonomous motivation through satisfaction of the SDT-based basic psychological needs of autonomy, competence, and relatedness, along with creation of value to produce outcomes only at an individual student level.

We did not find any psychological well-being or assessment system- or program-level outcomes related to the enhancement of autonomous motivation in the current HPE literature.

조사 결과를 바탕으로, 표 2에서는 통제된 동기를 자극하는 평가를 자율적 동기를 자극할 수 있는 평가로 전환하기 위해 교육자가 사용할 수 있는 기능 변경 목록을 제공합니다. 통제된 동기를 자극하는 평가는 부정적인 심리적 웰빙 결과를 초래할 뿐만 아니라 자율적 학습 동기에 장기적으로 해로운 영향을 미칠 수 있기 때문에 이는 중요합니다.4
Based on our findings, in Chart 2, we provide a list of feature changes educators can use to convert assessments that stimulate controlled motivation into ones that can stimulate autonomous motivation. This is important because assessments that stimulate controlled motivation can not only produce negative psychological well-being outcomes but also have a long-term deleterious effect on autonomous motivation for learning.4

현재 HPE 실무에서 널리 시행되고 있는 두 가지 주요 평가 개념은 프로그램식 평가와 EPA입니다.50 프로그램식 평가가 학생 동기 부여에 미치는 영향에 대한 연구는 찾지 못했습니다. 이러한 연구는 문헌에 추가될 수 있는데,

  • 특히 프로그램식 평가에는 본 검토에서 자율적 동기를 자극하는 것으로 확인된 몇 가지 특징이 있기 때문입니다.51
  • EPA의 경우, EPA 기반 평가가 주로 통제 동기를 자극한다는 한 연구를 발견했습니다.33

이 발견은 본 검토에서 자율적 동기를 자극하는 것으로 확인된 몇 가지 특징(예, 임상 실습의 진정성과 학생의 자율성 제공).52 우리는 이러한 단절이 개별 EPA 평가의 설계와 평가 프로그램 또는 전반적인 평가 문화에 포함되는 방식 사이의 차이 때문일 수 있다고 가정하지만, 이에 대해서는 추가 조사가 필요합니다. 
In current HPE practice, the 2 major assessment concepts being implemented widely are programmatic assessment and EPAs.50 We did not find any research on the effect of programmatic assessment on student motivation. Such research would add to the literature, especially because programmatic assessment has some of the features identified in this review as ones that seem to stimulate autonomous motivation.51 In terms of EPAs, we found one study suggesting that EPA-based assessments mainly stimulated controlled motivation.33 This finding was somewhat surprising, given that EPA-based assessments have some of the features identified in this review as stimulating autonomous motivation (e.g., authenticity with clinical practice combined with providing students with autonomy).52 We hypothesize that this disconnect may be due to the gap between the design of individual EPA assessments and how they are embedded in an assessment program or an overall assessment culture, but this needs further investigation.

본 검토 결과 전반에 걸쳐 나타난 평가의 의도와 영향력 사이의 격차는 이전에 발표된 문헌과 일치합니다.3 서로 다른 평가 관행, 평가에 대한 시행자의 신념, 졸업 연수생의 질을 유지하고 보장해야 하는 요구사항 사이의 긴장이 이러한 격차를 설명할 수 있습니다.53 이 문제는 평가 설계 시 학생 동기 고려, 평가가 포함된 문화 변화, 의도대로 평가를 시행하도록 교직원 교육3, 평가 목표에 대한 교사와 학생 간의 공유 이해 구축을 포함하는 다각적인 전략으로 해결할 수 있습니다.54
The presence of a gap between the intention and impact of an assessment, which was seen throughout the results of this review, aligns with earlier published literature.3 Tensions between different assessment practices, the implementers’ beliefs about assessments, and the requirement to uphold and guarantee the quality of graduating trainees may account for this gap.53 This issue can be addressed by a multipronged strategy that includes considering student motivation when designing assessments, changing the culture within which assessments are embedded, training faculty to implement assessments as they are intended,3 and building a shared understanding between teachers and students on the goals of assessment.54

실천을 위한 시사점
Implications for practice

우리가 발견한 자율적 동기를 자극할 수 있는 평가 특징은 현재 평가를 재설계하거나 혁신적인 평가를 개발하는 데 사용할 수 있습니다. 표준 객관식 문제보다 환자의 문제와 근본적인 메커니즘을 설명하는 임상적 추론 연습 문제나 감별 및 근거를 제시하는 진단적 정당화 연습 문제를 더 많이 출제하는 등 학생들이 임상 실습에 보다 진정성 있게 대비할 수 있는 평가를 개발하는 것이 좋습니다. 우리는 학생들이 실제로 필요한 것을 희생하면서까지 평가에 출제될 것으로 예상되는 내용을 전략적으로 학습하는 경향을 발견했습니다. 이는 인센티브(예: 성적 및 자격)를 통한 통제된 동기의 자극이 자율적 동기에 장기적으로 해로운 영향을 미친다는 SDT의 주장에 비추어 볼 때 우려스러운 결과입니다.4,55 교육자가 평가를 통해 자율적 학습 동기를 자극하는 데 주의를 기울여야만 HPE 학생들에게 단순히 "양동이를 채우는" 대신 "학습의 불을 붙일 수 있을 것"입니다.13 
The assessment features we found that can stimulate autonomous motivation can be used by educators to redesign current assessments or develop innovative assessments. We recommend developing assessments that more authentically prepare students for clinical practice, such as having more clinical reasoning exercises, where students describe patient problems and the underlying mechanisms, or diagnostic justification exercises, where students suggest a differential and rationale, over the standard multiple-choice questions. We found a trend that suggests students strategically learned what was expected to appear in the assessments at the expense of what was needed in practice. This is alarming in light of SDT’s claim that stimulation of controlled motivation through incentives (i.e., grades and qualifications) has a long-term deleterious effect on autonomous motivation.4,55 Only if educators pay attention to stimulating autonomous motivation for learning through assessments, will they be able to “light the fire of learning” instead of just “filling the bucket” for HPE students.13

추가 연구를 위한 시사점
Implications for further research

이 검토 결과는 자율적 동기를 자극하는 혁신적인 평가 설계에 대한 연구 프로그램을 개발하고 설계 기반 연구를 통해 이러한 평가가 어떻게 작동하는지, 그리고 프로그램 및 EPA 기반 평가가 학생 동기 부여에 미치는 영향을 조사하는 데 과학적 근거를 제공합니다. 
The results of this review provide a scientific basis for developing a research program on designing innovative assessments stimulating autonomous motivation and investigating how they work through design-based research and the effects of programmatic and EPA-based assessments on student motivation.

제한 사항
Limitations

이 검토는 HPE 문헌에 국한되었습니다. 고등 교육에서 평가가 동기 부여에 미치는 영향에 대한 광범위한 검토가 도움이 될 수 있습니다. 검토에서 각 연구의 엄격성과 관련성을 평가했지만, 이 평가를 사용하여 논문을 제외하지는 않았습니다. 그러나 이 접근 방식은 현실주의적 종합 방법과 잘 맞으며,20,24 혁신적인 평가 방법에 기여하는 모든 아이디어를 포함할 수 있습니다. 
This review was limited to the HPE literature. A broader review of the effect of assessments on motivation in higher education may be beneficial. Although we evaluated the rigor and relevance of each study in the review, we did not use this evaluation to exclude articles. This approach, however, fits well with the realist synthesis method,20,24 allowing us to include all ideas that contribute to innovative assessment methods.

결론
Conclusions

통제된 동기를 자극하는 평가 기능은 심리적 안녕감 저하와 같은 부정적인 결과를 초래하는 것으로 나타났습니다. 자율적 동기를 자극하는 평가 기능은 더 높은 노력과 창의성과 같은 긍정적인 결과를 가져오는 것으로 보였습니다. 연구 결과에 따르면 학생들은 실제로 필요한 것을 희생하면서까지 평가에 출제될 것으로 예상되는 내용을 전략적으로 학습하는 것으로 나타났습니다. 이러한 접근 방식은 스트레스와 부정적인 심리적 웰빙으로 이어집니다. 따라서 보건 전문직 교육자들은 평가 철학과 관행을 재고하고 콘텐츠에 대한 호기심과 진정한 관심을 자극하고 전문직 실무와 관련 있는 평가를 도입해야 합니다. 
Assessment features stimulating controlled motivation seemed to lead to negative consequences like decreased psychological well-being. Assessment features stimulating autonomous motivation seemed to lead to positive outcomes such as higher effort and creativity. Our findings indicate that students strategically learn what is expected to appear in assessments at the expense of what is needed in practice. This approach leads to stress and negative psychological well-being. Therefore, health professions educators urgently need to rethink their assessment philosophy and practices and introduce assessments that stimulate curiosity and genuine interest in the content and that are relevant to professional practice.

 


 

 

 

Acad Med. 2023 May 4;98(9):1083-1092. doi: 10.1097/ACM.0000000000005263. Online ahead of print.

 

 

The Effect of Assessments on Student Motivation for Learning and Its Outcomes in Health Professions Education: A Review and Realist Synthesis

Affiliations

1R.A. Kusurkar is professor and research programme leader, Research in Education, Amsterdam University Medical Centers location Vrije Universiteit Amsterdam, professor and research programme leader, LEARN! Research Institute for Learning and Education, Faculty of Psychology and Education, VU University Amsterdam, and professor and research programme leader, Amsterdam Public Health, Quality of Care, Amsterdam, the Netherlands; ORCID: http://orcid.org/0000-0002-9382-0379.

2C. Orsini is associate professor in medical education, Norwich Medical School, University of East Anglia, Norwich, United Kingdom, and Researcher in Health Professions Education, Faculty of Dentistry, Universidad de Los Andes, Santiago, Chile; ORCID: http://orcid.org/0000-0002-5226-3625.

3S. Somra was research assistant, Research in Education, Amsterdam University Medical Centers location Vrije Universiteit Amsterdam, Amsterdam, the Netherlands, at the time of this study.

4A.R. Artino Jr. is professor and associate dean for evaluation and educational research, School of Medicine & Health Sciences, George Washington University, Washington, DC; ORCID: http://orcid.org/0000-0003-2661-7853.

5H.E.M. Daelmans is director of the master of medicine programme, Faculty of Medicine Vrije Universiteit Amsterdam, Amsterdam, the Netherlands.

6L.J. Schoonmade is information specialist at the medical library, Vrije Universiteit Amsterdam, Amsterdam, the Netherlands; ORCID: https://orcid.org/0000-0002-2407-5977.

7C. van der Vleuten is professor, School of Health Professions Education, University of Maastricht, Maastricht, the Netherlands; ORCID: http://orcid.org/0000-0001-6802-3119.

PMID: 37146237

PMCID: PMC10453393

DOI: 10.1097/ACM.0000000000005263

Free PMC article

 

Abstract

Purpose: In health professions education (HPE) the effect of assessments on student motivation for learning and its consequences have been largely neglected. This is problematic because assessments can hamper motivation and psychological well-being. The research questions guiding this review were: How do assessments affect student motivation for learning in HPE? What outcomes does this lead to in which contexts?

Method: In October 2020, the authors searched PubMed, Embase, APA PsycInfo, ERIC, CINAHL, and Web of Science Core Collection for "assessments" AND "motivation" AND "health professions education/students." Empirical papers or literature reviews investigating the effect of assessments on student motivation for learning in HPE using quantitative, qualitative, or mixed methods from January 1, 2010-October 29, 2020, were included. The authors chose the realist synthesis method for data analysis to study the intended and unintended consequences of this complex topic. Assessments were identified as stimulating autonomous or controlled motivation using sensitizing concepts from self-determination theory and data on context-mechanism-outcome were extracted.

Results: Twenty-four of 15,291 articles were ultimately included. Assessments stimulating controlled motivation seemed to have negative outcomes. An example of an assessment that stimulates controlled motivation is one that focuses on factual knowledge (context), which encourages studying only for the assessment (mechanism) and results in surface learning (outcome). Assessments stimulating autonomous motivation seemed to have positive outcomes. An example of an assessment that stimulates autonomous motivation is one that is fun (context), which through active learning (mechanism) leads to higher effort and better connection with the material (outcome).

Conclusions: These findings indicate that students strategically learned what was expected to appear in assessments at the expense of what was needed in practice. Therefore, health professions educators should rethink their assessment philosophy and practices and introduce assessments that are relevant to professional practice and stimulate genuine interest in the content.

'너의 모든 형태로서의 너 자신': 의과대학생의 정체성 안정에 대한 근거이론 탐색(Med Educ, 2023)
‘Yourself in all your forms’: A grounded theory exploration of identity safety in medical students
Justin L. Bullock1,2 | Javeed Sukhera3 | Amira del Pino-Jones4 | Timothy G. Dyster5 | Jonathan S. Ilgen6 | Tai M. Lockspeiser7 | Pim W. Teunissen2,8 | Karen E. Hauer9

 

 

1 서론
1 INTRODUCTION

정체성 위협[자신의 정체성에 대한 모든 형태의 내적, 대인관계적 또는 구조적 적대감]으로 정의되며 학습자의 인지적, 정서적 웰빙을 저해합니다.1 고정관념 위협, 미세 공격, 인종 차별, 성차별, 능력주의를 포함한 내외부 정체성 위협은 소수 배경을 가진 학습자에게 대다수의 학습자에 비해 불균형적으로 영향을 미칩니다.2-6 의료 분야에서 이러한 현상은 소진을 촉진하고 웰빙을 해치며 인지 부하를 증가시키고 학업 성취도 저하와 관련이 있습니다.2, 5, 7, 8 의료 기관은 모든 정체성을 가진 학습자를 위한 다양성, 형평성 및 포용 노력을 지원해야 할 필요성을 점점 더 인식하고 있지만9, 10 모든 학습자가 성공할 수 있는 환경을 조성하는 데는 여전히 부족한 실정입니다.11-14

Identity threat, defined as any form of internal, interpersonal or structural hostility toward one's identities, detracts from the cognitive and emotional wellbeing of learners.1 Internal and external identity threats including stereotype threat, microaggressions, racism, sexism and ableism disproportionately impact learners from minoritised backgrounds compared to their majority counterparts.2-6 In medicine, these phenomena promote burnout, harm well-being, increase cognitive load and are associated with poorer academic performance.2, 5, 7, 8 While medical institutions are increasingly cognizant of the need to support diversity, equity and inclusion efforts for learners of all identities,9, 10 they continue to fall short in creating environments that enable all learners to thrive.11-14

정체성과 정체성 개발은 복잡하고 다각적인 요인이 작용합니다. 정체성은 통합되기도 하고 분열되기도 합니다: 정체성 형성에는 정체성을 공유하는 '우리'와 그렇지 않은 '그들'이 내재되어 있습니다.15, 16 모든 사람은 자신의 삶의 경험과 세상에 대한 이해에 영향을 미치는 가시적, 비가시적 정체성을 가지고 있습니다.16, 17 학습자가 의사로 성장하면서 개인이 의료 전문가 커뮤니티에 합류하는 발달 및 사회화 과정인 전문직 정체성 형성(PIF) 과정을 탐색합니다.18 PIF를 통해 학습자의 개인 정체성은 새롭게 형성되는 전문직 정체성에 영향을 미칩니다.19 그러나 PIF를 통해 장려되는 암묵적 또는 명시적 규범은 일부 정체성 그룹의 문화적 경향을 다른 정체성 그룹보다 선호할 수 있습니다.20, 21 이는 사회화 과정에서 기존 정체성과 원하는 새로운 전문직 정체성을 협상하는 과정이 포함되기 때문에 일부 학습자는 의료 전문가로 인정받기 위해 기존 정체성의 일부를 포기해야 한다는 압박감을 느낄 수 있습니다.20, 22, 23 학습자는 개인 정체성과 전문직 정체성 사이의 부조화를 조정하는 데 어려움을 겪을 수 있으며, 이러한 부조화는 정체성 위협으로 나타날 수 있습니다.24
Identity and identity development are complex and multifactorial. Identities are both unifying and dividing: Inherent in identity formation is the creation of an ‘us’—those who share one's identity—and a ‘them’—those who do not.15, 16 Everyone holds visible and invisible identities that affect their lived experiences and understandings of the world.16, 17 As learners develop into physicians, they navigate the process of professional identity formation (PIF), a developmental and socialisation process by which individuals join the medical professional community.18 Throughout PIF, learners' personal identities influence their emerging professional identity.19 However, the implicit or overt norms encouraged through PIF may favour the cultural tendencies of some identity groups over others.20, 21 This occurs because socialisation involves negotiation of one's pre-existing identities with the desired new professional identity, leading some to feel compelled to abandon aspects of their existing identities to be accepted as medical professionals.20, 22, 23 Learners may struggle to reconcile this dissonance between their personal and professional identities, a dissonance that may manifest as identity threat.24

학습자가 정체성 위협의 경험을 탐색하도록 지원하려면 학습자가 안전을 어떻게 경험하는지에 대한 심층적인 이해가 필요합니다. 정체성 위협과 함께 안전의 구성은 의료 수련생이 임상 환경에서 학습하는 동안 다양한 정체성 속에서 성공할 수 있는 방법을 알려줄 수 있습니다. 앞서 안전의 몇 가지 형태에 대해 설명된 바 있다.

  • 심리적 안전권력 위계를 줄여, 오류에 대해 공개적으로 토론하고, 필요할 때 리더에게 도전하며, 숙달 마인드를 키우는 것을 강조합니다.25, 26
  • 관련 구성 요소인 교육적 안전학습자가 자신의 투사된 이미지를 스스로 모니터링할 필요 없이, 학습 과제에 집중할 수 있는 권한이 부여된empowered 상황을 말합니다.27

심리적 안전과 교육적 안전 모두 최적의 학습을 지원하지만 개별 학습자의 정체성을 명시적으로 설명하거나 수용하지는 못합니다. 교육자가 의도적으로 학습자의 정체성을 고려하지 않으면 학습자가 정체성 위협으로부터 해방되고 번창할 수 있도록 지원하는 정체성 안전 환경을 조성하는 데 실패할 수 있습니다.2 
Supporting learners to navigate experiences of identity threat requires a deeper understanding of how they experience safety. Juxtaposed with identity threat, the construct of safety may inform how medical trainees could thrive in their diverse identities while learning in the clinical environment. Some forms of safety have previously been described.

  • Psychological safety emphasises reducing power hierarchies to promote openly discussing errors, challenging leaders when necessary and fostering mastery mindsets.2526 
  • Educational safety, a related construct, refers to situations of empowered learners who can concentrate on a learning task without needing to self-monitor their projected image.27 

While psychological and educational safety support optimal learning, neither explicitly accounts for or accommodates individual learners' identities. Without intentionally engaging learners' identities, educators may fail to create identity-safe environments where learners are liberated from identity threats and supported to thrive.2

정체성 안전은 다양하게 정의되어 왔지만 아직 충분히 연구되지 않은 개념입니다. 일반적으로 정체성 안전은 정체성 위협이 대응되거나 제거된 상태로 정의됩니다.28-30 그러나 정체성 안전에 대한 다른 개념화도 존재합니다:

  • 가마렐 등31 은 레즈비언, 게이, 양성애자, 트랜스젠더, 퀴어 청소년의 정체성 안전을 '자신이 될 자유'로 정의했으며,
  • 스틸과 콘-바가스32 는 정체성 안전 초등학교 교실이 다양성을 활용하고 학습자 중심이며 교실 관계를 촉진하고 배려하는 환경을 조성한다고 설명했습니다.

이러한 개념은 개인이 자신의 정체성 안전감에 영향을 미치기 위해 환경과 어떻게 상호 작용할 수 있는지를 고려하지 않고 정체성 안전이 환경의 영향을 받는 것으로 설명합니다. 또한 이러한 개념화는 복잡하고 역동적인 사회 환경에서 환자 치료 제공을 강조하는 의학의 특성을 고려할 때 정체성 안전이 의학교육에서 어떻게 나타나는지에 대한 유용하지만 불완전한 통찰력을 제공합니다. 정체성 안전에 대한 이해는 모든 학습자를 위해 학습 환경을 최적화하는 방법에 대한 새로운 통찰력을 제공할 수 있는 잠재력을 가지고 있습니다.33 이 연구는 정체성 안전에 대한 이론을 설명하기 위해 의대생들의 정체성 관련 경험을 활용하는 것을 목표로 합니다.
Identity safety is an understudied construct which has been variably defined. Commonly, identity safety is defined as a state where identity threat has been countered or eliminated.28-30 However, other conceptualisations of identity safety exist:

  • Gamarael et al.31 defined identity safety among lesbian, gay, bisexual, transgender and queer youth as freedom to be oneself, whereas
  • Steele and Cohn-Vargas32 described that identity-safe elementary classrooms leverage diversity, are learner-centred, foster classroom relationships and create caring environments.

These conceptualisations describe identity safety as influenced by the environment, without considering how individuals may interact with their environment to influence their own sense of identity safety. Furthermore, these conceptualisations provide helpful but incomplete insights into how identity safety manifests in medical education, given medicine's emphasis on the provision of patient care in a complex and dynamic social environment. Understanding identity safety has the potential to provide novel insights for how to optimise the learning environment for all learners.33 This study aims to draw upon identity-salient experiences of medical students to describe a theory of identity safety.

2 방법
2 METHODS

2.1 설계
2.1 Design

이 다기관 질적 연구는 구성주의적 근거 이론34 과 비판적 교육학의 영향을 받았습니다.35-37 

  • 구성주의적 근거 이론은 기존 이론으로는 잘 설명되지 않는 복잡한 인지적, 사회적 과정을 탐구하며 역사적, 문화적, 사회적 맥락에 연구를 배치합니다. 
  • 비판적 인종 및 페미니즘 이론은 사회 규범이 역사적으로 지배적인 인종 및 성별 집단에 유리한 현재의 사회적 권력 체계를 어떻게 영속시키는지를 비판함으로써 이러한 접근 방식을 강화합니다.35, 38 

우리는 다양하고 풍부하며 교차하는 정체성을 가진 사람들의 경험을 중심에 두는 것의 중요성을 강조하는 크렌쇼와 훅스 같은 흑인 페미니스트 학자들의 연구를 활용합니다.36, 39
This multi-institutional qualitative study was informed by constructivist grounded theory34 and critical pedagogies.35-37 

  • Constructivist grounded theory explores complex cognitive and social processes not well explained by existing theory, situating the work in the historical, cultural and social context.
  • Critical race and feminist theories enhance this approach by critiquing how social norms perpetuate current societal power arrangements favouring historically dominant racial and gender groups.3538 

We draw upon Black feminist scholars such as Crenshaw and hooks who emphasise the importance of centring the experiences of those who hold multiple, rich, intersecting identities.36, 39

2.2 참가자 및 환경
2.2 Participants and setting

참가자는 미국 의과대학 3곳의 3학년 또는 4학년에 재학 중인 임상 의대생이었습니다: 미국 서부에 위치한 4년제 공립 대학원 의과대학인 캘리포니아대학교 샌프란시스코 캠퍼스(UCSF), 콜로라도대학교(CU), 워싱턴대학교(UW). 인터뷰는 2022년 2월부터 5월까지 진행되었습니다. 의사로서의 정체성 형성 단계는 비교적 이르지만 임상 경험을 쌓은 임상 의대생들의 관점에서 정체성 안전성을 이해하기 위해 임상 의대생을 대상으로 선정했습니다. 
Participants were clinical medical students in their 3rd or 4th year at three US medical schools: University of California, San Francisco (UCSF); University of Colorado (CU); and University of Washington (UW), all public 4-year postgraduate medical schools in the western United States. Interviews were conducted February through May of 2022. We chose clinical medical students to understand identity safety from the perspective of those relatively early in their identity formation as physicians but who had accrued clinical experiences.

2.3 연구팀과 반사성
2.3 Research team and reflexivity

우리 연구팀은 성별(여성 3명, 남성 5명), 인종(흑인 1명, 아프로라티나 1명, 남아시아 1명, 백인 5명), 능력 상태(정신질환자 2명), 종교, 국적, 직업적 역할, 가족 역할 등 다양한 정체성을 활용했습니다. 우리는 데이터 수집과 데이터 해석에 영향을 미친 다양한 정체성에 기반한 차별적 특권을 인정합니다. 주 연구자(JLB)는 흑인 게이 남성으로 의사이자 현재 대학원 수련생입니다: 인터뷰어로서 그의 외모와 개인적인 경험은 참가자들이 공유한 이야기와 공유하지 않은 이야기에 영향을 미쳤을 가능성이 높습니다. 우리 팀은 데이터에 대한 서로 다른 해석에 대해 논의하고, 인터뷰어와 공동 조사자의 정체성과 배경이 참가자가 인터뷰에서 공유하기로 선택한 내용과 데이터에 대한 해석에 어떤 영향을 미쳤을지 생각해보기 위해 모임을 가졌습니다. 
Our team leveraged our diverse identities including gender (three women and five men), race (one Black, one Afrolatina, one South Asian and five white individuals), ability status (two with mental illness), religion, nationality, professional roles and family roles, among others. We acknowledge our differential privileges based upon our diverse identities that influenced our data collection and data interpretation. The primary investigator (JLB) is a gay Black man, physician and current post-graduate trainee: As an interviewer, his external appearance and personal experiences likely influenced the stories shared and not shared by participants. Our team met to discuss differing interpretations of data and reflect on how the identities and backgrounds of the interviewer and co-investigators may have shaped what participants chose to share in the interview as well as our interpretations of the data.

2.4 절차
2.4 Procedures

저자들은 이메일 배포 목록(모든 학생과 학급 관리자 포함)을 통해 학생들에게 의과대학 정체성에 관한 연구에 참여하도록 초대했습니다. 이메일에는 연구자들이 다양한 배경을 가진 의대생들의 의견을 구한다고 명시되어 있었습니다. 표본 추출을 위해 관심 있는 학생들은 11개 항목으로 구성된 전자 Qualtrics 설문조사(부록 S1)를 완료했으며, 자신이 누구인지 가장 잘 정의한다고 생각하는 정체성에 대한 자유로운 텍스트 응답과 자신의 정체성 집단에 대한 부정적인 고정관념에 대한 인식을 측정하는 척도인 고정관념 취약성 척도(SVS)의 인종/민족 및 성별 버전에 대한 응답을 요청하는 문항이 있었습니다.40 각 5개의 항목은 5점 리커트 척도로 채점되며 총점은 5점부터 25.2점까지입니다.40,41 참가자들은 개별 인터뷰에 초대받기 위해 이메일을 제공하도록 요청받기도 했습니다. 인터뷰 참여자에게는 $25의 수당이 지급되었습니다. 
Authors invited students via an email distribution list (includes all students and class administrators) to participate in a study on identity in medical school. The email stated that the investigators sought the opinions of medical students from diverse backgrounds. For sampling purposes, interested students completed an 11-item electronic Qualtrics survey (Appendix S1) with a prompt soliciting a free text response of the identities they felt most defined who they are, and the racial/ethnic and gender versions of the Stereotype Vulnerability Scale (SVS), a scale that measures awareness of negative stereotypes about one's identity group.40 We previously used the SVS and published reliability data; each five-item scale is scored on a 5-point Likert scale with total score ranging from 5 to 25.2, 40, 41 Participants were also invited to provide their email to be invited to an individual interview. Interviewees received a $25 stipend.

설문조사에 대한 응답은 의도적이고 최대 변이 샘플링을 위해서만 사용되었습니다. 각 리스트서브의 정확한 학생 수를 파악할 수 없었기 때문에 평균 학급 규모를 기준으로 설문조사 응답률을 추정했습니다. 처음에는 흑인, 성전환자, 이민자 학습자, 고정관념 위협이 높은 학습자(SVS 15점 이상)를 우선으로 하여 소수 정체성을 가진 인터뷰 대상자를 의도적으로 샘플링했습니다.2 그 후 다양한 정체성과 SVS 점수를 가진 사람들을 반복적으로 샘플링하여 최대 변형 샘플링을 수행했으며,42 진화하는 이론을 풍부하게 하거나 도전할 수 있는 이야기를 가진 참가자를 의도적으로 찾으려고 노력했습니다.
Responses to the survey were used only for purposive and maximum variation sampling. We were unable to determine the exact number of students on each listserv and therefore estimate survey response rate based on average class size. Initially, the authors purposively sampled interviewees with minoritised identities, prioritising Black, trans and immigrant learners and those with high stereotype threat (SVS > 15).2 We subsequently performed maximum variation sampling by iteratively sampling those with a diversity of identities and SVS scores,42 deliberately seeking participants whose narratives might enrich or challenge our evolving theory.

숙련된 질적 연구자인 JLB는 모든 인터뷰를 Zoom을 통해 진행했습니다. 저자들은 문헌 검토와 정체성과 관련된 개인적 경험에 대한 토론을 통해 반구조화된 인터뷰 가이드(부록 S2)를 개발했으며, 구성주의적 근거 이론 접근법에 따라 연구를 진행하는 동안 가이드를 발전시켰습니다.2, 27, 32 인터뷰에서는 참가자들의 정체성에 대한 자의식, 자유, 안전감을 느낀 의료 분야에서의 정체성 관련 경험, 정체성이 미래 의사로서의 관점에 어떤 영향을 미쳤는지를 탐색했습니다. 각 참가자에게 인터뷰 전체를 고려하고 '정체성 안전'이라는 용어를 들었을 때 떠오르는 것을 공유하도록 요청하는 것으로 각 인터뷰를 마무리했습니다. 모든 녹취록은 전문적으로 필사되었으며, JLB에서 정확성을 검토하고 비식별화 작업을 거쳤습니다. 
JLB, an experienced qualitative researcher, conducted all interviews over Zoom. The authors developed a semi-structured interview guide (Appendix S2) through literature review and discussion of personal experiences relevant to identity; we evolved the guide over the study in line with our constructivist grounded theory approach.2, 27, 32 Interviews explored participants' identity-salient experiences in medicine, where they felt self-conscious, free or safe in their identities and how their identities influenced their perspectives as future physicians. We concluded each interview by asking each participant to consider their entire interview and share what came to mind when they heard the term ‘identity safety’. All transcripts were professionally transcribed, reviewed by JLB for accuracy and deidentified.

2.5 분석
2.5 Analysis

구성주의 근거 이론을 바탕으로 연구 과정을 통해 지속적인 비교를 통해 반복적으로 표본을 추출하고 코딩하고 이론을 발전시켰습니다.34 JLB, JSI, KEH는 세 개의 트랜스크립트에 대해 오픈 코딩을 수행했습니다. JLB는 코드를 하나의 코드북으로 통합했습니다. 각 녹취록은 JLB와 JS, AdPJ, JSI, KEH 또는 연구 조교가 두 번 코딩했습니다. 토론을 통해 코딩의 차이를 조정했습니다. 코딩 후, 팀은 발췌문을 종합하고 더 큰 범주를 개발했습니다. 토론, 글쓰기, 코드와 범주 간의 관계 고려를 통해 연구 결과를 하나의 이론으로 종합했습니다. 새로운 주요 개념이 발생하지 않고 추가 데이터 수집에도 불구하고 이론이 안정적으로 유지되는 범위, 복잡성, 증거의 뉘앙스가 충분한 개념적 깊이에 도달했다고 느낄 때까지 데이터 수집과 이론 수정을 계속했습니다.43
Drawing upon constructivist grounded theory, we iteratively sampled, coded and developed a theory using constant comparison through the research process.34 JLB, JSI and KEH performed open coding of three transcripts. JLB consolidated codes into a codebook. Each transcript was coded twice: by JLB and either JS, AdPJ, JSI, KEH or a research assistant. We reconciled coding differences through discussion. After coding, the team synthesised excerpts and developed larger categories. Through discussion, writing and considering relationships among codes and categories, we synthesised findings into a theory. We continued data collection and theory revision until we felt that we reached sufficient conceptual depth with range, complexity and nuance of evidence, where no new major concepts arose and our theory remained stable despite further data collection.43

참가자 확인을 위해 모든 참가자에게 결과 섹션의 초안을 이메일로 보내 결과가 인터뷰 내용을 적절히 반영했는지 여부를 물었습니다. 총 16명 중 10명이 답장을 보내왔습니다: 모두 결과가 인터뷰에 대한 자신의 경험과 인식과 일치한다고 답했습니다. 한 응답자는 자신의 기밀을 보호하기 위해 인용문 수정을 요청했습니다. 마지막으로 이론을 시각적으로 표현하는 모델을 만들었습니다(그림 1). 시각적 모델을 디자인하기 위해서는 JLB와 그래픽 디자이너이자 공동 연구자인 TGD가 데이터의 관계에 대해 반복적이고 통찰력 있는 심도 있는 논의를 거쳐야 했습니다.
To perform member checking, we emailed a draft of the results section to all participants to query whether the results appropriately reflected their interview. In total, 10 of 16 replied: All felt the results aligned with their experiences and perception of the interview. One respondent asked for a quote to be modified to protect their confidentiality. Finally, we created a model that serves as a visual representation of the theory (Figure 1). The design of our visual model required iterative, insightful and in-depth discussions of the relationships in the data between JLB and the graphic designer and co-researcher, TGD.


정체성 안전에 대한 이론적 모델: 정체성 안전은 세 가지 상호 연관된 구성 요소에서 비롯되었습니다.

  • 환자를 위해 자신의 정체성을 활용할 수 있는 행위자성agency을 인지하고,
  • 참가자의 인격감을 지지하는 다른 사람을 알아차리며,
  • 학습 환경에서 소속감을 경험한다.

정체성 안전은 일부 참가자를 정체성 위협으로부터 보호합니다. 위협 완화는 정체성 위협을 약화시키지만 정체성 위협을 제거하지는 못합니다.
Theoretical model of identity safety: identity safety arose from three interrelated components:

  • perceiving agency to leverage one's identities to serve patients,
  • noticing others who uphold participants' sense of personhood and
  • experiencing belonging in the learning environment.

Identity safety protected some participants from identity threats. Threat mitigation dampens identity threats but does not eliminate them.

3 결과
3 RESULTS

총 137명의 학습자가 설문조사에 응답했습니다(약 620명의 적격 학생 중 22%). 응답자 중에서 최대한 다양한 표본을 추출하여 다양한 인종/민족 및 성별 SVS 점수를 대표하는 16명의 다양한 개인을 의도적으로 인터뷰했습니다(여성 8명, 비바이너리 2명, 남성 6명, 인종적으로 소외된 집단 출신 5명, LGBQ 5명, 장애인 3명)(표 1). 참가자들은 종교와 희망 전공을 포함하여 의료계에서의 경험을 형성하는 데 영향을 미친 다른 여러 정체성을 설명했습니다. 
In total, 137 learners responded to the survey (22% of the approximately 620 eligible students). We implemented maximum variation sampling from the respondents to purposively interview 16 diverse individuals who represented a range of racial/ethnic and gender SVS scores: eight identified as women, two non-binary, six men, five from racially underrepresented groups, five LGBQ and three with a disability (Table 1). Participants described multiple other identities that shaped their experience in medicine, including religion and intended specialty.

참가자의 정체성은 임상실습 경험에 큰 영향을 미쳤습니다. 우리는 이러한 정체성 관련 경험을 정체성 위협, 위협 완화, 정체성 안전의 세 가지 상태로 인식했습니다. 이러한 이론을 시각적으로 표현한 모델을 개발하여 그림 1에 표시했습니다. 아래에서는 정체성 위협, 위협 완화, 정체성 안전에 대해 간략하게 설명합니다.
Participants' identities heavily influenced their clerkship experiences. We recognised these identity-salient experiences as three states: identity threat, threat mitigation and identity safety. We developed a model as a visual representation of our theory shown in Figure 1. Below, we briefly describe identity threat, threat mitigation and identity safety in more detail.

4 정체성 위협
4 IDENTITY THREAT

참가자들은 다양한 정체성 위협을 설명했으며, 이를 다음으로 정리했습니다.

  • 환영받지 못하는 학습 환경,
  • 적응하기 위해 행동을 바꿔야 한다는 압박감,
  • 광범위한 사회정치적 위협,
  • 정체성 안전이 결여된 상황

Participants described a variety of identity threats, which we organise into

  • unwelcoming learning environments,
  • feeling pressure to change one's behaviour to fit in,
  • broader sociopolitical threats and
  • instances lacking identity safety.

[환영받지 못하는 환경]다양한 정체성을 충분히 대변하지 못했고, 일부 참가자의 정체성을 토큰화했으며, 동맹 관계가 부족했습니다.

  • 불충분한 대표성은 일부 참가자들이 비슷한 정체성을 가진 롤모델을 갈망한다는 것을 의미했습니다: 한 무슬림 학습자는 자신의 신앙과 수술실의 가이드라인 내에서 존재하기 위해 고군분투했으며, 히잡을 쓰는 다른 의사를 만나 '수술실에서는 무엇을 입나요?"라고 물어본 적이 없었습니다. "외과의사인 히잡을 쓴 여성은 어떻게 수술하나요?"와 같은 질문을 해본 적이 없습니다. (P11).
  • 다른 참가자들은 이러한 정체성이 임상 업무에만 중요한데도 자신의 정체성이 토큰화되었다고 느꼈습니다. 스페인어를 사용하는 한 참가자는 '내가 토큰화된 사람처럼 느껴지는 순간은 환자를 위한 통역이 내게 주어진 유일한 업무일 때입니다'(P8)라고 반성했습니다.
  • 동맹의 순간을 놓치면 다른 정체성 위협이 가중됩니다. 한 논바이너리 참가자는 '의료 환경에서 사람들이 저에 대한 잘못된 발음이나 잘못된 성별을 바로잡는 데 참여하지 않을 때, 제게는 트랜스포비아를 수동적으로 받아들이거나 승인하는 것처럼 느껴집니다'(P6)라고 말했습니다. 

Unwelcoming environments had insufficient representation of diverse identities, tokenised some participants' identities and lacked allyship. Insufficient representation meant that some participants yearned for role models with similar identities: One Muslim learner struggled to exist within the guidelines of her faith and of the operating room, never having met another hijab-wearing physician to ask, ‘“What do you wear in the OR?” Like, “How do hijabi women who are surgeons do it?”’ (P11). Other participants felt their identities were tokenised when these identities were only important to the team for clinical tasks. One Spanish-speaking participant reflected, ‘The moments where I feel more like tokenized is when [interpreting for a patient is] the only task that I'm asked to do’ (P8). Missed moments of allyship compounded other identity threats. One non-binary participant remarked, ‘I feel when people don't participate in correcting mispronouning or misgendering of me in healthcare settings, it, to me, feels a passive acceptance or approval of transphobia’ (P6).

학습자들은 자신의 자연스러운 정체성 표현이 학습 환경에서 방해가 된다고 느낄 때 자신의 행동과 표현(머리 모양, 매너, 말투)을 조작했습니다. 평범해 보이는 과제조차도 의식적인 행동 조작이 필요했습니다,
When learners felt that their natural identity expression would hinder them in the learning environment, they manipulated their behaviours and presentation (hair, mannerisms and speech). Even seemingly mundane tasks required conscious manipulation of behaviour,

저는 일반적으로 매우 부드럽고 여성스러운 언어를 사용합니다. 그리고 전문적인 이메일에 관해서는 매우 거칠고 간결하고 짧아야 하며 매우 바쁘고 중요한 백인 남성이 쓰는 것처럼 느껴지는 방식으로 글을 써야 한다고 생각합니다. (P10)
I have a very fluffy, maybe girly language in general. And I think when it comes to professional emails, I feel like I have to be very coarse, and I have to be concise and short and write in a way that I feel like a very busy, important white man would write. (P10)

이러한 행동의 변화는 참가자들이 언젠가 의사가 되기를 희망하는 방식과 일치하지 않는 경우가 많았습니다. 예를 들어, 한 참가자는 임상실습 평가에서 자신의 성과를 최적화하기 위해 자신이 누구인지에 대해 솔직하지 못한 방식으로 의술을 펼친다고 설명했습니다, 
These changes of behaviour were often inconsistent with how participants hoped to 1 day practise medicine. For example, one participant described practising medicine in a way that felt disingenuous to who she was to optimise her performance on clerkship evaluations,

게임을 할게요. 몇 번의 임상실습 근무 동안은 필요한 성적을 받겠지만... 어느 순간부터 저는 이런 식으로 의술을 펼치고 싶지 않다는 생각이 들었습니다. 제 정체성과 일치하고 제 자신의 특정 부분을 숨겨야 한다고 느끼지 않고 제 자신에게 진실하다고 느끼는 방식으로 하고 싶어요. (P4)
I'll play the game. For a couple of clerkships, I'll get the grades that I need … But at a certain point I was like, this is not how I want to practice medicine. I want to do it in a way that feels true to myself and aligned with my identity and not feeling like I have to hide certain parts of myself. (P4)

병원 밖의 사회정치적 사건으로 인해 일부 정체성이 위협의 최전선에 서게 되었습니다. 정치적으로 보수적이라고 밝힌 한 백인 남성 참가자는 이렇게 말했습니다, 
Sociopolitical events outside the hospital thrust some identities to the forefront of threat. One White man participant who identified as politically conservative said,

로 대 웨이드 사건과 우리나라의 낙태법에 관한 모든 논의에서 저는 제가 무엇을 믿는지 알고 있었습니다. 다른 사람들이 말하는 것과는 반대되는 생각이라는 것을 알고 있었지만, '사실 저는 다르게 생각합니다'라고 표현하면 사람들이 저를 부정적으로 볼 것 같았습니다. (P16)
With all of the discussion around Roe versus Wade and the abortion laws in our country … I knew what I believed. I knew that it was contrary to what everyone else was saying and I guess I was assuming, but I felt like they would view me negatively if I were to express like, ‘Hey actually, I think differently’. (P16)

다른 참가자들은 병원 밖에서 반아시아 혐오나 흑인을 표적으로 한 경찰 폭력 사건에 대한 뉴스로 인해 병원 내 신변 안전에 대한 두려움을 느꼈다고 말했습니다. 
Other participants described a sense of fear for their physical safety in the hospital due to news about anti-Asian hate or Black-targeted police violence outside of the hospital.

정체성 위협은 때때로 교묘했습니다. 예를 들어, 한 학습자는 한 전문과목에서 일하는 동안 전반적으로 존중받는 경험을 했음에도 불구하고 '그들이 끔찍한 사람인 것처럼 행동하고 싶지는 않지만, 우리는 같지 않은 것 같았고... 나 자신이 될 수 없는 것 같았다'(P2)고 말했습니다. 이 참가자는 임상 업무가 즐거웠음에도 불구하고 소속감의 부족과 자신의 진정한 모습을 드러내는 것에 대한 불편함을 다른 전문 분야를 선택하게 된 주요 요인으로 꼽았습니다. 
Identity threat was at times insidious. For instance, despite an overall respectful experience while working in one specialty, one learner said, ‘I don't want to act as if they were terrible people or anything, but it was just like, we were not the same … And it just made me feel like I couldn't be myself’ (P2). Despite enjoying the clinical work, this participant cited her lack of belonging and her discomfort with sharing her true self as a major factor that pushed her to pursue a different specialty.

5 위협 완화
5 THREAT MITIGATION

참가자들은 정체성 위협을 관리하기 위해 사전 예방적 전략사후 대응 전략을 모두 활용한다고 설명했습니다. 이러한 전략은 스스로를 보호하는 '보호 전략'과 다른 사람을 보호하는 '동맹 전략'으로 나눌 수 있습니다. 사전 예방적 보호에는 다음 등의 조치가 포함되었습니다. 

  • 비슷한 정체성을 가진 멘토를 찾거나,
  • 로테이션 전에 임상실습 리더십과 소통하여 편의를 보장받거나,
  • 대명사 핀과 같이 정체성을 인정하는 눈에 띄는 상징을 착용하는 것

참가자들은 미세 공격과 같은 정체성 위협이 발생했을 때 어떻게 지원할지 적극적으로 의견을 구한 동료들에게 감사를 표했습니다.
Participants described utilising both proactive and reactive strategies to manage identity threats. Such strategies could be employed by the self, which we termed safeguarding, or by others, which we termed allyship. Proactive safeguarding included actions such as

  • seeking mentors with similar identities,
  • communicating with clerkship leadership to ensure accommodations before a rotation, or
  • wearing visible symbols of identity acceptance such as pronoun pins.

Participants appreciated allies who proactively sought their input on how to support them in the event of an identity threat such as a microaggression.

정체성 위협이 발생했을 때 참가자와 동맹은 그 영향을 최소화하기 위해 노력했습니다. 참가자들은 내부적으로 위협을 합리화하거나(예: 환자가 혼란스러워했다), 때로는 '환자에게 못되게 굴고 싶지는 않지만... 그냥 멍청하게 굴고 있는 거야'(P8)라며 위협을 가한 사람을 조용히 경멸했습니다. 동료들은 직접 개입하거나, 대립이 심한 환자의 병실에서 나가거나, 불편한 상황을 보고함으로써 신변 위협을 완화했습니다. 참가자들은 동맹군의 대응이 위협을 완화했지만 위협을 제거하지는 못했다고 지적했습니다: '안전하다고 생각하지는 않지만, [미시적 공격] 효과가 약해졌다'(P3). 표 2는 참가자들이 상황을 완화하는 데는 도움이 되었지만 진정으로 안전해지지는 않았다고 경험한 위협 완화 사례를 보여줍니다.

When identity threats occurred, participants and allies tried to minimise their impact. Participants internally rationalised threats (e.g., the patient was confused) or sometimes silently slighted the person committing the threat: ‘I don't want to be mean to the patient, but … he's just being an idiot’ (P8). Allies mitigated identity threat by directly intervening, exiting the rooms of highly confrontational patients or debriefing uncomfortable situations. Participants noted that ally responses mitigated but did not eliminate threats: ‘I don't think this is safe, but [the microaggression] had gotten dampened in effects’ (P3). Table 2 provides participants' examples of threat mitigation experienced as helping the situation but not making it truly safe.

6 정체성 안전
6 IDENTITY SAFETY

정체성 안전학습자가 자신의 정체성에 대한 타인의 인식에 대해 걱정하지 않고 진정한 자기 자신으로 존재할 수 있는 자유를 포함하는 별개의 개념으로 간주되었습니다. 정체성 안전은 세 가지 상호 연관된 구성 요소에서 비롯되었습니다.

  • 자신의 정체성을 활용하여 환자에게 서비스를 제공하는 행위자성을 인식
  • 자신의 인격감을 지지하는 타인과 상호작용
  • 학습 환경에서 소속감을 경험

표 3에는 참가자와 다른 사람들이 취한 안전 증진 조치의 예시적인 인용문이 나와 있습니다.

Identity safety was viewed as a distinct concept that involved a freedom to be oneself, where a learner existed as their authentic self without worrying about others' perceptions of their identities. Identity safety arose from three interrelated components:

  • perceiving agency to serve patients by leveraging one's identities,
  • interacting with others who upheld one's sense of personhood and
  • experiencing belonging in the learning environment.

Table 3 lists exemplar quotations of safety-promoting actions taken by participants and others.

[복무의 행위자성]참가자가 자신의 정체성을 활용하여 환자에게 봉사함으로써 자신의 정체성을 안전하게 보호하는 방법을 말합니다. 학습자들은 적절하다고 판단되는 대로 자신의 정체성을 신중하게 숨기거나 드러냈는데, 한 참가자는 이를 카드 패에 비유했습니다:

Agency to serve refers to the ways that participants engendered their own identity safety by leveraging their identities to serve patients. Learners judiciously concealed or revealed their identities as they deemed appropriate, likened by one participant to a hand of cards:

모든 사람은 여러 가지 정체성을 가지고 있습니다... 어떤 정체성은 바깥쪽을 향하고 있고, 방에 들어가면 모든 사람이 볼 수 있습니다. 다른 정체성은 더 숨겨져 있습니다... 그리고 이 카드들은 내가 유리하다고 느낄 때 사용할 수 있으며, 환자와의 관계, 환자 관리, 환자 신뢰도를 높일 수 있습니다. 하지만 적어도 저에게는 그 카드들 중 일부를 숨기고 사용하지 않을 수 있는 옵션도 있습니다. (P15)
Everybody has a hand of identities … some of them are facing outwards, everybody sees them when you walk into a room. Others are more hidden … And these cards, when I feel like it is to my advantage I can play them, and bring that increased patient connection, that patient care, that patient trust. But there's also the option, at least for me … I can hide some of those cards and not play them. (P15)

자신의 경험이 다른 사람들에게 어떻게 도움이 될 수 있는지 보는 것은 자기 성찰과 성장을 촉진했습니다:
Seeing how one's own experiences could help others promoted self-reflection and growth:

저는 아홉 살 때 미국으로 이주했습니다. 그리고 오랫동안 필리핀 사람이라는 정체성을 거부하기도 했어요. 그리고 의과대학에 입학하고 나서야 '아, 내가 가진 이 기술이 다른 사람들에게 매우 유익하구나'라는 것을 깨달았습니다. (P2)
I moved to the United States when I was like nine. And for a long time, I even rejected my Filipino identity. And it wasn't until medical school actually, where I realized like, ‘Oh, these skills that I have are actually very beneficial to other people’ is when I started to embrace it. (P2)

자신의 정체성을 활용하여 환자를 돕는 것은 이러한 정체성 보유의 가치를 강화했습니다. 이를 통해 참가자들은 자신과 환자를 위한 정체성 안전성을 키웠습니다. 1형 당뇨병을 앓고 있는 한 참가자는 한 환자를 어떻게 옹호했는지 공유했습니다: 
Leveraging one's identities to help patients reinforced the value of holding these identities. In doing so, participants fostered identity safety for themselves and for patients. One participant with type 1 diabetes shared how she advocated for a patient:

저는 제 펌프를 보여주었어요. 주치의는 '아, 잘 모르겠다. 그는 당뇨병이 잘 조절되지 않는 것 같았어요. 인슐린 펌프의 후보로 생각되는 사람은 아닌 것 같아요'고 말했거든요. 그래서 저는 '아니요, 이것이 치료의 표준입니다. 모든 사람이 이 치료를 받을 수 있어야 합니다'라고 옹호했어요. 그런 식으로 환자 치료를 발전시키는 데 도움을 줄 수 있다고 느꼈습니다. 그리고 주치의도 그런 측면에서 저에게 많은 것을 배웠다고 생각합니다. (P7) 
I got to show him my pump and kind of advocate to my attending because she was like, ‘Oh, I don't know. He doesn't seem like a very controlled diabetic. He's not really someone I think of as a candidate for an insulin pump’. And I kind of got to advocate like, ‘No. This is the standard of treatment. Everyone should be able to access this’. … I felt like I got to help advance patient care in that way. And my attending, I think appreciated kind of learning from me in that aspect. (P7)

참가자들은 또한 환자에게 봉사하기 위해 개인적인 부정적인 경험을 활용했습니다. 이전에 성폭력 대응 옹호자로 일했던 한 성폭력 생존자'저는 항상 사회력의 일부로 [폭행 이력]을 포함시킵니다... 그래서 임상에서 3년째 근무하는 동안 그런 것들을 파악하고 환자에게 자원을 연결해줄 수 있었던 적이 여러 번 있었습니다'(P13)라고 말했습니다. 여러 참가자가 자신의 정체성을 활용할 수 있는 기회가 전문 분야 선택에 생산적인 영향을 미쳤다고 말했습니다. 예를 들어, 이민자라는 정체성을 살려 위기에 처한 환자를 도운 한 참가자는 '정신과에 가기로 한 결정을 실제로 검증한 경험 중 하나'라고 말했습니다(P3). [복무의 행위자성]을 통해 참가자들은 자신의 정체성을 활용하여 환자에게 도움을 주었습니다. 
Participants also leveraged adverse personal experiences to serve patients. One survivor of sexual assault who had previously worked as a sexual assault response advocate said, ‘I always include [history of assault] as part of my social history … And so, I've had many times during my third year in clinical spaces, where I've kind of caught those things and then been able to connect patients with resources’ (P13). Multiple participants articulated that opportunities to leverage their identities productively influenced their specialty selection. For example, after drawing upon her identity as an immigrant to help a patient in crisis, a participant said, ‘it's one of the experiences that really, actually, validated my decision to go into psychiatry’ (P3). Through agency to serve, participants leveraged their identities to benefit their patients.

인격 존중학습자를 한 개인으로 알고자 하는 다른 사람들의 존중하는 노력을 의미합니다. 참가자들은 수퍼바이저가 임상 업무 중 휴식 시간이나 참가자가 수퍼바이저와 함께 사교 활동(예: 식사를 나누며 대화)을 할 기회를 가질 때 자신의 인격이 지켜졌다고 이야기했습니다. 인격적 대우를 받는다는 것은 참가자들이 다른 정체성을 가진 사람들에게도 자신을 인정받고, 긍정받고, 가치 있다고 느낀다는 것을 의미했습니다. 
Upholding personhood 
refers to others' respectful efforts to know a learner as an individual. Participants recounted that their personhood was upheld when supervisors invested in knowing them during breaks in clinical duties or when participants had the opportunity to engage in social activities with their supervisors (e.g., talk while sharing a meal). Upholding personhood meant that participants felt seen, affirmed and valued, even by those who held different identities.

[저의 주치의는 저를 데리고 커피를 마시며 인생에 대해 이야기했고, 결국 성에 대한 이야기로 이어졌습니다. '한 살짜리 아들이 있는데 어떻게 하면 성에 대해 즐겁게 탐구하도록 가르칠 수 있을까요?"라고 물으시는데, 정말 존중하고 배려하는 느낌이 들었어요. '트랜스젠더를 만나야겠다'는 식이 아니라요. (P9) 
[My attending] took me out for coffee and we talked about life, and it eventually led to gender stuff. She's like, ‘I have a one-year-old son, how can I teach him to enjoy exploring gender?’ … that felt really respectful and caring like, ‘I got to meet you’. Not like ‘I got to meet a trans person’. (P9)

소그룹 체크인을 통한 종단 실습과 같은 의과대학 커리큘럼 구조는 정체성에 대한 동료 간 토론을 촉진했습니다. 임상 환경과 함께 이러한 기회는 참가자들이 자신의 인격을 지지하는 동료와의 관계를 발전시키는 데 도움이 되었습니다.
Medical school curricular structures like longitudinal clerkships with small group check-ins facilitated peer-to-peer discussion about identity. These opportunities alongside the clinical environment helped participants develop relationships with their peers that upheld their personhood.

참가자들은 정체성이 일치하는 다른 사람들과 연결되어 있다고 느낄 때 학습 환경에 소속감을 느꼈습니다. 정체성의 일치로 인해 참가자들은 종종 자기 모니터링으로부터 자유로워졌습니다. 곱슬머리가 '민족적 또는 인종적'인 것으로 여겨졌다고 말한 한 학생은 "대부분의 로테이션에서 저는 곱슬머리를 가지고 있었고, [참석자들은] 실제로 제 곱슬머리를 매우 편안하게 느끼게 해주었습니다. 그녀도 곱슬머리를 가지고 있는데 큰 문제가 되지 않았어요'(P1). 또 다른 참가자는 다른 의과대학에서 로테이션을 할 때까지 자신이 소속감이 부족하다는 사실을 깨닫지 못했습니다: '세 명의 어텐딩이 모두 아시아 여성이거나 적어도 절반은 아시아 여성이었어요... 저는 그 공간에서 [고향 학교]에서는 결코 느끼지 못했던 방식으로 매우 힘을 얻고 받아들여진다고 느꼈어요'(P15). 이 경험 덕분에 레지던트 수련을 위해 해당 기관을 선택하게 되었습니다. 한 학습자는 소속감이 부족했던 환경에서의 경험을 다른 사람들과의 유대감을 느꼈던 환경과 비교했습니다. 전자의 경우, 그녀는 한 전문과목에서 수련을 받는 동안 자신이 좋아하는 보라색 머리띠('스크런치')를 1년 내내 착용하지 않았고 나중에 여성 의료진이 더 많은 다른 전문과목을 선택하기로 결정했습니다."오랫동안 제 정체성에 대한 모든 것을 상징하는 것이었어요. 그리고 '와우, 이제 스크런치처럼 정말 멍청하고 사소한 일에 대해 고민할 필요가 없겠구나'(P2)라는 생각이 들어서 행복했습니다. 많은 참가자가 소속감을 해방감이라고 표현했습니다소속감을 느끼면 자신의 정체성에 대해 생각하거나 억압해야 할 필요성을 덜 느꼈습니다. 눈에 보이는 정체성의 일치도 중요하지만, 눈에 잘 띄지 않는 정체성이 때때로 소속감을 키우기도 했습니다. 예를 들어, 한 칼데아 남학생은 인종, 성별, 종교가 다른 전공의와 함께 소속감을 느꼈던 순간을 회상했습니다:
Participants felt belonging in the learning environment when they felt connected to others with concordant identities. Identity concordance often liberated participants from self-monitoring. A student who shared that curly hair was viewed as more ‘ethnic or racial’ commented, ‘for most of that rotation, I had curly hair and [my attending] actually made me feel very comfortable with my curly hair. She has curly hair, too, and it wasn't a big deal’ (P1). Another participant did not realise he lacked belonging at his home institution until he rotated at another medical school: ‘All three attendings were Asian women or at least half Asian women … I felt very empowered and very accepted in that space in a way that I never did in [home school]’ (P15). This experience led him to choose that institution for his residency training. One learner compared her experience in an environment where she lacked this sense of belonging to one where she felt a sense of connection with others. In the former, she did not her wear her favourite purple hair tie (a ‘scrunchy’) for a full year while she did research in one specialty before later deciding to pursue a different specialty with more women providers: ‘It's very symbolic for everything else that I put away in my identity for a long time. And it made me happy because I was like, “Wow, I don't have to overthink really dumb, small things like a scrunchy now”’ (P2). Many participants described belonging as liberating: When they belonged, they felt less compelled to think about or suppress aspects of their identities. While visible identity concordance was important, less visible identities also sometimes fostered belonging. For example, one Chaldean male student reflected upon a moment of belonging with a resident of a different ethnic group, gender and religion:

대학 시절 비슷한 학생 단체에서 했던 일을 공유했고, 우리 둘 다 각자의 문화권에서 전통 무용을 하는 사람이었기 때문에 서로 영상을 보여줬는데, 정말 재미있었고 서로에게 배울 점이 많았어요. (P12)
We shared kind of what we did in our similar student organizations in college, and we both happened to be traditional style dancers of our own respective culture, and we were showing each other videos, and it was a lot of fun, and it was a learning point for both of us. (P12)

눈에 잘 띄지 않는 정체성을 드러내기 위해서는 외부적인 단서가 충분하지 않았습니다: 개인이 서로에게 더 가까이 다가가고 소속감을 공유하려면 개인을 공개하는 행위가 필요했습니다.
For less visible identities, external cues were insufficient: Acts of personal disclosure were necessary for individuals to move closer to each other and create a shared sense of belonging.

인터뷰 말미에 정체성이라는 단어를 들었을 때 무엇이 떠오르느냐는 질문에 참가자들은 온전한 자기 자신에 대해 반복해서 말했습니다. 한 참가자는 '특정 부분만 보여줄 수 있다고 느낄 필요는 없다'는 말로 집단 대화를 효과적으로 요약했습니다. 모든 모습에서 자신이 될 수 있다고 진정으로 느낄 때, 그것이 정체성 안전이라고 생각합니다'(P1).
At the end of an interview, when asked what came to mind when they heard the phrase identity, participants repeatedly spoke of being one's whole self. The collective dialogue was effectively summarised by one participant who said, ‘you don't have to feel like you can only show a certain part. When you truly feel like you can be yourself in all your forms, I think that means identity safety’ (P1).

7 토론
7 DISCUSSION

임상 의대생들을 대상으로 한 이 근거 이론 연구는 정체성 위협, 위협 완화, 정체성 안전으로 정체성 불안 경험을 정리했습니다. 참가자들의 이야기는 학습자, 감독자, 동료 및 학습 환경이 모두 정체성 위협, 위협 완화 및 정체성 안전에서 어떻게 적극적인 역할을 하는지를 보여줍니다. 정체성 안전은 참여자가 복무의 행위자성을 인식하고, 자신의 인격이 보호받고 있으며, 주변 사람들과 소속감을 느끼는 것을 기반으로 합니다. 아래에서는 정체성 안전이 어떻게 문화적으로 지속 가능한 교육법을 촉진할 수 있는지, 정체성 안전이 의료 교육에서 포용성 노력을 어떻게 알릴 수 있는지, 정체성 안전이 위협 완화와 어떻게 구별되고 보완적인지 논의합니다.
This grounded theory study with clinical medical students organises identity-salient experiences into identity threat, threat mitigation and identity safety. Our participants' narratives demonstrate how learners, supervisors, peers and the learning environment all play active roles in identity threat, threat mitigation and identity safety. Identity safety is built upon participants perceiving agency to serve, that their personhood is upheld and a sense of belonging with those around them. Below, we discuss how identity safety can promote a culturally sustaining pedagogy, how it can inform inclusion efforts in medical education and how identity safety is distinct and complementary to threat mitigation.

이러한 데이터를 비판적 렌즈를 통해 살펴보면, 정체성 안전을 촉진하는 것은 고유한 존재 방식을 적극적으로 육성하고 장려하며 단일 문화 학습자의 개발을 억제하는 반결핍 프레임워크인 문화적으로 지속 가능한 교육학(CSP)을 촉진한다고 주장합니다.44 비판적 교육학으로서 CSP는 학습자와 멘토가 양방향 학습 관계에 존재한다는 것을 인식합니다.35, 45 [복무의 행위자성]을 통해 강조된 바와 같이 학습자들은 환자를 돌보고 지원하기 위해 자신의 언어, 문화, 장애, 국적, 심지어 트라우마 병력을 생산적으로 사용하는 방식을 언급했습니다. 이러한 방식으로 학습자들은 일반적으로 정규 의료 교육에서 가르치지 않는 치유에 대한 기술과 지식을 가져왔습니다. CSP는 지속 가능한 교육의 목표를 '빼는 것이 아니라 더하는 것... 결핍을 대체하는 것이 아니라 강점을 강화하는 것'으로 보고 있습니다.45 학습자가 자신의 정체성을 활용하여 환자를 돕도록 지원하는 것은 문화적으로 지속 가능할 수 있지만, 연구 결과는 의료 교육에서 학습자의 토큰화에 대한 중요한 경고를 제공합니다: 학습자가 자신의 정체성 중 한 가지 측면(예: 언어 능력 및 인종적 일치)만으로 '환영받는다'고 느낄 때, 그들의 인격은 지켜지지upheld 않습니다. 교육자가 학습자에게 문화적 자산을 넘어 완전한 개인으로서 가치가 있다는 것을 어떻게 보여줄 수 있는지 이해하기 위해서는 더 많은 연구가 필요합니다.
Examining these data through a critical lens, we argue that fostering identity safety promotes a culturally sustaining pedagogy (CSP), an anti-deficit framework that actively nurtures and encourages unique ways of being and discourages the development of monocultural learners.44 As a critical pedagogy, CSP recognises that learners and mentors exist in a bidirectional learning relationship.35, 45 As highlighted through agency to serve, learners cited the ways that they productively used their languages, cultures, disabilities, nationalities and even trauma histories to care for and support their patients. In this way, learners brought skills and knowledge of healing that are not typically taught within formal medical training. CSP views the goal of a sustaining education ‘as additive rather than subtractive … critically enriching strengths rather than replacing deficits’.45 While it can be culturally sustaining to support learners to leverage their identities to help patients, our results provide an important caution against tokenisation of learners in medical education: When learners feel ‘welcomed’ because of only one aspect of their identity (e.g., language ability and racial concordance), their personhood is not upheld. More research is needed to understand how educators can demonstrate to learners that they are valued as complete individuals beyond their cultural assets.

정체성 안전은 의료 교육에서 포용성을 위한 노력에 도움이 될 수 있습니다. 중요한 것은 학습 환경의 모든 개인이 정체성 안전에 기여할 수 있다는 것입니다. 안전감을 형성하기 위해 타인에게 의존하는 심리적 및 교육적 안전과 달리, 우리의 연구 결과는 개인이 주체성을 발휘할 수 있으며, 따라서 스스로 정체성 안전감을 공동 구성하는 데 적극적인 역할을 할 수 있음을 보여줍니다.25, 27 스스로 만든 안전에 대한 이러한 설명은 커뮤니티 결핍 관점이 아닌 커뮤니티 강점 관점에서 안전의 원천을 재검토하는 중요한 반론을 제공합니다.46 다양한 팀원의 정체성을 활용하는 것은 심리적 안전의 유리한 결과로 설명되지만,47 우리는 이를 정체성 안전 형성의 기초로 묘사합니다. 정체성 일치대표성은 소수자 배경을 가진 참가자의 소속감을 촉진하며, 연구 결과에 따르면 정체성 차이를 넘어 인격을 존중함으로써 정체성 안전을 구축할 수 있다는 것을 보여줍니다. 이러한 방식으로 다수 집단에 속한 개인은 소수 집단에 속한 동료의 정체성 안전을 증진할 책임이 있습니다
Identity safety can inform inclusion efforts in medical education. Importantly, all individuals in the learning environment can contribute to identity safety. In contrast to psychological and educational safety that rely upon others to create a sense of safety, our results show that individuals can demonstrate agency and, thus, can play an active role in co-constructing a sense of identity safety for themselves.25, 27 This description of self-created safety provides a critical counternarrative, which re-examines the sources of safety from a community strengths lens as opposed to a community deficit lens.46 While leveraging the identities of diverse team members is described as a favourable outcome of psychological safety,47 we describe it as foundational to the creation of identity safety. Identity concordance and representation promote belonging for participants from minoritised backgrounds, and our results also illustrate that it is possible to bridge across identity differences and create identity safety by upholding personhood. In this way, individuals from majority groups are also responsible to promote identity safety for colleagues from minoritised groups.

정체성 안전정체성 위협 완화와는 구별되지만 상호 보완적인 개념입니다. 참가자들은 고립, 토큰화, 능력주의, 인종차별, 트랜스포비아, 외국인 혐오증 등 다양한 정체성 위협에 대해 설명했습니다. 역사적으로 안전한 환경 조성에 관한 이야기는 주로 정체성 위협을 예방하거나 이에 개입하는 것, 즉 위협 완화에 초점을 맞추었습니다.29, 48, 49 중요한 점은 여러 참가자가 위협 완화가 필요하지만 안전을 위해 충분하지 않다고 답했다는 것입니다. 학습자가 완전히 해방되고 정체성이 안전하다고 느끼기 위해서는 보호와 연대를 넘어선 추가적인 노력, 즉 주체성을 강조하고 학습자의 고유한 인격을 옹호하며 소속감 증진 등의 노력이 필요합니다. 정체성이 안전한 임상팀에서도 위협을 완화하는 기술은 여전히 중요합니다. 안타깝게도 팀, 직장 및 환자 치료 상호 작용 내에서 해로운 정체성 위협이 빈번하게 발생합니다.50 정체성 안전과 위협 완화는 학습 환경의 모든 개인을 지원하기 위해 시너지 효과를 발휘할 수 있는 잠재력을 가지고 있습니다.
Identity safety is distinct from but complementary to threat mitigation. Our participants described a variety of identity threats including isolation, tokenisation, ableism, racism, transphobia and xenophobia. Historically, the narrative around creating safe environments has focused primarily on preventing or intervening against identity threats, what we term threat mitigation.29, 48, 49 Importantly, multiple participants said threat mitigation was necessary but insufficient for safety. For learners to feel fully liberated and identity safe, additional efforts beyond safeguarding and allyship are needed—such as emphasising a sense of agency, upholding learners' unique personhoods and fostering a sense of belonging. Skills for threat mitigation remain important even on identity-safe clinical teams. Within teams, workplaces and patient care interactions, harmful identity threats are unfortunately frequent.50 Identity safety and threat mitigation have the potential to work synergistically to support all individuals in the learning environment.

이 연구에는 한계가 있습니다. 본 이론은 다양한 맥락에서 다양한 정체성 전반에 걸친 안전을 포괄하려고 시도했으며, 최대 변형 샘플링을 통해 얻은 광범위한 정체성 다양성으로 인해 정체성 안전에 대한 이해의 깊이와 뉘앙스를 잃었을 수 있습니다. 미국 서부 의과대학 3곳에서 표본을 추출했는데, 정체성은 주로 사회적으로 구성되기 때문에 지리적 또는 사회적 맥락에 따라 정체성 안전에 차이가 있을 수 있습니다. 
This study has limitations. Our theory attempts to encompass safety across many identities in diverse contexts; we may have lost depth and nuance into our understanding of identity safety due our breadth of identity diversity achieved through maximum variation sampling. We sampled from three western US medical schools; because identity is largely socially constructed, there may be differences in identity safety in differing geographical or social contexts.

8 결론
8 CONCLUSION

학습자는 여러 개의 정체성을 보유하고 있으며 정체성 위협, 위협 완화 및 정체성 안전을 경험할 수 있습니다. 정체성 안전은 개인이 자가 모니터링에서 벗어나 자신의 정체성을 환자 치료에 활용할 수 있도록 해줍니다. 정체성 안전과 위협 완화는 함께 작동하여 정체성 위협에 대처할 수 있습니다.
Learners hold multiple identities and may experience identity threat, threat mitigation and identity safety. Identity safety can liberate individuals from self-monitoring and enable them to leverage their identities for patient care. Identity safety and threat mitigation may work together to combat identity threats.

 


Med Educ. 2023 Jul 30. doi: 10.1111/medu.15174. Online ahead of print.

'Yourself in all your forms': A grounded theory exploration of identity safety in medical students

Affiliations collapse

1Division of Nephrology, University of Washington School of Medicine, Seattle, Washington, USA.

2School of Health Professions Education, Maastricht University, Maastricht, Netherlands.

3Department of Psychiatry at Hartford Hospital, Institute of Living, Hartford, Connecticut, USA.

4Department of Medicine, Division of Hospital Medicine, University of Colorado School of Medicine, Aurora, Colorado, USA.

5School of Medicine, Division of Pulmonary, and Critical Care Medicine, University of California, San Francisco, San Francisco, California, USA.

6Department of Emergency Medicine, University of Washington School of Medicine, Seattle, Washington, USA.

7Department of Pediatrics, University of Colorado School of Medicine, Aurora, Colorado, USA.

8Maastricht University Medical Centre, Maastricht, Netherlands.

9University of California, San Francisco, San Francisco, California, USA.

PMID: 37517809

DOI: 10.1111/medu.15174

Abstract

Introduction: Identity threats, such as stereotype threat and microaggressions, impair learning and erode well-being. In contrast to identity threat, less is known about how learners experience feelings of safety regarding their identity. This exploratory study aims to develop a theory of identity safety in the clinical learning environment.

Methods: This multi-institutional, qualitative interview study was informed by constructivist grounded theory and critical pedagogy. Participants were clinical students at three public medical schools in the United States in 2022. Investigators purposively sampled participants for interviews based on their responses to an 11-item survey with an open-ended question soliciting students' personal identities and responses to both the racial/ethnic and gender Stereotype Vulnerability Scales. The investigators interviewed, coded, constantly compared and continued sampling until the codes could be developed into categories, then concepts and finally into a theory. The team engaged in critical reflexivity throughout the analytic process to enrich data interpretations.

Results: Sixteen diverse students were interviewed. We organised their identity-salient experiences into identity threat, threat mitigation and identity safety. Participants experienced identity threat through unwelcoming learning environments, feeling compelled to change their behaviour in inauthentic ways or sociopolitical threat. Threat mitigation occurred when a participant or supervisor intervened against an identity threat, dampening but not eliminating the threat impact. Participants characterised identity safety as the ability to exist as their authentic selves without feeling the need to monitor how others perceive their identities. Identity safety manifested when participants demonstrated agency to leverage their identities for patient care, when others upheld their personhood and saw them as unique individuals and when they felt they belonged in the learning environment.

Discussion: Attending to identity safety may lead to educational practices that sustain and leverage team members' diverse identities. Identity safety and threat mitigation may work together to combat identity threats in the learning environment.

테크니컬 어려움: 테크놀로지에 대한 비판적 철학적 지향 가르치기(Teach Learn Med, 2023)
Technical Difficulties: Teaching Critical Philosophical Orientations toward Technology (Teach Learn Med, 2023)
Benjamin Chin-Yeea , Laura Nimmonb and Mario Veenc

 

소개
Introduction

우리는 흔히 테크놀로지가라고 하면 '최첨단' 혁신과 '최첨단' 기계를 떠올립니다. 하지만 오늘날 우리의 일상 환경을 구성하는 대부분의 사물과 관행이 인류 역사상 한때는 혁신적인 테크놀로지가었다는 사실을 깨닫게 되면 냉정해집니다. 예를 들어 손씻기는 한때 글로벌 의료 분야에서 괄목할 만한 테크놀로지 혁신이었습니다. 지금 전 세계적인 팬데믹 상황에서 비누, 디스펜서, 흐르는 물, '손 위생'과 관련된 테크놀로지 및 습관을 포함하는 이 테크놀로지를 사용할 수 없거나 사용할 수 없다고 상상해 보세요. 1840년대 유럽 전역에서 "교수, 조교, 학생들은 종종 시체 해부부터 첫 진료소의 환자 진찰까지 직접 수행했습니다."1(164쪽) 미국에서도 1980년대에 이르러서야 최초의 국가적 손씻기 지침이 등장했습니다.  
When we think of technology, we often think of ‘cutting-edge’ innovations and ‘state-of-the-art’ machines. However, it is sobering to realize that, today, most of the objects and practices that make up our day-to-day environment were at one point in human history innovative technologies. For example handwashing was at one time a remarkable technological innovation in global healthcare. Imagine if now, in the context of a global pandemic, this technology—which includes soap, a dispenser, running water, and the associated skills and habits of ‘hand hygiene’—were not available or acceptable to us. Across Europe in the 1840s, “professors, assistants and students often went directly from dissecting corpses to examining patients in the first clinic.”1(p164) Even in the United States, it was not until the 1980s for the first national handwashing guidelines to emerge.

1970년대와 1980년대에 개발되어 현재 선진국에서 보편화된 전자 건강 기록(EHR)은 오늘날 당연하게 여겨지는 혁신적인 의료 테크놀로지의 보다 현대적인 예입니다. EHR은 의료진에게 환자에 대한 외부 메모리를 제공하여 환자를 만나기 전에 의료 및 사회 이력부터 임상 및 실험실 데이터에 이르기까지 풍부한 정보에 액세스할 수 있도록 합니다. EHR이 많은 국가에서 임상 진료 환경을 재편한 것처럼, 코로나19 팬데믹으로 인한 eHealth 및 원격 의료의 급속한 확장은 저자들이 위치한 캐나다와 네덜란드에서 환자-의사 관계의 본질을 재정의하고 있습니다.2 
The development of the Electronic Health Record (EHR) in the 1970s and 1980s that is now ubiquitous in developed countries is a more modern example of a transformative healthcare technology that is often taken for granted. The EHR provides practitioners with external memory about the patient, enabling access to a wealth of information from medical and social history to clinical and laboratory data, before encountering the patient. Just as the EHR reshaped the clinical encounter in many countries, the rapid expansion of eHealth and telemedicine engendered by the COVID-19 pandemic are redefining the nature of the patient-physician relationship in Canada and the Netherlands where the authors are situated.2

한 가지 문제는 무엇이 '좋은' 테크놀로지로 간주되는지가 특정 지역의 접근성, 리소스 및 인프라와 같은 문제에 따라 달라진다는 것입니다. 캐나다와 네덜란드의 저자로서 우리는 우리 자신의 위치와 글로벌 북부의 연구자 및 임상의로서의 관점이 이러한 특정 맥락에서 많은 국가에 존재하는 의료 테크놀로지에 초점을 맞추게 만들 수 있음을 인정합니다. 우리는 이러한 제한된 관점이 세계 다른 곳에서 직면한 독특한 테크놀로지적 과제를 다루지 못한다는 것을 잘 알고 있습니다. 
One challenge is that what counts as ‘good’ technology depends on issues such as accessibility, resources and infrastructure of a particular location. As authors from Canada and The Netherlands we acknowledge our own positionality, and how our perspectives as researchers and clinicians from the Global North may cause us to focus on healthcare technology as it exists in many countries in this particular context. We are aware that this limited perspective does not address distinctive technological challenges faced elsewhere in the world.

현대에는 테크놀로지를 기계와 연관 짓는 경향이 있지만, 인간은 불 피우기, 부싯돌 도구, 동굴 예술이 발명된 이래로 테크놀로지적 존재였습니다.3 약초를 으깨는 초보적인 절구, 부러진 뼈를 고치는 점토 깁스, 선사 시대부터 내려오는 침술의 증거 등 의학(인간을 지원하고 치유하는 예술)은 항상 테크놀로지적 환경 속에 존재해왔고 진화하는 테크놀로지를 통해 가능했습니다. 약물(페니실린에서 mRNA 백신까지), 의료 도구(외과 의사의 메스에서 로봇 보조 수술까지), 진단 도구(반사 망치에서 자기 공명 영상까지), 통신 도구(회전 전화기에서 화상 회의까지)는 현대 의학을 발전시키기 위해 진화한 테크놀로지의 예입니다.
In our modern age, we tend to associate technology with machines; however, human beings have been technical beings since the invention of fire-making, flint tools, and cave art.3 With rudimentary mortars for smashing medicinal herbs, clay casts for mending broken bones, and evidence for trephination dating back to prehistoric times, the practice of medicine (the art of supporting and healing human beings) has always existed within and been enabled by an evolving technical environment. Medication (from penicillin to mRNA vaccines), medical tools (from the surgeon’s scalpel to robot-assisted surgery), diagnostic instruments (from the reflex hammer to magnetic resonance imaging) and communication tools (from the rotary phone to videoconferencing) are examples of technologies that have evolved to improve modern medicine.

테크놀로지와 파마콘의 철학
Philosophy of technology and the pharmakon

의학교육의 철학에 관한 이 시리즈에서는 테크놀로지가 단순히 공학과 윤리의 문제가 아니라 철학적 이슈를 구성하는 방식이 불분명하게 보일 수 있습니다. 그러나 테크놀로지는 플라톤과 아리스토텔레스 이래로 논쟁의 대상이 되어 왔으며, 플라톤은 (당시 현대의) 글쓰기 테크놀로지를 '파르마콘'이라고 비난했습니다.4 [연설문을 작성하는 것]이 거의 완벽한 실행을 유도하는 동시에 잠재된 기억 능력을 약화시키는 방법을 생각해 보십시오. 파마콘의 철학적 개념은 테크놀로지가 약과 같이 약이 되기도 하고 독이 되기도 한다는 것을 나타냅니다.4,5 테크놀로지는 치료 잠재력을 가질 수 있지만 (외과의의 메스처럼) 해를 끼치지 않도록 주의해야 합니다. 이후 몇몇 철학자들은 이러한 테크놀로지의 특성을 확장하여 기억력이나 수작업 테크놀로지와 같은 인간의 능력을 외부화했습니다.3,6 
In this series on philosophy in medical education, it may seem unclear how technology constitutes a philosophical issue rather than just matter for engineering and ethics. However, technology has been a contested issue since Plato and Aristotle, with Plato lambasting the (then modern) technology of writing as a “pharmakon”.4 Consider how while writing a speech guides its near perfect execution, it also erodes the latent ability to remember. The philosophical concept of the pharmakon denotes how technology, like a medicine, can be both a potion and poison.4,5 It can have curative potential but (like the surgeon’s scalpel) requires care to avoid causing harm. Several philosophers have since expanded on this nature of technology to exteriorize human abilities such as memory and manual skills.3,6

화상 회의는 최근 파마콘의 한 예입니다. 팬데믹 기간 동안, 특히 자원이 풍부한 국가에서 화상 회의는 의료 서비스 제공자가 시각적 진단을 사용할 수 있게 해주었습니다. 이러한 상황에서 팬데믹이 10년 전에 발생했다면 의사는 환자의 목소리에서 나오는 데이터와 단서에만 의존해야 했을 것입니다. 현대 테크놀로지는 이전에는 불가능했을 환자 치료의 가능성을 제공했습니다. 원격 상담의 효율성을 고려할 때 현재 많은 초기 상담이 영상으로 이루어지고 있습니다.2 언젠가는 이러한 상담이 자동화되거나 인공지능(AI)에 아웃소싱될 수도 있습니다.7 그러나 이로 인해 대면 의사와 환자 간의 관계에 예상치 못한 부작용이 발생할 수 있다는 의문이 제기되고 있습니다. 많은 연구에서 의사 소통,8 공감,9 연결, 직관10,11이 진단 및 환자 순응도에 긍정적인 영향을 미친다는 사실이 입증되었습니다.12 
Videoconferencing is a recent example of a pharmakon. During the pandemic, particularly in resource-rich countries, videoconferencing has enabled healthcare providers to use visual diagnosis. Whereas, in these contexts, if the pandemic had happened a decade earlier, physicians would have had to rely on just the data and cues from the patient’s voice. Modern technology provided a possibility for patient care that would not otherwise have existed. Given the efficiency of remote consultations many initial consultations are now video-mediated.2 Perhaps one day these consultations will be automated or outsourced to artificial intelligence (AI).7 However, this raises questions about what unforeseen side-effects this would this have on those qualities that we associate with the face-to-face doctor-patient relationship. Many studies have demonstrated that communication,8 empathy,9 connection, and intuition10,11 have a positive impact on diagnosis and patient adherence.12

테크놀로지의 응용 철학
Applied philosophy of technology

20세기에 테크놀로지철학은 테크놀로지 평가, 과학테크놀로지 연구, 사회물질성과 같은 이론적 지향에 적용되었습니다.13 이러한 지향은 예를 들어, 신흥 (의료) 테크놀로지의 사회적 이익과 단점을 평가하는 방법에 관한 문제와 관련이 있습니다.14 지난 수십 년 동안 테크놀로지 혁신의 가속화와 테크놀로지가 우리 삶에 미치는 영향에 힘입어 테크놀로지철학은 한 분야로 확장되었습니다. 
In the twentieth century, philosophy of technology has been applied in Technology Assessment, Science and Technology Studies, and theoretical orientations such as sociomateriality.13 These orientations concern themselves with, for instance, the question of how to assess the societal benefits and drawbacks of emergent (medical) technologies.14 In the past few decades, philosophy of technology has expanded as a field by virtue of the acceleration of technological innovation and how technology is impacting our lives.

혁신은 시대를 막론하고 존재하지만, 오늘날 의료 분야는 테크놀로지 혁신의 가속화로 전례 없는 도전에 직면해 있습니다. 히포크라테스 시대에는 매 세기마다, 알렉산더 플레밍 시대에는 10년마다 획기적인 혁신이 있었을 것입니다. 디지털 테크놀로지가 부상한 이후에는 혁신이 매일 배가되는 것처럼 보입니다. 예를 들어 1980년대에는 개인용 컴퓨터가 도입된 후 많은 의사들의 진료실에 등장하기까지 많은 시간이 걸렸습니다. 그리고 이러한 가속화로 인해 테크놀로지 사용에 익숙해지고 테크놀로지와 의료의 '인간적 측면'의 관계를 포함하여 환자 치료에 미치는 영향을 비판적으로 평가할 시간도 부족해졌습니다. 
Innovation is of all ages, but today health care faces unprecedented challenges with accelerating technological innovation. In the time of Hippocrates, there might have been a groundbreaking innovation every century and in the time of Alexander Fleming, every decade. Since the rise of digital technologies it seems that innovations multiply on a daily basis. For example, in the 1980s, there was plenty of time between the introduction of the Personal Computer and its appearance in many doctors’ consultation rooms. And with this acceleration, there is also insufficient time to become literate in using a technology and to critically evaluate its impact on patient care, including the relationship between technology and the ‘human side’ of medicine.

혁신의 가속화와 새로운 테크놀로지를 숙달하고 숙고하는 시간 단축은 테크놀로지가 환자와 의사의 관계에 개입하는 정도에 따라 더욱 절실해집니다. 이러한 가속화 속도는 줄어들지 않고 있으며, 이는 어떤 테크놀로지가 미래에 의학에 큰 영향을 미칠지 예측하는 것이 거의 불가능하다는 것을 의미합니다. 가상 진료 플랫폼부터 빅 데이터와 AI에 이르기까지 현재 우리가 보고 예측하는 테크놀로지에 대해서는 수련의들에게 교육할 수 있습니다. 하지만 매년 줄어들고 있는 우리의 예측 지평을 넘어서는 미래 테크놀로지에 대해서는 교육할 수 없습니다. 
The acceleration of innovation and the reduction of time to master and reflect on emerging technologies is made even more urgent by the degree to which technology intervenes in patient-physician relationships. This acceleration isn’t slowing down, which means that it is almost impossible to predict which technologies will have a major impact on medicine in the future. We can educate trainees on the technologies that we see and foresee today, from virtual care platforms to Big Data and AI. However, we cannot educate them on future technologies beyond our horizon of anticipation which is shrinking every year.

현재 대부분의 의료 교육 연구는 교육과 진료에 구현된 기존 테크놀로지에 초점을 맞추는 경향이 있습니다.15-17 그러나 이미 널리 퍼져 있고 미래에 기반한 테크놀로지의 영향을 평가하는 데에는 내재적인 어려움이 있습니다. 여기서 우리는 응용 테크놀로지 철학, 특히 테크놀로지 평가와 사회물질성에서 얻은 통찰력이 특히 유용할 수 있다고 믿습니다. 
At present time, most medical education research tends to focus on existing technologies implemented in education and practice.15–17 There are, however, inherent challenges assessing the impact of something that is both pervasive and future-based. Here we believe that insights from applied philosophy of technology, specifically from Technology Assessment and sociomateriality, can be especially valuable.

테크놀로지 인공물, 테크놀로지 및 테크놀로지
Technical artifacts, techniques, and technics

이러한 방향성이 기여할 수 있는 첫 번째 영역은 테크놀로지를 둘러싼 언어를 명확히 하는 것입니다. 교육학에서 '학습'과 마찬가지로,18 '테크놀로지'이라는 단어는 부정확합니다. 우리는 이미 이 단어를 기계, 글쓰기, 역사 공부와 같은 테크놀로지를 지칭하는 데 사용했습니다. 이 논문에서는 테크놀로지를 세 가지 '수준'으로 구분합니다. 
The first area in which these orientations can contribute is in clarifying the language surrounding technology. Like ‘learning’ in educational science,18 the word ‘technology’ is imprecise. We have already used it to refer to machines, to writing, and to skills such as history-taking. In this paper, we distinguish between three ‘levels’ of technology.

첫 번째는 연필, 스마트폰, 의자 등 테크놀로지적 인공물의 수준입니다. 테크놀로지 아티팩트는 항상 집합체입니다: 'EHR'은 소프트웨어 코드, 컴퓨터 칩, 화면의 집합체입니다. EHR이 다양한 테크놀로지로 구성되어 있는 것처럼 다른 테크놀로지의 전체 네트워크에 내장되어야만 작동할 수 있습니다(19세기 병원이나 심지어 정전이 빈번하거나 예측할 수 없는 21세기 병원에서 EHR이 얼마나 쓸모없을지 상상해 보세요). 
The first is the level of technical artifacts: pencils, smartphones, chairs, and so on. Technical artifacts are always assemblages: ‘the EHR’ is an assemblage of software code, computer chips, screens. Just as the EHR consists of many different technologies, so it can only function if embedded in a whole network of other technologies (just imagine how useless an EHR would be in an 19th century hospital, or even a 21st century hospital in a location with frequent or unpredictable power outages).

두 번째 수준의 테크놀로지는 테크닉technique이라고 부르는 것이 더 적절할 수 있습니다. 테크니컬 아티팩트는 테크놀로지의 표현입니다. 예를 들어 인공 지능은 소프트웨어 프로그래밍 및 전기 공학과 마찬가지로 테크놀로지입니다. 그러나 테크닉에는 인간의 스킬도 포함됩니다. EHR은 임상 진료의 맥락에서 작동하기 위해 디지털 테크닉뿐만 아니라 장치를 읽고, 추론하고, 수동으로 조작하는 능력에도 의존합니다.
The second level of technology might be better termed technique. Technical artifacts are manifestations of techniques. For instance, Artificial Intelligence is a technique, as are software programming and electrical engineering. However, technique also includes human skills. The EHR not only relies on digital techniques to function in the context of clinical practice, but also on abilities to read, reason, and manually operate the device.

철학자들은 테크니컬 장치와 테크놀로지가 '인간적인 것'과 '테크놀로지적인 것' 사이의 전통적인 구분을 어떻게 모호하게 만드는지 관찰하면서 우리가 테크닉technics이라고 부르는 세 번째 수준의 테크놀로지에 대해 탐구해 왔습니다.3 테크닉technics은 애초에 테크놀로지가 존재할 수 있게 하는 것입니다. 지구권 및 생물권과 관련하여 '테크노스피어' 또는 테크놀로지, 문화, 사회가 얽혀 있는 '테크니컬 조건'이라고도 불립니다.19 테크놀로지는 단순히 우리 환경의 대상이 아니라, 글쓰기의 테크놀로지부터 테크니컬 합리성(입력은 최소화하고 출력은 최대화하는 것을 목표로 하는 세계와의 관계 방식)에 이르기까지 세상에 존재하는 근본적인 방식과 관련되어 있습니다. 심지어 어떤 이들은 인간 존재의 근원적인 테크놀로지성technicity 이 있다고 주장하기도 합니다.3,6
In observing how technical devices and techniques blur the traditional distinction between ‘the human’ and ‘the technological’, philosophers have enquired into the third level of technology, which we call technics.3 Technics is what allows there to be technology in the first place. It has been called the technosphere (in relation to the geosphere and the biosphere) or “the technical condition”, the entanglement of technology, culture and society.19 Technology is not just an object in our environment, but it has to do with fundamental ways of being in the world:20 from the technology of writing to technical rationality – a way of relating to the world that aims to minimize input and maximize output. Some even going so far as to assert that there is an originating technicity to being human.3,6

이 논문에서는 응용 테크놀로지 철학을 바탕으로 의학교육을 위한 테크놀로지의 개념을 확장하고 비판적 테크놀로지 의식이 의학 커리큘럼에 통합될 수 있는 영역을 제안합니다. 테크놀로지에 대한 이러한 관점은 미래의 의사에게 반드시 필요하다고 생각합니다. 우리가 수련의들에게 근거의 현재 상태를 가르치는 것뿐만 아니라 비판적 사고자가 되어 단순한 '근거 사용자'가 아닌 '근거 기반 실무자'로 활동할 준비가 되어 있도록 노력하는 것처럼,21 수련의들은 단순한 테크놀로지 사용자가 아니라 테크놀로지를 비판적으로 평가할 수 있어야 합니다. 이를 위해서는 테크놀로지 교육뿐만 아니라 철학적 지향도 필요하다고 주장합니다.
In this paper, we draw on applied philosophy of technology to both broaden the concept of technology for medical education and suggest areas where a critical technical consciousness might be integrated into medical curricula. This perspective on technology, we believe, is indispensable for physicians of the future. Just as we strive to not only teach trainees the current state of evidence but also to be critical thinkers, ready to act as “evidence-based practitioners” not simply “evidence users”,21 they should be able to critically assess technology rather than just be technology users. This, we contend, requires not only technical training but also a philosophical orientation.

 

테크놀로지에 대한 실증주의적 및 철학적 오리엔테이션
Positivist and philosophical orientations to technology

테크놀로지의 문제는 이 시리즈의 이전 편에서 논의한 치료의 문제와 밀접한 관련이 있습니다.22,23 다른 편에서 Fawns와 Schaepkens는 테크놀로지가 신뢰와 같은 의료 교육의 기본 가치를 어떻게 침해할 수 있는지 논의했습니다.24 이 글에서는 테크놀로지가 기계와 그 도구적 사용뿐만 아니라 더 근본적으로 우리가 인간으로서 서로 관계를 맺는 방식을 어떻게 포괄하는지를 강조함으로써 이 시리즈의 도발적인 대화를 정교화했습니다. 예를 들어, 의학에서 터치는 진단 도구로서 테크놀로지적일 뿐만 아니라 공감을 촉진하고 관계를 형성할 수 있다는 점에서 관계적입니다.25 이러한 다양한 용도를 강조하기 위해 테크놀로지에 대한 비판적 관점과 현대 의학 교육에서 두드러지는 테크놀로지에 대한 암묵적으로 실증주의적인 관점을 대조해 보았습니다.
The question of technology is intimately related to the question of care that was discussed in an earlier installment in this series.22,23 In another installment, Fawns and Schaepkens discuss how technology can infringe on basic values in medical education such as trust.24 In this article, we elaborate the provocative conversations in this series by highlighting how technology concerns not only machines and their instrumental uses, but more fundamentally encompasses how we relate to each other as humans. For example, in medicine touch is not only technical as a diagnostic tool, but also relational in that it can foster empathy and form connection.25 To emphasize this multiplicity of uses, we contrast a critical view of technology to an implicitly positivist view of technology that is prominent in modern medical education.

실증주의적 관점에 따르면 테크놀로지는 단순히 과학의 연장선상에 있으며, 인간이 환경을 효과적으로 통제하고 조작할 수 있도록 과학적 지식을 합리적으로 적용하는 것입니다. 이러한 관점에서 볼 때 테크니컬 인공물은 단지 도구, 즉 목적을 위한 수단에 불과합니다. 윤리적 우려는 인정할 수 있지만, 테크놀로지 혁신은 과학적 진보를 반영한다는 암묵적 가정이 깔려 있습니다.19,26 예를 들어 의학교육에서 병상 초음파는 "학생들의 해부학에 대한 이해를 향상시키는 것으로 입증되지 않았다."27(p366) 실증주의적 관점은 테크놀로지가 사회의 사회적, 문화적 측면과 얽혀 있음을 인정하지 않으므로 테크놀로지 해결책주의에 빠질 수 있습니다. 그러나 의학교육에서 가르치는 데 있어 가장 중요한 것은 실증주의자는 테크놀로지를 인간 존재의 근본적인 구성 요소의 가속화가 아니라, 의학의 핵심적인 인간적 측면과 무관한 불가피한 꾸준한 진화로 간주합니다.26 우리는 테크놀로지가 발전함에 따라 환자와의 관계, 전문직 지식의 본질, 건강하거나 아프다는 것이 무엇을 의미하는지를 요약하는 대안적 프레임을 제안합니다. 이것이 바로 테크놀로지 철학에 대한 기본적인 이해가 의학 커리큘럼에 통합되어야 하는 이유입니다. 
According to a positivist view, technology is simply an extension of science: it is rational application of scientific knowledge that allows humans to effectively control and manipulate their environment. From this perspective, technical artifacts are merely tools: a means to an end. While ethical concerns may be acknowledged, the implicit assumption is that technological innovation mirrors scientific progress.19,26 In medical education, for instance, bedside ultrasound has been promoted despite findings that this technology “was not demonstrated to improve students’ understanding of anatomy.”27(p366) A positivist view does not recognize the entanglement of technology with social and cultural aspects of society and thus can succumb to technological solutionism. But most importantly for teaching in medical education, the positivist sees technology as a steady evolution that is inevitable and extraneous to the core human aspects of medicine, rather than an acceleration of a fundamental component of being human.26 We suggest an alternative framing that encapsulates how as technology evolves, so does our relationship to patients, the nature of knowledge in the profession, and what it means to be healthy or sick. This is why a basic understanding of philosophy of technology needs to be integrated in medical curricula.

우리는 비판적 테크니컬 의식을 함양하기 위한 개념적 토대가 되는 의료 커리큘럼에서 테크놀로지 교육을 안내하는 세 가지 중심 아이디어를 제안합니다: 자비롭고 공평한 치료를 제공하는 의료 전문가가 된다는 것이 무엇인지 보다 총체적으로 이해하기 위해 ...

  • 사용(테크니컬 스킬) 문제를 테크놀로지 리터러시로 확장하는 방법,
  • 새로운 테크놀로지의 사회적 영향을 고려하는 방법,
  • 직업의 관계적(예: 관계를 형성하는 테크놀로지로서의 터치) 측면과 테크닉적(진단 데이터를 수집하는 테크놀로지로서의 터치) 측면의 복잡한 얽힘을 인정하는 방법.

테크놀로지에 대한 이러한 중요한 철학적 지향은 규범적이거나 지시적인 것이 아니라 의료 커리큘럼에서 테크놀로지를 가르치기 위한 개념적 지침으로 작용합니다. 따라서 우리는 의식을 고취할 수 있는 광범위한 개념적 아이디어를 제공하고 지역적 맥락과 시간에 민감한 방식으로 교육 이니셔티브에 창의적으로 통합할 수 있는 잠재력을 가지고 있습니다.
We propose three central ideas to guide teaching on technology in medical curricula that serve as conceptual foundations for fostering critical technical consciousness:

  • how to expand the question of use (technical skill) to technical literacy;
  • how to take into account social impact of emerging technologies; and
  • how to recognize the complex entanglement of the relational (e.g. touch as a technique to form a relationship) and technical (e.g. touch as a technique to gather diagnostic data) aspects of the profession

...in order to more holistically understand what it is to be a medical expert who provides compassionate and equitable care.

This critical philosophical orientation toward technology is not meant to be prescriptive or directive, but rather act as conceptual guide for teaching technology in medical curricula. Thus we will offer broad conceptual ideas that can raise consciousness and have the potential to be integrated creatively into educational initiatives in ways that are sensitive to local context and time.

비판적 테크놀로지 의식 함양
Fostering critical technical consciousness

테크놀로지 리터러시
Technical literacy

의학교육에서 테크놀로지와 건강한 관계를 증진하는 가장 확실한 첫 번째 방법은 공평한 환자 치료를 위해 테크놀로지를 효과적으로 사용하는 방법을 이해할 수 있도록 하는 것입니다. 의학 커리큘럼에는 빅 데이터 및 AI와 같은 신테크놀로지와 의료 분야에서 다양하게 활용되는 테크놀로지에 대한 소개가 포함될 수 있습니다. 그러나 의료 전문가 학습자에게 필요한 것은 환자 치료의 맥락에서 이러한 테크놀로지를 가장 잘 적용하는 방법에 대한 교육입니다. 이를 위해 확장된 개념의 테크니컬 리터러시를 제안합니다. 
The first and most obvious way to promote a healthy relationship with technology in medical education is to be able to understand how to effectively use technology in service of equitable patient care. Medical curricula might incorporate introductions to emerging technologies, such as Big Data and AI and their various uses in healthcare. However, what health professional learners require is training on how to best apply these technologies in the context of patient care. To this end, we propose an expanded concept of technical literacy.

테크놀로지에 대한 실증주의적 관점은 테크놀로지를 유능하게 사용하는 방법에만 초점을 맞추는 반면, 리터러시에는 테크놀로지 사용에 적합한 맥락을 인식하는 것이 수반됩니다. 이는 또한 특정 테크놀로지를 사용할 수 없거나 사용해서는 안 되는 경우를 인식하는 것을 의미합니다. 문제는 단순히 의사에게 어떤 테크놀로지가 필요한지가 아니라 수련생이 테크놀로지를 유연하게 적용하고 현지 상황에 적응하는 데 필요한 지식, 테크놀로지 및 태도가 무엇인지입니다. 또한 의학교육에서는 각 테크놀로지와 관련하여 어떤 특정 역량이 필요한지 평가해야 합니다(예: AI 알고리즘 사용 시 편견의 위험에 대한 지식과 비판적 사고).28-30
While a positivist view of technology only focuses on how to use a technology competently, literacy is accompanied by recognizing the appropriate context for its use. This also means recognizing when a particular technology cannot or should not be used. The question is not simply what technical skills are required of physicians but rather what knowledge, skills, and attitudes are needed for trainees to flexibly apply technology and adapt to local circumstances. Moreover, medical education requires assessing what specific competencies are required in relation to each technology, for instance, knowledge and critical thinking about the risk of bias in use of AI algorithms.28–30

테크니컬 리터러시에는 [특정 테크놀로지]가 [다른 테크놀로지의 집합assemblage]에서 어떻게 작동하는지 파악하여 주어진 진료 환경에서 해당 테크놀로지의 사용을 탐색하는 것이 포함됩니다.

  • 예를 들어, 이미지 기반 AI 알고리즘이 진단 정확도를 입증했을 수 있습니다. 그러나 대상 의료 환경 내에 이미지 획득에 적합한 방법과 조명, 이미지 업로드 및 저장에 필요한 인프라 등 추가적인 테크놀로지적 조건이 갖춰져 있지 않다면 해당 상황에서 사용하기에 가장 적합한 테크놀로지가 아닐 수 있습니다.

Technical literacy includes knowing how a specific technology functions in the assemblage of other technologies to navigate its use in a given practice environment.

  • For instance, an image-based AI algorithm may have demonstrated diagnostic accuracy. However, if additional technical conditions are not present within the target healthcare setting—such as appropriate methods and lighting for image acquisition or the necessary infrastructure to upload and store images—then it may not be the best technology for use in that context.

[상황에 맞는 유연성과 적응]은 테크놀로지적 실패에 대처할 때 특히 중요합니다. 우리 모두는 테크놀로지가 제대로 작동하지 않는 사례를 가지고 있습니다. 이는 의료 환경에서도 흔히 발생하는 일입니다. 일부 병원에서는 "코드 그레이"라는 용어를 사용하여 EHR 중단과 같은 중요한 인프라 장애로 인해 진료가 어려워지는 새로운 형태의 의료 응급 상황을 지정합니다. 테크니컬 리터러시는 이러한 혼란에 직면하여 환자 치료를 제공하기 위해 특정 테크놀로지 사용에 과도하게 의존하는 것을 방지하는 견고함을 포함해야 합니다. 특정 테크놀로지에 대한 심도 있는 지식보다 위기 상황에서 즉흥적으로 대처하고 실수를 바로잡을 수 있는 능력이 더 가치 있는 역량이라는 것은 틀림없습니다.31
Flexibility and adaptation to context is especially important in dealing with technical failures. We all have examples of technology not working as it should. This is also a common occurrence in healthcare settings. Some hospitals use the term “Code Grey” to designate a new form of medical emergency where critical infrastructure failure, such as disruptions to the EHR, makes it difficult to practice. Technical literacy should involve robustness in the face of such perturbations, guarding against overreliance on use of a particular technology to provide patient care. Arguably, being able to improvise and correct mistakes under pressure is a more valuable competency than in-depth knowledge of a specific technology.31

오늘날에는 테커니컬 리터러시는 숨겨진 비용에 대한 지식도 포함됩니다. 최근 200개 이상의 보건 저널이 정부에 기후 변화에 대한 긴급 조치를 취할 것을 촉구했습니다.32 약학에서 수술에 이르기까지 의료 테크놀로지는 전 세계 탄소 발자국에서 큰 비중을 차지하지만 생산자가 광고하지 않는 경우가 많습니다.33,34 산업 혁명 이후 테크놀로지의 생태학적 영향은 이제 "세계 공중 보건에 가장 큰 위협"으로 간주됩니다.35(p2) 이는 우리가 사회 문화적 맥락에서 우리의 복지에 미치는 영향을 고려하지 않고 테크놀로지를 생산하고 사용하는 방법에만 집중하고 당장의 이익에만 집중할 때 거시 수준에서 어떤 일이 발생하는지 보여줍니다. 이러한 예는 근시안적인 미시적 수준을 넘어 테크놀로지의 더 넓은 맥락과 결과를 인식하는 보다 포괄적인 테크니컬 리터러시를 지원하기 위해 의학 교육에 사용될 수 있습니다.
In our times, technical literacy also includes knowledge of the hidden costs. Recently, over 200 health journals called on governments to take emergency action on climate change.32 Medical technology – from pharmacology to surgery– has a large share in the global carbon footprint, often not advertised by producers.33,34 Since the industrial revolution, the ecological impact of technology, is now seen as the “greatest threat to global public health.”35(p2) This shows what happens on a macro-level when we only concentrate on how to produce and use technology, focusing only on the immediate benefits, without considering its implications for our well-being in sociocultural context. Such an example could be used in medical education to support a more encompassing technical literacy that moves beyond the myopic micro-level to recognize the broader context and consequences of technology.

또한 수련생들은 아직은 그 지평을 넘어선 테크놀로지이지만 실무에 투입될 때쯤에는 '최첨단'이 될 가능성이 높은 테크놀로지에 대한 이해력을 갖출 수 있는 역량이 필요합니다. 이러한 과제를 해결하는 한 가지 방법은 현재 사용 가능한 기존 테크놀로지에만 초점을 맞추는 것이 아니라, 테크놀로지 개발의 광범위한 동향과 이러한 테크놀로지가 치료 전문직의 사회적 역할 및 윤리적 약속과 어떻게 상호 작용하는지를 강조하는 커리큘럼을 개발하는 것입니다. 테크놀로지 혁신이 가속화됨에 따라 뒤늦게 따라잡기보다는 의료 분야에서 테크놀로지가 인간과 사회에 미칠 영향을 미리 예측하는 것이 더 낫습니다.
Trainees also require competency to become literate in technologies that are still beyond that horizon, yet likely to become the ‘cutting-edge’ by the time they enter practice. One way to help meet this challenge is to develop curricula not solely focused on the existing technologies that are ready for use, but that also highlight broader trends in technological development and how they interact with the social role and ethical commitments of the healing professions. With the acceleration of technological innovation, it is better to have a head-start in anticipating the human and social impacts of technology in healthcare rather than playing catch-up.

테크놀로지의 사회적 구성
The social construction of technology

인위적인 기후 변화는 파마콘으로서의 테크놀로지의 극단적인 예로, 인류 건강에 지금까지 상상할 수 없었던 가능성을 창출했지만 동시에 가장 큰 위협이 될 수도 있습니다.5 테크놀로지의 이러한 양면성은 물질적일 뿐만 아니라 사회적이기도 합니다. 이러한 사회적 결과는 때때로 명백하지만 종종 미묘할 수 있습니다. 테크놀로지 평가와 테크놀로지 철학은 테크놀로지가 단순한 도구가 아니라 인간 활동 및 인간 관계의 구조와 밀접하게 연결되어 있다는 점을 인식하는 데 도움이 됩니다.
Anthropogenic climate change is an extreme example of technology as a pharmakon: it has created hitherto unimaginable possibilities for human health but at the same time may also pose its greatest threat.5 This double-edged nature of technology is not only material but also social. Sometimes these social consequences are obvious but often they can be subtle. Technology Assessment and philosophy of technology helps us to appreciate these subtleties, allowing us to see how technologies are not mere instruments, but rather intimately connected to human activities and the fabric of human relationships.

테크놀로지 해결책주의는 테크놀로지가 인류 역사상 수많은 문제를 성공적으로 해결해왔기 때문에 어떤 문제든 (순전히) 테크놀로지적으로 해결할 수 있다는 실증주의적 사고입니다.36 테크놀로지 해결책주의에 대한 경향은 코로나19 이전부터 있었지만 팬데믹으로 인해 더욱 증폭되었습니다.37 위에서 언급했듯이 팬데믹 기간 동안 가상 진료의 혁신이 의료 서비스 제공에 필수적이었지만, 새로운 테크놀로지의 채택이 항상 사회적, 정치적, 윤리적 부작용을 고려하여 이루어지는 것은 아닙니다.2,38 종종 이러한 부작용은 테크놀로지가 이미 전문적인 규범과 관행에 내재화되어 변화나 저항을 어렵게 만드는 시점에서 돌이켜봐야만 인식되는 경우가 많습니다. 테크놀로지 평가학에서는 이를 '콜링라이드 딜레마'라고 합니다.40 이는 신테크놀로지의 사회적 영향이 이미 자리를 잡아 조정의 여지가 거의 없을 때 비로소 명확해진다는 사실을 말합니다.
Technological solutionism is the positivist idea that, since technology has successfully addressed so many problems in human history, any problem has a (purely) technological fix.36 The trend toward technological solutionism predates COVID-19 but has only been amplified by the pandemic.37 As mentioned above, although innovations in virtual care have been essential for healthcare delivery during the pandemic, adoption of new technologies is not always done with consideration of the social, political, and ethical side effects.2,38 Often these side effects are only recognized in retrospect, at a point when technologies have already become embedded within professional norms and practices, making change or resistance difficult. In Technology Assessment,39 this is referred to as the Collingride Dilemma.40 This refers to the fact that the social impact of new technologies often only becomes clear when they are already entrenched, leaving little room for adjustment.

의학교육에서 우리는 특정 의료 테크놀로지에 대한 증거를 엄격하게 평가할 수 있는 전문가를 양성하기 위해 노력합니다.41 이러한 평가는 주로 진단 테스트, 약물 또는 시술의 형태로 이루어집니다. 실제로 이러한 개입에 대한 비판적 평가의 필요성은 처음에 의학교육의 이니셔티브로 고안된 근거 기반 의학(EBM) 운동의 주요 동기였습니다.41 의학교육에서 EBM의 장점과 함정에 대한 논쟁이 계속되면서,42 이러한 논의는 의료 교육과정에서 의료 인식론에 대한 보다 근본적인 성찰을 요구하게 되었습니다.21 또한 이러한 배경에는 교육생에게 인식론뿐만 아니라 테크놀로지의 사회적, 윤리적 차원을 비판적으로 성찰하도록 교육하는 방법에 대한 집단적 맹점이 여전히 존재합니다. 특히 테크놀로지 평가와 테크놀로지 철학13,26,39,43의 세 가지 인사이트는 의료 테크놀로지의 사회적 영향에 대한 비판적 성찰을 지원하는 데 도움이 될 수 있습니다. 여기에는 인간과 테크놀로지가 어떻게 함께 구성되는지, 사회적 가치가 어떻게 테크놀로지를 형성하는지, 이러한 요소가 형평성 문제와 어떻게 교차하는지에 대한 이해가 포함됩니다. 
In medical education, we strive to train professionals to rigorously appraise evidence for certain medical technologies.41 This appraisal is largely in the form of diagnostic tests, medications, or procedures. Indeed, the need for critical appraisal of such interventions was the major motivation behind the Evidence-Based Medicine (EBM) movement, which was initially conceived as an initiative in medical education.41 As debates over merits and pitfalls of EBM continue in medical education,42 these conversations have inspired calls for more fundamental reflection on medical epistemology in healthcare curricula.21 Moreover, within this backdrop there remains a collective blind spot in how to teach trainees to critically reflect not only on the epistemic but also the social and ethical dimensions of technology. Three insights in particular from Technology Assessment and Philosophy of Technology13,26,39,43 can help support critical reflection on the social impact of medical technologies. These include appreciating how the human and the technological are co-constructed, how societal values shape technology, and how these factors intersect with issues of equity.

첫 번째이자 가장 기본적인 인사이트는 인간과 테크놀로지의 공동 구성을 인식하는 것입니다. 테크놀로지는 인간의 창조물이지만 우리의 인지, 상호 작용, 심지어 인간이 된다는 것이 무엇을 의미하는지에 대한 우리의 이해에도 영향을 미칩니다. 일부 철학자들은 스마트폰과 디지털 어포던스가 '확장된 자아'의 역할을 하기 훨씬 이전부터 이것이 인간 조건의 기본적 특징이라고 지적해 왔습니다3.

  • 테크놀로지는 외과의사의 칼이 손의 연장선상에 있거나 EHR이 기억의 연장선상에 있는 것처럼 외부 기관으로 볼 수 있습니다.

The first and most basic insight is recognizing the co-construction of the human and the technical: technologies are human creations but also shape our cognition, our interactions, and even our understanding of what it means to be human. Some philosophers have pointed out how this is a basic feature of the human condition,3 long before smartphones and their digital affordances served as “extended selves”.

  • Technology can be seen as an external organ, like the surgeon’s knife as an extension of their hand or like the EHR as the extension of their memory.

따라서 테크놀로지는 인간 고유의 목표를 합리적이고 효율적으로 달성하기 위해 설계된 단순한 외적 도구나 인공물로 이해될 수 없습니다. 오히려 테크놀로지는 인간으로서 우리가 누구이며 무엇인지를 형성합니다
Technology, therefore, cannot be understood as mere extrinsic instruments or artifacts, engineered to rationally and efficiently accomplish distinctively human goals. Rather, technology shapes who and what we are as humans.

수련생은 이러한 공동 구성에 대해 인식하여 현대 의료에서 이를 이해할 수 있습니다. 위에서 설명한 바와 같이 오늘날 의사가 되려면 직업의 가장 기본적인 '인간적' 측면을 수행하기 위해서도 복잡한 테크놀로지 조합을 활용해야 하는 경우가 점점 더 많아지고 있습니다. 위에서 설명한 EHR의 예를 생각해 보세요. 많은 환경에서 EHR은 모든 의료 기록에 대한 포털 역할을 할 뿐만 아니라 모든 조사에 액세스하는 방식이자 검사를 주문하고 치료법을 처방하는 수단으로도 사용됩니다.

  • EHR이 진료 규범을 어떻게 형성해 왔는지, 그리고 이 테크놀로지에 대한 우리의 의존도가 점점 더 커지고 있는지는 '코드 그레이' 시나리오에서와 같이 이 테크놀로지가 실패했을 때 특히 분명해집니다.
  • 급성 방향 감각 상실("환자를 평가하기 전에 환자의 전체 혈구 수를 모른다는 건가요?")의 단계를 거친 후, 의사는 이전 진료 기록을 뒤적이는 대신 환자와 대화하면서 병력을 파악하는 방법을 다시 한 번 배웁니다.
  • 간호 기록에서 활력 징후를 추출하는 대신 활력 징후를 측정하고, 미리 정의된 주문 세트에 체크하는 대신 일반적으로 주문한 약의 용량을 기억하는 것이 실제로 가능하다는 것을 깨닫게 됩니다.
  • 물론 효율성, 정확성, 안전성에 있어 어려움과 잠재적인 단점이 없는 것은 아닙니다.

Trainees can be made aware of this co-construction to appreciate it in contemporary healthcare. As discussed above, being a physician today increasingly requires leveraging a complex assemblage of technologies, even to perform the most basic “human” aspects of our profession. Consider the example of the EHR, discussed above. In many settings the EHR not only serves as a portal to all medical records, but also as the mode of access to all investigations as well as the means of ordering tests and prescribing therapies.

  • How the EHR has shaped norms of practice, and our growing reliance on this technology, becomes especially apparent when it fails, as in the “Code Grey” scenario.
  • Following a phase of acute disorientation (“You mean I don’t know this patient’s complete blood count before assessing them?”), the physician, once again, learns to take a history by talking to the patient, rather than sifting through notes from previous encounters.
  • They realize it is in fact possible to measure the vital signs, rather than extracting them from the nursing record and to recall the dose of a commonly ordered drug, rather than ticking off a pre-defined order set.
  • Of course, this is not without its challenges and potential drawbacks in efficiency, accuracy, and safety.

이러한 모든 요소가 EHR을 강력한 테크놀로지로 만드는 요소이며, EHR이 우리 직업의 '핵심'으로 성공적으로 자리 잡은 이유를 설명합니다. "인간 대 기계"로 대립하는 경향이 있지만,44 고대로부터 EHR 시대에 이르기까지 반복되는 비유이지만,45 수련의들은 임상에서 테크놀로지의 사회적 이점과 단점을 더 잘 이해하기 위해 인간과 테크놀로지의 공동 구성을 인식하도록 교육받아야 합니다. 
All of these factors are what make the EHR a powerful technology, and explain why it has successfully embedded itself into the “core” of our profession. While there is a tendency to pit “human versus machine”,44 a recurrent trope from antiquity to the age of the EHR,45 trainees must be taught to recognize the co-construction of the human and the technological to better understand the social benefits and drawbacks of technology in clinical practice.


이러한 공동 구성에 대한 인식은 테크놀로지가 인간 활동을 형성하는 방식뿐만 아니라 사회적 가치가 테크놀로지를 형성하는 방식도 이해하는 출발점이 됩니다. 여기서 핵심 개념은 테크놀로지적 과소결정이라는 개념으로, 테크놀로지는 기능과 효율성에 대한 고려만으로 결정되는 것이 아니라 추가적인 [사회적 선택]에 의해서도 결정된다는 개념이다46 이러한 사회적 선택은 "테크니컬 코드"로서 테크놀로지에 미묘하게 통합되며, 이는 근본적인 사회적 편견이나 합리적이고 잘 작동하는 시스템을 만드는 것의 개념으로부터 편향을 불러일으킵니다.46,47

  • EHR의 예로 돌아가서, 환자 안전과 같은 위에서 언급한 고려 사항이 설계에 영향을 미칠 수 있지만 청구의 효율성이나 관리 데이터 수집과 같은 추가 고려 사항도 '테크니컬 코드'를 형성하여 다른 사용자보다 특정 사용자의 이익에 부합할 수 있으며, 이는 환자의 이익과 상반될 수 있습니다.2
  • 의료 테크놀로지의 편견과 차별에 대한 우려는 오래 전부터 있어 왔지만,48 의료 분야에서 기계 학습과 인공지능이 부상하면서 그 매력과 힘이 "테크놀로지적 중립의 베니어" 뒤에 숨은 사회적 편견을 가리는 역할을 할 수 있다는 점에서 더욱 증폭되었습니다.49(422페이지)

Appreciating this co-construction serves as an entry point into understanding not only how technology shapes human activities, but also how societal values shape technology. A key concept here is the idea of technological underdetermination: technology is not determined solely by considerations of function and efficiency, but also additional social choices.46 These social choices become subtly incorporated into technologies as “technical code”, which introduce biases either from underlying societal prejudices or from the very notion of what makes a rational, well-functioning system.46,47 

  • Returning to the example of the EHR, while abovementioned considerations such as patient safety may factor into their design, additional considerations such as efficiency in billing or collection of administrative data may also shape their “technical code”, serving the interests of certain users over others, which may in turn diverge from the interests of patients.2 
  • Concerns over bias and discrimination in medical technologies are longstanding,48 but have been amplified by the rise of machine learning and AI in healthcare, whose allure and power can serve to obscure societal prejudices behind a “veneer of technical neutrality.”49(p422) 

수련의들은 테크놀로지 설계와 적용에 들어가는 사회적 선택을 면밀히 조사하는 법을 배워야 하며, 이러한 선택을 면밀히 조사할 때 다음과 같은 질문을 던지는 법을 배워야 합니다: 누가 포함되었는가? 누가 배제되었는가? 의도하지 않은 결과는 무엇인가? 누구의 이익에 부합하는가? 이러한 질문은 건강 형평성에 미치는 영향에 특별히 초점을 맞춰 신테크놀로지를 평가해야 할 필요성을 강조합니다. 테크놀로지 형평성에 대한 논의는 종종 접근성의 문제로 구성되며, 실제로 의료 테크놀로지에 대한 접근성은 전 세계적으로 주요 과제이자 세계 보건의 장벽으로 남아 있습니다.50
Trainees must be taught to scrutinize the social choices that go into technological design and application, and in scrutinizing these choices should learn to ask: Who was included? Who was excluded? What are the unintended consequences? Whose interests do they serve? These questions highlight the need to appraise new technologies with a specific focus on their impact on health equity. Discussion of technological equity is often framed as a problem of access, and indeed access to medical technologies remains a major challenge around the world and barrier to global health.50

우리는 테크놀로지 역량에 대한 논의와 제공된 사례가 접근성 문제가 덜 일반적이지만 여전히 존재하는 고자원 환경에서 진료하는 교육자 및 임상의로서 우리 자신의 특권을 반영한다는 점을 인정합니다. 그럼에도 불구하고 테크놀로지적 형평성에 대한 분석은 접근성 문제에서 멈춰서는 안 됩니다. 오히려 테크놀로지 설계 및 혁신의 특권적 위치를 규정하는 권력 계층 구조에서 시작하여 테크놀로지의 사회적 기원의 전체 궤적을 가로지르며,51 "표준 사용자"와 "적절한" 사용 맥락에 대한 배타적 정의를 낳을 수 있습니다.52 예를 들어, 스마트워치와 같은 원격 모니터링 기기는 소외된 지역사회의 의료 서비스 접근성을 개선할 수 있지만, 현재의 형태는 이미 특권을 누리고 있는 사람들에게 혜택을 주고 잠재적으로 건강 격차를 심화시킬 가능성이 더 높습니다.53 이러한 유형의 평가는 의료 전문가 교육의 범위를 벗어난 것으로 간주하여 의사보다는 사회학자의 영역이라고 무시하는 사람도 있습니다. 그러나 일상적인 진료에서 마주치는 테크놀로지와 건강 형평성 사이의 가시적인 연관성을 고려할 때 의사는 실제로 사회학자로부터 배울 수 있습니다.
We acknowledge that our discussion of technical competencies and the examples provided reflect our  own privilege as educators and clinicians practicing in high resource settings where problems of access are less common (but certainly still present). Despite this, analysis of technological equity should not stop at issues of access. Rather it should cut across the entire trajectory of technology’s social genesis, starting from the power hierarchies that delineate privileged sites of technological design and innovation,51 which in turn can engender exclusionary definitions of “standard users” and “appropriate” contexts for use.52 For example, while remote monitoring devices, such as smartwatches, may promise to improve access to healthcare in underserved communities, their current forms are more likely to benefit the already privileged and potentially deepen health disparities.53 Some might consider this type of appraisal to be beyond the scope of healthcare professions education, dismissed as being more the within purview of the sociologist than the doctor. However, the latter can indeed learn from the former given the tangible links between technology and health equity encountered in day-to-day practice.

 

"인간"과 "테크놀로지"의 관계
The relationship between the “human” and the “technical”

실증주의적 관점에서는 인간과 테크놀로지를 이분법적으로 대립되는 것으로 제시합니다. 그러나 테크놀로지 지향의 철학을 통해 우리는 이 둘이 사실 동전의 양면이라는 것을 알고 있습니다.3 우리는 테크놀로지와 너무 깊이 얽혀 있어서 "우리 자신, 우리 문화, 우리 사회를 테크놀로지와 별개로 생각하는 것은 거의 의미가 없습니다."19(p7)

  • 예를 들어 외과의의 메스가 작동하려면 다양한 스킬, 전문성, 수련의와 감독자 간의 관계와 같은 대인 관계가 필요합니다.54 이 예에서 수술 테크놀로지를 중심으로 한 이러한 조합은 인간에게 새로운 가능성의 지평, 즉 지금까지 치료할 수 없었던 질병을 앓고 있는 환자의 기대 수명을 연장하고 건강과 관련된 삶의 질을 개선할 수 있는 가능성을 만들어냅니다.

이 글에서는 지금까지 중요한 테크놀로지 리터러시에 대해 논의했습니다. 다음 글에서는 이러한 논의를 확장하여 의료 전문성을 테크놀로지적 능력관계적 능력의 섬세한 균형으로 구성할 수 있는 방법에 대해 논의합니다. 
The positivist view presents human and the technical as binary oppositions. But from philosophy of technology orientation we know that they are in fact two sides of the same coin.3 We are so deeply entangled with technology that it “makes little sense to think of ourselves, our culture, our society as distinctly separate from technology.”19(p7) 

  • A surgeon’s scalpel, for instance, requires a whole range of skills, expertise, and interpersonal relationships, such as the relationship between a trainee and supervisor, to function.54 This assemblage centered around a surgical technology, in this example, creates a new horizon of possibility for human beings, in this case, a longer life-expectancy and better health-related quality of life for patients with hitherto untreatable ailments.

So far in this article we have been discussing a critical technological literacy. In the following, we broaden this conversation to discuss the ways medical expertise might be framed as a delicate balance of both technical and relational skills.

니몬은 의학 교육에서 테크놀로지화technification 를 다음과 같이 구분합니다: 

  • "환자에 대한 데이터를 수집하고 환자의 어떤 측면에 치료가 필요한지 결정하기 위해 고안된 절차적 또는 진단적 스킬을 기능하도록 인간의 사회적 활동의 용도를 변경하는 것"25(380쪽) 

이 개념은 의료 전문 지식의 테크놀로지화가 때때로 의사의 휴머니즘 함양을 희생시킨다는 점에서 비판적입니다. 테크놀로지화와 휴머니즘은 우리 사회에서 의료의 성공에 동등하게 책임이 있습니다. 이상적으로는 이 두 가지가 서로를 지원하고 상황에 따라 적절히 활용될 수 있어야 합니다.55 그러나 데이터 수집, 진단, 효율성이라는 명목으로 의료의 모든 것을 테크놀로지화할 수 있다고 가정하는 것은 근시안적인 생각이며, 관계적 비용이 발생합니다. 테크놀로지는 기계나 진단 도구뿐만 아니라 언어(예: 터치 또는 비언어적 커뮤니케이션)도 인간 관계를 형성하거나 약화시킬 수 있는 테크놀로지입니다. 이는 신경과 전문의가 의대생들을 위한 교육 도구로 사용하기 위해 장애가 있는 아들과의 상호작용에 대한 테크놀로지 데이터를 수집하고 우선순위를 정하는 방법을 보여주는 드 라 크로이(de la Croix56)의 논문에서 잘 드러납니다. 드 라 크로아는 신경과 의사가 아들과의 관계를 형성하고 유대감을 형성하기 위해 노력하지 않는 것에 대해 비인간적인 느낌과 슬픔을 느낀다고 말합니다.
In medical education, Nimmon distinguishes technification as:

  • “the repurposing of a human social activity to function as a procedural or diagnostic skill designed to gather data about the patient and determine what aspect of the patient requires curing.”25(p380) 

This notion critiques the technification of medical expertise, as it is sometimes at the expense of cultivating humanism in practitioners. Technification and humanism are equally responsible for the success of healthcare in our society. Ideally, they can mutually support each other and be employed responsively to context.55 However, it is myopic to adopt an assumption that everything in healthcare can be technified in the name of data gathering, diagnosis, and efficiency – there is a relational cost. Technology is not just about machines or diagnostic tools, but also language (e.g. touch or non-verbal communication) are a technology that can form or erode human connection. This is exemplified in a paper by de la Croix56 who reveals how a neurologist gathers and prioritizes technical data about an interaction she has with her disabled son to use as a teaching tool for medical students. De la Croix describes feeling dehumanized and sad about the lack of effort the neurologist makes to build rapport and connection with her.

개인의 존재는 관계 속에서 엮여 있으며 이러한 상호의존성은 인간이 되기 위한 필수 조건입니다.57 코로나19 팬데믹은 의료계의 어떤 측면이 테크놀로지로 매개되거나 대체될 수 있고 또 대체되어야 하는지에 대한 질문을 새롭게 조명했습니다. 지난 2년 동안 전 세계와 사회적인 차원에서 인간관계가 갑자기 단절되었습니다. 멜버른 왕립 병원의 응급실 의사는 2020년 8월에 뉴욕 타임즈에 보낸 편지에서 인간다움의 의미의 침식과 씨름하는 집단적 모습을 포착했습니다.58 그는 죽어가는 환자와 사랑하는 사람을 연결하는 데 화상 채팅이 얼마나 유용했는지 설명하지만, 그 경험이 얼마나 끔찍하고 영혼이 없는지를 설명하며 편지를 마무리했습니다: 
Individual existence is interwoven in relationships and this interdependence is a necessary condition of being human.57 The COVID-19 pandemic has shed new light on questions about what aspects of the medical profession can and ought to be mediated or replaced by technology. In the past two years, human connection was suddenly severed at a global and societal level. A collective grappling with the erosion of what it means to be human was captured by an emergency room physician at the Royal Melbourne Hospital in a letter to the New York Times in August 2020.58 He describes how useful a video chat was to connect a dying patient to loved ones, but underscores his letter by describing how harrowing and soulless the experience is:

화상 채팅이 우리에게 영혼이 없다면, 화상 링크를 통해 작별 인사를 하는 것은 어떤 느낌일까요? 한 젊은 의사는 iPad를 들고 아프거나 죽어가는 환자의 병실을 오가며 환자와 집에 있는 친척을 디지털로 연결하고, 슬픔에 잠긴 가족들을 수없이 목격하면서 하루를 설명하던 중 목소리가 무너져 내렸습니다. 
If video chats are soulless to us, how must it feel to say goodbye via video link? A young doctor’s voice broke as she described her day to me, going from one sick or dying patient’s room to another with her iPad, digitally connecting the patients to their relatives at home and witnessing over and over the families fall apart with grief.

우리는 삶과 죽음의 순간처럼 가장 실존적으로 내밀한 순간에 의료 서비스에서 인간적 연결이 얼마나 중요한지 목격할 수 있는 기회를 가졌습니다. 작가 세르지오 델 몰리노 세르지오의 글은 이러한 정서를 완벽하게 요약합니다:

  • "인간은 만지고 만져주어야 하며, 만져주지 않으면 어떻게 사랑해야 하는지 모릅니다. 거리는 우리를 차갑게 만들고 서로에 대한 관심을 떨어뜨립니다."59

코로나19의 첫 번째 물결로 사회가 봉쇄되고 사람들이 사회적 거리두기의 영향을 경험하던 네덜란드에서는 "후드홍거"라는 용어가 유행했습니다.60 말 그대로 "피부에 대한 굶주림"과 "피부의 굶주림"을 모두 의미하는 이 용어는 신체 접촉에 대한 강렬한 욕구와 지속적인 접촉 결핍 후 다른 피부를 만지고 싶어하는 피부의 욕구를 포착합니다. 
We had a chance to witness the critical need of human connection in healthcare as it played out in the most existentially intimate moments, as in times of death and dying. Writer Sergio Del Molino Sergio encapsulates this sentiment perfectly:

  • “We humans need to touch and be touched; we don’t know how to love without it. Distance makes us cold; it makes us care less about one another.”59 

In the Netherlands during the first wave of COVID-19 when society was locked down and people were experiencing the effects of social distancing, the term “huidhonger” was popularized,60 which literally translates as both “hunger for skin” and “hunger of the skin” to capture the intense desire for physical contact and the skin’s desire to touch other skin after a sustained period of touch deprivation.

가상 진료의 맥락에서 테크놀로지 및 인문학적 전문 지식과 진료 역량 사이의 이러한 긴장에 대해 더 자세히 살펴볼 수 있습니다. 많은 환자와 의료진이 비용을 절감하고 시간을 절약하며 이동의 번거로움을 피할 수 있는 가상 진료에 대한 선호도가 높다고 보고합니다. 그러나 가상 진료는 디지털 리터러시, 언어 장벽, 광대역 액세스가 제한된 사람들에게도 도전 과제를 제시합니다. 원격 의료는 의사에게 필수적인 도구를 제공하지만 의사와 환자 관계에서 놓칠 수 있는 인간적인 측면도 고려해야 합니다. 가상 진료 테크놀로지가 대면 진료의 풍요로움을 완전히 대체할 수 없다는 사실을 인식하는 연구가 늘어나고 있습니다. Kelly와 동료들은 의료 서비스 제공자가 공감을 표현하고 인간애를 보여주기 위해 터치를 사용하는 방법을 강조했습니다.12,61-63 저자들은 신체 검사에서 의사가 자신의 신체를 사용하여 비언어적 의사소통을 표현하고 환자의 질병에 대한 이야기를 경험한다는 사실을 발견했습니다. 촉각의 중요성을 강조하는 이 논문에서는 대면 신체 검진이 어떻게 가정의이자 치료사로서의 전문적 정체성을 형성하고 친밀감, 연속성, 신뢰를 증진하는지 설명합니다.12,61,62  
A deeper probing into this tension between technical and humanist expertise and capacity to care can be observed in the context of virtual care. Many patients and practitioners report a strong preference for virtual care (which reduces cost, saves time, and avoids nuisance of travel). However, virtual care also presents challenges for those with limited digital literacy, language barriers, broadband access. Although telehealth provides an essential tool for physicians we must consider the humanistic aspects that may be lost in the doctor-patient relationship. A growing body of work is recognizing that the technology of virtual care can never fully replace the richness of face-to-face encounters. Kelly and colleagues have emphasized how touch is used by healthcare providers to show empathy and demonstrate a shared humanity.12,61–63 The authors have discovered that in the physical examination physicians use their own bodies to express non-verbal communication and experience the story of patients’ illnesses. Underscoring the importance of touch, this body of work describes how in-person physical exams wove a sense of professional identity as a family physician and healer; promoting rapport, continuity, and trust.12,61,62

우리는 고립이 건강과 웰빙에 영향을 미치는 전염병이 되어가는 자동화된 탈개인화 사회의 시대에 테크놀로지와 공존하고 있습니다.64,65 분리된 자동화된 방식으로 진단하고 예후를 예측하는 것이 아니라 관계를 형성하고 환자에게 직관적으로 대응할 수 있는 의사가 된다는 것은 무엇을 의미할까요? 이러한 상호작용이 테크놀로지에 의해 매개될 때에도 환자와 민감하게 상호작용하는 것은 어떤 모습일까요? 의료 전문가가 진단, 예후 예측, 처방 등 기계적으로 상호 작용할 때 치유 관계에 무의식적인 간섭이 있을 수 있으며, 이는 감정적으로 가려지고 테크놀로지 뒤에 숨겨져 있습니다. 우리는 예후가 단순히 기계적 위험 예측을 넘어 과거, 현재, 미래 사이의 내러티브 연속성을 만드는 데 도움이 되는 인문학적 기능을 수행하도록 해야 합니다.66 "진보", "효율성", "테크놀로지 혁신"이라는 문화적 하이프hype 속에서 인간 관계의 치료적 힘에 대한 이해를 심화할 수 있는 철학적 토론에 참여하기에 지금이 더할 나위 없이 좋은 시기입니다. 
We co-exist with technology in an era of an automated depersonalized society where isolation is a growing epidemic that impacts health and wellbeing.64,65 What does it mean to be a physician who forms connection and can respond intuitively to patients, not just diagnose and estimate prognosis in a detached automated way? What does it look like to interact sensitively with patients even when this interaction is mediated by technology? There may be an unconscious interference with the healing relationship when healthcare professionals interact mechanically: diagnosing, estimating prognosis, prescribing – emotionally veiled and hidden behind technology. We need to ensure prognosis is more than simply mechanical risk prediction but also serves its humanistic function in helping create narrative continuity between past, present, and future.66 We are at no better time to engage in philosophical discussion that can deepen our understanding of the therapeutic power of human connection and how this can be sustained in the cultural hype of “progress,” “efficiency,” and “technological innovation.”

토론: 어려운 테크놀로지
Discussion: Difficult technicalities

기후 위기, 코로나19 팬데믹, 의료 분야의 테크놀로지화 증가로 인해 의료 분야에서 테크놀로지의 역할과 의료 전문직의 인간적 측면과 테크놀로지적 측면 간의 관계에 대해 속도를 늦추고 성찰할 필요성이 절실히 요구되고 있습니다. 교육에서 이러한 성찰을 자극하는 한 가지 방법은 학생들에게 의자에서 연필, 책에 이르기까지 모든 테크놀로지가 인류 역사의 한 시점에 '최첨단'이었던 반면, 지금 우리가 가까운 미래에 새로운 것이라고 생각하는 모든 테크놀로지는 오래 전에 테크놀로지적 광택을 잃은 오래된 장비처럼 평범해 보일 수 있음을 깨닫도록 하는 것입니다. 
With the climate crisis, the COVID-19 pandemic, and the increasing technification of the healthcare, there is an urgent need to slow down and reflect on the role of technology in healthcare and the relationship between human and technical aspects of the health professions. One way to stimulate this reflection in education is to ask students to look around and realize how every technology – from chairs to pencils to books – were at one point in human history “cutting edge” while every technology that we now consider new will in the near future seem just as mundane as those old pieces of equipment that have long since lost their technological luster.

의료 전문직은 신구 테크놀로지를 바탕으로 존재하며, 테크놀로지 혁신은 건강과 관련된 삶의 질을 높여 인간의 수명을 지속적으로 연장할 것으로 기대됩니다. 그러나 테크놀로지는 돌봄care을 필요로 하는 파마콘입니다.5 스티글러의 연구를 바탕으로 다른 학자들은 현대 테크놀로지, 특히 디지털 테크놀로지의 가속화된 진화를 타인을 돌보고 공감하는 능력의 고갈과 연결지었습니다.65 따라서 의학교육은 수련생이 환자를 돌볼 수 있도록 준비시킬 뿐만 아니라, 이러한 돌봄을 제공할 수 있는 테크놀로지적 환경을 숙달하도록 준비시켜야 합니다. 다른 어떤 분야보다도 의학교육에서 가장 중심이 되어야 하는 것은 바로 배려와 인간애입니다. 더 나은 건강을 위한 전례 없는 가능성을 온전히 수용하기 위해서는 테크놀로지 그 자체에 대한 사려 깊은 주의가 필요합니다. 이것은 치유가 이루어지는 심리적, 사회적, 생태적 맥락에 미칠 수 있는 잠재적인 해로운 영향을 억제하고 대응하기 위한 '독성학'이 될 수 있다.
The health care professions exist by virtue of old and new technology and it is expected that technological innovation will continue to expand human lifespan with higher health-related quality of life. But technology is a pharmakon that requires care.5 Building on Stiegler’s work, others have linked the accelerated evolution of modern technology, especially digital technologies, to a depletion of our capacity to care for and empathize with others.65 Medical education should therefore not only prepare trainees to take care of patients, but also to master the technical environment that enables them to provide this care. In medical education, perhaps more than in any other field, it is precisely care and humanity that should be at the center. In order to fully embrace the unprecedented possibilities for better health, technology itself needs thoughtful care—a “toxicology” to curb and counter its potential harmful effects on the psychological, social, and ecological context in which healing takes place.

우리는 의학 커리큘럼에 비판적 테크키널 의식을 향한 보다 근본적인 변화를 통합해야 한다고 주장해 왔습니다. 이러한 변화는 우리 자신의 가치와 태도에서 시작됩니다. 철학자들은 테크놀로지 시대에 우리가 사고하고 다른 인간과 관계를 맺는 방식이 효율성을 중심으로 인간을 포함한 모든 것을 계산 가능한 수단으로 취급하는 테크놀로지적 또는 도구적 합리성의 형태를 취할 수 있다고 오랫동안 지적해 왔습니다.3,20,67 우리가 실제 도구를 사용하지 않더라도 이러한 도구적 태도 다른 사람을 단순한 도구로 취급하여 계산의 숫자로, 그들의 몸을 단순한 메커니즘으로 취급하게 합니다. 칼라니티는 자서전 『숨이 공기가 될 때』에서 "그 순간부터 나는 모든 서류 작업을 환자로 대하지 않고 그 반대가 아닌 환자로 대하기로 결심했다."68(p77)라고 쓰면서 의료 수련 중 발생한 사건 이후 이러한 도구적 합리성의 태도에서 벗어나기 위한 의식적인 노력을 자세히 설명합니다.

  • 블라인드 타이핑의 기술을 숙달한 임상의가 환자와의 눈 맞춤을 더 잘 유지할 수 있는 것처럼, 화상 회의 사용에 능숙한 의사는 더 의미 있는 가상 만남을 가질 수 있지만, 결정적으로 그러한 만남이 적절하지 않은 경우와 대면 평가가 필요한 경우를 인식할 수도 있습니다.

오늘날 의료 교육은 테크놀로지가 환자 치료의 인간적 상호 작용을 점점 더 많이 통합하고 있음을 인식해야 합니다. 수련의가 테크놀로지 시대의 진료 현실에 대비하는 동시에 ,포괄적인 테크니컬 합리성에 대한 해독제를 갖출 수 있도록 하는 것이 중요합니다. 
We have argued for integrating a more fundamental shift toward a critical technical consciousness in medical curricula. This shift starts with our own values and attitude. Philosophers have long pointed out that in our technological age, our way of thinking and relating to other human beings can take the form of technical or instrumental rationality, which treats everything (including human beings) as a calculable means to an end, with a focus on efficiency.3,20,67 Although we may not be using actual tools this instrumental attitude leads us to relate to others as mere tools, treating them as numbers in a calculation, their bodies as mere mechanism. In his autobiography When Breath Becomes Air, Kalanithi details his conscious effort to shift away from this attitude of instrumental rationality after an incident during his medical training, when he writes “From that point on, I resolved to treat all my paperwork as patients, and not vice versa.”68(p77) By proposing a broader conception of technological literacy, we envision a place for technology to support human relationships at the core of the healing professions, which guards against a detached, technical rationality.

  • Just as the clinician who masters the art of blind typing can better maintain eye-contact with the patient, the physician adept in use of videoconferencing can have more meaningful virtual encounters, but, crucially, can also recognize when such encounters are not appropriate and when in-person assessment is required.

Medical education today must recognize that technology increasingly intercalates the human interactions of patient care. It is critical to prepare trainees for the realities of practice in a technological age, while equipping them with antidotes against an encompassing technical rationality.


우리는 교육의 출발점이 될 수 있는 세 가지 원칙을 개략적으로 설명했지만, 각 기관의 상황에 따라 이를 교육에 적용하는 방식은 달라질 수 있습니다. 이 원칙은 현재 및 미래 테크놀로지에 대한 테크놀로지적 이해력을 맥락에 맞게 촉진하여 교육생이 환자 치료의 사회적, 심리적, 건강 관련 측면에 대한 신테크놀로지의 영향을 평가할 수 있도록 하고, 테크놀로지화가 의료 서비스에서 인간의 활동으로 확장될 수 있다는 인식을 갖도록 합니다. 교육할 때는 이 글에서 EHR을 예로 들었듯이 구체적인 이머징 테크놀로지를 가지고 테크놀로지와 관련된 세 가지 아이디어를 살펴볼 수 있습니다. 
We have outlined three principles that could serve as the starting point of teaching, though the way they are translated into educational practice will depend on the context of each institution. These are promoting technical literacy of current and future technology in context, enabling trainees to assess the impact of emergent technology on the social, psychological, and health-related aspects of patient care, and the awareness that technification can extend to human activities in health care. In teaching, one could take a concrete emergent technology and work through the three ideas related to technology, as we have done in this article with the EHR.

우리는 미래의 의사들이 테크놀로지 혁신을 비판적이고 유능하게 다룰 수 있도록 의료 커리큘럼에서 구현할 수 있는 것이 무엇인지에 초점을 맞추었습니다. 또한 기후 변화와 건강 격차 확대와 같은 더 광범위한 문제를 해결하기 위한 조치와 함께 의학 전반의 테크놀로지 관련 방식에 대한 보다 체계적인 변화가 필요하다는 데 동의합니다. 우리의 희망은 비판적 테크놀로지 의식을 갖춘 의료 전문가들이 이러한 대화의 장에서 보다 능숙하고 목소리를 내는 파트너가 되어 의료와 사회 전반의 미래를 위해 인간과 테크놀로지 간의 보다 건강한 관계를 만들고 지원하는 데 도움을 주는 것입니다. 
We have focused on what could be implemented in medical curricula to equip future physicians to critically and competently work with technological innovation. We concur that the problems we have discussed also demand more systemic changes in how medicine as a whole relates to technology, situated alongside actions directed at broader issues such as climate change and widening health disparities. Our hope is that health professionals equipped with a critical technical consciousness will be more adept and vocal partners in this larger dialogue, helping to create and support a healthier relationship between the human and the technical for the future of medicine and society at large.

 


 

 

Teach Learn Med. 2023 Apr-May;35(2):240-249. doi: 10.1080/10401334.2022.2130334. Epub 2022 Oct 26.

 

 

Technical Difficulties: Teaching Critical Philosophical Orientations toward Technology

Affiliations

1Schulich School of Medicine and Rotman Institute of Philosophy, Western University, London, Ontario, Canada.

2Centre for Health Education Scholarship Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada.

3Department of General Practice, Erasmus University Medical Center, Rotterdam, The Netherlands.

PMID: 36286229

DOI: 10.1080/10401334.2022.2130334

Abstract

Issue: Technological innovation is accelerating, creating less time to reflect on the impact new technologies will have on the medical profession. Modern technologies are becoming increasingly embedded in routine medical practice with far-reaching impacts on the patient-physician relationship and the very essence of the health professions. These impacts are often difficult to predict and can create unintended consequences for medical education. This article is driven by a main question: How do we prepare trainees to critically assess technologies that we cannot foresee and effectively use technology to support equitable and compassionate care? Evidence: We translate insights from the philosophy of technology into a proposal for integrating critical technical consciousness in medical curricula. We identify three areas required to develop critical consciousness with regard to emerging technologies. The first area is technical literacy, which involves not just knowing how to use technology, but also understanding its limitations and appropriate contexts for use. The second area is the ability to assess the social impact of technology. This practice requires understanding that while technification creates new possibilities it can also have adverse, unintended consequences. The third area is critical reflection on the relationship between 'the human' and 'the technical' as it relates to the values of the medical profession and professional identity formation. Human and technology are two sides of the same coin; therefore, thinking critically about technology also forces us to think about what we consider 'the human side of medicine'. Implications: Critical technical consciousness can be fostered through an educational program underpinned by the recognition that, although technological innovation can create new possibilities for healing, technology is never neutral. Rather, it is imperative to emphasize that technology is interwoven with the social fabric that is essential to healing. Like medication, technology can be both potion and poison.

Keywords: Philosophy; medical innovation; technology.

 

언어, 철학, 그리고 의학교육 (Teach Learn Med, 2021)
Language, Philosophy, and Medical Education
John R. Skelton

 

 

소개
Introduction

이 논문에서 저는 임상 커뮤니케이션 분야의 교사이자 연구자로서 철학, 언어, 그리고 제 직업 사이의 관계에 대해 몇 가지 생각을 제시합니다. 
In this paper I offer some thoughts about the relationship between philosophy, language, and my own job, as a teacher and researcher in clinical communication.

저는 제2외국어 및 외국어 학습자를 대상으로 영어를 가르치는 교사로 직업 생활을 시작한 후 교사 트레이너/교육자, 학문적 응용 언어학자로 몇 년을 보냈습니다. 1992년에 "의사소통 기술"을 가르치고 연구하기 위해 의과 대학에 오게 되었습니다. 
I began professional life as a teacher of English to second and foreign language learners, and then spent some years as a teacher trainer/educator, and academic applied linguist. I came to Medical Education in 1992 with a remit to teach and research what was known as “communication skills.”

그 당시에는 언어와 의학에 관한 최고의 질적 연구로 꼽히는 에르빈 미슬러의 저서1가 여러 전통에서 나온 다른 많은 연구와 마찬가지로 몇 년 전부터 나와 있었습니다.2-5 하지만 의학에서의 의사소통 기술에 대한 관문의 사자는 토론토 컨센서스 성명서였습니다.6 이 성명서는 "[의사소통] 기술은 행동 기준으로 정의할 수 있으며 신뢰할 수 있게 가르치고 평가할 수 있다"고 선언했습니다(이 전통에서 '행동 기준'은 '열린 질문' 같은 것이었죠). 이는 언어가 어떻게 작동하는지에 대한 오해로 보였습니다(자세한 내용은 다른 곳에서 논의한 바 있습니다).7 예를 들어, Ong 등8이 이 분야에 대한 초기 최신 논문을 발표했을 때 이후 많은 인용을 받았지만 질적 연구는 단 한 건도 언급되지 않았습니다. 
At that time, Erwin Mishler’s book,1 still perhaps the best qualitative study of language and medicine, had been around for some years, as had a number of others studies, from a variety of traditions.2–5 Yet the lion at the gate for communication skills in medicine was the Toronto Consensus statement, as it was called.6 It declared that “[communication] skills can be defined with behavioral criteria and can be reliably taught and assessed” (The “behavioral criteria” in this tradition were things like “open questions”). This seemed to me a misunderstanding of how language works (I have discussed the details elsewhere).7 So, for example, when Ong et al.8 published an early state of the art paper on the field, subsequently much cited, not a single qualitative study was mentioned.

제가 더 명확하게 이해하게 된 것은 의대생과 의사들이 여러 가지를 더 정교하게 이해해야 할 필요성이 있다는 것이었습니다. 예를 들어, 화법 이론의 한 구절을 빌리자면, 전문적 언어는 말로 일을 하는 것으로서 업무 중심적이라는 점을 강조해야 할 필요가 있었습니다. 의미는 언어가 사용되는 맥락에 의해 정의된다는 점을 강조할 필요가 있었는데, 이는 의사소통 역량과 커뮤니티 의미의 개념에서 부분적으로 다루고 있는 기본 사항입니다. 마지막으로 직업과 개인 생활의 모호함을 관리하고 논의하는 데 도움이 되는 언어의 능력을 강조하고 언어, 자기 인식 및 이러한 것들이 가져다주는 권력 사이의 관계에 대해서도 논의해야 할 필요성이 있었습니다.
What I came to understand more clearly was the need for medical students and doctors to have a more sophisticated understanding of a number of things. For example, there was a need to emphasize professional language as doing things with words, to borrow a phrase from Speech Act Theory, 9 and therefore as being task-focused. There was a need to emphasize that meaning is defined by the context in which language is used, a fundamental point covered in part by the concepts of communicative competence and community meaning. And finally there was a need to emphasize the ability of language to help us manage and discuss the ambiguity of professional and personal life, and to discuss also the relationship between language, self-awareness and the power these things bring.

아래에서 이러한 부분을 살펴봅니다.
It is these areas which I look at below.

언어란 말로 무언가를 하는 것입니다: 목표의 중요성
Language is about doing things with words: The importance of aims

유용한 출발점은 목적이 달성되지 않은 경우를 고려하는 것입니다. 아주 잘 연구된 분야의 예를 들자면, 10 담배를 많이 피우는 44세의 잭 스미스 씨를 상상해 보세요. 그의 의사는 이렇게 말합니다: "좋아, 다음번에는 담배를 끊게 할 거야." 한 달 후 스미스 씨가 들어옵니다. "잘 들어요, 잭," 의사가 말합니다. "이 말도 안 되는 흡연을 그만둬야 해요. 이건 미친 짓이에요. 제발 그만두세요!" 
A useful starting place is to consider when purposes are unfulfilled. To take an example from a very well-researched field, 10 imagine Mr Jack Smith, aged 44, a heavy smoker. His doctor thinks: “Right, next time, I’m going to get him to stop.” A month later, Mr Smith walks in. “Now listen, Jack,” says the doctor, “You’ve just got to stop this smoking nonsense. It’s madness. For God’s sake stop!”

결과는? 스미스 씨는 이전과 마찬가지로 "우리 할아버지는 굴뚝처럼 담배를 피우셨는데 90세까지 사셨어요. 다시는 그 의사를 만나지 않을 거예요. 그는 잔소리만 하거든요." 그러던 어느 날 스미스 씨는 기침이 잦아지고, 체중이 줄고, 기운이 없어지기 시작했습니다...... 그리고 다시 의사를 찾아갔을 때는 이미 너무 늦었습니다. "의사는 아내에게 "글쎄요, 어떤 사람들은 말을 듣지 않아요...."라고 우쭐대며 말합니다. 
The result? Mr Smith thinks, as so often before, “My grandad smoked like a chimney and lived past 90. I’m not going to see that doctor again. All he does is nag me.” Then one day Mr Smith begins to cough more, to lose weight, to feel weak….and when he does go to his doctor again, it’s too late. “Well,” says the doctor virtuously to his wife, “some people just won’t listen….”

의사는 목표를 달성했을까요? 분명히 아닙니다. 그가 옳았다는 것도, 진정으로 환자를 돕고 싶었다는 것도 전혀 중요하지 않습니다. 그는 실패했습니다. 그는 일을 완수하지 못했습니다. 임상 커뮤니케이션에서 모든 교육의 핵심은 '당신의 목적은 무엇인가? 무엇을 하고 싶은가?
So, did the doctor achieve his aim? Clearly not. It matters not at all that he was right, nor that he truly wished to help his patient. He failed. He did not get things done. A central point for all teaching in clinical communication is: what is your purpose? What do you want to do?

'말로 일을 한다'는 개념과 오스틴의 독창적인 연구(Austin 1962)는 상당히 깊이 있고 훨씬 더 복잡한 연구 분야로 발전했습니다. 저는 이 개념의 두 가지 측면, 즉 단어가 어떻게 '일'을 하게 되는지에 초점을 맞추고, 우리가 겉으로 보이는 의미와 실제로 의도하는 의미, 그리고 다른 사람들이 받아들이는 의미 사이의 구분(세부 사항은 50년 이상 논의의 주제였습니다)에 대해 아주 간략하게 다루고자 합니다.
The concept of “doing things with words,” and Austin’s original study (Austin 1962), blossomed into a field of research of considerable depth – and even greater complexity. I want to touch, very briefly, on just two aspects of it: the focus on how words come to “do things,” and the division (details have been the subject of more than 50 years of discussion) between what we appear to mean on the surface, what we actually intend to mean, and what others take us to mean.

오스틴은 원래 연구에서 매우 구체적인 것을 살펴봤는데, 권위자의 말이 실제로 언급된 행동을 수행("수행")하기 때문에 "수행적"이라고 부르는 동사의 한 유형입니다. 따라서 판사가 "5년 형을 선고합니다."라고 말할 수 있고, 목사가 "두 사람을 부부로 선언합니다."라고 말할 수 있는 것과 마찬가지입니다.
Austin, in the original study, looked at something very specific: a type of verb he called “performative” because, if uttered by a person in authority, they actually do (“perform”) the action they mention. Thus, a judge may say “I sentence you to five years,” and so it is: the vicar may “pronounce you man and wife,” and so you are.

그 자체로 이것은 적어도 우리의 목적에 있어서는 한계적인 관심의 언어적 호기심입니다. 하지만 이를 계기로 우리가 언어로 할 수 있는 다른 일과 그 방법에 대한 자세한 논의가 이어졌습니다. 따라서 우리는 요청하고, 약속하고, 세상을 설명하고, 감정을 표현하는 등의 일을 할 수 있습니다. 때때로 말하는 사람의 권위는 매우 중요하며, 그렇게 들리도록 만들어지기도 합니다. 실제로 어떤 상황에서는 우리가 직분을 통해 세상을 바꿀 수 있는 것처럼 보이기도 합니다. 성경의 "빛이 있으라"는 구절과 스타트렉에서 장 뤽 피카르가 자주 말하는 "그렇게 만들라"는 말의 유사성에 주목하세요. 이와 관련하여 설이 "언어 외적 선언"이라고 부르는 것에 대한 그의 발언을 참조하세요: "우리는 표현하는 것 이상을 한다: 우리는 창조한다."11(114쪽) (이 인용문과 이 문제의 다른 측면에 대한 자세한 논의는 한손 월버그12 참조).  
In itself this is a linguistic curiosity of marginal interest, at least for our purposes. But it led to a detailed discussion about the other things we can do with language, and how we do them. Thus we can request, promise, describe the world, express our feelings, and so on. Sometimes the authority of the speaker is very considerable, and is made to sound so. Indeed, it seems in some circumstances, by virtue of our office, that we can change the world by fiat. Note the similarity between the Biblical “Let there be light,” and the utterance “Make it so,” as Jean-Luc Picard so often says in Star Trek. In this respect, see Searle’s remark on what he calls “extra-linguistic declarations”: “we do more than represent: we create.”11(p114) (See also Hansson Wahlberg12 for a detailed discussion of this quotation, and other aspects of the issue.)

그러나 우리가 언어를 사용하여 새로운 상황을 창조하는 데는 이보다 더 일상적인 방식이 있습니다. 우리의 목적은 어떻게 하면 그렇게 효과적으로 할 수 있을까요? 그리고 그 문제와 관련하여 우리가 실패하는 이유는 무엇일까요?  
However, there are more quotidian ways in which we use language to create new states of affairs. For our purposes, the question is: how do we do so effectively? And for that matter, why is it that we fail?

이를 바라보는 방법에는 여러 가지가 있습니다. 화법 이론에서는 다음를 단순하면서도 심오하게 구분할 필요가 있습니다. 

  • 발화의 명백한 의미, 즉 명제적 의미
  • 발화를 통해 달성하고자 하는 목적, 그리고
  • 상대방이 그 의도를 이해했는지 여부

예를 들어 친구를 안타깝게 바라보며 "여기 춥다"라고 말하는 메리를 생각해 봅시다. 분명히 온도에 대한 언급은 창문을 닫아 달라는 요청을 위한 것입니다(설13은 이를 '간접적 언어 행위'라고 부릅니다). 친구가 "아, 죄송합니다 - 제가 할게요...."라고 말하며 자리에서 일어나 창문을 닫는다면 그 의도를 이해한 것입니다. 신중하게 고개를 끄덕이며 "네, 메리, 당신 말이 맞아요"라고 대답하는 것은 그렇지 않습니다. 
There are many ways of looking at this. Within Speech Act theory, it is worth picking up the simple yet profound distinctions between

  • the apparent, or purely propositional, meaning of an utterance,
  • what one intends to achieve through it, and
  • whether the person one is speaking to understand the intention.

Consider Mary, say, who looks ruefully at her friend and says, “It’s cold in here.” Clearly, a statement about temperature is intended to be a request, perhaps to close the window (Searle13 would call this an “indirect speech act”). If the friend says, “Oh sorry – let me….” and jumps up and closes the window, she has understood the intention. To nod judiciously and respond, “Yes Mary, you’re quite correct” is not.

더 큰 규모에서 더 많은 것이 걸려 있는 상황에서는 목적에 대한 질문이 핵심입니다. 제가 처음 관찰한 클리닉은 편도선염 환자를 연달아 치료하는 이비인후과 의사였습니다. 15건 중 10건 정도에서 그는 "편도선이 없는 것이 더 나을 것 같지 않나요?"라고 말하며 결론을 내렸습니다. 환자들은 모두 동의했고, 일부는 기꺼이 동의했지만 한두 명은 다소 의아해했습니다. 의사의 목적은 무엇이었을까요? 환자가 편도선 절제술에 동의하는지 확인하기 위해서였다고 말할 수도 있습니다. 하지만 이런 식으로 던진 질문은 거절을 매우 어렵게 만들었습니다. 진짜 목적은 논의 없이 동의를 받아 신속하게 수술을 진행하려는 것 같았기 때문입니다. (현재 우리가 "공유 의사 결정"이라고 알고 있는 것에 대한 사회언어학적 탐구는 Robertson 외 참조)14) 
On a bigger scale, with more at stake, the question of purpose is central. The first clinic I ever observed was an ENT doctor who was dealing with a succession of patients with tonsillitis. In perhaps 10 out of fifteen cases, he concluded by saying, “I think you’d be better off without those [ie, the tonsils], don’t you?” All of the patients agreed, some willingly but one or two with a degree of surprise. What was the doctor’s purpose? He might say it was to see if the patient consented to a tonsillectomy. But the question, posed in just this way, made a refusal very difficult. It seemed the real purpose was to move the clinic along briskly by getting consent without discussion. (For an exploration of the sociolinguistics of what we now know as “Shared Decision-making” see Robertson et al.)14

언어는 맥락에서 의미를 갖습니다: 사람마다 다른 의미 전달 방식
Language is meaning in context: Different things work for different people

이전 섹션의 근간은 우리가 말하거나 글을 쓸 때 의미를 전달하는 방식에 대한 한 가지 기본 원칙입니다. 즉 의미를 정의하는 것은 맥락입니다. 
Underpinning the previous section is one fundamental principle about how we convey meanings when we speak or write: it is context which defines meaning.

위의 이비인후과 의사는 일종의 창의적인 모호함을 활용했습니다. 언어학자가 말하듯이, 그는 문법적 의문문을 사용했지만 기능적으로 질문하지 않았습니다. 오히려 그는 환자가 (어쨌든 가장 좋은 것이 무엇인지에 대해) 신속하게 묵인하도록 유도하려고 했습니다. 
The ENT doctor above took advantage of a kind of creative ambiguity. As a linguist would say, he used a grammatical interrogative, but he did not functionally ask a question. Rather, he – let’s say – sought to maneuver the patient into swift acquiescence (about what was the best thing anyway).

모든 언어에는 모호한 표현의 기회가 무궁무진하지만, 대개 맥락에 따라 모호함이 제거됩니다. 소설에서 "그는 비꼬듯이 말했다"와 같은 문구의 주요 기능인 맥락(여기서는 억양의 맥락)을 제공함으로써 텍스트를 비-모호disambiguate하게 만드는 것이 바로 이러한 기능입니다. 
All languages have endless opportunities for ambiguity, though usually context removes it. This incidentally is a major function of such phrases as “he said sarcastically” in novels: to disambiguate text by providing a context (the context of intonation, here) lost in the written language.

원하는 의미를 전달하고 정확하게 이해하게 하는 것은 언어학, 특히 교육 언어학에서 "의사소통 능력"으로 인식됩니다. "문법 규칙이 없으면 쓸모없는 사용 규칙이 있다."15(278쪽) 예를 들어 "문법 규칙"은 "당신은 그렇지 않다"라고 말하지만 "그는 그렇지 않다"라고 말하는 것입니다. 특히 미국에서는 할리우드와 대중가요를 통해 영어권 전 세계에 알려진 "그는 아니야"가 일반화되어 있다는 것이 사용의 규칙입니다. 따라서 미국인, 특히 블루칼라 미국인처럼 들리고 싶으면 "ain't"를 사용하고, 영국인, 전문직 종사자처럼 들리고 싶으면 "isn't"를 사용할 수 있습니다. 
Conveying the meaning you want, and having it correctly understood, is recognized in language studies, particularly language in education, as “communicative competence.” The central ideas are set out in Hymes: he summed them up by saying that “There are rules of use without which the rules of grammar would be useless.”15(p278) A “rule of grammar” is, for example, that one says “You aren’t” but “He isn’t.” A rule of use is that “He ain’t” is commonplace particularly in the USA and therefore, through Hollywood and popular song, known around the English-speaking world. So, if I want to sound American, particularly perhaps blue-collar American, I might use “ain’t”: if I want to sound British, professional, etc, I will use “isn’t.”

이러한 문제 중 상당수는 특히 문화권 간 예의와 관련이 있습니다(위와 같이 노동계급과 중산층 문화, 세계 여러 지역의 문화가 여기에 포함될 수 있습니다). 예를 들어 영국인으로서 해외 여행을 하는 경우 동유럽인은 걱정스러울 정도로 직설적이고 일본인은 비스듬한 태도를 보일 수 있으며, 물론 그 반대의 경우도 마찬가지입니다. 영국인은 너무 간접적이거나("기분 나쁘게 듣지 마세요, 하지만 당신들은 모두 두 얼굴이잖아요?" 동유럽 의사가 저에게 한 말), 일본인은 불쾌감을 줄까봐 말하지 않는 것처럼 너무 직접적일 위험이 있습니다. 의사소통 능력에 대한 이해는 모든 사람에게 필요하며, 특히 국제 의학 졸업생(IMG)이 이에 해당합니다. 이들에게 개념과 사용 규칙을 소개하고 무례함, 은폐 등 자칫 인격적 결함으로 보일 수 있는 것을 언어의 문제로 재포장할 수 있도록 도와주는 것은 훌륭한 일입니다. 
Many of these issues have to do with politeness, particularly across cultures (as above, this might include working-class versus middle-class culture, as well as cultures in different areas of the world). If you are British and travel abroad, for example, you might find east Europeans worryingly direct, the Japanese worryingly oblique – and of course, the converse is true: a British person risks being thought of as too indirect (“no offence, but you’re all a bit two-faced, you know?” an east European doctor once said to me), or too direct, as a Japanese person would probably not tell you for fear of causing offense. Everyone needs an understanding of communicative competence: including, most relevantly, International Medical Graduates (IMGs). It is an excellent thing to introduce them to the idea, to rules of use, and help them to repackage what may almost seem character flaws – rudeness, concealment – as just matters of language.

말과 말의 의미 사이의 관계를 고려하는 다른 방법도 있습니다. 
There are other ways too of considering the relationship between what one says and what one means.

예를 들어, 고통은 정의상 다른 사람과 공유할 수 없는 것입니다(예: "여기, 내 고통을 좀 맛보세요"라고 말할 수 없습니다). 비트겐슈타인의 유명한 "딱정벌레" 역설이 바로 여기에 해당합니다.16 우리 모두가 상자 안에 "딱정벌레"라고 부르는 무언가를 가지고 있다고 가정해 봅시다. 내 상자 속의 딱정벌레와 네 상자 속의 딱정벌레가 같은 것을 묘사하고 있다는 것을 언어만으로는 어떻게 알 수 있을까요? 비트겐슈타인은 그럴 수 없다고 말했고, 그의 글의 노믹한 특성을 고려할 때 사람들은 그렇게 주장해 왔습니다. 물론 언어가 단지 개념("나의 고통")을 전달할 뿐이라는 것이 우리의 관점이라면 문제가 있는 것 같습니다. 하지만 언어 자체에서 의미를 협상하고 합의하는 데 사용할 수 있는 가능성을 본다면 그렇지 않습니다. (비트겐슈타인의 작업의 모든 측면과 마찬가지로 이 부분도 많은 논란이 있습니다. 상세하지만 기술적인 논의에 대해서는 많은 논의를 거친 크립케의 논문17을 참조하세요. 의학 교육에 적용되는 딱정벌레 비유에 대한 논의는 Veen 외.)18을 참조하십시오. 
Consider pain, for example – it is, by definition, something which cannot be shared with someone else (you can’t say: “Here, sample some of my pain”). This is where Wittgenstein’s famous “beetle” paradox comes in.16 Let us suppose that we all have something we call a “beetle” in a box. How do we know, just by using language, that we are describing the same thing – that the beetle in my box is identical to the beetle in yours? We cannot, suggests Wittgenstein – or, given the gnomic nature of his writing, so people have argued. Certainly, if our view of language is that it merely communicates concepts (“my pain”), then it seems we have a problem. But if we see in language the potential for using language itself to negotiate and agree a meaning, it is not. (This, like all aspects of Wittgenstein’s work, is hugely contested. For a detailed but technical discussion see Kripke,17 in a very much discussed paper. For a discussion of the beetle analogy as it applies to medical education, see Veen et al.)18

그래서 우리는 모든 종류의 추상적인 개념도 마찬가지라고 주장할 수 있습니다. 내가 생각하는 '의무'나 '사랑'이라는 개념이 당신이 생각하는 개념과 같은 것일까요? 당신과 내가 '의사의 의무'에 대해 이야기한다면 우리는 같은 것에 대해 이야기하는 것일까요? 
So it is too, we might argue, with all kinds of abstract concepts. Is the idea of “duty” or “love” which I have in my mind the same as the idea you have in yours? If you and I talk about “a doctor’s duty,” are we talking about the same thing?

토론의 한 가지 목적다른 사람들이 그 용어를 어떻게 사용하는지 들으면서 자신의 마음속에 있는 용어의 의미를 구체화하여 합의에 도달하는 것입니다. 사실상 단어가 어느 정도 명확한 의미를 가지게 되는 것은 사용을 통해서이며, 또한 그 의미가 어떻게 변화하게 되는지도 마찬가지입니다. 이제 누구도 "게이"라는 단어를 행복하다는 뜻으로, "광장"이라는 단어를 구식이라는 뜻으로 사용할 수 없습니다. 다시 말해, 커뮤니티의 관점을 지향해야 합니다. 그리고 커뮤니티의 관점을 이해하는 것은 - 모든 추상적인 개념이 그렇듯이 - 커뮤니케이션 능력의 한 측면입니다.  
One purpose of discussion is to refine the meaning of the term in one’s own mind as one hears how others use it, and so reach a consensus. In effect it is through use that words come to have moderately clear meanings, and also how it is that meanings come to change. No-one now can use the word “gay” to mean happy, the word “square” to mean “old-fashioned”: the consensus, simply, is otherwise. One must aim, in other words, for the community view. And understanding the community view is – though this, like all abstractions, is up for discussion – an aspect of communicative competence.

마지막 요점입니다. 아이러니, 뉘앙스, 모호함과 같은 단어의 존재는 우리가 말하거나 쓰는 것을 항상 액면 그대로 받아들일 수 없다는 것을 분명히 보여줍니다. 오랫동안 외국어 교과서는 문법적 유사성으로 연결된 섹션을 통해 원형적이고 모호하지 않은 언어를 설명하고 가르치는 것이 그 역할이라는 가정하에 작업해 왔습니다. 그 결과는 매우 이상했습니다. 실제로 유진 이오네스코는 1930년대의 아시밀 영어 교과서와 그 언어의 기괴한 특성에서 부분적으로 영감을 받아 부조리의 극장을 만들었습니다.19
A final point here. The very existence of such words as irony, nuance, ambiguity make it clear that what we say or write cannot always be taken at face-value. Foreign language textbooks, for many years, worked on the presumption that their role was to describe and teach prototypical, unambiguous language, with sections linked by grammatical similarity. The result was famously odd. Indeed, a point which should be a great deal more widely known, Eugene Ionesco was inspired partly by the Assimil English language textbooks of the 1930s, and the bizarre nature of their language, to create the Theater of the Absurd.19

환원주의와 모호성: 언어는 세상의 복잡성을 포착하는 데 도움이 됩니다.
Reductionism and ambiguity: Language helps to capture the world’s complexity

과학은 우리에게 안개를 걷어내고, 증명할 수 있는 것(가설)을 찾아내고, 그것을 테스트하고, '사실'이 무엇인지 확인하도록 요구합니다. 이 새로운 약을 복용한 사람들이 기존 약을 복용한 사람들보다 더 빨리 나아질까요? 테스트하고 확인해 보세요. 이 환자가 박테리아에 감염되었는지 아닌지? 알아보세요. 홉스가 말했듯이 과학은 "결과에 대한 지식과 한 사실이 다른 사실에 의존하는 것"20(p25) 입니다. 
Science asks us to clear away the fog, to identify what can be proven (a hypothesis), to test it and see what “the facts” are. Do more people get better more quickly on this new drug, than on that old drug? Test it and see. Has this patient got a bacterial infection or not? Find out. As Hobbes said, science is “the knowledge of consequences and the dependence of one fact upon another.”20(p25)

우리 모두는 - 물론 환자로서 - 원인과 결과의 연관성을 이해하고, 분리하고, 탐구하는 방식이 점점 더 정교해지고 있으며, 가장 최근에는 EBM(증거 기반 의학) 운동의 성과를 통해 훨씬 더 안전해졌습니다. (토넬리(Tonelli)와 블루엠21은 EBM 세계에서의 인식론에 대한 훌륭한 논의를 제공합니다). 그러나 잘 알려진 두 가지 주의 사항이 있습니다.

  • 하나는 아마도 흄이 제기한 회의적인 주장에서 비롯된 것일 것입니다. 흄은 원인과 결과 관계가 과거에 참이었다고 해서 미래에도 참일 것이라는 것을 우리가 어떻게 알 수 있는지, 즉 우리가 정말로 어떻게 알 수 있는지에 대해 물었습니다. 내일 태양이 동쪽에서 떠오를 것이라고 어떻게 확신할 수 있을까요? 우리는 알 수 없습니다. 단지 "과거에 나타난 것과 유사한 사건의 연속인 미래를 기대하게 만드는 것은 '관습'일 뿐입니다."22(44쪽). 

We are all as patients – of course – much safer because of the increasingly sophisticated way that cause and effect links are understood, isolated, and explored, most recently through the work of the EBM (Evidence-based Medicine) movement. (Tonelli and Bluhm21 have an excellent discussion of epistemology in an EBM world). There are, however, two well-established caveats.

  • One dates perhaps from the skeptical arguments put forward by Hume. He asked how we know – how we really know – that just because cause and effect relationships have held true in the past, they will do so in future. How can we be sure that tomorrow we will perceive the sun as rising in the east? We cannot. It is only “custom” which “makes us expect for the future, a similar train of events with those which have appeared in the past.”22(p44)

어쨌든 우리는 어떻게든 헤쳐나가야 합니다. 지식 일반에 대해 완전히 회의적이거나(이 경우 연구를 왜 하느냐고 반문할 수도 있습니다), 같은 현상이 반복적으로 발생하면 "사실"로 간주할 수 있다는 견해를 취할 수도 있습니다. 공식적으로 관찰은 통상적으로 적용되는 통계적 유의성 기준에 도달합니다. 
Well, we must muddle through somehow. Either one is completely skeptical about knowledge in general (in which case, why bother with research), or one may take the view that repeated co-occurrences of the same set of phenomena amount to something one may assume to be “a fact.” Formally, observations reach a conventionally applied standard of statistical significance.

다른 한 가지 주의할 점은 경험에 따르면 인간 조건의 모든 측면을 경험적으로 이해할 수 없다는 것입니다. 제인은 남편이 자신을 사랑한다는 것을 어떻게 알 수 있을까요? "글쎄요, 남편은 저에게 좋은 것을 사주고, 집을 비우면 항상 전화를 걸어주고, 제 생일을 기억해주고......"라고 말할 수도 있습니다. 그러나 우리 모두는 이런 식으로 사랑을 일련의 경험적 행동으로 축소하는 것이 우리 자신의 경험에 대한 답이 아니라는 것을 인정합니다제인은 어떻게 알까요? 그녀는 그냥 알고 있습니다. 그녀는 인간의 본성을 잘 이해하고 있는 성숙한 여성이기 때문에 남편의 행동적 관심이 - 과학자의 용어를 고수한다면 - 더 깊고 덜 실체적인 무언가를 위한 대리인임을 인식할 수 있습니다. 우리가 알고있는 사랑 : 단순히 그런 식으로 행동하는 성향이 아닙니다. 결국 햄릿이 알고 있듯이, "웃고 웃으면서 악당이 될 수도 있다."23(690쪽)
The other caveat is, quite simply, that experience tells us we cannot understand all aspects of the human condition empirically. How does Jane know her husband loves her? “Well,” she may say, “he buys me nice things, he always rings if he’s away from home, he remembers my birthday…..” But we all accept that reducing love to a set of empirical behaviors in this way does not answer to our own experience. How does Jane know? She just does. She is a mature woman, with a good understanding of human nature, and can therefore recognize that her husband’s behavioral attentions to her are proxies – if we stick with the parlance of the scientist – for something deeper and less tangible. Love as we know it to be: not a disposition merely to behave in such and such a way. After all, as Hamlet knew, “One may smile and smile and be a villain.”23(p690)

셜록 홈즈 이야기의 중심 주제는 홈즈의 뛰어난 추리력인간으로서의 기묘함 사이의 긴장감입니다. 홈즈는 왓슨 박사에게 "불가능을 제거하면 남는 것은 아무리 불가능해도 진실일 수밖에 없다고 내가 얼마나 자주 말했습니까?"라고 묻습니다. (원문 이탤릭체). 실제로 홈즈는 이 말을 두 번 이상 반복하는데, 이는 『셜록 홈즈』에 나오는 두 가지 격언 중 하나입니다. 24(p111) 물론 홈즈는 자격을 갖춘 의사인 아서 코난 도일에 의해 창조되었으며, 그의 "방법"은 코난 도일의 의대생 시절 스승 중 한 명이었던 실제 의사를 기반으로 합니다. (과학자로서의 홈즈의 능력에 대한 흥미로운 현대적 변론은 O'Brien 2013을 참조하세요.)25 
A central theme of the Sherlock Holmes stories is the tension between Holmes’ brilliant deductive mind, and his oddity as a human being. Talking of his craft, he asks Dr Watson: “How often have I said to you that when you have eliminated the impossible whatever remains, however improbable, must be the truth?” (Italics in original). Actually, Holmes gives a version of this thought more than once – this is one of two such aphorisms in The Sign of the Four. 24(p111) Holmes was created, of course, by Arthur Conan Doyle, a qualified doctor, and his “methods” were based on a real doctor who was one of Conan Doyle’s teachers as a medical student. (For an interesting modern defence of Holmes’s abilities as a scientist, see O’Brien 2013.)25

따라서 모든 이야기에서 홈즈는 자신과 다른 모든 사람들이 기꺼이 새로운 지식이라고 주장하는 것으로 끝납니다. 이전에는 누가 피해자를 죽였는지 몰랐지만 이제는 알 수 있습니다. 그러나 이는 홈즈가 명확한 질문(경험적 현상을 어떻게 설명할 수 있는가?)을 던지고 이에 대한 명확한 답이 하나 있다는 것이 밝혀졌기 때문에 만족할 만한 결과입니다.
So, in every one of the stories, Holmes ends with what he and everyone else is happy to claim is new knowledge. We did not know who killed the victim: now we do. This is satisfactory, however, only because Holmes asks a clear question (how do we account for the empirical phenomena?) to which it turns out there is a single, unambiguous answer.

여기서 우리는 언어의 역할에 대해 생각해 볼 수 있습니다. '과학'은 사실을 제공하지만 언어는 우리가 살아가는 복잡한 삶에 대해 생각하고 토론할 수 있는 방법을 제공합니다. 의사가 올바른 직업적 가치관을 가지고 있는지 판단하려면 겉으로 드러나는 행동만으로는 충분하지 않으며, 의사의 인격과 가치관이 쉽게 측정할 수 없는 방식으로 빛을 발하는지 살펴봐야 합니다. 직장에서의 성과와 모의 수술에서 보여지는 성과는 동일하지 않습니다.26 아리스토텔레스(로버츠 번역)27(p7)는 다음과 같이 제안했습니다:  
This brings us to the role of language. “Science” offers facts: language however offers us a way of thinking about and discussing life as we live it, in all its complexity. If we want to determine whether a doctor has good professional values, it is not enough to look at overt behavior, but at whether the doctor’s character and values shine through, in ways which we cannot easily measure. Performance in the workplace and when on display in the simulated surgery are not identical.26 Aristotle (in Roberts’ translation)27(p7) suggested:

수사학에 관한 논문에서 일부 저자들이 주장하는 것처럼 화자가 드러내는 개인적인 선함이 설득의 힘에 아무런 기여도 하지 않는다는 것은 사실이 아니며, 오히려 그의 인격이 그가 가진 가장 효과적인 설득 수단이라고 할 수 있다.
It is not true, as some writers assume in their treatises on rhetoric, that the personal goodness revealed by the speaker contributes nothing to his power of persuasion; on the contrary, his character may almost be called the most effective means of persuasion he possesses.

의사들이 미덕을 전문화하는 방법 - 가버의 훌륭한 문구를 빌리자면28 - 은 통계적 분석에 개방되어 있지 않습니다. '전문직업성'과 같은 추상적인 용어가 의미하는 바를 결정하려면 비트겐슈타인의 딱정벌레처럼 함께 토론하고 공동체의 관점에 도달해야 합니다. 다시 말해, 우리는 언어를 사용해야 하며, 언어가 사용되는 맥락에 따라 의미가 결정된다는 것을 이해해야 합니다.
How doctors professionalize virtue – to borrow an excellent phrase from Garver28 – is not open to statistical analysis. If we want to decide what we mean by an abstract term like “professionalism” then, as with Wittgenstein’s beetle, we must discuss it together and arrive at a community view. In other words, we must use language, and we must understand that language has meaning as it used – that the context of use determines the meaning.

이는 의사소통 능력의 핵심이지만, 더 넓게는 환원주의적이지 않고 우리가 느슨하게 "질적"이라고 생각하는 세계관 및 연구의 핵심이기도 합니다. 
This is at the heart of communicative competence, but more broadly it is at the heart of a view of the world, and of research, which is not reductionist, and which we think of, loosely, as “qualitative.”

의료 사회학에서 중요한 텍스트 중 하나는 글레이저와 스트라우스의 '죽음에 대한 인식'입니다.29 임박한 죽음이라는 사실에 대한 인식이 관련자들 간의 상호작용에 어떤 영향을 미치는지 연구한 이 텍스트는 아름답게 쓰여 있습니다. 언어의 뛰어난 사용은 모호함을 이해하되 해소하지 않는 방식이라는 점이 저와 관련이 있는 것 같습니다. 구어체로 표현하자면, 언어를 잘 사용하면 의미에 생명을 불어넣을 수 있습니다. (미국의 위대한 인류학자 클리포드 거츠는 "나는 옷장 속 수사학자일지도 모르지만, 이제 조금씩 커밍아웃하고 있다."라고 말한 적이 있습니다.)30(p245) 또는 스콧 피츠제럴드의 유명한 말처럼 "일류 지능의 시험은 두 가지 상반된 생각을 동시에 머릿속에 담고도 기능할 수 있는 능력이다."31(p1). 
One of the seminal texts in medical sociology is Glaser and Strauss’s Awareness of dying.29 It studies how awareness of the fact of impending demise affected the interactions between those concerned: and it is beautifully written. This seems relevant to me: excellent use of language is the way in which ambiguities can be understood but not dissolved. Good use of language – a sense of style, one might colloquially say – gives life to one’s meanings. (The great American anthropologist, Clifford Geertz, once remarked, “I’m probably a closet rhetorician, although I’m coming out of the closet a bit.”)30(p245) Or, as Scott Fitzgerald famously put it, “the test of a first-rate intelligence is the ability to hold two opposed ideas in the mind at the same time, and still retain the ability to function.”31(p1)

이러한 관점은 전체론적 또는 인본주의적 의학에 대한 현대의 초점에 잘 어울립니다. 어떤 의미에서 이것은 의학에 대한 다음의 둘 사이의 대조라는 측면에서 논의되어 온 것입니다.

  • 기계론적 접근(신체는 때때로 고장 나는 기계)과 
  • 전인적 접근(질병은 기계가 아니라 사람에게 영향을 미친다) 

이 논쟁은 고대 그리스까지 거슬러 올라가는데, 크니도스의 초기 의사들은 전자를, 코스 출신의 의사들은 후자를 선호했다고 알려져 있으며, 1990년대에 가정의학의 창시자 중 한 명이자 전인적 치료의 강력한 옹호자인 이안 맥휘니(Ian McWhinney,32) 가 논의하면서 이 구분이 어느 정도 통용되기 시작했습니다.  
This perspective lends itself well to the contemporary focus on holistic, or humanistic, medicine. In one sense, this is a discussion which has been couched in terms of a contrast between

  • a mechanistic approach to medicine (the body is a machine which sometimes breaks down), and
  • the holistic approach (illness affects a person, not a machine).

The debate has been pushed back as far as Ancient Greece, with early physicians from Cnidos said to be in favor of the former and those from Cos the latter – the distinction gained some currency in the 1990s when it was discussed by Ian McWhinney,32 one of the founding fathers of family medicine, and a strong advocate of holistic care.

또한, 특히 북미에서는 예술에 대한 '인본주의적' 접근이 어느 정도의 모호성이 핵심인 예술에 대한 이해를 포함할 수 있습니다. 성공적인 예술 작품이란 동시에 여러 가지를 의미하지만, 그럼에도 불구하고 모든 의미와 모순이 함께 어우러져 있습니다. 이를 바탕으로 한 예술 작품은 모호함 속에서 환원할 수 없는 하나의 진술로 취급될 수 있습니다. 그렇다면 햄릿은 무엇에 관한 작품일까요? 모든 것. 아무것도 아닙니다. 그냥 그렇습니다. 베르메르의 <델프트의 풍경33>은 델프트의 풍경인가요? 물론 그렇죠. 침묵과 평화, 그리고 인간의 조건에 대한 명상입니다. 우리가 그러한 것들을 탐구할 때, 우리는 그것들의 밑바닥에 도달하지 못한다는 것을 분명히 이해하면서 그렇게 합니다. 우리는 이해합니다. 하지만 우리는 모릅니다.
In addition, perhaps particularly in North America, a “humanistic” approach to may involve an understanding of the arts, where a degree of ambiguity is at the heart of the endeavor. A successful work of art means multiple things at the same time, but all the meanings, all the contradictions, nevertheless hang together. A work of art on this basis may be treated as a single statement irreducible in its ambiguities. So: what is Hamlet about? Everything. Nothing. It just is. Is Vermeer’s View of Delft33 a view of Delft? Of course it is. And of course it isn’t: it’s a meditation on silence, and peace and the human condition. When we explore such things, we do so on the clear understanding that we don’t get to the bottom of them. We understand: but we don’t know.

언어와 힘: 자신을 이해하는 능력 개발
Language and power: Develop the ability to understand ourselves

언어와 권력의 관계는 광범위하게 논의되어 왔습니다(의학의 경우, 푸코[2003]의 영향이 분명합니다). "상식적인" 관점이 어떻게 우리가 인식하지 못하는 사이에 권력 관계를 만들어내는지 보여주는 Fairclough,34(p2)가 대표적인 예입니다. 그는 의학으로 이를 설명합니다: 
The relationship between language and power has been extensively discussed (as regards medicine, Foucault [2003] is an obvious influence. A standard general account is Fairclough,34(p2) who demonstrates how a “common sense” view creates power relationships without us being aware of them. He illustrates this with medicine:

.... 의사와 환자 사이의 전통적인 유형의 상담에 대한 관습은 권위와 위계를 자연스러운 것으로 취급하는 '상식적인' 가정을 구현합니다
- 의사는 의학에 대해 알고 있지만 환자는 그렇지 않다;
- 의사는 건강 문제를 어떻게 다뤄야 하는지 결정할 위치에 있지만 환자는 그렇지 않다;
- 의사가 상담과 치료 과정을 결정하고 통제해야 하며 환자는 이에 순응하고 협조해야 하는 것이 옳고 '자연스러운' 것이다 등등....

이런 종류의 가정은 사용되는 언어의 형태에 내재되어 있습니다. 

….the conventions for a traditional type of consultation between doctors and patients embody ‘common sense’ assumptions which treat authority and hierarchy as natural
– the doctor knows about medicine and the patient doesn’t;
– the doctor is in a position to determine how a health problem should be dealt with and the patient isn’t;
– it is right (and ‘natural’) that the doctor should make the decisions and control the course of the consultation and of the treatment, and that the patient should comply and cooperate, and so on….

assumptions of this sort are embedded in the forms of language which are used.

위계적 지위에 대한 가정은 명망 있는 억양이나 현지 언어 외에 국제 언어를 구사할 수 있는 능력과 같은 단순한 것에서 비롯될 수 있습니다. 이는 오늘날 전 세계 많은 지역에서 영어가 그러합니다. (이 문제에 대한 자세한 논의는 살라거-마이어를 참조하세요).35 하지만 저는 여기에 약간 특이한 관점을 제시하고 싶습니다. 
Presumptions about hierarchical position might flow from something as simple as a prestigious accent, or the ability to speak an international language in addition to a local language. This is true of English today in many parts of the world. (For a detailed discussion of the issues here, see Salager-Meyer).35 However, I would like to put a slightly unusual twist on this.

브라질의 저명한 교육학자 파울로 프레이레는 언어와 소외 계층, 즉 빈민가의 어린이와 문맹 성인에 주목했습니다. 그의 아이디어는 70년대부터 영향을 미쳤습니다. 핵심적인 은유는 은행업의 은유입니다36(p72): 
The distinguished Brazilian educationist, Paulo Freire, looked at language and the underprivileged – children from the favelas, illiterate adults. His ideas have been influential from the 70s. A central metaphor is that of banking36(p72):

교육은....학생이 depository(예금 보관소)이고 교사가 depositor(예금을 맡기는 사람)인 예금 행위가 된다....이것은 학생들에게 허용되는 행동 범위가 예금을 받고, 제출하고, 보관하는 데까지만 확장되는 교육의 "은행" 개념이다.
Education….becomes an act of depositing, in which the students are the depositories and the teacher is the depositor….This is the “banking” concept of education, in which the scope of action allowed to the students extends only as far as receiving, filing and storing the deposits.

좀 더 친숙한 용어로 이것은 정보 전달로서의 교육 이미지입니다. 전문가는 신탁을 전수하고, 신탁은 특권층이 믿는 것을 말합니다. 교사는 세상을 설명합니다. 
In more familiar terms, this is an image of education as information transfer. The expert, as it were, hands down the oracle – and the oracle says what the privileged believe. The teacher describes the world.

은행의 은유와 달리 프레이레36(40쪽)는 "문제제기 교육"을 제안합니다. 의학교육에서 사용되는 용어인 "문제 기반 학습"(PBL)의 메아리는 분명하지만, 그 유사성이 완전하지는 않습니다. PBL은 학생들이 해결책을 찾도록 장려하는 데 사용되지만, 제시된 문제에 대한 정답이 하나뿐인 경우가 많기 때문에 다시 한 번 모호성을 없애는 것이 과제입니다. 프레이레의 방법론은 학습자의 자각(포르투갈어로 '의식화')을 높여 학습자의 역량을 강화하도록 장려하기 위해 고안되었습니다. 그는 분노의 교육학37(p15)에서 다음과 같이 표현합니다: "교육은 여성과 남성이 학습을 통해 스스로를 만들고 재구성할 수 있다는 것을 배우기 때문에 의미가 있다." 
In contrast to the banking metaphor, Freire36(p40) offers “problem-posing education.” The echoes of “problem-based learning” (PBL), as the term is used in Medical Education, are obvious, but the resemblance is not complete. PBL is used to encourage students to find solutions, but often there is a single right answer to the problem posed, so that once more the task is to disambiguate. For Freire, his methodology is designed to encourage learners to become more empowered, through raising their awareness (conscientização, in Portuguese). As he expresses it in The pedagogy of indignation37(p15): “education makes sense because women and men learn that through learning they can make and remake themselves.”

프레이레의 출발점은 결국 사회에서 목소리를 내는 것을 통한 권한 부여입니다. 그러나 특권이 있든 없든, 우리 대부분은 은행 업무와 같은 교육에 노출되어 왔으며, 새로운 아이디어와 사고 방식을 표현하는 데 어려움을 겪고 있습니다. 예를 들어, 의대생과 자격을 갖춘 의사는 누군가가 '의사소통을 잘한다'거나 '못한다'는 이유를 명시하거나 의료 윤리에 대한 입장을 정립하고 발전시키는 데 있어 다른 사람보다 더 명료한 표현을 구사하는 것은 아닙니다(예: 낙태에 대한 찬성 또는 반대 입장 정당화). 탐구하고, 아이디어를 조사하고, 토론하고, 사물을 바라보고(의사와 환자 간의 상담), 아이디어를 구축하고 반영하는 데 도움이 되는 방식으로 이야기하는 수단으로서의 언어는 교육의 핵심 요소입니다. 이 과정을 통해 우리는 우리 자신뿐만 아니라 공동체의 관점을 더 완전히 이해하고 형성할 수 있습니다. 
Freire’s starting point is then empowerment through having a voice in society. But, privileged or not, most of us have been exposed to education as banking, and we all struggle to articulate new ideas and ways of thinking. Medical students, and qualified doctors, are not necessarily more articulate than anyone else at specifying why someone “communicates well” or badly, for instance, nor at setting out and developing a position on medical ethics – justifying a position for or against abortion, say. Language as a means of exploration, of probing and discussing ideas, of looking at things (perhaps a doctor-patient consultation) and talking about them in a manner which helps us build and reflect on ideas, is a key aspect of education. The process enables us to understand and shape more fully the community view, as well as our own.

프레이레보다 훨씬 이전에 존 로크는 지식과 우리가 지식을 얻는 방법, 더 나아가 교육에 대해 장황하게 썼습니다.38 (로크는 교육 논쟁에 백지 상태인 타불라 라사라는 용어를 도입한 것으로 유명합니다). 그렇다면 우리는 어떻게 지식을 얻을 수 있을까요?

  • 감각(보고 듣는 것 등)함으로써
  • 성찰(보고 듣는 것의 의미를 형성)함으로써

그리고 중요한 것은 성찰 능력에서 비롯되는 자유입니다: 
Long before Freire, John Locke wrote at length both of knowledge and how we come by it, and by extension about education.38 (Locke, famously, introduced the term tabula rasa, the blank slate, to the educational debate). On this basis, how do we come by knowledge?

  • By sensation (we see and hear, and so on), and
  • by reflection – we make sense of what we see and hear.

And part of what is at stake is the liberty that stems from the ability to reflect:

정치와 교육에 관한 로크의 모든 저술에서 매우 중요한 자유의 개념은 에세이 [인간 이해에 관하여]에서 자신의 행동에 대한 마음의 힘, 특히 대상을 충분히 고려할 때까지 자신의 욕망의 만족을 추구하는 행동을 중단할 수 있는 힘에 대한 성찰로 추적됩니다(II.21.47, N: 51-52)39(p16).
The idea of liberty, so crucial to all of Locke’s writings on politics and education, is traced in the Essay [Concerning Human Understanding] to reflection on the power of the mind over one’s own actions, especially the power to suspend actions in the pursuit of the satisfaction of one’s own desires until after a full consideration of their objects (II.21.47, N: 51–52)39(p16)

자유는 특히 의학교육과 관련이 있다고 생각합니다. 교육은 해방에 관한 것이다.

  • 가난하고 절망적인 사람들에게도 그렇고,
  • 자신이 선택한 직업에서 최고가 되고자 하는 사람들에게도 그렇다. 생각하고 말할 수 있는 자유, 즉 자신과 환자, 그리고 자신을 둘러싼 세상을 효과적으로 이해할 수 있는 자유에 관한 것이기도 합니다.

Liberty is, I would suggest, particularly pertinent to medical education. Education is about liberation,

  • for the poor and desperate, but also
  • for those who seek to be the best they can be at their chosen profession – the liberty to think and talk, and thereby to understand effectively oneself and one’s patients and the world around one.

따라서 언어는 작업 중심적이고 문맥에 따라 정의되며, 세상의 복잡성을 표현하고 사용자에게 힘을 실어주는 인식을 제공하는 데 이상적인 수단입니다.
Language then is task-focused, defined by context, an ideal vehicle for expressing the world’s complexity, and for offering the awareness that empowers the user.

하지만 이것이 결론은 아닙니다. 여기 수수께끼가 있습니다.
But this is not quite the conclusion. Here is a conundrum.

이 대화를 통해 '환자 중심주의'라는 개념을 생각해 보세요(발명된 개념이지만 당연한 것처럼 보입니다):
Consider the concept of “patient-centeredness” through this exchange (invented, but it seems commonplace):

의사: 그래서 - 무엇을 원하십니까?
환자: 글쎄요, 의사 선생님께 맡기겠습니다.
Doctor: So – what do you want to do?
Patient: Oh, I don’t know – I’ll leave all that up to you doc.

이 경우 환자가 요청하는 대로 하는 것이 환자 중심일까요? 환자 중심은 의사 중심일까요? (비슷한 맥락에서, 저는 파키스탄의 한 의과대학 1학년 간호학과 학생에게 유능한 동기생들이 왜 그렇게 스스로 생각하기를 열망하는지 농담처럼 물어본 적이 있습니다. 그 학생은 지극히 진지하게 "그렇게 하라고 들었기 때문"이라고 대답했습니다.) 
In this case, is it patient-centred to do what the patient asks? Patient-centred, therefore, to be doctor-centred? (In a not dissimilar vein, I once – slightly joking – asked a first year nursing student at a Medical School in Pakistan why she and her very capable classmates were so eager to think for themselves. “Because we were told to,” she responded, perfectly seriously).

우리는 자유에 대한 주요 철학적 연구 중 하나인 밀의 『자유론』을 통해 환자 중심의 수수께끼를 생각해 볼 수 있습니다.40 밀에 따르면 우리는 원하는 것을 할 자유가 있지만(나의 자유가 너의 자유를 침해해서는 안 된다는 일반적인 주의가 필요합니다), 우리 자신을 노예로 팔아넘길 자유, 즉 자유를 포기할 자유는 없다고 말합니다. 이 근거에 따르면 환자는 선택권을 포기할 수 없는 것처럼 보입니다. 하지만 저는 환자의 재량에 따라 신뢰가 자유보다 우선할 수 있다고 주장하고 싶습니다. 의사가 유능하고 인격이 좋다고 신뢰받는다면 '자유의 상실'은 덜 중요할 수 있습니다. 어쩌면 연약한 순간에 기꺼이 항복할 수 있는 가능성이 의료계의 권력을 다르게 만들 수도 있습니다. 항복, 즉 우리에게 전적으로 중요한 것에 대해서도 항복할 수 있습니다. 우리의 생명과 건강, 그리고 우리가 사랑하는 사람들의 생명과 건강. 
We might think of the patient-centred conundrum in terms of one of the key philosophical studies of liberty, Mill’s On Liberty.40 We are, Mill says, free to do what we want (with the usual caveat that my liberty must not infringe yours): but we are not free to sell ourselves into slavery – not at liberty, in other words, to yield up liberty. On this basis, it would seem the patient cannot choose to abrogate the right to choose. But I would argue that trust may trump liberty at the patient’s discretion. If the doctor is trusted to be competent, and of good character, then “loss of liberty” is less relevant. Perhaps in moments of frailty it is the possibility of willing surrender which makes power within medicine different. Surrender, that is, even about something which matters utterly to us. Our life, our health and the lives and health of those we love.

따라서 직장에서 중요한 것은 (위의 아리스토텔레스에 대한 의견 참조) 우리의 성격을 표현하는 언어의 사용입니다. 
In the workplace, then, it is (see comments on Aristotle above) the use of language to represent our character which matters.

결론
Conclusion

저는 언어와 사상의 역사에 대한 이해가 보건 교사와 학생의 수준을 적절히 관리할 수 있는 여러 가지 방법을 제안하려고 노력했습니다. 몇 가지 예를 들어 다음과 같이 제안하고 싶습니다: 
I have tried to suggest a number of ways in which an understanding of language, and of the history of ideas, can enrich teachers of healthcare and, appropriately managed for level, of students as well. I would suggest the following by way of examples:

  • 의료계 학생들은 '지식'에 대한 환원주의적 모델을 배웁니다(이는 좋은 점입니다). 그러나 학생들은 아이디어에 대한 토론과 탐구를 소중히 여기도록 배우지 않으며, 전체론적 의학에 초점을 맞추고 있음에도 불구하고 모호성커뮤니티 의미 창출을 소중히 여기도록 배우지 않습니다. 언어와 커뮤니케이션의 핵심적인 역할은 학생들이 자신의 가치관을 성찰해야 하는 상황(예: 자궁경부 도말 검사를 거부하는 환자와의 역할극)을 제공하는 것입니다. 그리고 '옳은 것'을 말할 때, 즉 마치 지식의 보고인 것처럼 행동할 때, 프레이레의 용어를 빌리자면, 이에 도전하고 학생들이 스스로 도전하도록 유도해야 합니다. 
    Healthcare students are taught a reductionist model of “knowledge” (this is a good thing). They are not, however, taught to value the discussion and exploration of ideas nor, despite the focus on holistic medicine, are they really taught to value ambiguity and the creation of community meaning. A central role of language and communication is to give students a context (a role-play with a patient refusing a cervical smear, eg) where they must reflect on their values. And when they say “the right thing” – when they act as if they were repositories of knowledge, in Freire’s terms, one must challenge them, and invite students to challenge themselves.
  • "의학 교육에서 '불확실성'을 가르치는 경우, 위험을 관리하고 설명하는 맥락에서 가르치는 경향이 있습니다. 이것 역시 좋은 일입니다. 그러나 개인 및 직업 생활에서 모호성의 사용 및 남용과 관련된 더 광범위한 문제가 있습니다. 가능하면 학생들이 예술을 공부하고 토론할 수 있도록 도와주세요. 커뮤니케이션 수업에서는 보다 일반적인 환자 복지, 의사와 환자의 관계 등에 대한 파급 효과로 인해 모호한 시나리오를 만듭니다. 시뮬레이션 연습(이상적)을 통해 또는 적어도 종이 사례로 특이한 사례 기록, 특이한 이야기를 발표하고 토론합니다. 생각, 생각만 하세요. 시뮬레이션 연습을 할 때는 행동 기준에 대해 가능한 한 적은 시간을 할애하세요. 피드백을 위한 질문의 계층 구조가 있는데, "무엇을 했습니까?"부터, 이 척도의 한쪽 끝에는 명시적으로 물어본 적은 없지만 항상 존재하는 질문이 있습니다: "의사가 된다는 것은 무엇인가요?" 
    “Uncertainty” in medical education, if it is taught at all, tends to be taught in the context of managing and explaining risk. This too is a good thing. However, there are wider issues, to do with the uses and abuses of ambiguity in our personal and professional lives. If at all possible, help students to study the arts, and to discuss. In communication classes, create scenarios which are ambiguous, perhaps because of the ramifications for more general patient welfare, the doctor’s relationship with the patient, and so on. Present and discuss unusual case histories, unusual narratives either through simulation exercises (the ideal), or at least as paper cases. Think, just think. Where simulation exercises are concerned, spend as little time as possible on behavioral criteria. There is a hierarchy of questions for feedback, 41 from “What did you do?” at one end of the scale to a question perhaps never explicitly asked, but always there: “What is it to be a doctor?”

상자 24.2 역할극 후 질문 유형의 계층 구조
Box 24.2 Hierarchy of question types after role play

1. 기술 설명하기: 눈을 마주쳤나요? 적절한 양이었나요? 어떻게 알 수 있는가?
2. 기술 정당화하기: 왜 그렇게 했나요? 다르게 했다면 어땠을까?
3. 기술 일반화하기: 예를 들어 공격성을 해소하는 방법과 같은 일반적인 원칙이 있나요? ("어떤 환자가 있었는데...")
1. Describing skills: Did you maintain eye contact? The right amount? How do you know?
2. Justifying skills: Why did you do it that way? What if you’d done it differently?
3. Generalizing skills: Are there general principles here, e.g. about how to defuse aggression? (“I had a patient who …”)

고차원적인 질문
Higher-order questions
4. 사람 평가하기: 환자는 어땠나요? 이런 유형의 환자나 이런 문제를 가진 환자에게 전형적인가요, 아니면 특이한가요?

5. 자기 평가하기: 당신은 어떤 사람인가요? 스트레스에 대한 반응, 나쁜 소식을 접했을 때... 기분이 어땠는지 등 경험을 통해 무엇을 알 수 있었나요?
6. 직업 평가하기: 이 시나리오에 비추어 볼 때 의사가 된다는 것은 어떤 의미인가요? 의사는 어떤 일을 하나요? 
4. Assessing people: What was the patient like? Is this typical or unusual for patients of this type, or with this problem?
5. Assessing self: What kind of person are you? What did the experience tell you about, e.g. your response to stress, breaking bad news … how did it make you feel?
6. Assessing the profession: In the light of this scenario, what does it mean to be a doctor? What kind of things do doctors do? 

  • 언어는 힘입니다. 학생들이 이것이 자신과 관련된 진리이며, 더 명확하게 표현할 수 있도록 지원받을 권리가 있다는 것을 인식하도록 도와주세요. 성찰은 언어를 통해 이루어집니다. 성찰을 통해 환자 치료가 개선된다는 것은 적어도 현재의 교육적 가정입니다. 의대생과 자격을 갖춘 의사에게 이러한 문제만을 논의하고 의사 소통 능력 또는 "공동체 관점"과 같은 아이디어를 소개하는 것은 불합리하지 않습니다. 
    Language is power. Help students to recognize this is a truth of relevance to them, that they have the right to be supported to become more articulate. Reflection happens through language. Patient care improves through reflection, or at the very least, this is the current educational presumption. It is not unreasonable to discuss just these issues with medical students, and qualified doctors, and to introduce them to such ideas as communicative competence, or the “community view.”
  • 위에서 소개한 가벼운 화법 이론에 학생과 의사의 주의를 환기시키는 것은 매우 강력한 효과를 발휘할 수 있습니다. 명제적 의미, 의도하는 바, 이해되는 방식을 구분하는 것은 이해하기 쉬우며, 동료나 환자가 불쾌감을 느꼈을 수 있는 이유 등에 대해 성찰할 수 있는 방법을 제공합니다. 그리고 대부분의 사람들은 의사도 "당신은 당뇨병이 있습니다"라고 말할 때뿐만 아니라 더 불확실한 명제에 대해 동일한 언어를 사용할 때 성직자ex cathedra처럼 말하는 것으로 간주될 수 있음을 알 수 있습니다: "당신은 약간 지쳤습니다..."
    Drawing the attention of students and doctors to the light touch version of Speech Act Theory I offer above can be very powerful. The distinction between propositional meaning, what one intends and how one is understood is easy to grasp, and offers a way of reflecting on, eg about why a colleague or patient might have been offended. And most people can see that doctors, too, may be seen as talking ex cathedra, not only when they say “you have diabetes,” but when they use the same language for more uncertain propositions: “You’re just a bit fed up…”

따라서 언어는 의학 및 의학 교육의 강력한 요소입니다. 교사와 코스 설계자로서 우리는 언어를 단순히 아이디어의 전달로만 보는 생각을 뛰어넘어야 합니다. 우리 자신의 언어 사용에 대한 성찰을 통해 우리는 다음을 인식할 수 있습니다.

  • 언어가 단어로 일을 처리한다는 점,
  • 단어의 의미가 사용되는 맥락에 따라 달라진다는 점,
  • 신중하고 정확한 언어 사용을 통해 복잡성을 정의할 수 있다는 점,
  • 이 모든 것에서 우리가 내리는 선택이 언어 사용에 힘을 실어줄지, 힘을 뺄지에 영향을 미친다는 점


Language is, then, a powerful element of medicine and medical education. As teachers and course designers, we should transcend the idea of seeing language as merely the communication of ideas. Through reflection on our own language use, we can become aware of the way

  • that language is doing things with words,
  • that the meaning of those words depend on the context in which they are used,
  • that through careful and precise language use we can do justice to complexity, and
  • that the choices we make in all of these have implications for whether our language use empowers or disempowers.

 


 

 

Teach Learn Med. 2021 Apr-May;33(2):210-216. doi: 10.1080/10401334.2021.1877712. Epub 2021 Feb 7.

 

 

Language, Philosophy, and Medical Education

Affiliations collapse

Affiliation

1College of Medical and Dental Sciences, University of Birmingham, Birmingham, UK.

PMID: 33554658

DOI: 10.1080/10401334.2021.1877712

Abstract

Issue: When medical schools began to recognize, a generation ago, that clinical "communication skills" could not be taken for granted among students, a process began of researching them, and introducing the results into curricula. This allowed for a discussion, for the first time, about how doctors should talk to patients, and manage interviews with them. However, there was a focus on a set of behavioral processes which were often unsophisticated with respect to the role of language in communication, or of language as a means of sustaining and describing ambiguity, or language as the primary impetus for educational reflection.

Evidence: This paper looks at literature from language studies, the philosophy of language and the philosophy of education to establish the point that, where natural languages are concerned, it is possible and useful to talk of the purposes for which language is used. It is also important to recognize that the meaning of a particular language use is to a substantial extent defined by context: and that languages are excellent vehicles for maintaining and describing ambiguity, where it is impossible to reduce a state of affairs to the well-defined conclusion of empirical research.

Implications: In the light of this understanding, there is a need for "communication," and particularly the methodologies through which it is taught, to reflect these points. Simulation exercises, designed to develop clinical communication, should be clear that there is no single correct way of "talking to patients," no set of behavioral processes which is always effective. It is, in the end, the awareness and wisdom of the doctor, selecting from among a range of available approaches, which is at stake. In addition, methodologies should account for the recognition that awareness comes only from reflection, and that helping medical students and doctors alike to reflect is central to good practice.

Keywords: Medical education; language; philosophy.

보건의료전문직교육에서 러닝 애널리틱스의 열 가지 위협: 소비자 관점(Med Teach, 2020)
Ten caveats of learning analytics in health professions education: A consumer’s perspective
Olle ten Catea , Suzan Dahdalb, Thomas Lambertc, Florian Neubauerd, Anina Plesse, Philippe Fabian Pohlmannf, Harold van Rijena and Corinne Gurtnerg 

 

  • 최근 JAMA는 의대생, 주니어 레지던트, 시니어 레지던트, 펠로우, 신경외과 의사로 나뉜 50명의 참가자가 각각 270개의 지표(총 300만 개 이상의 데이터 포인트)를 수집하여 250개의 모의 신경외과 수술을 연습한 후 머신러닝 알고리즘에 의해 90% 정확하게 분류되었다는 연구 결과를 발표했습니다. 저자들은 기존 시뮬레이션에는 숙련된 강사의 학습자 피드백이 필요하지만, 인공지능은 인간 평가자의 필요성을 줄여줄 수 있다고 제안합니다(Winkler-Schwartz 외. 2019).
  • 2016년에 Warm 등은 신시내티 내과(IM) 프로그램에서 36개월 이내에 수집한 189명의 레지던트에 대한 364,728건의 위탁 데이터를 사용하여 교수진, 동료 및 관련 의료 전문가의 평가 간의 체계적인 차이를 보여주는 발달 및 추세에 대한 명확한 그래픽을 만들었습니다(Warm 등, 2016).
  • 또 다른 신시내티 연구에 따르면 IM 레지던트의 USMLE 2단계 임상 지식 점수가 1점 상승할 때마다 미국 내과학회 인증에 합격할 확률이 6.9%씩 증가했습니다(Sharma 외. 2019).
  • 또 다른 신시내티 연구에서는 1511명의 환자 전자 기록을 통해 인턴이 환자의 주치의인지 아닌지를 매우 정확하게 예측할 수 있음을 보여주었습니다(Schumacher 외. 2019).
  • Saqr 등은 133명의 학생을 대상으로 추적한 초기 온라인 활동을 기반으로 학생의 최종 성적을 63.5%의 정확도로 예측하고 위험에 처한 학생을 어느 정도 예측했습니다(Saqr 등. 2017). 

Recently, JAMA published a study showing how 50 participants, divided in medical students, junior residents, senior residents, fellows, and neurosurgeons, were 90% correctly classified by a machine learning algorithm after all had exercised 250 simulated neurosurgical operations, each collecting 270 metrics (totaling over 3 million data points). The authors suggest that, while traditional simulation requires learner feedback by skilled instructors, artificial intelligence may decrease the need for human evaluators (Winkler-Schwartz et al. 2019). In 2016, Warm et al. used 364,728 entrustment data of 189 residents in the Cincinnati Internal Medicine (IM) program, collected within 36 months, and created clear graphics of development and trends showing systematic differences between faculty, peers and allied health professionals’ assessments (Warm et al. 2016). Another Cincinnati study showed that for every point increase in USMLE Step 2 Clinical Knowledge scores of IM residents, the odds of passing the American Board of Internal Medicine certification increased by 6.9% (Sharma et al. 2019). Still another Cincinnati study showed how 1511 patients’ electronic records enabled predicting with great accuracy whether or not an intern was the primary caregiver of the patient (Schumacher et al. 2019). Saqr et al. predicted student’s final grades with 63.5% accuracy and predicted at risk students to some degree based on their earlier online activity traced among 133 students (Saqr et al. 2017).

이러한 학습 분석(LA) 사례는 학습자 및 전문가에 대해 수집된 빅 데이터가 보건 전문직 교육자 및 다른 사람들에게 학습자와 학습자의 진행 상황에 대해 알려주는 역할을 하는 방법을 보여줍니다(Chan 외. 2018). 학습 분석은 개발 초기 단계에 있으며 교육 및 개별 학생에게 많은 이점을 제공할 수 있습니다. 이점은 분명하지만 LA를 사용할 때 몇 가지 단점도 있을 수 있습니다. 우리는 이러한 몇 가지 주의 사항을 파악하려고 시도했습니다.
These examples of learning analytics (LA) show how big data collected on learners and professionals serve to inform health professions educators and others about learners and their progress (Chan et al. 2018). Learning analytics is in an early phase of development and may bring many advantages to education and individual students. While benefits may be undisputed, there may also be some downsides of the use of LA. We attempted to identify some of these caveats.

연구 배경, 설정 및 방법
Background, setting, and methods

2019년 7월, 스위스 베른 대학교의 의학교육 석사 과정에 재학 중인 22명의 교육자 그룹이 네덜란드 위트레흐트 대학 메디컬 센터에 모여 보건 전문직 교육에 대한 관심 주제를 논의하기 위해 여름 수련회에 모였습니다. 이 자리에는 전문의, 일차 의료 과학자, 수의 병리학자, 마취과 교육자, 레지던트 2명, 선임 교육 학자 3명이 참석했습니다. 관심 주제 중 하나는 LA였습니다. 모든 참가자가 토론에 참여했으며, 3개 그룹과 전체 토론을 번갈아 가며 진행했습니다. 토론이 풍부하게 진행되었기 때문에 그 결과를 기사로 정리하기로 결정했으며, LA를 사용하고 조정하는 교육자의 관점, 즉 '소비자 관점'에서 바라본 LA의 주의 사항에 중점을 두었습니다. 
In July 2019, a group of 22 educators, predominantly participants of the Master of Medical Education Course of the University of Bern, Switzerland, convened for a summer retreat at University Medical Center Utrecht, The Netherlands, to discuss topics of interest for health professions education. The participants included medical specialists, a primary health care scientist, a veterinary pathologist, a nurse anesthetist educator, two residents, and three senior educational scholars. One of the topics of interest was LA. All participants engaged in its discussion, which alternated between groups of three and plenary discussions. The richness of the discussion led to the decision to consolidate its results in an article, with a focus on caveats of LA, as viewed from the perspective of an educator using and adjusting, but not developing LA, i.e. a ‘consumers’ perspective’.

토론은 세 가지 질문을 중심으로 진행되었습니다:

  • 학습 분석이란 무엇인가?
  • 학습 분석의 목적은 무엇인가?
  • 그리고 학습 분석의 잠재적 위험은 무엇인가?

The discussion evolved around three questions:

  • What is learning analytics?
  • What are its purposes? and
  • What are potential risks of learning analytics?

그룹은 문헌('학습과 학습이 이루어지는 환경을 이해하고 최적화하기 위한 목적으로 학습자와 그 맥락에 대한 데이터를 측정, 수집, 분석 및 보고하는 것')을 반영하는 정의에 도달했습니다(Siemens 2012). 그러나 학습자, 측정, 데이터, 분석이라는 필수 개념 외에도 학습자의 진도, 학습 과정 정보, (학습에 소요된 시간과 같은) 행동적 측면이 정의에 포함되어야 한다는 의견도 있었습니다.
The group arrived at definition features that reflect the literature (‘The measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs’) (Siemens 2012). However, the group also felt that, in addition to necessary concepts of learners, measurement, data and analysis, the definition should include learner progresslearning process information, and behavioral aspects, such as time spent on learning.

학습을 이해하고 최적화하는 것 외에도 그룹은 LA가 교육과 교육, 연구 개발을 최적화해야 한다는 데 동의했습니다. 또한, 보건 전문직 교육에서 LA는 학습을 최적화할 뿐만 아니라 궁극적으로 임상의료행위를 최적화해야 합니다.
As a purpose, besides understanding and optimizing learning, the group agreed that LA should optimize teaching and education, and its research and development. Furthermore, LA in health professions education should not only optimize learning but eventually optimize clinical practice.

마지막으로, LA를 사용할 때 의도하지 않은 부작용이나 잠재적 위험과 같은 주의 사항에 대해 중점적으로 논의했습니다. 데이터는 쉽게 수집할 수 있지만, 어려운 부분은 교육 정책에 대한 해석과 번역입니다. Gašević 등이 주장하듯이, LA 도구가 효과적이려면 인간 행동에 대한 강력한 이론적 모델을 기반으로 해야 합니다(Gašević 외. 2015).
Finally, the core discussion focused on caveats, i.e. unintended adverse consequences or potential risks of using LA. Data are easily collected; the hard part is interpretation and translations to educational policy. As Gašević et al. contend, LA tools should be based on robust theoretical models of human behavior to be effective (Gašević et al. 2015).

이러한 주의 사항은 토론 중에 플립 차트에 나열되었고, 회의가 끝난 후 필사되고 정교화되어 참가자들에게 피드백되었습니다. 회의 후 몇 주 내에 두 번째와 세 번째 라운드에서 의견과 추가 사항이 제공되었고, 그 결과 그룹이 공유할 가치가 있다고 판단한 일련의 주의 사항이 도출되었습니다. 다음으로, 전체 논문의 공동 저자로 자원한 모든 사람에게 확인된 주의 사항 중 두 가지 이상을 입증하는 과제를 부여했습니다. 이를 주 저자가 편집하여 10가지 주의 사항으로 통합했습니다. 
These caveats were listed on flip-charts during the discussion, transcribed, elaborated, and fed back to the participants after the meeting. In a subsequent second and a third round within weeks after the meeting, comments and additions were provided, resulting in a series of caveats the group found worthy of sharing. Next, all who volunteered to be co-authors on the full paper were tasked to substantiate two or more of the caveats identified. These were edited and consolidated in 10 caveats by the primary author.

소비자 관점에서의 학습 분석의 주의 사항
Caveats of learning analytics from a consumer’s perspective

표준화된 학습으로 인한 자율성 저하
Decreased autonomy through standardized learning

대량의 데이터를 수집하고 개별화된 학습 추천을 제공함으로써 개별 학습을 촉진하는 도구로 설계된 LA는 [최적의 학습이 무엇인지에 대한 인사이트]를 제공할 수 있습니다. 그러나 이러한 인사이트는 학습자 사이에서 그 이상을 충족해야 한다는 압박감을 유발할 수 있으며, 이는 스트레스를 유발하고 대안적인 학습 경로를 없애버릴 수 있습니다(Gašević 외. 2015).

  • 한 가지 예로 e-포트폴리오를 들 수 있는데, e-포트폴리오는 학습자가 전자 데이터 관리 시스템에 입력한 데이터를 기반으로 교사로부터 개별화된 피드백을 받을 수 있는 기회를 제공합니다(van der Schaaf 외. 2017).
    • 반면에 학습자는 동료와 비교되고 순위가 매겨지는 것에 대한 두려움 때문에 일정량의 데이터 포인트를 입력해야 한다는 압박감을 느낄 수 있습니다.
    • 결과적으로 학습자는 지금까지 자신에게 효과적인 것으로 입증된 학습 스타일이라 할지라도 다른 사람들의 학습 방식을 반영하지 않는다는 이유만으로 학습 스타일을 변경할 수 있습니다.
    • 결과적으로 스스로 선택한 자율성 감소는 LA의 의도하지 않은 부작용으로 간주될 수 있습니다(Buckley 외. 2009; van der Schaaf 외. 2017).
  • 또 다른 예로 AMBOSS 또는 의료 지식 자가 평가 프로그램과 같은 상용 플랫폼은 과거 시험의 MCQ 질문에 대한 답을 기반으로 특정 주제 학습에 대한 개별화된 권장 사항을 제공합니다(Bientzle 외. 2019).
    • 이러한 간결하고 전문적인 권장 사항은 학습자가 더 큰 그림과 학습에 대한 주인의식을 잃을 위험을 수반합니다.
    • 학습의 자율성이 감소하면 동기 부여와 학업 성취도에 부정적인 영향을 미칠 수 있습니다(Artino 외. 2010; Kusurkar 외. 2011). 

Designed as a tool to facilitate individual learning by collecting large amounts of data and providing individualized learning recommendations, LA may give insight into what optimal learning is. However, this insight may give rise to pressure among learners to meet that ideal, which can cause stress and could obliterate alternative learning paths (Gašević et al. 2015).

  • One example is that of e-portfolios: they provide an opportunity for learners to receive individualized feedback by teachers based on data entered into the electronic data management system (van der Schaaf et al. 2017).
    • On the other hand, learners could feel pressured to fill in a certain amount of data points for fear of being compared to peers and ranked.
    • Consequently, they might change their learning style, even if it has proven to be effective for them so far, just because it does not reflect how (most) others learn.
    • The resulting self-chosen decrease of autonomy can be considered an unintended side effect of LA (Buckley et al. 2009; van der Schaaf et al. 2017).
  • Another example is the commercial platforms such as AMBOSS (for students; https://www.amboss.com/us) or the Medical Knowledge Self-Assessment Program (for clinicians; https://mksap18.acponline.org) offer individualized recommendations to learning specific topics based on answers to MCQ questions from past exams (Bientzle et al. 2019).
    • These concise, specialized recommendations entail the risk that learners lose sight of the bigger picture and their sense of ownership of learning.
    • A decrease in autonomy of learning may have adverse effects on motivation and academic performance (Artino et al. 2010; Kusurkar et al. 2011).

학습 자원의 다양성 감소
A decrease in the variety of learning resources

학습 리소스는 계속 증가하고 있고 학생들은 과거보다 훨씬 더 다양한 리소스 중에서 자신의 선호도에 맞게 선택할 수 있지만, LA는 학생들을 가장 효율적이거나 효과적인 리소스로 강하게 유도할 수 있습니다. 주의할 점은 그룹 전체(또는 '평균' 학생)에 대한 '가장 효율적이거나 효과적인'은 스타일과 선호도의 개인차를 숨길 수 있다는 것입니다(Newble and Clarke 1986; Newble and Entwistle 1986). 평가의 요구 사항을 충족하기 위해 학생들은 종종 전략적 학습 접근 방식을 찾습니다(Taylor와 Hamdy 2013). 시스템을 게임하기 위해 학생들은 '검증된' 효과가 있는 리소스를 빠르게 찾고 교환하여 학습 리소스의 폭을 좁히고 다양성을 떨어뜨릴 수 있습니다. LA의 매혹적인 '입증의 힘'은 비주류 학습 접근 방식이 더 나은 개별 학생들을 오도할 수 있습니다.  
While resources for learning keep increasing and students can choose from a much larger variety to match their preferences than in the past, LA may strongly direct students toward the most efficient or effective sources. A caveat is that ‘the most efficient or effective’ for the group as a whole (or the ‘average’ student) may conceal individual differences in style and preference (Newble and Clarke 1986; Newble and Entwistle 1986). To meet the demands of their assessment students often seek strategic learning approaches (Taylor and Hamdy 2013). To game the system students may quickly seek and exchange resources with a ‘proven’ effect, thus narrowing down the breadth of learning resources and impoverishing its variety. The seductive ‘power of proof’ from LA can mislead individual students who would be better served with a non-mainstream approach to learning.

의도하지 않은 효율성 결과
Unintended efficiency consequences

LA가 가장 효과적이고 효율적인 학습 행동을 정의하면 규제 당국은 평균보다 짧은 학습 궤적을 반영하여 이 행동을 표준으로 간주하고 싶은 유혹을 받을 수 있습니다. 결국 교육(및 학습)에 할당된 시간과 비용이 감소하는 방향으로 나아갈 수 있습니다. 의학교육은 개인뿐만 아니라 지역사회를 위해서도 길고 비용이 많이 들기 때문에 효율성이 높아지고 기간이 단축되면 환영받을 것입니다. 거의 모든 분야에서 데이터 분석을 통해 효율성을 높일 수 있습니다. 문제는 학습 속도가 실제로 빨라질 수 있는가 하는 것입니다(10 Cate 외. 2018). 효율성을 높이고 평균적인 학생과 일치하거나 능가해야 한다는 압박은 스트레스를 유발하고 학생들 간의 경쟁을 심화시킬 수 있습니다. 이미 위태로운 상황에 처해 있는 학생의 웰빙이 더 이상 위태로워져서는 안 됩니다(Mata 외. 2015; Rotenstein 외. 2016). 의료 서비스 개선을 위한 '4중 목표' 중 하나인 '의료 전문가의 웰빙' 역시 학생을 고려해야 합니다. 
Once LA has defined the most effective and efficient learning behavior, regulators may be tempted to regard this behavior as the norm, reflecting a shorter than average learning trajectory. There may eventually be a push toward a decrease in time and money allotted to education (and thus to learning). Medical education is long and expensive, for the individual as well as for the community, so any increase in efficiency and decrease in length will be welcomed. Data analytics in almost any branch drive to increase efficiency. The question is whether learning can really be sped up (ten Cate et al. 2018). Pressure on students to increase efficiency, and to match or exceed the average student, can cause stress, and increased competition among students. Student wellbeing, already at stake (Mata et al. 2015; Rotenstein et al. 2016), should not be further jeopardized. Wellbeing of health professionals, one of the ‘quadruple aims’ for improvement of health care (Bodenheimer and Sinsky 2014), should also regard students.

교사의 시간 투입 증가
Increased time commitment from teachers

LA는 방대한 양의 데이터를 수집해야 하므로 많은 수의 평가가 필요합니다. 현재 역량 기반 의학교육(CBME) 프로그램에서는 교육생 역량을 평가하고 커리큘럼 내에서 교육생 진도에 대한 결정을 내리기 위해 이미 많은 정성적, 정량적 데이터가 생산되고 있습니다. 그러나 LA에서는 더 많은 수의 데이터 포인트가 필요하기 때문에 평가의 목적이 [학습자와 교사를 위한 직접적인 혜택]에서, 데이터베이스에 제공하기 위해 데이터를 축적하는 보다 [관리적인 목표]로 바뀔 수 있습니다(Chan et al. 2018). 이러한 데이터 수집 과정은 교사에게 부담을 줄 수 있습니다. 데이터를 생성하는 것 자체가 하나의 작업이 되어 수업에서 시간과 에너지 자원을 빼앗고 평가 피로를 유발할 수 있습니다(Barrett 외. 2018). LA의 장기적인 이점이 존재할 수 있지만, 자신의 가르침에 대한 즉각적인 가시적 가치가 부족하면 좌절감과 열정을 잃을 수 있으며 실제로 학생에 대한 피드백의 질을 저해할 수 있습니다. 교사의 의사 결정에 도움이 되려면 데이터가 이해하기 쉬워야 하며, 단순한 양만으로는 이러한 목적에 부합하지 않을 수 있습니다(Chan 외. 2018). 
LA requires massive amounts of data to be collected, thus making a large number of evaluations necessary. In the current competency-based medical education (CBME) programs much qualitative and quantitative data is already being produced in order to assess trainee competencies and to make decisions about their progression within the curriculum. As LA requires an increased number of data points; however, the purpose of evaluations may shift from a direct benefit for the learner and teacher toward the more managerial goal of amassing data in order to feed a database (Chan et al. 2018). The process of this data collection may burden teachers. Creating the data becomes a task in itself, which can take time and energy resources away from teaching and may lead to evaluation fatigue (Barrett et al. 2018). Although long-term benefits of LA may be present, the lack of an immediate visible value for one’s own teaching could lead to frustration and loss of enthusiasm and actually impede the quality of feedback to students. To serve decision making by teachers, the data need to be comprehensible; the mere volume of it may not serve that purpose (Chan et al. 2018).

학습자의 진도를 평가할 수 있는 '유효한' 정보 소스의 감소
A decrease of ‘valid’ information sources to assess learner progress

역설적이게도, LA는 가급적이면 많은 주제에 걸쳐 많은 소스의 빅 데이터를 사용하지만, 분석이 다른 소스를 희생하면서 학습 결과를 가장 잘 예측하는 소스를 최적화하려고 시도할 수 있기 때문에, 학습자 평가가 이러한 데이터 소스 중 더 많은 것에 초점을 맞추기보다는 더 적은 것에 집중할 위험이 있을 수 있습니다. Winkler-Schwarz 등이 측정한 270개의 지표 중 머신러닝 알고리즘은 6~9개를 선택하여 성과 평가에 포함시켰습니다(Winkler-Schwarz 외. 2019). 그러나 근거 기반 환자 관리 프로토콜이 모든 개별 환자에게 최적이 아닌 것처럼, 그룹을 기반으로 한 추론이 모든 개인에게 항상 최적은 아닐 수 있습니다. 
Paradoxically, while LA uses big data, preferably from many sources across large numbers of subjects, there may be a risk that learner assessment will focus on less rather than more of these data sources, because the analysis may attempt to optimize the sources that predict outcomes of learning best, at the cost of other sources. Of the 270 metrics measured by Winkler-Schwarz et al., machine learning algorithms chose 6 to 9 to include in performance evaluation (Winkler-Schwartz et al. 2019). However, inferences based on groups may not always be optimal for all individuals, just like evidence-based patient management protocols may not be optimal for all individuals patients.

임상 현장에서 학습자의 행동을 문서화하는 e-포트폴리오는 데이터 포인트가 많기 때문에 학습자에 대한 정확한 그림을 제안할 수 있다고 생각할 수 있지만, 이러한 데이터 중 일부는 정확하지 않을 수 있습니다. '가비지 인 가비지 아웃'은 너무 냉소적인 시각일 수 있지만, 집계된 포트폴리오 데이터에서 도출된 결론의 정확성이 잘못될 수 있다는 점을 인지해야 합니다. 집계된 포트폴리오 데이터가 항상 잘 해석되는 것은 아니며(Oudkerk Pool 외. 2018), 데이터 자체의 타당성이 부족할 수도 있습니다. 학생이 관찰 순간과 관찰자를 선택할 수 있고, 평가하는 임상 스태프가 부주의하거나 성급하거나 기분과 성격에 과도하게 영향을 받거나 인지적으로 과부하가 걸린 경우 항목이 선택적으로 작성되었을 수 있습니다(Paravattil and Wilby 2019). 훌륭한 임상 책임자는 포트폴리오 정보를 평가하는 직원들 사이에서 '비둘기와 매파'를 알고 있으며, 모든 정보를 똑같이 타당한 것으로 받아들이지 않고 해석해야 합니다. 포트폴리오 데이터를 신중하게 검토하지 않으면 이러한 수정이 이루어지지 않을 수 있습니다.  
E-Portfolios that document learner behavior in the clinical workplace may suggest building an accurate picture of the learner, because of the large number of data points, but some of these data may not be accurate. ‘Garbage-in-garbage-out’ maybe a too cynical view, but we should be aware of the possibility of false accuracy of conclusions drawn from aggregated portfolio data. While aggregated portfolio data are not always well interpreted (Oudkerk Pool et al. 2018), the data itself may lack validity. Entries may have been selective if the student can choose observation moments and observers, and if clinical staff who rate are careless, hasty, unduly affected by mood and personality or cognitively overloaded (Paravattil and Wilby 2019). A good clerkship director knows the ‘doves and hawks’ among the staff who assess and should interpret portfolio information, rather than accept all information as equally valid. Without carefully weighing portfolio data, such corrections may not happen.

학습 분석이 최종 임상 성과와 맞지 않을 수 있음
Learning analytics may misalign with eventual clinical performance

'도구가 망치라면 모든 것이 못처럼 보인다'는 매슬로우의 옛 속담은 LA의 경우 어느 정도는 사실일 수 있습니다. 수집하기 쉬운 온라인 행동 및 필기 시험 점수와 같은 학습 분석 데이터는 교육의 궁극적인 목적인 전문 환경에서의 성과를 제대로 반영하지 못할 수 있습니다. LA는 교육 프로그램에서 학습을 최적화하는 데 중점을 둡니다. 이러한 학습이 필기시험을 가장 바람직한 결과 척도로 삼는 강의실 학습으로 정의되면 임상 성과 예측 변수를 놓칠 수 있습니다. 최적의 학습자가 최적의 의료인이 아닐 수도 있습니다.

  • 밀러 피라미드의 하위 수준('알고 있음' 및 '알고 있음') 데이터(Miller 1990)는 많은 교수진 데이터베이스에서 쉽게 구할 수 있지만 임상 성과를 잘 반영하지는 못합니다.
  • 마찬가지로, 교육 연속체의 다른 쪽 끝에서는 전문 위원회가 개발한 필기 시험을 기반으로 한 인증 유지가 실제 진료 품질 유지에 대한 유용성이 낮고(Weinberger 2019),
  • 평생 의학 교육 과정의 효과에 대한 지식이 대부분 Kirkpatrick 평가 계층 구조의 가장 낮은 수준의 데이터로 제한되어 있다는 비판을 받고 있습니다(Tian et al. 2007).

학습자, 의사 및 교육자에게 피드백을 제공하기 위해 이러한 '망치와 못'을 사용하면 적절한 데이터가 수집되지 않아 임상 실습의 중요한 구성 요소에 집중하지 못할 수 있습니다. 임상 성과에 진정으로 초점을 맞춘 더 많은 더 나은 지표가 필요합니다. LA를 가장 중요한 의료 관련 교육 성과에 맞추는 것은 아직 초기 단계에 있습니다(Bakharia 외. 2016).

Maslow’s old saying ‘if your tool is a hammer, everything looks like a nail’ might hold true, to a certain extent, for LA. Learning analytics data such as online behavior and scores on written tests, which are easy to collect, may poorly reflect the ultimate purpose of training: performance in a professional environment. LA is focused on optimizing learning in educational programs. If such learning is defined as classroom learning with written examinations as the most desirable outcome measure, predictors of clinical performance may be missed. The optimal learner may not be the optimal medical practitioner.

  • Data at lower levels of Miller’s Pyramid (‘Knows’ and ‘Knows how’) (Miller 1990) are readily available in many faculty databases but do not reflect clinical performance very well.
  • Likewise, at the other end of the educational continuum, maintenance of certification based on written exams developed by specialty boards has been criticized because of their low usefulness for the actual maintenance of practice quality (Weinberger 2019) and
  • knowledge about the effectiveness of continuing medical education courses is mostly limited to data from the lowest levels of the Kirkpatrick evaluation hierarchy (Tian et al. 2007).

Using these ‘hammers and nails’ for feedback to learners, physicians and educators may distract from important components of clinical practice, simply because appropriate data is not collected. There is a need for more and better metrics that truly focus on clinical performance. Aligning LA with the most important, health care related outcomes of education is still in its infancy (Bakharia et al. 2016).

LA가 개인 정보 및 데이터 보호에 미치는 영향
Impact of LA on privacy and data protection

학습 행동에 대한 권장 사항을 최적화하고 성공을 예측하기 위해 LA는 학습자에 대한 데이터를 가능한 한 많이 수집해야 합니다. 여기에는 학습이 이루어지는 장소와 시간, 휴식 시간 및 횟수, 온라인 키보드 동작, 심지어 생리적 매개변수와 같은 매우 개인적인 측정값이 포함될 수 있습니다. 복강경 수술 중 시선추적은 이제 수술 기술을 평가하는 데 사용되었습니다(구나와데레나 외. 2011). 얼굴 인식과 인간 활동 인식은 다양한 센서와 다양한 이유로 인간 행동에 대한 지극히 개인적인 데이터를 식별하는 데 사용될 수 있습니다(Kabassi and Alepis 2019; Lu et al. 2017; Ravi et al. 2017). 이러한 데이터의 존재만으로도 의도하지 않은 목적으로 데이터를 사용하려는 관심을 불러일으킬 수 있습니다. 학습자의 개인 정보를 보호하려면 LA 데이터 수집, 저장, 사용 및 삭제의 한계를 결정하는 규칙이 필요합니다. 데이터의 소유권과 주권 및 데이터 사용은 중요한 문제이며 반드시 해결해야 할 문제입니다.

  • 어떤 데이터를 언제, 어떤 의도로 분석할지 결정할 수 있는 사람 또는 이사회는 누구입니까?
  • 동의를 받은 후 데이터의 사용 목적을 조정할 수 있나요?
  • 동의는 정기적으로 갱신해야 하나요?
  • 데이터 수집이 코스 등록의 조건이 될 수 있나요, 아니면 학습자가 동의를 거부할 수 있으며, 그럴 경우 어떤 결과가 발생하나요?

이러한 질문을 명확히 하지 않으면 데이터 오용과 원치 않는 새로운 권력 관계의 발생에 대한 두려움이 남아 있습니다. 이러한 규정에서 학생이 발언권을 갖는 것은 적절해 보입니다(West 외. 2020). 
To optimize recommendations about learning behavior and to predict success, LA must collect as much data about learners as possible. This may include very personal measures, like place and time of the day when learning occurs, duration and number of breaks taken, online keyboard behavior, possibly even physiological parameters. Eye tracking during laparoscopic surgery has now been used to assess surgical skills (Gunawardena et al. 2011). Face recognition and Human Activity Recognition can be used to identify extremely personal data of human behavior through various sensors and for various reasons (Kabassi and Alepis 2019; Lu et al. 2017; Ravi et al. 2017). The mere existence of such data may evoke interest to use them for unintended purposes. Rules determining the limits of LA data collection, storage, use, and deletion are needed to protect the privacy of learners. Ownership and sovereignty of data and its use are crucial issues and need to be addressed.

  • Which person or board can decide which data will be analyzed when and with which intention?
  • Can the intended use of data be adjusted after consent was given?
  • Must consent be renewed on a regular basis?
  • Can data collection be a condition for course enrolment or can learners refuse to give consent and what consequences will that have?

Without clarification of these questions, a fear of data misuse and the development of new but possibly unwanted power relationships remains. It seems pertinent that students have a say in these regulations (West et al. 2020).

문서화된 실패의 불가피성
The inescapability of documented failures

모든 학생은 오류와 실수를 통해 학습하고 숙련된 교사의 건설적인 구두 피드백을 통해 교정받을 자격이 있지만, 작업장 기반 평가 및 피드백에서 전자 문서화가 증가하면 시도, 작은 실수 및 오류에 과도한 가중치를 부여할 수 있습니다. 많은 학생이 문서화된 피드백이 의도한 것보다 더 총괄적이라고 느낍니다(Bok 외. 2013; Heeneman 외. 2015). 모든 행동을 문서화하면 관찰된 모든 실패가 정보 클라우드에 영원히 남는다는 단점이 있기 때문에 이를 비난할 수는 없습니다. 과거의 실수가 미래의 학생에게 불리하게 작용할 수 있다는 단순한 생각은 사실 여부와 상관없이 학생들의 개방성과 학습의 즐거움에 해로운 영향을 미칠 수 있습니다(Dyer and Cohen 2018). 고등 교육을 위한 '온라인 자기 보호'에 관한 최근 보고서에서 Bond와 Phippen은 많은 관할권의 검색 엔진과 마찬가지로 '잊혀질 권리'에 관한 규칙을 권고합니다(Bond and Phippen 2019). 이는 특히 학생 포트폴리오에 대한 대규모 데이터 수집과 프로그램 평가의 진행 상황 모니터링(Van Der Vleuten 외. 2015)이 주를 이루는 경우와 관련이 있습니다. 새로운 출발을 위해 학생의 기록을 '정리'하는 옵션은 성공적인 교정 후 조치에 포함될 수 있습니다. 
While all students learn through errors and mistakes and deserve to be corrected with constructive oral feedback by skilled teachers, the increased electronic documentation in workplace-based assessment and feedback may give undue weight to attempts, small mistakes, and errors. Many students feel documented feedback to be more summative than was intended (Bok et al. 2013; Heeneman et al. 2015). They cannot be blamed for that, as the flipside of documenting all of the behavior is that all of their observed failures will remain forever in the information cloud. The mere idea that mistakes in the past can be held against students in the future, true or not, can have detrimental effects on their openness and their fun of learning (Dyer and Cohen 2018). In a recent report on ‘online self-guarding’ for higher education, Bond and Phippen recommend a rule concerning the ‘right to be forgotten’ (Bond and Phippen 2019) as is the case for search engines in many jurisdictions. This is particularly relevant when massive data collection for student portfolios and monitoring of progress in programmatic assessment (Van Der Vleuten et al. 2015) becomes dominant. The option to ‘clean’ a student’s record in order to grant a new start may be incorporated in measures after successful remediation.

LA의 호손 및 시간 지연 효과
Hawthorne and time-lag effects of LA

교육과 같은 복잡한 적응 시스템에서는 학습자에게 피드백되는 LA 측정 정보가 학습자의 행동을 변화시킬 수 있습니다. 따라서 개인이 관찰되고 있다는 인식에 반응하여 행동을 수정할 때 심리학 연구에서 호손 효과와 유사하게 LA 추론의 예측력이 감소할 수 있습니다. 호손 효과는 임상 과제를 직접 관찰하는 맥락에서 논의되어 왔지만(Kogan 외. 2017; Paradis and Sutkin 2017), 종단적 행동 기록에 대한 학습자의 반응은 덜 명확합니다. 그러나 기록된 온라인 행동에 따라 '성취도 미달' 또는 '위험군'(Saqr 외. 2017)으로 분류된 학생이 튜터로부터 깜짝 전화를 받은 후 온라인 행동이 어떻게 변화하여 참여와 적절한 자기 조절을 모방하게 되는지 상상하기란 어렵지 않습니다. 그들의 '온라인 이미지'는 더 이상 타당하지 않을 수 있습니다.
In a complex adaptive system such as education, the information from LA measurement fed back to learners may change their behavior. Consequently, the predictive power of LA inferences may decrease, comparable to the Hawthorne effect in psychological studies, when individuals modify behavior in response to awareness of being observed. While Hawthorne effects have been discussed in the context of direct observations of clinical tasks (Kogan et al. 2017; Paradis and Sutkin 2017), the reaction of learners to longitudinal behavior recordings is less clear. However, it is not hard to imagine how students flagged as ‘under-achievers’ or ‘at risk’ (Saqr et al. 2017) based on their documented online behavior and receiving surprise calls from a tutor, change their online behavior to mimic engagement and appropriate self-regulation. Their ‘online image’ may no longer be valid.

마찬가지로, 참조 데이터의 출처가 되는 학습 집단과 조사 대상 집단이 크게 다를 경우 LA의 예측값은 실패할 수 있습니다. 빠르게 부상하는 기술 기반 인터넷 사회(Wartman 2019), 의료 서비스의 빠른 진화, 학습 행동에 대한 새로운 습관의 출현으로 인해 이러한 시차로 인해 개별화된 학습에 대한 LA 기반 표준이 무효화될 수 있습니다. 
Similarly, the predictive value of LA could fail if the training cohort from which the reference data originate and the investigated cohort deviate significantly. Due to a rapidly emerging technology-based internet society (Wartman 2019), a fast evolution of health care, and due to the emergence of new habits in learning behavior, this time-lag might render any LA-based standards for individualized learning invalid.

LA의 점진적인 목적 변화
A gradual shift of the purpose of LA

한 가지 목적을 위해 개발된 도구는 점차 의도하지 않은 목적으로 사용될 수 있습니다. [학습자에게 피드백을 제공하기 위한 모니터링 도구나 프로그램 개선을 위한 평가 데이터]는 [데이터와 분석이 설계되지 않은 목적]으로 개인이나 프로그램의 인증, 품질 비교 또는 순위를 매기는 데 사용될 위험이 있습니다. 특히 순위매기기ranking는 방법론적 또는 이데올로기적 오류와 불공정성의 위험을 수반합니다(Powell and Steelman 2006). 문헌에는 오용 사례가 풍부하며(Cousins 2004), 데이터 누락은 심각한 결과를 초래할 수 있습니다(Chan et al. 2018; McConnell et al. 2016). 직장 기반 평가를 위해 고안된 도구가 면허 인증 획득을 위해 의무화되는 것은 상상할 수 없는 일이 아닙니다. 이러한 사용은 '학습을 위한 평가'의 초기 목적이 아니었습니다(Rogausch 외. 2012). 교육자, 교육 기관 및 인증 기관은 오용을 방지하기 위해 LA 도구와 데이터를 올바르게 사용해야 할 책임이 있습니다.
Tools developed for one purpose may gradually shift to being used for purposes that were not intended. Monitoring instruments to provide feedback to learners, or evaluation data to improve programs run the risk of becoming used for accreditation, quality comparisons or ranking of individuals or programs, purposes for which the data and analysis were not designed. Rankings, in particular, carry the risk of methodological or ideological errors and unfairness (Powell and Steelman 2006). There are abundant examples of misuse in the literature (Cousins 2004) and missing data might have severe ramifications (Chan et al. 2018; McConnell et al. 2016). It is not unthinkable that tools designed for workplace-based assessment will become mandatory to obtain license certification. Such use was not the initial purpose of ‘assessments for learning’ (Rogausch et al. 2012). Educators, educational institutions, and accrediting bodies bear a high responsibility for the correct use of LA instruments and data to avoid misuse.

토론
Discussion

커리큘럼을 개선하고 학생의 역량을 강화하기 위한 목적으로 LA를 사용하는 것은 칭찬할 만한 일이며 다른 곳에서도 많은 미덕이 강조되었습니다(Chan et al. 2018). 기술 발전에는 그 자체의 역학 관계가 있으며 이러한 발전에 의문을 제기하는 것은 의미가 없습니다. 문제는 이러한 기술과 데이터를 사용해야 하는지 여부가 아니라, 의미 있는 학습을 위해 이러한 사용을 최적화하고 학습자, 교육자 및 관리자의 요구를 충족하고 동시에 권리를 보호하는 방법입니다. 위트레흐트 회의에 모인 교육자들은 몇 가지 우려 사항을 더 많은 청중과 공유할 가치가 있다고 생각했습니다. 
The use of LA for the purpose of improving curricula and empowering students is a laudable cause and many virtues have been highlighted elsewhere (Chan et al. 2018). Technology advancements have their own dynamics and there is no sense in questioning these advancements. The question is not whether we should use such technology and data, but how to optimize this use for meaningful learning and fulfill the needs and protect the rights of learners, educators, and administrators at the same time. The educators gathered in the Utrecht meeting felt that some concerns were worth sharing with a wider audience.

우리의 운동에는 상당한 한계가 있습니다. 이 그룹은 보건 전문직 교육에 대한 고급 학위를 가지고 있거나 수료한 보건 전문직 교육자들로 구성되었지만 특별히 LA 전문가는 포함되지 않았습니다. 따라서 이 보고서는 정보에 입각한 소비자 우려에 대한 개요로 간주해야 합니다. 이 보고서는 향후 보다 다양한 전문가 패널의 합의 방법을 확립하여 보다 엄격한 연구를 위한 출발점으로 간주될 수 있습니다.
Our exercise has significant limitations. The group consisted of health professions educators with, or completing advanced academic degrees in health professions education, but did not specifically include LA experts. Our report should, therefore, be viewed as an overview of informed consumer concerns. It may be regarded as a starting point for more rigorous future studies with established consensus methods among a more diverse expert panel.

 


Med Teach. 2020 Jun;42(6):673-678. doi: 10.1080/0142159X.2020.1733505. Epub 2020 Mar 9.

Ten caveats of learning analytics in health professions education: A consumer's perspective

Affiliations

1Center for Research and Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.

2University Hospital Bern, Bern, Switzerland.

3Kepler University Hospital Linz, Johannes Kepler University Linz, Linz, Austria.

4Institute for Medical Education, University of Bern, Bern, Switzerland.

5Institute of Primary Health Care (BIHAM), University of Bern, Bern, Switzerland.

6Faculty of Medicine, University of Freiburg, Breisgau, Germany.

7Institute of Animal Pathology, Vetsuisse Faculty Bern, University of Bern, Bern, Switzerland.

PMID: 32150499

DOI: 10.1080/0142159X.2020.1733505

Free article

Abstract

A group of 22 medical educators from different European countries, gathered in a meeting in Utrecht in July 2019, discussed the topic of learning analytics (LA) in an open conversation and addressed its definition, its purposes and potential risks for learners and teachers. LA was seen as a significant advance with important potential to improve education, but the group felt that potential drawbacks of using LA may yet be under-exposed in the literature. After transcription and interpretation of the discussion's conclusions, a document was drafted and fed back to the group in two rounds to arrive at a series of 10 caveats educators should be aware of when developing and using LA, including too much standardized learning, with undue consequences of over-efficiency and pressure on learners and teachers, and a decrease of the variety of 'valid' learning resources. Learning analytics may misalign with eventual clinical performance and can run the risk of privacy breaches and inescapability of documented failures. These consequences may not happen, but the authors, on behalf of the full group of educators, felt it worth to signal these caveats from a consumers' perspective.

Keywords: Portfolio; computer-based; information handling; trends.

 

현상학이 어떻게 다른 사람의 경험으로부터 배우게끔 하는가(Perspect Med Educ, 2019)
How phenomenology can help us learn from the experiences of others
Brian E. Neubauer1,2 · Catherine T.Witkop3 · Lara Varpio1

소개
Introduction

인간은 다른 사람의 경험으로부터 배울 수 있는 거의 유일한 능력을 가지고 있지만, 그렇게 하기를 꺼리는 것으로도 놀랍습니다.-더글러스 애덤스(Douglas Adams)
Human beings, who are almost unique in having the ability to learn from the experience of others, are also remarkable for their apparent disinclination to do so.—Douglas Adams

 

인간은 다른 사람의 경험으로부터 배울 수 있는 몇 안 되는 동물 중 하나이지만, 우리는 종종 그렇게 하는 것을 싫어합니다. 아마도 비슷한 상황은 결코 우리에게 닥칠 수 없다고 가정하기 때문일 것입니다. 같은 상황에 처하면 더 현명한 결정을 내릴 것이라고 가정하기 때문일 수도 있습니다. 개인의 주관적인 경험은 외부 현실에서 수집한 객관적인 데이터만큼 신뢰할 수 있는 정보가 아니라고 가정하기 때문일 수도 있습니다. 이러한 우려의 근거가 되는 가정이 무엇이든, 학자들이 다른 사람들의 경험으로부터 배우는 것은 필수적입니다. 사실 이것은 연구의 기본 전제입니다. 연구란 정보를 발견하거나 대상에 대한 새로운 이해를 얻기 위해 대상(예: 개인, 개인 집단, 사회 또는 사물)을 자세히 연구하는 것을 포함합니다[1]. 이러한 세부적인 연구를 위해서는 특정 현상에 대한 새로운 통찰력을 얻기 위해 다른 사람의 경험을 이해해야 하는 경우가 많습니다. 보건 전문직 교육(HPE) 분야의 학자들은 다른 사람의 경험을 통해 배워야 할 필요성에 대해 잘 알고 있습니다. 피드백, 직장 기반 학습, 임상적 추론 또는 기타 무수히 많은 현상의 효과를 극대화하기 위해 HPE 연구자들은 다른 사람의 경험을 주의 깊게 탐색하고 배울 수 있어야 합니다. 이러한 노력을 방해하는 것은 종종 방법론의 부족입니다. 다시 말해 HPE 연구원은 다른 사람의 경험에서 배우는 방법을 알아야 합니다. 
Despite the fact that humans are one of few animals who can learn from the experiences of others, we are often loath to do so. Perhaps this is because we assume that similar circumstances could never befall us. Perhaps this is because we assume that, if placed in the same situation, we would make wiser decisions. Perhaps it is because we assume the subjective experience of an individual is not as reliably informative as objective data collected from external reality. Regardless of the assumptions grounding this apprehension, it is essential for scholars to learn from the experiences of others. In fact, it is a foundational premise of research. Research involves the detailed study of a subject (i. e., an individual, groups of individuals, societies, or objects) to discover information or to achieve a new understanding of the subject [1]. Such detailed study often requires understanding the experiences of others so that we can glean new insights about a particular phenomenon. Scholars in health professions education (HPE) are savvy to the need to learn from the experiences of others. To maximize the effectiveness of feedback, of workplace-based learning, of clinical reasoning, or of any other of a myriad of phenomena, HPE researchers need to be able to carefully explore and learn from the experiences of others. What often curtails these efforts is a lack of methodology. In other words: HPE researchers need to know how to learn from the experiences of others.

현상학은 이러한 탐구를 지원할 수 있는 독보적인 위치에 있는 질적 연구 접근법입니다. 그러나 HPE 연구에 참여하는 접근법으로서 현상학은 그다지 큰 호응을 얻지 못하고 있습니다. 그 이유는 쉽게 알 수 있습니다: 현상학을 진정으로 이해하려면 현상학을 뒷받침하는 철학에 대한 이해가 필요합니다. 이러한 철학은 인간 경험의 의미를 이론화합니다. 다시 말해, 현상학 연구에 참여하려면 학자는 인간 경험에 대한 해석의 철학적 토대에 익숙해져야 합니다. 이것은 어려운 작업일 수 있지만, 더글러스 애덤스는 다른 사람의 경험으로부터 배우는 것이 결코 쉽다고 말한 적이 없습니다. 
Phenomenology is a qualitative research approach that is uniquely positioned to support this inquiry. However, as an approach for engaging in HPE research, phenomenology does not have a strong following. It is easy to see why: To truly understand phenomenology requires developing an appreciation for the philosophies that underpin it. Those philosophies theorize the meaning of human experience. In other words, engaging in phenomenological research requires the scholar to become familiar with the philosophical moorings of our interpretations of human experience. This may be a daunting task, but Douglas Adams never said learning from the experiences of others would be easy.

현상학이 답할 수 있는 질문과 이러한 종류의 연구가 제공할 수 있는 인사이트는 HPE에게 매우 중요합니다.

  • 수치심이란 무엇이며 그 경험이 의료 학습자에게 미치는 영향은 무엇인가[2]?
  • 공감하는 임상의가 된다는 것은 무엇을 의미할까요[3]?
  • 의료 학습자가 고난이도 시험에서 실패한 경험은 무엇입니까[4]?
  • 숙련된 임상의는 전문 진료에서 임상적 추론을 전달하는 방법을 어떻게 배울 수 있을까요[5]?

이러한 질문에 대한 해답은 우리 분야의 토대를 구성합니다. 이러한 질문에 답하기 위해 우리는 현상학을 사용하여 다른 사람들의 경험으로부터 배울 수 있습니다. 
The questions that phenomenology can answer, and the insights this kind of research can provide, are of foundational importance to HPE:

  • What is the experience of shame and the impact of that experience for medical learners [2]?
  • What does it mean to be an empathetic clinician [3]?
  • What is the medical learner’s experience of failure on high stakes exams [4]?
  • How do experienced clinicians learn to communicate their clinical reasoning in professional practice [5]?

Answers to such questions constitute the underpinnings of our field. To answer such questions, we can use phenomenology to learn from the experiences of others.

이 원고에서는 해석학적 현상학과 초월적 현상학이라는 두 가지 현상학의 철학과 방법론에 대해 살펴봅니다. 우리의 목표는 현상학의 복잡성을 단순화하거나 모든 HPE 연구자가 현상학을 사용해야 한다고 주장하는 것이 아닙니다. 그 대신 현상학이 HPE의 연구 체계에서 자리를 잡아야 할 가치 있는 연구 접근법이라는 점을 제안하고자 합니다. 우리는 이 두 가지 접근법을 철학적 뿌리의 맥락에 놓고 현상학적 연구 참여 방식 간의 유사점과 차이점을 설명할 것입니다. 이를 통해 HPE 연구자들이 연구 질문에 이러한 연구 접근 방식이 필요할 때 현상학에 신중하게 참여하도록 장려하고자 합니다. 
In this manuscript, we delve into the philosophies and methodologies of two varieties of phenomenology: hermeneutic and transcendental. Our goal is not to simplify the complexities of phenomenology, nor to argue that all HPE researchers should use phenomenology. Instead, we suggest that phenomenology is a valuable approach to research that needs to have a place in HPE’s body of research. We will place these two approaches in the context of their philosophical roots to illustrate the similarities and differences between these ways of engaging in phenomenological research. In so doing, we hope to encourage HPE researchers to thoughtfully engage in phenomenology when their research questions necessitate this research approach. 

현상학이란 무엇인가요?
What is phenomenology?

간단히 말해서 현상학은 현상을 경험한 사람의 관점에서 현상을 탐구하여 현상의 본질을 설명하고자 하는 연구 접근법이라고 정의할 수 있습니다[6]. 현상학의 목표는 무엇을 경험했는지, 어떻게 경험했는지 등 경험의 의미를 설명하는 것입니다[6]. 현상학에는 여러 가지 종류가 있으며, 각 현상학은 인간 경험의 대상과 방법을 생각하는 각기 다른 방식에 뿌리를 두고 있습니다. 다시 말해, 현상학의 각 접근 방식은 서로 다른 철학 학파에 뿌리를 두고 있습니다. 현상학적 연구 방법론을 선택하려면 학자는 자신이 수용하는 철학에 대해 성찰해야 합니다. 과학자가 수용할 수 있는 철학이 다양하다는 점을 고려할 때, 연구자가 활용할 수 있는 현상학적 전통이 광범위하다는 것은 놀라운 일이 아닙니다. 이 원고에서는 현상학에 대한 초월적 접근법과 해석학적 접근법을 강조하지만, 더 광범위한 현상학적 환경이 존재합니다. 예를 들어, 1997년에 출간된 현상학 백과사전에는 7가지 유형의 현상학에 대한 기사가 실려 있습니다[7]. 초월적/해석학적 분열을 해소하는 더 현대적인 전통도 개발되었습니다. 이러한 전통 중 몇 가지가 탭. 1 [8-10].
In simple terms, phenomenology can be defined as an approach to research that seeks to describe the essence of a phenomenon by exploring it from the perspective of those who have experienced it [6]. The goal of phenomenology is to describe the meaning of this experience—both in terms of what was experienced and how it was experienced [6]. There are different kinds of phenomenology, each rooted in different ways of conceiving of the what and how of human experience. In other words, each approach of phenomenology is rooted in a different school of philosophy. To choose a phenomenological research methodology requires the scholar to reflect on the philosophy they embrace. Given that there are many different philosophies that a scientist can embrace, it is not surprising that there is broad set of phenomenological traditions that a researcher can draw from. In this manuscript, we highlight the transcendental and the hermeneutic approaches to phenomenology, but a broader phenomenological landscape exists. For instance, the Encyclopedia of Phenomenology, published in 1997, features articles on seven different types of phenomenology [7]. More contemporary traditions have also been developed that bridge the transcendental/hermeneutic divide. Several of these traditions are detailed in Tab. 1 [810].

현상학에 대한 이러한 접근 방식을 이해하려면 대부분의 접근 방식이 현상학의 연구 대상에 대해 유사한 정의를 내리고 있다는 점을 기억하는 것이 유용합니다. 현상학은 일반적으로 다음에 대한 연구로 설명됩니다[11].

  • 우리의 경험에 나타나는 현상,
  • 우리가 현상을 인식하고 이해하는 방식, 그리고
  • 현상이 주관적 경험에 갖는 의미

간단히 말해, 현상학은 세계에 대한 개인의 생생한 경험을 연구하는 학문입니다[12]. 주관적으로 경험한 그대로의 경험을 조사함으로써 새로운 의미와 인식을 개발하여 그 경험을 이해하는 방법을 알려주거나 심지어 방향을 바꿀 수 있습니다[13].
To understand any of these approaches to phenomenology, it is useful to remember that most approaches hold a similar definition of phenomenology’s object of study. Phenomenology is commonly described as the study

  • of phenomena as they manifest in our experience,
  • of the way we perceive and understand phenomena, and
  • of the meaning phenomena have in our subjective experience [11].

More simply stated, phenomenology is the study of an individual’s lived experience of the world [12]. By examining an experience as it is subjectively lived, new meanings and appreciations can be developed to inform, or even re-orient, how we understand that experience [13].

이러한 공통된 이해를 바탕으로 이제 초월적(설명적) 현상학과 해석적(해석적) 현상학이 이 연구에 서로 다른 방식으로 접근하는 방법을 다루겠습니다. 이러한 접근 방식은 탭에 요약되어 있습니다. 2.
From this shared understanding, we now address how transcendental (descriptive) phenomenology and hermeneutic (interpretive) phenomenology approach this study in different ways. These approaches are summarized in Tab. 2.

 

초월적 현상학
Transcendental phenomenology

현상학은 수세기에 걸쳐 발전한 철학적 전통에서 비롯되었지만, 대부분의 역사학자들은 20세기 초에 현상학을 정의한 에드먼드 후설의 공로를 인정합니다[14]. 후설의 학문적 역사를 이해하면 현상학에 대한 그의 초월적 접근 방식에 대한 통찰력을 얻을 수 있습니다. 후설의 초기 연구는 수학을 연구 대상으로 삼았지만[15], 이후 다른 현상들을 탐구하는 방향으로 나아갔습니다. 철학에 대한 후설의 접근 방식은 객관적 경험과 주관적 경험을 동등하게 중요시했으며, 그의 작업은 '순수 현상학'에 대한 관심 또는 철학과 과학의 보편적 토대를 찾기 위한 노력에서 절정에 이르렀습니다[13]. 후설은 외부 현실에 대한 객관적 관찰에 절대적으로 초점을 맞추는 실증주의를 거부하고, 대신 개인의 의식에 의해 지각되는 현상이 과학적 연구의 대상이 되어야 한다고 주장했습니다. 따라서 후설은 어떠한 가정도 현상학의 탐구에 영향을 주어서는 안 되며, 철학적 또는 과학적 이론, 연역적 논리 절차, 그 밖의 경험적 과학이나 심리적 추측도 탐구에 영향을 주어서는 안 된다고 주장했습니다. 대신, 개인의 직관에 직접적으로 주어지는 것에 초점을 맞춰야 합니다[16]. 
Phenomenology originates in philosophical traditions that evolved over centuries; however, most historians credit Edmund Husserl for defining phenomenology in the early 20th century [14]. Understanding some of Husserl’s academic history can provide insight into his transcendental approach to phenomenology. Husserl’s initial work focused on mathematics as the object of study [15], but then moved to examine other phenomena. Husserl’s approach to philosophy sought to equally value both objective and subjective experiences, with his body of work ‘culminating in his interest in “pure phenomenology” or working to find a universal foundation of philosophy and science [13].’ Husserl rejected positivism’s absolute focus on objective observations of external reality, and instead argued that phenomena as perceived by the individual’s consciousness should be the object of scientific study. Thus, Husserl contended that no assumptions should inform phenomenology’s inquiry; no philosophical or scientific theory, no deductive logic procedures, and no other empirical science or psychological speculations should inform the inquiry. Instead, the focus should be on what is given directly to an individual’s intuition [16].

최근 스타이티가 주장했듯이, 현상학에 대한 이러한 태도는 '이전에 알려지지 않은 현실의 차원을 막 발견한 자연과학자[17]'의 태도와 유사합니다. 이러한 초점의 전환은 연구자가 '사물의 본질과 의미를 발견하기 위해 자아로 돌아가야 한다[18]'고 요구합니다. 후설은 이렇게 주장했습니다: '궁극적으로 모든 진정한 지식, 특히 모든 과학적 지식은 내적 증거에 달려 있습니다[19].' 내적 증거, 즉 의식에 나타나는 것이고, 여기가 현상을 연구해야 하는 곳입니다. 후설에게 이것이 의미하는 바는 주관적 지식과 객관적 지식이 서로 밀접하게 얽혀 있다는 것입니다. 현상의 실체를 이해한다는 것은 한 사람이 경험한 그대로의 현상을 이해하는 것입니다. 후설에게 있어 이러한 생생한 경험은 아직 발견되지 않은 존재의 차원입니다[17]. 후설에게 현상학은 인식론적 태도에 뿌리를 두고 있었으며, 그에게 현상학적 탐구의 핵심 질문은 '개인이 현상을 알거나 의식한다는 것은 무엇인가[20]'였습니다. 후설의 현상학 개념에서 경험된 모든 현상은 연구의 대상이 될 수 있으며, 따라서 단순한 감각적 지각(즉, 내가 보고, 듣고, 만지는 것)을 넘어 사고, 기억, 상상 또는 감정의 경험으로 분석의 범위를 넓힐 수 있습니다[21].

As Staiti recently argued, this attitude towards phenomenology is akin to that of ‘a natural scientist who has just discovered a previously unknown dimension of reality [17].’ This shift in focus requires the researcher to return ‘to the self to discover the nature and meaning of things [18].’ As Husserl asserted: ‘Ultimately, all genuine and, in particular, all scientific knowledge, rests on inner evidence [19].’ Inner evidence—that is, what appears in consciousness—is where a phenomenon is to be studied. What this means for Husserl is that subjective and objective knowledge are intimately intertwined. To understand the reality of a phenomenon is to understand the phenomenon as it is lived by a person. This lived experience is, for Husserl, a dimension of being that had yet to be discovered [17]. For Husserl, phenomenology was rooted in an epistemological attitude; for him, the critical question of a phenomenological investigation was ‘What is it for an individual to know or to be conscious of a phenomenon [20]?’ In Husserl’s conception of phenomenology, any experienced phenomenon could be the object of study thereby pushing analysis beyond mere sensory perception (i. e. what I see, hear, touch) to experiences of thought, memory, imagination, or emotion [21].

후설은 어떤 현상에 대한 생생한 경험에는 그 현상을 경험한 개인이 공통적으로 인식하는 특징이 있다고 주장했습니다. 이러한 공통적으로 인식되는 특징, 보편적 본질을 파악하여 일반화 가능한 설명을 개발할 수 있습니다. 후설에 따르면 현상의 본질은 그 현상의 진정한 본질을 나타냅니다. 그렇다면 후설의 현상학에 참여하는 연구자가 직면한 과제는 다음과 같습니다:
Husserl contended that a lived experience of a phenomenon had features that were commonly perceived by individuals who had experienced the phenomenon. These commonly perceived features—or universal essences—can be identified to develop a generalizable description. The essences of a phenomenon, according to Husserl, represented the true nature of that phenomenon. The challenge facing the researcher engaging in Husserl’s phenomenology, then, is:

사물을 그 자체로 기술하고, 직관과 자기 성찰을 고려하여 눈앞에 있는 것이 의식에 들어와 그 의미와 본질로 이해될 수 있도록 하는 것입니다. 이 과정에는 실제로 존재하는 것과 가능한 의미의 관점에서 존재하는 것으로 상상되는 것의 혼합, 즉 현실과 이상의 통합이 포함됩니다[18].
To describe things in themselves, to permit what is before one to enter consciousness and be understood in its meanings and essences in the light of intuition and self-reflection. The process involves a blending of what is really present with what is imagined as present from the vantage point of possible meanings; thus, a unity of the real and the ideal [18].

다시 말해, 현상에 대한 한 사람의 생생한 경험을 연구하여 그 현상의 보편적 본질을 강조하는 것입니다[22]. 이를 위해서는 연구자가 현상에 대한 참가자의 경험에 집중하고 현상의 본질을 파악하기 위해 자신의 태도, 신념, 가정을 중단해야 합니다. 후설이 철학과 과학에 기여한 가장 큰 공헌 중 하나는 연구자가 '인간의 마음이라고 부르는 것에 대한 순진한 이해뿐만 아니라 자연적인 태도를 중단하고, 새로운 탐구 분야로서 초월적 주관성의 영역을 밝힐 수 있게 해주는 방법'을 개발했다는 점입니다[17].
In other words, the challenge is to engage in the study of a person’s lived experience of a phenomenon that highlights the universal essences of that phenomenon [22]. This requires the researcher to suspend his/her own attitudes, beliefs, and suppositions in order to focus on the participants’ experience of the phenomenon and identify the essences of the phenomenon. One of Husserl’s great contributions to philosophy and science is the method he developed that enables researchers ‘to suspend the natural attitude as well as the naïve understanding of what we call the human mind and to disclose the realm of transcendental subjectivity as a new field of inquiry [17].’

후설의 '초월적 현상학(서술적 접근법이라고도 함)'에서 연구자의 목표는 초월적 주관성, 즉 '연구자가 조사에 미치는 영향을 끊임없이 평가하고, 편견과 선입견을 중화하여, 연구 대상에 영향을 미치지 않는 상태[22]'를 달성하는 것입니다. 연구자는 자신의 주관성이 참가자가 제공하는 설명에 영향을 미치지 않도록 독립적인 입장에 서야 합니다.

  • 이러한 생생한 경험의 차원은 초월적 자아의 상태에 도달할 수 있는 연구자가 가장 잘 접근할 수 있습니다[23]. 
    • [객관적인 연구자가 '참여자의 생생한 경험의 사실에 대한 설명'으로부터 '의식 자체를 파악할 수 있는 현상의 보편적 본질'로 이동하는 상태]
  • 초월적 자아의 상태에서 연구자는 현상에 대한 참가자의 경험에 사전 반성적으로 접근할 수 있는데, 이는 
    • '개념화에 대한 범주화에 의존하지 않는 것. 여기에는 종종 당연하게 여겨지는 것 또는 상식적인 것들도 포함한다[13]'는 것입니다. 
  • 초월적 자아는 연구에 어떠한 정의, 기대, 가정, 가설도 가져오지 않으며, 대신 이 상태에서 연구자는 참가자의 경험을 통해 현상의 본질을 이해하는 백지 상태인 타불라 라사의 입장을 취합니다.

In Husserl’s’ transcendental phenomenology (also sometimes referred to as the descriptive approach), the researcher’s goal is to achieve transcendental subjectivity—a state wherein ‘the impact of the researcher on the inquiry is constantly assessed and biases and preconceptions neutralized, so that they do not influence the object of study [22].’ The researcher is to stand apart, and not allow his/her subjectivity to inform the descriptions offered by the participants.

  • This lived dimension of experience is best approached by the researcher who can achieve the state of the transcendental I
    • a state wherein the objective researcher moves from the participants’ descriptions of facts of the lived experience, to universal essences of the phenomenon at which point consciousness itself could be grasped [23].
  • In the state of the transcendental I, the researcher is able to access the participants’ experience of the phenomenon pre-reflectively
    • that is ‘without resorting to categorization on conceptualization, and quite often includes what is taken for granted or those things that are common sense [13].’
  • The transcendental I brings no definitions, expectations, assumption or hypotheses to the study; instead, in this state, the researcher assumes the position of a tabula rasa, a blank slate, that uses participants’ experiences to develop an understanding of the essence of a phenomenon.

이 상태는 일련의 환원을 통해 달성됩니다. 

  • 초월적 단계라고 하는 첫 번째 환원은 일상 생활의 자연스러운 태도에서 벗어나 괄호 치기 과정이라고도 하는 에포케(판단 중지)를 통해 초월해야 합니다. 이는 연구자가 수학 방정식에서처럼 관심 있는 현상에 대한 이전의 이해, 과거의 지식, 가정을 제쳐두거나 괄호를 치는 과정입니다. 제쳐두어야 하는 이전의 이해에는 과학적 이론, 지식 또는 설명, 참여자가 주장하는 내용의 진실 또는 거짓, 연구자의 개인적인 견해 및 경험 등 다양한 출처가 포함됩니다[24].
  • 두 번째 단계인 초월적-현상학적 환원에서는 개별 참가자의 경험을 개별적으로 고려하고, 현상의 의미와 본질에 대한 완전한 설명을 구성합니다[18].
  • 다음으로 상상적 변형을 통한 환원모든 참가자의 의식적 경험에 대한 설명을 자유로운 변형 과정을 통해 본질에 대한 통합된 종합으로 증류하는 것입니다[25]. 이 과정은 직관에 의존하며 현상의 본질에 도달하기 위해 현상의 여러 변형을 상상해야 합니다[25]. 이러한 본질은 현상에 대한 모든 지식의 기초가 됩니다.

This state is achieved via a series of reductions.

  • The first reduction, referred to as the transcendental stage, requires transcendence from the natural attitude of everyday life through epoche, also called the process of bracketing. This is the process through which the researchers set aside—or bracket off as one would in a mathematical equation—previous understandings, past knowledge, and assumptions about the phenomenon of interest. The previous understandings that must be set aside include a wide range of sources including: scientific theories, knowledge, or explanation; truth or falsity of claims made by participants; and personal views and experiences of the researcher [24].
  • In the second phase, transcendental-phenomenological reduction, each participant’s experience is considered individually and a complete description of the phenomenon’s meanings and essences is constructed [18].
  • Next is reduction via imaginative variation wherein all the participants’ descriptions of conscious experience are distilled to a unified synthesis of essences through the process of free variation [25]. This process relies on intuition and requires imagining multiple variations of the phenomenon in order to arrive at the essences of the phenomenon [25]. These essences become the foundation for all knowledge about the phenomenon.

이러한 환원을 실현하기 위해 따르는 구체적인 과정은 초월적 현상학에 참여하는 연구자마다 다릅니다. 일반적으로 사용되는 초월적 현상학 방법 중 하나는 심리학자 클라크 무스타카스의 방법이며, 다른 접근법으로는 다음과 같은 연구가 있습니다: Colaizzi [26], Giorgi [27], Polkinghorne [28] 등이 있습니다. 어떤 접근법을 사용하든 초월적 현상학에 엄격하게 참여하기 위해서는 연구자 개인의 주관성이 데이터 분석과 해석에 편향되지 않도록 연구자는 괄호 작업에서 주의를 기울여야 합니다. 연구자 자신의 해석, 인식, 범주 등이 환원 과정에 영향을 미치지 않는 초월적 '나'의 상태에 도달하는 것이 과제입니다. 현대 철학자들은 후설의 브라케팅 개념과 계속 씨름하고 있다는 점에 유의하는 것이 중요합니다. 괄호 치기가 성공적으로 이루어지면 연구자는 연구자의 육체를 포함하여 세계와 그 내용 전체를 따로 떼어 놓습니다[17]. 이러한 브라케팅에 대한 헌신은 유지하기 어렵지만, 후설은 이것이 필요하다고 주장합니다. 물리적 현실에 대한 의존과 기초를 중단하는 것은 초월적인 나를 찾기 위해 인간적 경험을 버리는 유일한 방법입니다. 연구자들은 이러한 목표를 달성하기 위해 다른 질적 연구 방법의 관행[29]을 차용할 수 있습니다.

  • 예를 들어, 여러 연구자가 삼각 측량[30]을 통해 적절한 브래킷이 유지되었는지 확인하도록 연구를 설계할 수 있습니다.
  • 또는 연구 참여자가 확인[31]을 통해 데이터[18]를 검증하여 식별된 본질이 참가자의 경험에 공감하는지 확인할 수도 있습니다.

The specific processes followed to realize these reductions vary across researchers engaging in transcendental phenomenology. One commonly used transcendental phenomenological method is that of psychologist Clark Moustakas, and other approaches include the works of: Colaizzi [26], Giorgi [27], and Polkinghorne [28]. Regardless of the approach used, to engage rigorously in transcendental phenomenology, the researcher must be vigilant in his/her bracketing work so that the researcher’s individual subjectivity does not bias data analysis and interpretations. This is the challenge of reaching the state of the transcendental I where the researcher’s own interpretations, perceptions, categories, etc. do not influence the processes of reduction. It is important to note that modern philosophers continue to wrestle with Husserl’s notions of bracketing. If bracketing is successfully achieved, the researcher sets aside the world and the entirety of its content—including the researcher’s physical body [17]. While dedication to this bracketing is challenging to maintain, Husserl asserts that it is necessary. Suspending reliance on and foundations in physical reality is the only way to abandon our human experiences in such a way as to find the transcendent I. Researchers might borrow [29] practices from other qualitative research methods to achieve this goal.

  • For instance, a study could be designed to have multiple researchers triangulate [30] their reductions to confirm appropriate bracketing was maintained.
  • Alternatively, a study could involve validation of data [18] via member checking [31] to ensure that the identified essences resonated with the participants’ experiences.

후설의 초월적 현상학은 HPE 연구자들에 의해 활용되었습니다. 

  • 예를 들어, 2012년에 타바콜 등은 초월적 현상학 연구를 통해 의대생들의 공감에 대한 이해를 연구했습니다[32]. 저자들은 의대생들이 임상 전 교육에서 임상 교육으로 전환하면서 공감 능력을 상실하는 것은 의학 문헌에 잘 기록되어 있으며[33], 환자와 제공되는 의료 서비스의 질에 부정적인 영향을 미치는 것으로 밝혀졌다고 지적합니다[34].
  • 타바콜 등[32]은 설명적 현상학적 접근법(즉, 콜라이지와 조르기의 방법론 사용)을 사용하여 의대생이 수련 과정에서 경험하는 공감 현상에 대해 보고했습니다. 저자들은 공감 능력에 영향을 미치는 두 가지 주요 요인, 즉 타고난 공감 능력과 공감 표현에 대한 장벽을 확인했습니다[32].

Husserl’s transcendental phenomenology has been employed by HPE researchers.

  • For example, in 2012, Tavakol et al. studied medical students’ understanding of empathy by engaging in transcendental phenomenological research [32]. The authors note that medial students’ loss of empathy as they transition from pre-clinical to clinical training is well documented in the medical literature [33], and has been found to negatively impact patients and the quality of healthcare provided [34].
  • Tavakol et al. [32] used a descriptive phenomenological approach (i. e. using the methodology of Colaizzi and Giorgi) to report on the phenomenon of empathy as experienced by medical students during the course of their training. The authors identified two key factors impacting empathic ability: innate capacity for empathy and barriers to displaying empathy [32].

해석학적 현상학
Hermeneutic phenomenology

해석적 현상학이라고도 알려진 해석학적 현상학은 마르틴 하이데거의 연구에서 유래했습니다. 하이데거는 신학에서 경력을 시작했지만 철학 학생으로서 학계로 옮겨갔습니다. 하이데거의 철학적 탐구는 후설의 연구와 함께 시작되었지만, 나중에 후설의 초월적 현상학의 몇 가지 핵심 측면에 도전했습니다. 그의 전임자와의 근본적인 단절은 현상학적 탐구의 초점이었습니다.

  • 후설은 지식의 본질(즉, 인식론적 초점)에 관심이 있었던 반면, 하이데거는 존재의 본질과 시간성(즉, 존재론적 초점)에 관심을 가졌습니다[21].
  • (하이데거의) 해석학적 현상학은 인간의 경험과 삶의 방식에 초점을 맞추면서, 후설이 '세계에 주목하고, 지각하고, 기억하고, 생각하는 행위[13]'와 현상에 대한 지식인knowers으로서의 인간에 초점을 두었던 것에서 벗어나게 됩니다. 반면 하이데거는 세계 속의 행위자로서의 인간에 관심을 두고 개인과 그의 생활세계 사이의 관계에 초점을 맞춥니다.

Hermeneutic phenomenology, also known as interpretive phenomenology, originates from the work of Martin Heidegger. Heidegger began his career in theology, but then moved into academia as a student of philosophy. While Heidegger’s philosophical inquiry began in alignment with Husserl’s work, he later challenged several key aspects of Husserl’s transcendental phenomenology.

  • A foundational break from his predecessor was the focus of phenomenological inquiry. While Husserl was interested in the nature of knowledge (i. e., an epistemological focus), Heidegger was interested in the nature of being and temporality (i. e., an ontological focus) [21].
  • With this focus on human experience and how it is lived, hermeneutic phenomenology moves away from Husserl’s focus on ‘acts of attending, perceiving, recalling and thinking about the world [13]’ and on human beings as knowers of phenomenon. In contrast, Heidegger is interested in human beings as actors in the world and so focuses on the relationship between an individual and his/her lifeworld. 

하이데거가 말하는 생활세계 '개인의 현실은 그들이 살고 있는 세계에 의해 항상 영향을 받는다[22]'는 개념을 의미합니다. 이러한 방향성을 고려할 때, 개인은 지속적, 명시적 및 의식적으로 그러한 이해를 인식하지 않더라도 항상 세계 내에서 자신에 대한 이해를 이미 가지고 있는 것으로 이해됩니다 [17]. 하이데거에게 있어 현상에 대한 개인의 의식적 경험은 세계와 분리된 것이 아니며, 개인의 개인적 역사와도 분리된 것이 아닙니다. 대신 의식은 개인의 개인사와 그가 자란 문화를 포함하여 역사적으로 살아온 경험의 형성입니다 [22]. 개인은 자신의 생활세계에서 벗어날 수 없습니다. 인간은 자신의 배경 이해를 참조하지 않고는 현상을 경험할 수 없습니다. 따라서 해석학적 현상학은 '표면적 인식 아래에 가려져 있는 인간 경험의 더 깊은 층위와, 개인의 생활세계 또는 그 사람이 미리 성찰적으로 경험한 세계가 이 경험에 어떻게 영향을 미치는지 이해하고자 한다[35]'고 합니다. 해석학적 현상학은 개인의 내러티브를 연구하여 개인이 일상 생활과 생활세계에서 경험하는 것을 이해합니다.
Heidegger’s term lifeworld referred to the idea that ‘individuals’ realities are invariably influenced by the world in which they live [22].’ Given this orientation, individuals are understood as always already having an understanding of themselves within the world, even if they are not constantly, explicitly and/or consciously aware of that understanding [17]. For Heidegger, an individual’s conscious experience of a phenomenon is not separate from the world, nor from the individual’s personal history. Consciousness is, instead, a formation of historically lived experiences including a person’s individual history and the culture in which he/she was raised [22]. An individual cannot step out of his/her lifeworld. Humans cannot experience a phenomenon without referring back to his/her background understandings. Hermeneutic phenomenology, then, seeks ‘to understand the deeper layers of human experience that lay obscured beneath surface awareness and how the individual’s lifeworld, or the world as he or she pre-reflectively experiences it, influences this experience [35].’ Hermeneutic phenomenology studies individuals’ narratives to understand what those individuals experience in their daily lives, in their lifeworlds.

그러나 해석학적 전통은 설명적 이해를 넘어서는 것입니다. 해석학적 현상학은 개인의 생활 세계를 통해 경험과 현상을 해석하는 해석학에 뿌리를 두고 있습니다. 여기서 하이데거의 신학 배경은 현상학에 대한 그의 접근 방식에 영향을 미친 것으로 볼 수 있습니다. 해석학은 텍스트의 해석을 의미하며, 다른 언어로 된 문헌을 번역해야 할 필요성과 원문(예: 성경)에 대한 접근이 문제가 되는 상황에서 발전한 이론입니다[36]. 인간의 모든 경험이 개인의 생활세계에 의해 영향을 받고, 모든 경험이 그 배경을 통해 해석되어야 한다면, 해석학적 현상학은 현상에 대한 설명을 넘어 현상에 대한 해석으로 나아가야 합니다. 연구자는 개인의 배경이 미치는 영향을 인식하고 그것이 개인의 존재 경험에 미치는 영향을 설명해야 합니다.
But the hermeneutic tradition pushes beyond a descriptive understanding. Hermeneutic phenomenology is rooted in interpretation—interpreting experiences and phenomena via the individual’s lifeworld. Here, Heidegger’s background in theology can be seen as influencing his approach to phenomenology. Hermeneutics refers to the interpretation of texts, to theories developed from the need to translate literature from different languages and where access to the original text (e. g., the Bible) was problematic [36]. If all human experience is informed by the individual’s lifeworld, and if all experiences must be interpreted through that background, hermeneutic phenomenology must go beyond description of the phenomenon, to the interpretation of the phenomenon. The researcher must be aware of the influence of the individual’s background and account for the influences they exert on the individual’s experience of being.

그렇다고 해서 사회적, 문화적, 정치적 맥락과 불가분의 관계에 있는 개인의 주관적 경험이 미리 결정되어 있다는 말은 아닙니다. 하이데거는 개인이 상황적 자유를 가지고 있다고 주장했습니다. 상황적 자유는 '개인은 자유롭게 선택할 수 있지만, 그 자유는 절대적인 것이 아니라 일상 생활의 특정 조건에 의해 제한된다[22]'고 주장하는 개념입니다. 해석학적 현상학은 개인의 경험이 생활 세계를 통해 해석될 때 세계 속에서 개인의 존재가 갖는 의미와 이러한 의미와 해석이 개인의 선택에 어떤 영향을 미치는지 연구합니다[13]. 이러한 초점은 해석학적 현상학자가 연구 참여자가 제공한 내러티브를 개별 맥락과 관련하여 해석하여, [참여자가 가진 존재에 대한 이해의 근본적인 구조]와 [그것이 개인의 결정을 어떻게 형성했는지]를 조명할 것을 요구합니다[37].
This is not to say that the individual’s subjective experience—which is inextricably linked with social, cultural, and political contexts—is pre-determined. Heidegger argued that individuals have situated freedom. Situated freedom is a concept that asserts that ‘individuals are free to make choices, but their freedom is not absolute; it is circumscribed by the specific conditions of their daily lives [22].’ Hermeneutic phenomenology studies the meanings of an individual’s being in the world, as their experience is interpreted through his/her lifeworld, and how these meanings and interpretations influence the choices that the individual makes [13]. This focus requires the hermeneutic phenomenologist to interpret the narratives provided by research participants in relation to their individual contexts in order to illuminate the fundamental structures of participants’ understanding of being and how that shaped the decisions made by the individual [37].

해석학적 현상학을 구별하는 또 다른 핵심 측면은 탐구에서 연구자의 역할입니다. 해석학적 현상학은 연구자의 주관적인 관점을 괄호로 묶는 대신, 연구 대상과 마찬가지로 연구자도 자신의 생활세계에서 벗어날 수 없음을 인정합니다. 대신 연구자의 과거 경험과 지식이 탐구의 귀중한 길잡이가 됩니다. 연구자가 어떤 현상이나 경험을 조사할 만한 가치가 있다고 생각하게 하는 것은 연구자의 교육과 지식 기반입니다. 연구자에게 데이터에 대한 편견 없는 접근을 요구하는 것은 해석학적 현상학의 철학적 뿌리와 일치하지 않습니다. 대신, 이 전통에 따라 연구하는 연구자는 자신의 선입견을 공개적으로 인정하고 자신의 주관성이 분석 과정의 일부임을 반성해야 합니다[16].
Another key aspect that distinguishes hermeneutic phenomenology is the role of the researcher in the inquiry. Instead of bracketing off the researcher’s subjective perspective, hermeneutic phenomenology recognizes that the researcher, like the research subject, cannot be rid of his/her lifeworld. Instead, the researcher’s past experiences and knowledge are valuable guides to the inquiry. It is the researcher’s education and knowledge base that lead him/her to consider a phenomenon or experience worthy of investigation. To ask the research to take an unbiased approach to the data is inconsistent with hermeneutic phenomenology’s philosophical roots. Instead, researchers working from this tradition should openly acknowledge their preconceptions, and reflect on how their subjectivity is part of the analysis process [16].

해석학적 현상학의 해석 작업은 하나의 규칙에 얽매인 분석 기법에 얽매이지 않고, 여러 분석 활동의 상호작용을 포함하는 해석 과정입니다[35]. 일반적으로 이 과정은
The interpretive work of hermeneutic phenomenology is not bound to a single set of rule-bound analytical techniques; instead, it is an interpretive process involving the interplay of multiple analysis activities [35]. In general, this process:

먼저 실제 경험에 대한 관심을 유도하는 흥미로운 현상을 식별하는 것으로 시작합니다. 그런 다음 연구팀 구성원은 개념화된 경험이 아닌, 실제 경험을 조사하고, 참여자의 현상 경험을 특징짓는 본질적인 [현상학적] 주제에 대해 성찰하는 동시에, 자신의 경험에 대해 성찰합니다. 연구자는 자신의 성찰을 글로 기록한 다음, 다시 성찰하고 글을 쓰는 과정을 반복하여 점점 더 견고하고 미묘한 분석을 개발합니다. 분석하는 동안 연구자는 연구 중인 현상에 대한 강한 방향성을 유지하고(즉, 산만함을 피하고) 부분과 전체 간의 상호 작용에 주의를 기울여야 합니다. 해석학적 순환이라고도 하는 이 마지막 단계는 데이터(부분)가 현상(전체)의 진화하는 이해에 어떻게 기여하는지, 그리고 각 부분이 서로의 의미를 어떻게 향상시키는지를 의도적으로 고려하는 연습을 강조합니다[35].
Starts with identifying an interesting phenomenon that directs our attention towards lived experience. Members of the research team then investigate experience as it is lived, rather than as it is conceptualized, and reflect on the essential [phenomenological] themes that characterize the participant’s experience with the phenomenon, simultaneously reflecting on their own experiences. Researchers capture their reflections in writing and then reflect and write again, creating continuous, iterative cycles to develop increasingly robust and nuanced analyses. Throughout the analysis, researchers must maintain a strong orientation to the phenomenon under study (i. e., avoid distractions) and attend to the interactions between the parts and the whole. This last step, also described as the hermeneutic circle, emphasizes the practice of deliberately considering how the data (the parts) contribute to the evolving understanding of the phenomena (the whole) and how each enhances the meaning of the other [35].

현상학에 대한 해석학적 접근 방식에서 이론은 탐구의 초점을 맞추고, 연구 참여자에 대한 결정을 내리고, 연구 질문을 해결할 수 있는 방식을 결정하는 데 도움이 될 수 있습니다[22]. 이론은 연구 결과를 이해하는 데에도 도움이 될 수 있습니다. 해석학적 현상학에 대한 관심이 널리 알려진 학자 중 한 명은 맥스 반 마넨입니다[38]. 반 마넨은 해석학적 현상학이 '스스로를 체계적 도식이나 해석적 절차의 집합으로 기만적으로 환원시키지 않는다[39]'는 점을 인정합니다. 대신, 이러한 종류의 현상학은 연구자가 해석학적 현상학적 사고, 읽기, 쓰기의 프로젝트를 파악하기 위해 이 전통의 철학을 깊이 있게 읽을 것을 요구합니다.
In the hermeneutic approach to phenomenology, theories can help to focus inquiry, to make decisions about research participants, and the way research questions can be addressed [22]. Theories can also be used to help understand the findings of the study. One scholar whose engagement with hermeneutic phenomenology is widely respected is Max van Manen [38]. Van Manen acknowledges that hermeneutic phenomenology ‘does not let itself be deceptively reduced to a methodical schema or an interpretative set of procedures [39].’ Instead, this kind of phenomenology requires the researcher to read deeply into the philosophies of this tradition to grasp the project of hermeneutic phenomenological thinking, reading, and writing.

Bynum 등이 발표한 최근 연구는 해석학적 현상학이 HPE에서 어떻게 활용될 수 있는지를 보여줍니다[2]. 이 논문에서 바이넘 등은 의대생이 경험하는 감정으로서의 수치심 현상을 탐구하고 수치심 경험이 학습자에게 미치는 영향에 대한 통찰력을 제공했습니다. 이 연구는 학문적 탐구의 한 수단으로서 해석학적 현상학이 HPE에 불가분의 관계로 얽혀 있는 복잡한 현상에 대한 통찰력을 어떻게 제공할 수 있는지를 보여줍니다. 
A recent study published by Bynum et al. illustrates how hermeneutic phenomenology may be employed in HPE [2]. In this paper, Bynum et al. explored the phenomenon of shame as an emotion experienced by medical residents and offer insights into the effects of shame experiences on learners. As a means in scholarly inquiry, this study demonstrates how hermeneutic phenomenology can provide insight into complex phenomena that are inextricably entwined in HPE.

결론
Conclusion

현상학적 연구 방법론을 HPE 장학금에 통합하면 다른 사람들의 경험에서 배울 수 있는 기회가 생깁니다. 현상학적 연구는 학습, 행동, 커뮤니케이션과 관련된 복잡한 현상에 대한 이해의 폭을 넓힐 수 있으며, 이는 우리 분야와 밀접한 관련이 있습니다. 그러나 이러한 노력의 성공 여부는 이러한 접근법의 잠재적 가치에 대한 인식 개선과 현상학의 근본적인 철학적 지향과 방법론적 접근에 대한 친숙도 향상에 달려 있습니다. 가장 중요한 것은 HPE 학자들이 선택한 방법론의 신조와 그 근간이 되는 철학적 뿌리에 부합하는 연구 프로세스를 구축해야 한다는 점입니다. 이러한 정렬은 연구의 엄격성과 신뢰성을 확립하기 위한 초석입니다. 
Incorporating phenomenological research methodologies into HPE scholarship creates opportunities to learn from the experiences of others. Phenomenological research can broaden our understanding of the complex phenomena involved in learning, behaviour, and communication that are germane to our field. But success in these efforts is dependent upon both improved awareness of the potential value of these approaches, and enhanced familiarization with the underlying philosophical orientation and methodological approaches of phenomenology. Perhaps most critically, HPE scholars must construct research processes that align with the tenets of the methodology chosen and the philosophical roots that underlie it. This alignment is the cornerstone for establishing research rigour and trustworthiness.

특정 검증 활동 체크리스트나 필수 프로세스를 따르는 것만으로는 특정 현상학적 연구의 품질과 엄격성을 높일 수 없습니다. 대신, 연구 질문, 패러다임, 선택한 방법론 간의 충실성을 유지하는 것 외에도 강력한 현상학적 연구에는 읽기, 반성적 글쓰기, 다시 읽기, 다시 쓰기를 통해 데이터에 깊이 관여하는 것이 포함됩니다.

  • 무스타카스의 초월적 현상학 접근법에서 연구자는 데이터를 읽고, 데이터를 의미 단위로 환원하고, 환원된 데이터를 다시 읽고, 주제별 클러스터링에 참여하고, 데이터를 비교하고, 설명을 작성하는 등 연구자가 생생한 경험의 본질을 설명할 수 있을 때까지 지속적으로 데이터에 참여하고 성찰과 요약을 작성하는 지속적인 과정을 거칩니다[18].
  • 해석학적 현상학에서 학자들은 연구자가 데이터를 읽고, 모호한 이해를 구성하고, 반성적 글쓰기에 참여한 다음, 수정된 이해를 가지고 텍스트에 다시 참여하는 해석학적 순환에 참여하는 것을 설명합니다[40]. 해석학 연구자는 텍스트의 전체와 부분에 주의를 기울이는 읽기와 쓰기의 순환을 통해 생생한 경험에 대한 이해를 구성합니다.

두 전통 모두 읽기, 쓰기, 다시 읽기, 다시 쓰기를 통해 데이터에 깊이 관여하는 것이 기본입니다. 이러한 참여 작업이 표준화되어 있지는 않지만, 폴킹혼은 현상학적 연구에 대한 풍부한 묘사는 생생함, 풍부함, 정확성, 우아함과 같은 특성으로 특징지어질 수 있다고 제안합니다[41]. 이러한 특성이 질적 연구에서 어떻게 평가될 수 있는지는 의문이지만, 현상학적 데이터를 읽고 쓰는 데 있어 참여의 깊이에 대한 관심이 엄밀성을 위한 필수 조건임을 확인시켜 줍니다. 
Following a specific checklist of verification activities or mandatory processes cannot buoy the quality and rigour of a particular phenomenological study. Instead, beyond maintaining fidelity between research question, paradigm, and selected methodology, robust phenomenological research involves deep engagement with the data via reading, reflective writing, re-reading and re-writing.

  • In Moustakas’s approach to transcendental phenomenology, the researcher reads the data, reduces the data to meaning units, re-reads those reductions to then engage in thematic clustering, compares the data, writes descriptions, and so on in an ongoing process of continually engaging with the data and writing reflections and summaries until the researcher can describe the essence of the lived experience [18].
  • In hermeneutic phenomenology, scholars describe engaging in a hermeneutic circle wherein the researcher reads the data, constructs a vague understanding, engages in reflective writing, then re-engages with the text with revised understandings [40]. In cycles of reading and writing, of attending to the whole of the text and the parts, the hermeneutic researcher constructs an understanding of the lived experience.

In both traditions, deep engagement with the data via reading, writing, re-reading and re-writing is foundational. While this engagement work is not standardized, Polkinghorne suggests that rich descriptions of phenomenological research might be characterized by qualities such as vividness, richness, accuracy, and elegance [41]. While we question how these qualities might be evaluated in a qualitative study, they confirm that attention to the depth of engagement in reading and writing of the phenomenological data is a necessary condition for rigour.

현상학은 귀중한 도구이자 연구 전략입니다. 현상학의 철학적 토대나 방법론적 적용에 익숙하지 않은 사람들에게는 HPE 장학금에 지원하는 것이 어려워 보일 수 있습니다. 이 원고가 향후 연구에서 현상학의 활용을 고려하는 데 있어 약간의 불안감을 해소하는 데 도움이 되기를 바랍니다. 현상학을 HPE의 연구 질문에 적절히 적용하면 다른 사람들의 경험에서 배움으로써 이해를 증진하는 데 도움이 될 것이라고 믿습니다.
Phenomenology is a valuable tool and research strategy. For those who are not familiar with its philosophical underpinnings or methodological application, it can seem challenging to apply to HPE scholarship. We hope this manuscript will serve to relieve some of the apprehension in considering the use of phenomenology in future work. We believe that the appropriate application of phenomenology to HPE’s research questions will help us to advance our understanding by learning from the experiences of others.

 


 

Perspect Med Educ. 2019 Apr;8(2):90-97. doi: 10.1007/s40037-019-0509-2.

How phenomenology can help us learn from the experiences of others

Affiliations collapse

1Department of Medicine, Uniformed Services University, Bethesda, MD, USA. brian.e.neubauer.mil@mail.mil.

2General Internal Medicine Service, Walter Reed National Military Medical Center, Bethesda, MD, USA. brian.e.neubauer.mil@mail.mil.

3Department of Preventative Medicine and Biostatistics, Uniformed Services Medical Center, Bethesda, MD, USA.

4Department of Medicine, Uniformed Services University, Bethesda, MD, USA.

PMID: 30953335

PMCID: PMC6468135

DOI: 10.1007/s40037-019-0509-2

Free PMC article

Abstract

Introduction: As a research methodology, phenomenology is uniquely positioned to help health professions education (HPE) scholars learn from the experiences of others. Phenomenology is a form of qualitative research that focuses on the study of an individual's lived experiences within the world. Although it is a powerful approach for inquiry, the nature of this methodology is often intimidating to HPE researchers. This article aims to explain phenomenology by reviewing the key philosophical and methodological differences between two of the major approaches to phenomenology: transcendental and hermeneutic. Understanding the ontological and epistemological assumptions underpinning these approaches is essential for successfully conducting phenomenological research.

Purpose: This review provides an introduction to phenomenology and demonstrates how it can be applied to HPE research. We illustrate the two main sub-types of phenomenology and detail their ontological, epistemological, and methodological differences.

Conclusions: Phenomenology is a powerful research strategy that is well suited for exploring challenging problems in HPE. By building a better understanding of the nature of phenomenology and working to ensure proper alignment between the specific research question and the researcher's underlying philosophy, we hope to encourage HPE scholars to consider its utility when addressing their research questions.

Keywords: Hermeneutic phenomenology; Qualitative; Transcendental phenomenology.

CARDA: 보건전문직교육 연구에서 문헌분석의 가이드 (Med Educ, 2022)
CARDA: Guiding document analyses in health professions education research
Jennifer Cleland1 | Anna MacLeod2 | Rachel H. Ellaway3

 

 

1 소개
1 INTRODUCTION

'태초에 말씀이 계시니라'. 요한복음 1:1-3
‘In the beginning was the Word’. John 1:1–3

우리는 문서를 만들고, 문서를 사용하고, 문서를 보관하고, 문서를 주고받습니다. 집과 사무실에 있는 문서, 휴대하고 다니는 문서, 컴퓨터와 기타 디지털 기기에 있는 문서가 있습니다. 보내는 문서와 받는 문서가 있습니다. 현대 사회에 대한 우리의 지식과 현대 사회와의 상호 작용은 상당 부분 문서에 의해 매개됩니다. 정책 및 절차, 회의록, 보고서, 커리큘럼 맵, 시험지, OSCE 스테이션, 학습 사례 및 시뮬레이션 스크립트 등 수많은 문서를 생성하고 이를 통해 재인용되는 보건 전문직 교육(HPE)도 예외는 아닙니다. 문서는 HPE에 관련된 사람들의 일상적인 경험을 구조화하며, '어떤 것은 존재하게 하고 어떤 것은 부재하게 하며, 어떤 것은 보이게 하고 어떤 것은 보이지 않게 하는'(182페이지) 도구 역할을 합니다.1 
We make documents, we use documents, we keep documents and we exchange documents. There are documents in your home and in your office, documents you carry with you and documents on your computer and other digital devices. There are documents you send and documents you receive. Our knowledge of and interactions with contemporary society are substantially mediated by documents. Health professions education (HPE) is no outlier in this regard as it generates and is reinscribed through, its many documents, including policies and procedures, meeting notes, reports, curriculum maps, examination papers, OSCE stations, learning cases and simulation scripts. Documents structure the everyday experiences of those involved in HPE, and they serve as tools ‘through which some things are made present, and others absent, some things visible and others invisible’ (p. 182).1

문서는 연구 관점에서 풍부한 정보를 제공할 수 있습니다. 실제로 문서는 과거 사건을 이해하는 데 있어 가장 좋은, 때로는 유일한 데이터 소스인 경우가 많습니다(예: 2). 마찬가지로 현재에도 사람, 사건, 사회적 관계, 권력에 대한 지식의 대부분은 문서를 통해 간접적으로 얻게 됩니다. 스미스3는 이를 '이러한 형태의 사회를 통치, 관리 및 운영하는 관행의 기본이 되는'(257쪽) '문서적 실재'라고 설명했습니다.
Documents can provide a wealth of information from a research perspective. Indeed, documents are often the best, and sometimes the only, source of data for understanding past events (e.g.,2). Similarly, in the present, much of our knowledge of people, events, social relations and powers arises indirectly, through documents. Smith3 described this as ‘documentary reality’ that ‘is fundamental to the practices of governing, managing and administration of this form of society’ (p. 257).

문서가 우리 주변에 존재함에도 불구하고(그리고 부분적으로는 그 때문에) 문서가 무엇인지, 또는 문서가 되어야 하는지에 대한 하나의 표준적이거나 포괄적인 정의는 없으며, 오히려 문서가 무엇인지에 대한 다양한 담론이 존재합니다. 예를 들어, 문서는 물리적 물건으로 정의될 수도 있고,4 정보 소스5로 정의될 수도 있으며,6 탐구 행위를 통해 탄생할 수도 있습니다(상자 1 참조).
Despite their ambient presence (and perhaps in part because of it), there is no one canonical or overreaching definition of what documents are or should be; rather, there are different discourses of what documents can be. For instance, a document can be defined as a physical item,4 an informational source5 or brought into being by the act of inquiry6—see Box 1.


박스 1: 문서란 무엇인가요?
Box 1: What is a document?

문서가 무엇인지, 또는 문서가 되어야 하는지에 대한 표준적이고 포괄적인 정의는 없으며, 문서가 무엇일 수 있는지에 대한 다양한 담론이 존재합니다. 문서는 텍스트 본문일 수도 있고, 텍스트 내용 외에 연구자가 관심을 가질 만한 특성(예: 이미지, 주석 또는 상호 참조의 사용)이 있는 인공물일 수도 있습니다. 오리어리4는 문서를 다음과 같이 분류했습니다:
There is no one canonical or overreaching definition of what documents are or should be; rather, there are different discourses of what documents can be. They can be bodies of text or they can be artefacts with qualities of interest to researchers beyond their textual content (such as the use of images, annotations or cross-references). O'Leary4 classified documents as follows:

  • 공공 기록: 조직의 활동에 대한 공식적이고 지속적인 기록. HPE의 예로는 학생 성적표, 사명 선언문, 연례 보고서, 매뉴얼, 학생 핸드북, 전략 계획 및 강의 계획서 등이 있습니다.
  • 개인 문서: 개인의 행동, 경험 및 신념에 대한 1인칭 서술. 예를 들면 달력, 이메일, 스크랩북, 블로그, Facebook 게시물, 근무일지, 사건 보고서, 반성문/일기, 신문 등이 있습니다.
  • 물리적 증거: 연구 환경 내에서 발견된 물리적 물체. 예를 들면 전단지, 이메일, 포스터, 의제, 핸드북, 교육 자료 등이 있습니다.
  • Public Records: The official, ongoing records of an organisation's activities. Examples from HPE include student transcripts, mission statements, annual reports, manuals, student handbooks, strategic plans and syllabi.
  • Personal Documents: First-person accounts of an individual's actions, experiences and beliefs. Examples include calendars, e-mails, scrapbooks, blogs, Facebook posts, duty logs, incident reports, reflections/journals and newspapers.
  • Physical Evidence: Physical objects found within the study setting. Examples include flyers, emails, posters, agendas, handbooks and training materials.

HPE의 맥락에서는 다음으로 구분할 수 있습니다(Ellaway 외., 2019).

  • 교육 과정의 일부로 작성된 문서(예: 프로그램 평가, 강의 계획서 및 커리큘럼),
  • 교육 과정에서 작성되었지만 교육 목적이 아닌 문서(예: 개인 파일, 조직 정책 및 웹사이트),
  • 의학교육과 무관하게 작성된 문서(예: 소셜 미디어 게시물, TV 또는 영화 대본)

문서는 생성 방법과 목적, 보존 또는 큐레이션 방법, 캡처한 미디어, 생성 이후 복사, 필사, 편집 또는 수정 여부에 따라 다를 수 있습니다.
In the context of HPE, we might differentiate between

  • documents that were created as part of educational processes (e.g., program evaluations, syllabi and curricula),
  • documents created in education but not for educational purposes (e.g., personal files, organisational policies and websites), and
  • documents created outside of medical education altogether (e.g., social media posts, TV or film scripts) (Ellaway et al., 2019).

Documents can differ in how they were produced and for what purposes, as well as how they were preserved or curated, what media they were captured on and whether they have been copied, transcribed, edited or redacted since their creation.

문서는 중립적인 것이 아니라 사회적으로 구성된 것입니다.문서의 사회성에 주목하면 누가, 어떤 목적으로, 어떤 맥락/사회적 위치에서 문서를 만들었는지에 주목하게 됩니다. 다시 말해, 문서는 단순히 문서에 포함된 정보 그 이상이며, 문서가 무엇을 나타내는지, 그리고 문서가 해석되고 사용될 수 있는 무수한 방식에 관한 문제이기도 합니다. 
Documents are not neutral, they are socially constructed.7 Attending to the sociality of documents focuses attention on who created it, for what purposes and in what context/social situatedness. In other words, a document is more than the information it contains; it is also a matter of what it represents and the innumerable ways in which it might be interpreted and used.

연구자는 각 연구의 맥락에서 문서가 의미하는 바를 정의해야 합니다. Prior8는 ''문서'라는 단어는 어떤 종류의 물리적 또는 전자적 용기를 나타내는 명사로 사용되는 경향이 있지만... 어떤 대상을 문서로 표시하는 것은 그것이 담고 있는 내용이나 물리적 또는 전자적 형식이 아니라 정보의 전달자로서의 역할과 사용'이라고 주장했습니다(Briet9 및 Lund 참조).10 반면에 Ricoeur는 문서를 탐구 행위로 인해 생겨난다고 설명했습니다.6 이는 과학적 탐구에서 데이터의 정의와 더 일치하는데, 합법적인 출처의 독점 목록보다는 선택 및 분석 행위가 더 중요하다는 점입니다. 
Researchers need to define what they mean by documents in the context of each study. Prior8 argued that[T]he word “document” tends to be used as a noun to denote a physical or electronic container of some kind … however, what marks an object as a document is not what it contains nor its physical or electronic format, but its role and use as a conveyor of information—see also Briet9 and Lund.10 Ricoeur on the other hand described documents as brought into being by the act of inquiry.6 This is more consistent with a definition of data in scientific inquiry: acts of selection and analysis matter more than exclusive lists of legitimate sources.


문서 분석(DA)은 일반적으로 텍스트 및/또는 이미지가 포함된 인쇄 또는 전자 문서를 포함하는 체계적인 연구를 포괄하는 용어입니다.11 DA는 연구 참여자로부터 정보를 직접 도출하지 않으므로 참여자의 반응이나 행동 변화 가능성을 제거하므로 비교적 방해가 적습니다.12 DA는 [과거 사건에 대한 역사적 분석과 비판적 이론적 관점의 표현]에서 [정책 및 이론 개발]에 이르기까지 다양한 용도로 사용될 수 있습니다. 그러나 많은 연구에서 문서가 엄격하고 논리적인 DA 방법론을 따르기보다는 '상대적으로 조용히 '현장'에 들어왔다가 나가는'(417쪽) 경향이 있습니다.5 구어에 비해 문서 기반 데이터를 과소평가하거나 DA 연구의 수행이나 보고에 거의 관심을 기울이지 않는 연구자들에 대한 비판도 있었습니다.13-16
Document analysis (DA) is an umbrella term for systematic research involving printed or electronic documents, typically containing text and/or images.11 It is relatively unobtrusive as it does not involve the direct elicitation of information from research participants and thus removes the potential for reaction or changed behaviour from participants.12 There are many possible uses of DA, ranging from historical analyses and articulations of critical theoretical perspectives on past events to policy and theoretical development. However, rather than following rigorous and logical DA methodologies, documents in many studies have tended ‘to enter and to leave the ‘field’ in relative silence’ (p. 417).5 There has also been criticism of researchers who under-privilege document-based data compared to the spoken word or who pay little attention to the conduct or reporting of DA studies.13-16

보건 전문직 교육(HPE) 실무, 토론 및 문화의 문서화 현실에 의도적으로 조율하고 DA를 사용하는 것은 HPE 연구에서 아직 개발되지 않은 풍부한 잠재력을 가지고 있으며, 이는 다른 연구자들이 더 깊이 탐구하도록 남겨둘 문제입니다. 그러나 이 연구의 계기가 된 것은 DA가 HPE 연구에서 제대로 개발되지 않아 엄밀성과 명확성이 부족하다는 가설이었습니다. 이 가설을 탐구하기 위해 메타 연구 검토 프로세스를 채택하여17 결과보다는 방법에 비판적으로 집중할 수 있었습니다. 따라서 이 연구는 더 나은 방법을 개척하기 위한 연구를 수행하기 위한 것이었습니다.18, 19 
Deliberately attuning to the documentary reality of health professions education (HPE) practice, debate and culture and the use of DA holds a wealth of untapped potential in HPE research, a matter that we will leave others to explore in more depth. However, the trigger for this study was our hypothesis that DA has been underdeveloped in HPE research, with a resulting lack of rigour and clarity. To explore this hypothesis, we employed a meta-study review process,17 which allowed for a critical focus on methods rather than on outcomes. As such, this study was about conducting research on research to pioneer better methods.18, 19

방법론적 입장과 다양한 절차적 방법의 집합으로서 DA에 초점을 맞추기 위해 메타 방법 접근법을 채택했습니다.20 우리의 목표는 HPE 문헌에서 DA의 현재 상태를 설명하고, DA에 참여하는 연구자를 지원하는 방법을 파악하고, 우리 분야의 다른 방법과 비교할 수 있는 방법론적, 분석적, 보고의 엄격성 표준을 제안하는 것이었습니다. 이를 통해 HPE에서 문서 정보에 기반한 연구의 품질을 개선하는 데 기여하고자 했습니다. 
Given our focus on DA both as a methodological stance and as a set of various procedural methods, we adopted a meta-method approach.20 Our aims were to describe the current state of DA in the HPE literature, to identify ways to support researchers engaging in DA and to propose standards of methodological, analytical and reporting rigour comparable to other methods in our field. Collectively, we sought to contribute to improving the quality of document-informed research in HPE.

이를 위해 다음과 같은 검토 질문을 던졌습니다:
To that end, the review questions were as follows:
1. HPE 연구 논문에서 DA는 어떻게 접근해 왔습니까?
2. HPER(보건 전문직 교육 연구)에서 현재 DA 관행의 강점과 약점은 무엇인가?
3. HPER에서 DA 관행을 강화하려면 무엇이 필요한가?
4. DA를 통해 해결할 수 있는 지식의 격차는 무엇입니까?

  1. How has DA been approached in HPE research papers?
  2. What are the strengths and weaknesses of current DA practices in HPER (health professions education research)?
  3. What is needed to strengthen DA practices in HPER?
  4. What are the gaps in our knowledge that could be addressed through DA?

2 방법론
2 METHODS

DA의 방법론적 입장과 절차적 방법에 초점을 맞추다 보니 범위 검토 접근 방식을 취하게 되었을 수 있습니다. 그러나 범위 검토Scoping review는 '연구 활동의 범위, 범위 및 성격을 검토'하고 '기존 문헌의 연구 공백을 파악'할 수 있지만,21 연구 과정을 명시적으로 고려하는 메타 연구의 초점과 구체성이 부족합니다. 따라서 우리의 연구 설계는 메타 연구에서 inform되었으며,17 '실질적 영역에서 연구의 이론, 방법 및 데이터 분석을 면밀히 조사하는 분석, 그리고 새로운 지식 창출에 적용하는 마무리로 종합'(2페이지)을 포함합니다.

  • 분석과 관련하여 우리의 목표는 연구 목적으로 사용된 문서가 식별, 기술, 관리 및 분석된 방식을 종합하고 해석하는 것이었습니다. 즉, 메타 연구는 사용된 DA 방법의 인식론적 건전성(지식의 원천으로서 문서의 표현과 문서에서 도출된 지식 또는 이를 기반으로 한 지식 사이의 일치와 일관성)과 방법론적 적절성에 초점을 맞추었습니다.
  • 종합 측면에서, 우리의 목표는 특히 강점과 한계, 문헌의 동향, 우리 분야에서 DA의 수행과 보고가 어떻게 개선될 수 있는지에 중점을 두고 HPER의 DA 연구에 대한 증거에 기반한 설명에 도달하는 것이었습니다. 

Our focus on methodological stance and procedural methods in DA might have led us to take a scoping review approach. However, while scoping reviews can both ‘examine the extent, range and nature of research activity’ and ‘identify research gaps in the existing literature’,21 they lack the focus and specificity of meta-study, which explicitly considers research processes. Our study design was therefore informed by meta-study,17 which involves analysis, the scrutiny of the theory, method, and data analysis of research in a substantive area, and culminates in synthesis, an application of that scrutiny to the generation of new knowledge’ (p. 2).

  • With respect to analysis, our goal was to synthesise and interpret the ways in which documents used for research purposes had been identified, described, managed and analysed. This meant that our meta-study focused on the apparent epistemological soundness (an alignment and coherence between the articulation of documents as sources of knowledge and the knowledge that was derived from them or based upon them) and methodological appropriateness of the DA methods used.
  • In terms of synthesis, our goal was to arrive at an evidence-informed description of DA research in HPER with a particular focus on its strengths and limitations, trends in the literature and how the conduct and reporting of DA in our field might be improved.

포지셔닝
Positionality

우리는 이 연구를 수행하면서 우리가 가져온 관점에 주목합니다. 이 연구는 HPER의 방법론과 이론에 대한 지속적인 논의를 바탕으로 개발되었으며, 처음에는 DA 연구를 수행한 저희의 경험을 바탕으로 했습니다.

  • 보다 구체적으로, JC는 연구의 일환으로 문서 분석을 수행한 경험이 있고(예: Cleland 외.22, Patterson 외.23), 연구 내에서 DA를 사용한 박사 과정 학생을 감독한 경험이 있습니다(예: Coyle 외.24, Hawick 외.25).
  • AM은 문제 기반 학습 연구(To 외.26 및 MacLeod 외1)와 리더십 직무 기술서 연구(Gorsky 외.27)에서 문서를 주요 소스로 사용하고 삼각 측량을 위해 DA를 사용한 초기 연구에서 DA를 주요 소스로 사용한 경험을 가지고 있습니다. 각각의 경우 문서 소싱, 관리 및 분석 방법과 관련하여 추가 설명의 기회가 있습니다.
  • RHE는 연구의 일환으로 문서 분석을 수행한 경험이 있었는데28-30, 편집자이자 멘토로서의 다른 관점을 이 문제에 적용했습니다. 우리 자신의 DA 경험과 이 분야의 다른 사람들의 DA 작업을 읽으면서 일반적으로 DA 관행의 깊이와 엄격함을 개선하기 위해 노력했습니다. 

We note the perspectives we brought to bear in undertaking this research. The study was developed from our ongoing discussions about methodology and theory in HPER and was based initially on our own experiences in conducting DA research.

  • More specifically, JC had experience in conducting document analyses as part of her research (e.g., Cleland et al.22, Patterson et al.23) and in supervising doctoral students who used DA within their research (e.g., Coyle et al.24 and Hawick et al.25).
  • AM had experience using DA as a primary source in earlier research where documents were used both as a primary source and to triangulate in studies of Problem Based Learning (To et al.26 and MacLeod et al1) and also as an object in studies of leadership job descriptions (Gorsky et al.27). In each case, there are opportunities for further explanation with respect to how documents were sourced, managed and analysed.
  • RHE had experience in conducting document analyses as part of her research28-30 she brought other perspectives from being an editor and mentor to bear on the issue. It was both our own DA experiences and our reading of the DA work of others in the field that led us to seek to improve the depth and rigour DA practices in general.

프로세스
Process

먼저 파일럿 검색을 실시하여 잠정 검색 전략을 테스트하고, 연구 질문을 구체화하며, 검토 범위를 계획하는 데 도움을 받았습니다. 2021년 7월 15일에 익명 모드에서 ['문서 연구' 및 '의학교육']이라는 용어로 Google Scholar를 사용하여 이 파일럿 검색을 실시했습니다. 그 결과 261개의 논문이 반환되었으며, 이 중 처음 50개의 관련성을 분석하여 6개의 논문(12%)을 식별했습니다. 이를 통해 학습한 후, 2021년 7월 16일에 PubMed와 ['문서 분석' 및 '의학 교육']을 사용하여 두 번째 파일럿 검색을 수행한 결과 53개의 논문이 반환되었습니다. 관련성을 검토한 결과, 14개의 논문은 HPE와 관련이 없는 것으로 제외되었고, 39개(74%)의 논문이 신뢰할 수 있는 것으로 나타났습니다. 이는 또한 대규모 메타 연구를 실행할 수 있을 만큼 충분한 HPE 연구에서 어떤 식으로든 DA를 사용했음을 시사합니다. 
We first conducted a pilot search to test our provisional search strategy, refine our research questions and help us plan the scope of the review. We conducted this pilot search using Google Scholar in anonymous mode with the terms [‘document research’ AND ‘medical education’] on 15 July 2021. This returned 261 articles, of which the first 50 were analysed for relevance, identifying six articles (12%). Learning from this, we then conducted a second pilot search using PubMed and [‘document analysis’ AND ‘medical education’] on 16 July 2021, which returned 53 articles. Screening for relevance, 14 articles were excluded as not being relevant to HPE, leaving 39 (74%) that seemed credible. This also suggested that sufficient HPE studies had used DA in some way to render a larger meta-study viable.

전체 검색을 위해 사서와 협력하여 검색 전략을 수립했습니다. 사서의 추천에 따라 범위를 '의학교육'에서 HPE에 대한 보다 광범위한 용어로 확장하고(부록 1a-1c 참조), MEDLINE, CINAHL, Scopus 및 ERIC을 포함하도록 검색을 확대했습니다. Google Scholar는 제외되었으며, 연구에 입력된 논문의 양과 일관성을 관리하기 위해 2000년 1월부터 2021년 10월까지 발표된 영어 논문으로 검색을 제한했습니다. 전체 검색 결과 1298개의 논문이 검색되었으며, 이 단계에서 285개의 중복 논문을 제거했습니다. 그런 다음 인용문을 Excel로 가져왔습니다. 
For our full search, we worked with a librarian to create a search strategy. On their recommendation, we expanded the scope from ‘medical education’ to a set of broader terms for HPE (see Supplementary Appendices 1a1c), and we expanded the search to include MEDLINE, CINAHL, Scopus and ERIC. Google Scholar was omitted, and we limited the searches to English-language papers published from January 2000 to October 2021 as a way of managing the quantities and coherence of the papers entered into the study. This full search resulted in 1298 articles; 285 duplications were removed at this stage. Citations were then imported into Excel.

그런 다음 각 저자는 전체 텍스트를 읽기 전에 논문 그룹을 필터링하고, 라벨을 붙이고, 제목과 초록을 선별하여 포함하거나 제외한 이유에 대한 의견을 작성했습니다. 이 단계에서 의학 교육에 관한 논문이 아닌 경우, DA를 포함하지 않는 방법론이 포함된 경우, 문서를 참조했지만 해당 문서를 분석하지 않은 경우(예: 논평), 인터뷰 녹취록만 분석한 경우, 영어로 된 논문이 아닌 경우 논문을 제외했습니다. 논평이나 오피니언 기사는 DA와 관련된 내용일 경우 포함했습니다. 
Each author then took a group of articles to filter, label and make comments on why she included or excluded them on title and abstract screening, before full-text reading. At this stage, we excluded articles if they were not on healthcare education, if they involved methodologies that did not include DA, if they referred to documents but did not analyse these documents (such as in commentaries), if the analysis was only of interview transcripts or if they were not in English. We included commentaries or opinion articles when they involved some sort of DA.

파일럿 검색을 통해 얻은 인사이트를 바탕으로 연구 질문 1과 2를 해결하기 위해 데이터 추출은 다음에 중점을 두었습니다.

  • DA가 사용된 정도,
  • DA의 목적,
  • 사용된 DA 방법과 DA 적용 및 보고의 엄격성,
  • 사용된 문서의 범위와 유형,
  • 연구 질문 해결에 있어 DA의 유용성

이러한 초기 연역적 주제에 매핑된 데이터 추출 도구를 반복적으로 개발했습니다. 또한 Siegner 등이 제시한 정성적 DA의 유형을 참고했습니다.

  • 맥락(문서가 연구 질문이나 문제에 대한 관련 배경을 제공함),
  • 삼각측량(문서가 다른 데이터를 확증하는 수단으로 사용됨),
  • 1차 출처(연구용 데이터),
  • 연구 대상(사회적 맥락에서 특정 문서의 역할과 기능)

Based on the insights gained from the pilot search and to address study questions 1 and 2, data extraction focused on

  • the extent to which DA had been employed,
  • the purpose of DA,
  • the DA methods used and the rigour with which DA was applied and reported;
  • the range and types of documents used; and
  • the utility of DA in addressing the research question.

We iteratively developed a data extraction tool mapped to these initial deductive themes. We also drew on Siegner et al’s31 typology of qualitative DA:

  • contextual (documents provide relevant background on the research question or problem),
  • triangulation (documents are used as a means of providing corroborating other data),
  • primary source (the data for a study) and
  • object of the research (the role and function of a specific document in its social context).

세 명의 저자가 처음 몇 개의 논문을 코딩하고 도구로 데이터를 추출한 후, 데이터 추출 도구의 흐름과 명확성을 위해 수정한 다음 선택한 모든 논문에 적용했습니다(보충 부록 2 참조). 이 도구는 추출 데이터의 추적 및 대조가 가능하도록 Qualtrics(유타주 프로보)를 사용하여 제공되었습니다. 
Following the coding of the first few articles and data extraction into the tool by all three authors, the data extraction tool was modified for flow and clarity and then applied to all selected articles (see Supplementary Appendix 2). The tool was delivered using Qualtrics (Provo, UT) to allow for tracking and collation of extraction data.

데이터 추출이 완료되면 Qualtrics에서 리뷰를 다운로드하고 구조화된 응답을 표로 만들고 구조화되지 않은 응답을 대조했습니다. 세 팀원 모두 비정형 응답을 읽고 주요 이슈와 우려 사항을 코딩했습니다. 이 단계는 귀납적이고 해석적이며 반사적인 방식으로 진행되었으며, DA 상태에 대한 초기(선입견) 믿음을 코딩의 출발점으로 삼아 이후 데이터와의 접촉, 회의 및 토론을 통해 이러한 믿음을 지속적으로 재구성했습니다.32 
Once the data extraction was complete, the reviews were downloaded from Qualtrics, the structured responses tabulated and the unstructured responses collated. All three team members read through the unstructured responses and coded for key issues and concerns. This step was inductive, interpretive and reflexive, using our initial (preconceived) beliefs about the state of DA as the starting point for coding and reconstructing these beliefs continuously through subsequent contact with the data, meetings and discussions.32

3 결과
3 RESULTS

검색을 통해 확인된 1013개의 논문 중 898개의 논문이 포함 기준을 충족하지 못했습니다. 그 결과 115개의 논문이 리뷰에 포함되었습니다(리뷰 코퍼스를 구성하는 논문 목록은 그림 1 및 부록 3 참조). 
Of the 1013 articles identified from the search, 898 did not meet our inclusion criteria. This left 115 articles for inclusion in the review—see Figure 1 and Supplementary Appendix 3 for the list of articles that made up the review corpus.

 

56편의 논문은 의학 교육(n = 20), 보건 과학 교육 발전(n = 9), 의료 교사(n = 9), 학술 의학(n = 6), 전문직 간 진료(n = 4), BMC 의학 교육(n = 5), 의학 교육에 대한 관점(n = 3, 이 저널은 2012년까지 영어로 출판되지 않음), 그리고 다양한 간호 저널에 20편의 논문이 추가로 실렸습니다. 몇몇 논문은 의학 전문 학술지(n = 10)에, 나머지는 다양한 기타 학술지에 게재되었습니다. 2000~2010년(n = 19)에 비해 2011~2021년(n = 96)에 DA 사용을 보고한 논문 수가 크게 증가했습니다. 63편의 논문은 단일 방법(DA만)이었고, 나머지는 혼합 방법 연구(MMR)였습니다. 이 중 22개는 DA와 인터뷰, 나머지 8개는 인터뷰와 포커스 그룹을 포함했습니다. 7건은 일반적으로 인터뷰와 함께 DA 및 설문조사 데이터를 포함했습니다(DA 및 설문조사 데이터만 사용한 논문은 1건뿐). 여러 연구에서 DA, 인터뷰(개별 또는 포커스 그룹), 관찰 등 다양한 데이터 소스를 사용했습니다. 저희가 확인한 연구 중 5건은 특정 정보를 찾기 위해 문서를 면밀히 검토한 후 설명적 또는 통계적 분석을 거친 정량적 연구였습니다. 
Fifty-six articles were in HPE journals including Medical Education (n = 20), Advances in Health Sciences Education (n = 9), Medical Teacher (n = 9), Academic Medicine (n = 6), The Journal of Interprofessional Care (n = 4), BMC Medical Education (n = 5) and Perspectives on Medical Education (n = 3, note this journal did not publish in English until 2012), plus an additional 20 articles in various nursing journals. Several articles were published in medical specialty journals (n = 10), and the remainder, in diverse other journals. There was a significant increase in the number of articles published reporting the use of DA in the period 2011–2021 (n = 96) compared to 2000–2010 (n = 19). Sixty-three articles were single method (DA only), and the others were mixed methods research (MMR). Of these, 22 involved DA and interviews, and a further eight involved interviews and focus groups. Seven included DA and survey data, usually along with interviews (only one paper used DA and survey data only). Several studies used many different sources of data, such as DA, interviews (individual or focus groups) and observations. Five of the studies we identified were quantitative, scrutinising documents for specific information, which was then subject to descriptive or statistical analysis.

문서 말뭉치, 연구 목적, 방법, 연구 결과, 문서 분석의 이론 및 메타학문 측면에서 메타 연구 내러티브 종합을 보고합니다.
We report our meta-study narrative synthesis in terms of the document corpus, purposes, methods, findings and theory and metascholarship in document analyses.

문서 코퍼스
Document corpus

먼저 DA에 입력된 문서, 즉 '문서 말뭉치'(보충 부록 3)부터 시작합니다. 연구 이전에 존재했던 문서(예: 회의록 및 정책 문서)와 연구의 일부로 생산된 문서(예: 현장 노트 및 일기 항목)를 분석하는 데 한 가지 차이점이 있습니다. Charmaz33은 전자의 경우 '현존하는 텍스트'라는 용어를, 후자의 경우 '도출된 텍스트'라는 용어를 사용했습니다. 저희가 검토한 논문 중 단 2개(<2%)만이 연구에서 도출된 데이터를 사용했습니다. Voogt 등34은 정책 문서와 함께 참여자 QI 프로젝트 자료를 분석했고, Ruiz-Lopez 등35은 참여자의 저널을 분석했습니다. 인터뷰 녹취록과 같이 연구에서 생성된 데이터는 포함하지 않았습니다. 
We start with the documents that were entered into the DA; the ‘document corpus’ (Supplementary Appendix 3). One distinction was between the analysis of documents that pre-existed the research (e.g., meeting minutes and policy documents) and documents that were produced as part of a study (e.g., field notes and diary entries). Charmaz33 used the term ‘extant text’ for the former and ‘elicited text’ for the latter. Only two (<2%) of the articles we reviewed used study-elicited data. Voogt et al.34 analysed participant QI project materials (alongside policy documents) and Ruiz-Lopez et al.35 analysed participants' journals. Note that we did not count study-generated data such as interview transcripts.

둘째, 문서 선정 방법, 포함된 문서 수, 분석된 문서의 특성에 대한 정보가 광범위하게 부족했습니다. 실제로 어떤 문서가 사용되었는지(또는 왜 포함되었는지 또는 어떻게 분석되었는지) 보고하지 않은 연구도 있었습니다(예: Brosnan36).

  • 다음은 이러한 세부 사항 부족의 대표적인 예입니다: '검토 대상인 전문 규제 측면과 관련된 정책 보고서 또는 논평에 해당하는 텍스트가 포함된 경우'(731쪽).37
  • 또 다른 예로, Wong38 은 다음과 같이 언급했습니다: '이용 가능한 모든 부서 및 프로그램 문서를 검토했다'(1211쪽)고 말했지만, 문서가 무엇인지, 문서 수가 얼마나 되는지, 그 밖의 다른 내용은 설명하지 않았습니다.
  • 마찬가지로 '핵심 문서'라는 문구가 문서 포함에 대한 유일한 정당화였습니다. 그러나 이러한 핵심 문서가 무엇이고 왜 핵심 문서인지에 대한 정보가 없으면 포함된 문서의 품질이나 적절성을 평가할 근거가 없습니다. 

Secondly, there was a broad deficit of information on how documents were selected, on how many documents were included and on the characteristics of the documents analysed. Indeed, some studies did not report what documents were used (or indeed why they were included or how they were analysed, e.g., Brosnan36).

  • The following typifies this lack of detail: ‘texts were included if they constituted policy reports or commentary concerned with those aspects of professional regulation of concern to the review’ (p. 731).37 
  • As another example, Wong38 stated: ‘all available departmental and programme documents were examined’ (p. 1211) but did not describe what they were, how many there were, or anything else about them.
  • Similarly, the phrase ‘key documents’ was the only justification for document inclusion. However, without information as to what these key documents were and why they were key, there are no grounds on which to assess the quality or appropriateness of the included documents.

DA 말뭉치의 구성에 대한 세부 정보가 부족하기 때문에, 우리가 말할 수 있는 것은 다음과 같은 대략적인 범주에 속하는 문서들이 포함되었다는 것입니다:
Given the lack of detail on the makeup of the DA corpus, the most we can say is that documents approximated to the following broad categories:

  1. 단일 교육기관 커리큘럼 문서예를 들어, Hawick 등은25 내부 보고서와 회의록을 분석하여 커리큘럼 개혁의 과정을 조사했습니다.
    Single institution curricular documents. For example, Hawick et al.25 analysed internal reports and meeting minutes to examine the processes of curricular reform.
  2. 다중 교육기관 커리큘럼 문서. 예를 들어 Steven 등39은 여러 영국 의과대학의 이비인후과 커리큘럼을 분석했습니다.
    Multi-institution curricular documents. For example, Steven et al.39 analysed the otolaryngology curricula from multiple UK medical schools.
  3. 정책 및 기타 공개 문서. 예를 들어, Razack 등40은 의과대학 선택에 대한 담론 분석을 위해 의과대학 웹사이트와 국가 규제 기관의 정책 문서를 조사했습니다. 프레데릭센41은 정해진 기간 내에 출판된 의사와 간호사를 위한 교과서를 분석했습니다(논문에서 교과서에 대한 세부 정보를 제공).
    Policy and other public-facing documents. For example, Razack et al.40 examined the medical school websites and the policy documents of national regulatory bodies in a discourse analysis of medical school selection. Frederiksen41 analysed textbooks for doctors and nurses published within a defined time period (providing details of the textbooks in her paper).
  4. 학생 또는 교수진 데이터(자기 성찰, 학습 로그, 온라인 토론 등). 예를 들어, Zaidi 등42은 온라인 토론의 텍스트를 분석하여 비판적 의식을 형성하는 데 있어 기존 다문화 토론의 강점과 한계를 정의했습니다.
    Student or faculty data (self-reflections, learning logs, online discussions etc.). For example, Zaidi et al.42 analysed text from online discussions to define the strengths and limitations of existing cross-cultural discussions in generating critical consciousness.

목적
Purposes

  • Siegner 등의 유형학을 사용하여 31개의 논문에서 삼각 측량 목적으로 DA를 사용한다고 명시적으로 설명했거나, 명시적으로 설명하지 않은 경우 전체 논문을 읽은 후 문서 사용을 그렇게 해석했습니다.
    • 예를 들어, Hawick 외.25는 다음과 같이 말했습니다: '문서 분석의 목적은 다양한 데이터 소스와 방법을 사용하여 수렴과 확증을 추구하는 것이었다'.
  • 20개의 기사에서 문서가 맥락적 목적으로 사용된 것으로 보였습니다.
  • 그보다 적은 수(n = 16)의 논문이 문서를 연구 대상으로 사용했으며, 이들은 담화 분석 연구인 경향이 있었습니다.
  • 나머지 논문(n = 48)에서는 사실 또는 맥락에 대한 주요 참고 자료로 문서가 사용되었습니다(우리가 알 수 있는 한).
    • 예를 들어 보그스트롬 등43은 포트폴리오 콘텐츠를 조사하여 직업적 가치에 대한 언급을 식별하고 분석했습니다.
    • 앤더슨과 갈리아르디44는 여성 건강 커리큘럼에 대한 내용 분석을 수행하여 관련 커리큘럼 내용을 파악했습니다.
    • Waterval 등45 은 다양한 문서의 내용을 사용하여 연구 질문에 대한 정보를 얻었습니다.
  • Using Siegner et al’s typology, 31 articles either explicitly described using DA for triangulation purposes or, where this was not made explicit, on reading the full article, we interpreted their use of documents as such.
    • For example, Hawick et al.25 stated: ‘The aim of document analysis was to seek convergence and corroboration through the use of different data sources and methods’.
  • In 20 articles, documents seemed to be used for contextual purposes.
  • Fewer (n = 16) used documents as the object of the research, and these tended to be discourse analysis studies.
  • In the other articles (n = 48), documents had been used (as far as we could tell) as primary reference sources on factual or contextual matters.
    • For example, Borgstrom et al.43 examined portfolio content to identify and analyse references to professional values.
    • Anderson and Gagliardi44 conducted a content analysis of women's health curricula to identify relevant curriculum content.
    • Waterval et al.45 used the content of various documents to inform their research questions.

방법
Methods

문서에서 데이터를 추출하는 방법은 설명이 부족하고 모호한 경우가 많았습니다. 예를 들어, Sirili 등은46 탄자니아 교육 개혁의 정책 과정과 결과를 분석하는 데 사용한 문서를 명확하게 나열했습니다. 그러나 문서 데이터를 어떻게 관리하고 분석했는지에 대한 정보는 논문에서 찾아볼 수 없었습니다.

  • 35편(30%)의 논문이 내용 분석, 프레임워크 분석 또는 주제 분석을 사용했다고 보고했지만, 이는 주로 기본적인 사실이나 세부 사항을 추출하는 데 그쳤으며, 권위나 명료성에 거의 주의를 기울이지 않았고 이러한 분석 기법의 사용 간에 별다른 차이를 발견할 수 없었습니다.
  • 29개(25%) 논문은 어떤 종류의 담론 분석을 사용했다고 밝혔고, 24개(21%) 논문은 분석 접근법이나 방법론을 사용했다고 언급하지 않았습니다.

예를 들어, Fealy 외.37는 '검색된 모든 텍스트에 대해 문서 분석을 수행했다'(731페이지)고 명시했지만, 어떤 분석을 수행했는지에 대한 자세한 내용은 제공하지 않았습니다. 나머지 논문은 템플릿 분석(예: Chenot 및 Daniel47), 키워드 매칭(예: Wong 외.48) 등 다른 접근법을 사용했습니다.
How data were extracted from documents was often under-described and ambiguous. For example, Sirili et al.46 clearly listed the documents they used to analyse the policy process and outcomes of training reform in Tanzania. However, any information on how they managed and analysed the document data was lacking in the paper.

  • Thirty-five articles (30%) reported using content, framework or thematic analyses, although this was often limited to extracting basic facts or details with little attention to their authority or articulation, and we found little distinction between the use of these analytic techniques.
  • Twenty-nine (25%) articles stated that they used some kind of discourse analysis, while twenty-four (21%) did not mention having used any analysis approach or methodology.

For example, Fealy et al.37 stated ‘Documentary analysis performed on all retrieved texts’ (p. 731) but did not provide any detail of what was done. The remaining articles employed other approaches, including template analysis (e.g., Chenot and Daniel47) and keyword matching (e.g., Wong et al.48).

MMR 논문에서 대부분의 저자는 DA 사용에 대한 설명에 비해 그들이 사용한 다른 방법에 대해 훨씬 더 실질적인 설명을 제공했습니다. 예를 들어, 인터뷰와 문서를 데이터로 사용한 MMR 연구에서는 인터뷰 질문, 인터뷰 대상자, 인터뷰 횟수, 인터뷰 데이터 분석에 대해 명시적으로 설명한 반면, 문서에 대한 세부 사항(샘플링 방법 포함) 및 분석에 대한 설명은 부족했습니다. 예를 들어, 서덜랜드 등49 은 포커스 그룹의 수와 기간, 참가자 수, 포커스 그룹 데이터 분석에 대한 접근 방식을 명시했지만 문서의 수나 문서의 내용, 분석 방법에 대해서는 언급하지 않았습니다(질적 데이터 관리 소프트웨어에 문서를 입력했다고만 명시). 결과 섹션에는 문서 데이터가 제시되지 않았습니다. 다른 논문에서는 저자가 접근 방식을 구성하거나 수행한 방법을 설명하지 않고 단순히 문서 분석 접근 방식을 사용했다고 언급했습니다.
In the MMR articles, most authors provided much more substantive descriptions of the other methods they had used compared to their descriptions of using DA. For example, in MMR studies that used interviews and documents as data, the interview questions, who was interviewed, the number of interviews and interview data analysis were explicitly described, while parallel details about documents, including how they were sampled, and their analysis were lacking. To illustrate, Sutherland et al.49 specified the number and length of their focus groups, the number of participants and their approach to focus group data analysis but made no mention of the number of documents or what these were or how they were analysed (stating only that documents were entered into qualitative data management software). No document data were presented in the results section. In other articles, authors simply mentioned using a document analytic approach rather than describing how the approach was configured or conducted.

위에서 언급한 바와 같이, 29개 논문(25%)은 담화 분석 접근법을 사용했다고 명시적으로 언급했습니다. 그러나 전체 텍스트를 읽어보면 이러한 분석의 대부분은 내용 분석 또는 주제 분석으로 더 정확하게 설명할 수 있습니다. 비판적 담화 분석을 사용했다고 명시한 논문(n = 22) 중 19편이 푸코주의적 관점을 사용했으며, 이 중 16편은 같은 기관에 소속된 저자의 논문이었습니다. 담론 분석 논문에서는 대상 또는 객체와 다른 데이터와의 삼각 측량으로 처리된 문서를 검토했으며, 방법론적 지향이 명시되어 있어 엄밀성과 방법론적 일관성이 논의되고 분명했습니다.
As stated above, 29 articles (25%) explicitly stated that they took a discourse analysis approach. However, when we read the full texts, many of these analyses would be more accurately described as content or thematic analysis. Of those articles which were explicit about using critical discourse analysis (n = 22), 19 used a Foucauldian perspective and 16 of these were from authors associated with the same institution. In the discourse analysis articles, we reviewed documents that were treated as object or object plus triangulation with other data, and, as they had an explicit methodological orientation, rigour and methodological coherence was both discussed and apparent.

연구 결과 및 논의
Findings and discussions

검토한 논문 중 연구 결과의 맥락에서 문서나 그 내용을 명시적으로 설명한 논문은 거의 없었습니다. 오히려 제시된 증거는 고도로 일반화되었거나 MMR 연구의 경우 다양한 지식 주장을 설명 또는 방어하기 위해 다른 방법론적 흐름(예: 인터뷰 데이터)에서 주로 파생된 것이었습니다. 실제로 방법 섹션에서는 문헌을 언급했지만 결과나 논의에서는 명시적으로 언급하지 않은 경우도 있었습니다(예: 50). 유일한 예외는 문서가 유일한 데이터 소스인 담론 분석 기사였습니다. 고찰 섹션에서도 마찬가지로 문서의 품질, 중요성 또는 기타 특성이 연구 결과의 시사점, 추가 연구에 대한 시사점 또는 연구의 한계와 거의 고려되지 않았거나 연결되지 않았습니다. 이는 권위 있는 출처로서의 문서에 대한 신뢰도가 낮거나, 특히 MMR 연구에서 DA 스트림에 대한 연구자들의 일반적인 사각지대가 반영된 결과라고 볼 수 있습니다.
Very few of the articles we reviewed explicitly described their documents, or the content thereof, in the context of their findings. Rather, the evidence presented was either highly generalised or, in the case of MMR studies, largely derived from other methodological streams (e.g., interview data) to illustrate and/or defend their various knowledge claims. Indeed, at times documents were referred to in the methods section but not referred to explicitly in the results or discussion (e.g.,50). The only exceptions to this were the discourse analysis articles where documents were the lone data source. Similarly in discussion sections, the quality, significance or other characteristics of documents were rarely considered or linked to the implications of findings, implications for further research or limitations of the study. This suggests either a lower sense of confidence in documents as sources of authority or a further reflection of the common blind spots researchers have had regarding DA streams, particularly within MMR studies.

이론과 메타학술성
Theory and Metascholarship

대부분의 논문(담화 분석 제외)은 DA 이론이나 방법론적 문제에 대한 근거가 거의 또는 전혀 없었습니다. 대부분 DA 방법론은 이를 뒷받침하기 위해 방법론적 출처를 한두 번 인용하면서 언급되었는데, 가장 흔한 출처는 Bowen이었습니다.11 이러한 무성의함은 어떤 문서가 있는지, 문서와 관련된 연구자의 입장, DA 방법론의 도전과 논쟁 등에 대한 관심이 부족하다는 것을 반영합니다. 
Most articles (discourse analyses excepted) had little or no grounding in DA theory or methodological concerns. Mostly, DA methodology was stated with one or two citations to a methodological source to back it up, most commonly Bowen.11 This casualness reflected a lack of attention to what documents might be, the position of the researcher in relation to the documents, the challenges and debates in DA methods and so forth.

또한 담론 분석 방법을 사용하는 논문과 커리큘럼 개혁에 초점을 맞춘 논문 중 이론적 렌즈를 사용하여 분석한 논문은 소수에 불과했습니다. 예를 들어, 

  • Ellaway 등은 담화 분석을 위해 Gee의51 개념적 틀을 사용했고,
  • Razack 등은40 '푸코, 부르디외, 바흐친, 고프만의 성과 이론'을 활용했으며,
  • Hawick 등은25 데이터의 측면을 강조하기 위해 '사악한 문제' 프레임워크52 를 적용했습니다.

Moreover, only a few articles, typically but not always those employing discourse analysis methods and those focused on curriculum reform, used a theoretical lens in their analysis. For instance,

  • Ellaway et al. used Gee's51 conceptual framing for discourse analysis,
  • Razack et al.40 drew on ‘Foucault, Bourdieu and Bakhtin … and the performance theories of Goffman’, while
  • Hawick et al.25 applied the ‘wicked problem’ framework52 to highlight aspects of their data.

HPE 학자들은 학문적 연구에 더 많은 이론적 지향성을 요구해 왔으며,53 특히 그렇게 하지 않으면 연구 결과의 개념적 일반화 가능성이나 이전 가능성이 제한되기 때문입니다.54 일부 방법론이 이러한 요구에 부응했지만, 아직까지 DA에 실질적인 영향을 미치지는 않은 것으로 보입니다. 또한 DA 이론, DA 방법 또는 DA 과학 전체에 대한 기여에 대한 실질적인 고려는 거의 찾아볼 수 없었습니다. 
HPE scholars have called for more theoretical orientation to scholarly work,53 not least because not doing so limits the conceptual generalisability or transferability of findings.54 While some methodologies have responded to this call, it seems that this has not yet touched DA in any substantial way. We also note that we found almost no substantive consideration of contributions to DA theory, DA methods or DA science as a whole.

예외
Exceptions

많은 누락에도 불구하고 DA를 수용하고 이를 잘 보도한 기사도 몇 개 발견했습니다. 그 중 눈에 띄는 논문은 Sundberg 등의 논문이었습니다.55 저자들이 사용한 문서뿐만 아니라 길이를 포함한 문서의 특성을 설명하는 방식에 감사했습니다. 또한 인터뷰와 문서 모두에 사용된 분석 접근 방식을 명시하고 분석의 각 측면에 대해 인터뷰 데이터와 문서 데이터를 모두 제시했습니다. 마지막으로, 연구진은 연구 질문과 관련된 소규모 문서 코퍼스의 한계에 대해 인정했습니다. 
Despite the litany of omissions, we found some articles that had embraced DA and reported it well. One example which stood out was a paper by Sundberg et al.55 We appreciated the way the authors specified not only the documents they used but also described the characteristics of the documents, including the length. They also specified the analysis approach used for both their interviews and the documents and presented both interview and document data for each aspect of their analysis. Finally, they acknowledged possible limitations of the small corpus of documents relevant to their research question.

4 토론
4 DISCUSSION

HPE 연구 논문에서 DA는 어떻게 접근했습니까?
How has DA been approached in HPE research articles?

DA 연구에 사용된 문서는 기본 데이터 소스가 아닌 맥락적 및 삼각 측량 목적으로 자주 사용되었습니다. 즉, 대부분의 논문에서 문서를 정적이고 '유순한' 지식의 저장소로 개념화하여

  • 문서가 '무엇을 하는가'보다는
  • 문서가 무엇을 '말하는가'(내용),
  • 문서가 어떻게 말하는가를 조사했습니다.8

We found that documents in DA studies were frequently used for contextual and triangulation purposes, not as a primary data source. This meant that most articles conceptualised documents as static and ‘docile’ containers of knowledge, examining

  • what documents ‘say’ (content) and
  • to a lesser extent how they say it,
  • rather than what documents ‘do’.8 

이러한 차이점에는 연구자가 문서에 관여하는 방식에 대한 암묵적인 변증법이 존재했습니다.

  • 한편으로, 문서는 실험적으로 도출된 데이터와 유사한 방식으로 수집, 처리 및 분석되는 1차 데이터로 접근할 수 있습니다.
  • 반면에 문서는 그 내용, 표현 방식, 권위에 대한 논란이 있을 수 있으므로, 덜 비판적이거나 직접적인 방식으로 접근할 수 있으며,
  • 엄격하게 데이터로 간주되기보다는, 데이터를 성찰하는 데 사용될 수 있습니다. 

There was an implied dialectic of researcher engagement with documents in these differences.

  • On the one hand, documents may be approached as primary data that are collected, treated and analysed in similar ways to experimentally derived data.
  • On the other hand, documents may be approached in a less critical or direct way such that their content, articulation and authority are moot, and they are used to reflect on data rather than being strictly considered as data.

문서의 내용을 조사하는 것도 분명 의미가 있지만, 문서의 의미나 중요성을 이해하는 데는 문서 작성, 생산 및 소비의 사회적, 물질적 현실이 매우 중요할 수 있다고 생각합니다. 이는 문서를 다음으로 취급해야 한다는 주장을 반영한 것입니다. 

  • 자원(독자에게 특정 환경, 조직, 사건 또는 사람에 대해 알려주는 의미, 정보원)으로서,
  • 독립적인 인공물로서,56 그리고
  • 잠재적으로 여러 온톨로지를 가진 '사회적 위치의 산물'(Scott57, 34쪽)

(문서의 위치성과 수사적 위치가 어느 정도는 채택된 방법론적 틀 안에 포함되곤 하는) 담론 분석 연구는 다소 예외였다. 예를 들어, Coyle 등24 은 데이터와의 관련성 측면에서 자신의 직업적, 개인적 배경을 밝히고, 서로 다른 삶의 과정, 교육 및 훈련이 문서에 대한 해석과 이 연구의 맥락 및 초점과 관련하여 자신의 입장을 어떻게 형성했는지에 대해 지속적으로 성찰했다고 언급했습니다.
While it is clearly meaningful to investigate the content of documents, we believe the social and material realities of document authorship, production and consumption can be of critical importance in understanding their meaning or significance. This reflects arguments that documents should be treated both

  • as resources (meaning, sources of information that tell a reader about a particular setting, organisation, event or person),
  • as stand-alone artefacts,56 and
  • as ‘socially situated products’ (Scott57, p. 34) with multiple potential ontologies.

The exception, to an extent, was discourse analysis studies where the positionality and rhetorical positioning of the documents were (to some degree) included albeit within the methodological frame adopted. For example, Coyle et al.24 stated their professional and personal backgrounds in terms of relevance to the data and stated that they were continuously reflective about how their differing life courses, education and training shaped their interpretations of the documents and their positioning with respect to the study context and focus of this study.

현재 HPER의 DA 관행의 강점과 약점은 무엇인가요?
What are the strengths and weaknesses of current DA practices in HPER?

서두에서 언급했듯이, 그리고 이번 연구 결과에서 확인했듯이, DA의 활용 가능성은 매우 다양하며, 문서와 그 분석이 학술적 탐구 행위에 가치를 부여할 수 있는 이론적, 실제적 방법도 많습니다. 따라서 우리는 DA의 더 나은 사용이나 더 강력한 사용, 더 나쁜 사용이나 더 약한 사용이 있다고 말할 수 없습니다. 그보다는 DA가 사용된 연구 맥락에서 각각을 명확히 파악하고 평가해야 합니다. 이번 연구 결과는 글로벌 방법론적 규범에 따라 판단하기보다는 연구 내 공통 관심사에 초점을 맞추었기 때문에 이를 반영합니다. 
As we mentioned in our opening and as our findings confirmed, there are many possible uses for DA and many theoretical and practical ways in which documents and analyses of them might lend value to acts of scholarly inquiry. We cannot say therefore that there are better or stronger uses or worse or weaker uses of DA. Rather, each should be articulated and appraised in the study context in which it was used. Our findings reflect this, as we focused on common concerns within studies rather than seeking to judge them against global methodological norms.

예를 들어, 연구를 시작하기 전부터 우려를 했음에도 불구하고(실제로 연구로 이어지기도 했습니다), 저희는 HPER에서 DA가 얼마나 제대로 보고되지 않는지에 놀랐습니다. 물론 예외도 있지만 전반적으로 다음을 보고하는 데에 있어 큰 허점이 있었습니다.

  • 문서를 사용한 이유,
  • 문서를 식별한 방법,
  • 저자가 수행한 작업,
  • 문서에서 발견한 내용에 대한 

이는 특히 다른 방법 및 방법론에 비해 일관되게 DA를 덜 엄격하고 세부적으로 다루었거나, 적어도 덜 엄격하고 세부적으로 기술되거나 보고된 MMR 연구에서 두드러지게 나타났습니다. 이로 인해 투명성과 재현성에 대한 근본적인 문제가 발생하고 연구 결과가 의심스러워졌습니다. 부실한 보고는 문서 데이터의 '신뢰성'(예: 신뢰성 및 확인 가능성)을 평가하는 것을 불가능하게 만든다는 것은 잘 알려진 사실입니다58). MMR 연구 내의 다른 데이터 스트림에 대한 보다 실질적인 보고에 비해 반복적으로 DA 보고가 부족하다는 것은 인터뷰 기록의 주제별 분석과 비교하여 DA 방법 사용에 대한 자신감이나 역량이 부족하다는 것을 반영할 수 있습니다. 그러나 역량보다는 주의력 부족을 나타낼 수도 있습니다. 우리가 검토한 모든 논문이 각 저널에 게재되기 전에 일종의 동료 검토 과정을 거쳤으며, 그 과정에서 DA에 대한 설명이 부족하다는 지적을 받거나 수정되지 않았다는 사실이 이를 뒷받침할 수 있습니다. 따라서 이는 저자의 역량이나 집중력 때문이라기보다는 DA 학술활동에 대한 체계적인 부주의를 나타내는 것으로 보입니다. 
For instance, although we had concerns leading into the study (indeed, they led to the study), we were still surprised at how poorly DA has been reported in HPER. Of course, there are exceptions, but, overall, there are major lacunae in terms of reporting on

  • why documents were used,
  • how documents were identified,
  • what the authors did and
  • what they found from the documents.

This was particularly apparent in MMR studies where DA was consistently treated with less rigour and attention to detail compared to other methods and methodologies (or at least it was described or reported with less rigour and detail). This created a fundamental problem of transparency and replicability and rendered findings suspect. It is well established that poor reporting makes it impossible to assess the ‘trustworthiness’ of the document data (e.g., credibility and confirmability58). The recurring paucity of DA reporting compared to the more substantive reporting of other data streams within MMR studies may reflect a lack of confidence or competence in using DA methods compared to, say, thematic analysis of interview transcripts. However, it may instead indicate a lack of attention rather than competence. This would be supported by the fact that all the articles we reviewed had passed some kind of peer review process before being published in their respective journals, during which the paucity of the description of DA had not apparently been challenged or corrected. This would seem therefore to indicate a systemic inattention to DA scholarship rather than one solely of author competence or focus.

HPER에서 DA 관행을 강화하기 위해 어떤 지침이나 표준이 필요하나요?
What guidelines or standards are needed to strengthen DA practices in HPER?

DA 보고에 대한 가이드라인과 기준이 필요합니다. 우리는 이 문제에 대해 오랫동안 논의한 끝에 일련의 지침과 검토 결과를 위한 출발점으로 PRISMA(체계적 문헌고찰 및 메타분석을 위한 우선 보고 항목) 프레임워크를 활용하기로 결정했습니다.59 PRISMA는 체계적 문헌고찰 보고를 안내하기 위해 개발되었고 DA와 SR 사이에는 많은 개념적, 절차적 차이가 있지만, 문헌 출처에서 자료를 식별, 선택, 추출, 분석 및 합성하는 것과 관련하여 명확성을 제공하는 원칙은 충분히 유사하여 그 사용을 보증하기에 충분했습니다. 말뭉치에서 일련의 기사를 평가하고 범주, 언어, 필수 및 선택적 요소를 해결하여 프레임워크의 초안을 작성하고 다시 작성했습니다. 수용 가능한 수준의 안정성(새로운 문제나 도전 과제가 발견되지 않음)과 기능성(검토 말뭉치의 샘플 기사에 쉽게 적용할 수 있음)을 달성한 후 검토 및 수정 프로세스를 종료했습니다. 
Guidelines and standards for reporting DA are needed. We discussed this at length and decided to draw on the PRISMA (preferred reporting items for systematic reviews and meta-analyses) framework as a starting point for a set of guidelines as well as on the findings from our review.59 Although PRISMA was developed to guide reporting of systematic reviews and there are many conceptual and procedural differences between DA and SR, the principles of providing clarity with respect to identifying, selecting, extracting, analysing and synthesising material from documentary sources were sufficiently similar to warrant its use. We drafted and redrafted the framework based on evaluating a series of articles from the corpus, resolving categories, language and mandatory and optional elements. We ended the review and revision process once we had achieved acceptable levels of stability (no new issues or challenges were identified) and functionality (we found it easy to apply to sample articles from the review corpus).

그 결과 도출된 프레임워크는 저자가 DA 보고를 안내하고 검토자가 DA 연구의 질을 평가할 수 있도록 체크리스트 형태로 표 1에 제시되어 있습니다. 이 체크리스트인 문서 분석 평가 및 보고 체크리스트(CARDA)(그림 60)는 엄격한 DA를 촉진하고 DA의 다양한 과정을 투명하고 완전하며 정확하게 보고하여 독자가 HPER 및 기타 주제 영역에서 문서 사용 및 분석 결과의 신뢰성을 평가하는 데 도움이 되도록 설계되었습니다.
The resulting framework is presented in Table 1, in the form of a checklist for authors to guide the reporting of DA and for reviewers to guide evaluations of the quality of DA studies. This checklist—the Checklist for Assessment and Reporting of Document Analysis (CARDA) (drawing on60) - is designed to facilitate rigorous DA and transparent, complete and accurate reporting of the various processes of DA, to help readers assess the trustworthiness of the findings from document use and analysis in HPER and other subject areas.

TABLE 1. Checklist for the use and reporting of document analysis in HPER (CARDA) (drawing on Tong et al.60)

Section and topic Checklist item
Title 문서 분석과 관련된 연구를 식별합니다.
Identify the study involved in document analysis.
Abstract 방법을 혼합(방법 나열) 또는 문서 분석 전용으로 식별합니다.
Identify the methods as mixed (listing the methods) or solely document analysis.
Rationale 연구에서 문서를 사용한 근거를 설명합니다.
Describe the rationale for the use of documents in the study.
Objectives 연구 목적 또는 연구 질문에 대한 명시적인 설명을 제공합니다.
Provide an explicit statement of the research objective(s) or question(s) of the study.
Eligibility criteria 이 특정 연구에서 데이터로 문서를 포함할 수 있는 자격 기준을 지정합니다.
Specify the eligibility criteria for including documents as data in this specific study.
Document corpus 말뭉치에 있는 문서의 성격을 지정합니다:
 - 얼마나 많은 문서가 있었는지.
 - 어떤 종류의 문서가 포함되었는지(예: 지역 커리큘럼 안내서, 국가 정책 문서).
 - 문서의 매체(인쇄물, 전자 문서 등).
 - 기존 문서가 사용된 문서의 원래 목적(예: 대상 고객, 누가, 언제, 왜 작성했는가?)

사용된 모든 문서에 대한 표 또는 이에 상응하는 문서(문서에 포함하거나 부록으로 포함)를 포함합니다.


Specify the nature of the documents in the corpus:
  • How many documents there were.
  • What kinds of documents were involved (e.g., local curriculum guides and national policy papers).
  • The documents' media (print, electronic etc.).
  • The original purposes of the document where existing documents were used (e.g., Target audience. Who produced them, when and why?)
Include a table or equivalent documentation of all the documents used (either in the paper or as a supplementary table).
Document provenance 해당 문서가 
 연구 전용 문서인지, 
 데이터 수집의 일환으로 작성된 문서(예: 현장 메모 및 일기 항목) 또는 
 기존(현존하는) 문서(예: 회의록, 안내서, 정책 또는 과거 문서)인지 명시합니다.


State whether the documents were
 study-specific or
 elicited (created as part of data collection, e.g., field notes and diary entries) or 
 existing (extant) documents (e.g., meeting minutes, prospectuses, policy or historical documents).


연구와 관련된 문서인 경우 구체적으로 명시합니다:
 - 문서가 어떻게 그리고 누구로부터 도출되었는지.
 - 연구자가 작성한 것인지 참여자가 작성한 것인지. 예를 들어, 일기나 반성적 글쓰기가 사용된 경우, 참여자 대상 그룹의 근거와 텍스트 작성과 관련하여 참여자에게 제공된 지침을 설명합니다.
 - 문서가 작성된 시기와 연구의 일부로 수집된 시기(예: 2020년 1월부터 2020년 12월 말까지)를 명시합니다.

Where documents were study-specific, specify:

  • How they were elicited and from whom.
  • Whether they were researcher- or participant-created. For example, where diary entries or reflective writing are used and explain why the rationale behind the target group of participants and the guidance given to participants in respect of producing texts.
  • When the documents were created and when they were collected as part of the study (e.g., January 2020 to the end of December 2020).
기존 문서가 사용된 경우 명시합니다:
 - 문서를 식별한 방법(예: 아카이브 또는 웹사이트 검색).
 - 적절한 경우, 사용된 필터 및 제한(예: 영어만, 특정 웹사이트만)을 포함하여 문서 식별을 위한 전체 검색 전략을 제시합니다.
 - 모든 검색의 데이터 제한과 이러한 데이터 제한의 근거를 제시합니다.

Where existing documents were used, specify:
  • How the documents were identified (e.g., archives or websites searched).
  • If appropriate, present the full search strategies for document identification, including any filters and limits used (e.g., English language only and particular websites only).
  • The data limits of any searches and the rationale for these data limits.

Document collection and management 문서 입수, 관리 방법 

사용된 문서 중 공개적으로 사용 가능한 문서가 있는지, 어디서 찾을 수 있는지 보고합니다.

How documents were obtained, managed etc.


Report if any of the documents used are publicly available and where they can be found.
Document quality 문서의 '품질'과 문서 품질과 연구 목표와의 관계를 고려합니다.

기존 문서의 경우:
 문서가 완전한가? 
 문서에 공백이 있는가? 문서가 수정되었나요?
 계획보다 더 많은 검색을 수행하거나 추가 문서에 의존해야 했습니까?11
 일부 문서를 사용할 수 없거나 액세스할 수 없었는가?

도출된 문서의 경우:

 참가자들이 의도한 대로 프로세스에 참여했습니까?
 데이터가 포괄적이었습니까, 아니면 드물었습니까?
 데이터를 도출하는 데 연구자의 노력이 얼마나 필요했으며, 연구자 개입(예: 잦은 알림)의 의미는 무엇인가요?

Consider the “quality” of the documents and the relation of document quality to the study objectives.

For existing documents:

  • Were they complete?
  • Were there gaps in the documents? Were they redacted?
  • Did you need to do more searching or rely on additional documents than planned?11
  • Were some documents not available or accessible?
For elicited documents:
  • Did participants engage in the process as intended?
  • Were the data comprehensive or sparse?
  • How much researcher effort was required to elicit the data, and what might be the implications of researcher interventions (e.g., frequent reminders)?

Reflexivity/positionality (may be placed in the methods or discussion section of your paper) 연구자의 역할과 경험, DA 및 포지셔닝에 대한 경험.

문서(#8로 다시 연결되는 링크)와 연구자(들) 모두에서 포지셔닝의 잠재적 존재를 고려합니다.

Role and experience of researchers, experience in DA and positionality.


Consider the potential presence of positionalities, both in a document (links back to #8) and of the researcher(s).
Preliminary data analysis 예비 또는 정리 데이터 분석에 대한 접근 방식문서에서 데이터를 수집하는 데 사용된 방법(예: 보웬의 "1차 문서 검토"[32페이지]11, 종종 주제별 또는 내용 분석의 변형 사용)을 명시합니다.

프로세스에 자동화 도구가 사용되었는지 명시합니다(예: AntConc 및 Wordsmith).

Specify the approach to preliminary or organising data analysis, the methods used to collect data from the documents (e.g., Bowen's “first-pass document review” [p. 32]11; often using variations on thematic or content analyses).


Specify if any automation tools were used in the process (e.g., AntConc and Wordsmith).
Document analysis 어떤 방법론 또는 방법이 사용되었는지 분석 단계를 간략하게 설명하세요.

분석이 콘텐츠, 잠재적 콘텐츠, 언어학 또는 기타 문서 콘텐츠 또는 특성에 중점을 두었는지 설명하세요.

분석가가 분석 대상 문서의 콘텐츠, 스타일, 하위 텍스트 및 기타 차원에 어느 정도, 어떤 방식으로 몰입하거나 조율했나요?

이전 가능성을 보장하기 위해 이론적 렌즈를 사용했나요?

결과를 도출하기 위해 어떤 방식으로 결과를 종합했나요?

Outline the analytical steps taken—what methodology or methods were involved?


Explain whether the analysis focused on content, latent content, linguistics or some other document content or characteristics.


To what extent and in what ways did analysts immerse or attune themselves to the content, style, subtexts and other dimensions of the documents they analysed?


Was a theoretical lens used to ensure transferability?


How were findings synthesised to arrive at findings?
Results directly relate to research questions or goals 일반: 제시된 내용이 논리적 순서로 정리되어 있고 연구 질문과 일치하는지 확인합니다.
General: ensure what is presented is set out in a logical order and aligns with the research question.
Findings directly relate to DA 문맥, 삼각측량, 주요 데이터 소스 또는 연구 접근 방식의 대상 등 문서 데이터가 결과/결과의 근거가 된 방법을 명확히 설명합니다.31

따옴표를 사용하는 경우, 출판물을 참조할 때와 마찬가지로 문서에 대한 링크(예: 문서 이름 및 페이지 번호)를 제공합니다.
Clarify how the document data informed the results/findings—including whether contextual, triangulation or as the primary data source or the object of the research approach.31


If using quotes, link back to the document as you would when referencing a publication (e.g., document name and page number).
Findings are balanced 사용된 DA의 형태와 말뭉치의 성격에 따라 결과와 균형이 맞아야 합니다.

MMR에서 DA 구성 요소는 연구 전체 내에서 가중치에 따라 결과에 표시되어야 합니다.
Results and balanced and proportional to the form of DA used and the nature of the corpus


In MMR, DA component should be represented in results according to its weighting within the study as a whole
Consequences for DA methods 문서 분석이 연구에 무엇을 추가했는지 명확하게 설명해야 합니다.

연구가 DA에 무엇을 추가했나요?

DA 사용의 강점과 한계를 고려합니다.

Be clear about what the document analysis added to the study.


What did the study add to DA?


Consider the strengths and limitations of the use of DA.
DA in context 다른 DA 연구의 맥락에서 결과에 대한 일반적인 해석을 제공하세요.
Provide a general interpretation of the results in the context of other DA studies.
Overall
제공된 세부 정보가 연구를 재현하기에 충분한가?
1. 연구를 재현할 수 있는가?
2. 연구의 모든 단계를 평가하는가?

Are the details provided sufficient to
  1. reproduce the study?
  2. evaluate every stage of the study?

체크리스트의 유용성을 개선하기 위해 파일럿 테스트를 진행했지만, 추가 테스트의 여지가 있다는 점을 잘 알고 있습니다. 분명한 다음 단계는 질적 HPE 학자 및 저널 편집자와 함께 델파이 프로세스를 통해 내용을 계속 평가하고 개선하는 것입니다. 또한 DA에 종사하는 분들을 초대하여 DA 또는 혼합 방법 연구에서 CARDA의 실제 사용을 테스트해 보시기 바랍니다. 또한 다른 방법론 보고를 위한 지침과 체크리스트가 시간이 지남에 따라 발전해 온 것과 마찬가지로, 이러한 피드백이 체크리스트를 더욱 발전시키는 데 사용될 수 있다는 관점에서 학자들이 어떻게 사용했는지에 대한 토론에 참여하도록 초대합니다. 
Although we pilot-tested the checklist to refine its usability, we appreciate that there is room for further testing. An obvious next step would be to continue to assess its content and refine it, perhaps via a Delphi process with qualitative HPE scholars and journal editors. We also invite those engaging in DA to test CARDA's use in practice in DA or mixed methods research. Moreover, we invite scholars to engage in discussion about how they used it, with the view that this feedback can be used to develop the checklist further—in the same way that guidelines and checklists for reporting other methodologies have evolved over time.

DA를 사용하면 어떤 지식의 격차를 해소할 수 있을까요?
What gaps in our knowledge could be addressed using DA?

마지막 연구 질문은 DA를 통해 해결할 수 있는 지식의 격차를 파악하는 것과 관련이 있습니다. 물리적이든 물질적이든, 문서를 수동적인 정보 보유자 이상으로 개념화하면 HPER에서 데이터로서 문서가 가진 엄청난 잠재력을 활용할 수 있습니다. 예를 들어, 다양한 유형, 크기, 형태를 가진 문서는 여러 사회적 세계에 존재하고 이러한 세계 간의 커뮤니케이션을 연결하고 중재하여 여러 세계 간에 지식과 관점의 교환을 촉진하는 경계 개체 역할을 할 수 있습니다(예: 62). 즉, 주어진 텍스트가 어떻게 사용 및/또는 해석될지는 예측할 수 없습니다. 따라서 동일한 경계 개체라도 그것이 서식하는 세계에 따라 다르게 해석될 수 있습니다.

  • 예를 들어, 일련의 인증 표준은 규정 준수를 입증해야 하는 사람들을 위한 거버넌스를 구성합니다.
    • 커뮤니케이션 표준과 올바른 모양과 느낌을 준수하기 위해 인증 표준을 브랜딩하는 일을 맡은 사람들에게 이 문서는 일련의 업무 관련 작업을 수행하는 원동력이 됩니다.
    • 수십 년 후 의료 기록 보관소에서 동일한 표준을 확인하는 사람들에게 이 문서는 한 시대의 우선순위를 나타내는 역사적 지표 역할을 합니다.

문서의 여러 복잡성을 파악하면 다양한 사회적, 물질적 행위자들이 원하는 프로젝트를 달성하기 위해 어떻게 협력하는지, 또는 서로 어떻게 충돌할 수 있는지 등 HPER의 지속적인 과제를 해결할 수 있는 새로운 관점을 발견할 수 있습니다. 예를 들어, 한 세기 전 플렉스너 개혁에 대한 슈레브의63 역사적 DA는 북미 의학교육의 발전에 있어 이 중요한 사건과 이전에는 연관되지 않았던 조작과 이념적 포지셔닝의 층위를 확인했습니다. 
Our final research question related to identifying the gaps in our knowledge that could be addressed through DA. Whether physical or material, when we conceptualise a document as more than a passive holder of information, we can begin to leverage the tremendous potential of documents as data in HPER. For example, documents, of various types, sizes, and forms, can serve as boundary objects61 as they exist in multiple social worlds and serve to connect and mediate communication between those worlds, facilitating the exchange of knowledge and perspectives across them (e.g.,62). In other words, the ways in which a given text will be used and/or interpreted cannot be predicted. The same boundary object can therefore be interpreted differently, depending on the world it inhabits.

  • A set of accreditation standards, for example, constitutes governance for those who must demonstrate compliance.
    • For those tasked with branding the accreditation standards to comply with communications standards and the right look and feel, the document serves as an impetus to engage in a set of work-related tasks.
    • For those who identify with the same set of standards decades later in a medical archive, the document serves as a historical indicator of the priorities of an era.

Attuning to the multiple complexities of documents can allow us to uncover new angles to address ongoing challenges of HPER, including how the various social and material actors involved cooperate to accomplish a desired project or how they may be in conflict with each other. For example, Schrewe's63 historical DA of the Flexner reforms of a century ago identified layers of manipulation and ideological positioning that have not previously been associated with this critical event in the development of medical education in North America.

이는 자연스럽게 디지털 문서에 대한 고려로 이어집니다. 의과대학 웹페이지를 분석한 몇몇 논문을 제외하고는 검토한 논문에서 디지털 문서에 대한 언급이 눈에 띄지 않는데, 디지털 문서가 제공하는 기회 때문에 많은 사람들이 디지털 문서를 다큐멘터리 연구의 미래로 칭송해 왔습니다. 그러나 디지털 문서는 '해석 과정에서 종종 보이지 않지만 중요한 역할을 하는 물질성을 지닌 고도로 매개된 대상'(1743쪽)입니다.64 디지털 문서가 인쇄 문서와 다르다는 점을 인식하면 '형태의 후과'(96쪽)에 대해 질문할 수 있습니다. 65 매체가 중요하다면 문서를 다루는 사람들은 '디지털 텍스트의 존재론적 지위... 디지털 텍스트가 제공하는 특정한 분석적 어포던스를 논의하는 미래의 작업의 근거가 될 것'(78쪽)을 고려해야 합니다.66 문서의 물성과 그 물성이 가능하게 하는 실천 사이의 관계에 대한 추가 고려는 디지털 인문학 분야에서 찾을 수 있습니다(예: Berry와 Fagerjord67 참조).
This leads naturally to the consideration of digital documents. Conspicuously absent in the articles reviewed—other than a few articles that analysed medical school webpages—digital documents have been extolled by many as the future of documentary research because of the opportunities they offer. However, digital documents ‘are highly mediated objects with a materiality that plays a significant, if often unseen contributory role in the interpretative process’ (p. 1743).64 Recognising that digital documents are different from print documents allows us to ask about the ‘consequences of form’ (p. 96).65 If the medium is important, those working with documents need to consider ‘the ontological status of digital text … that will ground future work discussing the specific analytical affordances offered by digital texts’ (p. 78).66 Further consideration of the relationships between the materiality of documents and the practices enabled by the materiality can be found in the field of digital humanities (see, for instance, Berry and Fagerjord67).

마지막으로, '역사가들은 필연적으로 현재에 배치된 설명을 통해 과거의 행동을 이해하려고 시도한다'(71쪽).68 HPE에 있는 수많은 문서와 문서는 과거 사건을 이해하는 주요 도구이지만, 보건 전문직 교육의 역사를 다룬 논문이 현저히 부족하다는 점에 주목했습니다. 단 9건(8% 미만)의 기사만이 일부 역사적 분석 요소를 포함하고 있었으며, 대부분 프로그램에 대한 단순한 설명에 그쳤습니다. 의학의 역사를 다룬 문헌은 중요하지만(실제로 의학의 역사에 초점을 맞춘 오랜 전통의 학술지[예: 의학 및 연합 과학사 및 의학사 저널]가 여러 개 있습니다), 보건 전문직 교육 분야의 역사적 뿌리와 시간의 흐름에 따른 발전에 주목하는 연구는 거의 없다는 점은 주목할 만합니다. 이 분야는 충분히 연구할 가치가 있는 분야입니다. 
Finally, ‘historians attempt to understand past action through descriptions that are, by necessity, laid out in the present’ (p.71).68 The plethora of documents in HPE and documents are our primary tool for understanding past events, but we noted a significant absence of articles that dealt with the history of health professions education. Only nine articles (<8%) involved some element of historical analysis, and for the most part, these were simple descriptions of programs. While the literature addressing the history of medicine is significant (indeed there are several long-established journals focusing specifically on the history of medicine [e.g., Journal of the History of Medicine and Allied Sciences and Medical History], it is noteworthy that so little work in the field of health professions education attends to its historical roots and development over time. This is an area ripe for investigation.

이전 연구와의 비교
Comparison with previous research

연구 목적으로 문서의 장점을 강조한 것은 저희가 처음이 아닙니다. 또한 이를 위한 지침을 제공한 최초의 연구도 아닙니다(예: O'Leary4 및 Bowen11). 그러나 우리가 아는 한, 특정 분야 내에서 방법론적 프레임으로서 DA의 상태를 평가한 것은 이번이 처음입니다. 메타 리뷰 접근법을 사용하여 우리는 DA가 HPER에서 개념화, 제정 및 보고되는 방식에서 주요 문제를 식별할 수 있었습니다. 엄격성과 명확성이 부족한 이유 중 하나는 기존의 DA 지침이 유용하기는 하지만 '방법'에 대한 세부 사항을 충분히 제공하지 않았기 때문이라고 잠정적으로 판단했습니다. 이와 대조적으로, 본 검토의 면밀한 조사, 해석 및 비판을 통해 이전 지침(예: 오리어리4)을 기반으로 HPER 분야 및 잠재적으로 더 광범위하게 적용되는 DA의 방법론적 및 분석적 엄격성에 대한 증거에 기반한 기준을 설명할 수 있었습니다. 
We are not the first to extol the virtues of documents for research purposes. Nor are we the first to offer guidance for doing so (e.g., O'Leary4 and Bowen11). However, to the best of our knowledge, this is the first evaluation of the state of DA as a methodological frame within a particular field. Using a meta-review approach, we were able to identify major issues in how DA has been conceptualised, enacted and reported in HPER. We tentatively suggest that part of the reason for the lack of rigour and clarity is that existing DA guidance, while useful, has not provided sufficient ‘how to’ detail. In contrast, the level of scrutiny, interpretation and critique in our review allowed us to build on previous guidance (e.g., O'Leary4), to delineate evidence-informed standards of methodological and analytical rigour for DA that apply to the field of HPER and potentially more broadly.

강점과 한계
Strengths and limitations

이 연구에 접근하는 우리의 입장이 이 연구의 과정과 보고에 영향을 미칠 수밖에 없었지만, 우리는 연구 방법과 결과, 그리고 연구에서 도출한 권고안을 개발하는 데 있어 투명성을 유지하기 위해 주의를 기울였습니다. 최근 Greenhalgh 등이 권고한 바와 같이,69 우리는 체계적 문헌고찰과 서술적 문헌고찰 방법을 상호보완적으로 사용했습니다. 특히, 검색 과정에 사서를 참여시켜 데이터베이스 선택과 적격 연구를 검색하기 위한 검색 전략 개발을 지원했습니다(예: 70). 검색, 선택, 관리 및 분석에 신중하고 엄격한 접근 방식을 사용했으며 검토 방법에 대한 감사 추적을 제공했습니다.71 '문서'와 '분석'은 연구 논문에서 일반적으로 사용되는 단어입니다. 최종 데이터 세트를 얻기 위해 포함 기준에 따라 식별된 논문을 면밀히 조사해야 했으며, 다른 사람들이 동의하지 않는 내용을 유지하거나 거부하는 결정을 내렸을 수도 있습니다. 그런 다음 이론적 이해를 증진하고 새로운 질문을 식별하기 위해 식별된 연구를 비판적으로 해석하여 DA가 어떻게 사용되었는지에 대한 통찰력을 수집하는 데 집중했습니다.72 이 후자의 과정은 검토된 논문에서 종종 제공되는 데이터가 부족하기 때문에 현실과 진실에 대한 우리 자신의 이해와 '문서 경험'(1118페이지)73에 상당 부분 의존했습니다. 
Although our positionality in approaching this work will have inevitably shaped the process and reporting of this study, we were careful to be transparent in our methods and findings and in the development of the recommendations we made from the study. As recently recommended by Greenhalgh et al.,69 we used systematic and narrative review methods in a complementary manner. Specifically, we involved a librarian in the search process, to help with the selection of databases and the development of a search strategy to retrieve eligible studies (e.g.,70). We used a deliberate and rigorous approach for searching, selection, management and analysis and provided an audit trail of our review methods.71 ‘Document’ and ‘analysis’ are commonly used words in research articles. Close scrutiny of identified articles against the inclusion criteria was required to obtain the final dataset, and we may have made some decisions as to what to keep and what to reject with which others would disagree. We then focused on critically interpreting the identified studies to gather insight into how DA has been used, for the purpose of advancing theoretical understanding and identifying new questions.72 This latter process depended to a great extent on our own understandings of reality and truth and ‘document experience’ (p. 1118)73 given the paucity of data often provided in the reviewed articles.

우리는 HPER의 DA에 초점을 맞추었지만, DA 실무자에 대한 비평과 지침의 일환으로 광범위한 이론 및 절차 문헌을 활용했습니다. 이 과정에서 HPER에서 확인한 많은 강점과 약점이 다른 많은 분야에서도 발견된다는 점에 주목했습니다(예: Coffey56 참조). 우리는 DA에 대한 접근 방식에서 모범적인 분야나 학문을 발견하지 못했으며, 오히려 서로에게서 배울 점이 많은 것으로 보입니다. 
Although our focus was on DA in HPER, we engaged broader theoretical and procedural literatures as part of our critique of and guidance to DA practitioners. In doing so, we noted that many of the strengths and weaknesses we identified in HPER are also to be found in many other disciplines (for instance, see Coffey56). We found no one field or discipline that was exemplary in their approaches to DA; rather, it would seem that there is much to be learned from each other.

5 결론
5 CONCLUSION

DA는 그 자체로 연구 도구로서, 그리고 HPER에서 혼합 방법 연구의 일부로서 많은 잠재력을 가지고 있습니다. 그러나 DA가 그 잠재력을 발휘하기 위해서는 엄격성과 보고 측면에서 개선되어야 합니다. 우리는 이를 위한 지침을 제공하고 해당 분야의 학자들이 DA를 어떻게 사용하는지에 대한 토론에 참여하도록 초대하며, 궁극적으로는 우리 분야에서 의미를 이해하고 구성하는 데 문서를 더 많이, 더 잘 사용하도록 보장하는 것을 목표로 합니다.
DA has much potential as a research tool in its own right and as part of mixed methods research in HPER. However, for it to fulfil its potential, DA must improve in terms of rigour and reporting. We offer guidance for doing so and invite scholars in the field to engage in discussions about how they use DA, with the ultimate aim of ensuring more and better use of documents for understanding and constructing meaning in our field.

 


 

 

Med Educ. 2023 May;57(5):406-417. doi: 10.1111/medu.14964. Epub 2022 Nov 17.

 

 

CARDA: Guiding document analyses in health professions education research

Affiliations collapse

1Lee Kong Chian School of Medicine, Nanyang University Singapore, Singapore.

2Department of Continuing Professional Development and Medical Education, Dalhousie University, Halifax, Nova Scotia, Canada.

3Department of Community Health Sciences, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada.

PMID: 36308050

DOI: 10.1111/medu.14964

Abstract

Introduction: Documents, from policies and procedures to curriculum maps and examination papers, structure the everyday experiences of health professions education (HPE), and as such can provide a wealth of empirical information. Document analysis (DA) is an umbrella term for a range of systematic research procedures that use documents as data.

Methods: A meta-study review was conducted with the aims of describing the current state of DA in HPE, guiding researchers engaging in DA and improving methodological, analytical and reporting rigour. Structured searches were conducted, returns were filtered for inclusion and the 115 remaining articles were critically analysed for their use of DA methods and methodologies.

Results: There was a significant increase in the number of articles reporting the use of DA over time. Sixty-three articles were single method (DA only), while the others were mixed methods research (MMR). Overall, there were major lacunae in terms of why documents were used, how documents were identified, what the authors did and what they found from the documents. This was particularly apparent in MMR where DA reporting was typically poorer than the reporting of other methods in the same paper.

Discussion: Given these many lacunae, a framework for reporting on DA research was developed to facilitate rigorous DA research and transparent, complete and accurate reporting of the same, to help readers assess the trustworthiness of the findings from document use and analysis in HPE and, potentially, other domains. It was also noted that there are gaps in HPE knowledge that could be addressed through DA, particularly where documents are conceptualised as more than passive holders of information. Scholars are encouraged to reflect more deeply on the applications and practices of DA, with the ultimate aim of ensuring more substantive and more rigorous use of documents for understanding and constructing meaning in our field.

주제분석(TA)를 사용할 수 있나요? 그래야 하나요? 그러지 말아야 하나요? 성찰적 주제분석과 다른 패턴-기반 질적분석 접근(Couns Psychother Res. 2021)
Can I use TA? Should I use TA? Should I not use TA? Comparing reflexive thematic analysis and other pattern-based qualitative analytic approaches
Virginia Braun1 | Victoria Clarke2

 

1 서론
1 INTRODUCTION

완벽한 질적 분석 접근법이 기다리고 있으며, 그것만 찾아낼 수 있다면 훌륭한 질적 연구를 할 수 있을 것이라고 상상하고 싶은 유혹이 있습니다. 우리는 이러한 사고를 '신성한 방법' 퀘스트라고 부릅니다. 이러한 사고에는 특정 연구 프로젝트에 이상적으로 적합한 분석 접근법이 하나 있으며, 상담 및 심리치료 및 기타 분야에서 연구자의 임무는 그 접근법을 찾아서 사용하거나, 다른 접근법을 사용하는 경우 왜 이상적인 방법을 사용하지 않았는지 정당화해야 한다는 것입니다. 상담 및 심리치료 학생들이 주제 분석(TA)을 사용해도 되는지에 대한 질문에서 이러한 사고가 분명하게 드러나는데, 이는 다른 접근법, 일반적으로 이론, 분석 방법 및 연구 설계의 (요소) 패키지를 미리 제공하는 레디메이드 또는 '기성' 방법론(Chamberlain, 2012)을 사용해야 한다는 말을 들었을 때 발생합니다. 이러한 기성 방법론의 예로는 다음이 있습니다. 

  • 근거 이론(GT; Birks & Mills, 2015 참조),
  • 해석적 현상학적 분석(IPA; Smith et al., 2009 참조),
  • 담화 분석(DA; Willig, 2013 참조) 등

It is tempting to imagine that there is a perfect qualitative analytic approach waiting, and if you can only identify it, you will do excellent qualitative research. We refer to such thinking as a ‘hallowed method’ quest. Within such thinking, there is one analytic approach ideally suited to a particular research project, and the mission of the researcher in counselling and psychotherapy, and other fields, is to identify and use that approach or, if using another approach, justify why they did not use the ideal method. We see such thinking as evident in queries we get about whether it is ‘okay’ to use thematic analysis (TA), when counselling and psychotherapy students have been told they should instead use another approach, usually a ready-made or ‘off-the-shelf’ methodology (Chamberlain, 2012), which provides a pre-prepared package of theory, analytic method and (elements of) research design. Examples of such off-the-shelf methodologies include

  • grounded theory (GT; see Birks & Mills, 2015),
  • interpretative phenomenological analysis (IPA; see Smith et al., 2009) and
  • discourse analysis (DA; see Willig, 2013).

이러한 방법론methodologies(이론에 근거한 연구 프레임워크)은 종종 TA와 같은 방법methods(이론적으로 독립적인 도구 및 기법, 프레이밍 이론은 별도로 결정됨)보다 우월한 것으로 인식됩니다. 이는 TA가 무이론적이기 때문에 분석력과 정교함이 부족하다는 잘못된 믿음에 근거한 것으로 보입니다(Braun & Clarke, 2020).

  • [방법론]이 본질적으로 [방법]보다 더 나은 것은 아닐 뿐만 아니라(Chamberlain, 2012 참조), 서로 다른 분석 방법과 방법론이 제공할 수 있는 내용에는 종종 상당한 중복이 있습니다.
  • 우리는 이전에 각 분석이 수행되는 방식에 따라 GT, IPA, 심지어 포스트구조주의 DA1과 (반사적) TA와 같은 패턴 기반/사례 간(Yeh & Inman, 2007) 방법론의 '결과물'이 매우 유사할 가능성이 있다고 주장한 바 있습니다(Braun & Clarke, 2013).

즉, 분석 접근법을 고려하고 결정하는 것은 과일을 먹을지, 케이크 한 조각을 먹을지, 햄버거를 먹을지 결정하는 것이 아니라, 어떤 종류의 과일(사과, 오렌지, 바나나?)을 먹을지 결정하는 것과 비슷합니다.  
Such methodologies (theoretically informed frameworks for research) are often perceived as superior to methods (theoretically independent tools and techniques; framing theory is determined seperately) such as TA. This seems to be based on the mistaken belief that TA is atheoretical and thus lacks analytic power and sophistication (Braun & Clarke, 2020).

  • Not only are methodologies not inherently better than methods (see Chamberlain, 2012), but there is also often considerable overlap in what different analytic methods and methodologies can deliver.
  • We have previously argued that there is potential for great similarity in ‘output’ from pattern-based/across-case (Yeh & Inman, 2007) methodologies like GT, IPA and even poststructuralist DA1, and (reflexive) TA, depending on how each analysis is conducted (Braun & Clarke, 2013).

This means in considering and deciding on an analytic approach it is more like deciding between which type of fruit you will choose to eat (apple, orange or banana?), than deciding whether to have fruit, a slice of cake, or a burger.

저희는 연구 프로젝트에 이상적인 방법 또는 방법론이 하나만 있는 경우는 거의 없다고 생각합니다. 특정 유형의 질적 연구와 관련하여 가장 잘 알려진 접근법이라고 해서 반드시 기성 방법론을 사용해야 할 필요는 없습니다. 연구자는 때로는 개념적, 때로는 실용적, 때로는 자신이나 연구 감독자, 멘토 또는 협력자에게 친숙하고 편안한 접근 방식이기 때문에 등 다양한 이유로 분석 접근 방식을 선택합니다. 패턴화된/사례 간 의미를 탐색하는 데 관심이 있는 경우처럼 분석을 한 가지 방법으로만 다룰 수 있는 경우가 아니라면, 거의 항상 다양한 옵션이 있습니다연구자들은 '신성한 방법'을 찾아 헤맬 필요가 없습니다. 중요한 것은 사용된 방법이 프로젝트의 목적에 '적합'하고, 이론적 가정, 연구 질문 및 방법이 일치하며, 전반적인 연구 설계가 일관성이 있어야 한다는 것입니다(Willig, 2013). 이는 설계 일관성 또는 '적합성'이라는 질적 연구 설계의 일반적인 원칙을 반영한 것입니다(Braun & Clarke, 2013). Levitt 등(2017)은 유사한 개념인 '방법론적 무결성'을 제안했습니다: 
We take the view that there is rarely one ideal method—or methodology—for a research project. There is no requirement to use an off-the-shelf methodology just because it is the most well-known approach associated with a particular type of qualitative research. Researchers select analytic approaches for all sorts of reasons, sometimes conceptual, sometimes pragmatic and sometimes because an approach is familiar and comfortable—to themselves or to their research supervisor, mentor or collaborator. Unless the analysis can only be tackled in one way—which is not the case for those interested in exploring patterned/across-case meaning—there is nearly always a range of options. Researchers do not need to go on a ‘hallowed method’ quest. What is important, is that the method used ‘fits’ the project's purpose, that theoretical assumptions, research question and methods are in alignment, and that the overall research design is coherent (Willig, 2013). This reflects a general principle for qualitative research design of design coherence or ‘fit’ (Braun & Clarke, 2013). Levitt et al. (2017) proposed a similar concept of ‘methodological integrity’ to capture when:

연구 설계와 절차(예: 자동 민족지, 담론 분석)가 
 연구 목표(예: 연구 문제/질문)를 지원하고, 
 연구자의 탐구 접근 방식(예: 세계관, 패러다임 또는 철학적/인식론적 가정으로 설명되기도 하는 연구 전통)을 존중하며, 
 주제와 연구자의 근본적인 특성에 맞게 조정된 경우(9-10페이지)를 포착할 수 있습니다.

research designs
 and procedures (e.g. autoethnography, discursive analysis)
 support the research goals (i.e. the research problems/questions);
 respect the researcher's approaches to inquiry (i.e. research traditions sometimes described as world views, paradigms or philosophical/epistemological assumptions);
 and are tailored for fundamental characteristics of the subject matter and the investigators (pp. 9–10).

반사적 주제 분석 또는 다른 패턴 기반 방법/논리를 언제, 왜 사용해야 하나요?
When and why to use reflexive thematic analysis or another pattern-based method/ology?

질적 분석 기법에서 성찰적 주제 분석이 어디에 위치하는지 이해하는 것은 분석 접근 방식에 대해 알고 반사적으로 선택하고, 그러한 선택이 무엇을 축소하고 가능하게 하는지 이해하는 데 유용합니다. 이 백서에서는 재귀적 TA와 다른 패턴 기반 접근법을 비교하여 유사점과 차이점을 강조합니다. 이 백서는 상담 및 심리치료 연구자들이 다른 방법/이론 대신 성찰적 TA를 선택한 이유를 정당화하거나 설명하는 데 유용한 자료를 제공할 것이며, 실제로 성찰적 TA 대신 다른 방법/이론을 선택한 경우도 있습니다. 각 접근법이 제공하는 이점을 최종적으로 검토하면서, 상담 및 심리치료 연구자들이 성찰적 TA를 사용하는 대신 이러한 접근법을 사용할 수 있는 시기를 고려했습니다. 성찰적 TA가 항상 출발점이 되어야 한다고 생각하기 때문이 아니라, 대조에 대한 앵커 포인트를 제공하기 때문입니다. 
Understanding where reflexive TA sits in the landscape of qualitative analytic techniques is useful for making knowing and reflexive choices about analytic approaches, and appreciating what those choices curtail and enable. In this paper, we compare reflexive TA with other patterned-based approaches, to highlight similarities and differences. This paper will provide a useful resource for counselling and psychotherapy researchers for justifying or explaining why reflexive TA was chosen over another method/ology, or, indeed, another method/ology over reflexive TA. In our final weighing up of what each approach offers, we consider when counselling and psychotherapy researchers might want to use these instead of using reflexive TA. Not because we think reflexive TA should always be the starting point, but because it gives an anchor point for the contrast.

비교의 초점은 질적 데이터 세트를 구성하는 데이터 항목 또는 사례 전반의 의미 패턴 분석에 중점을 둔 다른 질적 분석 접근 방식에 있습니다. 대화 분석(예: Madill 외, 2001) 및 담화 심리학(예: Wiggins, 2016)과 같이 말의 세분화된 또는 상호 작용적인 작업을 조사하는 방법들은 상당히 다른 초점을 가지고 있습니다. 내러티브 분석과 같이 전기, 이야기 또는 삶의 스토리에 초점을 맞추는 방법도 마찬가지입니다(예: Reissman, 2008). 여기서 고려하는 접근 방식은 질적 내용분석(QCA), IPA, GT 및 (패턴 기반) DA입니다. 이 중 (반사적) TA와 마찬가지로 QCA, IPA, GT는 상담 및 심리치료 연구에서 널리 사용됩니다. DA는 덜 널리 사용되지만 중요한 질적 연구 전통을 잘 보여줍니다. 
Our focus of comparison is on other qualitative analytic approaches centred on the analysis of patterns of meaning across the data items or cases that constitute a qualitative data set. Methods that examine the fine-grained or interactional work of speech—such as conversation analysis (e.g. Madill et al., 2001) and discursive psychology (e.g. Wiggins, 2016)—have a quite different focus. As do methods that focus on biography, stories or the storied nature of life such as narrative analysis (e.g. Reissman, 2008). The approaches we consider here are qualitative content analysis (QCA), IPA, GT and (pattern-based) DA. Three of these—QCA, IPA and GT, like (reflexive) TA—are widely used in counselling and psychotherapy research. DA is less widely used but importantly exemplifies the critical qualitative research tradition.

  • 성찰적 TA와 QCA와 같은 접근법은 주로 이론적 또는 이론적으로 유연한 도구와 기법을 제공하는 방법입니다. 이러한 방법들은 특정 연구에 적용될 때 이론적 가정이 주입됩니다. 일반적으로 QCA의 경우처럼 방법론 작성자가 명시적으로 요구하지 않더라도 품질 관행을 위해서는 이론을 명시적으로 제시할 필요가 있습니다.
  • IPA, GT, DA와 같은 접근법은 연구를 위한 이론적 근거가 있고 구분된 프레임워크로서 방법론으로 생각하는 것이 가장 좋습니다. 이러한 접근법은 단순한 기법이 아니므로 방법론적 기반에서 분리하는 것은 거의 의미가 없으며, 그렇게 하면 분석 실무와 결과물이 제대로 나오지 않는 경우가 많습니다. 

 

  • Approaches like reflexive TA and QCA are primarily methods, offering tools and techniques that are either atheoretical or theoretically flexible. They become infused with theoretical assumptions when enacted in a particular study. Theory needs to be made explicit, for quality practice, even if this is not mandated by methodological authors, as is typically the case with QCA.
  • Approaches like IPA, GT and DA are best thought of as methodologies, as theoretically informed and delimited frameworks for research. They are not just techniques, so detaching them from their methodological anchors rarely makes sense, and doing so often results in poor analytic practice and outputs.

우리는 성찰적 TA와 대조적으로 이러한 다른 접근법이 제공하는 것과 연구자가 특정 방법론적 선택을 할 때 헌신해야 할 것과 제약을 받아야 할 것을 강조합니다. 그러나 먼저 성찰적 TA에 대한 접근 방식의 특징과 그것이 속한 TA 방법군에 대해 논의함으로써 이러한 비교를 맥락화합니다. 
We highlight what these different approaches offer, in contrast to reflexive TA, and what researchers need to commit to, and be constrained by, in making a particular methodological choice. But first we contextualise these comparisons by discussing the characteristics of our approach to reflexive TA and the family of TA methods to which it belongs.

반사적 주제 분석과 주제 분석 방법군
Reflexive thematic analysis and the thematic analysis family of methods

TA는 상담 및 심리치료 연구와 그 밖의 다른 분야에서 한 가지 절차로 이루어진 단일 방법으로 오해되는 경우가 많습니다(Clarke & Braun, 2018). 그러나 TA는 몇 가지 공통점이 있지만 근본적인 연구 가치, 핵심 구성 요소의 개념화 및 분석 절차에서 상당한 차이가 있는 방법의 계열로 간주하는 것이 가장 좋습니다(Fugard & Potts, 2020). TA 접근법은 일반적으로

  • 코딩에 대한 귀납적(데이터 중심) 및 연역적(이론 중심) 방향의 가능성을 인정하며,
  • 의미론적(명시적 또는 명시적) 및 잠재적(암묵적, 잠재적, 반드시 무의식적일 필요는 없음) 의미를 잡아내고,
  • 코딩과 주제 개발 과정을 인정하며,
  • 연구를 구성하는 이론에 대한 유연성의 잠재력을 인정한다.

TA is frequently misunderstood in counselling and psychotherapy research, and elsewhere, as a singular method with one set of procedures (Clarke & Braun, 2018). However, it is best thought of as family of methods (Fugard & Potts, 2020), with some characteristics in common but also significant divergences in underlying research values, the conceptualisation of core constructs and analytic procedures. TA approaches typically acknowledge

  • the potential for inductive (data-driven) and deductive (theory-driven) orientations to coding,
  • capturing semantic (explicit or overt) and latent (implicit, underlying; not necessarily unconscious) meanings,
  • processes of coding and theme development, and
  • the potential for some flexibility around the theory that frames the research. 

우리는 TA 방법을 크게 세 가지 유형으로 분류했습니다(Braun et al., 2019): 
We have categorised TA methods into three broad types (Braun et al., 2019):

  1. 코딩 신뢰성 접근법(예: Boyatzis, 1998; Guest 외., 2012)은 초기 주제 개발을 포함하며 코딩을 주제에 대한 증거를 식별하는 과정으로 개념화합니다. 주제는 일반적으로 특정 주제 또는 데이터 수집 질문과 관련하여 참가자가 가장 빈번하게 언급한 내용을 요약 또는 개괄한 주제 요약으로 이해되며, 연구자의 분석 작업 이전에 데이터에 존재하는 실체로 이해됩니다. 코딩 신뢰성 접근법은 코딩 프레임 또는 코드북을 중심으로 구조화된 코딩 접근법을 사용하며, 일반적으로 여러 코더가 독립적으로 작업하여 코딩 프레임을 데이터에 적용해야 합니다. 연구자의 주관성은 코딩 신뢰성에 잠재적인 위협이 될 수 있는 '편향'으로 개념화됩니다. 이러한 위협은 여러 코더를 사용하여 코더 간의 '합의' 수준을 측정하고, 높은 수준의 합의가 신뢰할 수 있는 코딩과 같다는 가정 하에 합의를 통해 최종 코딩을 결정함으로써 관리할 수 있습니다. 
    Coding reliability approaches (e.g. Boyatzis, 1998; Guest et al., 2012) involve early theme development and conceptualise coding as a process of identifying evidence for themes. Themes are typically understood as topic summaries—summaries or overviews of the most frequent things participants said in relation to a particular topic or data collection question—and as entities that reside in data, pre-existing any analytic work on the part of the researcher. Coding reliability approaches use a structured approach to coding centred around a coding frame or codebook, and typically require multiple coders working independently to apply the coding frame to the data. Researcher subjectivity is conceptualised as ‘bias’, a potential threat to coding reliability. This threat is managed through the use of multiple coders, measuring the level of ‘agreement’ between coders, with the assumption that a high level of agreement equals reliable coding, and determining final coding through consensus.
  2. 성찰적 접근법(예: Braun & Clarke, 2006, 2019a; Hayes, 2000)은 테마는 코드에서 개발되고, 중심 조직 개념에 의해 뒷받침되는 공유된 의미의 패턴으로 개념화하여, 나중에 테마를 개발하는 방식을 포함합니다(Braun et al., 2014). 테마 개발에는 연구자의 상당한 분석 및 해석 작업이 필요합니다. 테마는 표면적으로 서로 다른 것처럼 보이는 데이터를 포함할 수 있지만, 이러한 테마는 암묵적 또는 잠재적 의미를 통합합니다. 테마는 연구자와 분리되어 존재할 수 없으며, 연구자가 이 과정에 가져오는 모든 것(예: 연구 가치, 기술, 경험 및 훈련)에 의해 매개되는 데이터 참여를 통해 연구자에 의해 생성됩니다. 코딩 프로세스는 비정형적이고 유기적이며, 연구자의 데이터에 대한 이해가 깊어짐에 따라 코드가 진화할 수 있는 잠재력을 가지고 있습니다. 코딩은 본질적으로 주관적인 과정으로 인식되며, 연구자는 자신의 가정과 이러한 가정이 어떻게 코딩을 형성하고 구분할 수 있는지에 대해 성찰하기 위해 노력하는 반성적 연구자가 필요합니다. Atlassian의 반성적 접근 방식에는 익숙해지기, 코딩하기, 초기 테마 생성하기, 테마 검토 및 개발하기, 테마 다듬기, 정의 및 이름 짓기, 작성하기의 6가지 재귀적 단계가 포함됩니다.
    Reflexive approaches (e.g. Braun & Clarke, 2006, 2019a; Hayes, 2000) involve later theme development, with themes developed from codes, and conceptualised as patterns of shared meaning underpinned by a central organising concept (Braun et al., 2014). Theme development requires considerable analytic and interpretative work on the part of the researcher. Although themes might encompass data that on the surface appears disparate, such themes unite implicit or latent meaning. Themes cannot exist separately from the researcher—they are generated by the researcher through data engagement mediated by all that they bring to this process (e.g. their research values, skills, experience and training). The coding process is unstructured and organic, with the potential for codes to evolve to capture the researcher's deepening understanding of the data. Coding is recognised as an inherently subjective process, one that requires a reflexive researcher—who strives to reflect on their assumptions and how these might shape and delimit their coding. Our reflexive approach involves six—recursive—phases of: familiarisation; coding; generating initial themes; reviewing and developing themes; refining, defining and naming themes; and writing up.
  3. 코드북 접근법(예: King & Brooks, 2018; Ritchie & Spencer, 1994)은 [성찰적 TA의 질적 연구 가치][코딩에 대한 보다 구조화된 접근법(초기 주제 개발 및 코딩 신뢰성 TA의 특징인 주제 요약으로서의 주제 개념화)]를 결합한 것입니다. 그러나 일반적으로 응용 연구에 사용하기 위해 개발된 코드북 접근법은 코딩의 신뢰성과 정확성을 결정하기 위한 목적이 아니라 발전하는 분석을 도표화하거나 매핑하기 위해 코드북을 사용합니다. 이는 팀원 각자가 데이터 세트의 서로 다른 부분을 코딩하여 팀워크를 촉진하고, 정해진 기한에 맞춰 분석을 효율적으로 전달하며, 미리 정해진 정보 요구를 충족하는 등 실용적인 이유에서 주로 사용됩니다.
    Codebook approaches (e.g. King & Brooks, 2018; Ritchie & Spencer, 1994) combine the qualitative research values of reflexive TA with the more structured approach to coding, early theme development and the conceptualisation of themes as topic summaries characteristic of coding reliability TA. However, codebook approaches—typically developed for use in applied research—use a codebook not for the purposes of determining the reliability and accuracy of coding but to chart or map the developing analysis. This is often for pragmatic reasons such as facilitating teamwork, with each member of the team coding different parts of the data set, efficient delivery of analysis to a fixed deadline and meeting predetermined information needs.

이 유형 외에도 쉬운 분류를 거부하고 여러 유형의 요소를 결합한 TA 접근법, 심리치료 과정 연구를 위해 특별히 개발된 '주제 분석' 버전 등 다양한 유형이 있습니다(예: 마이어 외., 2008). 
There is variation beyond this typology—with TA approaches that defy easy categorisation and combine elements from the different types; there are also versions of ‘theme analysis’ developed specifically for psychotherapy process research (e.g. Meier et al., 2008).

세 가지 유형의 TA는 코딩 신뢰성에서 반사적 접근에 이르기까지 하나의 연속체를 이루는 것으로 개념화할 수 있습니다.

  • 코딩 신뢰도 TA(포스트)실증주의2 연구 가치에 의해 뒷받침되는 질적 도구와 기법을 사용하는 '작은 q' 질적(Kidder & Fine, 1987)이라고 불리는 것을 예시합니다(Ponterotto, 2005 참조). 이러한 가치관은 일반적으로 정량적 연구를 뒷받침하는 가치관이며, 객관적이고 일반화 가능하며 신뢰할 수 있고 복제 가능한 지식을 이상적으로 강조합니다.
  • 반면, 성찰적 TA는 질적 연구를 단순히 도구와 기법으로 개념화하는 것이 아니라 질적 가치 프레임워크 내에서 이러한 도구와 기법의 사용을 포함하는 '빅 큐' 질적 연구(Kidder & Fine, 1987)를 예시합니다. 이러한 이유로 Big Q 질적 연구를 '완전 질적' 연구(즉, 기법과 가치 모두에서 질적인 연구)라고 부르기도 합니다. 질적 연구 가치는 쉽게 정의할 수 없지만, 일반적으로 연구자의 주관성을 연구 자원으로, 의미와 지식을 부분적, 위치적, 맥락적이라고 개념화하는 것을 포함합니다(Braun & Clarke, 2013). 

The three different types of TA can be conceptualised as occupying a continuum, from coding reliability to reflexive approaches.

  • Coding reliability TA exemplifies what has been dubbed ‘small q’ qualitative (Kidder & Fine, 1987)—the use of qualitative tools and techniques underpinned by (post)positivist2 research values (see Ponterotto, 2005). These are the values that typically underpin quantitative research and emphasise objective, generalisable, reliable and replicable knowledge as ideal.
  • Reflexive TA, by contrast, exemplifies ‘Big Q’ qualitative (Kidder & Fine, 1987)—where qualitative research is not merely conceptualised as tools and techniques but as involving the use of these within a qualitative values framework. For this reason, Big Q qualitative is sometimes termed ‘fully qualitative’ research (i.e. research that is qualitative both in techniques and values). Although qualitative research values are not easily defined, they typically include a conceptualisation of researcher subjectivity as a resource for research and of meaning and knowledge as partial, situated and contextual (Braun & Clarke, 2013).

TA는 상담 및 심리치료 연구에서 흔히 사용되는 현상학적 또는 경험적 질적 연구 전통에 속하는 것으로 이해되는 경우가 많습니다(Morrow, 2007). 이 전통은 참여자의 주관적 경험과 의미 만들기에 대한 탐구에 중점을 둡니다(Braun & Clarke, 2013; Willig, 2013). 많은 코딩 신뢰성 및 코드북 저자들은 이러한 전통에 따라 TA의 버전을 포지셔닝합니다(예: Guest et al., 2012).

TA is often understood as belonging to the phenomenological or experiential qualitative research tradition, common in counselling and psychotherapy research (Morrow, 2007). This tradition is centred on the exploration of participants’ subjective experiences and sense-making (Braun & Clarke, 2013; Willig, 2013). Many coding reliability and codebook authors position their versions of TA within this tradition (e.g. Guest et al., 2012). 

그러나 일부 성찰적 및 코드북 TA 저자(예: Clarke & Braun, 2014; King, 2012)는 또 다른 연구 전통, 즉 비판적 질적 연구의 전통을 인정합니다. 비판적 전통은 종종 사회적으로 내재된 의미 패턴과 그 함의 및 효과에 대한 의문에 초점을 맞춘 포스트구조주의(예: Gavey, 1989) 및 구성주의3(예: Gergen, 2015) 이론적 틀과 연관됩니다(Clarke & Braun, 2014 참조). 포스트구조주의와 구성주의(예: 내러티브 치료 및 연구, Lainson 등, 2019 참조)의 영향을 받은 연구와 실천이 일부 존재하지만, 상담 및 심리치료 연구에서는 비판적 질적 전통이 잘 확립되어 있지 않습니다(Ponterotto 등, 2017). 

However, some reflexive and codebook TA authors (e.g. Clarke & Braun, 2014; King, 2012) acknowledge another research tradition—that of critical qualitative research. The critical tradition is often associated with poststructuralist (e.g. Gavey, 1989) and constructionist3 (e.g. Gergen, 2015) theoretical frameworks, focusing on the interrogation of socially embedded patterns of meaning and the implications and effects of these (see Clarke & Braun, 2014). The critical qualitative tradition is less well established in counselling and psychotherapy research (Ponterotto et al., 2017), although there are pockets of research and practice informed by poststructuralism and constructionism (e.g. narrative therapy and research, see Lainson et al., 2019).

주제 분석과 질적 내용분석의 차이점은 무엇인가요?
What are the differences between thematic analysis and qualitative content analysis?

TA와 QCA는 종종 혼동되어 혼용되는 경우가 많은데, QCA는 아마도 TA와 가장 유사한 분석 접근 방식일 것입니다(Vaismoradi 외., 2013). 이 두 방법의 차이점은 부분적으로 TA와 QCA를 어떻게 정의하느냐에 따라 달라집니다. TA에 대한 접근 방식이 하나만 있는 것이 아니듯, QCA에 대한 접근 방식도 하나만 있는 것은 아닙니다. 또한 TA가 종종 (암묵적으로) 단일한 접근법으로 제시되는 것처럼(예: Vaismoradi 외., 2016; Vaismoradi & Snelgrove, 2019), QCA도 마찬가지입니다(예: Burla 외., 2008). '한 가족의 형제자매로서 다양한 유형의 TA'라는 비유를 확장하면(Fugard & Potts, 2020), TA와 QCA를 각각 많은 자녀를 둔 두 개의 관련 '핵가족'으로 상상하는 것이 유용합니다. 각 가족 내에는 많은 차이가 있으며, 두 가족 사이에는 많은 연결 지점과 약간의 차이가 있습니다. 
TA and QCA are often confused and conflated; QCA is probably the analytic approach most like TA (Vaismoradi et al., 2013). How these two methods differ in part depends on how both TA and QCA are defined. Just as there is no one approach to TA, there is no one approach to QCA. Moreover, just as TA is often (implicitly) presented as a singular approach (e.g. Vaismoradi et al., 2016; Vaismoradi & Snelgrove, 2019), so too is QCA (e.g. Burla et al., 2008). Extending the ‘different types of TA as siblings in a family’ analogy (Fugard & Potts, 2020), it is useful to imagine TA and QCA as two related ‘nuclear families’, each with lots of children. There is lots of variation within each family, and lots of points of connection, and some differences, between the two families.

QCA는 아마도 양적 버전에서 발전했을 것입니다.Mayring(2000; 그러나 Hseih & Shannon, 2005 참조)은 20세기 중반에 내용분석에 대한 질적 접근법의 발전을 설명했습니다(예: Kracauer, 1952). QCA는 종종 질적 데이터에서 주제를 식별하는 방법으로 설명되며(예: Cho & Lee, 2014; Hseih & Shannon, 2005; Vaismoradi 외., 2016), 일부 연구자들은 그들의 접근 방식을 '주제별 내용분석'이라고 부르기도 합니다(예: Brewster 외., 2014). QCA에 대한 일부 정의는 (일반적으로) TA와 유사한 방법을 설명합니다. 예를 들어, Hsieh와 Shannon(2005)은 TA에 대한 일반적인 정의를 작성했을 수 있습니다: 
QCA probably developed from quantitative versions4—Mayring (2000; but see Hseih & Shannon, 2005) described the development of qualitative approaches to content analysis in the middle of the twentieth century (e.g. Kracauer, 1952). QCA is often described as a method for identifying themes in qualitative data (e.g. Cho & Lee, 2014; Hseih & Shannon, 2005; Vaismoradi et al., 2016), and some researchers even label their approach ‘thematic content analysis’ (e.g. Brewster et al., 2014). Some definitions of QCA describe a method that is like TA (in general). For example, Hsieh and Shannon (2005) could have been writing a generic definition of TA:

질적 내용 분석은 단순히 단어 수를 세는 것을 넘어, 대량의 텍스트를 유사한 의미를 나타내는 효율적인 수의 범주로 분류하기 위해 언어를 집중적으로 조사하는 것입니다(Weber, 1990). 이러한 범주는 명시적 의사소통 또는 추론적 의사소통을 나타낼 수 있습니다 [...] 질적 내용 분석은 주제나 패턴을 코딩하고 식별하는 체계적인 분류 과정을 통해 텍스트 데이터의 내용을 주관적으로 해석하는 연구 방법이라고 정의됩니다(1,278쪽). 
Qualitative content analysis goes beyond merely counting words to examining language intensively for the purpose of classifying large amounts of text into an efficient number of categories that represent similar meanings (Weber, 1990). These categories can represent either explicit communication or inferred communication […] qualitative content analysis is defined as a research method for the subjective interpretation of the content of text data through the systematic classification process of coding and identifying themes or patterns (p. 1,278).

이 정의에는 코딩 및 주제 개발 과정(TA에서와 마찬가지로 QCA에서도 주제에 대한 널리 합의된 정의는 없지만), 명시적(의미론적) 의미와 추론적(잠재적) 의미, 연구자 주관성의 중심성 등이 포함됩니다. 연구자의 주관성을 강조하는 것을 제외하면, 이러한 특징들은 다양한 출처에서 QCA의 주요 특징입니다(예: Burla et al., 2008; Cho & Lee, 2014; Forman & Damschroder, 2008; Vaismoradi et al., 2013). 다른 일반적인 특징으로는 귀납적 접근법연역적 접근법(또는 일반적 접근법과 지시적 접근법) 또는 이 둘의 조합을 모두 사용할 수 있다는 점이 있습니다(예: Cho & Lee, 2014; Hseih & Shannon, 2005). 실제로 일부 QCA 저자들은 '주제 분석' 또는 TA가 QCA의 다른 이름일 뿐이라고 주장하기도 합니다(Schreier, 2012). 일반적인 수준에서 보면 TA와 QCA를 구분하는 것은 거의 없는 것 같습니다. 그러나 TA 접근 방식에 따른 차이는 QCA가 코드북 및 코딩 신뢰성 TA와 가장 많이 겹친다는 것을 의미합니다.

  • QCA에 대해 널리 합의된 절차는 없지만, 대부분의 저자는 코드북 또는 코딩 프레임의 사용을 강조하며(예: Burla et al., 2008; Forman & Damschroder, 2008; Schreier, 2012),
  • 일부는 여러 독립 코더 사용 및 코더 간 일치도 측정과 같은 코딩 신뢰성을 보장하고 입증하기 위한 관행을 논의합니다(예: Burla et al., 2008; Forman & Damschroder, 2008).

이와는 대조적으로, 성찰적 TA는 연구자에게 절차 및 기본 연구 가치 측면에서 완전히 질적인 접근 방식을 제공하는 것으로 보입니다. 
This definition includes reference to processes of coding and theme development (although, as in TA, there is no widely agreed on definition of a theme in QCA), explicit (semantic) and inferred (latent) meaning, and the centrality of researcher subjectivity. With perhaps the exception of an emphasis on researcher subjectivity, these are key features of QCA in many different sources (e.g. Burla et al., 2008; Cho & Lee, 2014; Forman & Damschroder, 2008; Vaismoradi et al., 2013). Other common features include the possibility of using both inductive and deductive (or conventional and directed) coding approaches, or a combination of the two (e.g. Cho & Lee, 2014; Hseih & Shannon, 2005). Indeed, some QCA authors argue that ‘theme analysis’ or TA is just another name for QCA (Schreier, 2012). At the general level, there does seem to be little that separates TA and QCA. However, the variation across TA approaches means QCA overlaps most with codebook and coding reliability TA.

  • Although there is no one widely agreed on set of procedures for QCA, most authors emphasise the use of a codebook or coding frame (e.g. Burla et al., 2008; Forman & Damschroder, 2008; Schreier, 2012) and
  • some discuss practices to ensure and demonstrate coding reliability such as using multiple independent coders and measuring inter-coder agreement (e.g. Burla et al., 2008; Forman & Damschroder, 2008).

In contrast, reflexive TA does seem to offer the researcher a distinct approach, one that is fully qualitative in terms of both its procedures and the underlying research values.

QCA는 일반적으로 방법론이라기보다는 하나의 방법으로 제시되지만(Cho & Lee, 2014), 이론적 토대는 거의 논의되거나 인정되지 않습니다. 실제로 QCA와 TA의 주요 차이점 중 하나는 QCA가 이론적으로 유연하기보다는 무이론적인 것으로 암묵적으로, 때로는 명시적으로 제시된다는 점입니다(Forman & Damschroder, 2008).

  • 이러한 포지셔닝에도 불구하고, (포스트)실증주의 이론적 가정은 연구자 주관을 최소화하고 코딩의 '정확성'을 극대화하기 위해 코더 간 일치도 계산과 같은 품질 측정을 사용하여 분석에 도입되는 경우가 많습니다.
  • 이론적 토대가 인정되는 경우, 일반적으로 (포스트)실증주의 또는 현실주의(또는 '사실주의') 유형에 속합니다(Vaismoradi 외., 2013).

QCA의 이러한 무이론적 위치 때문에 QCA는 설명적 분석만을 위한 방법으로 여겨지기도 하고(Cho & Lee, 2014; Vaismoradi 외., 2013), 따라서 질적 분석 접근법 중 (가장 해석적 접근법이라고 주장하는 GT나 해석적 현상학(예: Vaismoradi 외., 2013)에 비해) 가장 해석적이지 않은 것으로 여겨지기도 합니다. 이 때문에 QCA는 종종 질적 분석 초보자가 접근하기 쉽지만 상대적으로 정교하지 않은 '입문용' 방법(Vaismoradi 외., 2013)으로 인식되는 경우가 많습니다(TA도 종종 잘못 표현되는 것처럼). 
Although QCA is commonly presented as a method rather than a methodology (Cho & Lee, 2014), theoretical underpinnings are rarely discussed or acknowledged. Indeed, one major difference between QCA and TA seems to be that QCA is often implicitly and sometimes explicitly presented as atheoretical, rather than theoretically flexible (Forman & Damschroder, 2008).

  • Despite such positioning, (post)positivist theoretical assumptions are often imported into the analysis through the use of quality measures like calculating inter-coder agreement and a concern to minimise researcher subjectivity and maximise the ‘accuracy’ of coding.
  • If theoretical underpinnings are acknowledged, it is usually of the (post)positivist or realist (or ‘factist’) variety (Vaismoradi et al., 2013).

The atheoretical positioning of QCA is perhaps why it is often thought of as a method for only producing descriptive analyses (Cho & Lee, 2014; Vaismoradi et al., 2013) and—thus—as the least interpretive of the qualitative analytic approaches, compared to what some claim are the most interpretive approaches, such as GT or interpretive phenomenology (e.g. Vaismoradi et al., 2013). This is perhaps why QCA is often framed as a ‘starter’ method (Vaismoradi et al., 2013), accessible for qualitative beginners, but relatively unsophisticated (as TA is often also misrepresented as).

TA와 QCA는 정량적 내용분석에서 병렬적으로 발전한 것으로 보이며 버전에 따라 어느 정도 겹치는 부분이 있는데, 이를 별개의 방법으로 간주하는 것이 유용할까요? 서로 다른 용어를 사용하면 명확해지나요, 아니면 불필요하게 혼란스럽고 복잡해지나요? 저희의 견해는 후자 쪽에 가깝지만, 이 두 가지 방법이 모두 확고하게 자리 잡았기 때문에 어느 쪽도 사라지지는 않을 것입니다. 그렇다면 왜 TA 대신 QCA를 선택해야 할까요? 이는 아마도 각 방법이 더 많은 '신뢰도' 또는 수용성을 지니고 있으며 특정 상황에서 더 널리 사용되기 때문에 상황에 따라 크게 달라질 수 있습니다. 만약 여러분의 접근 방식이 (포스트)실증주의적/'작은 q'적이라면, 두 가지를 구분할 필요가 거의 없습니다. 하지만 - 이것은 중대한 '하지만'이다 - 우리는 질적 분석이 무이론적이라는 (암묵적인) 포지셔닝에 문제가 있습니다. 연구자의 목적이 무엇이든, 분석에는 항상 이론적 가정과 선택이 수반되기 때문에 질적 분석은 무이론적일 수 없습니다(Ponterotto et al., 2017). 일반적으로 TA 문헌에는 이론적 토대에 대한 논의가 있기 때문에(때때로 제한적이고 때로는 문제가 되기도 하지만), 우리는 어떤 형식을 사용하든 QCA보다 TA를 사용하고 분석의 이론적 근거에 대해 논의할 것을 옹호합니다. 이론적으로 유연한 TA의 프레임워크는 이론을 피할 수 없음을 의미합니다(이론적으로는! - Braun & Clarke, 2020 참조). 또한, 우리는 작업 대상인 '콘텐츠'보다는 '주제', 즉 무엇을 얻고자 하는지에 초점을 맞추는 것을 선호합니다. 전자(contents에 초점을 두는 것)는 데이터 분석에 대해 '진실은 거기에 있다'는 식의 추출적 성향을 불러일으킬 위험이 있습니다(Braun & Clarke, 2016).  
As TA and QCA seem to be parallel developments from quantitative content analysis, and more or less overlap (depending on the version), is it useful to consider them distinct methods? Does having different terms clarify, or does it just confuse and complexify, unnecessarily? Our view tends towards the latter, but as both branches of this family of methods are now firmly established, neither will disappear. So why might you choose QCA over TA? This probably largely depends on context, as each method carries more ‘cachet’ or acceptance and is more widely used in certain contexts. If your approach is more (post)positivist/small q, there is little to distinguish between the two. But—and this is a big but—we are troubled by the (implicit) positioning of QCA as atheoretical. Qualitative analysis cannot be atheoretical—no matter what a researcher's purpose, analysis always involves theoretical assumptions and choices (Ponterotto et al., 2017). Because there is usually some discussion of theoretical underpinnings within the TA literature (albeit at times limited, and sometimes problematic), we therefore advocate for using TA over QCA—whichever form you use, and for discussing the theoretical bases of the analysis. The framing of TA as theoretically flexible means theory cannot be avoided (in theory! - see Braun & Clarke, 2020). Furthermore, we prefer the focus on ‘themes’—what you're aiming to get to—rather than ‘content’—what you're working with. The latter risks evoking an extractive, ‘the truth is in there’ orientation to data analysis (Braun & Clarke, 2016).

주제별 분석과 해석적 현상학적 분석의 차이점은 무엇인가요?
What are the differences between thematic analysis and interpretative phenomenological analysis?

다양한 현상학적 접근법(예: Finlay, 2011; Paley, 2017)이 있으며, 특히 적어도 1980년대부터 현상학적 연구에 사용되어 온 TA(예: Dapkus, 1985)가 가장 대표적인 접근법입니다. 여기서 IPA에 초점을 맞추는 이유는 잘 발달된 방법론적 지침과 함께 상담 및 심리치료 연구에서 점점 더 널리 사용되고 있기 때문입니다(McLeod, 2011). 방법론으로서 IPA는 다음을 지정합니다:

  • (a) 지침이 되는 이론적 틀(현상학 - 이 버전에서는 인간이 세계를 경험하고 이해하는 방식을 이해하고 해석하는 데 광범위하게 관련됨),
  • (b) 특정 맥락에서의 개인적 경험과 의미 만들기에 초점을 맞춘 연구 질문,
  • (c) 작고 동질적인 목적 표본의 사용,
  • (d) 개인 경험에 대한 일인칭 설명을 수집하기 위한 인터뷰 사용(예: Smith et al., 2009; Smith & Osborn, 2007; Spiers & Riley, 2019).

There are a wide variety of phenomenological approaches (e.g. Finlay, 2011; Paley, 2017), not least TA, which has been used in phenomenological research since at least the 1980s (e.g. Dapkus, 1985). We focus on IPA here because it is increasingly widely used in counselling and psychotherapy research, with well-developed methodological guidance (McLeod, 2011). As a methodology, IPA specifies:

  • (a) a guiding theoretical framework (phenomenology—which in this version is broadly concerned with understanding and interpreting how human beings experience and make sense of the world);
  • (b) research questions focused on personal experience and meaning-making in a particular context;
  • (c) the use of small, homogenous purposive samples; and
  • (d) the use of interviews to collect first-person accounts of personal experience (e.g. Smith et al., 2009; Smith & Osborn, 2007; Spiers & Riley, 2019). 

그러나 1990년대에 처음 소개되었을 때와 달리 IPA가 발전함에 따라 데이터 수집 방법에 대한 다양성이 증가하고 있습니다(예: 포커스 그룹 데이터를 분석하는 데 IPA를 사용하는 것에 대한 논의가 있었습니다; Palmer et al., 2010). 성찰적 TA에서와 마찬가지로 연구자의 주관성은 IPA의 기본 자원입니다. 실제로 IPA 연구는 근본적인 인간의 행위로 묘사되어 왔습니다:

  • '인간이 하는 일을 하는 것일 뿐입니다. 좀 더 세밀하게 하고, 좀 더 꾸준히 하고 있지만, 그럼에도 불구하고 연구 과정에서 일어나는 본질적으로 인간적인 과정입니다'(Smith, 2019, 171쪽).

There is, however, increasing variation around data collection methods as IPA has evolved from when it was first outlined in the 1990s (e.g. there has been some discussion of using IPA to analyse focus group data; Palmer et al., 2010). As in reflexive TA, researcher subjectivity is a fundamental resource for IPA. Indeed, IPA research has been described as a fundamentally human practice, it is:

  • ‘merely doing what human beings do. OK, it's doing it in more detail, it's doing it more steadfastly, but nonetheless, it's an essentially human process that is happening in the research's endeavour’ (Smith, 2019, p. 171).

방법/방법론의 문제 외에도, 성찰적 TA와 IPA 사이에는 두 가지 중요한 차이점이 있습니다.

  • 첫 번째는 IPA는 [사례(참여자) 전반에 걸쳐 주제를 식별하는 주제적 방향]과 [각 사례의 구체적이고 고유한 세부 사항에 관심을 갖고 집중하는 개별 사례적 접근]이라는 이중 분석적 초점을 통합한다는 점입니다.
  • 둘째, 이러한 개별 사례적 초점과 부분적으로 관련이 있는데, IPA 절차는 TA 절차와는 다소 다릅니다:
    • IPA는 사례 전반에 걸쳐across 주제를 개발하기 전에 각each 사례의 분석에 세부적으로 초점을 맞추는 것을 포함합니다(Braun & Clarke, 2013).
    • 이는 전체 데이터 세트의 코딩한 다음, 코드에서 사례 전반의across 테마를 개발하는 재귀적 TA의 테마 개발과는 상당히 다릅니다.
    • IPA는 데이터 세트 전체에 걸쳐 주제를 개발하기 위해 전반적인 주제 방향을 잡기 전에 각 데이터 항목에 대해 훨씬 더 깊이 또는 더 깊이 분석합니다. 각 인터뷰 기록은 순차적으로 전체 분석되며, 분석 노트는 기록 자체에 이상적으로 기록되어 각 참가자 이야기의 고유한 특징에 대한 상세하고 면밀한 참여를 유도합니다.

Beyond the method/ology question, there are two important differences between reflexive TA and IPA.

  • The first is that IPA incorporates a dual analytic focus: both a thematic orientation—the identification of themes across cases (participants)—and an idiographic approach—interest in and focus on the particular and unique details of each case.
  • Second, related in part to this idiographic focus, IPA procedures are rather different from TA procedures:
    • IPA involves a detailed focus on the analysis of each case, before developing themes across cases (Braun & Clarke, 2013).
    • This is quite different from theme development in reflexive TA, where themes are developed across cases from codes, following the coding of the entire data set.
    • IPA goes analytically much deeper or further with each data item, before taking an overall thematic orientation to develop themes across the data set. Each interview transcript is analysed in full, sequentially, and analytic notes are ideally recorded on the transcripts themselves, encouraging detailed and close engagement with the unique features of each participant's account.

IPA 프로세스는 데이터에 상세한 노트를 작성하는 '초기 노팅'로 시작됩니다. 이러한 주석은 TA에서와 같이 설명적(의미론적)이며 참가자의 명시적 의미에 가깝거나, 개념적(잠재적)이며 연구자의 관점에서 참가자의 세계관에 대한 해석을 반영할 수 있습니다. IPA에서 초기 노팅의 또 다른 측면은 언어 사용에 초점을 맞추는 것입니다: Smith 등(2009)은 은유뿐만 아니라 '대명사 사용, 멈춤, 웃음, 언어의 기능적 측면, 반복, 어조, 유창성 정도(명료하거나 머뭇거림)'(88쪽)에도 주의를 기울일 것을 권장했습니다. 은유에 초점을 맞추면 연구자가 더 많은 개념적 의미를 파악하는 데 도움이 될 수 있습니다. IPA에서 언어는 사람들이 생각하고 느끼는 것을 반영하고 전달하는 것으로 가정하는데, 이는 DA 및 기타 비판적 질적 접근법에서 언어가 이론화되는 방식과 크게 다릅니다(Willig, 2013 참조). 이러한 초기 노트는 연구자가 성찰적 TA의 첫 번째 단계에서 작성하는 익숙화 메모와 유사하지만, 일반적으로 더 형식화되고 체계적이며 상세합니다.
The IPA process begins with ‘initial noting’: writing detailed notes on the data. These comments can, like in TA, be descriptive (semantic) and stay close to the participants’ overt meanings, or conceptual (latent) and reflect an interpretation of the participant's worldview from the standpoint of the researcher. An additional aspect of initial noting in IPA is a focus on language use: Smith et al. (2009) encouraged attention to ‘pronoun use, pauses, laughter, functional aspects of language, repetition, tone, degree of fluency (articulate or hesitant)’ (p. 88) as well as metaphor. A focus on metaphor may help the researcher to grasp more conceptual meanings. In IPA, language is assumed to reflect and communicate what people think and feel, which differs profoundly from how language is theorised in DA and other critical qualitative approaches (see Willig, 2013). These initial notes are similar to the familiarisation notes the researcher makes in the first phase of reflexive TA, but they are generally more formalised, systematic and detailed.

다음 단계는 동일한(한 명의) 참가자를 대상으로 '출현(또는 귀납적) 주제'를 개발하는 것입니다(이는 반사적 TA의 코드와 다소 유사합니다. Braun & Clarke, 2013 참조). 떠오르는 주제들 간의 연관성을 찾는 과정을 통해 해당 참가자와 관련된 '상위 주제'를 개발하게 되는데, 이는 재귀적 TA의 주제와 다소 유사하지만, 떠오르는 주제와 연결된 공통된 의미를 가진 주제 요약에 더 가깝다고 할 수 있습니다.
The next step involves the development of ‘emergent (or inductive) themes’ for the same participant (these are somewhat akin to codes in reflexive TA, see Braun & Clarke, 2013). A process of searching for connections across emergent themes leads to the development of ‘super-ordinate themes’ related to that participant—these are somewhat akin to themes in reflexive TA, but can be more like topic summaries, with shared meaning connected to emergent themes.

이 과정은 각 인터뷰마다 반복됩니다. 마지막으로 연구자는 모든 참가자를 위한 상위 주제 목록을 개발합니다. 이러한 '마스터 테마'는 일반적으로 분석의 구조와 조직을 제공하며, 세부적으로 보고되는 것은 출현 주제입니다. 출현 주제와 상위 주제와 관련하여 IPA에서 주제가 개념화되는 방식은 (TA처럼) 지저분messy합니다.

  • 때때로 제시된 테마는 '주제 요약'과 유사하며, 이는 특히 상위 종속 테마에서 분명해 보입니다.
  • 다른 경우에는 테마가 중심 개념을 중심으로 구성된 의미 기반 패턴을 보고하는 것처럼 보이기도 합니다.

This process is then repeated for each interview. Finally, the researcher seeks to develop a list of super-ordinate themes for all of the participants. These ‘master themes’ typically provide structure and organisation for the analysis; what is reported in detail are the emergent themes. The way themes are conceptualised in IPA, both in relation to emergent and super-ordinate themes is—like with TA—messy.

  • Sometimes, themes presented are akin to ‘topic summaries’—this seems particularly evident for super-ordinate themes.
  • Other times, themes appear to report meaning-based patterns organised around a central concept.

영국의 심리학자 스미스를 비롯한 주요 저자들의 IPA에 대한 간략한 요약과 방법론적 설명은 '교과서' 버전의 IPA라고 할 수 있으며, 이들의 경험적 연구(예: Eatough & Smith, 2010; Rhodes et al., 2019; Smith & Osborne, 2007)를 통해 그 예시를 확인할 수 있습니다. 이는 더 넓은 연구 커뮤니티에서 IPA를 제정하는 방식과는 다소 다를 수 있습니다(TA와 마찬가지로; Braun & Clarke, 2020 참조). IPA는 아주 작은 표본을 대상으로 TA를 수행하는 방법으로 자주 사용되며, 참가자의 의미 결정에 대한 더 넓은 사회적 맥락을 거의 고려하지 않는 다소 '가벼운' 설명적 분석을 생성하는 데 사용되는 것 같습니다. 이러한 사용은 TA와 IPA의 잠재력을 모두 충족시키지 못합니다. 이러한 평가는 비단 우리만의 생각은 아닙니다. IPA 방법론가들은 IPA가 자주 사용되는 방식에 대해 비판적이었으며(예: Brocki & Wearden, 2006; Larkin 외, 2006; Smith, 2011), 특히 'Personhood의 구성적 근거'로서 사회 세계를 무시하는 것에 대해 비판적이었습니다(예: Chamberlain, 2011; Parker, 2005). IPA의 이러한 (잘못된) 사용이 의미하는 바는 IPA의 '산출'이 현상학적 TA의 산출과 거의 같을 수 있지만, 일반적으로 표본이 더 작다는 것입니다. 그러나 이러한 접근 방식은 달라야 합니다. 
Our brief summary of IPA, and methodological descriptions by key authors, including British psychologist Smith, could be called the ‘textbook’ version of IPA and is exemplified by their empirical work (e.g. Eatough & Smith, 2010; Rhodes et al., 2019; Smith & Osborne, 2007). This can be rather different from how IPA is enacted by the wider research community (much like with TA; see Braun & Clarke, 2020). It seems to us that IPA is quite often used as a method for doing TA on very small samples, and to produce rather ‘light’ descriptive analyses that show little regard for the wider social context of participants’ sense-making. Such use fails the potential of both TA and IPA. We are not alone in this assessment. IPA methodologists have been critical of the way IPA is often used (e.g. Brocki & Wearden, 2006; Larkin et al., 2006; Smith, 2011), and particularly the neglect of the social world as the ‘constituent ground of personhood’ (Larkin et al., 2011, p. 324), as have those less sympathetic to IPA (e.g. Chamberlain, 2011; Parker, 2005). What this (mis)use of IPA means is that the ‘output’ of an IPA can be little different from the output of a phenomenological TA, but usually with a smaller sample. But these approaches should be different.

Spiers와 Riley (2019)는 성찰적 TA와 IPA를 모두 사용하여 47 명의 GP와 인터뷰 한 데이터 세트에서 서로 다른 분석을 생성하는 것을 반영하는 데있어 이례적입니다. TA는 전체 데이터 세트를 분석하는 데 사용되었습니다(비판적 현실주의6 이론적 틀 내에서, IPA의 철학적 토대에 부합하고 귀납적 방향과 의미론적 의미에 초점을 맞추기 위해). IPA는 '인구통계적으로 동질적인'(278페이지) 10개의 인터뷰 하위 집합을 대상으로 실시되었습니다. 저자들은 TA는 폭이 넓고 IPA는 깊이가 있다고 제안했지만, IPA의 경우 표본이 작아 각 인터뷰에 더 깊이 참여할 수 있었고(분석에 시간을 할애하는 것은 우리가 강조하는 부분입니다, Braun & Clarke, 2021), 잠재적 의미에 초점을 맞추면 TA 분석이 'IPA처럼 보이는'(284쪽) 결과를 낳았을 것이라는 점을 인정했습니다. 그들은 데이터를 읽고 해석하는 방식에서 분석 방향을 전환하는 데 어려움을 겪었지만, IPA와 TA가 '방법으로서 잘 작동한다'고 결론지었습니다(287쪽).  
Spiers and Riley (2019) are unusual in providing a reflection of using both reflexive TA5 and IPA to produce different analyses from one data set of interviews with 47 GPs living with distress. TA was used to analyse the full data set (within a critical realist6 theoretical framework, to align with the philosophical underpinnings of IPA and with an inductive orientation and focus on semantic meaning). An IPA was conducted on a ‘demographically homogenous’ (p. 278) subset of 10 interviews. The authors suggested their TA produced breadth, while the IPA produced depth, but acknowledged that the smaller sample for the IPA allowed for more in-depth engagement with each interview (taking time over analysis is something we emphasise, Braun & Clarke, 2021), and that a focus on latent meaning would have resulted in a TA analysis ‘that looked more like IPA’ (p. 284). They noted difficulty in shifting analytic orientation in terms of how they were reading and interpreting the data, but concluded that IPA and TA ‘work well together as methods’ (p. 287).

연구자가 한 가지 접근법만 사용하고 광범위한 경험적 또는 현상학적 연구를 수행한다고 가정할 때, 언제 IPA 대신 반사적 TA를 사용하는 것이 합리적일까요? IPA의 요구사항이나 초점이 연구에 잘 맞지 않을 때는 IPA 대신 TA를 사용하는 것이 좋습니다. 예를 들어 TA를 사용하는 경우는
Assuming a researcher is just using one approach, and conducting a broadly experiential or phenomenological study, when might it make sense to use reflexive TA instead of IPA? We recommend TA instead of IPA when the requirements or focus of IPA are not well met by a study. For instance:

  • [연구 질문]이 (단지) 개인적인 경험과 감각이 아닌 다른 것에 초점을 맞추고 있는 경우.
  • [데이터 소스]는 인터뷰 또는 개인적인 경험과 감각에 대한 심층적인 1인칭 설명을 수집하는 방법 이외의 다른 것입니다.
  • [샘플]상대적으로 크거나(즉, N = 10보다 큼), (다양성을 포착하는 것이 목적일 때와 같이) 이질적인 경우입니다(Fassinger, 2005).
  • [분석의 초점]은 개별 사례의 고유한 특징보다는 데이터 세트 전반의 주제를 식별하는 데에만 맞춰져 있습니다.
  • 연구에 실무에 대한 명확한 시사점이 있는 '실행 가능한 결과'가 필요하기 때문에(Sandelowski & Leeman, 2012), 분석을 '주제별 진술'(공유된 의미 기반 주제)로 구성해야 합니다.
  • [분석적 관심]은 개인적 경험이 더 넓은 사회문화적 맥락에서 어떻게 위치하는지에 있습니다.
  • The research question is focused on something other than (just) personal experience and sense-making.
  • The data source is something other than interviews or another method that gathers in-depth first-person accounts of personal experience and sense-making.
  • The sample is relatively large (i.e. larger than N = 10) and/or heterogeneous—such as when the aim is to capture diversity (Fassinger, 2005).
  • The analytic focus is solely on identifying themes across the data set, rather than also on the unique features of individual cases.
  • The need for the research to have ‘actionable outcomes’ with clear implications for practice (Sandelowski & Leeman, 2012) requires organising the analysis into ‘thematic statements’ (shared meaning-based themes).
  • The analytic interest is on how personal experiences are located within wider socio-cultural contexts.

주제별 분석과 근거 이론의 차이점은 무엇인가요?
What are the differences between thematic analysis and grounded theory?

GT는 원래 1960년대에 미국의 사회학자 Glaser와 Strauss에 의해 개발되었는데, 이 시기는 질적 연구가 지금처럼 다양한 방법으로 확립된 개념이 아니었던 시기였습니다(Charmaz & Thornberg, 2020). GT 개념과 관행은 질적 탐구 전반에 걸쳐 많은 아이디어에 영향을 미쳤으며, 때로는 암묵적으로(때로는 포화 개념처럼 정당화할 만한 근거 없이) 영향을 미치기도 했습니다(Braun & Clarke, 2019b). Glaser와 Strauss(1965, 1967)는 사회학 이론을 경험적 증거에 근거한 연구 접근법을 확립하는 것을 목표로 삼았습니다(Charmaz & Thornberg, 2020). 초기의 근거 이론은 오늘날 질적 연구를 위한 대규모 표본과 데이터 수집 및 분석의 동시 프로세스를 포함하는 광범위한 범위였습니다.

  • 예를 들어, 최소 9가지 유형의 병동 또는 서비스에 대해 2~4주 동안 관찰하는 등 6개 병원에서 실시한 집중적인 현장 연구, Glaser와 Strauss(1967, 289쪽)의 '간호학생의 죽음과의 만남에 대한 광범위한 인터뷰 데이터' 또는 Charmaz(1983)의 73개 인터뷰 등이 있습니다.

GT was originally developed by US sociologists Glaser and Strauss in the 1960s—at a time when qualitative research was not the established concept with a vast range of methods it has become (Charmaz & Thornberg, 2020). GT concepts and practices have gone on to influence many ideas across qualitative inquiry, often implicitly (and sometimes without good justification—such as in the pervasive concept of saturation; Braun & Clarke, 2019b). Glaser and Strauss (1965, 1967) aimed to establish an approach to research that grounded sociological theories in empirical evidence (Charmaz & Thornberg, 2020). Early grounded theories were broad in scope, involving what would now be regarded as large samples for qualitative research, and concurrent processes of data collection and analysis.

  • For instance, intensive fieldwork at six hospitals, including observations lasting two to four weeks on at least nine different types of wards or services, and ‘extensive interview data on nursing students’ encounters with death’ in Glaser and Strauss (1967, p. 289) or 73 interviews in Charmaz (1983).

초기 GT의 절차와 가정은 실증주의에 대한 글레이저의 헌신과 인간의 행동과 상호작용을 통한 의미와 사회 질서의 창조에 관한 사회학 이론인 상징적 상호작용주의에 대한 스트라우스의 관심을 모두 반영한 것으로 보입니다(Charmaz, 2014). 글레이저와 스트라우스는 지적으로 분열되어 각자의 GT 버전을 개발했습니다(예: 글레이저, 1992; 스트라우스 & 코빈, 1990). 그들의 박사 과정 학생들 중 일부, 특히 Charmaz(2014)도 자신만의 GT 버전을 개발했습니다. 심리치료 과정 연구를 포함한 특정 분야에서 사용하기 위해 개발된 변형도 있습니다(Rennie, 2006). 이처럼 다양한 버전의 GT가 존재하기 때문에 성찰적 TA와 GT의 차이점을 파악하는 것은 매우 복잡합니다.7  
The procedures and assumptions of early GT arguably reflected both Glaser's commitment to positivism and Strauss’ interests in symbolic interactionism, a sociological theory concerned with the creation of meaning and social order through human actions and interactions (Charmaz, 2014). Glaser and Strauss split intellectually and developed their own versions of GT (e.g. Glaser, 1992; Strauss & Corbin, 1990). Some of their PhD students, most notably Charmaz (2014), have also developed their own versions of GT. There are also variants developed for use within specific fields including psychotherapy process research (Rennie, 2006). Identifying the differences between reflexive TA and GT, then, is complex, because there are so many different versions of GT.7

많은 근거 이론가들은 GT가 사회적 과정과 같은 특정 유형의 연구 질문과 특정 현상에 영향을 미치고, 뒷받침하고, 형성하는 요인에 초점을 맞춰야 한다고 주장합니다(Charmaz, 2014). 그러나 연구자들은 훨씬 더 다양한 연구 질문을 다루기 위해 GT를 사용하는 경향이 있으며, 상담 및 심리치료 연구에서는 종종 실제 경험에 초점을 맞춘 질문이 이에 해당합니다(예: Lillie, 2006). 인터뷰는 데이터 수집의 일반적인 방법이지만 민족지학적 현장 작업/관찰 방법, 2차 자료(예: 정부 문서, 미디어 자료), 질적 조사, 일기, 사진 및 비디오 등 다양한 데이터 수집 기법을 사용할 수 있습니다(Charmaz, 2014 참조). 
Many grounded theorists argue that GT should be focused on particular types of research questions—such as social processes, and the factors that influence, underpin and shape particular phenomena (Charmaz, 2014). However, researchers tend to use GT to address a much wider variety of research questions—in counselling and psychotherapy research this is often questions focused on lived experience (e.g. Lillie, 2006). Interviewing has been the typical method of data collection, but a wider range of data collection techniques is possible, such as ethnographic field work/observational methods, secondary sources (e.g. Government documents, media items), qualitative surveys, solicited diaries, photographs and videos (see Charmaz, 2014).

Glaser(1992)의 실증주의적 반복에서 Charmaz(2014)의 구성주의적 재작업에 이르기까지 다양한 GT 버전은 서로 다른 이론적 토대를 가지고 있으며 분석 절차에서도 대부분 사소한 차이가 있습니다. 이러한 버전에 걸쳐 GT 분석 프로세스는 다양한 단계 또는 '수준'의 코딩을 포함합니다(Birks & Mills, 2015).

  • 일반적으로 초기 또는 '개방형'(줄 단위) 코딩에서
  • 보다 '선택적', '통합적' 또는 '집중형'(더 광범위하고, 더 높은 수준, 더 추상적이고, 해석적이거나 개념 지향적인) 코딩으로 이동한다.

Ranging from Glaser’s (1992) positivist iteration to Charmaz’s (2014) constructivist re-working, the various versions of GT have different theoretical underpinnings; there are also mostly minor divergences in analytic procedures. Across these versions, the GT analytic process generally involves different stages or ‘levels’ of coding—

  • moving from initial or ‘open’ (line-by-line) coding
  • to more ‘selective’, ‘integrative’ or ‘focused’ (broader, higher level, more abstract, interpretive or conceptually oriented) coding (Birks & Mills, 2015).

근거 이론가들은 코드, 개념, 범주를 구분하는데(이 용어들은 종종 혼용되어 사용되기도 함), '범주'는 성찰적 TA의 '주제'에 느슨하게 매핑됩니다. 일반적으로 GT의 결과물은 핵심 개념/카테고리 또는 때때로 계층적으로 관련된 개념/카테고리의 클러스터입니다. 코딩의 후반 단계, 특히 카테고리 개발을 목표로 하는 코딩은 재귀적 TA의 주제 개발 프로세스에 광범위하게 매핑됩니다. 그러나 GT는 TA처럼 두 가지 '수준'의 분석(코드/테마) 사이에 명확한 전환이 없는 것으로 보이는데, 이와 달리 성찰적 TA에서는 코드에서 테마가 개발되는 것이 명확하다. 
Grounded theorists distinguish between codes, concepts and categories (these terms are also often conflated in use)—categories loosely map onto themes in reflexive TA. Generally, the output of a GT is a core concept/category and/or cluster of sometimes hierarchically related concepts/categories. The later stages of coding, and particularly coding aimed at category development, broadly map onto theme development processes in reflexive TA. However, GT does not seem to have such a clear sense of transition between two ‘levels’ of analysis (codes/themes) as TA has—something particularly evident in reflexive TA where themes are developed from codes.

[라인별 코딩] 및 [지속적인 비교 분석]과 같은 근거 이론가들이 개발한 코딩 전략은 종종 TA에 기인하는 경우가 많으며, GT는 영향력이 있습니다(Charmaz & Thornberg, 2020). 우리는 때때로 성찰적 TA 내에서 이러한 전략의 옹호자로 묘사되지만, 우리는 그렇지 않습니다(Braun & Clarke, 2020). 이와는 대조적으로 Charmaz(2014)는 줄 단위 코딩을 사용하는 것이 GT를 '일반적인 주제 분석'과 구별하는 요소라고 지적했습니다(125쪽). 라인별 코딩은 세분화된 코딩부터 데이터의 모든 라인에 대한 코드 생성까지 다양한 의미를 가지며(Charmaz, 2014), 데이터를 청크로 분할하거나 구문 분석하기 전에 선행될 수 있습니다(Pidgeon & Henwood, 1996). 
GT is influential, with coding strategies developed by grounded theorists—such as line-by-line coding and constant comparative analysis—often attributed to TA (Charmaz & Thornberg, 2020). We are sometimes described as advocates of these strategies within reflexive TA, which we are not (Braun & Clarke, 2020). Charmaz (2014), in contrast, noted that the use of line-by-line coding is precisely what distinguishes GT from a ‘general thematic analysis’ (p. 125). Line-by-line coding has different meanings—from fine-grained coding to generating a code for every line of data (Charmaz, 2014)—and can be preceded by segmenting or parsing the data into chunks (Pidgeon & Henwood, 1996).

어떤 의미가 적용되든, 반사적 TA에서는 코딩이 다르게 접근됩니다. 

  • 분석을 위해 데이터를 세분화할 필요가 없고,
  • 모든 데이터(라인)에 코드를 적용할 필요는 없으며,
  • 연구의 목표와 목적에 따라 필요한 만큼 세밀하게 또는 거칠게 코딩할 수 있습니다.

'지속적인 비교 분석'은 데이터를 이해하고 효과적으로 코딩하고 분석하기 위해 [데이터 비트와 다른 데이터 비트, 코드와 코드, 범주와 범주]를 비교하는 전략을 효과적으로 일컫는 복잡한 이름입니다(Birks & Mills, 2015). 넓은 의미에서 모든 형태의 질적 데이터 분석은 예를 들어 데이터의 특정 부분이 이 코드 또는 저 코드로 가장 잘 코딩되는지, 또는 이 프로세스 또는 저 프로세스의 증거인지 등을 고려하는 것을 포함한다. 그렇기에 일반적으로 좋은 질적 분석에서는 지속적인 비교 분석으로 캡슐화된 '아이디어'가 핵심입니다. 그러나 명명되고 체계화된 기법으로서 지속적인 비교 분석은 특히 GT와 관련이 있습니다.
Whichever meaning applies, coding is approached differently in reflexive TA:

  • data do not need to be segmented for analysis,
  • not all data (lines) need to have codes applied, and
  • coding can be as fine grained or as coarse as is required to address the aims and purpose of the research.

‘Constant comparative analysis’ is a complex name for what is effectively a strategy of comparing bits of data with other bits of data, codes with codes and categories with categories, in order to make sense of the data, and code and analyse it effectively (Birks & Mills, 2015). In the broadest sense, all forms of qualitative data analysis involve consideration of whether a specific segment of data is, for example, best coded with this code or that code, or evidence of this or that process, and so on—making the ‘idea’ encapsulated by constant comparative analysis core in good qualitative practice generally. But as a named and systematised technique, constant comparative analysis is specifically associated with GT.

완전히 실현된 GT는 종종 GT 전체를 포괄하고 설명하는 핵심 범주와 핵심 범주와 관련된 다양한 하위 범주를 개발하는 데 중점을 둡니다(Birks & Mills, 2015). GT는 현재 'GT-lite'라는 축약된 형태로 자주 사용됩니다(Braun & Clarke, 2006, 2013).

  • 코딩 및 범주화, 메모 작성, 지속적인 비교 분석과 같은 GT의 필수 절차가 많이 사용되지만, 샘플은 종종 GT와 관련된 '최대 변동' 샘플보다는 더 작고 상대적으로 균질한 경향이 있습니다(Fassinger, 2005).
  • GT 라이트 버전에서는 데이터 수집과 분석이 반드시 동시에 이루어지는 것은 아닙니다.
    • Charmaz와 Thornberg(2020)는 최근 데이터 수집과 분석의 동시 진행이 GT의 특징이라고 강조했습니다(즉 '이론적 샘플링'의 활용을 통해 분석과 함께 샘플이 개발되는 것. 이 때 개발 중인 분석이 지속적인 참여자 선정에 정보를 제공하는 것).
  • GT의 샘플링 및 분석 개발과 관련된 핵심 개념인 포화(이론적 샘플링/데이터 수집이 중단되는 시점으로 광범위하게 정의됨)는 데이터 수집이 '새로운 인사이트를 생성하지 않는' 시점으로 축소되는 경우가 많습니다(Braun & Clarke, 2019b). '포화도'는 (세부적인 동시 데이터 분석보다는) 데이터 수집 중 연구자의 데이터에 대한 느낌에 따라 결정되는 경우가 많습니다.
    • 반면 초기 GT이론적 포화는 범주의 속성과 범주 간의 관계가 충분히 설명되어 근거 이론이 나올 수 있는 시점을 나타냅니다(Morse, 2015).
  • 마지막으로, 축약된 GT분석 결과범주 또는 테마의 집합과 이러한 범주 간의 관계에 대한 이해(때로는 모델 형태로 표현됨)입니다.

A fully realised GT often centres on the development of a core category that encompasses and explains the GT as a whole, alongside various subsidiary categories related to the core category (Birks & Mills, 2015). GT is now very often used in an abbreviated form we have sometimes referred to as ‘GT-lite’ (Braun & Clarke, 2006, 2013).

  • Although many of the essential procedures of GT, such coding and categorising, memo writing and constant comparative analysis, are used, samples tend to be smaller and relatively homogenous, rather than the ‘maximum variation’ samples often associated with GT (Fassinger, 2005).
  • In GT-lite versions, data collection and analysis is not necessarily concurrent.
    • Charmaz and Thornberg (2020) recently emphasised that concurrent data collection and analysis—samples developed in concert with analysis through the use of ‘theoretical sampling’, where the developing analysis informs the ongoing selection of participantsis a defining feature of GT.
  • Saturation, a key notion around sampling and analytic development for GT (broadly defined as the point at which theoretical sampling/data collection ceases), is often watered down to the point at which data collection is generating ‘no new insights’ (Braun & Clarke, 2019b). ‘Saturation’ is often determined by the researcher's impression of the data during data collection, rather than on detailed concurrent data analysis.
    • In contrast, theoretical saturation in early GT represented the point at which the properties of categories and the relationships between categories were fully explained so that a grounded theory could arise (Morse, 2015).
  • Finally, the analytic output from an abbreviated GT is a set of categories or themes and an understanding of the relationship between these categories (sometimes represented in the form of a model).

이렇듯, 축약된 GT를 사용하면 TA와 사실상 구분할 수 없는 분석 결과를 도출하는 경우가 많습니다. 
This abbreviated use of GT often produces an analysis that is, effectively, indistinguishable from that of TA.

유사한 분석의 가능성을 고려할 때, 언제 GT 대신 성찰적 TA를 사용해야 할까요? 이러한 답변은 'GT'를 단순히 주제를 식별하는 기법으로 개념화하는 것은 GT에 해를 끼칠 뿐만 아니라, 더 적합한 방법을 활용하지 못하는 것이다는 우리의 입장을 반영한 것입니다. 따라서 다음 중 하나 이상에 해당하는 경우 성찰적 TA를 사용하는 것이 좋습니다:
Given the potential for similar analysis, when might you use reflexive TA rather than GT? Our response reflects our position that conceptualising ‘GT’ simply as techniques for identifying themes both does disservice to GT, and fails to utilise a better-suited method. So, our advice is to use reflexive TA when one or more of the following apply:

  • 연구자가 질적 연구 여정을 시작할 때. TA는 GT보다 더 간단하고 절차가 적고 덜 복잡하며 명확한 경로가 있습니다.
  • [연구 질문]이 GT에 특별히 적합한 질문이 아닌 경우(가장 바람직한definitive GT 연구 질문은 사회적 프로세스에 중점을 둡니다).
  • [목표]는 데이터에서 패턴을 식별하고, 그 패턴을 설명 및 해석하거나, 이론적으로 근거가 있는 해석을 제공하는 것입니다.
  • 연구자는 데이터 세트와 분석을 통해 근거 이론을 개발하려는 [의도]가 없습니다.
  • 데이터는 분석 개발과 무관하게 수집됩니다(즉, 이론적으로 표본을 추출하려는 의도가 없음).
  • 질적 연구에서 흔히 볼 수 있는 '편의' 표본의 경우처럼 표본이 상대적으로 작거나 균질합니다(Braun & Clarke, 2013).
  • 특정하고 촉박한 마감일에 의해 시간이 제한됩니다. 반사적 TA는 빠르지는 않지만 '전체' GT 프로젝트보다는 빠를 수 있습니다.
  • When a researcher is beginning their qualitative research journey. TA is more straightforward than GT, the procedures are fewer and less complex, and there is a clearer pathway through them.
  • The research questions are not those particularly suited to GT (the definitive GT research question centres on social processes).
  • The goal is to identify patterns in data, to describe and interpret those patterns, and/or to provide a theoretically informed interpretation of them.
  • The researcher does not intend to develop a grounded theory from the data set and analysis.
  • Data are collected independent from the analytic development (i.e. there is no intention to sample theoretically).
  • The sample is relatively small and/or homogenous—as is often the case with samples of ‘convenience’ that are common in qualitative research (Braun & Clarke, 2013).
  • Time is limited by a particular and tight deadline. Reflexive TA, while not quick, can be faster than a ‘full’ GT project.

 

주제 분석과 (패턴 기반) 담화 분석의 차이점은 무엇인가요?
What are the differences between thematic analysis and (pattern-based) discourse analysis?

DA는 오랫동안 비판적 질적 연구를 정의하는 (유일한) 접근 방식이었습니다. 모든 형태의 DA는 언어를 단순히 참가자의 생각과 감정을 투명하게 반영하는 것이 아니라, (언어가) 활동적이고 수행적이며, 일을 하고, 현실을 이끌어내는 사회적 실천으로 보는 관점에 기반을 두고 있습니다. 따라서 DA는 언어 연습에 초점을 맞추는 것으로 이해할 수 있습니다(Braun & Clarke, 2013). 그러나 GT와 마찬가지로 DA에 대한 구체적인 접근 방식은 사회과학과 보건과학 내에서도 매우 다양합니다. 담화 심리학(Wiggins, 2016), 대화 분석에 기반한 접근법(Madill et al., 2001) 등 일부는 언어 사용의 미시적 세부 사항에 더 초점을 맞춥니다. 해석적 레퍼토리 분석(Wetherell & Potter, 1992)이나 포스트구조주의적 DA(Gavey, 1989)와 같은 다른 접근 방식은 보다 광범위한 담화 패턴이나 주제에 대해 이야기하는 방식에 더 중점을 둡니다. 더 많은 변형이 있습니다.
DA has long been the defining approach of critical qualitative research. All forms of DA are underpinned by a view of language as a social practice, something active and performative, doing things, and bringing forth realities, rather than merely transparently reflecting participants’ thoughts and feelings. Thus, DA can be understood as focusing on language practice (Braun & Clarke, 2013). But, as with GT, specific approaches to DA vary widely, even just within the social and health sciences. Some—such as discursive psychology (Wiggins, 2016), an approach informed by conversation analysis (Madill et al., 2001)—are more focused on the micro details of language practice. Others—such as interpretative repertoire analysis (Wetherell & Potter, 1992) and poststructuralist DA (Gavey, 1989)—focus more on broader discursive patterns or ways of talking about a topic. There are many more variations.

성찰적 TA는 일부 담화 분석 접근 방식이 제공하는 언어 사용의 세부적이고 세분화된 분석을 위한 도구를 제공하지 않습니다. 그러나 어떤 종류의 비판적 질적 이론적 틀(예: 구성주의[Gergen, 2015], 포스트구조주의[Gavey, 1989]) 내에서 구현될 때, 패턴 기반 담화 접근법(Braun & Clarke, 2013)과 유사한 것을 제공할 수 있습니다. 여기에는 앞서 언급한 해석적 레퍼토리 분석, 특히 포스트구조주의적 DA가 포함됩니다. 이러한 패턴 기반 DA는 언어 사용의 미시적인 세부 사항보다는 데이터에서 '담화' 또는 '해석적 레퍼토리'라고 불리는 보다 거시적인 의미 패턴에 분석의 초점을 맞추기 때문에 '패턴 기반 DA'라고 불렀습니다.

  • 예를 들어, 기독교 치료사와 함께 일하기로 선택한 기독교 상담 내담자와의 인터뷰에 대한 해석적 레퍼토리 분석에서 Greenidge와 Baker(2012)는 각각 두 가지 해석적 레퍼토리로 구성된 '내담자 담화'와 '기독교 담화'를 개발했습니다. 저자들은 이러한 레퍼토리(예: '상담은 비즈니스 거래', '상담사는 도움을 주도록 훈련받은 전문가')가 상담, 치료사, 치료 관계를 어떻게 구성하고 내담자를 어떻게 포지셔닝하는지를 탐구했습니다.

구성주의 또는 포스트구조주의에 기반한 동일한 데이터에 대한 성찰적 TA도 매우 유사한 분석을 도출할 수 있을 것으로 예상됩니다.
Reflexive TA does not provide tools for a detailed and fine-grained analysis of language practice that some discourse analytic approaches offer. But, when implemented within a critical qualitative theoretical framework of some kind (e.g. constructionism [Gergen, 2015], poststructuralism [Gavey, 1989]), it can offer something akin to what we have elsewhere described as pattern-based discursive approaches (Braun & Clarke, 2013). These include the aforementioned interpretative repertoire analysis and, particularly, poststructuralist DA. We dubbed these pattern-based DA because their overriding analytic focus is on more macro patterns of meaning—whether called ‘discourses’ or ‘interpretative repertoires’—in data, rather than on the more micro details of language practice.

  • For example, in an interpretative repertoire analysis of interviews with Christian counselling clients who chose to work with a Christian therapist, Greenidge and Baker (2012) developed a ‘client discourse’ and a ‘Christian discourse’, each constituted by two interpretative repertoires. The authors explored how these repertoires (e.g. ‘counselling is a business deal’ and ‘counsellors are professionals trained to help’) constructed counselling, therapists and the therapeutic relationships and positioned the clients.

We imagine that a reflexive TA of the same data, informed by constructionism or poststructuralism, could produce a very similar analysis.

패턴 기반 DA와 성찰적 TA의 이러한 유사성 외에도, 테리(2016)는 성찰적 TA의 이론적 유연성이 '[...] 다원적 분석 접근 방식에 이상적으로 적합하다'(104쪽)고 주장했습니다. 그는 담론적 접근 방식과 함께 TA를 사용하는 데 많은 가치를 인식했으며, 이러한 반사적 TA의 특정 표현을 '비판적 TA'라고 설명했습니다.
Beyond this similarity between pattern-based DA and reflexive TA, Terry (2016) argued the theoretical flexibility of reflexive TA ‘makes it ideally suited to […] a pluralistic analytic approach’ (p. 104). He perceived much value in using TA in combination with discursive approaches, describing this particular rendition of reflexive TA as ‘critical TA’.

주제적 분해와 주제적 DA를 포함하여 TA와 DA의 요소를 결합담론적 접근법도 확립되어 있습니다. 주제별 분해는 이 두 가지 접근법 중 더 널리 사용되는 접근법이며 영국의 비판 심리학자 Stenner(1993)와 가장 밀접한 관련이 있습니다. 이 접근 방식은 언어 및 기타 의미화 관행을 통해 의미가 사회적으로 구성되는 것으로 개념화되는 담론적 프레임워크 안에 위치합니다. 주제적 분해에는 TA에 대한 코드북 접근 방식과 유사하게 코딩과 주제 식별이 포함되며, 포스트구조주의 프레임워크 내에서 주제가 개발됩니다(Stenner 외., 2010). 포스트구조주의 담론적 접근법은 종종 [인격personhood의 담론적 생산]과 [담론이 특정 주체의 위치, 즉 '말하고 행동할 수 있는 담론적 위치'를 제공하는 방식]에 관심을 갖습니다(Willig, 2013, 132쪽). 주제 분해에 대한 포스트구조주의의 영향은 주제가 주관적 의미(예: Stenner 외, 2010), 주관성(예: Gurevich 외, 2007) 또는 주체 위치(예: Ussher 외, 2014)와 관련된다는 개념에서 분명하게 드러납니다.
There are also established discursive approaches that combine elements of TA and DA within their method, including thematic decomposition (Stenner, 1993; Stenner et al., 2010) and thematic DA (Singer & Hunter, 1999; Taylor & Ussher, 2001). Thematic decomposition is the more widely used of these two approaches and is most strongly associated with British critical psychologist Stenner (1993). The approach is situated within a discursive framework in which meanings are conceptualised as socially constituted through linguistic and other signifying practices. Thematic decomposition involves coding and the identification of themes, similar to codebook approaches to TA, with themes developed within a poststructuralist framework (Stenner et al., 2010). Poststructuralist discursive approaches are often concerned with the discursive production of personhood and the ways in which discourses make available particular subject positions, or ‘discursive locations from which to speak and act’ (Willig, 2013, p. 132). The influence of poststructuralism on thematic decomposition is apparent in the notion that themes relate to subjective meanings (e.g. Stenner et al., 2010), subjectivities (e.g. Gurevich et al., 2007) or subject positions (e.g. Ussher et al., 2014).

패턴 기반 DA를 활용하지 않고, 구성주의 또는 포스트구조주의 이론적 틀 내에서 성찰적 TA를 사용하거나, DA의 요소와 TA를 결합하는 경우는 언제, 왜인가요? 이러한 방법들이 제공할 수 있는 부분이 상당히 중복된다는 점을 고려할 때, 여기서는 주로 실용적인 이유를 반영하여 답변합니다. 트위터는 다음 중 하나 이상이 해당될 때 중요한 형태의 재귀적 TA가 더 유용하다고 생각합니다:
When and why would you use reflexive TA within a constructionist or poststructuralist theoretical framework, or combine TA with elements from DA, rather than utilise pattern-based DA? Given that there is considerable overlap in what these methods can provide, our response here reflects mainly pragmatic reasons. We feel that critical forms of reflexive TA are more useful when one or more of the following apply:

  • 연구자가 질적 연구를 처음 접하는 경우. 성찰적 TA는 실용적인 지침을 많이 제공하는 반면(예: Braun & Clarke, 2006, 2013; Braun et al., 2014, 2019), DA의 절차는 덜 구체적이고 지침보다는 개념, 아이디어 및 관행에 기반하는 경우가 많습니다. 지침이 제공되더라도(예: Willig, 2013), 이론적 및 방법론적 근거가 충분하지 않으면 여전히 다소 불투명하고 이해하기 어렵고 적용하기 어려울 수 있습니다. 이는 연구 과정에 불안을 가중시킬 수 있습니다. 
    When a researcher is fairly new to qualitative research. Reflexive TA offers much in the way of practical guidance (e.g. Braun & Clarke, 2006, 2013; Braun et al., 2014, 2019), whereas the procedures for DA are less concrete and often based in concepts, ideas and practices, rather than guidelines. When guidance is provided (e.g. by Willig, 2013), it can be still somewhat opaque and hard to grasp and apply without a good theoretical and methodological grounding. This can add anxiety to the process.
  • 연구자가 분석에서 완전한 담론 지향에 전념하고 있는지 확신하지 못하는 경우. 
    When a researcher is not certain they are committed to a full discourse orientation in their analysis.
  • 연구 질문과 관심사가 전적으로 또는 주로 언어의 효과(예: 피험자 위치)에만 맞춰져 있지 않은 경우. 
    The research questions and interests are not solely or primarily oriented to the effects of language (such as subject positions).

2 요약
2 SUMMARY

이 백서는 상담 및 심리치료 연구자들이 여러 사례 분석 접근법 중 어떤 것이 자신의 연구에 적합한지 결정하는 데 도움을 주기 위한 도구로 고안되었습니다. TA 방법군을 소개하고, 성찰적 TA를 다른 네 가지 영향력 있는 질적 분석 방법 및 방법론(QCA, IPA, GT, DA)과 비교 및 대조했습니다. TA와 각 방법/론 사이의 철학적, 절차적 차이점과 유사점을 간략히 설명하고, 연구자가 다른 접근법보다 성찰적 TA를 선택할 수 있는 경우와 추론에 따라 다른 접근법을 사용하는 것이 더 나은 경우에 대한 평가를 제공했습니다. 우리는 이러한 [패턴 기반 접근법의 매핑과 비교 및 대조]를 중립적이라고 주장하지 않습니다(또는 완전하다고 주장하지도 않습니다8). TA 저자로서 우리는 중립적인 평가자가 아니며, 이 매핑은 심리학에 대한 우리의 훈련과 연구 가치를 반영하고 있습니다(예: Braun & Clarke, 2019a). 저희는 질적 연구, 특히 TA에서 무엇이 좋은 관행이고 나쁜 관행인지에 대한 명확한 생각을 가지고 있습니다(Braun & Clarke, 2013, 2020). 상담 및 심리치료 연구에서의 사례 간 접근에 대한 다른 설명(예: McLeod, 2011; Yeh & Inman, 2007)은 그 지형을 다소 다르게 매핑합니다. McLeod(2011)는 TA와 IPA를 GT의 변형으로 설명한 반면, 우리는 이러한 접근법이 GT보다 오래전부터 내려온 전통(각각 내용 분석과 현상학)에서 비롯된 것으로 보고 있습니다. 질적 분석을 수행할 때와 마찬가지로, 우리의 주관성은 질적 연구를 개념화하고 매핑하는 과정에 영향을 미칩니다. 
This paper is designed as a tool to help counselling and psychotherapy researchers decide which of several across-case analytic approaches suits their research. We introduced the TA family of methods, and compared and contrasted reflexive TA with four other influential qualitative analytic methods and methodologies: QCA; IPA; GT; and DA. We briefly outlined some of the philosophical and procedural differences and similarities between TA and each method/ology, and we offered our assessment of when a researcher might choose reflexive TA over the other approach—and, by inference, when the other approach might better be used. We do not claim this mapping of pattern-based approaches and compare and contrast exercise as neutral (nor as exhaustive8). As TA authors, we are not neutral evaluators; the mapping no doubt reflects our training in psychology and our research values (e.g. Braun & Clarke, 2019a). We have clear ideas about what constitutes good and bad practice in qualitative research, and specifically in TA (Braun & Clarke, 2013, 2020). Other accounts of across-case approaches in counselling and psychotherapy research (e.g. McLeod, 2011; Yeh & Inman, 2007) map the terrain rather differently. McLeod (2011) described TA and IPA as variants of GT, whereas we view these approaches as originating in traditions (content analysis and phenomenology, respectively) that long pre-dated GT. As in the doing of qualitative analysis, our subjectivity informs the process of conceptualising and mapping qualitative research.

여기서 우리가 시도한 것은 [사례 전반의 질적 분석을 위한 완벽한 분석 방법/논리가 항상 존재한다는 생각에 문제를 제기하는 것]입니다. 우리는 종종 두 가지 이상의 접근법이 유사한 결과를 제공하거나 연구자가 연구 질문을 해결할 수 있다는 것을 보여 주었으면 합니다. 이러한 접근법을 비교하고 '언제 TA를 해야 하는가'라는 질문을 다루면서, 우리는 무분별한 TA의 광범위한 수용이 아니라, '신성한 방법'에 대한 탐구를 피하고, 대신 분석 접근법을 선택하고 사용할 때 사려 깊고 신중한 연습을 포함하는 방법에 대한 사고 접근법을 장려하고자 합니다.
What we have attempted here is to problematise the idea that there is—always—one perfect analytic method/ology for across-case qualitative analysis. We hope we have shown that often more than one approach would deliver similar results, or allow a researcher to address their research question. In comparing these approaches, and addressing ‘when TA’ questions, we aim to encourage not widespread thoughtless uptake of TA, but an approach to thinking about method that avoids the ‘hallowed method’ quest, and instead involves thoughtful and deliberative practice in choosing and using analytic approaches.

ENDNOTES

  • 1 언어와 담론이 현실을 구성하고 사회의 생산적인 힘으로서 권력의 작동에 필수적이며 의미와 주관성을 생산한다고 보는 포스트구조주의 이론의 영향을 받은 담화 분석의 한 유형입니다. 포스트구조주의 DA는 권력과 지배적인 지식에 이의를 제기하고 도전하는 데 강한 관심을 갖는 경향이 있습니다. 또한 자아와 주관성을 단일하거나 일관된 것이 아니라 파편화되고 모순적이며 담론을 통해 생산되는 것으로 이해합니다(포스트구조주의 이론과 DA에 대한 접근 가능한 개요는 Gavey, 1989 참조). 
    1
    A type of discourse analysis informed by poststructuralist theory—which views language and discourse as constitutive of reality and integral to the operation of power as a productive force in society, producing meaning and subjectivity. Poststructuralist DA tends to have a strong interest in power, and in contesting and challenging dominant—powerful—knowledge. It also understands the self and subjectivity as not unitary or coherent, but fragmented and contradictory, and produced through discourse (see Gavey, 1989, for an accessible overview of poststructuralist theory and DA). 
  • 2 포스트 실증주의는 연구 결과에 대한 연구자의 영향력을 인정하지만, 객관적 지식은 여전히 이상적이라는 실증주의의 개선된 개념입니다. '(포스트)실증주의'라는 용어는 이 두 가지 밀접하게 관련된 가치의 경계가 모호해지는 것을 포착합니다. 
    2
    Post-positivism is a refinement of positivism—the influence of the researcher on research outcomes is recognised but objective knowledge remains the ideal. The term ‘(post)positivism’ captures the blurring of these two closely related sets of values. 
  • 3 구성주의(때로는 사회적 구성주의)는 단일한 현실과 진리라는 개념을 거부하고, 현실과 진리를 언어, 표상 및 기타 사회적 과정을 통해 생산(구성)되는 것으로 보는 이론적 전통입니다.
    • [세계를 이해하는 용어]는 [특정한 사회 정치적, 문화적, 역사적 맥락과 관련된 것]으로 간주되며,
    • [의미]는 현실의 본질에 대한 내재적 진리가 아니라, [사회적 상호 작용의 결과인 사회적 인공물]로 간주됩니다(Gergen, 2015 참조).
  • 3 Constructionism (sometimes social constructionism) is a theoretical tradition that views reality and truth—or realities and truths as it rejects the idea of a singular reality and truth—as produced (constructed) through language, representation and other social processes.
    • The terms in which the world is understood are seen as related to specific socio-political, cultural and historical contexts, and
    • meanings are seen as social artefacts, resulting from social interaction, rather than some inherent truth about the nature of reality (see Gergen, 2015). 
  • 4 TA도 마찬가지로 정량적 내용 분석에서 발전한 것으로 여겨집니다(Joffe, 2012). 
    4
    TA is similarly thought to have evolved from quantitative content analysis (Joffe, 2012). 
  • 5 이들의 성찰적 TA의 사용과 설명은 우리가 설명한 방식과 다르며, 언어(예: 긴급 코드 및 주제), 주제 개념화(주제 요약) 및 분석 과정 설명('하위 코드'와 코드북 사용, 성적표별 분석 성적표)은 부분적으로 IPA의 영향을 반영합니다. 
    5
    Their use and description of reflexive TA is not quite how we have described it, and the language (e.g. emergent codes and themes), conceptualisation of themes (topic summaries) and analytic process described (use of ‘subcodes’ and a codebook, analysis transcript by transcript) partly reflect an IPA influence. 
  • 비판적 리얼리즘은 질적 연구를 뒷받침하는 리얼리즘의 한 형태입니다. 연구를 통해 직접 관찰하거나 발견할 수 있는 단일한 현실을 가정하는 '단순' 또는 '순진한' 리얼리즘과 달리 비판적 리얼리즘은 우리가 현실을 경험하는 방식이 문화, 언어, 정치적 이해관계에 의해 형성된다는 가정을 전제로 합니다(Maxwell, 2012 참조). 
    6
    Critical realism is a form of realism that frequently underpins qualitative research. Unlike ‘simple’ or ‘naïve’ realism, which assumes a singular reality that can be directly observed or discovered through research, critical realism is premised on the assumption that how we experience reality is shaped by culture, language and political interests (see Maxwell, 2012). 
  • 7 버크스와 밀스(2015)는 GT에 대해 읽을 수 있는 접근 가능한 출발점이라고 할 수 있습니다. 
    7
    We find Birks and Mills (2015) an accessible starting point for reading about GT. 
  • 8 합의적 질적 연구(CQR; Hill et al., 1997)와 같은 다른 패턴 기반 방법론도 있는데, 여기에는 우리가 여기서 설명한 다양한 접근법의 요소가 있습니다(예: CQR의 경우, 코딩 신뢰도 TA와 구성주의적 GT); 그러나 CQR은 기본 연구 가치의 일관성을 옹호하지 않는다는 점에서 상대적으로 독특합니다. 
    8
    There are other pattern-based methodologies—like consensual qualitative research (CQR; Hill et al., 1997)—that have elements of various different approaches we have described here (e.g. in the case of CQR, coding reliability TA and constructivist GT); CQR is relatively unique however in not advocating for coherence in underlying research values. 

 


Abstract

Thematic analysis methods, including the reflexive approach we have developed, are widely used in counselling and psychotherapy research, as are other approaches that seek to develop ‘patterns’ (themes, categories) across cases. Without a thorough grounding in the conceptual foundations of a wide variety of across-case analytic approaches, and qualitative research more broadly—something rarely offered in counselling training—it can be difficult to understand how these differ, where they overlap, and which might be appropriate for a particular research project. Our aim in this paper is to support researchers in counselling and psychotherapy to select an appropriate across-case approach for their research, and to justify their choice, by discussing conceptual and procedural differences and similarities between reflexive thematic analysis (TA) and four other across-case approaches. Three of these are also widely used in counselling and psychotherapy research—qualitative content analysis, interpretative phenomenological analysis and grounded theory. The fourth—discourse analysis—is less widely used but importantly exemplifies the critical qualitative research tradition. We contextualise our comparative approach by highlighting the diversity within TA. TA is best thought of as a spectrum of methods—from types that prioritise coding accuracy and reliability to reflexive approaches like ours that emphasise the inescapable subjectivity of data interpretation. Although reflexive TA provides the point of comparison for our discussion of other across-case approaches, our aim is not to promote reflexive TA as ‘best’. Rather, we encourage the knowing selection and use of analytic methods and methodologies in counselling and psychotherapy research.

전공의의 임상추론 문서의 평가 자동화를 위한 머신러닝 모델 개발 및 타당화(J Gen Intern Med. 2022)
Development and Validation of a Machine Learning Model for Automated Assessment of Resident Clinical Reasoning Documentation 
Verity Schaye, MD, MHPE1,2 , Benedict Guzman, MS1, Jesse Burk-Rafel, MD,MRes1, Marina Marin, MSc1, Ilan Reinstein, MS1, David Kudlowitz, MD1, LouisMiller,MD3, Jonathan Chun, MD4, and Yindalon Aphinyanaphongs, MD, PhD1 

 

소개
INTRODUCTION

전자 의료 기록(EHR)의 주요 역할은 우선순위에 따른 감별 진단을 포함한 환자의 임상 경과를 명확한 추론 설명과 함께 전달하는 것입니다.1 그러나 EHR의 등장 이후 문서화 품질이 저하되었습니다.2,3,4,5 노트는 임상적 추론(CR)의 효과적인 전달이 부족한 경향이 있으며, 수련의는 감독 교수진의 시간 제약CR 문서에 대한 공유된 멘탈 모델의 부재로 인해2,3,4,5 피드백을 자주 받지 못합니다.6,7,8,9,10 문서화 품질을 평가하기 위한 여러 노트 평가 도구가 존재하지만 평가자 교육과 노트의 수동 평가에 많은 시간이 소요됩니다.4,11,12,13,14,15 
A primary role of the electronic health record (EHR) is to communicate the patient’s clinical course including a prioritized differential diagnosis with clear explanation of reasoning.1 However, since the advent of EHRs, there has been a decline in documentation quality.2,3,4,5 Notes tend to lack effective communication of clinical reasoning (CR), and trainees infrequently receive feedback,2,3,4,5 owing to time constraints of supervising faculty and lack of a shared mental model of CR documentation.6,7,8,9,10 Several note-rating instruments exist to assess documentation quality, but require time-consuming rater training and manual rating of notes.4,11,12,13,14,15

머신러닝(ML)과 자연어 처리(NLP)는 CR 문서 평가를 자동화할 수 있는 잠재력을 제공합니다.16,17,18,19 인공 지능의 한 분야인 ML은 컴퓨터 시스템과 통계 알고리즘을 사용하여 대량의 데이터에서 패턴을 식별하여 자동화된 분류 모델을 생성합니다.20 NLP는 ML과 언어학의 결합으로 텍스트 데이터를 통해 자연어를 연구합니다.21 문서화 개선 및 감별 진단 생성을 위해 ML과 NLP를 사용하는 것이 제안되었지만, 이 영역에서 구현된 보고는 제한적입니다.17,18,19,21,22,23,24,25,26,27,28,29,30,31 
Machine learning (ML) and natural language processing (NLP) offer the potential to automate assessment of CR documentation.16,17,18,19 ML, a domain of artificial intelligence, uses computer systems and statistical algorithms to identify patterns in large amounts of data to create automated classification models.20 NLP is a combination of ML and linguistics for studying natural human language through text data.21 While use of ML and NLP to improve documentation and differential diagnosis generation have been suggested, there are limited reports of implementation in this domain.17,18,19,21,22,23,24,25,26,27,28,29,30,31

미국 의사 면허 시험 2단계 임상 기술 시험에서 메모를 평가하기 위해 의사 위원회가 미리 결정한 메모에서 필수 필수 개념의 존재를 감지하는 NLP 기반 평가가 개발되었습니다.22,23 유사하게, Cianciolo 등은 표준화된 환자 진료에 대한 의대생 메모에 점수를 매기기 위해 NLP 기반 ML 모델을 개발했습니다.31 감별 진단에 대한 피드백을 제공하기 위해 Khumrin 등은 문서화된 임상 관찰을 기반으로 진단 가능성을 예측하는 ML 모델을 개발했습니다.24,25 이 모델은 하나의 주요 관심사(복통)에 초점을 맞추고 5가지 진단 가능성을 예측했습니다. 표준화된 사례 또는 고정된 주요 관심사 집합에서 CR을 평가하기 위해 NLP와 ML을 적용하면, 진단적으로 다양한 임상 환경에서는 적용되지 않는 예상 언어를 미리 지정할 수 있습니다. 
To evaluate notes in the United States Medical Licensing Examination Step 2 Clinical Skills Exam, an NLP–based assessment was developed to detect presence of essential required concepts in notes pre-determined by a committee of physicians.22,23 Similarly, Cianciolo et al. developed an NLP–based ML model to score medical student notes for standardized patient encounters.31 To give feedback on differential diagnosis, Khumrin et al. developed a ML model that predicts the likelihood of a diagnosis on the basis of documented clinical observations.24,25 Their model focused on one chief concern (abdominal pain) and predicted the likelihood of five diagnoses. These applications of NLP and ML to assess CR in standardized cases or a fixed set of chief concerns permit a preset designation of expected language which would not be applicable in the diagnostically varied clinical environment.

우리가 아는 한, 임상 환경에서 CR 문서를 자동으로 분류한 연구는 없습니다. 이 연구에서는 레지던트 입원 기록에 저품질 또는 고품질 CR 문서가 있는지 분류하는 ML 모델을 개발하고 Kane의 타당성 프레임워크를 사용하여 초기 타당성 증거를 수집했습니다.32 
To our knowledge, no studies have described automated classification of CR documentation in the clinical environment. In this study, we developed a ML model that classifies whether a resident admission note has low- or high-quality CR documentation and collected initial validity evidence using Kane’s validity framework.32

방법
METHOD

설정 및 연구 모집단
Setting and Study Population

뉴욕시 소재 한 학술 의료 센터의 통합 EHR(에픽 시스템즈, 위스콘신주 베로나)에서 두 가지 노트 세트가 검색되었습니다. 

  • (1) 2014년 7월부터 2019년 6월까지 내과(IM) 레지던트 및 하위 전문과 펠로우의 입원 기록으로 구성된 ML 개발 데이터 세트
  • (2) 2019년 7월부터 2020년 3월까지 레지던트 입원 기록으로 구성된 인간 검증 및 후향적 데이터 분석 데이터 세트

이 연구는 뉴욕대학교 그로스만 의과대학 기관윤리심의위원회의 승인을 받았습니다. 
Two distinct note sets were retrieved from an integrated EHR (Epic Systems, Verona, WI) at one academic medical center in New York City:

  • (1) ML development dataset comprised of internal medicine (IM) residents’ and subspecialty fellows’ admission notes from July 2014 to June 2019 and
  • (2) human validation and retrospective data analysis dataset comprised of resident admission notes from July 2019 to March 2020.

The study was approved by the NYU Grossman School of Medicine institutional review board.

인간 평가(개정된 DEA 평가)
Human Rating (Revised-DEA Assessment)

지도 머신러닝 모델을 생성하려면 먼저 신뢰할 수 있는 골드 스탠다드에 따라 데이터에 레이블을 지정해야 합니다(그림 1).33 저희는 CR 문서 품질에 대한 골드 스탠다드로 Revised-IDEA 도구의 DEA 구성 요소(이하 Revised-DEA 도구)를 사용했습니다. Revised-IDEA 도구4개의 영역(해석적 요약, 감별 진단, 추론 설명, 대체 진단 설명)에 걸쳐 검증된 노트 평가 도구로, 총점 범위는 0~10점, Revised-DEA 하위 점수는 0~6점입니다.34 해석적 요약은 CR의 중요한 측면이지만, 고품질 해석적 요약을 만드는 구성 요소가 너무 복잡하여 초기 ML 개발 단계에서 포착하기 어렵기 때문에, 이 단계에서는 이를 통합하지 않았습니다.  
To create a supervised ML model, data must first be labeled by a reliable gold standard (Fig. 1).33 We used the DEA component (the Revised-DEA tool) of the Revised-IDEA tool as our gold standard for CR documentation quality. The Revised-IDEA tool is a validated note-rating instrument across four domains (Interpretive summary, Differential diagnosis, Explanation of reasoning, Alternative diagnoses explained) with a total score range of 0–10 for the Revised-IDEA score and 0–6 for the Revised-DEA subscore.34 While the interpretive summary is an important aspect of CR, we did not incorporate it at this stage as the components that make for a high-quality interpretive summary were too complex to capture for the initial ML development.

CR 전문 지식을 갖춘 4명의 의사(IM 치프 레지던트, 호스피탈리스트 2명, 심장 전문의(IM 레지던트 프로그램의 수석 부프로그램 책임자)가 Revised-DEA 도구를 사용하여 입원 기록을 검토했습니다. 도구의 특정 앵커를 고려할 때 최소한의 교육만 필요했습니다.34 Kane의 타당도 프레임워크는 채점, 일반화, 추정, 함의의 네 가지 영역에서 타당도 논증의 추론을 식별합니다(그림 2).32 평가자 선정 및 교육 과정은 Kane 프레임워크의 점수 추론에 대한 타당성 증거를 제공했습니다. 

Four physicians with CR expertise (an IM chief resident, two hospitalists, and a cardiologist (who was the senior associate program director for the IM residency program)) reviewed admission notes using the Revised-DEA tool. Minimal training was required given the tool’s specific anchors.34 Kane’s validity framework identifies inferences in the validity argument in four domains: scoring, generalization, extrapolation, and implications (Fig. 2).32 The process of rater selection and training provided validity evidence for the scoring inference of Kane’s framework.

ML 개발 데이터세트 노트는 비식별화되었고, 의사 패널이 평가 및 계획 섹션을 평가했습니다. 처음에는 무작위로 노트를 선택했지만, Revised-DEA 도구에서 평가한 고품질 노트의 수가 적었습니다. 따라서 의도적인 샘플링이 필요했습니다. 1차 평가에서 높은 점수를 받은 펠로우의 노트와 레지던트의 추가 노트를 평가하여 최종 ML 개발 데이터세트에 충분한 수의 고품질 노트를 확보했습니다(최종 데이터세트에서 n = 414개 노트). 평가자 간 신뢰도는 먼저 3명의 평가자가 414개의 노트 중 10%를 평가하고, 나머지는 한 명의 평가자가 평가함으로써 확립되었습니다. 의도적인 샘플링 과정과 평가자 간 신뢰도는 케인 프레임워크의 일반화 추론에 대한 타당성 증거를 제공했습니다(그림 2).

The ML development dataset notes were deidentified, and the assessment and plan sections rated by the panel of physicians. At first, notes were randomly selected; however, the number of high-quality notes as rated by the Revised-DEA tool was low. Therefore, purposive sampling was required: notes from fellows and additional notes from residents, with high-quality notes in the first round of rating, were rated to ensure a sufficient number of high-quality notes in the final ML development dataset (n = 414 notes in the final dataset). Interrater reliability was established by first rating 10% of the 414 notes by three raters; the remainder was rated by a single rater. The process of purposive sampling and the interrater reliability provided validity evidence for the generalization inference of Kane’s framework (Fig. 2).

고품질 CR에 대한 수정-DEA 커트라인은 심사위원이 최소 및 최대 실패율과 허용 가능한 합격 점수를 결정하여 최종 합격 커트라인 점수를 결정하는 규범 참조 기준과 기준 참조 기준을 조합하여 사용하는 Hofstee 기준 설정에 의해 결정되었습니다.35 패널의 각 의사는 최소 허용 가능 및 최대 허용 가능한 수정-DEA 커트라인 점수 및 실패율을 결정했습니다. Revised-DEA 점수가 3점 이상(6점 만점)이면 높은 품질로 간주되었습니다(그림 3). 이 표준 설정 프로세스는 케인 프레임워크의 함의 추론에 대한 타당성 증거를 제공했습니다(그림 2). 

Revised-DEA cutoff for high-quality CR was determined by Hofstee standard setting which utilizes a combination of norm-referenced and criterion-referenced standards where judges decide on the minimum and maximum failure rates and acceptable pass mark to determine the final passing cutoff score.35 Each of the physicians on the panel determined the minimally acceptable and maximally acceptable Revised-DEA cutoff score and failure rate. A Revised-DEA score of ≥ 3 (out of 6) was deemed high quality (Fig. 3). This standard setting process provided validity evidence for the implication inference of Kane’s framework (Fig. 2).

노트 전처리
Note Preprocessing

ML 개발 데이터 세트의 문서 패턴을 검토한 결과, 노트 작성 구조와 길이가 다양하다는 사실을 발견했습니다. 우리는 [주요 문제에 대한 감별진단을 반영하는 평가 및 계획의 부분]을 [리드 및 대체 진단에 대한 설명]과 분리하려고 노력했습니다. 이러한 섹션은 일반적으로 시작 키워드(예: '~을 보였다', '입원하였다')로 시작하고 구분 기호(예: 두 번째 '#'[해시 기호]) 또는 끝 키워드(예: 'ppx', '코드 상태')로 끝맺습니다. 시작 및 종료 키워드의 전체 목록은 두 명의 검토자가 결정했습니다(부록 1). 평가에서 원하는 부분으로 메모를 잘라내기 위해 총 5가지 방법이 개발되었습니다(부록 2).
Review of documentation patterns in the ML development dataset revealed variability in note writing structure and length. We sought to isolate the portion of the assessment and plan reflecting the differential for the main problem with the explanation of the lead and alternative diagnoses. Such sections typically began with a start keyword (e.g., “presents with,” “admitted”) and terminated with either a delimiter (e.g., second “#” [hash sign]) or an end keyword (e.g., “ppx,” “code status”). A complete list of start and end keywords was determined by two human reviewers (Appendix 1). A total of five methods were developed to truncate the notes to the desired portion of the assessment (Appendix 2).

피쳐 엔지니어링
Feature Engineering

[잘린 임상 노트]는 (규칙 기반 및 ML 기술을 사용하여 구조화되지 않은 임상 텍스트에서 정보를 추출하는 오픈 소스 NLP 시스템인) cTAKES 4.0.0에서 처리되었습니다.36 cTAKES는 해부학적 부위, 약물, 질병/장애, 징후/증상, 영상 검사 등의 [명명된 개체]를 동일한 의미를 가진 개념에 대한 개념 고유 식별자(CUI)를 사용하여 식별합니다. 또한 두 명의 의사가 [ML 개발 데이터세트]를 검토하여 CR을 나타내는 단어와 구문(즉, 우선순위가 지정된 감별 진단을 전달할 때 일반적으로 결합어로 사용되는 단어와 구문) 목록을 선별했습니다. 이 검토를 통해 '가장 가능성이 높은', '일치하는', '높은 의심' 등의 총 91개의 단어나 문구가 도출되었습니다(부록 3).
Truncated clinical notes were processed in cTAKES 4.0.0, an open-source NLP system that uses rule-based and ML techniques to extract information from unstructured clinical text.36 cTAKES identifies named entities such as anatomical sites, drugs, diseases/disorders, signs/symptoms, and imaging tests—each with a concept unique identifier (CUI) for concepts with the same meaning. Additionally, two physicians reviewed the ML development dataset and curated a list of words and phrases that conveyed CR (i.e., those typically used as a conjunction in communicating prioritized differential diagnoses). This review yielded 91 words or phrases in total, such as “most likely,” “consistent with,” and “high suspicion” (Appendix 3).

용어 빈도 역 문서 빈도(분석 대상 텍스트에서 특정 단어나 구가 얼마나 중요한지를 나타내는 데 사용되는 NLP 기법)를 통해 ML 모델에 대한 입력 변수(주요 관심사, 잘린 텍스트 길이, 해부학적 부위 언급, 약물 언급, 시술 언급, 원시 텍스트의 숫자 표현 등이)를 여러 번 반복하여 테스트했습니다. 그러나 이러한 입력 변수를 사용하면 다음을 최종적으로 선택한 3가지 변수를 사용한 모델보다 성능이 더 떨어졌습니다.

  • (1) 고유한 CUI를 가진 질병/장애 명명 개체의 수,
  • (2) CR을 전달한 단어나 구의 수,
  • (3) 질병/장애로 명명된 개체에서 5단어 범위 내에서 CR을 전달한 단어나 구의 개수로, 이러한 단어나 구가 CR을 전달하기 위해 사용되었을 가능성이 높은 시기를 구분하기 위한 것입니다.

종속 변수는 CR 노트 품질로, 사람의 평가에 따라 낮은 품질(Revised-DEA 점수 0~2점) 또는 높은 품질(Revised-DEA 점수 3~6점)로 이분화했습니다.
There were multiple iterations of input variables tested for the ML models including chief concern, truncated text length, anatomical site mention, medication mention, procedure mention, and numerical representations of the raw text via term frequency inverse document frequency (an NLP technique used to represent how important a specific word or phrase is in the text being analyzed). However, utilizing these input variables yielded worse performance than the models with the 3 finally selected variables:

  • (1) counts of disease/disorder named entities with unique CUIs;
  • (2) counts of words or phrases that conveyed CR; and
  • (3) counts of words or phrases that conveyed CR within a 5-word window frame from a disease/disorder named entity, to differentiate when these words or phrases were likely used to convey CR.

The dependent variable was CR note quality, binarized as low quality (Revised-DEA score 0–2) or high quality (Revised-DEA score 3–6) as determined by the human rating.

모델 선택 및 평가
Model Selection and Evaluation

ML 개발 데이터 세트는 ML 모델 개발의 표준 절차에 따라 훈련 데이터 세트(71%, 294개 노트)와 검증 데이터 세트(29%, 120개 노트)로 구분되었습니다. 모델 훈련은 훈련 데이터세트에서 반복적으로 수행된 다음, 과적합을 방지하고 일반화 가능성을 높이기 위해 이전에 본 적이 없는 검증 데이터세트에서 모델 성능을 테스트합니다.37 노트 품질을 분류하기 위해 세 가지 종류의 모델을 테스트했습니다:

  • (1) 로지스틱 회귀(해석 가능성, 즉 분류 결정을 이해하기 쉽도록),
  • (2) 단순 신경망(보다 복잡한 비선형 패턴을 학습하기 위한 다층 퍼셉트론),
  • (3) 앙상블 모델(예측 정확도는 높지만 해석 가능성이 떨어지는 랜덤 포레스트 및 극한 그라데이션 부스팅).

The ML development dataset was divided into a training dataset (71%, 294 notes) and validation dataset (29%, 120 notes)—standard procedure for ML model development. Model training occurs iteratively on the training dataset, then model performance is tested on the never-before-seen validation dataset, to counter overfitting and promote generalizability.37 Three classes of models were tested to classify note quality:

  • (1) logistic regression (for interpretability, i.e., ease of comprehending classification decisions);
  • (2) simple neural network (multilayer perceptron to learn more complex nonlinear patterns); and
  • (3) ensemble models (random forest and extreme gradient boosting for high predictive accuracy but reduced interpretability).

모델 출력은 0과 1 사이의 확률로 제공되었으며, 0.50을 기본 컷오프 값으로 설정했습니다(0.50 이상 고품질, 0.50 미만 저품질). 모델 성능은 이진 분류 작업에 대한 표준 지표인 수신기 작동 특성 곡선 아래 면적(AUROC)(컷오프 값에 관계없이 모델이 클래스를 얼마나 잘 구분하는지), 평균 정밀도(또는 양성 예측값, PPV) 및 정확도(둘 다 컷오프 값에 따라 달라짐)를 사용하여 평가되었습니다.38
Model outputs were provided as probabilities (ranging between 0 and 1), with 0.50 as the default cutoff value (> 0.50 high quality and < 0.50 low quality). Model performance was evaluated using standard metrics for binary classification tasks: area under the receiver operating characteristic curve (AUROC) (how good a model distinguishes between classes regardless of cutoff value), and average precision (or positive predictive value, PPV) and accuracy (both dependent on the cutoff value).38

인간 검증 및 후향적 데이터 세트
Human Validation and Retrospective Dataset

이 모델은 새로운 개별 입원 기록 세트(인간 검증 및 후향적 데이터 세트)에 대해 실행되었습니다(n = 9591). 인적 검증의 경우, 의사 검토자 중 한 명이 ML 결과를 보지 못한 채 Revised-DEA 도구를 사용하여 무작위로 선정된 205개의 메모를 평가했습니다. 초기 인간 평가 단계에서 이미 평가자 간 신뢰성이 확립되었기 때문에 이 단계는 한 명의 평가자만 수행했습니다. Revised-DEA 점수와 ML 모델 결과는 Cohen의 카파를 사용하여 비교했습니다. 이 후향적 데이터 세트를 사용하여 ML 모델의 기본 확률 컷오프인 0.5를 새로운 임계값으로 수정하여 민감도를 낮추면서 모델의 특이도를 최대화했습니다. 본적 없는 새로운 데이터에 대해 0.55의 확률 컷오프가 선택되어 70%의 민감도와 80%의 PPV를 목표로 삼았습니다.
The model was run on a new set of distinct admission notes (the human validation and retrospective dataset) (n = 9591). For human validation, one of the physician reviewers, blinded to ML output, rated a random selection of 205 of these notes using the Revised-DEA tool. Only one reviewer performed this round as interrater reliability had already been established in the initial human rating phase. The Revised-DEA score and the ML model output were compared using Cohen’s kappa. Using this retrospective dataset, the default probability cutoff of 0.5 for the ML model was modified to a new threshold to maximize the model’s specificity at a small cost to sensitivity. A probability cutoff of 0.55 was selected for new, unseen data to target a sensitivity of 70% and a PPV of 80%.

데이터 분석
Data Analysis

모든 데이터 전처리, 모델링 및 시각화는 Python(버전 3.6.6, Python Software Foundation)의 Anaconda(버전 5.3.0, Anaconda Inc., 텍사스주 오스틴) 배포판을 사용하여 수행되었습니다. 이 연구에 사용된 라이브러리에는 판다(pandas), 넘피(numpy), 사이킷-런(scikit-learn), 매트플롯리브(matplotlib), xgboost 및 해당 라이브러리 종속성이 포함되었습니다. 
All data preprocessing, modeling, and visualization were performed using the Anaconda (version 5.3.0; Anaconda Inc., Austin, TX) distribution of Python (version 3.6.6; Python Software Foundation, https://www.python.org). Libraries utilized in this study included pandas, numpy, scikit-learn, matplotlib, xgboost, and their respective library dependencies.

설명적 통계, 클래스 내 상관관계, 코헨의 카파를 포함한 비식별화된 데이터의 분석은 SPSS v25(미국 일리노이주 시카고)를 사용하여 완료되었습니다. 선형 추세에 대한 맨텔-헨젤 카이제곱 검정을 사용해 졸업 연도(PGY)와 노트 품질 간의 관계를 조사했습니다.
Analysis of deidentified data including descriptive statistics, intraclass correlation, and Cohen’s kappa was completed with SPSS v25 (Chicago, IL, USA). The Mantel-Haenszel chi-square test for linear trend was used to examine the relationship between post-graduate year (PGY) and note quality.

결과
RESULTS

인적 평가
Human Rating

세 명의 평가자가 채점한 노트 간의 클래스 내 상관관계는 0.84(95% CI 0.74-0.90)였습니다. ML 개발 데이터세트에서 Revised-DEA 등급을 기준으로 195개(47%)의 노트가 높은 품질, 219개(53%)의 노트가 낮은 품질로 분류되었습니다.
Intraclass correlation was 0.84 (95% CI 0.74–0.90) among notes scored by three raters. In the ML development dataset, 195 notes (47%) were high quality and 219 notes (53%) were low quality by Revised-DEA rating.

모델 성능
Model Performance

테스트한 모델 중 로지스틱 회귀 모델과 랜덤 포레스트 모델의 성능 측정값이 가장 높았습니다(표 1). 로지스틱 회귀 모델은 AUROC가 0.88, PPV가 0.68, 평균 정확도가 0.79로 우수한 해석 가능성을 고려하여 선택되었습니다.39
Among the models tested, logistic regression and random forest models had the highest performance measures (Table 1). The logistic regression model with an AUROC of 0.88, a PPV of 0.68, and an average accuracy of 0.79 was selected given its superior interpretability.39

인간 검증
Human Validation

205개의 보이지 않는 검증 세트에서 인간과 ML 평가 간의 평가자 간 신뢰도에 대한 코헨의 카파는 0.67로, 케인의 프레임워크에서 외삽 타당성 증거를 제공했습니다(그림 2).
Cohen’s kappa was 0.67 for interrater reliability between human and ML ratings in the unseen validation set of 205 notes, thus providing extrapolation validity evidence in Kane’s framework (Fig. 2).

후향적 데이터 세트
Retrospective Dataset

후향적 데이터세트에는 295명의 레지던트가 작성한 9591개의 입원 노트(레지던트당 평균 32.5개, 범위는 1-245개)가 있었으며, 이 중 31.1%의 노트가 ML 모델에 의해 높은 품질로 분류되었습니다. 노트 품질은 PGY별로 27.0%(PGY1)에서 31.0%(PGY2)로, 39.0%(PGY3)로 증가했습니다(맨텔-헨젤 테스트 추세 p < .001). 후향적 데이터 세트에는 50가지가 넘는 주요 우려 사항이 있었습니다. 가장 흔한 것은 호흡곤란(11.0%), 기타(7.5%), 상세불명(6.0%), 흉통(6.0%), 복통(4.0%), 낙상(3.0%), 정신 상태 변화(2.0%), 발열(2.0%), 쇠약(2.0%)이었으며 나머지 주요 우려 사항은 각각 2% 미만으로 나타났습니다. 이 대규모 후향적 데이터 세트에 포함된 광범위한 주요 우려 사항과 눈에 띄는 전공의들은 케인 프레임워크의 일반화 추론에 대한 추가적인 타당성 증거를 제공했습니다(그림 2).
In the retrospective dataset, there were 9591 admission notes written by 295 distinct residents (mean 32.5 notes per resident, range 1–245); 31.1% of the notes were classified as high quality by the ML model. Note quality increased by PGY from 27.0% (PGY1) to 31.0% (PGY2) to 39.0% (PGY3) (Mantel-Haenszel test of trend p < .001). There were over 50 chief concerns in the retrospective dataset. The most common were shortness of breath (11.0%), other (7.5%), unspecified (6.0%), chest pain (6.0%), abdominal pain (4.0%), fall (3.0%), altered mental status (2.0%), fever (2.0%), and weakness (2.0%); the remainder of chief concerns occurred < 2% each. The breadth of chief concerns and distinct residents included in this large retrospective dataset provided further validity evidence for the generalization inference of Kane’s framework (Fig. 2).

토론
DISCUSSION

우리는 레지던트 입원 기록에서 CR 문서 품질을 자동으로 분류하기 위해 Kane의 프레임워크를 사용하여 NLP 기반 ML 모델에 대한 타당성 증거를 개발하고 수집했습니다. 이 연구는 ML과 NLP를 사용하여 표준화된 사례에서 CR 문서를 평가하는 이전 연구를 뛰어넘는 것으로, 우리의 모델이 광범위한 주요 관심사가 있는 임상 환경에 적용되고 사전 설정된 임상 정보 목록에 의존하지 않기 때문입니다22,23,24,25,31 우리가 아는 한 이러한 연구는 처음입니다. 저희 기관의 CR 문서화 품질은 전반적으로 낮은 수준이었으며, 이는 널리 보고된 것과 유사했습니다.2,3,4,5 295명의 레지던트가 작성한 후향적 데이터 세트의 9591개 메모 중 31.1%만이 고품질의 CR 문서화를 보여주었습니다. 수련이 더 진행된 레지던트일수록 더 높은 품질의 CR 문서를 보유하고 있었습니다. ML 개발 데이터세트에는 의도적인 샘플링이 사용되었기 때문에 고품질 노트의 비율이 더 높았습니다. 
We developed and collected validity evidence with Kane’s framework for an NLP–based ML model to automatically classify CR documentation quality in resident admission notes. This study goes beyond prior work using ML and NLP to assess CR documentation in standardized cases as our model is applied in the clinical environment with a wide range of chief concerns and is not dependent on a preset list of clinical information22,23,24,25,31—the first study to our knowledge to do so. We found at our institution low overall levels of CR documentation quality, similar to what has been widely reported.2,3,4,5 Only 31.1% of the 9591 notes in the retrospective dataset from 295 residents demonstrated high-quality CR documentation. Residents further along in training did have higher-quality CR documentation. The ML development dataset had a higher proportion of high-quality notes owing to the purposive sampling used.

우리는 케인 프레임워크의 네 가지 영역 모두에서 이 새로운 평가 도구에 대한 타당성 증거를 수집했습니다.

  • 채점(평가자가 어떻게 점수를 부여하는가)에 대한 증거
    • 평가자 선정 및 교육에 대한 설명
  • 일반화(평가가 이론적 테스트 세계에서 가능한 모든 항목의 성과를 대표한다는 것을 입증)에 대한 증거
    • 의도적 샘플링 과정,
    • 인간 평가자 간 신뢰도,
    • 광범위한 주요 관심사와 레지던트를 대표하는 후향적 데이터 세트의 대규모 표본 규모
  • 외삽(이론적 테스트 세계에서의 성과는 관련 구성에 대한 실제 세계의 성과를 반영)에 대한 증거는
    • ML 모델 결과물이 동일한 현상에 대한 인간 평가 참조 표준 측정치(Revised-DEA 점수)와 얼마나 잘 상관관계가 있는지, 그리고
    • 전문가와 초보자를 비교한 결과, 교육이 많이 진행된 레지던트가 더 높은 품질의 CR 문서를 작성했다는 사실에서 알 수 있듯이, 마지막으로 전문가와 초보자를 비교한 결과입니다
  • 함의(평가 데이터가 사용되는 방법)에 대한 증거는
    • 고품질 CR 문서의 컷오프 점수를 결정하는 Hofstee 표준 설정에 대한 

We collected validity evidence for this novel assessment tool in all four domains of Kane’s framework. We provided

  • evidence on scoring (how an assessor gives a single score) with
    • the description of rater selection and training;
  • evidence on generalization (demonstrating the assessment is representative of performance on all possible items in a theoretical test universe) with
    • the process of purposive sampling,
    • interrater reliability among human raters, and
    • the large sample size of the retrospective dataset with a wide breadth of chief concerns and residents represented;
  • evidence on extrapolation (performance in the theoretical test universe reflects performance in the real world on related constructs) 
    • with how well the ML model output correlated with a human rating reference-standard measure of the same phenomenon (the Revised-DEA score) and
    • with expert-novice comparison as evidenced by the fact that residents further along in training had higher-quality CR documentation; and lastly,
  • evidence on implications (how the assessment data will be used) with
    • Hofstee standard setting to determine cutoff scores for high-quality CR documentation.32

우리는 ACGME 하위 역량 대인관계 및 의사소통 기술 3(건강 기록의 적절한 활용 및 작성40)과 같은 다른 관련 구성 요소와의 관계를 포함하여 타당성 증거를 계속 수집하고 시행의 영향을 연구할 것입니다. 그러나 평가의 의도가 형성적 피드백이라는 점을 고려할 때, 시범 시행을 보증하기에 충분한 타당성 증거가 수집되었다고 판단하여32 대화형 대시보드에 표시되는 ML 모델 출력을 사용하여 우리 기관의 IM 레지던트에게 피드백을 제공하기 시작했습니다(그림 4). EHR에서 입원 기록을 매일 추출하여 ML 모델로 분석하고 대시보드에 시각화하여 출력합니다. 2개월 동안 2주 야간 로테이션(입원 기록의 대부분이 작성되는 시기)의 중간에 이 대시보드를 통해 레지던트에게 중간 피드백을 제공하는 시범 서비스를 실시했습니다. 레지던트들은 고품질 CR 문서의 중요성과 (개정된-IDEA 프레임워크에 대한) 공유된 정신 모델을 개괄적으로 설명하는 간단한 PowerPoint 프레젠테이션과 자신의 데이터를 보는 방법에 대한 지침이 포함된 대시보드 개요가 포함된 소개 이메일을 받았습니다. 이 교육이 시행되기 전에는 레지던트들에게 개정-IDEA 프레임워크나 CR 문서화에 대한 기타 명시적인 커리큘럼을 교육하지 않았습니다. 레지던트들은 Revised-IDEA 프레임워크를 배우고 노트에 대한 피드백을 받는 것이 도움이 되었다고 보고했습니다. 그러나 이 대시보드를 교수진과 함께 사용하고 더 구체적인 피드백을 ML 모델에 통합하는 것이 향후 반복 작업의 목표라는 일관된 개선 주제가 있었습니다. 

We will continue to collect validity evidence including relation to other related constructs such as ACGME sub-competency interpersonal and communication skills 3 (Appropriate utilization and completion of health records40) and studying the impact of implementation. However, given the intent of the assessment is for formative feedback, we believe sufficient validity evidence has been gathered to warrant pilot implementation32 and have begun providing feedback to IM residents at our institution using ML model output displayed on an interactive dashboard (Fig. 4). Admission notes from the EHR are extracted daily, analyzed by the ML model, and output visualized on the dashboard. For a 2-month period, we piloted providing residents mid-block feedback with this dashboard halfway through their 2-week night rotation (when the majority of admission notes are written). Residents received an introductory email including a brief PowerPoint presentation overviewing the importance of and a shared mental model for (the Revised-IDEA framework) high-quality CR documentation and an overview of the dashboard with instructions of how to view their own data. Prior to this implementation, residents were not taught the Revised-IDEA framework or other explicit curriculum on CR documentation. The residents reported learning the Revised-IDEA framework and receiving feedback on their notes were helpful. However, a consistent theme for improvement was to use this dashboard with faculty and to incorporate more specific feedback into the ML model—both goals for future iterations.

다음 단계는 이 대시보드를 사용하여 CR 문서에 대한 피드백을 제공하도록 교수진을 교육하는 것입니다. 우리는 피드백 세션을 용이하게 하기 위해 개별 및 전체 레지던트 보기가 포함된 대시보드의 교수용 보기화면를 개발했습니다(그림 5). 또한 이 대시보드는 프로그램 리더십이 이 데이터에 액세스할 수 있도록 하여 평가 프로그램에 통합할 수 있습니다. 밀러 피라미드의 '수행' 수준에서 CR에 대한 작업장 기반 평가는 역량 개발에 필수적입니다.41 CR 평가의 과제 중 하나는 상황 특이성(상황의 영향이 CR 프로세스에 미치는 영향) 문제를 고려할 때, 광범위한 사례 샘플링이 필요하다는 것입니다.42 ML 모델을 사용하여 평가에 자동화된 프로세스를 사용하면 다양한 사례에 걸쳐 많은 수의 평가를 신속하게 제공할 수 있으므로 이러한 문제를 극복하는 혁신적인 솔루션이 될 수 있습니다. 마지막으로, 이 ML 모델은 레지던트 개인에게 의미 있는 데이터를 제공하는 것 외에도 커리큘럼 또는 시스템 변경에 대한 정보를 제공하는 데 사용될 수 있습니다. ML 모델은 수동 차트 검토나 기타 평가자 기반 평가(예: 마일스톤)로는 달성할 수 없는 레지던트의 CR 문서화 관행에 대한 대규모 데이터 세트를 즉각적으로 생성할 수 있습니다. 이러한 데이터 세트에서 패턴을 검토하여 부족한 부분을 파악하여 커리큘럼 또는 시스템 변경(예: CR 문서화 커리큘럼 또는 EHR 템플릿 변경)을 알리는 데 도움을 줄 계획이며, 이는 의학교육에서 ML을 혁신적으로 사용하는 것입니다.16 

Next steps are to train faculty to use this dashboard to provide feedback on CR documentation. We have developed a faculty-facing view of the dashboard with individual and aggregate resident views to facilitate feedback sessions (Fig. 5). This dashboard also provides program leadership access to this data which can be integrated into our assessment program. Workplace-based assessment of CR at the “Does” level of Miller’s pyramid is essential to developing competence.41 One of the challenges of CR assessment is it requires a broad sampling of cases given the issue of context specificity (the impact of context on the CR process).42 Using automated processes for assessment with a ML model is an innovative solution to overcome these challenges as it can rapidly provide a large number of assessments across a range of cases. Lastly, in addition to providing meaningful data to the individual resident, this ML model could also be used to inform curricular or systems change. The ML model can instantaneously create large datasets on residents’ CR documentation practices that cannot be achieved with manual chart review or other human-rater-based assessments (e.g., milestones). We plan to review these datasets for patterns to help identify areas of deficiency to inform curricular or systems changes (such as CR documentation curriculum or EHR template changes), which would be an innovative use of ML in medical education.16

한계
LIMITATIONS

ML 모델은 민감도 70%, PPV 80%, 코헨의 카파 0.67로 성능이 뛰어나지만 불완전합니다. 또한, 현재 ML 모델은 노트를 이진 방식으로 분류하지만, 가장 효과적인 피드백은 구체적이고 실행 가능한 피드백입니다.43 또한, ML 모델은 Revised-IDEA 도구의 초기 검증에 포함되었던 해석적 요약을 제외합니다. 그러나 검증 연구에서 D, E, A 항목 간의 일치도는 0.69, I, D, E, A 항목 간의 일치도는 0.53으로 더 높은 것으로 나타났습니다.34 이는 DEA 구성요소가 해석적 요약과는 다른 CR 문서의 측면(감별 진단의 우선순위 지정 및 정당화)을 측정하고 있음을 시사하며,44 따라서 ML 모델 개발에서 DEA 구성요소를 사용하는 것을 뒷받침합니다. 모델 성능을 개선하고 해석 요약을 통합하는 모델을 개발하기 위한 작업이 진행 중입니다. 
The ML model was high performing but imperfect, with a sensitivity of 70%, PPV of 80%, and Cohen’s kappa of 0.67. Furthermore, the current ML model classifies notes in a binary fashion; however, the most effective feedback is specific and actionable.43 Additionally, the ML model excludes the interpretive summary which was included in the initial validation of the Revised-IDEA tool. However, we did find in the validation study higher agreement between the D, E, and A items with a Cronbach alpha of 0.69 vs Cronbach alpha of 0.53 between the I, D, E, and A items.34 This suggests that the DEA component is measuring an aspect of CR documentation (prioritizing and justifying a differential diagnosis) distinct from the interpretive summary,44 thus supporting use of the DEA component in the ML model development. Work is ongoing to improve upon the model performance and develop a model incorporating the interpretive summary.

ML 모델은 CR이 수행되었는지 또는 정확한지 여부는 평가하지 않으며 문서화되었는지 여부만 평가합니다. 레지던트는 문서화하지 못한 고품질 CR을 보유하거나 반대로 임상적으로 부정확한 고품질 CR을 문서화할 수 있습니다. 그러나 CR 문서화는 필수적인 기술이며, 레지던트는 졸업 시 "문서에서 CR을 효과적으로 전달할 수 있는 역량"을 갖추도록 기대됩니다.40 
The ML model does not assess whether CR was performed or was accurate, only if it was documented. Residents may possess high-quality CR that they failed to document or conversely documented high-quality CR that was clinically inaccurate. However, CR documentation is an essential skill and residents are expected to achieve the competency “to demonstrate effective communication of CR in their documentation” upon graduation.40

마지막으로, EHR의 복잡하고 다양한 특성과 이 기술을 구현하는 데 필요한 리소스를 고려할 때 일반화 가능성에 대한 몇 가지 우려가 있습니다. 400개 이상의 라벨이 지정된 데이터 세트로 모델을 학습시키고 다양한 주요 관심사가 포함된 205개의 다른 데이터로 검증했지만, 임상 환경에는 수많은 주요 관심사가 있을 수 있습니다. 예상되는 실제 성능을 확인하기 위해 지속적인 전향적 검증을 수행할 계획입니다.45 또한 다른 레지던트 프로그램에서 이 기술을 구현할 수 있도록 ML 모델 아키텍처를 공개 도메인에서 사용할 수 있도록 하는 프로세스를 진행 중이며 구현을 지원하기 위한 협업에 열려 있습니다. 
Lastly, there are some concerns about generalizability given the complex and varied nature of the EHR and the resources required to implement this technology. While we trained the model with a labeled dataset of over 400 notes and validated with another 205 notes with a wide range of chief concerns, there are numerous possible chief concerns in the clinical environment. To ascertain expected real-world performance, we will plan to perform ongoing prospective validation.45 We are also working on a process to make the ML model architecture available in the public domain so other residency programs could implement this technology and are open to collaborations to assist with implementation.

결론
CONCLUSIONS

이 검증 연구는 다양한 주요 관심사에 걸쳐 임상 환경에서 레지던트 CR 문서 품질을 평가하는 데 ML과 NLP를 사용할 수 있는 가능성을 보여줍니다. 이 기술의 잠재적 사용 사례는 CR 교육 및 평가에 혁신적일 수 있습니다. 향후 방향에는 모델을 계속 반복하고, 더 많은 타당성 증거를 수집하고, 다른 프로그램에서 구현하기 위한 프로세스를 생성하는 것이 포함됩니다.
This validation study demonstrates the feasibility of using ML and NLP to assess resident CR documentation quality in the clinical environment across a wide array of chief concerns. There are many potential use cases for this technology which could be transformative for teaching and assessment of CR. Future directions will include continuing to iterate on the model, gathering further validity evidence, and generating a process for implementation at other programs.


J Gen Intern Med. 2022 Jul;37(9):2230-2238. doi: 10.1007/s11606-022-07526-0. Epub 2022 Jun 16.

Development and Validation of a Machine Learning Model for Automated Assessment of Resident Clinical Reasoning Documentation

Affiliations collapse

1NYU Grossman School of Medicine, New York, NY, USA. verity.schaye@nyulangone.org.

2NYC Health & Hospitals/Bellevue, New York, NY, USA. verity.schaye@nyulangone.org.

3NYU Grossman School of Medicine, New York, NY, USA.

4Zucker School of Medicine at Hofstra/Northwell, Hempstead, NY, USA.

5Stanford University School of Medicine, Stanford, CA, USA.

PMID: 35710676

PMCID: PMC9296753

DOI: 10.1007/s11606-022-07526-0

Free PMC article

Abstract

Background: Residents receive infrequent feedback on their clinical reasoning (CR) documentation. While machine learning (ML) and natural language processing (NLP) have been used to assess CR documentation in standardized cases, no studies have described similar use in the clinical environment.

Objective: The authors developed and validated using Kane's framework a ML model for automated assessment of CR documentation quality in residents' admission notes.

Design, participants, main measures: Internal medicine residents' and subspecialty fellows' admission notes at one medical center from July 2014 to March 2020 were extracted from the electronic health record. Using a validated CR documentation rubric, the authors rated 414 notes for the ML development dataset. Notes were truncated to isolate the relevant portion; an NLP software (cTAKES) extracted disease/disorder named entities and human review generated CR terms. The final model had three input variables and classified notes as demonstrating low- or high-quality CR documentation. The ML model was applied to a retrospective dataset (9591 notes) for human validation and data analysis. Reliability between human and ML ratings was assessed on 205 of these notes with Cohen's kappa. CR documentation quality by post-graduate year (PGY) was evaluated by the Mantel-Haenszel test of trend.

Key results: The top-performing logistic regression model had an area under the receiver operating characteristic curve of 0.88, a positive predictive value of 0.68, and an accuracy of 0.79. Cohen's kappa was 0.67. Of the 9591 notes, 31.1% demonstrated high-quality CR documentation; quality increased from 27.0% (PGY1) to 31.0% (PGY2) to 39.0% (PGY3) (p < .001 for trend). Validity evidence was collected in each domain of Kane's framework (scoring, generalization, extrapolation, and implications).

Conclusions: The authors developed and validated a high-performing ML model that classifies CR documentation quality in resident admission notes in the clinical environment-a novel application of ML and NLP with many potential use cases.

Keywords: assessment; clinical reasoning; documentation; machine learning; natural language processing.

임상진료상황에서 능숙한 의사소통가의 특징 식별하기(Med Educ, 2022)
Identifying characteristics of a skilled communicator in the clinical encounter
Michelle Verheijden1,2 | Esther Giroldi1,2 | Valerie van den Eertwegh3 | Marscha Luijkx4 | Trudy van der Weijden1 | Anique de Bruin2 | Angelique Timmerman1

 

1 서론
1 INTRODUCTION

의사-환자 커뮤니케이션은 의료 서비스 제공에 중요한 역할을 하며 핵심 의료 역량으로 인식되고 있습니다.1-3 이러한 인식은 현재의 의료 교육 관행과 의료 서비스에서 변화하는 커뮤니케이션 요구 사이의 불일치를 해결해야 함을 의미합니다.1, 4-10 
Doctor-patient communication plays an important role in the delivery of health care and has been recognised as a core medical competency.1-3 This recognition implies addressing a signalled misalignment between current medical training practices and changing communication needs in health care.1, 4-10

따라서 의료 교육 프로그램에서는 여러 가지 일반적인 의사소통 지침을 도입하여 이러한 불일치를 해결하려고 시도해 왔습니다.8 예를 들어, '환자의 이야기 요약하기' 또는 '적극적인 경청'과 같이 임상에서 필요한 의사소통 기술을 정의하기 위해 개발된 SEGUE 프레임워크11 및 캘거리-캠브리지 모델12, 13이 있습니다.4-7, 14, 15 스킬 기반 접근법은 학습자에게 유용한 상담 구조와 스킬 도구 상자를 제공하므로 높은 평가를 받고 있지만, 실제 풍부한 진료 환경에서 효과적으로 의사소통하는 것은 충분하게 지원하지 못합니다.2, 4-7, 9, 16 학습자는 직면하는 임상 문제에 의해 도전을 받고 환자의 요구를 고려하여 의사소통을 조정합니다.1, 5-7, 17 이는 Veldhuijzen 등과 Essers 등이 의사소통은 일차적으로 목표 중심적이며, 상담의 여러 맥락적 요인(예: 의료, 환자 또는 의사 관련)에 의해 영향을 받는다고 말한 것처럼 각 임상 상황에서 의사소통을 맞춤화할 필요가 있음을 시사합니다.10, 13, 18 
Consequently, medical training programmes have attempted to address this misalignment by introducing multiple generic communication guidelines.8 For instance, the SEGUE framework11 and Calgary–Cambridge model12, 13 were developed to define communications skills needed in the clinical encounter like ‘summarising the patient's story’ or ‘active listening’.4-7, 14, 15 Although a skills-based approach is highly valued as it provides learners a helpful consultation structure and a toolbox of skills, it insufficiently supports them in communicating effectively in the complexity of the authentic rich practice setting.2, 4-7, 9, 16 Learners are challenged by the clinical problems they encounter and adjust communication considering patient needs.1, 5-7, 17 This implies a need to tailor communication in each clinical encounter, as Veldhuijzen et al and Essers et al state that communication is primarily goal driven and influenced by several contextual factors (i.e. medical-, patient- or doctor-related) in the consultation.10, 13, 18

이러한 필요성은 '의사소통 기술'에 초점을 맞추던 것에서 '숙련된 의사소통'으로 전환하는 현재의 담론과 연결됩니다.8, 10 의사-환자 의사소통 학습은 경험적 직장 학습 중 의사소통의 맥락화된 적용을 통해 보다 적절하게 다룰 수 있습니다.7, 9, 10, 16, 17, 19, 20 숙련된 의사소통의 전문성을 얻기 위해서는 성찰과 피드백을 바탕으로, 개인 수행의 [적용, 적응 및 개선 기회]를 제공하는 도전적인 임상 학습 과제에 기반하여 의도적인 연습이 필요합니다.21, 22 
This signalled need connects to the current discourse shifting from focusing on ‘communication skills’ towards ‘skilled communication’.8, 10 Learning doctor–patient communication may be more appropriately addressed by a contextualised application of communication during experiential workplace learning.7, 9, 10, 16, 17, 19, 20 For attaining expertise in skilled communication, deliberate practice is required based on challenging clinical learning tasks that provide opportunities for application, adaptation and refinement of personal performance, based on reflection and feedback.21, 22

그럼에도 불구하고 숙련된 의사소통 접근법이 정확히 무엇이며 숙련된 의사소통자의 특성이 무엇인지에 대한 합의가 부족합니다.1, 7, 9, 15, 23 우리는 숙련된 의사소통의 개념을 설명하기 위한 예비 단계로 의료 의사소통과 관련된 이해관계자들의 관점을 종합하기 위해 명목 그룹 기법(NGT)을 사용했습니다.22 NGT는 의학 교육에 널리 적용되었으며, 구조화된 특성상 모든 이해관계자가 자신의 의견을 표현할 수 있는 동등한 기회를 보장하여 토론을 촉진하고 공유된 합의를 형성합니다.24-26 
Nevertheless, a lack of consensus exists about what a skilled communication approach exactly entails and what characteristics are of a skilled communicator.1, 7, 9, 15, 23 We used the nominal group technique (NGT) to synthesise viewpoints from stakeholders involved in medical communication as a preliminary step to inform describing the concept of skilled communication.22 NGT has been widely applied in medical education, and its structured nature ensures all stakeholders to have equal opportunities to express their views, stimulating discussion and creating a shared consensus.24-26

본 연구는 현재 의료 커뮤니케이션 연구의 이론 구축에 기여하고 숙련된 커뮤니케이션 교육을 위한 학습자 중심 접근법의 개발을 알리고 향후 임상 실무로의 이전을 지원하는 것을 목표로 합니다.9, 10, 15 다음과 같은 연구 질문이 다루어졌습니다: '임상 현장에서 숙련된 커뮤니케이터의 특징은 무엇인가?' 
We aim to contribute to theory building in current health communication research and to inform the development of a learner-centred approach for skilled communication training and support its future transfer to clinical practice.9, 10, 15 The following research question was addressed: ‘What are characteristics of a skilled communicator in the clinical encounter?’

2 방법
2 METHODS

설정
Setting

이 연구는 네덜란드의 일반 진료(GP) 전문 교육 프로그램의 맥락에서 수행되었으며, 8개의 GP 교육 기관 중 5개 기관에서 참가자를 모집했습니다. 일반의의 임상 업무량은 다양한 의학적 및 심리사회적 불만 사항으로 구성되어 있어 임상적 상황에 맞게 커뮤니케이션을 일관되게 조정해야 하기 때문에 GP 환경을 선택했습니다.14, 17, 23, 24, 27, 28 GP 교육 프로그램은 3년에 걸쳐 4일의 직장 기반 교육과 1일의 공식 교육으로 번갈아 가며 구성됩니다. 
The study was performed in the context of the general practice (GP) specialty training programme in the Netherlands, recruiting participants from five out of eight GP training institutes. The GP setting was chosen because the clinical workload of a GP consists of a variety of medical and psychosocial complaints, which requires a consistent adjustment of communication to the needs of the clinical encounter.14, 17, 23, 24, 27, 28 The GP training programme consists of 3 years, alternating 4 days of workplace-based training with 1 day of formal education.

연구 설계
Study design

숙련된 커뮤니케이터의 특성을 규명하기 위해 2020년 4월부터 10월까지 네덜란드의 GP 교육 프로그램 이해관계자를 대상으로 6번의 NGT 세션이 진행되었습니다. NGT는 특정 주제에 대한 아이디어를 도출하기 위한 합의 그룹 방식으로, 참가자들이 구조화된 상호작용을 통해 생각을 공유하고 토론에 참여하도록 지속적으로 자극함으로써 여러 이해관계자의 관점을 통합하는 데 도움이 됩니다.29, 30 COVID-19 팬데믹으로 인해 모든 NGT 세션은 Zoom 플랫폼을 사용하여 전자 환경에서 진행되었습니다.31, 32
Six NGT sessions were conducted between April and October 2020 among Dutch stakeholders of the GP training programmes to elucidate characteristics of a skilled communicator. The NGT is a consensus group method to generate ideas on a certain topic and facilitates the integration of multiple stakeholders' perspectives by constantly stimulating participants to share their thoughts and engage in the discussion through a structured interaction.29, 30 Due to the COVID-19 pandemic, all NGT sessions took place in an electronic environment using the Zoom platform.31, 32

참가자 Participants

각 NGT 세션의 최적 참가자 수는 5~7명으로, 6개의 세션에 최소 30명이 참여해야 합니다.25, 33 의도적 표본 추출을 사용하여 의사-환자 커뮤니케이션에 대한 경험과 전문성을 바탕으로 잠재적 이해관계자 목록을 구성했습니다.34 이 목록에는 (1) GP, (2) GP 연수생, (3) GP 트레이너, (4) GP 연수 프로그램의 조정자 및 교육과정 개발자, (5) 의료 커뮤니케이션 분야 연구자가 포함되었습니다. 75명의 잠재적 이해관계자에게 이메일을 통해 연구의 목적과 절차, 필요한 시간 투자에 대한 정보를 제공하면서 참여를 요청했습니다. 각 NGT 세션 전에 모든 참가자로부터 서면 동의서를 받았으며, 참가자는 자발적으로 참여했습니다. 또한 참가자들은 인구통계학적 설문지를 작성했습니다. 참가자를 식별할 수 있는 모든 개인 식별 정보는 하나 이상의 인공 식별자(가명)로 대체되었습니다.
The optimal number of participants for each NGT session is five to seven, resulting in a minimum of 30 participants for six sessions.25, 33 By using purposive sampling, a list of potential stakeholders was composed based on their experience and expertise in doctor-patient communication.34 The list included (1) GPs, (2) GP trainees, (3) GP trainers, (4) coordinators and curriculum developers of the GP training programme and (5) researchers in medical communication. We invited 75 potential stakeholders to participate via e-mail, providing information about the purpose and procedure of the study and needed time investment. Written informed consent was obtained from all participants prior to each NGT session, and participation was on a voluntary basis. Moreover, participants completed a demographic questionnaire. All personally identifiable personal information, which could lead to the participants, was replaced by one or more artificial identifiers (pseudonyms).

데이터 수집
Data collection

90분에서 120분까지 진행된 NGT 세션은 오디오 녹음 후 그대로 필사되었습니다. 모든 NGT 세션은 동일한 프로토콜(부록 S1)을 사용했으며, 두 명의 사회자, 한 명의 교육 연구자 겸 심리학자(AT)와 한 명의 박사 과정 학생 겸 GP 수련의(MV)가 진행했습니다.35, 36 추가 연구자 겸 보건 과학자(EG)가 세션에 참석하여 관찰하고 현장 메모를 작성했습니다. 연구팀은 숙련된 의사소통에 대한 현재 과학적 담론에서 아이디어를 수집하기 위해 문헌 연구와 의사소통 전문가와의 세 차례의 반구조화 인터뷰를 수행하여 명목 질문을 구성했습니다.29, 36, 37

  • 세션 절차에 대한 간략한 설명 후 다음과 같은 명목 질문이 제기되었습니다: '숙련된 GP 의사소통자의 특징은 무엇인가요? NGT 세션에서 우리는 특성을 '임상 상황에서 숙련된 의사소통자를 설명하는 전형적이거나 눈에 띄는 특징'으로 소개했습니다.
  • 둘째, 명목상의 질문에 대해 참가자들은 개별적으로 자신의 아이디어를 적었습니다.
  • 셋째, 참가자들은 하나의 아이디어를 '라운드 로빈' 방식으로 그룹에 공유했습니다. 진행자 중 한 명이 모든 아이디어를 워드 문서로 옮겨 모든 참가자가 디지털 화면에서 볼 수 있도록 했습니다.
  • 넷째, 참가자들은 자신의 아이디어를 명확히 밝히고 비슷한 아이디어를 결합할 수 있는 기회를 제공받았습니다.
  • 다섯째, 모든 참가자는 숙련된 커뮤니케이터에게 가장 중요하다고 생각되는 특성을 기술한 7가지 아이디어를 개인적으로 선택하고 1점부터 7점(총 28점)까지 점수를 매겼으며, 7점이 가장 높은 점수를 받았습니다. 웹 기반 플랫폼인 Qualtrics(버전 XM; Qualtrics, 유타주 프로보: 2020)를 사용하여 익명으로 순위를 매기는 과정을 조정하고 보안을 유지했습니다.
  • 마지막으로 참가자들은 총 순위에 대해 토론하여 그룹 합의를 도출했습니다. 진행자는 모든 참가자에게 돌아가면서 토론에 참여하도록 개별적으로 초대하고, 각 토론 라운드에서 참가자들이 아이디어와 의견을 공유할 수 있는 충분한 기회를 제공했으며, 최종 순위가 디지털 화면에 표시될 때 각 참가자에게 명시적인 합의를 요청했습니다. 그룹 합의에 도달하지 못한 경우 한두 차례에 걸쳐 순위를 다시 정하는 과정을 거쳤습니다. 그룹 합의는 그룹에서 생성된 특성의 총 순위에 대해 모든 참가자가 구두로 동의하는 것으로 정의되었습니다. 앞서 언급한 단계에 대한 자세한 개요는 부록 S1에서 확인할 수 있습니다.

The NGT sessions, ranging in time from 90 to 120 min, were audio-recorded and transcribed verbatim. All NGT sessions used the same protocol (Appendix S1) and were facilitated by two moderators, one educational researcher and psychologist (AT) and one PhD student and GP trainee (MV).35, 36 An additional researcher and health scientist (EG) was present during the sessions to observe and make field notes. The research team constructed the nominal question by performing a literature study and three semi-structured interviews with communication experts to assemble ideas from the current scientific discourse on skilled communication.29, 36, 37 

  • After a brief explanation of the sessions procedure, the following nominal question was posed: ‘What are characteristics of a skilled GP communicator?’ During the NGT sessions, we introduced characteristic as ‘a typical or noticeable feature describing a skilled communicator in the clinical encounter’.
  • Second, in response to the nominal question, participants individually wrote down their ideas.
  • Third, participants shared a single idea to the group in a ‘round robin’ fashion. One of the moderators transcribed all ideas in a word document, which was visible for all participants on the digital screen.
  • Fourth, participants clarified their ideas and were provided with the opportunity to combine similar ideas.
  • Fifth, all participants privately selected seven ideas, which described characteristics deemed most important for a skilled communicator and scored them from 1 to 7 (total of 28 points), 7 being the highest rank score. The web-based platform Qualtrics (version XM; Qualtrics, Provo, Utah: 2020) was used to coordinate and secure the anonymous ranking process.
  • In the end, participants discussed the total ranking to reach group consensus. The moderators invited all participants individually to take part in the discussion by giving turns to all participants, providing sufficient opportunities for participants to share ideas and views during each round of discussion and asking explicit consensus from each participant when the final ranking was presented on the digital screen. If no group consensus was reached a re-ranking process occurred in one or two rounds. Group consensus was defined as a voiced agreement of all participants on the total ranking of characteristics generated by the group. A more detailed outline of the aforementioned steps is available (Appendix S1).

데이터 분석
Data analyses

모든 NGT 세션의 결과물은 양적, 질적으로 모두 분석되었습니다. 분석 결과 숙련된 커뮤니케이터의 특성과 임상에서 숙련된 커뮤니케이션 접근법의 개념적 모델을 파악할 수 있었습니다.
The output of all NGT sessions was analysed both quantitatively and qualitatively. The analyses resulted both in the identification of characteristics of a skilled communicator and a conceptual model of a skilled communication approach in the clinical encounter.

2.5.1 분석 접근법
2.5.1 Analysis approach


인구통계학적 변수는 Windows용 SPSS 26.0(IBM Corp. Armonk, NY)의 서술적 통계를 사용하여 분석했습니다. 설명적 통계를 사용하여 NGT 세션의 양적 구성 요소를 분석했습니다. NGT 세션의 내용은 5단계에 걸쳐 수행된 (반복되는) 주제를 식별, 분석 및 보고하는 주제별 내용 분석을 사용하여 분석했으며, 이는 흐름도(그림 1)에 설명되어 있습니다.38, 39
Demographic variables were analysed using descriptive statistics in SPSS 26.0 for Windows (IBM Corp. Armonk, NY). We analysed the quantitative components of the NGT sessions using descriptive statistics. The content of the NGT sessions was analysed using thematic content analysis by identifying, analysing and reporting (recurring) themes performed in five phases and is illustrated in the flow diagram (Figure 1).38, 39

  • 먼저, 연구팀원(MV, AT, EG)은 각 NGT 세션에 대해 개별적으로 조립된 항목에 대한 일반 설명을 독립적으로 작성했습니다(부록 S3 참조).
  • 다음으로, 개별 팀원들이 작성한 일반적 설명을 연구팀이 합의에 도달할 때까지 논의하여 클러스터를 만들었습니다(부록 S4 참조).
  • 셋째, 연구팀은 모든 NGT 세션에서 도출된 클러스터를 반복적으로 비교하여 유사한 내용을 병합하여 주제를 종합했습니다(부록 S5 참조).
  • 넷째, 의사-환자 전문가 패널의 두 연구자(ML, VvdE)가 식별된 주제와 기본 클러스터에 대한 구성원 점검을 수행하여 모든 NGT 세션의 내용이 포함되었는지 평가하여 최종 주제 및 클러스터 목록을 도출했습니다.
  • 마지막으로, 연구팀은 문헌에 대한 내용을 반영하여 테마의 관련성과 내부 일관성을 평가하여 개념을 식별했습니다(사용된 용어의 정의는 부록 S2 참조). 전문 번역가가 최종 주제와 클러스터를 영어로 번역한 후, 영어에 능통한 네덜란드 원어민 연구팀원이 다시 네덜란드어로 번역하여 번역의 정확성을 검증하고 연구팀 전체가 승인했습니다.
  • First, research team members (MV, AT, EG) independently formulated general descriptions for the assembled items for each NGT-session separately (see Appendix S3).
  • Next, these general descriptions by individual team members were discussed by the research team until consensus was reached, resulting in clusters (see Appendix S4).
  • Third, the research team performed an iterative comparison of formulated clusters from all NGT sessions to merge for a similar content, resulting in the synthesis of themes (see Appendix S5).
  • Fourth, two researchers (ML, VvdE) of a doctor–patient expert panel performed a member check of the identified themes and underlying clusters to assess if the content of all NGT sessions was covered, resulting in the final list of themes and clusters.
  • Finally, the research team assessed the relatedness and internal coherence of the themes by reflecting on their content against literature, resulting in the identification of concepts (see Appendix S2 for definition of used terms). A professional translator translated the final themes and clusters into English, and then members of the research team as native Dutch speakers proficient in English translated them back into Dutch to verify the accuracy of the translations, which was approved by the whole research team.

반사성
Reflexivity

저희는 이 연구의 결과가 연구자와 참여자 간의 상호작용에 의해 공동으로 구성되었음을 인정합니다. 연구팀은 인구통계학적 특징(예: 여성, 백인, 국적)은 비슷했지만 의사-환자 커뮤니케이션 연구 및 교육과 관련된 전문 지식과 관점에는 다양성이 있었습니다. 일반의 수련의 및 박사 과정 학생(MV), 일반의 교육 기관에서 일하는 심리학자(AT), 학부 의료 교육 프로그램에서 일하는 커뮤니케이션 연구자 및 트레이너(EG), 자기조절 학습에 대한 연구 전문성을 갖춘 교육 심리학자(AdB) 등이 참여했습니다. 이러한 다양한 전문적 배경은 팀 토론에 깊이와 풍성함을 더했습니다. 편견을 방지하기 위해 연구팀 내에서 개별 데이터 분석 결과를 논의할 때 비판적인 입장을 견지했으며, 데이터의 의미를 도출하는 과정에서 다른 관점을 모색했습니다.40 
We acknowledge that outcomes in this study are co-constructed by interactions between researchers and participants. While our research team was similar in terms of demographic features (i.e. female, white and nationality), there was diversity in expertise and perspectives related to doctor–patient communication research and training. A GP trainee and PhD student (MV), a psychologist working at a GP training institute (AT), a communication researcher and trainer working at a undergraduate medical training programme (EG) and an educational psychologist with research expertise in self-regulated learning (AdB). These different professional backgrounds provided depth and richness to the team discussions. To prevent biases, we kept critical of our stances in discussing findings from individual data analysis within the research team and explored alternative viewpoints during the process of making meaning of the data.40

3 결과
3 RESULTS

결과는 사회 인구학적 특성, NGT 세션 순위 결과를 설명하는 연구 특성, 주제별 내용 분석 결과 숙련된 커뮤니케이터의 특성, 숙련된 커뮤니케이션 접근 방식을 설명하는 개념적 모델 개발로 제시됩니다.
The results will be presented as socio-demographic characteristics, study characteristics describing the NGT session ranking results, characteristics of a skilled communicator as a result of thematic content analysis, and the development of a conceptual model describing a skilled communication approach.

사회 인구학적 특성
Socio-demographics characteristics

총 34명의 이해관계자가 6개의 NGT 세션 중 하나에 참여(응답률 48%)했습니다. 이해관계자의 연령은 26세에서 65세(평균 45세, SD 13.2세)였으며, 여성이 19명(56%)이었습니다. 표 1은 이해관계자의 특성 및 직업적 배경 구성에 대한 정보를 제공합니다.
A total of 34 stakeholders participated (response rate 48%) in one of the six NGT sessions. The stakeholders' ages ranged from 26 to 65 years (mean 45, SD 13.2 years), and 19 were female (56%). Table 1 provides information on stakeholders' characteristics and the composition of their professional backgrounds.

연구 특성
Study characteristics

6번의 NGT 세션이 진행되었으며, 각 세션마다 참가자들이 NGT 세션에서 정리한 여러 항목(n = 191)으로 구성된 '상위 7가지 특성'(부록 S3 참조)이 도출되어 41개의 클러스터로 이어졌습니다. 질적 분석 결과, 숙련된 커뮤니케이터의 특성을 설명하는 9개의 테마가 도출되었습니다. 표 2는 주제와 해당 클러스터의 순위를 보여줍니다. 테마는 이러한 결합된 기준에 따라 나열되어 있습니다: (1) 일련의 NGT 세션에서 가장 높은 순위를 차지한 클러스터와 (2) 특정 테마 내의 모든 클러스터 점수의 합입니다.

Six NGT sessions were conducted, each resulting in its own ‘Top 7 of characteristics’ (see Appendix S3) consisting of multiple items (n = 191) that were organised by the participants during the NGT sessions, leading to 41 clusters. Qualitative analysis resulted in nine themes, describing characteristics of a skilled communicator. Table 2 shows the rankings of the themes and corresponding clusters. The themes are listed according to these combined criteria:

  • (1) the clusters ranked the most often over the series of NGT sessions and
  • (2) the sum of all cluster scores within a specific theme.
 

숙련된 커뮤니케이터의 특성
Characteristics of a skilled communicator

이 섹션에서는 숙련된 커뮤니케이터의 특성을 설명하는 식별된 주제를 그림 2에 설명된 내러티브로 개괄적으로 설명합니다. 주제는 참가자들이 순위를 매겨 조립한 항목에 대한 주제별 콘텐츠 분석의 결과로 식별됩니다.

In this section, the identified themes describing characteristics of a skilled communicator will be outlined and described as a narrative, which are illustrated in Figure 2. Themes are identified as a result of the thematic content analysis of the rank-ordered assembled items by the participants.

3.3.1 A: 환자에게 민감하고 적응하기
3.3.1 A: Being sensitive and adapting to the patient

5번의 NGT 세션 동안 '환자에게 민감하고 적응하기'라는 주제를 나열하고 점수를 매겼습니다. 이 주제는 환자의 경험과 요구에 민감하게 반응하는 것과 환자와의 언어적, 비언어적 의사소통을 조정하는 것으로 세분화할 수 있습니다. 또한, 공통점을 찾는 것은 환자와의 만남에서 무엇이 필요한지 민감하게 파악하고 그에 따라 의사소통을 조정하는 것으로 언급되었습니다.
During five NGT sessions, the theme ‘Being sensitive and adapting to the patient’ was listed and scored. It can be subdivided into being sensitive to the patient's experience, and needs and adjusting verbal and non-verbal communication to the patient. Moreover, finding common ground was mentioned as being sensitive to what is needed in the encounter and adapt communication accordingly.

3.3.2 B: 대인 커뮤니케이션을 능숙하게 적용하는 것
3.3.2 B: Being proficient in applying interpersonal communication

네 개의 NGT 세션에서 '대인 커뮤니케이션을 능숙하게 적용하기'라는 주제를 나열하고 점수를 매겼습니다. 센트럴은 대인 커뮤니케이션을 적용하는 방법을 알고 언제 상담에 적용해야 하는지 아는 측면에서 의사와 환자 간의 관계를 증진하는 대인 커뮤니케이션을 시연하고 있습니다. 이 주제에 따라 평화와 신뢰 형성, 완전한 존재감 드러내기, 충분한 시간 갖기, 희망과 현실 사이의 균형 잡기 등 다양한 목표와 기술이 보고되었습니다. 또한 참가자들은 대화 과정에 대해 상호적으로 논의하고 상호 기대치를 명확히 할 필요성에 대해 언급했습니다.
Four NGT sessions listed and scored the theme ‘Being proficient in applying interpersonal communication’. Central is demonstrating interpersonal communication fostering the relationship between doctor and patient, both in terms of knowing how to apply it and knowing when to apply it in the consultation. Under this theme, different objectives and skills were reported, for example: creating peace and trust, displaying full presence, taking sufficient time and balancing between hope and realism. In addition, participants mentioned the need to attend to reciprocity discuss the dialogical process and articulate mutual expectations.

3.3.3 C: 자기 인식, 학습 능력 및 반성적 역량
3.3.3 C: Self-awareness, learning ability and reflective capacity

'자기 인식, 학습 능력 및 반성적 역량'이라는 주제는 네 번의 NGT 세션에서 나열되고 채점되었습니다. 여기에는 규범과 가치, 경계, 함정, 의사소통 스타일에 대한 개인의 인식이 포함됩니다. 환자와 동료의 피드백에 개방적이고 자신의 의사소통의 단점을 성찰함으로써 자신의 관점이나 편견과 같은 개인적 기준 프레임에 대한 인식이 강화됩니다. 또한, 이 주제에서는 학습에 대한 의지, 즉 이전 경험을 바탕으로 다양한 커뮤니케이션 전략을 실험할 수 있는 성장 마인드가 언급되었습니다.
The theme ‘Self-awareness, learning ability and reflective capacity’ was listed and scored by four NGT sessions. It includes personal awareness of norms and values, boundaries, pitfalls and communication style. By being open for feedback from patients and colleagues and reflecting upon shortcomings in one's communication, performance awareness of own personal frame of reference (e.g. perspectives and prejudices) is fostered. Moreover, within this theme willingness to learn was mentioned: a growth mind-set, which enables experimenting with different communication strategies based upon prior experiences.

3.3.4 D: 진정으로 관심 갖기
3.3.4 D: Being genuinely interested

네 번의 NGT 세션에서 '진정으로 관심 갖기'라는 주제를 나열하고 점수를 매겼으며, 호기심을 보이는 태도를 통해 환자와 열린 대화를 나누는 것이 중요하다고 언급했습니다. 호기심을 갖고, 쉽게 접근하고, 비판적이지 않고, 열린 마음을 갖는 것이 필수적입니다.
Four NGT sessions listed and scored the theme ‘Being genuinely interested’ and to establish an open dialogue with the patient by displaying an attitude of curiosity. It is essential to be curious, easily accessible, non-judgmental and open-minded.

3.3.5 E: 환자 중심 커뮤니케이션을 능숙하게 적용하기
3.3.5 E: Being proficient in applying patient-centred communication

네 번의 NGT 세션 동안 '환자 중심 의사소통을 능숙하게 적용하기'라는 주제가 나열되고 점수가 매겨졌습니다. 이 주제는 의사소통 전략의 메커니즘잠재적 효과에 대한 지식과 효과적인 정보 교환 개발로 세분화할 수 있습니다. 의사는 상담 시 환자의 눈높이에 맞게 언어를 유연하게 조정하고, 질문과 설명을 구체적으로 하고 이해 여부를 확인해야 합니다. 
During four NGT sessions, the theme ‘Being proficient in applying patient-centred communication’ was listed and scored. This theme can be subdivided into knowledge about the mechanisms and potential effects of communication strategies and developing an effective information exchange. In their consultations, doctors need to flexibly adjust their language to the level of the patient, being concrete in questioning and providing explanations and checking for understanding.

3.3.6 F: 목표 지향적 의사소통
3.3.6 F: Goal-oriented communication

네 번의 NGT 세션 동안 '목표 지향적 의사소통'이라는 주제를 나열하고 점수를 매겼습니다. 이는, 필요할 때마다, 환자와 의사 모두의 의제를 다루고 추가적인 주의가 필요한 문제와 불필요해 보이는 문제를 구분하기 위해 주도적으로 행동하는 것을 의미합니다. 시간 제한적 개입은 상담 과정에 관한 선택을 할 때 목표 지향적으로 일할 수 있도록 지원합니다. 동시에 분석적이고 깊이 탐구하는 자세는, 임상과 환자의 목표를 모두 고려하고 이를 연결하면서, 내용과 과정 사이의 균형을 맞출 수 있게 해줍니다.
During four NGT sessions, the theme ‘Goal-oriented communication’ was listed and scored. It means taking the lead, whenever it is necessary, to address the agenda of both patient and doctor and differentiate between issues that require additional attention and those that seem superfluous. Time-contingent interventions support goal-oriented working in making choices regarding the course of the consultation. Concomitantly, being analytic and exploring deeper enable balancing between content and process while taking into account both clinical and patients' goals and bridging them.

3.3.7 G: 진정성 확보하기
3.3.7 G: Being authentic

네 개의 NGT 세션에서 '진정성'을 주제로 선정하고 점수를 매겼습니다. 이는 의사소통 성과가 환자에게 거의 감지되지 않는다는 것을 의미합니다. 진정성 있는 방식으로 목표를 달성하면 자연스럽고 개인적인 스타일의 커뮤니케이션으로 이어집니다. 이를 위해서는 공감, 취약성, 그리고 필요한 경우 불안감에 대한 소통을 보여줘야 합니다.
Four NGT sessions listed and scored the theme ‘Being authentic’. It means that communication performance is almost imperceptible to the patient. Achieving goals in an authentic manner leads to a natural and personal style in communication. This necessitates showing empathy, vulnerability and communication about insecurities, if needed.

3.3.8 H: 적극적인 경청
3.3.8 H: Active listening

'적극적 경청'이라는 주제는 세 번의 NGT 세션에서 목록화되어 점수를 받았다. 경청 능력으로 묘사되었다.

  • 환자가 자신의 이야기를 할 수 있는 여지를 만들고, 만남에서 환자의 단서와 환자가 강조하는 것에 대해 적극적으로 경청하며 (비)언어적 의사소통에 집중하는 것으로 설명되었습니다.

The theme ‘Active listening’ was listed and scored by three NGT sessions, which was described as the ability to listen:

  • attentively and thereby creating room for patients to tell their story, and actively for patient cues in the encounter and what is stressed by the patient, and focus on (non-)verbal communication.

3.3.9 I: 환자와 협력하기
3.3.9 I: Collaborating with the patient

두 개의 NGT 세션에서 '환자와 협력하기'라는 주제를 나열하고 점수를 매겼습니다. 이는 의사와 환자가 투명성을 위해 노력하고 상호 계획에 도달하는 평등에 기반합니다. 다른 한편으로, 협업은 환자가 문제 해결의 공동 파트너가 되어 환자의 자율성을 높이고 공동 의사 결정을 내릴 수 있는 공동 책임에 기반합니다.
Two NGT sessions listed and scored the theme ‘Collaborating with the patient’. On the one hand, this is based on equality: doctor and patient striving towards transparency and reaching a mutual plan. On the other hand, working collaboratively is based on a shared responsibility where the patient becomes co-partner in problem solving enhancing the patients' autonomy and enabling to shared decision making.

숙련된 의사소통 접근법의 개념적 모델
Conceptual model of a skilled communication approach

이 개념적 모델(그림 3 참조)에서는 두 가지 순환적이고 중요한 프로세스가 실제 커뮤니케이션 행동과 커뮤니케이션에 대한 성찰의 중심이 됩니다. 이러한 작업을 수행하려면 다음과 같은 특성이 필요합니다. 의사는 첫 번째 과정인 의사소통에 민감해야 하며, 의사소통을 만남의 필요에 맞게 조정해야 합니다. 관찰된 의사소통 행동은 의사의 적용된 기술과 표시된 태도에 영향을 받습니다. 

  • 연구 결과에서 첫 번째 구성 요소는 대인 관계 및 환자 중심 커뮤니케이션을 적용하는 숙련도로 확인되었습니다. 또한, 능동적 경청은 고도로 숙련된 과정으로 확인되었으며, 이는 (대인관계 및 환자 중심) 의사소통을 적용하기 위한 조건부 도구로 볼 수 있습니다.41 
  • 두 번째 구성 요소인 태도적 측면은 진정성과 진정한 관심으로 확인되었으며 숙련된 커뮤니케이터의 핵심으로 간주됩니다. 이러한 태도적 측면은 임상적 만남에서 환자에게 민감하게 반응하고 의사소통을 조정하는 과정을 용이하게 합니다.

In this conceptual model (see Figure 3), two circular and overarching processes are central actual communication behaviour and reflection on communication. The following characteristics are needed to perform these tasks. The doctor needs to be sensitive and adapt communication to the needs of the encounter, which is the first process. The communication behaviour observed is influenced by applied skills and displayed attitudes of the doctor.

  • The first component is identified in our findings as the proficiency to apply interpersonal and patient-centred communication. Moreover, the characteristic Active listening was identified as a highly skilled process, which could be seen as a conditional tool to apply (interpersonal and patient-centred) communication.41 
  • The second component, attitudinal aspects, are identified in as authenticity and genuine interest and considered as core for a skilled communicator. These attitudinal aspects facilitate the process of being sensitive and adapting communication to the patient in the clinical encounter.

또한 숙련된 커뮤니케이터가 환자와 협력하고 필요한 경우 주도권을 잡으면서 임상 진료 중에 목표를 조정할 수 있도록 하는 데 있어 기술과 태도는 조건적인 요소입니다. 이는 의사소통이 본질적으로 맥락적이고 목표 중심적이라는 점과 일맥상통합니다.14, 18, 28 또한, 상담에서 환자와 의사의 관련 목표를 다룰 때 상호 합의점을 찾는 것이 촉진됩니다.14 숙련된 커뮤니케이터는 또한 임상 진료 중 의사소통 과정을 스스로 모니터링할 수 있어야 하며, 이는 두 번째로 확인된 병행 과정과 일맥상통합니다: '자기 인식, 학습 능력 및 반성적 능력'과 일치합니다.42, 43
Skills and attitudes are also conditional in enabling a skilled communicator to adjust goals during the clinical encounter while working collaboratively with a patient and taking the lead if needed. This resonates with communication being inherently contextual and goal driven.14, 18, 28 Furthermore, finding mutual agreement is fostered in addressing both patients' and doctors' related goals in the consultation.14 A skilled communicator should also be able to self-monitor communication processes during the clinical encounter, which resonates with the second identified parallel process: ‘self-awareness, learning ability, and reflective capacity.42, 43

4 논의
4 DISCUSSION

이 연구의 목적은 의료 커뮤니케이션 분야의 다양한 이해관계자의 관점을 종합하여 숙련된 커뮤니케이션의 개념을 알리는 것이었습니다. 6차례에 걸쳐 진행된 NGT 세션에 참여한 이해관계자들은 총 191개의 항목을 종합적으로 해명했습니다. 이러한 결과를 주제별 내용 분석에 사용하여 임상 현장에서 숙련된 커뮤니케이터의 특성을 설명하는 9가지 주제를 식별했습니다.

  • (A) 환자에 대한 민감성과 적응력,
  • (B) 대인 커뮤니케이션 적용에 능숙함,
  • (C) 자기 인식, 학습 능력 및 성찰 능력,
  • (D) 진정으로 관심 있음,
  • (E) 목표 지향적 커뮤니케이션,
  • (F) 진정성,
  • (G) 환자 중심 커뮤니케이션 적용에 능숙함,
  • (H) 적극적인 경청,
  • (I) 환자와 협력하는 것

식별된 주제는 각 특성이 의사의 개인 레퍼토리의 일부이며 통합된 전체를 구성하기 때문에 내용상 밀접한 관련이 있습니다.9, 14, 16, 44
The purpose of this study was to inform the concept of skilled communication by synthesising viewpoints from different stakeholders in the field of medical communication. Stakeholders participating in the six conducted NGT sessions collectively elucidated 191 items. We used these findings in a thematic content analysis and identified nine themes, describing characteristics of a skilled communicator in the clinical encounter:

  • (A) being sensitive and adapting to the patient;
  • (B) being proficient in applying interpersonal communication;
  • (C) self-awareness, learning ability and reflective capacity;
  • (D) being genuinely interested;
  • (E) goal-oriented communication;
  • (F) being authentic;
  • (G) being proficient in applying patient-centred communication;
  • (H) active listening; and
  • (I) collaborating with the patient.

The identified themes are closely related in content as each characteristic is part of the doctor's personal repertoire and constitutes an integrated whole.9, 14, 16, 44

또한, 확인된 주제를 바탕으로 (1) 환자에 대한 민감성과 적응력, (2) 자기 인식, 학습 능력, 반성적 능력이라는 두 가지 병렬 프로세스를 추출할 수 있고 임상에서 핵심이 되는 숙련된 의사소통 접근법의 개념적 모델을 개발했습니다. 이 모델은 전문적 성과를 모니터링하고 조절하는 넬슨과 나렌스(1990)의 이론적 모델에서 설명하는 순환 과정과 일치합니다.42, 45
Moreover, based on the identified themes, we developed a conceptual model of a skilled communication approach in which two parallel processes could be distilled and are key in the clinical encounter:

  • (1) being sensitive and adapting to the patient and
  • (2) self-awareness, learning ability and reflective capacity.

This model is concordant with the circular processes described by the theoretical model of Nelson and Narens (1990) of monitoring and regulating professional performance.42, 45

연구 질문에 비추어 볼 때, 의사 소통 행동은 임상적 만남의 필요에 민감하게 반응하고 의사소통을 조정함으로써 조절되며, 이는 환자 중심의 상담 결과에 도달하기 위해서는 의사 행동 적응성(PBA)이 필수적이라고 제안한 Carrard 등의 문헌에 의해 뒷받침됩니다. 의사가 환자의 선호도를 정확하게 해석하고 그에 따라 커뮤니케이션 행동을 조정할 수 있을 때 PBA가 달성됩니다.46 숙련된 커뮤니케이터는 임상 상담의 필요에 따라 다양한 커뮤니케이션 전략을 적응적으로 적용해야 한다는 점에서 PBA는 우리의 연구 결과를 반영합니다.46
In reflecting on our research question, communication behaviour is regulated through being sensitive and adapting communication to the needs of the clinical encounter, which is supported in literature by Carrard et al, who suggest that doctor behavioural adaptability (PBA) is essential to reach patient-centred consultation outcomes. PBA is achieved if the doctor is able to correctly interpret patients' preferences and adapt communication behaviour accordingly.46 PBA mirrors our findings in that a skilled communicator should apply different communication strategies adaptively in response to the needs of the clinical encounter.46

결과적으로 숙련된 커뮤니케이터는 임상 진료 중 의사소통 과정을 스스로 모니터링할 수 있어야 하며, 이는 두 번째로 확인된 병행 과정인 자기 인식, 학습 능력 및 반성적 역량과도 일치합니다. 의사는 의사소통 수행을 평가할 때 진료 중 내면의 생각과 감정을 모니터링하는 것이 필수적입니다.47 이 두 번째 과정과 일치하는 개념은 Hall과 Mast가 소개한 대인관계 정확성입니다.47 대인관계 정확성은 환자의 비언어적 및 단서에 민감하여 환자의 감정, 요구, 의도를 정확하게 인식하는 능력으로 설명됩니다.46, 47
Subsequently, a skilled communicator should also be able to self-monitor communication processes during the clinical encounter, which resonates with the second identified parallel process: self-awareness, learning ability and reflective capacity. Essential is that the doctor monitors internal thoughts and feelings during the encounter in evaluating communication performance.47 In line with this second process is the concept of interpersonal accuracy, introduced by Hall and Mast.47 Interpersonal accuracy is described as the ability to accurately perceive patients' feelings, needs, and intentions by being sensitive to patients' non-verbal and cues.46, 47

의료 교육에서 일상적 전문성적응적 전문성을 개발하는 것의 차이는 임상 상황에서 자기 인식, 학습 능력 및 성찰 능력을 병행 과정으로 파악하는 것으로 설명할 수 있습니다.48

  • 일상적 전문성을 보이는 의사는 익숙한 임상 상황에서 의사소통할 때는 능숙하지만, 미지의 예상치 못한 상황으로 자신의 성과를 이전하는 데 어려움을 겪을 수 있습니다.48-51 에릭슨의 전문성 습득 모델에서 볼 수 있듯이 이러한 의사소통은 안정되고 자동적이고 쉽게 실행되는 수준에 도달하게 됩니다.22 그 결과 의사소통이 환자의 요구에 유연하게 적응하지 못합니다.21, 48, 52
  • 반면 적응적 전문성을 보이는 의사는 모든 임상 상황에서 창의적이고 혁신적인 방식으로 의사소통 행동을 조정할 수 있습니다.22, 53 적응적 전문성에 도달하려면 의도적인 연습에 기반한 상황 학습이 핵심이며 성찰과 피드백이 개인 개발을 이끄는 수단이라고 Eraut는 지적합니다.20, 21, 48 

The differentiation between developing routine and adaptive expertise in medical training may explain identifying self-awareness, learning ability and reflective capacity as a parallel process in the clinical encounter.48 

  • Doctors demonstrating routine expertise are proficient when communicating in a familiar clinical situation but may have difficulties in transferring their performance to unknown and unexpected situations.48-51 As Ericsson's model of expertise acquisition shows, this communication will become stable and will reach a level of automaticity and effortless execution.22 This results in communication not becoming flexibly adapted to patient needs.214852 
  • In contrast, doctors demonstrating adaptive expertise are able to tailor their communication behaviour in a creative and innovative manner in every clinical situation.2253 To reach adaptive expertise, Eraut indicates that situated learning based on deliberate practice is key and reflection and feedback are vehicles to steer personal development.202148

의료 교육에서는 학습자가 자신의 학습 과정에 능동적으로 참여할 수 있도록 성과에 대한 자기 인식을 촉진하는 학습자 중심 접근법을 촉진하는 데 중점을 두어야 하며, 이를 통해 진료 현장에서 환자의 요구에 맞게 의사소통을 조정할 수 있고, 궁극적으로 개인의 발전을 촉진할 수 있습니다.9, 10, 16, 44, 53-55 그리고 이후 성찰과 정기적인 피드백을 통해 자신의 생각과 느낌을 모니터링합니다.20, 42 
In medical training, emphasis should be on facilitating a learner-centred approach to promote self-awareness of performance for learners to become actively involved in their own learning process, which enables them to adapt communication to patient needs in the encounter, and eventually fosters their personal development,9, 10, 16, 44, 53-55 and, subsequently, monitor their own thoughts and feelings by reflection and regular feedback.20, 42

학습은 실제 임상 환경에서 구성되며, 학습자는 이러한 환경이 학습자에게 영향을 미치기 때문에 이 환경에 적극적으로 영향을 미치는데, 이를 경험적 학습 '현장 학습'이라고도 합니다.20, 56 학습자의 필요와 학습 목표에 따라 학습자가 자신의 개인적인 의사소통 스타일(예: 진정성, 진정한 관심)을 개발하도록 안내하고 학습자의 개인적 발전을 촉진하려면 교육이 종적 지향적이며 적극적인 지원과 안내된 성찰을 제공하는 것이 필수적입니다.56-58
Learning is constructed from the authentic clinical setting, and learners actively influence this setting as this same setting influence learners, also known as experiential learning ‘learning on the job’.20, 56 To guide learners in their needs and learning goals to develop their own personal communication style (e.g. authentic, genuine interested), fostering the personal development of learners, it is essential that training is longitudinal oriented and provides active support and guided reflections.56-58

시사점
Implications

커뮤니케이션 교육 및 연구를 위한 권장 사항을 공식화할 수 있습니다. 이 개념적 모델은 숙련된 커뮤니케이션 학습을 위한 템플릿으로 사용할 수 있는 식별된 특성을 뒷받침합니다. 의사소통 훈련은 임상 현장에서 의사소통에 대한 반복적인 실험을 촉진하고 의사소통 수행에 대한 체계적인 성찰을 지원하여 숙련된 의사소통의 전문성을 확보할 수 있도록 해야 합니다. 이를 통해 학습자는 학습 목표를 설정하고 학습 활동을 계획하는 데 있어 학습 과정을 능동적으로 이끌어갈 수 있으며, 개인의 발전을 촉진할 수 있습니다.9, 16, 21, 47
Recommendations can be formulated for communication training and research. The conceptual model underpins the identified characteristics that may be used as a template for learning skilled communication. Communication training should facilitate repeated experimentation with communication in the clinical encounter and support systematic reflection on communication performance to attain expertise in skilled communication. This may enable learners to actively steer their learning processes in setting goals and planning learning activities, stimulating their personal development.9, 16, 21, 47

또한, 우리의 개념 모델은 숙련된 커뮤니케이션을 운영하며 학습자가 숙련된 커뮤니케이터가 되기 위해 개발해야 하는 두 가지 중요하고 순환적인 프로세스를 설명합니다. 교육은 학습을 평생의 연속체로 생각하고 학습자가 실제 임상 환경에서 접하는 경험에 의미를 부여할 수 있도록 학습자를 적극적으로 지원해야 합니다.20, 56, 57 향후 연구에서는 확인된 숙련된 의사소통 접근법이 임상 업무 환경 학습 중에 어떻게 최적으로 지원될 수 있는지 탐구해야 합니다.
Moreover, our conceptual model operationalises skilled communication and describes two overarching and circular processes learners need to develop to become skilled communicators. Training requires the need to actively support learners as learning is to be thought of as a lifelong continuum and help learners to make meaning of the experiences they encounter in the authentic clinical setting.20, 56, 57 Future research should explore how the identified skilled communication approach can be optimally supported during clinical workplace learning.

강점 및 한계
Strengths and limitations

이번 연구 결과는 강점과 한계를 고려하여 해석해야 합니다. 강점은 다음과 같습니다: 

  • (1) 상대적으로 많은 이해관계자 그룹이 다차원적 개념을 세분화하여 총체적인 복잡성을 파악하는 과정에서 광범위한 숙련된 의사소통 특성을 생성했다는 점,
  • (2) 다양한 참여 이해관계자(예: GP, GP 수련의, 교수진 및 연구자)가 있었다는 점,
  • (3) 다수의 NGT 세션이 식별된 특성의 일반화 가능성을 높였다는 점 등이 있습니다.

Our findings should be interpreted considering the strengths and limitations present. The strengths include:

  • (1) a relatively large group of stakeholders generated an extensive number of skilled communication characteristics during the process of breaking down a multidimensional concept to get to grips on its holistic complexity,
  • (2) the variety of participating stakeholders (i.e. GPs, GP trainees, faculty members and researchers) and
  • (3) multiple NGT sessions increasing the generalisability of the identified characteristics.

또한 한계도 알고 있습니다. 

  • 첫째, 코로나19 팬데믹으로 인해 세션이 전자 환경에서 진행되었기 때문에 직접 눈을 마주치지 않고 비언어적 제스처를 취하는 데 어려움이 있을 수 있습니다.54 그러나 NGT 방식은 구조화된 템플릿을 채택하고 진행자가 세션 중 모든 참가자를 개별적으로 초대하여 토론에 참여하도록 했습니다. 따라서 이러한 한계가 연구 결과에 영향을 미치지는 않았을 것으로 예상합니다.
  • 둘째, 우리는 본질적으로 복잡하고 다차원적인 개념을 매핑하려고 시도했고, NGT 방법은 풍부한 데이터를 생성했기 때문에 참가자들이 데이터를 개념적으로 심층적으로 탐색할 수 없었다는 점을 알고 있습니다.
  • 셋째, 이 연구의 초점은 앵글로색슨 국가의 의료 환경과 특히 GP 교육 프로그램에 맞춰져 있었습니다. 이러한 환경과 이에 대한 사람들의 인식은 국가마다 다를 수 있다는 점을 알고 있습니다. 반면, 네덜란드의 8개 GP 수련 기관 중 5개 기관의 참가자를 포함했기 때문에 연구가 수행된 환경이 강점이라고 생각합니다. 비슷한 교육 시스템과 역량 프레임워크를 고려할 때 본 연구 결과는 다른 앵글로색슨 국가의 의료 교육 및 의료 환경에 일반화할 수 있을 것으로 기대합니다.
  • 마지막으로, 본 연구는 의사-환자 커뮤니케이션 교육 영역에서 의료 전문가와 교육자의 관점을 규명하는 데 중점을 두었기 때문에 환자를 포함하지 않은 것은 본 연구의 한계로 볼 수 있습니다.

We are also aware of limitations.

  • First, due to the COVID-19 pandemic, the sessions were held in an electronic environment, which can be a challenge due to, for example, the absence of direct eye contact and non-verbal gestures.54 However, the NGT method adopts a structured template and the moderators invited all participants individually to take part in the discussion during the sessions. Therefore, we expect that this limitation did not alter our findings.
  • Second, we realise that we have tried to map a concept that is complex and multidimensional in nature, and the NGT method generated a richness of data, which does not enable participants to explore the data in-depth conceptually.
  • Third, the focus of this study was on health care settings of Anglo-Saxon countries and on the GP training programme in particular. We are aware that the setting, and people's perceptions thereof, may differ across countries. On the other hand, we consider the setting in which the study was performed a strength as we included participants from five out of eight GP training institutes in the Netherlands. We expect the outcomes of our study to be generalisable to medical training and health care settings in other Anglo-Saxon countries, given comparable educational systems and their competency frameworks.
  • Finally, not including patients can be seen as a limitation of this study as we decided to exclude patients as our focus is on elucidating the perspectives of health care professionals and educators within the domain of training doctor–patient communication.

결론
Conclusion

이번 연구 결과는 숙련된 커뮤니케이터의 특성을 밝히고 숙련된 커뮤니케이션 접근 방식을 개념화했으며, 이는 개념적 모델에 요약되어 있습니다. 임상 현장에서 숙련된 의사소통의 전문성을 갖추기 위해서는 (1) 환자에 대한 민감성과 적응력, (2) 자기 인식, 학습 능력, 반성적 역량이라는 두 가지 과정이 병행되어야 합니다. 전문성을 갖추기 위해서는 환자의 요구와 목표에 맞게 커뮤니케이션을 조정하고 임상 진료 중 커뮤니케이션 과정을 지속적으로 모니터링하는 방법을 배우는 것이 상호 의존적입니다. 개념 모델에 제시된 식별된 특성은 의사가 숙련된 커뮤니케이터가 될 수 있도록 지원하는 학습자 중심 접근법을 개발하는 데 도움이 될 수 있으며, 이는 의료 교육에서 직장 학습을 하는 동안에도 마찬가지입니다. 이는 교육에서 학습자의 학습 과정을 적극적이고 종적으로 안내하여 개인 개발을 촉진할 필요가 있음을 의미합니다.
Our findings elucidate characteristics of a skilled communicator and conceptualise a skilled communication approach, which is outlined in a conceptual model. Two parallel processes are essential to attain expertise in skilled communication in the clinical encounter: (1) being sensitive and adapting to the patient and (2) self-awareness, learning ability and reflective capacity. To attain expertise, learning to adapt communication to patients' needs and goals and continuously monitor communication processes during the clinical encounter are interdependent. The identified characteristics laid out in the conceptual model may inform the development of a learner-centred approach in supporting doctors to become skilled communicators, during workplace learning in medical training. For training, this implies the need to actively and longitudinally guide learners in their learning processes to facilitate personal development.

 

 


 

Med Educ. 2023 May;57(5):418-429. doi: 10.1111/medu.14953. Epub 2022 Oct 26.

Identifying characteristics of a skilled communicator in the clinical encounter

Affiliations collapse

1Department of Family Medicine, Care and Public Health Research Institute (CAPHRI), Maastricht University, Maastricht, The Netherlands.

2Department of Educational Development and Research, School of Health Professions Educations (SHE), Maastricht University, Maastricht, The Netherlands.

3Skillslab, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.

4Department of Family Medicine, School for Public Health and Primary Care, Faculty of Health Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.

PMID: 36223270

DOI: 10.1111/medu.14953

Abstract

Background: In medical communication research, there has been a shift from 'communication skills' towards 'skilled communication', the latter implying the development of flexibility and creativity to tailor communication to authentic clinical situations. However, a lack of consensus currently exists what skilled communication entails. This study therefore aims to identify characteristics of a skilled communicator, hereby contributing to theory building in communication research and informing medical training.

Method: In 2020, six nominal group technique (NGT) sessions were conducted in the context of the general practitioner (GP) training programme engaging 34 stakeholders (i.e. GPs, GP residents, faculty members and researchers) based on their experience and expertise in doctor-patient communication. Participants in each NGT session rank-ordered a 'Top 7' of characteristics of a skilled communicator. The output of the NGT sessions was analysed using mixed methods, including descriptive statistics and thematic content analysis during an iterative process.

Results: Rankings of the six sessions consisted of 191 items in total, which were organised into 41 clusters. Thematic content analysis of the identified 41 clusters revealed nine themes describing characteristics of a skilled communicator: (A) being sensitive and adapting to the patient; (B) being proficient in applying interpersonal communication; (C) self-awareness, learning ability and reflective capacity; (D) being genuinely interested; (E) being proficient in applying patient-centred communication; (F) goal-oriented communication; (G) being authentic; (H) active listening; and (I) collaborating with the patient.

Conclusions: We conceptualise a skilled communication approach based on the identified characteristics in the present study to support learning in medical training. In a conceptual model, two parallel processes are key in developing adaptive expertise in communication: (1) being sensitive and adapting communication to the patient and (2) monitoring communication performance in terms of self-awareness and reflective capacity. The identified characteristics and the conceptual model provide a base to develop a learner-centred programme, facilitating repeated practice and reflection. Further research should investigate how learners can be optimally supported in becoming skilled communicators during workplace learning.

전공의 선발 인터뷰 수행 베스트 프랙티스(AAMC)
Best Practices for Conducting Residency Program Interviews

소개
Introduction

AAMC는 레지던트 프로그램, 지원자, 의학교육자, 학생 지도교수 등 모든 이해관계자의 레지던트 전환을 개선하는 데 주력하고 있습니다. 이러한 노력의 일환으로 실시된 프로그램 디렉터를 대상으로 한 AAMC 설문조사에 따르면, 프로그램 디렉터들은 순위 목록을 작성할 때 경험, 학업 지표, 기타 속성 및 역량 등 지원자에 대한 다양한 정보를 평가하는 것으로 나타났습니다. 같은 설문조사에 따르면 전문성, 성실성, 대인관계 및 커뮤니케이션 기술, 신뢰성 및 의존성과 같은 특성이 가장 중요한 것으로 나타났습니다.  
The AAMC is focusing on enhancing the transition to residency for all stakeholders, including residency programs, applicants, medical educators, and student advisors. The AAMC survey of program directors conducted as part of this effort indicated that they evaluate a wide variety of information about applicants—including experiences, academic metrics, and other attributes and competencies—when creating rank order lists. The same survey found that characteristics such as professionalism, integrity, interpersonal and communication skills, and reliability and dependability are among the most important ones.

또한 프로그램 디렉터들은 레지던트 면접이 지원자의 순위를 매기는 데 가장 일반적이고 중요한 도구 중 하나이지만, 프로그램과 전문 분야에 따라 지원자를 면접하는 방식에 상당한 차이가 있다고 답했습니다. 지원자가 면접을 준비하는 데 도움이 되는 리소스는 많지만(예: AAMC 커리어 인 메디신 및 레지던트 면접 과정을 위한 미국 의사 대학 가이드라인), 면접관을 위한 리소스는 거의 존재하지 않습니다. 또한 의사는 환자와의 인터뷰 방법에 대해 상당한 교육을 받지만 지원자와의 인터뷰는 목적, 설계 및 실행 방식이 다릅니다.  
Program directors also reported that the residency interview is one of the most common and important tools used in ranking applicants but that significant variability exists in how applicants are interviewed across programs and specialties. While many resources are available to help applicants prepare for interviews (for example, AAMC Careers in Medicine and the American College of Physicians Guidelines for the Residency Interview Process), fewer resources exist for interviewers. Additionally, though physicians receive considerable training on how to interview patients, interviewing applicants is different in purpose, design, and implementation.

이러한 격차가 확인되자 AAMC는 모범 사례를 요약하고 프로그램 디렉터가 면접 프로세스를 개선하기 위한 옵션을 빠르게 이해할 수 있도록 이 가이드를 작성했습니다. 이 가이드가 일관성을 개선하고 레지던트 성과를 더 잘 예측하는 데 사용할 수 있는 면접 관행 및 프로세스에 대한 유용하고 유용한 소개 역할을 하기를 바랍니다. 
When this gap was identified, the AAMC sought to summarize best practices and assemble this guide to help program directors quickly understand their options for enhancing the interview process. Our hope is that the guide will serve as a helpful and useful introduction to interview practices and processes that can be used to improve consistency and better predict resident performance.

이 가이드의 목적
Purpose of This Guide

이 가이드는 유효하고 공정한 면접 절차를 구현하는 데 도움이 되는 면접 모범 사례를 설명합니다. 면접 구조의 구성 요소와 면접관 교육을 포함하여 면접 프로세스를 개선하면 프로그램과 지원자 모두의 성공 가능성과 호환성을 높이는 데 기여하는 보다 정보에 입각한 결정을 내릴 수 있습니다. 
This guide describes interview best practices to assist with implementing valid and fair interview processes. Any enhancements in the interview process, including components of interview structure and interviewer training, will enable programs to make more informed decisions that contribute to the increased likelihood of success and compatibility for both the programs and the applicants.

이 가이드의 정보는 두 섹션으로 나뉩니다: 
The information in this guide is divided into two sections:

  • 섹션 1: 인터뷰 프로세스 구조화하기 - 프로그램 디렉터 가이드에서는 현재 연구 현황과 선발 인터뷰의 모범 사례에 대한 개요를 제공합니다.
  • 섹션 2: 레지던트 지원자 인터뷰-교직원을 위한 실무 가이드에서는 유용한 팁과 피해야 할 함정 등 인터뷰 진행에 관한 실용적인 정보를 제공합니다.
  • Section 1: Structuring Your Interview Process—A Program Director’s Guide provides an overview of the current state of research and best practices in selection interviews.
  • Section 2: The Resident Applicant Interview—A Practical Guide for Faculty provides practical information on conducting interviews, including helpful tips and traps to avoid.

레지던트 프로그램에서는 지원자를 평가하고 순위를 매기는 데 다양한 정보를 사용하지만, 이 가이드는 특히 면접에 초점을 맞춥니다. 다른 일반적인 평가(예: 작업 샘플 및 OSCE)를 개발하여 선발 과정에 통합하는 방법에 대한 정보는 포함되어 있지 않습니다. 
While residency programs use many sources of information to evaluate and rank applicants, this guide focuses specifically on interviews. It does not include information about developing and integrating other common assessments (for example, work samples and OSCEs) into the selection process.

참고로, 레지던트 프로그램은 다양한 목적으로 면접일을 활용합니다. 공식적인 인터뷰 외에도 일반적인 인터뷰 데이 활동에는 현 레지던트 및 교수진과의 식사, 질의응답 세션, 캠퍼스 또는 도시 투어와 같은 채용 활동이 포함됩니다. 이러한 비공식 활동과 기숙사 및 프로그램 지원 직원과의 상호작용은 지원자의 대인관계 및 의사소통 능력에 대한 귀중한 정보를 얻을 수 있으며, 프로그램과 지원자 간의 적합성 여부를 판단하는 데 중요한 역할을 합니다. 유익하고 효과적이며 즐거운 면접일을 계획하기 위한 모범 사례(예: 프로그램이 지원자에게 기대하는 바를 모든 관계자가 공통으로 이해할 수 있도록 사전 작업을 수행하고, 모든 관계자가 관련 정보를 공유할 수 있는 피드백 메커니즘을 구현하는 등)가 있지만, 이 가이드는 특히 당일의 공식 면접 구성 요소에 대한 모범 사례에 초점을 맞추고 있습니다. 
On a related note, residency programs use interview days for multiple purposes. In addition to the formal interviews, common interview day activities include recruitment activities such as meals with current residents and faculty, question and answer sessions, and campus or city tours. These more informal activities and interactions with house and program support staff yield valuable information about applicants’ interpersonal and communication skills and play an important role in helping programs—and applicants—determine whether there is a good fit between the applicant and the program. While there are good practices for planning informative, effective, and enjoyable interview days—such as doing advance work to ensure everyone involved shares a common understanding of what the program seeks in applicants and implementing feedback mechanisms that enable everyone involved to share relevant information—this guide focuses specifically on best practices for the formal interview component of the day.

마지막으로, 많은 교육기관에서 이 가이드의 자료를 보완하는 면접관 리소스 및 지침을 제공합니다. 프로그램 디렉터와 면접관은 이러한 리소스를 살펴보는 것이 좋습니다. 면접 절차를 수정하기 전에 지정된 교육기관 관계자, 프로그램 디렉터 및 법률 고문에게 해당 교육기관 및 프로그램의 면접 정책 및 요건에 대해 문의해야 합니다. 
Finally, many institutions provide interviewer resources and guidance that complement the material in this guide. Program directors and interviewers are encouraged to explore those resources. Before modifying the interview process, the designated institutional official, program director, and legal counsel should be consulted about the institution’s and the program’s interview policies and requirements.

섹션 1: 인터뷰 프로세스 구조화하기-프로그램 디렉터를 위한 가이드
Section 1: Structuring Your Interview Process—A Program Director’s Guide

이 섹션에서는 인터뷰 구조와 인터뷰 연구의 현재 상태에 대한 개요를 제공합니다.
This section provides an overview of interview structure and the current state of interview research.

면접은 지원자가 특정 프로그램에서 레지던트로서 성공하는 데 중요한 개인적 특성을 갖추고 있는지, 프로그램의 사명과 목표에 부합하는지 평가할 수 있는 중요한 방법입니다. 예를 들어 레지던트 프로그램이나 기관의 사명과 목표에는 레지던트가 연구, 도시 또는 농촌 진료, 소외된 지역사회, 학계 또는 지역사회 리더십에 집중하기를 바라는 마음이 포함될 수 있습니다. 
Interviews are a valuable way to assess whether an applicant demonstrates the personal characteristics that are critical for success as a resident in a specific program and fit within the program’s mission and goals. For example, the missions and goals of a residency program or institution may include a desire for residents to focus on research, urban or rural practice, underserved communities, or academic or community leadership.

 


레지던트 선발의 맥락에서 '적합성' 정의하기
Defining “fit” in the context of residency selection

적합성은 프로그램 디렉터와 지원자가 레지던트 선발 과정에서 가장 중요한 요소 중 하나로 꼽는 경우가 많습니다. 그러나 의학교육 문헌에는 적합성에 대한 공통된 정의가 없습니다. 프로그램은 프로그램의 사명, 목표 및 학습 환경의 맥락에서 적합성에 대한 정의를 논의해야 합니다. 이 가이드에서는 명확성을 위해 적합성을 두 가지 차원으로 구분하여 설명합니다:
Fit is often reported as one of the most important factors in the residency selection process by program directors and applicants. However, there isn’t a common definition of fit in the medical education literature. Programs should discuss the definition of fit in the context of their program’s mission, goals, and learning environment. For the purposes of clarity, in this guide, we identify two dimensions of fit:

[개인-조직 적합성]은 지원자의 성격, 태도, 업무 및 학습 스타일/선호도, 목표와 조직 문화 간의 호환성을 의미합니다.
Person-organization fit refers to compatibility between an applicant’s personality, attitudes, work and learning style/preferences, and goals and the organization’s culture.

[개인-직무 적합성]은 지원자의 역량, 지식, 기술, 능력 및 기타 특성과 직무를 성공적으로 학습하고 수행하는 데 필요한 역량 및 특성 간의 호환성을 의미합니다.
Person-job fit refers to compatibility between an applicant’s competencies, knowledge, skills, abilities, and other attributes and the competencies and characteristics required to learn and perform the job successfully.


선발 면접은 여러 측면에서 다양할 수 있으며, 구조화되거나 비구조화될 수 있습니다:
Selection interviews may vary on a number of dimensions and may:

  • 구조화되거나 비구조화될 수 있습니다,
  • 행동 또는 상황 관련 질문을 사용합니다,
  • 기술적(의료 및 임상 지식, 절차적 기술) 및 비기술적(대인관계 기술, 전문성) 주제를 포함한 직무 관련 내용을 평가합니다.
  • 평가 척도를 사용하여 응답을 평가합니다.
  • be structured or unstructured,
  • use behavioral or situational questions,
  • assess job-related content, including technical (medical and clinical knowledge and procedural skills) and nontechnical (interpersonal skills, professionalism) topics, and
  • use rating scales to evaluate responses.

비구조화 및 구조화 인터뷰
Unstructured and Structured Interviews

비구조화 면접은 재량적인 내용(즉, 미리 선택된 질문이 없음)과 표준화되지 않은 평가 프로세스(즉, 질문별 채점 시스템이 없음)가 특징입니다.
Unstructured interviews are characterized by discretionary content (that is, no preselected questions) and an unstandardized evaluation process (that is, no question-specific scoring system).

구조화된 면접은 표준화를 통해 신뢰도와 타당도를 높이기 위해 면접을 개선한 것이 특징입니다. 채용 면접에 대한 연구에서는 면접 내용에 영향을 미치는 요소와 평가 프로세스에 영향을 미치는 요소의 두 가지 범주의 구조 구성 요소를 확인했습니다.
Structured interviews are characterized by any enhancement of the interview designed to improve reliability and validity by increasing standardization. Research on employment interviews has identified two categories of components of structure: those that influence interview content and those that influence the evaluation process.

  • 내용 관련 구조 구성 요소는 직무와 관련된 질문을 하거나 모든 지원자에게 동일한 질문을 하는 등 면접 내용의 표준화를 높이기 위한 모든 개선 사항입니다.
  • 평가 관련 구조 구성 요소는 평가 척도를 사용하여 면접을 평가하고 면접관에게 평가 절차에 대한 교육을 실시하는 등 평가 프로세스의 표준화를 높이는 모든 개선 사항입니다.
  • Content-related components of structure are any enhancements that increase the standardization of the interview content, such as asking questions that are job-related and asking the same questions to all applicants.
  • Evaluation-related components of structure are any enhancements that increase standardization of the evaluation process, such as using rating scales to evaluate the interview and training interviewers on evaluation procedures.

표 1에는 내용 및 평가 관련 구조 구성 요소와 각 구성 요소가 면접의 신뢰도, 타당도, 공정성 및 면접에 대한 지원자의 반응에 미치는 영향이 나열되어 있습니다. 그림에서 볼 수 있듯이 각 구성 요소의 효과는 서로 다릅니다. 예를 들어, 직무와 관련된 질문을 포함하면 타당도, 공정성, 지원자의 긍정적인 반응이 증가하는 반면, 탐색 질문을 제한하면 타당도와 공정성은 증가하지만 지원자의 부정적인 반응이 나타날 수 있습니다.
Table 1 lists the content- and evaluation-related components of structure and the effects of each on the interview’s reliability, validity, and fairness and the applicant reactions to the interview. As shown in the figure, the effects of each component differ. For example, including questions that are job-related increases validity, fairness, and positive applicant reactions, whereas limiting probing questions increases validity and fairness, but may lead to negative applicant reactions.

면접 프로세스에 구조를 도입하는 방법을 고려할 때, 프로그램은 선발 목표와 운영 제약 조건에 가장 적합한 구조의 구성 요소를 선택해야 합니다. 면접 결과를 개선하기 위해 모든 구조의 구성 요소를 구현할 필요는 없습니다구조의 구성 요소를 약간만 늘려도 지원자의 긍정적인 반응을 유지하면서 면접 결과의 신뢰도와 타당도에 긍정적인 영향을 미칠 수 있습니다.
When thinking about how to introduce structure into the interview process, programs should select the components of structure that best match its selection goals and operational constraints. Not all components of structure need to be implemented in order to improve interview results. Even making modest increases in structure can have a positive effect on the reliability and validity of interview results while maintaining positive reactions from applicants.

연구에 따르면 구조화된 면접은 구조화되지 않은 면접보다 그룹 간 차이를 줄이는 등 신뢰도, 타당도, 공정성이 더 높은 것으로 일관되게 나타났습니다. 이 분야의 연구에서는 인종/민족, 성별, 장애에 따른 차이를 조사합니다.
Research consistently shows that structured interviews have higher levels of reliability, validity, and fairness, including smaller group differences, than unstructured interviews. Research in this area investigates differences by race/ethnicity, gender, and disability.


표 1. 구조의 구성 요소가 신뢰성, 타당성, 공정성 및 지원자 반응에 미치는 영향
Table 1. The Effects of Components of Structure on Reliability, Validity, Fairness, and Applicant Reactions

참고: '긍정적'은 전반적으로 긍정적인 효과를, '부정적'은 전반적으로 부정적인 효과를, '불충분'은 개선 효과에 대한 연구가 불충분함을 의미합니다. "신뢰도"는 평가 프로세스가 일관되고 지원자 응답이 일관되게 평가되는 정도를 의미합니다. "타당도"는 면접 점수를 통해 추론한 내용의 정확성을 의미합니다.
Note: “positive” means overall positive effect, “negative” means overall negative effect, and "insufficient" means insufficient research on the effect of the enhancement. "Reliability" refers the extent to which the evaluation process is consistent and candidate responses are evaluated consistently. "Validity" refers to the accuracy of inferences made from interview scores.

Content Reliability Validity Fairness Applicant Reactions
Ask questions that are job-related insufficient positive positive positive
Ask all applicants questions that cover the same topics positive positive positive insufficient
Limit probing questions positive positive positive negative
Use behavioral or situational questions positive positive positive insufficient
Use a longer interview positive positive insufficient negative
Have no access to applicant information before or during interview positive insufficient positive negative
Have applicants not ask any questions positive insufficient insufficient negative

 

Evaluation Reliability Validity Fairness Applicant Reactions
Rate each answer or use multiple rating scales positive positive insufficient insufficient
Use defined rating scales positive positive positive insufficient
Take detailed notes positive positive positive insufficient
Use multiple interviewers positive positive positive negative
Use the same interviewers for all applicants positive insufficient negative insufficient
Have no discussion between interviews negative insufficient positive insufficient
Train interviewers positive positive positive positive
Use formulas to create interview total scores positive positive positive insufficient

Source: Adapted from Campion et al. (1997) and Levashina et al. (2014).

중요도가 높은 레지던트 인터뷰를 진행할 때 표준 인터뷰 질문과 평가 프로세스를 통합하세요.
Incorporate standard interview questions and evaluation processes when conducting high-stakes resident interviews.


행동 및 상황 질문
Behavioral and Situational Questions

면접 질문에는 여러 유형이 있습니다. 그 중 행동 질문상황 질문은 널리 연구되어 왔으며 비교적 구조화된 것으로 간주됩니다.
There are many types of interview questions. Two of them—behavioral and situational questions—have been widely studied and are considered relatively structured.

행동 질문은 과거의 행동이 미래의 행동을 예측할 수 있다는 전제를 바탕으로 합니다. 이러한 질문은 지원자에게 면접 중인 직무에서 직면할 수 있는 상황과 관련된 이전 상황(일반적으로 이전 직장, 학교 또는 자원봉사 경험)에서 지원자가 어떤 행동을 했는지 설명하도록 요청합니다. 과거 행동 질문은 지원자에게 특정 상황, 지원자가 취한 행동 또는 조치, 그 행동의 결과 또는 결과를 설명하도록 요청하는 경우가 많습니다.
Behavioral questions are based on the premise that past behavior predicts future behavior. They ask applicants to describe what they did in a previous context (typically, in previous jobs, at school, or in volunteer experiences) that are related to situations they may face in the job for which they are interviewing. Past-behavior questions often ask an applicant to describe a specific situation, the behavior or action they took, and the outcome or consequence of that behavior.

  • 예시: 함께 일하던 의료진이 정해진 프로토콜과 일치하지 않는 방식으로 행동하는 것을 목격했던 때를 설명해 주세요. 상황이 어땠는지, 어떤 조치를 취했는지, 그 결과는 어땠는지 설명하세요.
  • Example: Please describe a time when you observed a member of the medical team that you were working with behave in a manner that was inconsistent with an established protocol. Explain what the situation was, what actions you took, and the outcome.

행동 면접 질문 개발을 위한 주요 단계
Key Steps for Developing Behavioral Interview Questions

1. PGY-1 직책의 주요 요구 사항 파악하기
2. 면접에서 평가할 역량 3~5개 결정하기
3. 각 역량에 대한 행동 또는 상황별 질문 개발
4. 교수진에게 질문 초안을 검토하고 역량에 매핑하도록 요청합니다.
5. 목표 역량에 매핑되는 질문만 유지합니다.
6. 프로세스를 문서화하고 목표 역량 및 항목이 어떻게 선택되었는지 설명합니다.

  1. Identify key requirements of the PGY-1 position
  2. Determine which 3-5 competencies to target in the interview
  3. Develop behavioral or situational questions for each competency
  4. Invite faculty to review draft questions and map them to the competencies
  5. Retain only the questions that map to the target competencies
  6. Document the process and explain how the target competencies and items were selected

상황 질문은 의도가 미래의 행동을 예측한다는 전제를 기반으로 합니다. 상황 질문은 업무에서 발생할 수 있는 가상의 상황을 제시하고 지원자에게 해당 상황에서 어떻게 대응할 것인지 설명하도록 요청합니다.
Situational questions are based on the premise that intentions predict future behavior. They pose hypothetical situations that might occur on the job and ask applicants to describe how they would respond in the situations.

  • 예시: 지원자가 아침 회진을 하고 있다고 상상해 보겠습니다. 치프 레지던트가 주 초에 지원자와 다른 PGY-1이 함께 일했던 어려운 케이스를 설명하며 어려운 상황을 잘 처리했다고 칭찬합니다. 그 과정에서 그녀는 당신에게만 공을 돌리고 당신의 동료가 중요한 역할을 했다는 사실은 언급하지 않습니다. 여러분이라면 어떻게 하시겠습니까?
  • Example: I’d like you to imagine that you are on your morning rounds. The chief resident describes a difficult case that you and another PGY-1 worked on earlier in the week and compliments your handling of a difficult situation. In doing so, she gives you sole credit and fails to mention that your colleague played a major role. What would you do?

면접 질문 유형에 대한 연구에 따르면 행동 질문과 상황 질문 모두 강력한 심리 측정 특성을 가지고 있지만, 약간 다른 구성을 측정할 수 있습니다.

  • 행동 질문은 주로 경험과 일부 성격 특성을 측정하는 반면,
  • 상황 질문직무 지식을 측정할 수 있습니다.
  • 두 가지 유형의 질문 모두 신뢰할 수 있으며 미래의 직무 수행을 예측하는 유효한 지표이며,
  • 행동 질문의 타당도가 약간 더 높습니다.
  • 일부 연구에 따르면 과거 행동 질문은 상황 질문보다 속임수에 대한 저항력이 약간 더 강하고 그룹 간 차이가 약간 더 낮을 수 있다고 합니다.

Research on the type of interview questions suggests that both behavioral and situational questions have strong psychometric properties; however, they may be measuring slightly different constructs. Behavioral questions may primarily measure experiences and some personality traits, while situational questions may measure job knowledge. Both types of questions are reliable and are valid predictors of future job performance, with behavioral questions having slightly higher validity. Some research suggests that past-behavior questions may be slightly more resistant to faking and have slightly lower group differences than situational questions.

직무 관련 면접 콘텐츠
Job-Related Interview Content

질문 유형에 관계없이 모든 면접 질문은 직무와 관련된 질문이어야 합니다. 즉, 선발 면접에 포함된 모든 질문은 PGY-1 직책의 주요 요구 사항과 명확하게 연결되어 있어야 합니다. 지원자의 학습 및 업무 스타일과 프로그램 문화 간의 적합성을 평가하는 질문을 포함하여 지원자의 학습 및 업무 스타일과 프로그램 문화 간의 적합성은 프로그램에서 성공하는 데 필수적입니다. 면접 질문에서는 지원자가 이러한 주요 요건적합성을 충족하는 구체적인 사례를 자세히 설명하도록 요구해야 합니다. 가능하면 PGY-1 직책의 주요 요건과 업무 수행 및 새로운 기술 습득에 필요한 역량을 파악합니다. 입사 시 성공에 중요한 것으로 확인된 역량은 1일차 업무 수행에 필요하고 지원자의 향후 프로그램 성과를 예측할 가능성이 높기 때문에 면접의 좋은 대상이 됩니다.
Regardless of question type, all interview questions should be job-related. That is, all questions included in the selection interview should be clearly linked to key requirements of the PGY-1 position. To the extent that alignment between an applicant’s learning and work styles and the program’s culture is essential to success in your program, including questions to assess if the fit is appropriate and job-related. Interview questions should require applicants to elaborate on specific examples that address those key requirements and/or fit. If possible, identify the key requirements of the PGY-1 position and the competencies necessary to perform the work and learn new skills. Competencies that are identified as critical for success at entry are good targets for the interview because they are required to perform work on day 1 and are more likely to predict applicants’ future performance in the program.

평가하려는 역량 수, 역량 평가에 필요한 질문 수, 각 면접에 사용할 수 있는 시간 간에 균형을 유지하세요.
Maintain a balance between the number of competencies you want to assess, the number of questions needed to assess them, and the amount of time you have available for each interview.

PGY-1 직책의 주요 요건을 철저히 분석하는 데 필요한 리소스가 없는 경우, 프로그램의 PGY-1 성과 평가 도구(예: 마일스톤)를 사용하고 다른 교수진과 PGY-1이 프로그램에 입학할 때 성공에 중요한 역량(그리고 부족하면 실패로 이어질 수 있는 역량)에 대해 이야기하는 것을 고려합니다. 또 다른 옵션은 미국의학전문대학원교육인증위원회(ACGME) 핵심 역량, 레지던트 입학을 위한 AAMC 핵심 위탁 전문 활동 또는 전문 기관의 마일스톤을 사용하여 인터뷰에 어떤 내용을 포함할지 생각하는 출발점으로 삼는 것입니다. 마일스톤 또는 기타 모델을 선발 인터뷰의 출발점으로 사용하는 경우, 이는 레지던트 성과에 대한 광범위한 설명이라는 점을 기억하십시오. 어떤 측면이 프로그램의 PGY-1 포지션과 관련이 있는지 고려하는 것이 중요합니다. 선발 인터뷰는 수련 중에 배울 내용이 아니라 수련 1일차에 수련생이 시연해야 하는 내용만을 대상으로 해야 합니다. 
If you do not have the resources required to conduct a thorough analysis of the key requirements of the PGY-1 position, consider using your program’s PGY-1 performance evaluation tools (for example, milestones) and talking to other faculty about what competencies are critical for success when PGY-1s enter your program (and whose lack would lead to failure). Another option is to use the Accreditation Council on Graduate Medical Education (ACGME) Core Competencies, the AAMC Core Entrustable Professional Activities for Entering Residency, or your specialty organization’s milestones as a starting point for thinking about what content to include in the interview. If the milestones or other models are used as a starting point for your selection interview, remember that they are broad descriptions of residency performance. It is important to consider which aspects are relevant to the program’s PGY-1 position. The selection interview should only target content that trainees should be expected to demonstrate on day 1, not content that they will be expected to learn during training.

소개에서 언급했듯이 면접 당일에는 지원자 인터뷰 외에 여러 가지 요소가 포함될 수 있습니다. 면접 데이의 각 구성 요소의 목적과 각 부분에서 어떤 정보를 수집해야 하는지에 대해 생각하는 것이 중요합니다. 지원자를 모집하는 데 면접을 사용하면 지원자의 프로그램 준비도를 평가하는 데 방해가 될 수 있습니다. 가능하면 면접 당일에 지원자를 모집하고 지원자의 질문에 답변하는 시간을 따로 마련하세요. 이렇게 하면 면접이 직무 관련 내용에 집중되고 부수적인 정보가 면접관의 평가에 영향을 미치는 것을 방지할 수 있습니다.
As mentioned in the introduction, the interview day may have several components besides the applicant interview. It is important to think about the purpose of each component of the interview day and what information needs to be gathered in each part. Using interviews to recruit applicants can distract from assessing an applicant’s preparedness for your program. If possible, dedicate separate time for recruiting and answering applicants’ questions during the interview day. This may help keep the interview focused on job-related content and prevent ancillary information from influencing interviewer ratings.

면접 답변 평가하기
Evaluating Interview Responses

가장 좋은 방법은 평가 척도를 사용하여 지원자의 답변을 평가하는 것입니다. 평가 척도를 면접에 통합하면 일반적으로 지원자의 부정적인 반응을 유발하지 않으면서도 면접 점수의 신뢰성, 타당성, 공정성을 높일 수 있습니다. 또한 공통된 척도로 지원자를 평가하기 때문에 면접관이 지원자를 비교할 수 있는 능력도 향상됩니다.
A best practice is to use rating scales to evaluate applicants’ responses. Incorporating rating scales into the interview typically enhances reliability, validity, and fairness of interview scores without causing negative applicant reactions. It will also increase interviewers’ ability to compare applicants because they were evaluated on a common scale.


역량을 평가하는 면접 평가 척도 개발을 위한 주요 단계
Key Steps for Developing Rating Scales for Interviews that Assess Competencies

1. 평가 척도의 점수를 결정합니다.
2. 교수진에게 질문을 검토하도록 초대하고 PGY-1이 어떻게 응답할지 논의합니다.
3. 응답을 사용하여 척도의 각 점수에 대한 행동 예시 초안을 작성합니다.
4. 교직원에게 예시를 평가 대상 역량에 매핑하도록 요청합니다.
5. 매핑에서 살아남은 예만 보관합니다.
6. 프로세스 문서화
7. 면접관에게 평가 척도 사용 방법에 대해 교육하기

  1. Decide on the number of points on the rating scale
  2. Invite faculty to review questions and discuss how PGY-1s would respond
  3. Use responses to create draft behavioral examples for each point on the scale
  4. Ask faculty to map the examples to the competencies being assessed
  5. Retain only the examples that survive mapping
  6. Document the process
  7. Train interviewers on how to use the rating scale

평가 척도에 대해 주목해야 할 5가지 핵심 사항이 있습니다:
There are five key points to note about rating scales:

  • 개별 질문에 대한 지원자의 답변, 소수의 역량 또는 직무에 대한 전반적인 적합성을 평가하도록 설계할 수 있습니다. 가장 좋은 방법은 면접에서 평가하고자 하는 소수의 역량에 대한 평가 척도를 개발하는 것입니다.
  • 이러한 평가 척도는 행동 및 상황별 질문과 함께 사용할 수 있도록 개발할 수 있습니다.
  • 평가 척도의 점수는 보통 3점부터 7점까지 다양합니다. 평가 척도에 몇 점을 넣을지 결정하는 것은 일반적으로 PGY-1에서 관찰되는 행동의 범위를 반영한다고 생각하는 숙련도 수준(또는 척도 점수)의 수에 따라 달라집니다.
  • 평가 척도의 각 점수는 각 숙련도 수준을 설명하는 행동 예시와 함께 고정되는 것이 이상적입니다. 평가 척도의 행동 예는 PGY-1의 각 수행 수준에 대한 교수진의 기대치를 반영하여 평가자에게 척도의 각 점수에 대한 공통된 정의를 제공해야 합니다. 이렇게 하면 평가자가 평가 작업을 더 쉽게 수행할 수 있고 지원자를 일관된 방식으로 평가하는 데 도움이 됩니다.
  • 면접관에게는 평가 척도의 행동 예시를 지원자의 응답을 평가하는 일반적인 지침으로 사용하도록 안내해야 합니다.
  • They can be designed to evaluate applicants’ responses to individual questions, a small number of competencies, or overall suitability for the job. A best practice is to develop rating scales for the small number of competencies that the interview was designed to assess.
  • They can be developed to work with behavioral and situational questions.
  • The number of points on the rating scale often varies from three to seven. Deciding how many points there should be on the rating scale typically depends on the number of proficiency levels (or scale points) you think reflect the range of behaviors observed among PGY-1s.
  • Ideally, each point on the rating scale is anchored with behavioral examples that describe each level of proficiency. The behavioral examples on the rating scales should reflect faculty expectations of each level of performance for PGY-1s, providing raters with common definitions for each point on the scale. This will both make the rating task easier for raters and help ensure that applicants are being evaluated in a consistent manner.
  • Interviewers should be instructed to use the behavioral examples on the rating scale as a general guide for evaluating applicants’ responses.

 

섹션 2: 레지던트 지원자 면접 - 교직원을 위한 실무 가이드
Section 2: The Resident Applicant Interview—A Practical Guide for Faculty

이 섹션에서는 레지던트 지원자 면접 절차의 각 단계에 대한 모범 사례에 대한 일반적인 지침을 제공합니다:

1. 인터뷰 준비
2. 인터뷰 시작하기
3. 인터뷰 진행
4. 인터뷰 마무리
5. 인터뷰 평가

This section provides general guidance on best practices for the stages of the residency applicant interview process:

  1. Preparing for the interview
  2. Starting the interview
  3. Conducting the interview
  4. Closing the interview
  5. Evaluating the interview

예비 교직원 및 레지던트 면접관은 기관의 면접관 교육 과정(가능한 경우)을 수강하고, 무의식적 편견에 관한 과정과 같은 기관 또는 국가 교육 프로그램에 참여하며, PGY-1 레지던트의 직무 요건과 기관 및 레지던트 프로그램의 사명 및 목표를 숙지하는 것을 고려해야 합니다.
Prospective faculty and resident interviewers should consider taking the institution’s interviewer training course (if available), participating in institution or national training programs such as a course on unconscious bias, and familiarizing themselves with the job requirements for PGY-1 residents and the mission and the goals of the institution and the residency program.

1단계: 면접 준비하기
Stage 1: Preparing for the Interview

면접관은 지원자를 만나기 전에 면접 자료(예: 면접 스크립트, 가능하거나 필수적인 면접 질문, 역량 정의, 평가 척도에 대한 설명)를 숙지하는 것이 중요합니다. 다음 자료를 쉽게 사용할 수 있어야 합니다:
Before meeting the applicant, it is important that interviewers familiarize themselves with the interview materials (for example, the interview script, possible or required interview questions, competency definitions, and descriptions of rating scales). The following should be readily available:

  • 토론할 질문 또는 주제 목록
  • 인터뷰 중에 메모할 수 있는 방법
  • 채점 루브릭 또는 평가 척도(해당되는 경우)
  • 인터뷰 일정
  • A list of questions or topics to discuss
  • A way to take notes during the interview
  • The scoring rubric or rating scale(s), if applicable
  • The interview schedule

2단계: 인터뷰 시작
Stage 2: Starting the Interview

편안한 분위기를 조성합니다. 지원자가 정보를 공유할 수 있도록 개방적이고 편안한 분위기를 조성합니다:
Create a comfortable atmosphere. To create an open and relaxed atmosphere that will encourage the applicant to share information:

  • 친절한 태도로 지원자를 맞이합니다.
  • 이름과 직책을 밝히며 자신을 소개합니다.
  • 지원자에게 인터뷰 시간을 알려줍니다.
  • 면접 중에 메모를 할 계획이라면 면접을 시작하기 전에 지원자에게 알려주세요. 메모를 하면 답변을 정확하게 기억하는 데 도움이 된다고 설명할 수 있습니다.
  • 면접 중에 전화나 긴급한 문제로 인해 면접이 중단될 수 있다는 사실을 알고 있다면 면접을 시작하기 전에 지원자에게 그 가능성에 대해 알려주세요.
  • Welcome the person in a friendly manner.
  • Introduce yourself, giving your name and title.
  • Tell the applicant how long the interview will take.
  • If you plan on taking notes during the interview, tell the applicant before you begin the interview. You can explain that taking notes helps to ensure that you remember responses accurately.
  • If you know that you might be interrupted during the interview by a call or urgent matter, tell the applicant about that possibility before you begin the interview.

첫인상이나 '직감'의 영향을 받지 않도록 하세요. 지원자의 외모나 지원자와의 '케미'가 어떠하든, 이러한 요소는 해당 지원자가 프로그램에서 레지던트로서 얼마나 잘할 수 있을지를 예측할 수 없음을 기억하세요. 첫인상에 의존하면 면접에서 수집하는 직무 관련 정보의 질과 양이 제한될 수 있으므로 지원자의 답변을 경청하는 데 집중하고 모든 지원자에게 가능한 한 철저하게 임하는 것이 중요합니다.
Avoid the influence of first impressions or “gut” instinct
No matter what the applicant's personal appearance is or the "chemistry" between you and the applicant, remember that these do not predict how well a person is likely to do as a resident in your program. Relying on a first impression may limit the quality and amount of job-related information you gather during an interview; it is important to keep your focus on listening to the applicant’s answers and to be as thorough as possible with all applicants.

3단계. 면접 진행
Stage 3. Conducting the Interview

직무와 관련된 질문을 합니다. 면접 질문은 직무 요건과 명확하게 연결되는 것이 가장 좋습니다. 미리 정해진 질문이나 질문 주제가 있는 경우, 면접 전반에 걸쳐 일관성을 유지하기 위해 해당 질문이나 주제를 준수하는 것이 중요합니다. 면접관이 직접 질문을 할 수 있는 경우, 해당 질문이 직무와 관련이 있는지 확인합니다.
Ask job-relevant questions.
 It is a best practice for interview questions to be clearly linked to job requirements. If there is a set of predetermined questions or topics from which questions should be asked, it is important to adhere to those questions or topics for consistency across interviews. If interviewers can ask their own questions, make sure they are relevant to the job.

가능하면 상황 및 행동 질문을 사용하세요. 행동 질문과 상황 질문은 모두 면접 구조를 개선하고 강력한 심리 측정 특성을 가지고 있습니다. 

  • 행동 질문은 지원자에게 특정 상황, 지원자가 취한 행동 또는 조치, 그 행동의 결과 또는 결과를 설명하도록 요청합니다.
  • 상황 질문은 업무상 발생할 수 있는 가상의 상황을 제시하고 지원자가 그 상황에서 어떻게 대응할 것인지 설명하도록 요청합니다.

When possible, use situational and behavioral questions. Both behavioral and situational questions improve interview structure and have strong psychometric properties. 

  • Behavioral questions ask applicants to describe a specific situation, the behavior or action they took, and the outcome or consequence of that behavior. 
  • Situational questions pose hypothetical situations that may occur on the job and ask applicants to describe how they would respond in the situation.

부적절한 질문은 피하고 법률 또는 고용주 정책에 의해 금지될 수 있는 질문에 대해서는 항상 소속 기관의 법률 고문에게 문의하세요. 인터뷰 중에는 다음과 같은 주제는 피해야 합니다:
Avoid inappropriate questions and always check with your institution’s legal counsel about inquiries that may be prohibited by law or employer policy. The following topics should be avoided during an interview:

  • 인구 통계: 연령, 인종, 종교, 사회경제적 지위, 민족, 성적 지향, 성 정체성, 출신 국가
  • 가족: 혈통, 조상, 모국어 또는 모국어, 결혼 여부, 결혼 전 이름 또는 성, 지원자와 함께 사는 사람 또는 관계, 가족 문제(부모 상태, 부양가족의 나이, 자녀 계획)
  • 개인 정보: 키와 몸무게, 신체적 및 정신적 장애, 외모, 개인적 소속을 조사하는 개인 활동
  • 기록: 군 제대, 체포, 전과 기록
  • 기타 프로그램 또는 전문 분야 및 순위 계획: 지원자가 지원할 수 있는 다른 프로그램 또는 전문 분야에 대한 정보 및/또는 지원자가 프로그램 순위를 매길 계획에 대한 정보. (NRMP 정책에 따르면 프로그램은 지원자에게 지원한 프로그램 및 프로그램 순위 결정 방식에 대한 정보 공개를 요구할 수 없습니다.)
  • Demographics: Age, race, religion, socioeconomic status, ethnicity, sexual orientation, gender identity, national origin
  • Family: Lineage, ancestry, primary or native language, marital status, maiden name or family surname, relationships or people the applicant lives with, family issues (parental status, age of dependents, plans for children)
  • Personal: Height and weight, physical and mental disabilities, physical appearance, personal activities that probe for personal affiliations
  • History: Military discharge, arrests, criminal convictions
  • Other programs or specialties, and ranking plans: Information about other programs or  specialties to which they might be applying and/or how the applicant plans to rank your program. (NRMP policies state that programs cannot require any applicant to disclose information about where they have applied and how they plan to rank programs.)

직무 관련 탐색 질문을 하세요. 지원자가 초기 답변에서 충분한 정보를 제공하지 않는 경우가 많으므로 면접관은 추가 정보를 제공하거나 후속 질문을 해야 할 수 있습니다. "좀 더 구체적으로 말씀해 주시겠습니까?" 또는 "그것에 대해 더 자세히 말씀해 주시겠습니까?"와 같은 후속 질문을 하면 지원자의 답변을 유도하지 않고 최대한 많은 정보를 수집하는 데 도움이 됩니다. 탐색 질문을 사용하는 경우, 불완전한 초기 답변을 제공한 모든 지원자에게 일관되게 질문하여 모든 지원자가 동일한 설명 기회를 갖도록 해야 합니다. 너무 많은 탐색 질문을 하면 지원자에게 찾고 있는 답변 유형에 대한 단서를 제공하여 거짓 답변을 할 가능성이 높아질 수 있다는 점에 유의하세요.
Ask job-related probing questions.
 In many cases, applicants do not provide enough information in their initial response, so the interviewer may need to prompt or ask follow-up questions. Asking a follow-up question such as, “Could you be more specific?” or “Could you tell me more about that?” is helpful in gathering as much information as possible without leading the applicant to an answer. If probing questions are used, they should be used consistently with all applicants who provide an incomplete initial response to ensure that everyone has the same opportunity to explain a response. Be aware that asking too many probing questions provides a cue to applicants about the types of answers you are looking for and may increase the likelihood of faking a response.

상황 또는 행동 면접 질문을 사용하는 경우 STAR 약어를 사용하면 면접관이 각 질문에 대한 중요한 정보를 모두 수집하는 데 도움이 될 수 있습니다:
If using situational or behavioral interview questions, the STAR acronym can help interviewers ensure they gather all important information about each question:

  • 상황 또는 과제: 지원자가 논의 중인 사건의 맥락을 설명했나요?
  • 행동: 지원자가 정확한 행동이나 조치에 대해 설명했나요(또는 무엇을 할 것인지)?
  • 결과: 신청자가 행동 또는 조치의 결과 또는 결과를 설명했나요?
  • Situation or Task: Did the applicant describe the context for the event being discussed?
  • Action: Did the applicant describe the exact behaviors or actions taken (or what would  be done)?
  • Result: Did the applicant describe the outcomes or consequences of the behaviors or  actions?

상황 면접 질문용 프로브
Probes for Situational Interview Questions

상황 또는 과제 Situation or Task

  • 이 상황에서 가장 중요한 문제는 무엇이라고 생각하나요?
  • 다른 어떤 문제가 우려되나요?
  • What do you consider the most critical issue in this situation?
  • What other issues are of concern?

행동 Action

  • 당신은 뭐라고 말하겠습니까?
  • 가장 먼저 할 일은 무엇인가요?
  • 어떤 요인이 여러분의 행동 방침에 영향을 미칠까요?
  • 다른 어떤 조치를 취할 수 있나요?
  • What would you say?
  • What is the first thing you would do?
  • What factors would affect your course of action?
  • What other actions could you take?

결과 Results

  • 여러분의 행동이 어떻게 받아들여질 것이라고 생각하나요?
  • 여러분의 행동이 잘 받아들여지지 않는다면 어떻게 하시겠습니까?
  • 귀하의 행동으로 인해 어떤 이점이 있다고 생각하십니까?
  • How do you think your action would be received?
  • What would you do if your action was not received well?
  • What do you consider benefits of your action?

행동 면접 질문용 프로브
Probes for Behavioral Interview Questions

상황 또는 과제 Situation or Task

  • 그 상황이나 과업에 이르게 된 요인은 무엇인가요?
  • 본인 또는 다른 사람이 해당 상황이나 과제를 예방하기 위해 무언가를 할 수 있었나요?
  • 이 상황이나 과제에서 해결해야 할 가장 중요한 문제는 무엇이라고 판단했나요?
  • What factors led up to the situation or task?
  • Could you or anyone else have done something to prevent the situation or task?
  • What did you determine as the most critical issue to address in this situation or task?

조치 Action

  • 어떻게 대응했나요?
  • 조치를 취할 때 가장 중요하게 고려한 요소는 무엇인가요?
  • 가장 먼저 한 일은 무엇인가요?
  • How did you respond?
  • What was the most important factor you considered in taking action?
  • What is the first thing you did?

결과 Results

  • 결과는 어땠나요?
  • 다르게 말하거나 행동했으면 좋았을 것이 있나요?
  • 그 상황에서 어떤 이점이 있었나요?
  • What was the outcome?
  • Is there anything you would have said and/or done differently?
  • Were there any benefits from the situation?

프로그램에서 상황 또는 행동 면접 질문을 사용하지 않는 경우, 보다 일반적인 개방형 프로빙 질문을 사용할 수 있습니다.
If the program does not use situational or behavioral interview questions, more generic and open-ended probing questions can be used.

개방형 프로빙 질문: 지원자에게 답변에 대해 자세히 설명하도록 요청하는 방법입니다:
Open-ended probing questions: Ways to ask an applicant to elaborate on a response:

  • 그것에 대해 자세히 말해 보세요.
  • 무슨 일이 있었나요?
  • 그 이유는 무엇인가요?
  • 어떻게 반응했나요?
  • 어떻게 그렇게 되었나요?
  • 더 잘 이해하도록 도와주세요.
  • 계속하세요.
  • 설명해 주세요.
  • 좀 더 구체적으로 설명해 주시겠어요?
  • 왜요?
  • 다른 예를 들어주세요.
  • Tell me more about that.
  • What happened?
  • Why is that?
  • How did you react?
  • How did that come about?
  • Help me understand that better.
  • Please go on.
  • Explain that to me.
  • Could you be more specific?
  • How come?
  • Give me another example, please.


간단히 메모하세요메모는 사용 가능한 모든 정보를 바탕으로 평가할 수 있게 해주며, 가장 객관적인 평가를 내리는 데 도움이 됩니다. 메모에는 지원자를 평가하는 방법을 정당화할 수 있도록 면접 내용에 대한 충분한 정보가 포함되어야 합니다. 지원자의 답변을 그대로 기록하기보다는 지원자의 답변에서 관련 핵심 단어나 문구를 기록하는 데 중점을 두세요.
Take short notes. Notes allow you to base your evaluations on all available information and assist you in making the most objective evaluations possible. Your notes should provide sufficient information about the interview content to justify how you evaluate candidates. Focus on recording relevant key words or phrases in the applicant’s responses rather than trying to capture responses verbatim.

메모할 때 피해야 할 몇 가지 중요한 함정은 다음과 같습니다:
Some important traps to avoid when taking notes include:

  • 지원자의 의도를 유추하거나 지원자가 말한 내용에 대한 자신의 의견을 적지 마세요. 예를 들어, "나쁜 답변" 또는 "훌륭한 문제 해결사"는 지원자의 답변에 대한 사실적 증거를 제공하지 않는 평가 문장이므로 작성하지 마세요.
  • 인종, 피부색, 종교, 성별, 출신 국가, 나이 또는 지원자가 언급했더라도 시험장 또는 평가 척도와 관련이 없는 기타 요인에 대한 언급을 포함하지 마세요.
  • 메모가 지원자의 답변 품질에 대한 신호가 되지 않도록 하세요. 예를 들어, 매우 긍정적이거나 매우 부정적인 내용이 방금 언급되었을 때만 메모하지 마세요.
  • Don't make inferences about what the applicant meant or write down your opinions of  what the applicant said. For example, do not write “bad answer” or “great problem solver” as these are evaluative statements that provide no factual evidence of the applicant’s response.
  • Don't include any reference to race, color, religion, sex, national origin, age, or other factors not related to the stations or rating scales, even if the applicant mentions these things.
  • Don’t allow your note taking to be a signal to applicants about the quality of their responses. For example, do not take notes only when something very positive or very negative has just been said.

4단계: 면접 마무리
Stage 4: Closing the Interview

면접이 끝나면 지원자에게 감사를 표하고 다음 단계를 설명합니다. 지원자에게 면접 성과에 대한 피드백을 주거나 메모를 공유하지 않도록 주의하세요.
At the end of the interview, thank the applicant and explain where to go next. Be careful not to give the applicants any feedback on their interview performance or share your notes.

5단계: 면접 평가
Stage 5: Evaluating the Interview

지원자가 면접실을 나간 후 가능한 한 빨리 메모를 검토합니다. 놓쳤을 수 있는 중요한 세부 사항을 기입하세요. 다음 면접이 시작되기 전에 프로그램에서 설계한 접근 방식을 사용하여 지원자를 평가합니다. 지원자에 대한 평가는 메모를 통해 뒷받침되어야 합니다.
As soon as possible after the applicant leaves the room, review your notes. Fill in any important details you may have missed. Evaluate the applicant using the approach designed by your program—ideally, before the next interview begins. Ratings of the applicant should be supported by the notes.

무의식적인 편견에 유의하세요. 누구나 태도, 연상, 고정관념에 따라 다른 사람이나 집단에 대해 무의식적인 편견을 가지고 있습니다. 면접관은 개인의 편견을 완화하는 데 도움을 줄 수 있습니다:
Be aware of your unconscious bias.
 Everyone holds unconscious biases about other people or groups of people based on attitudes, associations, and stereotypes. Interviewers can help mitigate their individual biases through:

  • 특정 지원자 또는 지원자 유형에 대한 강한 반응에 대한 인식
  • 첫인상보다는 신중한 사고와 의사 결정에 기반한 점수 부여
  • 관점 취하기
  • awareness of strong reactions for or against a particular applicant or type of applicant
  • basing scores on deliberate thinking and decision-making rather than on first impressions
  • perspective taking

면접 내용 및 평가의 표준화를 강화하면 무의식적 편견이 면접 과정에 미치는 영향을 줄일 수 있습니다. 예를 들어, 기준을 명확하게 정의하고, 채점 루브릭을 사용하고, 다양한 면접관 풀을 확보하고, 면접관에게 적절한 면접 기법을 교육하는 등 면접 프로세스를 개선함으로써 무의식적 편견의 영향을 부분적으로 완화할 수 있습니다.
Increasing standardization of interview content and evaluation is likely to reduce the impact of unconscious bias on the interview process. For example, the impact of unconscious bias can be mitigated in part through enhancements to the interview process such as clearly defining criteria, using a scoring rubric, having a diverse pool of interviewers, and training interviewers on proper interview technique.

자세한 내용은 AAMC의 의료 전문가를 위한 무의식적 편견 리소스를 참조하세요.
For more information, please see the AAMC’s Unconscious Bias Resources for Health Professionals.

일반적인 평가 오류에 유의하세요. 의도하지 않은 경우가 많지만, 흔히 발생하는 평가 오류는 면접의 유효성과 공정성을 떨어뜨릴 수 있습니다. 다음은 각 지원자의 면접 답변을 평가할 때 주의해야 할 가장 일반적인 평가 오류 유형입니다:
Be aware of common rating errors.
 Although often unintentional, common rating errors can decrease the validity and fairness of interviews. Here are some of the most common types of rating errors to be mindful of when rating each applicant’s interview responses:

  • 후광/뿔 효과: 한 응답을 기반으로 한 성과 평가가 다른 응답에 대한 평가에 영향을 미칠 수 있도록 허용하는 것입니다. 예를 들어, 팀워크를 평가하는 질문에 대한 평가가 동기를 평가하는 질문에 대한 평가에 영향을 줄 수 있도록 허용합니다.
  • 중앙 경향: 모든 지원자를 평가 척도의 중앙에 평가합니다(예: 5점 평가 척도에서 3점을 모두 부여). 면접관은 평가 척도의 전체 범위를 편안하게 사용해야 합니다.
  • 관대함/심각함: 지원자의 실제 답변과 관계없이 모든 지원자에게 높거나 낮은 평점을 부여하는 것입니다.
  • 대조 효과: 한 지원자를 이전에 면접을 본 지원자의 성과와 비교하는 것입니다. 지원자가 면접을 보는 순서는 지원자의 평점에 영향을 줄 수 있습니다. 면접관은 평점을 매길 때 지원자를 비교하는 것을 자제해야 합니다. 대신 면접관은 평가 척도와 관련하여 각 지원자의 답변을 평가하는 데 집중해야 합니다.
  • Halo/Horns effect: Allowing ratings of performance based on one response to influence ratings for another response. For example, allowing a rating on a question assessing teamwork to influence the rating on a question assessing motivation.
  • Central tendency: Rating all applicants in the middle of the rating scale (for example, giving all 3s in a 5-point rating scale). Interviewers should feel comfortable using the entire range of the rating scale.
  • Leniency/severity: Giving high or low ratings to all applicants, irrespective of their actual responses.
  • Contrast effects: Comparing one applicant with the performance of previously interviewed applicants. The order in which the applicants are interviewed can affect the ratings they are given. While making ratings, interviewers should refrain from comparing applicants. Instead, interviewers should focus on evaluating each applicant’s response in relation to the rating scale.

면접관에게 프로그램 표준 및 기타 면접과 관련된 채점에 대한 정기적인 교육과 피드백을 제공하면 이러한 오류를 줄이는 데 도움이 될 수 있습니다.
Providing interviewers with regular training and feedback on their scoring relative to program standards and other interviews can help mitigate these errors.

면접 시 해야 할 일과 하지 말아야 할 일
Interview Do’s and Don’ts

면접 진행
Conducting Interviews

해야 할 일 Do:

  • 직무와 관련된 질문을 하세요.
  • 가끔 미소 짓고 고개를 끄덕이는 등 긍정적인 바디랭귀지를 사용합니다.
  • 지원자가 본론에서 벗어난 경우 지원자의 발언에 대해 간단히 언급(예: "알겠습니다")하여 지원자의 주의를 다시 집중시킨 다음 원래의 질문으로 단호하게 돌아갑니다.
  • 말하기보다 듣는 데 더 많은 시간을 할애하세요.
  • Ask job-related questions.
  • Use positive body language such as smiling and nodding occasionally.
  • Refocus the applicant if he or she goes off track, by making a brief comment about the applicant’s remarks (such as, “OK”) and then firmly move back to the original question.
  • Spend more time listening than talking.

하지 마세요 Don't:

  • 눈썹을 치켜뜨거나 인상을 찌푸리거나 거친 목소리 톤을 사용하는 등 부정적인 바디랭귀지를 하는 것
  • 면접 중 지원자의 성과에 대해 "좋아요" 또는 "훌륭해요"와 같은 피드백을 하는 것
  • 판단형, 이유형, 선도형, 예/아니오형 질문을 하는 것
  • Use negative body language such as raising an eyebrow, frowning, or using a harsh tone of voice.
  • Give feedback to the applicant about his or her performance during the interview (such as, “Good” or “Great”).
  • Ask judgmental, why, leading, or yes/no questions.

면접 평가하기
Evaluating Interviews

하세요 Do:

  • 객관성을 유지하세요. 의견이 아닌 사실에 집중하세요.
  • 면접 질문에 대한 지원자의 답변에 집중하세요.
  • 한 번에 한 가지 질문 또는 차원에 집중합니다.
  • 지원자의 답변을 척도 앵커와 비교하는 데 집중합니다(프로그램에서 평가 척도를 사용하는 경우).
  • Stay objective―focus on facts, not opinions.
  • Focus on the applicant’s responses to interview questions.
  • Focus on one question or dimension at a time.
  • Focus on comparing applicants’ responses with scale anchors (if your program uses a rating scale).

하지 마세요 Don't:

  • "지원자의 답변에 대한 자신의 해석을 바탕으로 답변의 일부를 '채우기'.
  • 채점 루브릭 이외의 요소(예: 외모 또는 지원자와의 '케미')를 기준으로 지원자를 판단하기
  • 면접 중에 한 지원자의 답변을 다른 지원자의 답변과 비교하기
  • “Fill in” parts of the answer based on your own interpretations of the applicant’s response.
  • Judge an applicant based on anything outside the scoring rubric (for example, personal appearance or your “chemistry”).
  • Compare responses of one applicant with those of other applicants during the interview.

 

출처: https://www.aamc.org/about-us/mission-areas/medical-education/best-practices-conducting-residency-program-interviews#top

 

 

 

 

보건전문직 교육의 선발 방법에 대한 지원자 인식: 이유와 집단간 차이(Med Educ, 2022)
Applicant perceptions of selection methods for health professions education: Rationales and subgroup differences
Suzanne Fikrat-Wevers1 | Karen Stegers-Jager1 | Marleen Groenier2 | Andries Koster3 | Jan Hindrik Ravesloot4 | Renske Van Gestel3 | Anouk Wouters5,6 | Walter van den Broek1 | Andrea Woltman1 

 

1 서론
1 INTRODUCTION

학부 보건 전문직 교육(HPE)에 입학하기 위한 선발은 많은 이해관계가 얽혀 있어 공개적인 논쟁의 주제입니다.1 그럼에도 불구하고 다양한 선발 방법에 대한 대부분의 연구는 예측 타당성과 학생 다양성에 미치는 영향에 초점을 맞춘 반면, 지원자의 인식에 대해서는 거의 관심을 기울이지 않았습니다.2 지원자 인식이 대학 입학 기회 확대(WA)의 맥락에서 관련성이 있다고 주장되어 왔기 때문에 이는 놀라운 일입니다.1 사회경제적, 인종적 소수 집단의 과소 대표성은 복잡하고 다양한 문제이지만, 이러한 집단은 선발에 대한 부정적인 인식의 결과에 특히 취약한 것으로 생각됩니다.1, 3 그러나 지금까지 지원자의 여러 하위 그룹 간의 인식을 비교하여 실제로 그러한지 조사한 연구는 없었습니다. 본 연구에서는 학부 HPE의 다양한 전형 방법에 대한 지원자의 인식과 이러한 인식이 지원자의 배경 특성과 어떤 관련이 있는지 조사하여 이러한 지식 격차를 해결했습니다. 
Due to the high stakes involved, selection into undergraduate health professions education (HPE) is a topic of public debate.1 Nevertheless, most research into different selection methods has focused on predictive validity and effects on student diversity, while little attention has been paid to applicant perceptions.2 This is surprising, as it has been argued that applicant perceptions are relevant within the context of widening access (WA).1 Although the underrepresentation of lower socio-economic and ethnic minority groups is a complex and multicausal problem, these groups are thought to be particularly vulnerable to the consequences of negative perceptions regarding selection.1, 3 However, thus far, no research has compared perceptions between different subgroups of applicants to investigate whether this is really the case. In the present study, we addressed this knowledge gap by investigating applicant perceptions of different selection methods in undergraduate HPE and how these perceptions are related to applicants' background characteristics.

선발 방법에 대한 지원자의 인식을 이해하는 것은 여러 가지 이유로 중요합니다. 

  • 첫째, 지원자 인식은 광범위한 타당성 프레임워크에서 증거의 원천으로 사용되는 정치적 타당성의 구성 요소입니다.4 정치적 타당성은 이해관계자들이 어떤 방법을 선발에 사용하기에 적절하고 수용 가능한 것으로 간주하는 정도라고 정의됩니다.4 실제로 선발 절차를 설계할 때 정치적 타당도를 고려하는데, 이는 전통적인 면접과 같이 제한된 예측 타당도가 입증된 선발 방법이 여전히 일반적으로 사용되고 있다는 사실에서 잘 드러납니다.1
  • 둘째, 지원자의 인식은 선발 방법의 구성 타당도와 지원자의 동기 부여, 성과 및 철회에 미치는 영향을 포함하여 다양한 실질적인 결과를 초래할 수 있기 때문에 특히 중요합니다.2, 5-7 주목할 만한 점은 선발 위원회의 기대에 대한 지원자의 이해가 이러한 숨겨진 기대에 '부합'하기 위해 선발 준비 방식을 형성할 수 있다는 점입니다.8-10
  • 또한, 지원자의 인식은 WA와 관련이 있습니다.1 이전 연구에 따르면 사회경제적 수준이 낮고 소수 민족 배경을 가진 예비 학생들은 전형에 대해 더 자주 부정적으로 인식하고 성공적으로 입학할 수 있다는 확신이 적습니다.3, 11 이러한 지원자 하위 그룹은 일반적으로 전형 결과가 더 나쁜 것으로 나타났습니다.12, 13 이는 부정적 인식으로 인한 동기 부여 저하로 부분적으로 설명될 수 있습니다.14

Understanding applicant perceptions of selection methods is important for multiple reasons.

  • First, applicant perceptions are a component of political validity, which is used as a source of evidence in broader validity frameworks.4 Political validity is defined as the extent to which stakeholders consider a method as appropriate and acceptable for use in selection.4 In practice, political validity is taken into consideration when designing selection procedures, which is exemplified by the fact that selection methods with proven limited predictive validity, such as traditional interviews, are still commonly used.1 
  • Second, perceptions of applicants are of particular interest, as they can have numerous practical consequences, including effects on construct validity of selection methods, and on applicant motivation, performance and withdrawal.25-7 Noteworthy is that applicants' understanding of the expectations of selection committees can shape the way they prepare for selection in order to ‘fit’ these hidden expectations.8-10 
  • Moreover, applicant perceptions are relevant with respect to WA.1 Previous research suggests that prospective students with lower socio-economic and ethnic minority backgrounds more often demonstrate negative perceptions of selection and are less confident in their ability to be successfully admitted.311 These subgroups of applicants are shown to have poorer selection outcomes in general,1213 which may be partially explained by poorer motivation due to more negative perceptions.14

지원자의 선발에 대한 인식은 일반적으로 분배적 정의절차적 정의를 구분하는 조직 정의 이론15을 사용하여 설명합니다.

  • 분배적 정의는 선발 절차의 결과 분배의 공정성에 대한 지각된 공정성을 의미하며,
  • 절차적 정의는 선발 절차 및 이러한 결과를 생성하는 데 사용되는 방법의 공정성에 대한 지각을 의미합니다.15 절차적 정의는 절차의 형식적 특성, 절차 및 의사 결정에 대한 설명, 대인 관계적 대우의 세 가지 구성 요소로 구성됩니다.

조직 정의 이론에 따르면, 절차적 정의의 세 가지 구성 요소는 선발 절차의 다양한 측면에 대한 인식에 영향을 미칩니다. 본 연구에서는 절차적 정의 구성 요소인 선택의 형식적 특성에 초점을 맞췄는데, 이는 길리랜드에 따르면 본 연구의 주요 관심사인 특정 선택 방법에 대한 인식이 이 구성 요소의 영향을 가장 많이 받기 때문입니다. 이러한 형식적 특성의 예로는 선택 방법의 관련성과 지각된 타당성이 있습니다. 나머지 두 가지 구성 요소인 절차 및 의사 결정에 대한 설명과 대인 관계 처우는 각각 선발 정책과 선발 담당자에 대한 인식에 영향을 미칩니다. 
Applicant perceptions of selection are commonly described using organisational justice theory,15 which distinguishes between distributive and procedural justice.

  • Distributive justice describes the perceived fairness of the distribution of the outcome of the selection procedures, while
  • procedural justice refers to the perceived fairness of the selection procedure and methods that are used to generate this outcome.15 Procedural justice consists of three components: the formal characteristics of procedures, explanation of procedures and decision-making and interpersonal treatment.

According to organisational justice theory, the three procedural justice components affect perceptions of different aspects of selection procedures. The present study focuses on the procedural justice component formal characteristics of selection, because according to Gilliland,15 perceptions of specific selection methods—the main interest of the present study—are mostly affected by this component. Examples of such formal characteristics include relevance and perceived validity of selection methods. The other two components, explanation of procedures and decision-making and interpersonal treatment, influence perceptions of the selection policy and the selection personnel, respectively.

교육 기관은 선발 절차에서 매우 다양한 방법을 사용합니다. 그러나 이러한 방법에 대한 지원자의 인식에 대한 지식은 여전히 부족합니다.2 체계적 문헌고찰에 따르면 면접과 상황판단검사(SJT)는 지원자의 지지가 높은 반면 적성검사는 덜 수용적이라고 인식하고 있습니다.1 이 문헌고찰에는 많은 수의 연구(71편)가 포함되어 있지만 대부분 단일 기관에서 특정 선발 방법에 대한 노출 후 수행되었습니다. 이전 연구에 따르면 선택 절차가 연구 선택에 영향을 미치는 것으로 나타났기 때문에2, 이러한 16개의 연구 결과는 제한적으로만 비교 및 일반화할 수 있습니다. 또한 Kelly 등1은 특정 선발 방법이 특히 소외계층 및 소수자 그룹에 의해 장벽으로 인식된다고 제안했지만, 검토 대상 연구 중 서로 다른 지원자 하위 그룹의 인식을 직접 비교한 연구는 없었습니다. 
Educational institutions use a great variety of methods in their selection procedures. However, knowledge about perceptions of applicants regarding these methods is still scarce.2 A systematic review concluded that interviews and situational judgement tests (SJTs) are highly supported by applicants, while aptitude tests are perceived as less acceptable.1 Although this review included a large number of studies (71), most were conducted in single institutions after exposure to one specific selection method. Because previous research indicates that the selection procedure plays a role in study choice,2, 16 results of such studies are only limitedly comparable and generalisable. Additionally, while Kelly et al.1 suggested that certain selection methods are specifically perceived as barriers by underrepresented and minority groups, none of the studies under review directly compared perceptions of different applicant subgroups.

지금까지 지원자 인식의 하위 그룹별 차이를 직접 조사한 연구는 거의 없었습니다. 우리가 아는 한, HPE 분야에서 단일 사이트 연구가 수행된 것은 단 한 건뿐입니다. 이 연구는 SJT에 초점을 맞춘 것으로, 소수 민족 학생과 1세대 대학생이 기존 전형에 비해 SJT 전형에 대해 다른 선호도를 보인다는 결론을 내렸습니다.14 학부 심리학 프로그램에서 수행된 또 다른 단일 현장 연구는 다양한 전형 방법을 포함했지만 배경 변수로 성별에만 초점을 맞추었습니다.2 추첨과 고등학교 성적은 낮은 선호도를 보인 반면 시험과 면접은 높은 선호도를 보였지만, 제공된 평가의 근거에 대해서는 살펴보지 않았습니다. 저자들은 동기 부여 설문지에 대해서만 여성이 남성보다 더 긍정적으로 평가했으며, 연구 대상인 다른 선발 방법에 대한 인식은 성별에 따라 다르지 않다는 것을 발견했습니다.
Thus far, only few studies have directly investigated subgroup differences in applicant perceptions. To our knowledge, only one single-site study was executed in the field of HPE. This research focused on SJTs and concluded that ethnic minority students and first-generation university students had other preferences in SJT format compared with their traditional counterparts.14 Another single-site study that was conducted at an undergraduate psychology programme included a wide range of selection methods but only focused on gender as a background variable.2 Low favourability ratings were found for lottery and high school grades, while tests and interviews were perceived as highly acceptable, but the rationales behind the provided ratings were not explored. The authors found that only motivation questionnaires were rated more positively by women than by men, while perceptions of other selection methods under research did not differ by gender.

따라서 다양한 방법을 포함하고 다양한 관련 배경 특성을 포함하는 다중 기관 환경의 연구와 관련하여 지원자 인식 문헌에는 격차가 존재합니다. 본 연구에서는 지원자들이 학부 HPE 입학을 위한 다양한 전형 방법을 어떻게 인식하는지, 그리고 그러한 인식의 근거는 무엇인지 조사했습니다. 또한 지원자의 성별, 이주 배경(인종 지표), 부모 교육(사회경제적 지위 지표), 이전 교육 등 선발 결과와 관련된 배경 변수를 기반으로 지원자 하위 그룹 간에 이러한 인식이 다른지 평가했습니다.12, 13, 17, 18 
Thus, there is a gap in the applicant perceptions literature with respect to research in multi-institutional settings, that includes a variety of methods and that includes numerous relevant background characteristics. In the present study, we investigated how applicants perceive different selection methods for admission into undergraduate HPE and the rationales behind their perceptions. Additionally, we assessed whether these perceptions differ across subgroups of applicants based on background variables that are associated with selection outcomes: applicants' gender, migration background (as an indicator of ethnicity), parental education (as an indicator of SES) and prior education.12, 13, 17, 18

2 방법
2 METHOD

설정 및 절차
Setting and procedure

본 연구는 네덜란드에 있는 3개의 의학 프로그램, 1개의 기술-의료 프로그램, 1개의 약학 프로그램을 포함한 5개의 학부 HPE 프로그램에서 수행되었습니다. 5개 프로그램 모두 자체적으로 설계한 선발 절차가 달랐으며, 최소 두 가지 선발 방법으로 구성되었습니다. 
The present study was conducted at five undergraduate HPE programmes in the Netherlands, including three medical programmes, one technical-medical programme and one pharmacy programme. All five programmes had different self-designed selection procedures, composed of at least two selection methods.

네덜란드에서는 다양한 유형의 학부 HPE 프로그램의 입학 요건이 비슷합니다. 지원 자격을 얻으려면 모든 지원자는 이수 과목(예: 물리, 화학, 생물학) 및 교육 수준(대학 전 교육 졸업 수준)과 관련하여 동일한 엄격한 요건을 충족해야 합니다. 지원자는 다양한 교육 경로를 통해 지원할 수 있지만, 모두 앞서 언급한 요건을 충족한다는 증거를 제출해야 합니다. 결과적으로 지원자 풀은 비교적 동질적이며, 대학 수준의 학부 HPE 프로그램에 지원하는 학생들은 이미 선택성이 높은 중등 교육으로 인해 학업 능력에 따라 강력하게 사전 선발됩니다.19 그러나 pu-GPA와 관련된 입학 요건은 없습니다. 지원자는 자신이 선택한 프로그램에 지원할 때 하나의 특정 교육기관에 지원하게 됩니다. 각 기관마다 미리 정해진 정원이 있습니다. 법에 따라 교육기관은 선발 절차의 일부로 구현할 수 있는 개별 도구인 선발 방법을 사용하여 평가되는 최소 두 가지 선발 기준을 포함해야 합니다. 그러나 선발 방법의 내용 및 품질, 그리고 어떤 방식으로 결합할 것인지에 대한 추가 요건은 없습니다. 따라서 각 기관의 다양한 유형의 HPE 프로그램 간 또는 프로그램 내에서 채택하는 선발 절차는 매우 다양합니다. 현재 프로그램에서 선발 절차의 일부로 (가중치 및 비가중치) 추첨을 선발 방법으로 포함할 수 있도록 허용하는 법안이 계류 중입니다. 
In the Netherlands, admission requirements of different types of undergraduate HPE programmes are comparable. To be eligible, all applicants need to meet the same stringent requirements regarding subjects taken (e.g. physics, chemistry and biology) and educational level (graduation level of pre-university education). Although applicants can apply from different educational routes, they all need to provide proof that they meet aforementioned requirements. Consequently, the applicant pools are relatively homogeneous; students who apply to a university-level undergraduate HPE programme are already strongly preselected based on academic skills due to highly selective secondary education.19 There are no admission requirements, however, with respect to pu-GPA. When applicants apply to their programme of choice, they apply to one specific institution. For each institution, there is a predetermined fixed number of places. By law, institutions are required to include at least two selection criteria, which are assessed using selection methods—the individual tools that can be implemented as part of a selection procedure. However, there are no additional requirements with respect to, for instance, the contents and quality of the selection methods, and in which way they would be combined. Consequently, there is great variety in the selection procedures that programmes employ, both between and within different types of HPE programmes at different institutions. Currently, a bill is pending that should allow programmes to also include (weighted and unweighted) lottery as a selection method as part of their selection procedure.

2020년 9월에 입학 선발 절차에 참여한 모든 지원자(N = 3280명)를 대상으로 지원자 인식에 대한 온라인 설문조사에 참여하도록 초대했습니다. 또한 지원자들은 현장 테스트 당일 또는 이메일을 통해 인구통계학적 설문지를 작성하도록 요청받았습니다.  
All applicants engaged in the selection procedures for entry in September 2020 (N = 3280) were invited to participate in an online survey on applicant perceptions. Additionally, applicants were asked to complete a demographics questionnaire either during an on-site testing day or via e-mail.

모든 참가자로부터 사전 동의를 얻었습니다. 지원자에게는 참여는 자발적인 것이며 선발 결과에 영향을 미치지 않는다는 사실을 알렸습니다. 어떠한 인센티브도 제공되지 않았습니다. 에라스무스 MC의 의료윤리심의위원회는 이 연구가 심의 면제 대상이라고 선언했습니다. 
Informed consent was obtained from all participants. Applicants were informed that participation was voluntary and would not influence their selection outcomes. No incentives were provided. The Medical Ethical Review Committee of Erasmus MC declared the study exempt from review.

척도 Measures

지원자의 인식은 조직 정의 이론에 기반한 7개 항목이 포함된 이전에 보고된 설문지를 사용하여 측정했습니다.14 각 항목은 7점 리커트 척도를 사용하여 평가했습니다.

  • 이전 연구에 따라2, 14 일반적 호감도는 두 가지 항목을 사용하여 평가했습니다.
    • 지각된 예측 타당성 
    • 지각된 공정성
  • 나머지 5개 항목은 절차적 정의 차원 다음을 반영했습니다.
    • 안면 타당도,
    • 지원자 차별성,
    • 학업 관련성,
    • 수행 기회,
    • 부정행위의 용이성
  • 각 정의 차원에 대한 구체적인 항목(즉, 응답자에게 제공된 정의)과 평가 척도는 표 S1에서 확인할 수 있습니다.

Applicant perceptions were measured using a previously reported questionnaire including seven items based on organisational justice theory.14 Each item was judged using a 7-point Likert scale.

  • In accordance with previous studies,214 general favourability was assessed using two items:
    • perceived predictive validity and
    • perceived fairness.
  • The other five items reflected the following procedural justice dimensions:
    • face validity,
    • applicant differentiation,
    • study relatedness,
    • chance to perform and
    • ease of cheating.
  • The specific items (i.e. definitions provided to respondents) and rating scales of each justice dimension can be consulted in Table S1.

Table S1. Applicant perception items

Label Item
Perceived predictive validity How would you rate the effectiveness of [insert method] for identifying qualified people for medical school? (1: very ineffective – 7: very effective)
Perceived fairness If you would not be admitted based on a [insert method], what would you think of the fairness of this procedure? (1: very unfair – 7: very fair)
Face validity A [insert method] is a logical test for identifying qualified applicants for medical school. (1: strongly disagree – 7: strongly agree)
Applicant differentiation A [insert method] measures an individual's important qualities, differentiating them from others. (1: strongly disagree – 7: strongly agree) 
Study relatedness A person who scores well on a [insert method] Test will be a good medical student. (1: strongly disagree – 7: strongly agree) 
Chance to perform I could really show my skills and abilities through a [insert method]. (1: strongly disagree – 7: strongly agree) 
Ease of cheating It is easy to cheat or fake on a [insert method]. (1: strongly disagree – 7: strongly agree) 

medu14949-sup-0001-revised supplemental files (clean).docx
0.04MB

응답자들은 [일반적으로 사용되는 11가지 전형 방법]에 대해 지원자 인식 항목을 개별적으로 평가하도록 요청받았습니다.

  • 인지능력 검사,
  • 커리큘럼 샘플링 검사,
  • 이력서(CV),
  • 면접,
  • 지원동기서,
  • 인성 설문지,
  • 대학 전 학년 평균(pu-GPA),
  • SJT,
  • 스킬 테스트,
  • 무가중 추첨 및 가중 추첨

무가중 추첨과 가중 추첨의 경우, 다른 항목은 해당 전형 방법과 관련이 없는 것으로 간주하여 일반적 호감도와 안면 타당도만 평가했습니다. 각 선발 방법에 대한 간략한 설명(표 S2)과 함께 SJT 및 인성 설문지의 예시 항목이 제공되었습니다. 각 선발 방법(추첨 포함)에 대해 지원자들은 '[삽입 방법]을 선발 방법으로 사용하는 것에 대해 하고 싶은 말이 있습니까?"라는 개방형 질문에 답하도록 요청받았습니다. 선발 방법은 순서 효과를 완화하기 위해 무작위 순서로 제시되었습니다. 
Respondents were asked to rate the applicant perception items separately for 11 commonly used selection methods:

  • cognitive capacity test,
  • curriculum-sampling test,
  • curriculum vitae (CV),
  • interview,
  • motivation letter,
  • personality questionnaire,
  • pre-university grade-point average (pu-GPA),
  • SJT,
  • skills test,
  • unweighted lottery and weighted lottery.

For unweighted and weighted lottery, only general favourability and face validity were assessed, as the other items were considered irrelevant for those methods. A short description of each selection method was provided (Table S2), along with example items for the SJT and personality questionnaire. For each method (including lottery), applicants were also asked to answer the following open-ended question: ‘Do you have any remarks about using [insert method] as a selection method?’ The selection methods were presented in a random order to mitigate order effects.

Table S2. Operational definitions of presented selection methods

Method Description provided to applicants
Cognitive capacity test 분석적 추론, 언어적 추론, 공간적 통찰력 등 지원자의 지능과 인지 능력을 평가하는 테스트입니다. 예를 들어 IQ 테스트 또는 독해력 테스트가 있습니다.
Test that assesses intelligence and cognitive abilities of the applicants, such as analytical reasoning, verbal reasoning and spatial insight. Examples include an IQ test or a reading comprehension test.
Curriculum-sampling test 커리큘럼 샘플링 시험의 경우, 지원자는 학습 프로그램을 대표하는 과목에 대한 강의를 듣거나 나중에 평가할 학습 자료를 받습니다.
For the curriculum-sampling test, applicants attend a lecture on a subject representative for the study program and/or receive study material on which they will be assessed at a later date.
Curriculum vitae A CV describes extra-curricular activities, such as work experience, a board position or caregiving.
Interview Interview with a selection committee in which applicants are asked various questions about their background, skills and motivation.
Motivation letter 지원자는 동기 부여 편지에서 프로그램에 지원하게 된 동기를 설명합니다.
In a motivation letter, applicants describe their motivation for the program.
Personality questionnaire Questionnaire on personality characteristics in which applicants have to indicate to what extent they agree with various statements.
Pre-university grade point average  Average of grades that applicants achieved in secondary school, for example average of grades obtained in their penultimate year.
Situational Judgement Test Test consisting of short scenarios that describe difficult situations that applicants can encounter in the program. The scenarios are followed by a number of possible reactions to each situation, which applicants judge for appropriateness.
Skills test 의료 윤리적 문제에 대한 성찰이나 환자에게 나쁜 소식을 전달하는 등 프로그램에서 특별히 중요한 기술을 평가하는 테스트입니다.
Test that assesses skills that are of specific importance to the program, for example reflecting on medical-ethical issues or delivering bad news to a patient.
Unweighted lottery Applicants are only admitted to the program on the basis of chance.
Weighted lottery Applicants are placed in different lottery categories based on their pre-university grade point average. Applicants with a higher pre-university grade point average have a greater chance of being admitted.

인구통계학적 설문지에는 성별, 이주 배경, 이전 교육, 부모 교육 등의 변수가 포함되었습니다. 본 연구에서는 성별 다양성을 인정하여 지원자는 '남성', '여성', '기타(자유 텍스트 상자)'의 세 가지 범주 중에서 선택할 수 있었습니다. 이주 배경은 네덜란드 통계청(CBS)에 따라 정의되었습니다. 지원자는 다음의 세 가지 그룹으로 분류되었습니다. 

  • (i) 부모 모두 네덜란드에서 태어난 경우 이주 배경 없음
  • (ii) 부모 중 한 명 이상이 유럽(네덜란드, 터키 제외), 북미, 오세아니아, 일본 또는 인도네시아에서 태어난 경우 서구 이주 배경
  • (iii) 부모 중 한 명 이상이 아프리카, 아시아(일본, 인도네시아 제외), 라틴 아메리카 또는 터키에서 태어난 경우 비 서구 이주 배경

사전 교육과 관련해서는 네덜란드의 표준 대학 예비 교육, 대학 및 기타 형태의 사전 교육(예: 고등 직업 교육, 외국 교육)을 구분했습니다. 마지막으로, 부모 교육과 관련하여 지원자의 부모 중 고등 교육(대학 또는 고등 직업 교육)을 받은 사람이 없는 경우 지원자를 1세대 대학 지원자로 분류했습니다.
The following variables were included in the demographics questionnaire: gender, migration background, prior education and parental education. Gender diversity was acknowledged in the present study, and applicants had the option to choose between three categories: ‘man’, ‘woman’ and ‘other, namely [free text box]’. Migration background was defined in accordance with Statistics Netherlands (CBS). Applicants were categorised in three groups:

  • (i) no migration background when both parents were born in the Netherlands;
  • (ii) a Western migration background when at least one parent was born in Europe (excluding the Netherlands and Turkey), North America, Oceania, Japan or Indonesia; and
  • (iii) a non-Western migration background when at least one parent was born in Africa, Asia (excluding Japan and Indonesia), Latin America or Turkey.

With respect to prior education, we distinguished between standard Dutch pre-university education, university and other forms of prior education (e.g. higher vocational education, foreign education). Finally, for parental education, applicants were categorised as first-generation university applicants when none of their parents had attended higher education (university or higher vocational education).

분석 결과
Analyses

다양한 선발 방식에 대한 지원자의 인식을 조사하기 위해 서술적 통계를 사용했습니다. 내적 일관성을 확인한 후, 응답자별로 각 전형 방법에 대한 일반적 호감도는 두 가지 일반적 호감도 항목의 평균 점수로 계산했습니다. 일반 호감도 및 기타 항목에 대해서는 각 선택 방법에 대한 평균 점수와 95% 신뢰 구간을 계산했습니다. 또한 절차적 정의 차원 간의 관계를 조사하기 위해 각 전형 방식에 대한 일반 호감도 점수와 다른 항목 간의 상관관계를 계산했습니다.
In order to investigate applicant perceptions of different selection methods, we used descriptive statistics. After checking for internal consistency, general favourability of each method for each respondent was calculated as the mean score on the two general favourability items. For general favourability and the other items, the mean score and 95% confidence interval for each selection method were calculated. Additionally, we calculated correlations between scores on general favourability and the other items for each method to examine relationships between the procedural justice dimensions.

지원자 하위 그룹에 따라 지원자의 인식이 다른지 알아보기 위해 선형 혼합 모델을 사용했습니다. 혼합 모델을 통해 부분적으로 누락된 데이터를 보완하고 개인 및 상황 관련 차이를 통제할 수 있었습니다. 이 모형의 종속변수는 평균 일반 호감도 점수였습니다. 고정 효과에는 선발 방법뿐만 아니라 각 선발 방법과 관심 있는 인구통계학적 변수(성별, 이주 배경, 이전 교육 및 부모 교육) 간의 상호작용 효과가 포함되었습니다. 무작위 요인에는 지원자 ID와 지원자가 지원한 프로그램이 포함되었으며, 구조화되지 않은 공분산 구조를 사용했습니다. 공분산 구조에 대한 결정은 카이카이크 정보 기준에 따라 이루어졌습니다. 이 분석을 위해 개별 지원자의 데이터는 11가지 선발 방법 중 최소 10개에 대해 일반적 호감도가 평가된 경우에만 사용되었습니다.
To study whether applicant perceptions differed for subgroups of applicants, we used a linear mixed model. The mixed model compensated for partially missing data and allowed us to control for individual and context-related differences. The dependent variable in this model was the mean general favourability score. Fixed effects included the selection method, as well as the interaction effects between each selection method and the demographic variables of interest (gender, migration background, prior education and parental education). Random factors included applicant id and the programme to which the applicant applied, using an unstructured covariance structure. The decision on the covariance structure was based on the Akaike information criterion. For this analysis, data of individual applicants were used only when at least 10 of the 11 selection methods were rated on general favourability.

개방형 질문에 대한 답변은 구성주의 패러다임에서 지원자의 인식 이면에 있는 근거를 보다 심층적으로 파악하는 데 사용되었습니다. 본 연구에서는 지시적 접근법을 사용하여 내용에 대한 질적 분석을 사용했습니다.20 지시적 접근법에서는 이론적 틀을 검증하고 확장하는 것을 목표로 코드 형성을 위한 초기 지침으로 이론을 사용합니다. 본 연구에서는 조직 정의 이론의 이론적 개념이 코딩 과정의 토대를 형성했습니다. 장과 와일더무스가 설명한 분석 절차를 따랐습니다.21 

  • 제1저자(SFW)는 데이터를 숙지하고 코딩 매뉴얼을 개발했습니다.
  • 설문지의 이론적 개념인 안면 타당도, 지원자 차별화, 연구 관련성, 수행 기회 및 부정행위의 용이성에 따라 상위 코드는 미리 결정되었습니다.
    • 또한 우리가 실시한 설문지에서 다루지 않은 조직 정의 이론의 다른 개념인 분배 정의, 채용 중 반응, 채용 후 반응, 자기 인식과
    • 절차적 정의와 관련하여 이전에 보고된 설문지에서 사용된 기타 항목과학적 증거, 대인관계의 따뜻함, 사용할 권리, 사생활 침해, 광범위한 사용, 노력 기대치, 알려진 정보, 재고 기회, 피드백, 관리의 일관성, 개방성, 대우, 쌍방향 커뮤니케이션도 코딩 매뉴얼에 상위 코드로 포함했습니다.2, 22
  • 하위 코드는 코딩 과정에서 개발되었습니다.
    • 따라서 먼저 공개 답변이 어떤 이론적 개념을 참조하는지 파악한 후(상위 코드),
    • 지원자가 제공한 구체적인 주장을 코딩했습니다(하위 코드).
  • 또한 분석의 모든 단계에서 비판적인 대화를 나누고 이론의 사각지대를 인식함으로써 이론적 틀을 벗어난 잠재적으로 관련성이 있는 결과를 식별하기 위해 반성적 태도를 취하고자 했습니다.
  • 제1저자(박사과정, 교육학 전공)와 제2저자(KMSJ, 선임연구원, 교육학 전공, 다양성 연구 경험)는 각 선택 방법에 대해 두 가지 답변을 함께 코딩한 다음, 각 선택 방법에 대해 10개의 무작위 샘플을 독립적으로 코딩했습니다.
  • 일치도가 높았기 때문에 나머지 답변은 SFW가 코딩한 후 KMSJ가 일관성 검사를 실시했습니다.
  • 일관성 점검은 각 코드에 대해 댓글의 하위 샘플이 해당 특정 코드가 다루는 주제에 실제로 적용되는지 여부를 비판적으로 검토하는 것을 수반했습니다.
  • SFW는 전체 연구팀과 논의한 데이터에서 결론을 도출했습니다.

The answers to the open-ended questions were used to get a more in-depth view of the rationales behind applicant perceptions, from a constructivist paradigm. We used qualitative analysis of content, employing a directed approach.20 With a directed approach, a theory is used as initial guidance for the formation of codes with the goal of validating and extending the theoretical framework. In the present study, theoretical concepts of organisational justice theory formed the foundation for the coding process. We followed the analytical procedure described by Zhang and Wildemuth.21 

  • The first author (SFW) familiarised herself with the data and developed a coding manual.
  • Higher order codes were predetermined and were based on the theoretical concepts of the questionnaire: face validity, applicant differentiation, study relatedness, chance to perform and ease of cheating.
  • Additionally,
    • other concepts of organisational justice theory that were not covered by the questionnaire we administered were included as higher order codes in the coding manual, including distributive justice, reactions during hiring, reactions after hiring and self-perceptions,
    • as well as other items used in previously reported questionnaires referring to procedural justice: scientific evidence, interpersonal warmth, right to use, invasion of privacy, wide-spread use, effort expectancy, information known, reconsideration opportunity, feedback, consistency of administration, openness, treatment and two-way communication.222 
  • Lower order codes were developed during the coding process.
    • Thus, we first identified to which theoretical concept an open answer referred (higher order codes) and
    • subsequently coded the specific argument the applicant provided (lower order codes).
  • We also aimed to employ reflexivity to identify potentially relevant findings that were outside of our theoretical framework, by having critical dialogues throughout all stages of the analyses and being aware for blind spots in the theory.
  • SFW (PhD candidate, background in educational sciences) and the second author (KMSJ; senior researcher, background in educational sciences, experienced in research on diversity) coded two answers for each selection method together and then coded a random sample of 10 answers for each selection method independently. 
  • Because there was a high level of agreement, SFW coded the remaining answers, after which KMSJ conducted a consistency check.
  • The consistency check entailed that for each code, it was critically reviewed whether a subsample of the comments did indeed apply to the subject covered by that specific code.
  • SFW drew conclusions from the data that were discussed with the full research team.

3 결과
3 RESULTS

참가자 특성
Participant characteristics

총 704명의 지원자가 연구에 참여했습니다(응답률 = 21%). 응답자 중 71%가 여성으로 확인되었으며, '기타'라고 밝힌 지원자는 1명이었습니다. 이 지원자는 하위 그룹 분석에서 제외되었으므로 결과에는 남성과 여성 범주만 설명되어 있습니다. 또한 35%는 이주 배경을 가지고 있었고(비서양 26%, 서양 9%), 25%는 1세대 대학 지원자였습니다. 사전 교육과 관련하여 77%는 표준 예비 대학 교육, 15%는 대학, 8%는 기타 형태의 사전 교육을 통해 직접 지원했습니다. 성별, 부모 교육 및 사전 교육과 관련하여 본 연구의 인구통계학적 분포는 남성과 1세대 대학 지원자가 과소 대표되는 네덜란드에서 수행된 다른 연구와 비슷했습니다.12, 17, 18 이주 배경을 가진 지원자 역시 네덜란드에서 과소 대표되지만,12 본 연구에서는 상대적으로 큰 하위 그룹을 구성했으며, 이는 포함된 대부분의 프로그램이 도시 환경에 있기 때문일 수 있습니다. 
In total, 704 applicants participated in the study (response rate = 21%). Amongst the respondents, 71% identified as woman, and one applicant identified as ‘other’. This individual was excluded from the subgroup analyses and therefore only the categories men and women are described in the results. Furthermore, 35% had a migration background (26% non-Western, 9% Western), and 25% were first-generation university applicants. With respect to prior education, 77% applied directly from standard pre-university education, 15% from university and 8% from other forms of prior education. With respect to gender, parental education and prior education, demographic distributions in the present study were comparable with those of other research conducted in the Netherlands, where men and first-generation university applicants are underrepresented.12, 17, 18 Applicants with a migration background are also underrepresented in the Netherlands,12 but composed a relatively large subgroup in the present study, which may be due to the urban setting of most of the included programmes.

일반적 호감도
General favourability

두 가지 일반적 호감도 항목은 충분하거나 양호한 내적 일관성을 보였습니다(인지 능력 테스트: α = 0.84, 커리큘럼 샘플링 테스트: α = 0.74, 이력서: α = 0.83, 인터뷰: α = 0. 77, 지원동기서: α = 0.79, 인성검사: α = 0.79, pu-GPA: α = 0.85, SJT: α = 0.81, 스킬 테스트: α = 0.79, 무가중 추첨: α = 0.79, 무가중 추첨: α = 0.86).
The two general favourability items showed a sufficient to good internal consistency (cognitive capacity test: α = 0.84, curriculum-sampling test: α = 0.74, CV: α = 0.83, interview: α = 0.77, motivation letter: α = 0.79, personality questionnaire: α = 0.79, pu-GPA: α = 0.85, SJT: α = 0.81, skills test: α = 0.79, unweighted lottery: α = 0.79, unweighted lottery: α = 0.86).

지원자들은 커리큘럼 샘플링 시험(평균 [M] = 5.32, 95% 신뢰 구간 [95% CI; 5.24, 5.40], 표 1)에 대해 가장 높은 호감도를 보인 반면, 가중치 추첨(M = 3.05 [2.93, 3.17])과 무가중 추첨(M = 2.97 [2.83, 3.10])은 가장 낮게 인식했습니다.
Applicants provided the highest general favourability ratings for curriculum-sampling tests (mean [M] = 5.32, 95% confidence interval [95% CI; 5.24, 5.40]; Table 1), while weighted lottery (M = 3.05 [2.93, 3.17]) and unweighted lottery (M = 2.97 [2.83, 3.10]) were perceived least favourable.

일반 호감도 점수와 다른 지원자 인식 항목 간의 상관관계는 모두 통계적으로 유의미했지만(p <0.05), 상관관계의 강도에 있어서는 큰 폭의 차이가 있었습니다(표 3 참조). 일반적인 호감도와 가장 강력한 상관관계를 보인 정의 차원은 안면 타당도였으며, 부정행위의 용이성과 일반적인 호감도 간의 음의 상관관계는 가장 작았습니다. 
All correlations between the general favourability score and other applicant perception items were statistically significant (p < 0.05), but there was a great range in the strengths of the correlations (see Table 3). The justice dimension that was most strongly related with general favourability was face validity, while the negative correlation between ease of cheating and general favourability was the smallest.

지원자의 인식은 프로그램마다 다른 것으로 나타났습니다(표 2). 일반적으로 지원자들은 자신이 지원한 프로그램에서 사용하는 선발 방식에 대해 사용하지 않는 방식에 비해 더 긍정적인 인식을 가지고 있었습니다. 
Applicant perceptions appear to differ between different programmes (Table 2). Generally, applicants had more positive perceptions towards selection methods used by the programme they applied to compared with methods that were not used.

정의 차원
Justice dimensions

다음 섹션에서는 인식 점수의 정량적 결과와 지원자의 추론에 대한 정성적 결과를 통합하여 다양한 정의 차원에 대한 결과를 제시합니다. 가장 두드러진 결과만 논의하며, 정량적 및 정성적 결과에 대한 전체 개요는 각각 표 3과 표 4를 참조하시기 바랍니다.
In the next sections, the results for the different justice dimensions will be presented by integrating the quantitative findings of perception scores and the qualitative findings of applicants' reasoning. Only the most salient findings are discussed, and for a complete overview of the quantitative and qualitative findings, we refer to Tables 3 and 4, respectively.

 

 

3.3.1 안면 타당도
3.3.1 Face validity

커리큘럼 샘플링 테스트기술 테스트안면 타당도에서 가장 높은 평가를 받았지만(각각 M = 5.46, 95% CI [5.37, 5.54], M = 5.27 [5.18, 5.36]), 지원자들은 이 차원과 관련하여 이 방법들에 대해 언급하지 않았습니다. 이는 다른 차원에서도 지원자들이 주로 부정적인 측면에 초점을 맞춰 댓글을 달았다는 점을 잘 보여줍니다. 면접은 안면 타당도 척도에서도 높은 평가를 받았습니다(M = 5.17 [5.07, 5.27]). 지원자들은 동기 부여, 성격, 사회적 기술 등의 속성을 중요하게 생각했지만 이러한 속성에 대한 서면 평가보다는 구두 면접을 선호했습니다. 이는 인성 설문지의 상대적으로 낮은 평가(M = 3.87 [3.75, 3.99])를 설명할 수도 있습니다. Pu-GPA 역시 안면 타당도(M = 3.70 [3.58, 3.82])에서 낮은 평가를 받았으며, 지원자들은 입학 요건이 이미 프로그램에 입학할 수 있는 역량을 충분히 증명하기 때문에 pu-GPA는 부가가치가 없다고 언급했습니다. 가중 추첨과 무가중 추첨에 대한 평점이 가장 낮았습니다(각각 M = 2.99 [2.87, 3.12], M = 2.50 [2.37, 2.63]). 지원자들은 두 가지 유형의 추첨이 모두 지원자의 스트레스와 부담을 줄일 수 있다는 점을 인정했지만, 자신을 차별화하려는 강한 열망을 전달했으며 추첨이 가장 우수하고 동기 부여가 높은 학생을 선발하지 못할 것이라고 믿었습니다. 
Curriculum-sampling tests and skills tests received the highest ratings on face validity (respectively, M = 5.46, 95% CI [5.37, 5.54], M = 5.27 [5.18, 5.36]), but applicants did not comment on these methods with respect to this dimension. This is illustrative of the observation that, also for other dimensions, applicants mainly focused on negative aspects in their comments. Interviews were also rated highly on the scale of face validity (M = 5.17 [5.07, 5.27]). Applicants considered attributes such as motivation, personality and social skills important but preferred an oral interview over a written assessment of these attributes. This may also explain the relatively low rating of personality questionnaires (M = 3.87 [3.75, 3.99]). Pu-GPA also received a low rating on face validity (M = 3.70 [3.58, 3.82]), and applicants mentioned that pu-GPA was not of added value as the admission requirements would already provide enough evidence of their capacity to enter the programme. The lowest ratings were provided for weighted and unweighted lottery (respectively, M = 2.99 [2.87, 3.12], M = 2.50 [2.37, 2.63]). Although applicants acknowledged that both types of lottery can reduce stress and pressure for applicants, they communicated a strong desire to distinguish themselves and believed that lotteries would not select the best and most motivated students.

3.3.2 지원자 차별화
3.3.2 Applicant differentiation

기술 테스트면접은 지원자 차별화에서 상대적으로 높은 점수를 받았습니다(각각 M = 5.25 [5.16, 5.34], M = 5.23 [5.13, 5.33]). 지원자들이 차별화 기술을 평가하고 평가자가 지원자의 역량을 적절히 파악할 수 있다고 언급한 유일한 전형 방식이었습니다. 그러나 대부분의 선발 방식에 대해 지원자들은 해당 방식이 평가하고자 하는 방식이 아닌 다른 기술을 기준으로 지원자를 구별한다고 지적했습니다.

  • 예를 들어, 지원자들에 따르면 동기부여서순수한 동기 대신 글쓰기 능력을 평가하고,
  • 선발 시험은 목표 지식이나 기술 대신 시험에 대한 지혜와 준비 시간을 측정합니다.
  • 인성 문항과 SJT는 지원자의 실제 성격이나 상황에 대한 반응보다는 매우 기초적인 지식인 사회적 기대에 대한 지식에 따라 지원자를 구분한다는 비판을 받았습니다.

Pu-GPA에 대해서 지원자들은 같은 성적을 받은 지원자라도 동기, 노력, 난이도에 따라 차이가 크다고 답해 가장 낮은 점수(M = 3.25 [3.13, 3.36])를 받았습니다. 
Skills tests and interviews received relatively high scores on applicant differentiation (respectively, M = 5.25 [5.16, 5.34], M = 5.23 [5.13, 5.33]). These were the only methods for which applicants mentioned that distinguishing skills are assessed and assessors can get an adequate overview of applicants' competencies. For most of the selection methods, however, applicants indicated that the methods distinguish candidates based on other skills than the methods are intended to assess.

  • For instance, according to applicants, motivation letters assess writing skills instead of pure motivation, and
  • selection tests measure test wiseness and preparation time instead of the targeted knowledge or skills.
  • Personality questionnaires and SJTs received the criticism that applicants are distinguished based on their knowledge of social expectations—which they expected to be very basic knowledge—rather than their actual personality or reactions to situations.

Pu-GPA received the lowest scores (M = 3.25 [3.13, 3.36]), as applicants mentioned that the same grade is the result of a wide range in motivation, effort and degree of difficulty.

3.3.3 학업 관련성
3.3.3 Study relatedness

일반적인 호감도에 비해 학업 관련성에 대한 평균 점수는 모든 전형 방법에서 상대적으로 낮았습니다(범위 M = 2.93~4.43). 이는 각 전형 방법에서 지원자들이 특정 관련 기술만 평가하고 다른 중요한 속성에 대한 정보는 누락되었다고 응답했기 때문일 수 있습니다. 예를 들어, 지원자들에 따르면 인지 능력 테스트는 정보 처리 및 문제 해결과 같은 관련 기술을 평가할 수 있지만 사회성 및 의사 소통 능력은 고려되지 않습니다. 따라서 지원자들은 어떤 방법도 학습 성과를 완벽하게 예측할 수 없다고 생각했으며, 여러 가지 선발 방법을 조합하는 것을 선호했습니다. 지원자들은 광범위한 기술을 평가하는 것을 선호했지만, 프로그램 과정에서 이러한 기술을 개발할 수 있는 여지가 있어야 한다고 답해 딜레마가 발생했습니다. 
Compared with general favourability, the mean scores on study relatedness were relatively low for all selection methods (range M = 2.93–4.43). A possible explanation is that for each selection method, applicants indicated that only certain relevant skills are assessed, while information on other important attributes is missed. For instance, while cognitive capacity tests can, according to applicants, assess relevant skills such as information processing and problem-solving, social and communicative skills are not taken into account. Thus, applicants believed that none of the methods can fully predict study performance and they preferred a combination of selection methods. Although applicants preferred assessment of a broad range of skills, they also stated that there should be room to develop those skills over the course of the program, introducing a dilemma.

스킬 테스트커리큘럼 샘플링 테스트는 학습 관련성에서 가장 높은 점수를 받았습니다(각각 M = 4.43 [4.33, 4.53], M = 4.38 [4.28, 4.48]). 지원자들은 두 가지 방법 모두 광범위한 기술을 평가할 수 있다고 언급했습니다. 또한, 이 두 가지 방법의 경우에만 지원자들이 프로그램과 교재에 대해 더 잘 알 수 있어, 지원자가 프로그램 내용에 관심이 있고 대처할 수 있는지를 평가할 수 있는 기회를 제공한다고 답했습니다. 가장 낮은 점수를 받은 평가 방법인 pu-GPA과 이력서(각각 M = 3.11 [3.00, 3.22], M = 2.93 [2.82, 3.04])에 대해 지원자들은 평가된 기술이 너무 일반적이며 이전 성과가 미래의 성공을 예측할 수 없다고 답했습니다. 
Skills tests and curriculum-sampling tests received the highest scores on study relatedness (respectively, M = 4.43 [4.33, 4.53], M = 4.38 [4.28, 4.48]). Applicants mentioned that both methods can assess a broad range of skills. Moreover, only for these methods, applicants stated that they can become more acquainted with the programme and its course materials, creating an opportunity for applicants to assess whether they are interested in and able to cope with the programme content. For the lowest scoring methods—pu-GPA and CV (respectively, M = 3.11 [3.00, 3.22], M = 2.93 [2.82, 3.04])—applicants stated that the assessed skills are too generic and that previous performance is not predictive of future success.

3.3.4 수행 기회
3.3.4 Chance to perform

수행 기회에 대한 평균 점수도 상대적으로 낮았습니다(범위 M = 3.09~4.90). 정성적 결과는 이 결과에 대한 몇 가지 잠재적인 설명을 제공합니다.

  • 첫째, 지원자들은 수행 기회와 관련하여 몇 가지 딜레마를 언급했습니다. 예를 들어, 지원자들은 이전 성과보다 현재 지식과 기술에 대한 평가를 선호했으며, 스냅샷 평가의 단점을 지적했습니다.
  • 둘째, 각 선발 방식에 대해 지원자들은 특정 하위 그룹의 수행 기회를 방해할 수 있는 불평등의 원인을 발견했습니다. 예를 들어, 의료 분야 내 네트워크의 존재이력서를 작성하는 데 유용한 것으로 간주되었으며, 충분한 재정적 자원이 있는 지원자는 더 나은 시험 결과를 위해 상업적 코칭을 받거나 더 높은 pu-GPA을 받기 위해 과외를 받을 수 있었습니다.

실기 시험면접은 각각 4.90점(4.80점, 5.00점), 4.77점(4.66점, 4.89점)으로 더 높은 점수를 받았으며, 지원자들은 이러한 방법이 다양한 자질을 보여줄 수 있는 여지를 더 많이 제공한다는 인상을 받았다고 언급했습니다. Pu-GPA가 가장 낮은 점수(M = 3.09 [2.97, 3.21])를 받았는데, 이는 지원 전에 데이터가 수집되었기 때문에 지원자들이 이 선발 방법에 대한 통제력이 부족하다고 느꼈기 때문으로 설명할 수 있습니다.
The mean scores on chance to perform were also relatively low (range M = 3.09–4.90). The qualitative results provide some potentially relevant explanations for this finding.

  • First, applicants mentioned some dilemmas with respect to chance to perform. For instance, they preferred assessment of current knowledge and skills over previous achievements and pointed out drawbacks of snapshot assessments.
  • Second, for each selection method, applicants noticed sources of inequality that can interfere with the chance to perform on a method for certain subgroups. For example, the existence of a network within the medical field was considered useful for building a CV, and applicants with enough financial resources could take commercial coaching for better test results and tutoring for a higher pu-GPA.

Skills test and interview scored higher on chance to perform (respectively, M = 4.90 [4.80, 5.00], M = 4.77 [4.66, 4.89]), and applicants noted that they got the impression that these methods allow for more space to show a broad range of qualities. Pu-GPA received the lowest scores (M = 3.09 [2.97, 3.21]), which can be explained by the fact that applicants experienced a lack of control for this selection method, as data had been collected before application.

3.3.5 부정행위의 용이성
3.3.5 Ease of cheating

부정행위의 용이성에서 가장 높은 점수를 받은 네 가지 전형 방법인 인성검사, 지원동기서, SJT, 면접(각각 M = 6.06 [5.96, 6.16], M = 5.72 [5.62, 5.82], M = 4.72 [4.57, 4.86], M = 4.62 [4.50, 4.74])에 대해 지원자들은 사회적 바람직성이 중요한 역할을 할 수 있다고 언급했습니다. 지원 동기 편지에 대한 추가 의견으로는 지원자가 다른 사람에게 편지를 쓰게 하여 쉽게 속일 수 있다는 점이 있었습니다. 이력서 역시 상대적으로 부정행위를 저지르기 쉬운 것으로 간주되었습니다(M = 4.42 [4.28, 4.56]). 지원자들은 문서를 위조하기 쉽고, 소수의 이력서 샘플만을 대상으로 정확성 여부를 확인한다고 설명했습니다. 지원자들은 점수가 낮은 선발 방식에서 부정행위가 더 어려운 이유에 대해 별다른 언급을 하지 않았습니다.
For the four selection methods scoring highest on ease of cheating—personality questionnaire, motivation letter, SJT and interview (respectively, M = 6.06 [5.96, 6.16], M = 5.72 [5.62, 5.82], M = 4.72 [4.57, 4.86], M = 4.62 [4.50, 4.74])—applicants mentioned that social desirability can play a major role. An additional remark about motivation letters is that applicants can easily cheat by letting others write their letter. CV was also considered relatively easy to cheat on (M = 4.42 [4.28, 4.56]). Applicants explained that it is easy to forge documents, and only a small sample of CVs is checked on correctness. Applicants did not have any remarks about why it is harder to cheat on the lower scoring selection methods.

3.3.6 추가 차원
3.3.6 Additional dimensions

설문지에서 다루었던 정의 차원 외에도 주관식 질문에 대한 답변에서 여러 가지 추가 차원을 확인했습니다.
Besides the justice dimensions that were covered by the questionnaire, we identified a number of additional dimensions in the answers to the open-ended questions.

첫 번째 정의 차원은 운영의 일관성으로, 이는 결정 절차가 사람에 따라 그리고 시간에 따라 편견 없이 일관되게 적용되는 정도를 의미합니다.22

  • 이력서, 지원동기서, 인터뷰 및 기술 테스트는 평가자의 개인적인 의견에 많은 여지를 주고 결과적으로 평가자 간 평가에 잠재적인 차이를 발생시키는 보다 주관적인 방법으로 간주되었습니다.
  • 지원자들은 또한 pu-GPA 관리의 일관성에 대해서도 언급했습니다. 현재 pu-GPA는 학교별 시험을 기반으로 합니다. 지원자들은 학교마다 평가 방법, 난이도, 채점 방식에 큰 차이가 있어 다른 학교의 pu-GPA를 비교할 수 없다고 언급했습니다. 

A first justice dimension was consistency of administration, which refers to the extent to which decision procedures are consistent and without bias across people and over time.22 

  • CVs, motivation letters, interviews and skills tests were considered as more subjective methods, giving a lot of space to the personal opinion of assessors and consequently creating potential differences in ratings between assessors.
  • Applicants also commented on the consistency of administration for pu-GPA. Currently, pu-GPA is based on school-specific examinations. Applicants mentioned that there is a great difference between schools in assessment methods, difficulty level and way of rating, making pu-GPA from different schools incomparable.

둘째, 설문지에서는 학업 관련성에만 초점을 맞춘 반면, 지원자들은 학업 관련성과 직무 관련성을 구분하는 경향이 있었습니다.

  • 예를 들어, 지원자들은 학업 관련성과 관련하여 커리큘럼 샘플링에 대해 대체로 긍정적인 의견을 보였지만, 성공적인 의료 전문가가 되기 위해서는 사회성 및 의사소통 능력과 같은 다른 기술도 중요하다고 언급했습니다. 지원자들은
    • 기술 테스트, 인터뷰, SJT, 인성 설문지를 통해 미래 직업에 필요한 중요한 특성을 평가할 수 있다고 답한 반면,
    • 학점, 인지 테스트, 이력서, 커리큘럼 샘플링 테스트는 그렇지 않다고 답했습니다.

Second, while the questionnaire only focused on study relatedness, applicants tended to make a distinction between study relatedness and job relatedness.

  • For instance, while applicants had generally positive comments about curriculum sampling with respect to study relatedness, they mentioned that other skills are relevant to become a successful health professional, such as social and communicative skills.
    • They stated that skills tests, interviews, SJTs and personality questionnaires can assess important attributes for the future profession,
    • while this was not so much the case for pu-GPA, cognitive tests, CVs and curriculum-sampling tests.

일부 의견은 절차적 정의보다는 선발 절차 결과의 공정성과 관련된 분배적 정의에 관한 것이었습니다.15 

  • 지원자들은 무가중 추첨의 장점으로 입학 기회가 균등해져 더 다양한 학생이 입학할 수 있다는 점을 언급했습니다. 다른 방법을 적용하면 앞서 언급한 불평등한 기회로 인해 학생의 다양성이 감소할 수 있습니다. 
  • 합격한 학생들이 비슷한 의견을 갖게 되어 학생 집단에서 관점의 다양성이 줄어들 수 있다는 점도 SJT에 불리한 결과로 언급되었습니다.

Some comments were not related to procedural justice, but rather to distributive justice, relating to the fairness of the outcomes of the selection procedure.15 

  • Applicants mentioned that an advantage of unweighted lottery is that the equal chances to be admitted would lead to a more diverse student population. The application of other methods could result in a decrease of student diversity, because of the aforementioned inequal chances to perform.
  • An additional unfavourable outcome was mentioned for SJTs: accepted students would have similar opinions and there would be less diversity in perspectives in the student cohorts.

마지막으로, 선발에 대한 인식의 결과로 여겨지는 개인의 태도와 행동과 관련된 조직 정의 이론의 '결과' 부분에 대해 많은 언급이 있었습니다.15 

  • 특히 우려되는 주제 중 하나는 선발 방식이 지원자들에게 많은 스트레스와 압박을 유발할 수 있다는 것이었습니다.
  • 지원자들은 이력서 작성, 커리큘럼 샘플링 시험 공부 등 많은 준비가 필요한 선발 방식이 학업 및 기타 책임과 병행해야 하기 때문에 스트레스를 받을 수 있다고 언급했습니다.
  • 스트레스의 또 다른 원인으로 언급된 것은 지원자들이 시험 당일에 큰 부담감으로 인해 겪는 압박감이었습니다. 지원자들은 또한 여러 전형 방법을 병행할 경우의 단점으로 스트레스를 꼽았습니다.

Finally, numerous remarks were made about the ‘outcomes’ part of organisational justice theory, which relates to the attitudes and behaviours of individuals that are thought to be a result of perceptions of selection.15 

  • One particular topic of concern was that selection methods can cause a lot of stress and pressure amongst applicants.
  • Applicants mentioned that selection methods that require a lot of preparation, such as building a CV and studying for a curriculum-sampling test, can be stressful as they have to combine this with school and other responsibilities.
  • Another source of stress that was mentioned was the pressure that applicants experience during testing days due to the high stakes involved. Applicants also recognised stress as a drawback of combining multiple selection methods.

지원자 하위 그룹에 따른 인식의 차이
Differences in perceptions for subgroups of applicants

각 전형 방법에 대한 전반적인 호감도의 하위 그룹별 차이에 대한 선형 혼합 모형의 결과는 표 5에 나와 있으며, 각 하위 그룹에 대한 기술 통계는 보충 표 S3-S6에 나와 있습니다. 여성에 비해 남성은 가중치 없는 추첨을 유의하게 덜 호의적으로 인식했으며(B = -0.55, 95% CI [-0.84, -0.26]), 이는 1-7점 척도에서 평균적으로 남성은 가중치 없는 추첨을 0.55점 낮게 평가했음을 나타냅니다. 성격 설문지 역시 남성이 훨씬 덜 호의적으로 인식했습니다(B = -0.23, [-0.47, -0.00]). 다른 선택 방법에서는 성별 차이가 발견되지 않았습니다. 흥미롭게도 개방형 질문에 대한 답변에서 여성이 선호하는 이력서 및 pu-GPA 에 대한 언급이 다수 있었는데, 이는 일반적으로 남성이 미래의 학업 방향을 늦게 시작한다는 의미로 해석할 수 있습니다. 이러한 우려는 정량적 조사 결과에는 반영되지 않았습니다.
The results of the linear mixed model for subgroup differences in general favourability ratings for each selection method are depicted in Table 5, and the descriptive statistics for each subgroup are provided in supplemental Tables S3–S6. Compared with women, men perceived unweighted lottery as significantly less favourable (B = −0.55, 95% CI [−0.84, −0.26]), indicating that on average, men rated unweighted lottery 0.55 units lower on a scale from 1–7. Personality questionnaires were also perceived as significantly less favourable by men (B = −0.23, [−0.47, −0.00]). No gender differences were found for other selection methods. Interestingly, in the answers to open-ended questions, multiple remarks were given about CV and pu-GPA favouring women, describing that men generally start later with their future study orientation. This concern was not reflected in the quantitative findings.

비 서구권 이주 배경을 가진 지원자들은 이력서(B = 0.50 [0.22, 0.77])와 커리큘럼 샘플링 테스트(B = 0.25 [0.06, 0.44])에 대해 상당히 높은 호감도를 보인 반면, 기술 테스트와 면접은 상당히 덜 호의적으로 인식했습니다(각각 B = -0.29 [-0.50, -0.09], B = -0.42 [-0.64, -0.20]). 비 서구권 이주 배경을 가진 지원자의 면접 및 기술 테스트 점수가 더 낮은 것은 이러한 방법의 주관적인 특성으로 인해 편견에 더 취약하다는 의견으로 설명할 수 있습니다. 서구 이민 배경을 가진 지원자에 대한 인식은 이민 배경이 없는 지원자와 다르지 않았습니다.
Applicants with a non-Western migration background provided significantly higher favourability ratings for CVs (B = 0.50 [0.22, 0.77]) and curriculum-sampling tests (B = 0.25 [0.06, 0.44]), while skills tests and interviews were perceived significantly less favourable (respectively, B = −0.29 [−0.50, −0.09], B = −0.42 [−0.64, −0.20]). The lower scores on interviews and skills tests for applicants with a non-Western migration background may be explained by remarks about the subjective nature of these methods, making them more susceptible to bias. Perceptions of applicants with a Western migration background did not differ from those without a migration background.

예비 대학 교육 마지막 해에 지원한 지원자들과 비교했을 때, 이미 대학 수준에서 공부하고 있던 지원자들은 면접과 무가중 추첨에 대해 훨씬 더 긍정적인 평가를 내렸습니다(각각 B = 0.33 [0.07, 0.58], B = 0.54 [0.17, 0.92]). 반면, pu-GPA(B = -0.83 [-1.14, -0.52]), 인지 테스트(B = -0.31 [-0.59, -0.04]) 및 가중치 추첨(B = -0.41 [-0.74, -0.08])에 대한 호감도는 유의하게 낮았습니다. 다른 형태의 사전 교육을 받은 지원자들은 대학 교육을 받지 않은 지원자들에 비해 인성 설문과 면접을 훨씬 더 유리하게 평가했습니다(각각 B = 0.49 [0.09, 0.89], B = 0.46 [0.12, 0.80]). 지원자들은 pu-GPA에 대해서만 대학 이전 교육의 역할에 대해 언급했는데, 이는 [pre-university 교육 마지막 해에 지원하지 않은 지원자]의 pu-GPA는 이미 지나간 성취도이며, 지원자의 현재 실력을 정확하게 반영하지 못한다는 것을 나타냅니다.
Compared with applicants applying during their final year of pre-university education, applicants who were already studying at university-level rated interviews and unweighted lottery significantly more positive (respectively, B = 0.33 [0.07, 0.58], B = 0.54 [0.17, 0.92]), while their favourability ratings were significantly lower for pu-GPA (B = −0.83 [−1.14, −0.52]), cognitive tests (B = −0.31 [−0.59, −0.04]) and weighted lottery (B = −0.41 [−0.74, −0.08]). Applicants from alternative forms of prior education rated personality questionnaires and interviews significantly more favourable compared with applicants from pre-university education (respectively, B = 0.49 [0.09, 0.89], B = 0.46 [0.12, 0.80]). Only with respect to pu-GPA, applicants commented on the role of prior education, indicating that pu-GPAs for applicants not applying during their final year of pre-university education are outdated and do not accurately represent applicants' current skills.

1세대 대학 출신 여부에 따른 지원자 인식의 차이는 발견되지 않았습니다.
No differences in applicant perceptions were found based on first-generation university status.

4 토론
4 DISCUSSION

본 연구의 목적은 학부 HPE의 맥락에서 지원자들이 다양한 선발 방법을 어떻게 인식하는지에 대한 심층적인 이해를 얻기 위한 것이었습니다. 연구 결과에 따르면 지원자들은 커리큘럼 샘플링 시험과 기술 시험에 대한 선호도가 가장 높은 반면, 가중치 추첨과 무가중 추첨을 가장 선호하지 않는 것으로 나타났습니다. 또한 선발 방식에 대한 지원자의 인식은 성별, 인종, 사회경제적 지위(SES), 학력에 따른 지원자 하위 그룹에서 전반적으로 유사하게 나타났습니다. 마지막으로, 지원자들은 한 가지 방법만으로는 충분하다고 생각하지 않고 여러 가지 선발 방법을 조합하는 것을 선호한다는 결과가 나왔습니다.
The aim of the present study was to gain a deeper understanding of how applicants perceive different selection methods within the context of undergraduate HPE. Our findings indicate that applicants have the strongest preference for curriculum-sampling tests and skills tests, while they consider weighted and unweighted lotteries the least favourable. Furthermore, applicant perceptions of selection methods are overall similar across subgroups of applicants based on gender, ethnicity, SES and prior education. Finally, the results show that applicants do not think one single method is sufficient, but instead prefer a combination of selection methods.

첫 번째 주요 결과는 지원자들이 '폭넓은' 선발 기준과 자신이 더 '통제할 수 있다'고 느끼는 선발 방법을 선호한다는 것입니다. 가장 높은 평가를 받은 세 가지 전형 방법인 커리큘럼 샘플링 테스트, 스킬 테스트, 면접은 모두 확장된 기준을 반영하며, 이는 pu-GPA과 같은 전통적인 방식에 포함된 인지적 능력을 넘어서는 자질을 평가하는 것을 목표로 합니다.23 본 연구에 참여한 지원자들은 이미 엄격한 입학 요건으로 인해 인지적 특성에 따라 선발된 경향이 강하므로 다른 영역에서 자신을 차별화하는 것을 선호하는 것은 놀라운 일이 아닙니다. 실제로 지원자들은 입학 요건보다 내신 성적과 인지능력 테스트가 갖는 부가가치가 무엇인지에 대해 의문을 제기했습니다. 또한, 조직 정의 이론15과 의대 선발에 관한 이전 연구에 따르면,24 지원자들은 선발 과정에서 '자신을 표현'하고 싶은 욕구를 가지고 있으며, 이는 더 넓은 기준을 반영하는 방법을 통해 더 잘 가능하다고 주장할 수 있습니다. 추첨(우연에 맡김)과 선발 전 획득한 평점(pu-GPA)에 대한 평가가 낮은 것은 지원자들이 '통제할 수 있는 상태'를 선호한다는 것을 나타냅니다. 앞서 주장한 바와 같이,1,2 이는 조직 정의 이론을 통해서도 설명할 수 있는데, 지원자들은 결정 과정에 영향을 미칠 기회가 있을 때 그 방법이 더 공정하다고 인식하기 때문입니다.15 이 결과는 성공과 실패가 자신의 노력과 재능에 기인할 수 있다는 능력주의적 가치에 대한 광범위한 사회적 인식과도 관련이 있습니다.25 결과적으로 HPE 선발 지원자들은 자신이 통제할 수 없다고 느끼는 탈락을 받아들이기 어렵다고 느낄 수 있습니다.26 
A first key finding is that applicants have a preference for ‘broadened’ selection criteria and selection methods on which they feel to be more ‘in control’. The three highest rating selection methods – curriculum-sampling tests, skills tests and interviews—all reflect broadened criteria, which aim to assess qualities that go beyond the cognitive abilities that are included in traditional methods such as pu-GPA.23 Applicants in the current study were already strongly preselected based on cognitive characteristics due to the stringent admission requirements; thus, it is not surprising that they prefer to distinguish themselves in other areas. In fact, applicants questioned the added value of pu-GPA and cognitive capacity tests over the admission requirements. Additionally, according to organisational justice theory,15 as well as previous research in medical school selection,24 applicants have the desire to ‘express themselves’ during a selection procedure, and it can be argued that this is better possible with methods that reflect broadened criteria. The low ratings of lotteries—leaving it to chance—and pu-GPA—obtained prior to selection—indicate that applicants prefer to be ‘in control’. As previously argued,1, 2 this can also be explained through organisational justice theory, because applicants perceive methods as fairer when they have an opportunity to influence the decision process.15 This finding can furthermore be related to a broader societal appreciation of meritocratic values, implying that success and failure can be attributed to one's own efforts and talent.25 Consequently, applicants for selection into HPE can find rejections that feel beyond their control difficult to accept.26

둘째, 연구 결과에 따르면 지원자의 배경은 다양한 선발 방식에 대한 인식에 큰 영향을 미치지 않는 것으로 나타났습니다. 성별, 이주 배경, 사전 교육에 따라 지원자 하위 그룹 간에 통계적으로 유의미한 인식 차이가 일부 발견되었지만, 이러한 차이가 갖는 실질적인 의미는 무시할 수 있는 수준이며, 전반적으로 지원자들의 인식은 매우 유사했습니다. 성별의 경우, 이러한 인식 차이는 심리학 지원자를 대상으로 실시한 이전 연구 결과와 일치합니다.2 그러나 인종 및 사회경제적 배경과 관련된 연구 결과는 예상치 못한 것이었는데, 이전 연구에 따르면 소수 민족 또는 사회경제적 배경이 낮은 지원자는 선발에 대해 더 부정적인 인식을 가지고 있다고 합니다.1, 3, 11 지원자들은 선발의 형식적 특성(예: 선발 방법)은 배경에 관계없이 비슷하게 인식하는 반면, 사회 인구학적 소수 민족 지원자는 (대인 관계적 대우 등) 절차적 정의의 다른 요소에 대해 더 부정적으로 인식할 가능성이 있습니다. 실제로 소수 민족 학생들이 의과대학에 재학 중일 때 불공정한 대우에 대해 더 많이 인식한다는 연구 결과가 있습니다.27, 28

Second, our findings suggest that applicants' background does not play a substantial role in their perceptions of different selection methods. Although we did find some statistically significant differences in perceptions between applicant subgroups based on gender, migration background and prior education, the practical meaning of these differences is negligible, and their perceptions were overall very similar. For gender, this lack of difference in perceptions is in accordance with findings of a previous study conducted with psychology applicants.2 However, our findings with respect to ethnicity and SES were unexpected, as previous research suggested that students with an ethic minority or lower socio-economic background have more negative perceptions towards selection.1, 3, 11 Potentially, applicants perceive the formal characteristics of selection (i.e. selection methods) similar regardless of their background, while applicants with sociodemographic minority backgrounds may have more negative perceptions regarding other components of procedural justice, such as interpersonal treatment. Indeed, research has indicated that ethnic minority students have more perceptions of unfair treatment when they are in medical school.27, 28 

소수 민족 배경을 가진 지원자들이 특정 선발 방법에 대해 더 부정적인 인식을 갖지 않았다는 결과에 대한 다른 이유는,

  • 이전 연구에서 주로 아직 지원하지 않은 예비 대학생을 대상으로 하여 부정확하거나 불완전한 정보에 근거하여 인식했을 수 있기 때문입니다.3, 11
  • 반대로 본 연구의 참가자들은 선발 경험이 있고 이에 대한 이해가 더 높았을 가능성이 높습니다.
  • (이전 연구에서와 같은 경우) 소수 배경을 가진 학생들은 주로 지원 전 기간에는 선발 절차에 대한 정확한 정보에 대한 접근성이 떨어질 수 있습니다.29

그럼에도 불구하고 이전 연구와 일치하는 질적 연구 결과도 있었는데, 예를 들어 소수 배경을 가진 지원자가 의료 분야의 코칭, 과외 및 소셜 네트워크에 대한 접근성이 낮기 때문에 지원자들이 선발 방법이 공평한 의과 교육 입학을 방해 할 수 있다고 생각한다는 징후를 제공했습니다 .3, 11, 29 

An alternative reason for the finding that applicants with minority backgrounds did not have more negative perceptions towards certain selection methods is

  • that previous studies mainly included eligible pre-university students who have not yet applied and could have based their perceptions on inaccurate or incomplete information.311 
  • Contrarily, participants in the present study had experience with selection and probably had a better understanding of it.
  • Thus, students with minority backgrounds possibly experience less access to accurate information about the selection procedure mainly in the period prior to application.29 

Nevertheless, corresponding with previous studies, the qualitative findings did provide indications that applicants believe selection methods can hinder equitable admission to medical education, for instance, because applicants with a minority background have less access to coaching, tutoring and a social network in the medical field.3, 11, 29

세 번째 주요 결과는 지원자들에 따르면 궁극적인 해결책은 없으며, 모든 선발 방법에는 특정한 장단점이 있다는 것입니다. 이는 정성적 결과에서 확인된 여러 가지 상반된 선호도에 잘 반영되어 있습니다. 우리가 발견한 가장 두드러진 딜레마는 다음 등이었습니다. 

  • (1) 지원자가 [현재 시점에서 제공할 수 있는 것을 측정하는 것][스냅샷 평가의 부정적인 결과에 대응하는 것]
  • (2) [기존의 지식과 기술을 측정하는 것][(향후에) 프로그램 동안 기술을 성장시키고 개발할 수 있는 공간을 제공하는 것]
  • (3) [최고의 학생을 선발하는 것][최고의 미래 전문가를 선발하는 것]
  • (4) [포괄성을 위해 여러 선발 방법을 결합하는 것][지나친 스트레스와 압박을 방지하는 것]

A third key finding is that according to applicants, there is no ultimate solution; all selection methods are accompanied by certain advantages and disadvantages. This is well reflected by a number of conflicting preferences that we identified in the qualitative results. The most distinctive dilemmas we found were

  • (1) measuring what applicants can offer at the present versus countering negative consequences of snapshot assessments,
  • (2) measuring existing knowledge and skills versus providing space to grow and develop skills during the program,
  • (3) selecting the best students versus selecting the best future professionals and
  • (4) combining multiple selection methods for comprehensiveness versus preventing too much stress and pressure.

 

  • 첫 번째 딜레마는 기회의 공정성 차원을 반영하는 것으로, 앞서 언급한 지원자들이 선발 과정을 통제할 수 있다고 느끼고자 하는 욕구를 강조하는 것입니다. 
  • 두 번째와 세 번째 딜레마는 학업 및 직무 관련성과 관련이 있으며 학계에서도 논쟁의 대상이 되고 있습니다.23 
  • 마지막 딜레마는 조직 정의 이론의 다른 부분, 즉 지원자의 인식과 개인 및 조직 결과 간의 관계와 더 관련이 있습니다.15 이 이론에 따르면 공정성에 대한 인식은 동기부여, 자존감, 자기 효능감('채용 시 반응'이라고 함)과 같은 변수에 영향을 미칠 수 있습니다.15 
  • The first dilemma evidently reflects the justice dimension of chance to perform and stresses the aforementioned desire of applicants to feel in control of the selection process.
  • The second and third dilemmas relate to study and job relatedness and are also topic of debate within the academic field.23 
  • The final dilemma relates more to another part of organisational justice theory, namely, the relationship between applicants' perceptions and individual and organisational outcomes.15 According to the theory, perceptions of fairness can affect variables such as motivation, self-esteem and self-efficacy (referred to as ‘reactions during hiring’).15 

본 연구에서는 스트레스와 압박감이 주요 관심사로 제기되었는데, 지원자들은 주로 준비 기간과 관련된 높은 고부담과 관련된 것으로 나타났습니다. 한 검토에 따르면 HPE 학생들 사이에서 심리적 스트레스가 상당히 만연한 것으로 나타났습니다.30 그럼에도 불구하고 지금까지 선발과 관련하여 지원자의 웰빙에 대한 연구는 거의 또는 전혀 이루어지지 않았으며 스트레스라는 특정 개념은 조직 정의 이론에 포함되지 않았습니다. 본 연구의 결과는 이를 검증하기 위해서는 추가 연구가 필요하겠지만, '채용 중 반응'의 추가 하위 범주로 이론에 추가하는 것이 적절할 수 있음을 시사합니다.
Feelings of stress and pressure were brought up as a topic of concern in the present study, which applicants mainly related to the amount of preparation and the high stakes involved. A review also identified considerable prevalence of psychological stress amongst students in HPE.30 Nevertheless, thus far, studies have paid little to no attention to applicant well-being with respect to selection and the particular concept of stress is not included in organisational justice theory. Results of the present study indicate that it may be relevant to add this to the theory as an additional subcategory of ‘reactions during hiring’, although further research would be required to validate this.

본 연구의 강점은 다양한 사회인구학적 하위 그룹의 인식을 비교하고 광범위한 선발 방법에 대한 지원자 인식의 근본적인 논거를 모색한 최초의 연구라는 점입니다. 또한 여러 프로그램에서 데이터를 수집했습니다. 그 결과, 지원자들은 자신이 접해보지 못한 선발 방식에 대해서도 의견을 제공했습니다. 이러한 방식으로 지원자가 선택한 프로그램에 따라 선발 절차가 영향을 미칠 수 있다는 점을 고려할 때, 연구 결과는 자의적 선택의 영향을 덜 받았습니다.16 그러나 이러한 강점에도 불구하고 응답자들이 설문지의 일부 방법에 대해 경험한 적이 있는 반면, 다른 방법에 대해서는 선발 방법에 대한 짧은 설명만을 바탕으로 인식하고 있다는 한계가 있었습니다. 일부 방법은 어떤 프로그램에서도 사용되지 않았습니다. 지원자가 지원한 프로그램을 통제하여 이 문제를 최대한 완화했습니다. 또한, 실시된 설문조사는 포괄성, 방어 가능성 및 프로세스의 역할과 같이 지원자의 인식에 영향을 미칠 수 있는 모든 요소를 포착하지 못했습니다.31 본 연구의 또 다른 한계는 표본 규모가 비교적 컸음에도 불구하고 초대된 지원자 중 21%만이 설문조사에 응답했다는 점입니다. 따라서 이들의 인식이 전체 지원자 풀을 완전히 대표하지 못할 수도 있습니다. 그럼에도 불구하고 본 연구의 표본은 인구통계학적 특성 측면에서 이전 연구의 지원자 풀과 비슷했습니다.12, 17 마지막 한계는 개방형 질문의 자발적 특성과 하위 그룹의 불균등한 분포로 인해 본 연구에서 다양한 하위 지원자 그룹의 주장을 직접 비교할 수 없었다는 것입니다. 따라서 정량적 데이터로 포착할 수 없었던 특정 하위 그룹의 인식 차이가 발견되지 않았을 수 있습니다.
A strength of the present study is that, to our knowledge, it is the first to compare perceptions of different sociodemographic subgroups and seek for the underlying argumentation behind applicant perceptions for a great range of selection methods. Additionally, we collected data from multiple programmes. Consequently, applicants also provided their opinions for methods that they had not been exposed to. This way, our results were less influenced by self-selection, given that the selection procedure can play a role in applicants' programme of choice.16 However, this strength was also accompanied by the limitation that the respondents did have experience with some of the methods in the questionnaire, while for other methods, their perceptions were based solely on a short description of the selection method. Some of the methods were not employed by any of the programmes. We mitigated this as much as possible by controlling for the programme to which applicants had applied. Furthermore, the survey that was administered did not capture all factors that could influence applicant perceptions, such as comprehensiveness, defensibility and the role of the process.31 Another limitation of the present study was that, although the sample size was relatively large, only 21% of invited applicants responded to the survey. Consequently, their perceptions may not be fully representative for the complete applicant pool. Nevertheless, our sample was comparable with applicant pools in previous studies in terms of demographic characteristics.12, 17 A final limitation is that the present study could not directly compare the argumentation of different subgroups of applicants due to the voluntary nature of the open-ended questions and the unequal distribution of subgroups. Consequently, certain subgroup differences in perceptions that could not be captured by the quantitative data may have remained undiscovered.  

현재의 연구는 절차적 정의의 한 측면(즉, 형식적 특성)에 초점을 맞추었지만, 향후 연구에서는 대인 관계적 대우와 같은 다른 절차적 정의 요소에도 관심을 기울일 수 있습니다.15 또한 신청자 인식에 관한 보다 근본적인 질문은 아직 조사되지 않았습니다: 이러한 인식의 발달에 어떤 메커니즘이 작용하는가? 지원자들의 인식의 기반이 되는 근본적인 가치는 무엇인가? 또한, 본 연구에서 지원자들은 여러 가지 방법을 조합하여 선호했기 때문에 다양한 방법의 조합에 따라 선발 절차를 어떻게 인식하는지 조사하는 것도 가치가 있을 수 있습니다. 총체적 접근 방식은 포괄성과 WA에 모두 주의를 기울이기 때문에 지원자의 인식을 평가하는 것은 특히 흥미로울 것입니다.32 또한, 본 연구 결과에 따르면 지원자들은 자신이 지원한 프로그램과 자신이 준비한 프로그램에서 사용하는 방법을 더 선호하는 것으로 나타났습니다. 
The current study focused on one aspect of procedural justice (i.e. formal characteristics), but future studies can also pay attention to other justice components, such as interpersonal treatment.15 Additionally, more fundamental questions regarding applicant perceptions have not been investigated yet, such as: What mechanisms play a role in the development of these perceptions? What are the underlying values of applicants on which their perceptions are based? Furthermore, in the present study, applicants preferred a combination of different methods, so it could be valuable to examine how they perceive selection procedures with different combinations of methods. It would be particularly interesting to evaluate applicant perceptions regarding a holistic approach, as this approach pays attention to both comprehensiveness and WA.32 Furthermore, results of the present study suggest that applicants have a stronger preference for the methods employed by the programmes to which they have applied and for which they have prepared.

향후 연구에서는 숨겨진 커리큘럼에 대한 지원자의 인식이 이러한 선호도에 영향을 미치는지 여부를 조사할 수 있습니다. 향후 연구의 또 다른 흥미로운 방향은 지원자의 배경에 따라 [선발 과정에서의 인식]과 [성과performance] 간의 관계가 달라지는지에 대한 질문과 관련이 있습니다. 이전 연구에 따르면 지원자의 인식과 성과는 양의 상관관계가 있으며,2, 5, 6 특정 인구통계학적 하위 그룹은 선발 과정에서 성과가 저조한 반면,12, 13, 17, 18 지원자의 배경에 관계없이 인식은 비슷하다는 사실이 밝혀졌습니다. 또한 아직 지원하지 않은 지원자격eligible 학생을 대상으로 하위 그룹에 대한 인식을 조사하는 것도 적절할 수 있습니다. 마지막으로, 연구자들은 지원자들이 관련성이 있다고 생각하는 주제인 행정의 일관성 및 직무 관련성, 지원자 복지에 관한 항목을 조사에 포함시키는 것을 고려할 수 있습니다.

Future research could examine whether applicant perceptions of the hidden curriculum play a role in this preference. Another interesting direction for future research relates to the question of whether the relationship between perceptions and performance during selection differs based on applicants' background. Previous studies have indicated that applicant perceptions and performance are positively correlated,2, 5, 6 and that certain demographic subgroups perform less well during selection,12, 13, 17, 18 while we found that perceptions were similar for applicants regardless of their background. Additionally, it can be relevant to investigate subgroup perceptions for eligible students who have not applied yet. Finally, researchers can consider including items on consistency in administration and job relatedness, as well as applicant well-being, because these topics were considered relevant by applicants.

실용적인 관점에서, 이번 연구 결과는 지원자가 선호하는 선발 방법을 고려함으로써 선발 위원회가 절차를 설계하는 데 도움이 될 수 있는 인사이트를 제공합니다. 그러나 선발 방법(정치적 타당성의 요소)에 대한 지원자의 인식과 다른 타당성 지표 사이에는 마찰이 있을 수 있습니다.1, 2 예를 들어, 지원자들은 선발 방법으로 pu-GPA를 사용하는 것에 대해 부정적인 인식을 가지고 있지만, pu-GPA는 미래의 학업 성과를 강력하게 예측합니다.33 마찬가지로, 본 연구 결과에 따르면 커리큘럼 샘플링 테스트를 포함하면 비 서구 배경을 가진 지원자를 더 많이 유치할 수 있지만, 제출한 연구에서 이 하위 그룹의 지원자가 그러한 테스트에서 낮은 성과를 보인다는 사실을 발견했습니다.34 따라서 어떤 선발 방법을 포함할지 결정할 때 지원자의 인식을 고려하는 동시에 넓은 의미에서 타당성의 다른 측면도 고려할 수 있습니다.35 그럼에도 불구하고, 우리의 연구 결과는 어떤 선발 방법이 덜 매력적이고 더 나은 설명이 필요한지 식별하는 데 도움이 될 수 있습니다.2 
From a practical viewpoint, our findings provide insights that can help selection committees design their procedures, by considering selection methods that are preferred by applicants. However, there can be frictions between applicant perceptions of selection methods (an element of political validity) and other indicators of validity.1, 2 For instance, while applicants hold negative perceptions towards the use of pu-GPA as a selection method, pu-GPA is strongly predictive of future academic performance.33 Likewise, the findings of the present study suggest that the inclusion of curriculum-sampling tests can attract more applicants with a non-Western background, but we found in a submitted study that this subgroup of applicants performs less well on such tests.34 Thus, when deciding which selection methods to include, applicant perceptions can be taken into account, while also considering other aspects of validity in a broad sense.35 Nevertheless, our findings can help identify which selection methods are less attractive and require better explanation.2 

선발 방법에 대한 명확하고 투명한 커뮤니케이션은 특히 더 '주관적'으로 인식되고 때로는 부정확한 정보를 기반으로 인식되는 광범위한 기준의 경우 지원자 인식을 개선 할 수 있습니다. 예를 들어, 지원자들은 이력서를 작성하는 데 의료 분야의 소셜 네트워크가 필요하다고 생각했지만, 본 연구에 참여한 프로그램에서는 의료 분야 이외의 다른 관련 경험도 중요하게 여겼습니다. 지원자의 인식을 이해한다고 해서 프로그램에 어떤 선발 방법을 포함해야 하는지에 대한 명확한 해답을 얻을 수는 없지만, 질적 연구 결과는 프로그램이 지원자의 요구를 고려하여 동기 부여와 성과를 개선하거나 중도 탈락을 방지하기 위해 선발 방법을 조정할 수 있는 방법에 대한 귀중한 통찰력을 제공합니다. 예를 들어, 지원자들은 선발이 자신의 복지에 미치는 영향을 우려하기 때문에 프로그램은 커리큘럼 샘플링 시험의 준비 자료 양을 제한할 수 있습니다.

Clear and transparent communication about selection methods may improve applicant perceptions, especially in the case of broadened criteria that are perceived as more ‘subjective’ and for which perceptions were sometimes based on inaccurate information. For instance, applicants believed that a social network in the medical field is necessary for building a CV, while the programmes in our study also value other relevant experience outside of the medical field. Although understanding applicant perceptions cannot provide clear-cut solutions about which selection methods programmes should include, our qualitative findings provide valuable insights into how programmes can adjust the implementation of their selection methods to take applicants' needs into account to improve motivation and performance or prevent withdrawal. For example, because applicants were concerned about the impact of selection on their well-being, programmes could limit the volume of preparatory materials for curriculum-sampling tests.

결론적으로, 학부 HPE 선발에 참여하는 지원자들은 자신이 통제할 수 있다고 인식하고 인지능력 이외의 다른 자질을 평가하는 선발 방법을 선호합니다. 또한, 본 연구에 따르면 개별 선발 방식에 대한 지원자의 인식은 일반적으로 다수 배경을 가진 지원자와 소수 배경을 가진 지원자 간에 유사합니다. 지원자의 상반된 요구와 지원자의 인식과 다른 타당성 지표 간의 마찰로 인해 선발 방법에 대한 보다 명확하고 투명한 커뮤니케이션과 방법 내에서의 수정이 요구됩니다.
In conclusion, applicants participating in selection for undergraduate HPE prefer selection methods for which they perceive to be in control and which assess other qualities than cognitive ability. Additionally, the present study indicated that applicant perceptions of individual selection methods are generally similar between applicants with majority and minority backgrounds. Due to contradictory needs of applicants and frictions between applicant perceptions and other indicators of validity, we call for a clearer and more transparent communication of selection methods and modifications within methods.


 

Med Educ. 2023 Feb;57(2):170-185. doi: 10.1111/medu.14949. Epub 2022 Oct 23.

Applicant perceptions of selection methods for health professions education: Rationales and subgroup differences

Affiliations collapse

1Institute of Medical Education Research Rotterdam, Erasmus MC, University Medical Center Rotterdam, Rotterdam, The Netherlands.

2Technical Medical Centre, Technical Medicine, University of Twente, Enschede, The Netherlands.

3Department of Pharmaceutical Sciences, Utrecht University, Utrecht, The Netherlands.

4Department of Medical Biology, Amsterdam UMC, University of Amsterdam, Amsterdam, The Netherlands.

5Faculty of Medicine VU, Amsterdam UMC location Vrije Universiteit Amsterdam, Amsterdam, The Netherlands.

6LEARN! Research Institute for Learning and Education, Faculty of Psychology and Education, VU University Amsterdam, Amsterdam, The Netherlands.

PMID: 36215062

PMCID: PMC10092456

DOI: 10.1111/medu.14949

Free PMC article

Abstract

Context: Applicant perceptions of selection methods can affect motivation, performance and withdrawal and may therefore be of relevance in the context of widening access. However, it is unknown how applicant subgroups perceive different selection methods.

Objectives: Using organisational justice theory, the present multi-site study examined applicant perceptions of various selection methods, rationales behind perceptions and subgroup differences.

Methods: Applicants to five Dutch undergraduate health professions programmes (N = 704) completed an online survey including demographics and a questionnaire on applicant perceptions applied to 11 commonly used selection methods. Applicants rated general favourability and justice dimensions (7-point Likert scale) and could add comments for each method.

Results: Descriptive statistics revealed a preference for selection methods on which applicants feel more 'in control': General favourability ratings were highest for curriculum-sampling tests (mean [M] = 5.32) and skills tests (M = 5.13), while weighted lottery (M = 3.05) and unweighted lottery (M = 2.97) were perceived least favourable. Additionally, applicants preferred to distinguish themselves on methods that assess attributes beyond cognitive abilities. Qualitative content analysis of comments revealed several conflicting preferences, including a desire for multiple selection methods versus concerns of experiencing too much stress. Results from a linear mixed model of general favourability indicated some small subgroup differences in perceptions (based on gender, migration background, prior education and parental education), but practical meaning of these differences was negligible. Nevertheless, concerns were expressed that certain selection methods can hinder equitable admission due to inequal access to resources.

Conclusions: Our findings illustrate that applicants desire to demonstrate a variety of attributes on a combination of selection tools, but also observe that this can result in multiple drawbacks. The present study can help programmes in deciding which selection methods to include, which more negatively perceived methods should be better justified to applicants, and how to adapt methods to meet applicants' needs.

구두평가 맥락에서 질문하기: 분류체계와 기본원칙 (J Med Educ Curric Dev. 2020)
Prompting Candidates in Oral Assessment Contexts: A Taxonomy and Guiding Principles
Jacob Pearce and Neville Chiavaroli

 

 

배경
Background

의과대학 및 의학전문대학원 교육 과정의 고난도 시험에서 시험관들은 구두 평가 형식, 특히 시험관이 수험생에게 질문을 던지는 것에 대해 불안감을 느끼는 경우가 많습니다. 구조화되지 않은 구술 시험의 신뢰성과 타당성에 대한 오랜 우려1-3와 시험관의 객관성과 일관성에 기반한 OSCE 형식의 등장에도 불구하고, 구술 시험은 임상적 추론 및 전문적 행동과 같은 고차원적 역량을 평가하는 중요한 방법으로 많은 임상 평가 상황에서 살아남아 번성하고 있습니다. 이는 진정성, 유연성 및 대화형 형식으로 인식되기 때문입니다.4-6 그러나 시험관의 역할에 대한 오해와 응시자 수행에 대한 질문, 자극 및/또는 프로빙의 적절한 사용으로 인해 그 가치가 손상될 수 있습니다. 
In high-stakes examinations in both medical school and post-graduate medical education, examiners often feel uneasy about the oral assessment format, particularly the notion of examiner prompting of the examinee. Despite long-standing concerns about the reliability and validity of unstructured oral exams,1-3 and the emergence of the OSCE format founded upon examiner objectivity and consistency, the Viva survives (and arguably thrives) in many clinical assessment contexts as a valued method for assessing higher order competencies such as clinical reasoning and professional behaviour. It does so due to its perceived authenticity, flexibility and interactive format.4-6 Yet its value can be compromised through misunderstanding of the role and appropriate use of examiner questioning, prompting and/or probing of candidate performance.

의과대학과 전문의 수련 대학에서 우리는 이 문제에 대해 시험관들 사이에서 상당한 혼란이 있음을 발견했습니다. 시험관이 잘 훈련된 경우에도 어떤 종류의 프롬프트 관행이 허용되는지 또는 아예 허용되는지 여부에 대한 불확실성이 남아 있습니다. 의심할 여지 없이 시험관들은 옳은 일을 하고 싶어 합니다. 구두 평가 형식 및/또는 다양한 평가 맥락에서 프롬프트의 의미에 대한 정확성이 부족하기 때문에 문제가 발생할 수 있다고 생각합니다. 우리는 주로 프롬프트와 구술 시험 간의 관계에 초점을 맞추고 있지만, 프롬프트는 더 넓은 범위의 시험, 실제로 평가자와 응시자 간의 상호 작용이 수반되는 모든 평가 방법에서 중요한 고려 사항이라고 주장합니다. 예를 들어, 프롬프트는 미니 임상 평가 연습(min-CEX), 객관적 구조화 임상 시험(OSCE), 절차적 기술 관찰(DOPS), 다중 미니 인터뷰(MMI), 표준화된 사례 기반 토론 등 시험관과 응시자 간에 언어적 상호작용이 있는 다른 많은 평가 유형에서 공통으로 사용되는 요소입니다.  
In medical schools and specialist training colleges, we have noticed considerable confusion amongst examiners on this issue. Even when examiners are well-trained, there remains uncertainty about what kind of prompting practices are permissible, or whether it is permissible at all. Undoubtedly, examiners want to do the right thing. We suggest that the problem may arise due to a lack of precision around what prompting means in the oral assessment format, and/or in different assessment contexts. Although we focus mainly on the relationship between prompting and oral examinations, we argue that prompting is an important consideration in a wider range of examinations and, indeed, any assessment method that involves an interaction between assessor and candidate. For instance, prompting is a common component of many other assessment types where there is verbal interaction between examiner and candidate, including the Mini-Clinical Evaluation Exercise (min-CEX), Objective Structured Clinical Examinations (OSCEs,) Direction Observation of Procedural Skills (DOPS), Multiple Mini Interviews (MMIs) and Standardised Case-Based Discussions. 

우리는 프롬프트가 구두 평가의 유효성에 결정적인 역할을 하는 측면이며, 이 형식에 대한 학술 문헌에서 더 많은 관심을 기울일 필요가 있다고 주장합니다. 구두 평가에 대한 심층 분석에서5 Joughin은 '상호작용'이라는 차원과 '프로빙'이라는 용어를 사용하여 이 기능이 형식의 고유한 장점에 기여할 뿐만 아니라 유효성 관점에서 주요 과제를 구성한다는 점을 인정합니다. 다른 저자들은 구두 평가 시 다양한 프롬프트 관행이 응시자에게 미칠 수 있는 잠재적 영향에 대해 언급했습니다.7,8 그러나 이 외에도 프롬프트의 성격과 형태에 대한 논의는 문헌에서 상대적으로 거의 찾아볼 수 없습니다. 예를 들어, OSCE에 대한 한 종합 가이드에서 프롬프트에 대한 언급은 'OSCE에서 응시자에게 프롬프트를 하는 것이 적절한지에 대한 의견은 다를 수 있지만, 모든 응시자에게 동일한 경험을 제공하기 위해 모든 시험관은 프롬프트와 관련하여 합의된 정책을 미리 알고 있어야 한다'는 다소 모호한 언급만 있습니다.9 구두 평가의 타당성을 명시적으로 탐구하고 구체적인 실행 지침을 제공하는 논문에서도 프롬프트 문제에 대해서는 거의 언급이 없습니다.2
Prompting, we argue, is an aspect of oral assessment that is crucial to the validity of its implementation, and deserves more attention in the scholarly literature on the format. In his in-depth analysis of the oral assessment,5 Joughin acknowledges, under the dimension of ‘interaction’ and using the term ‘probing’, that this feature contributes to the unique advantages of the format, as well as constituting a major challenge from a validity perspective. Other authors have noted the potential impact that different prompting practices can have on candidates during oral assessment.7,8 Beyond this, however, there is relatively little discussion of the nature and forms of prompting in the literature. For example, in one comprehensive guide to the OSCE, prompting receives scant and somewhat ambivalent mention: ‘Opinions will differ as to whether it is appropriate to prompt candidates in an OSCE, but all examiners should know the agreed policy with regard to prompting in advance in order that all candidates are given the same experience’.9 Even a paper explicitly exploring the validity of oral assessment and offering specific guidelines for practice has little to say about the issue of prompting.2

우리의 경험에 따르면 실무자들이 프롬프트를 개념화하는 방식과, 실제로 프롬프트를 사용하는 방식에는 상당한 차이가 있습니다. 프롬프트 정책과 기법에 대한 명확성이 필수적입니다. 따라서 이 백서의 목표는 시험관이 사용할 수 있는 다양한 형태의 프롬프트와 응시자에게 미치는 잠재적 영향에 대한 명확한 가이드를 제공하고 실무에 대한 지침 원칙을 제시하는 것입니다. 
Our experience is that there is considerable variation in how practitioners conceptualise prompting and how it is deployed in practice. Clarity around prompting policies and techniques is essential. Our aim in this paper therefore is to provide a clearer guide to the different forms of prompting available to examiners, their potential effects on candidates, and to suggest guiding principles for practice.

 

프롬프트의 분류
A taxonomy of prompting

프롬프트의 용어와 관련 관행을 이해하기 위해 프롬프트의 분류법을 제시합니다. 이 분류법은 개별적인 범주가 아닌 연속적인 유형의 연속체라고 생각합니다. '프롬프트'라는 용어는 다음 5가지 활동 중 하나를 지칭할 수 있습니다.

  • 과제 제시하기,
  • 정보 반복하기,
  • 질문 명확히 하기,
  • 질문 탐색하기,
  • 질문 유도하기

평가 상황에 따라 처음 4가지 유형의 프롬프트가 유용할 수 있습니다. 마지막 유형의 프롬프트는 타당도에 심각한 위협이 될 수 있습니다. 이 용어를 사용할 때는 먼저 해당 용어가 문맥에서 의미하는 바를 명확히 설명해야 한다는 점을 강조하는 것이 중요합니다. 
In order to unpack the term and associated practices, we present a taxonomy of prompting. We think of this taxonomy as a continuum of types, rather than as discrete categories. As we see it, the term ‘prompting’ may refer to any of the 5 following activities:

  • presenting the task;
  • repeating information;
  • clarifying questions;
  • probing questions; and finally,
  • leading questions.

The first 4 types of prompting may be useful, depending on the assessment context. The final type of prompting poses a significant threat to validity. It is important to stress that when the term is deployed, what it means in context first needs to be elucidated.

스크립트의 특정 문구
Specific wording on a script

가장 간단한 형태로 '프롬프트'는 단순히 응시자에게 과제를 제시하는 시험 또는 평가 문제의 특정 문구를 의미합니다. 이는 시험 중 시험관이 모든 응시자에게 제공해야 하는 질문 또는 정보를 나타냅니다. 이 유형의 프롬프트는 시험관의 최소한의 상호작용을 나타내며 가장 중립적인 형태의 프롬프트를 나타냅니다.
In its simplest form, a ‘prompt’ simply refers to the specific wording on an examination or assessment question which presents the task to candidates. It represents a question or information that examiners should provide all candidates during the examination. This class of prompting represents the minimum level of interaction from the examiner and the most neutral form of prompting.

반복 정보
Repeating information

두 번째 유형의 프롬프트는 단순히 정보를 반복하는 것입니다. 이 경우 시험관은 응시자가 제공받은 정보 중 잊어버린 것으로 보이는 정보를 다시 생각하도록 상기시키려는 의도가 있습니다. 

  • '이 사람은 80세 노인이라는 것을 기억하세요. . ' 또는 
  • '이전 기록에 비추어 볼 때 여전히 그렇습니까?' 

이러한 형태의 프롬프트는 원래 프롬프트의 문구를 바꾸거나, 응시자가 의도하지 않은 방향으로 내용을 받아들이는 경우 응시자를 원래 프롬프트로 다시 안내하는 형태를 취할 수 있습니다. 이러한 개입은 일반적으로 응시자에게 이전 답변이 궤도를 벗어났다는 것을 우회적으로 알리는 방식으로만 표현하는 것이 가장 좋으며, 시험관이 명백한 불만이나 좌절감을 표출해서는 안 됩니다. 이러한 형태의 프롬프트는 응시자의 응답이 문제 프롬프트를 잘못 기억하거나 오해한 결과인 것이 분명해 보이는 경우 응시자에게 스스로 수정할 기회를 주기 위한 것일 뿐입니다.
A second type of prompting is simply repeating the information. Here, examiners intend to remind the candidate to think about information they have been provided, and appear to have forgotten.

  • ‘Remember that this is an 80-year-old. . .’ or
  • ‘Is that still the case in light of the previous history?’

This form of prompting may take the form of re-phrasing the original prompt, or if a candidate is taking the content in an unintended direction, of re-directing the candidate back to the original prompt. Such intervention is usually best expressed in a way that only incidentally cues the candidate that their previous responses were off-track; that is, it should not be accompanied by obvious expressions of disapproval or frustration by the examiner. This form of prompting is simply aimed at giving the candidate the opportunity to correct themselves when it seems clear that their response is a result of misremembering or misunderstanding the question prompt.

명확화 질문 
Clarifying questions

셋째, '좀 더 구체적으로 설명해 주시겠습니까?' 또는 'X가 무슨 뜻입니까?'와 같이 명확히 하기 위한 질문으로 프롬프트가 더 나아갈 수 있습니다. 명확화 질문은 일반적으로 사용되지만, 일부 시험관들은 공식적인 평가 상황에서 부적절할 수 있다고 우려합니다. 이는 시험의 목적과 맥락에 따라 달라집니다. 예를 들어, 응시자에게 자신의 답변을 명확히 할 기회를 주는 것을 목표로 하는 질문은 대부분의 구두 평가 상황에서 적절해 보일 수 있습니다. 결국 학습자가 무엇을 알고 이해하고 있는지 알아내는 것이 평가의 근본적인 목표 중 하나이기 때문입니다. 모든 응시자가 자신의 의미를 명확히 할 수 있는 유사한 기회를 얻을 수 있도록 시험관의 일관성이 중요합니다. 시험관의 책임은 응시자에게 은밀하게 힌트를 주는 것이 아니라 전적으로 응답을 명확히 하는 데 목적이 있음을 전달하는 것입니다.

  • 반대로, '정확히 어떤 유형입니까?', '다른 방식으로 표현할 수 있습니까?'와 같이 대체 답변을 찾는 질문은 프로빙 또는 리딩으로 분류하는 것이 더 좋습니다. 고난도 평가에 응시하는 응시자는 일반적으로 이러한 단서에 매우 민감하게 반응합니다.

Third, prompting may go further to indicate clarifying questions, such as ‘Can you be more specific?’ or ‘What do you mean by “X”?’ Questions of clarification are commonly used, but some examiners worry that they may be inappropriate in formal assessment contexts. This will depend on the purpose and context of the examination. For example, a question which aims to give the candidate the opportunity to clarify their response would seem appropriate in most oral assessment contexts; it is, after all, one of the fundamental aims of assessment, to find out what the learner knows and understands. Consistency by examiners is key, so that all candidates get similar opportunities to clarify their meaning. It is the examiner’s responsibility to convey that their purpose is wholly to clarify the response, not surreptitiously cue the candidate. In contrast, a question that searches for an alternative response is better categorised as probing or leading; for example, ‘What type exactly?’, ‘Can you phrase that in a different way?’ Candidates in high-stakes assessment are usually highly attuned to such clues.

탐구 질문
Probing questions

넷째, 시험관은 탐색 질문을 할 수 있습니다. 이는 사례와 시험관마다 표준화하기가 더 어렵습니다. 응시자의 반응에 따라 시험관은 응시자가 특정 지식을 얼마나 잘 이해하고 있는지 또는 더 넓은 임상 맥락에서 그 중요성을 확인하기 위해 더 심층적인 질문을 던질 수 있습니다.

  • '그 접근법의 어떤 의미가 있을 수 있습니까?', '어떤 상황에서 그 접근법이 적절할까요?' 등 

일부 형태의 구조화된 구술 평가에서는 응시자의 임상적 추론 능력을 평가하기 위해 이러한 형태의 프롬프트가 특별히 요구됩니다.10,11 이러한 형태의 프로빙은 응시자의 임상적 의사결정 능력의 정도를 평가하는 예로서 Simpson과 Ballard의 논문12에 설명되어 있습니다. 또한 Pylman과 Ward13가 질문(형성적 맥락에서의 질문)에 대한 12가지 팁 기사에서 제공한 지침, 특히 '프로빙'과 '찌르기'를 구분하고, 총괄 시험을 실시하는 동안에도 심리적으로 안전한 분위기를 조성하는 것이 중요하다는 점을 지지합니다.
Fourth, examiners may be permitted to ask probing questions. This is more difficult to standardise across cases and examiners. Depending on how the candidate responds, an examiner prompts by probing deeper to ascertain how well the candidate understands the specific piece of knowledge, or its significance in a broader clinical context, for example,

  • ‘What might be some implications of that approach?’, ‘Under what circumstances would that be appropriate?’

Some forms of structured oral assessment specifically call for this form of prompting in order to assess the candidate’s clinical reasoning ability.10,11 This form of probing is illustrated in the paper by Simpson and Ballard,12 as an example of assessing the extent of candidates’ clinical decision-making skills. We also endorse the guidance provided by Pylman and Ward13 in their 12 tips article on questioning (in formative contexts), especially the importance of distinguishing ‘probing’ from ‘prodding’, and attempting to create a climate of psychological safety, even while conducting a summative examination.

이러한 질문형 프롬프트에서는 응시자의 특정 지식과 응답에 따라 시험관의 프롬프트 내용이 달라질 수 있기 때문에, 일관성보다는 동등성의 개념이 더 유용한 원칙으로 보입니다. 시험관은 서로 다른 특정 문제 또는 시험의 다른 지점이 프로빙에 사용되더라도 프로빙의 성격이 가능한 한 공평하게 이루어지도록 해야 합니다프로빙의 또 다른 위험은 시험관이 자신의 특정 '취미 분야(관심분야)'에만 집중할 수 있다는 것입니다. 이는 시험의 청사진 정렬 및 내용 타당성에 대한 불공정성과 위협의 중요한 원천으로 인식되어야 하며, 따라서 시험관 교육 시 특별히 다루어야 합니다. 시험관들의 이러한 접근 방식은 구술 시험의 목적에 대한 상반된 이해를 나타낼 수 있으며, 일부 시험관들은 이러한 평가를 대부분의 고난도 평가에서 요구되는 관찰 중심의 평가적 접근 방식이 아닌 교육 기회로 간주할 수 있습니다. 따라서 시험관 브리핑, 교육 및 선발 과정 자체의 명확성이 매우 중요합니다.
In this from of interrogative prompting, the concept of equivalence seems a more helpful principle than consistency, because the content of the examiner’s probing is likely to vary between candidates depending on their particular knowledge and responses. The examiner must ensure that the nature of the probing is as equitable as possible, even while different specific questions, or different points of the exam, are used for probing. Another risk of probing is that examiners may focus on their particular ‘hobby horses’. This needs to be recognised as a significant source of unfairness and threat to the blueprint alignment and content validity of the examination, and should therefore be specifically addressed during examiner training. Such an approach from examiners may indicate conflicting understanding of the purpose of oral examinations; some may see these assessments as teaching opportunities rather than the observation-focussed and evaluative approach which most high-stakes assessments require. This makes the clarity of examiner briefing, training and the selection process itself, crucial.

유도 질문과 모호한 질문
Leading and vague questions

마지막으로, 시험관들은 때때로 유도적인 질문을 던짐으로써 질문을 유도하기도 합니다. 이는 가장 '방해가 되는' 형태의 프롬프트이므로 대부분의 고난도 평가 상황에서는 권장하지 않습니다. 유도 질문의 일반적인 예는 다음과 같습니다:

  • '유형 II를 말씀하시는 거죠?', '그럴 것 같네요. . .'

응시자의 성과에 도움이 되지 않는 경우, '다른 것은요?'와 같이 매우 모호한 프롬프트의 형태를 취할 수도 있으며, 이는 종종 응시자와 시험관 모두를 좌절시키는 추측 게임으로 끝납니다. 시험관이 좋은 의도를 가지고 있을 수 있지만, 이러한 프롬프트는 시험관이 응시자의 성과에 연루되게 만듭니다. 모든 응시자에게 일관되게 적용하더라도 평가 결과의 타당성을 위협할 수 있습니다. 안타깝게도 이러한 유형의 프롬프트는 의도적이든 그렇지 않든 실무에서 종종 발생합니다.
Finally, examiners sometimes enact prompting by asking leading questions. This represents the most ‘intrusive’ form of prompting and is rightly discouraged in most high-stakes assessment contexts. Typical examples of leading prompts include:

  • ‘You mean type II, don’t you?’, and ‘It sounds like you would. . .’

Less helpfully to the candidates’ performance, it can also take the form of very vague prompts such as ‘What else?’, which frequently ends in a guessing game that frustrates both candidate and examiner. Although examiners may have good intentions, such prompting makes the examiner complicit in the candidate’s performance. Even if done consistently for all candidates, it threatens the validity of the assessment result. Unfortunately, this type of prompting often occurs in practice, whether intentional or otherwise.

실무 지침 원칙
Guiding principles for practice

다양한 형태의 프롬프트의 적절성을 고려할 때는 잠시 멈추고 특정 평가의 목적이 모든 이해관계자가 명확하고 잘 이해하고 있는지 확인하는 것이 중요합니다. 예를 들어,

  • 평가의 맥락이 고부담 숙달 시험인 경우 평가 리더는 단순히 정보를 반복하거나 정보를 명확히 하는 것 이상의 프롬프트를 금지할 수 있습니다.
  • 평가 맥락이 저부담 시험이고, 주로 응시자의 학습 기회로 활용되는 경우, 더 많은 질문을 던지는 것이 매우 유용할 수 있습니다.13

모든 평가에서 그렇듯이, 프롬프트에는 정해진 규칙이 있을 수 없습니다. 구두 평가에서 프롬프트를 사용할 때 고려해야 할 일반적인 원칙을 제시하지만, 평가 상황과 구체적인 목적에 따라 다른 프롬프트를 사용할 수 있는지 여부는 달라질 수 있습니다.
When considering the appropriateness of different forms of prompting, it is essential to pause and ensure that the purpose of the specific assessment is clear and well understood by all stakeholders. For example, if the assessment context is a high-stakes mastery examination, prompting beyond mere repeating information or clarifying information may be outlawed by assessment leaders. If the assessment context is lower-stakes and primarily used as a learning opportunity for candidates, more probing questions may be highly useful.13 With prompting, as arguably in all assessment, there can be no hard and fast rules. Although we present these general principles for consideration when using prompting in oral assessment, the defensibility of using different prompts will depend on the assessment context and specific purpose.

응시자와의 상호작용에서 중립적 태도를 지키기 위해 노력합니다.
Strive to be neutral in interactions with the candidate

시험관은 프롬프트를 제공할 때마다 응시자를 낙담시키거나 안심시키지 않는 방식으로 프롬프트를 제공하려고 노력해야 합니다. 응시자는 이러한 중립 원칙에 유의해야 하며, 시험관의 발언이나 몸짓에서 긍정이나 비난을 추구하지 않도록 격려해야 합니다. '잘했다' 또는 '잘하고 있다. .'와 같은 긍정적인 말이나 '음, 사실 Y 상태였어요'와 같은 정정(더 나쁘게는 끔찍한 눈동자 굴림)과 같은 부정적인 피드백은 응시자의 심리 상태와 이후 성과에 큰 영향을 미칠 수 있습니다. 경험상, 응시자의 성적을 긍정도 부정도 하지 않는 적절한 시험 '포커 페이스'를 개발하는 것은 많은 시험관에게 상당한 도전이 될 수 있습니다. 특정 시험관이 뛰어난 경우, 적절한 경우 전략적인 시험관 짝짓기를 통해 유용한 역할 모델을 제공할 수 있습니다. 
Whenever examiners prompt, they should try to do so in a way which neither discourages nor reassures the candidate. Candidates should be alerted to this principle of neutrality, and encouraged not to seek affirmation or censure in examiners’ utterances or body language. Positive comments such as ‘Good job’ or ‘Doing well. . .’, or corrections such as ‘Well, it was actually condition y’. – or worse, the dreaded eye-roll – can have significant impact on candidates’ state of mind and subsequent performance. In our experience, developing an appropriate examination ‘poker face’, offering neither affirming nor disapproving clues to candidates’ performance, can be a significant challenge for many examiners. Where certain examiners excel, they can provide helpful role models through strategic pairing of examiners, where appropriate.

모든 응시자에게 일관된 방식으로 프롬프트 사용
Use prompting in a consistent way for all candidates

응시자가 자신의 지식과 이해를 보여줄 기회가 다양할 때 불공평성이 발생합니다. 시험관은 특히 응시자의 답변을 조사할 때 접근 방식에 일관성을 유지하려고 노력해야 하지만, 앞서 언급한 바와 같이 이러한 일관성은 내용 자체뿐만 아니라 조사 방식과 정도에 있어서도 더 필요할 수 있습니다. 또 다른 문제는 프롬프트의 정도가 응시자의 결과에 어떤 영향을 미치는가 하는 것입니다. 일반적으로 프롬프트의 필요성이 클수록 점수가 낮아지지만,8,14 이는 평가 상황과 기준에 따라 달라질 수 있으므로 보편적인 원칙으로 간주해서는 안 됩니다. 응시자의 사고 과정을 존중하는 것도 중요합니다. 시험관의 조급함이 성급한 질문의 단서가 되어서는 안 됩니다. 잘 훈련되고 성찰적인 시험관은 평가 프로토콜과 신중한 판단을 결합하여 프롬프트가 적절한지 여부와 시기를 결정할 것입니다.
Unfairness arises when candidates have variable opportunities to display their knowledge and understanding. Examiners should try to be consistent in their approach, especially when probing candidate responses, although as noted, such consistency may need to be more in the manner and degree of probing as in the content itself. A further issue is how the degree of prompting should impact the candidate’s result. Typically, a greater need for prompting will translate into a lower score,8,14 but this will depend on the assessment context and criteria, and shouldn’t be assumed to be a universal principle. Respecting the candidate’s thinking processes is also important. Examiner impatience should not be a cue for hasty prompting. A well-trained and reflective examiner will combine assessment protocol with considered judgement to determine if and when a prompt is appropriate.

필요한 형태의 프롬프트에 대해 명확하고 투명하게 설명하기
Be clear and transparent about the required forms of prompting

일반적으로 이해관계자들이 프롬프트의 의미와 허용되는 프롬프트의 형태에 대해 서로 다른 개념을 가지고 있을 때 혼란이 발생합니다. 투명성은 실무에서 중요한 원칙입니다. 첫째, 평가 리더는 다양한 형태의 프롬프트에 대해 잘 알고 있어야 하며, 특정 평가 상황에서 어떤 형태가 필요한지에 대한 명확하고 정당한 근거를 가지고 있어야 합니다서면 지침은 투명성을 확보하는 데 도움이 되는 방법이며 평가자 교육 개발의 좋은 출발점입니다.
Confusion typically emerges when stakeholders have different conceptions of what prompting means, and what forms of prompting are permissible. Transparency is an important principle for practice. Firstly, assessment leaders need to be well-versed in the different forms of prompting and have clear and justifiable rationales for which forms are required in the specific assessment context. Written guidelines are a helpful way of being transparent and a good starting point for the development of assessor training.

평가자가 프롬프트 기술에 대해 적절한 교육을 받았는지 확인합니다.
Ensure assessors are adequately trained in prompting techniques

평가자는 특정 상황에서 허용되는 행동과 허용되지 않는 행동에 대해 적절히 교육받아야 합니다. 평가자가 프롬프트의 분류법을 이해하도록 돕는 것이 좋은 출발점이며, 이를 통해 다양한 형태의 프롬프트를 명확하게 파악하고 정확한 언어와 의미에 대한 공유된 이해를 바탕으로 토론과 심의가 이루어질 수 있습니다. 관련 예시와 함께 참고할 수 있는 접근 가능한 가이드라인이 도움이 됩니다. 교육 자료에는 구체적인 '해야 할 일'과 '하지 말아야 할 일'이 담긴 시험 영상이나 모의 시험이 포함될 수 있습니다. 동일한 문제를 설명하는 서면 문서보다 실제 상황과 맥락에서 실행되는 프롬프트를 보는 것이 일반적으로 더 큰 영향을 미칩니다.
Assessors need to be adequately trained in acceptable and unacceptable behaviours for the specific context. Helping assessors appreciate the taxonomy of prompting is a good place to start, and it makes different forms of prompting explicit and allows for discussions and deliberations to occur with precise language and a shared understanding of meaning. Accessible guidelines for reference with relevant examples are helpful. Training material may include video footage of examinations or mock examinations, with specific ‘dos’ and ‘don’ts’. Seeing prompting executed in practice (and in context) is usually more impactful than a written document that describes the same issue.

응시자에게 프롬프트 기대치에 대한 적절한 브리핑을 제공해야 합니다.
Ensure candidates are adequately briefed on prompting expectations

응시자는 시험관으로부터 프롬프트를 받을 수 있는지 여부와 프롬프트가 어떤 형태로 나타날 수 있는지 알아야 합니다. 프롬프트에 대한 불안은 지식, 적성 또는 기술 평가에 부수적인 평가에서 잠재적으로 복합적인 요인이 될 수 있습니다. 응시자에게 명확하고 투명하게 설명하면 이러한 불안을 완화하는 데 도움이 됩니다.4 이 과정에서 중요한 부분은 평가 중 시간 관리 책임자가 누구인지 명확히 파악하는 것입니다. 예를 들어,

  • 구술 시험의 경우 할당된 시간 내에 문제를 푸는 것이 응시자의 책임인지, 아니면 시험관이 응시자가 할당된 시간 내에 문제를 풀 수 있도록 '유도'해야 하는지 명확히 명시해야 합니다. 

Candidates also need to know whether they can expect prompting from examiners, and what shape this can take. Anxiety about prompting is a potential compounding factor in assessment that is ancillary to the assessment of knowledge, aptitude or skill. Being clear and transparent with candidates helps alleviate such anxiety.4 An important part of this process is also ensuring that there is a clear understanding of who is responsible for time management during the assessment.

  • For example, in an oral examination it should be clearly stated whether it is the candidate’s responsibility to get through the questions in the allocated time, or whether the examiners are expected to ‘move the candidate along’ to get through in the allocated time.

프롬프트 실천 중에 지속적인 성찰을 장려합니다.
Encourage ongoing reflection in prompting practice

평가자(평가 책임자, 의과대학 및 전문의 수련 대학은 말할 것도 없고)에게도 반성적인 태도가 필요합니다. 평가의 목적에 따라 다양한 프롬프트 접근 방식이 다양한 상황에서 유용성을 높일 수 있습니다. 평가 과제를 개발하는 초기 단계에서는 사례별 실무 검토가 필요합니다. 마지막으로, 지속적인 개선을 위해 프롬프트 지침, 실행 문제 및 응시자에 대한 잠재적 영향을 주기적으로 검토하고 지속적인 모니터링과 평가가 필요합니다.
Reflexivity is also required of assessors (not to mention assessment leads, medical schools and specialist training colleges). Different prompting approaches may enhance utility in different contexts, depending on the purpose of the assessment. Case-by-case review of practice will be required in the early stages of developing an assessment task. Finally, in the spirit of continuous improvement, periodic review of prompting guidance, implementation issues and potential impact on candidates will require ongoing monitoring and evaluation.

결론
Conclusion

구술시험의 신뢰성 부족과 시험관 관행 표준화의 어려움에 대한 역사적 우려에도 불구하고, 구술시험은 의과대학과 대학원 모두에서 중요한 평가 도구로 남아 있습니다. 우리의 경험에 비추어 볼 때, 프롬프트의 역할과 이를 구현하는 다양한 방법을 더 잘 이해하는 것은 모든 상황에서 근본적으로 고려해야 할 사항입니다. 이 백서의 목표는 특정 형태의 프롬프트를 규정하는 것이 아니라, 프롬프트라는 용어에 포함되는 다양한 행동에 대한 인식을 제고하고 몇 가지 일반적인 실천 원칙을 제시하는 데 있습니다. 제시된 분류법을 검증하기 위한 추가적인 경험적 연구를 환영합니다. 평가 상황에 관계없이 구두 평가를 계획할 때마다 평가자는 필요한 프롬프트의 유형과 정도에 대해 적절히 교육받고 응시자는 예상되는 사항을 알 수 있도록 적절히 브리핑을 받는 것이 중요합니다. 이 분류법과 지침 원칙이 시험관이 선택할 수 있는 다양한 형태의 프롬프트 관행을 설명하는 데 도움이 되고, 평가 책임자가 상황에 가장 적합한 프롬프트를 결정할 수 있기를 바랍니다.

Despite historical misgivings about its lack of reliability and the challenges of standardising examiner practices, the oral exam remains an important assessment tool in both medical school and postgraduate contexts. In our experience, better understanding the role of prompting and the different ways of implementing it, is a fundamental consideration in all contexts. Our aim in this paper has not been to prescribe any particular form of prompting, but rather to raise awareness of the different behaviours which tend to be subsumed under the term, while offering some general principles for practice. We would welcome further empirical research to validate the taxonomy presented. Regardless of the assessment context, it is crucial that whenever oral assessment is planned, assessors are appropriately trained in the type and degree of prompting required, and candidates are suitably briefed to know what to expect. We hope this taxonomy and guiding principles are helpful in elucidating the varied forms of prompting practices at examiners’ disposal, and allow assessment leads to determine what works best for their context.


J Med Educ Curric Dev. 2020 Aug 13;7:2382120520948881. doi: 10.1177/2382120520948881. eCollection 2020 Jan-Dec.

Prompting Candidates in Oral Assessment Contexts: A Taxonomy and Guiding Principles

Affiliations collapse

1Tertiary Education (Assessment), Australian Council for Educational Research, Camberwell, VIC, Australia.

PMID: 32851194

PMCID: PMC7427130

DOI: 10.1177/2382120520948881

Free PMC article

 

Abstract

Prompting is an aspect of oral assessment that deserves more attention. There appears to be considerable variation in how practitioners conceptualise prompting and how it is deployed in practice. In order to unpack the term and promote the validity of its use in performance assessments, we present a taxonomy of prompting as a continuum of types, namely: presenting the task; repeating information; clarifying questions; probing questions; and finally, leading questions. We offer general principles for consideration when using prompting in oral assessment: neutrality; consistency; transparency; and reflexivity. Whenever oral assessment is planned, assessors should be appropriately trained in the type and degree of prompting required, and candidates suitably briefed to know what to expect. Overall, we aim to raise awareness that quite different behaviours tend to be subsumed under the general term 'prompting'. This paper provides concrete guidelines for implementing the defensible and effective use of prompting in oral examinations, applicable to a wide range of assessment contexts.

Keywords: Prompting; assessment; oral assessment; oral examinations; viva.

+ Recent posts