학부 의학에서 해부학을 배울 때 카데바가 정말 필요한가? (Med Teach, 2018)
Do we really need cadavers anymore to learn anatomy in undergraduate medicine?
P. G. McMenamina , J. McLachlanb, A. Wilsonc , J. M. McBrided, J. Pickeringe , D. J. R. Evansf and A. Winkelmanng

 

 

서론
Introduction

이 심포지엄은 거의 35년 동안 해부학을 가르쳐온 그의 분야에서 인정받는 지도자인 폴 맥메나미나 교수가 의장을 맡았다. 해부학 교수법의 다양하고, 효율적이고, 참신한 방법을 탐구하는 것이 그의 주된 열정 중 하나였다. 맥메나민 교수는 론 하든 교수에 의해 이 토론의 촉진자 역할을 하도록 초대되었다. "프레젠테이션만"하는 일반적인 방법보다는 청중 참여 토론이 더 유익할 것이라는 의견이 제시되었다. 따라서 대화를 자극하기 위해 제안된 제목은 다음과 같습니다.
The symposium was chaired by Prof Paul McMenamin a recognized leader in his field who has been teaching anatomy for nearly 35 years. Exploring different, efficient, and novel methods of anatomy teaching has been one of his main passions. Professor McMenamin was invited by Professor Ron Harden to act as facilitator for this debate. Rather than the usual method of “presentations only”, it was suggested that an audience participated debate would be more informative. Therefore to stimulate the conversation the suggested title of:

"대학 의학부에서 해부학을 배우기 위해 카데바가 더 이상 필요할까요?"
Do we really need cadavers anymore to learn anatomy in undergraduate medicine?”

청중에게 제안되었습니다. 청중들은 이것을 주의 깊게 읽고 그들 자신의 반응을 되새겨보라는 요청을 받았다. 찬성파와 반대파의 제안을 지지하는 두 팀은 위의 구체적인 토론 논점에 근거해 자신들의 주장을 할 것을 요청받았다.
was proposed to the audience. The audience were asked to read this carefully and reflect on their own individual response. The two teams, those supporting the proposition in the affirmative and the opposing house, were requested to base their argument on the specific debating point above.

맥메나민 교수는 자신을 소개했고, 진행자로서 토론 주제에 대해 개인적인 견해를 밝히지 않았지만, 각각의 발표자들이 그들의 자격증과 함께 청중들에게 개별적으로 소개될 것이라고 설명했다. 그리고 나서 연설자들은 개인적으로 그들의 토론 주장을 발표할 약 15분의 시간을 가졌다. 맥메나민 교수는 토론 이면의 논거를 설명하면서 옥스퍼드 전통에 따라 반대론자들이 '아니오 우리는 하지 않습니다'와 '네 우리는 합니다'라는 두 개의 집단이 존재할 것이라고 말했다. 전통과 마찬가지로, 화자들은 반드시 그들이 토론하도록 요청받았던 견해를 가지고 있지는 않을지 모르지만, 토론 기술의 힘을 이용하여, 그들은 그들의 메시지를 전달하기 위해 약간의 지적인 충돌과 약간의 유머를 섞어서 희망적으로 몇몇 심각한 논쟁을 제공할 수 있었다. 어떤 토론에서도 그렇듯이, 양원이 청중 참여를 허용해야 할 것으로 기대되었다.
Professor McMenamin introduced himself and as facilitator gave no personal views on the topic to be debated, but explained that each speaker would be individually introduced to the audience along with their credentials. The speakers then had approximately 15 minutes to present their debating argument personally. Professor McMenamin explained the reasoning behind the debate and that it would be based on the Oxford tradition where there would be two groups of opposing speakers, the “
No we do not” house and the “Yes we do” house. As with tradition, the speakers may not necessarily hold the views that they had been asked to debate on, but using the power of debating techniques they were free to provide some serious arguments hopefully with some intellectual jostling and a bit of humor interspersed, to convey their message. As in any debate, it was hoped that both houses should allow for the inclusion of audience participation.

맥메나민 교수는 청중들의 프로필을 기록하고 시작에 앞서 객관식 질문을 던지며 청중들에게 답변을 등록하기 전에 질문의 표현을 신중하게 생각하라고 지시했습니다.
Noting the audience profile and prior to commencement Professor McMenamin posed a series of multiple choice questions and instructed the audience to think carefully about the wording of the questions before registering their answer.

그 결과는 실제로 해부하는 과정과 해부하지는 않지만 해부하지 않는 과정으로 상당히 긍정적인 경향을 보여주었고 82%의 대다수는 우리가 학부 의학에서 시체들이 필요하다고 믿었다. 토론이 시작되었고 McMenamin 교수는 그들의 자격증과 함께 연사들을 소개했다.
The results indicated quite a strong positive leaning towards courses that actually do dissect cadavers and those that use cadavers but do not dissect and an 82% majority believing we do need cadavers in undergraduate medicine. The debate commenced and Professor McMenamin introduced the speakers along with their credentials.

존 맥래클런 교수는 "아니, 우리는 그렇지 않다"라는 집안의 토론을 시작했다.
Professor John McLachlan opened the debate for the “No, we do not,” house.

 

 

반대측
No we do not” house

편집된 스크립트 Edited transcript
존 맥라클란 교수 Prof John McLachlan 

이 "카다베릭" 해부학 교사들과 외과의사들은 우리가 문제가 있다고 제안합니다!
This audience of “cadaveric” anatomy teachers and surgeons suggest we have a challenge!

먼저, 저는 사람들이 왜 시체들을 사용하는지 추측할 것입니다. 그리고 나서 왜 제가 시체 없이 해부학을 가르치는 것을 장려했는지에 대해 추측할 것입니다. 그리고 나서 어떻게 우리가 시체 없이 해부학을 가르치는지 그리고 의사로서 학생들에게 미치는 영향에 대해 설명하겠습니다. 왜냐하면 이것이 해부학자를 배출하는 것이 아니라 우리의 목표이기 때문입니다. 마지막으로 외과 교육에 대해 설명하겠습니다.
First, I will speculate on why people use cadavers; then why I have promoted teaching anatomy without cadavers. Then I will describe how we teach anatomy without cadavers, and describe the impact on students as doctors, because this is our aim, rather than producing anatomists. Finally, I will comment on surgical training.

왜 해부학은 전통적으로 시체에게 가르쳐지는가? 이 문화적 현상은 르네상스 시대부터 시작되었다. 유럽의 의학은 점성술, 교감마술, 민속학, 한방학을 포함했다. 이 세상에 비살리우스의 훌륭한 작품이 나왔는데, 그는 이곳 저곳으로 일관되는 무언가를 묘사했고, 이것은 분명 큰 영향을 미쳤을 것이다. 그러나 파라셀수스는 "해부학자를 가르치는 것은 살아있는 몸이다. 그러므로 당신은 살아있는 해부학을 필요로 한다."라고 말했다. 그 논평은 우리의 목표의 중심이다.
Why is anatomy traditionally taught with cadavers? This cultural phenomenon dates from the Renaissance (McLachlan and Patten 2006). European medicine then included astrology, sympathetic magic, folklore and herbal medicine. Into this world came the wonderful work of Vesalius, who described something that was consistent from place to place, and this must have had huge impact. But Paracelsus commented, “It is the living body that teaches the anatomist, you therefore require a living anatomy”. That comment is central to our goals.

페닌슐라에서 새로운 의대를 설립할 때, 우리는 백지 한 장을 가지고 있었다. 우리의 핵심 질문은 무엇을 가르칠 것인가 뿐만 아니라 왜 어떻게 가르칠 것인가 하는 것이었다. GMC에 의해 명시된 우리의 목표는 비전문의 후배 의사들을 양성하는 것이었다. 우리의 직업 분석 결과, 하위 의사들은 주로 살아있는 해부학과 의학 이미지를 통해 해부학을 보는 것으로 나타났다. 이것이 우리가 초점을 맞춘 것입니다. 우리는 또한 그들의 사회적 역할을 고려했는데, 우리는 그들의 경험에 중심적으로 만들고 싶었다.
In setting up a new medical school at Peninsula, we had a blank sheet of paper. Our key questions were not just what to teach, but also why and how. Our aim, specified by the GMC, was to train non-specialist junior doctors. Our job analysis showed that junior doctors see anatomy primarily through living anatomy and medical imaging. So this is what we focused on. We also considered their social role, which we wanted to make central to their experience.

그렇다면, 시체 없이 어떻게 해부학을 가르칠 수 있을까요? 중요한 측면은 임상 기술과의 통합이다. 우리는 또한 살아있는 해부학, 동료 검사, 살아있는 모델 또는 임상 기술 파트너의 사용, 그리고 바디 페인팅을 강조한다. 의료 영상 촬영에 중점을 두고 있다. 의학 방사선 전문의와 방사선사는 해부학 강의의 4분의 1을 담당했다. 우리는 안전하고 비침습적인 휴대용 초음파 기술에 열광했습니다. 적절한 안내가 있으면 학생들이 서로 사용할 수 있어 신체 내부의 실시간 생활 구조를 놀라울 정도로 자세하게 볼 수 있다. 휴대용 초음파는 중앙 정맥 라인의 배치와 같은 향후 일상적인 임상 용도로 사용될 것이기 때문에 이것은 중요하다.

How, then, do we teach anatomy without cadavers? A key aspect is integration with clinical skills. We also emphasize living anatomy, peer examination, use of living models or clinical skills partners, and body painting (McLachlan and Regan 2004; McLachlan 2004). Heavy emphasis is placed on medical imaging. Medical radiologists and radiographers delivered a quarter of the anatomy teaching at Peninsula. We were enthusiastic about portable ultrasound, a safe, noninvasive, technique. With appropriate guidance, students can use it on each other, allowing them to see real-time living structures inside the body, in remarkable detail. This is important, because portable ultrasound will be in routine clinical use in the future, such as during the placement of central venous lines.

살아있는 해부학과 관련하여, 우리는 학생들이 종종 인체에 대해 당황한다는 것을 발견했다. 우리는 그 당혹감을 없애고, 서로를 검사함으로써, 검사받는 것이 어떤 느낌인지 이해하고 싶었습니다. 많은 학교들이 살아있는 해부학을 사용하지만, 우리에게는, 이미징과 함께, 해부학 학습의 중심이었습니다. 학생들은 서로의 동의(핵심 학습 포인트)를 얻었고, 주저하거나 당황하지 않고 표면 랜드마크를 유창하게 식별하는 법을 배웠다. 이것은 이후의 임상 환경에 대한 그들의 자신감을 증가시켰다. 물론 우리가 연구로 개발한 학생들로부터의 참여에는 개인적, 문화적 차이가 있었다.

With regard to living anatomy, we discovered that students are often embarrassed about the human body. We wanted to remove that embarrassment, and through examining each other, understand what it felt like to be examined. Many schools use some living anatomy, but for us it was, with imaging, central to anatomy learning. Students obtained consent from each other (a key learning point), and learnt to identify surface landmarks fluently, without hesitation or embarrassment. This increased their confidence in later clinical settings. There were of course personal and cultural variations in engagement from the students, which we developed as research (Rees et al. 2005).

우리는 보디페인팅이 동료 시험에서 학생들이 느낄 수 있는 당혹감을 해소하는 데 실질적인 도움이 된다는 것을 발견했다(그림 1(A)). 또한 그것은 매우 기억에 남으며 매우 인기가 있다. 특히 시각 학습자에게 적합하며 임상 검사와 잘 통합됩니다. 우리는 학생들이 서로 연습할 수 없는 유방 검사 및 기타 임상 기술을 위해 임상 기술 파트너(CSP)를 사용한다. 학생들이 진짜 유방 검사를 본 적이 없고, 하물며, 심전도 검사를 받은 적이 없으며, 여성에게도 심전도 검사를 한 적이 없다는 것을 알게 된 것은 매우 실망스러운 일이었습니다. 이것은 해부학 교육의 문화적 구성과 함께 오는 사회적 당혹감의 일부이다. CSP는 상대적으로 젊고 마른 경향이 있는 우리 학생들보다 더 넓은 범위의 신체 형태를 가지고 있었다. CSP는 또한 학생 경험에 추가된 방식으로 자발적으로 그들의 인생 경험을 공유했다. 그들은 "손이 시리다" "화장실 다녀왔느냐고 묻지 않으면 누르지 말라"는 말을 서슴지 않았다. 그들은 환자가 아니기 때문에 권한을 박탈당하지 않는다.

We found body painting to be a real help in defuzing the embarrassment students may feel in peer examination (Figure 1(A)) (Finn and McLachlan 2010). It is also highly memorable and very popular. It particularly suits visual learners, and integrates well with clinical examination. We use clinical skills partners (CSPs) for breast examination and other clinical skills, which students cannot practice on each other (Collett et al. 2009). It had been deeply dismaying for me to discover that students were graduating without ever having seen a real breast examination, far less done one, and had never placed ECG leads on a female. This is part of the social embarrassment that comes with the cultural construction of anatomy teaching. The CSPs had a wider range of body morphologies than our students, who tend to be relatively young and lean. CSPs also shared their life experiences spontaneously in ways that added to the student experience. They did not hesitate to say, “Your hands are cold,” or, “Don’t press me there unless you’ve asked if I’ve been to the toilet”. They are not patients, and are therefore not disempowered.

또한 전자 본체(예: VH 디섹터)를 사용하고 학생들에게 이미지를 투사하여 가치를 더했습니다(그림 1(B)). 자원봉사자를 회전시키면서 내부 구조도 회전시킬 수 있다. DR의 시체조차도 이러한 유연성을 제공하지 않습니다. 이 접근법은 특히 임상적으로 관련 있는 횡단 뷰를 나타내는 데 뛰어나다.
We also used electronic bodies (e.g. VH Dissector), and add value by projecting images onto students (Figure 1(B)). One can rotate a volunteer while also rotating their internal structures. Even the cadaver in the DR does not offer this flexibility. This approach is particularly good at indicating clinically relevant transverse views.

특히 흥미로운 것은 3D 인쇄를 사용하는 것입니다. 예를 들어, 인쇄된 '팔로의 지형학'을 학급의 모든 학생들에게 배포하여 처리하고 회전시킬 수 있으며, 병리학적 표본으로도 허용되지 않는 이해를 얻을 수 있습니다.
Particularly exciting is the use of 3D printing, for instance, a printed ‘Tetralogy of Fallot’ can be circulated to all the students in the class, to handle and rotate it, gaining understanding that even a pathological specimen wouldn’t allow.

우리는 학생들이 신체의 모든 측면을 이해하기를 원했고, 그래서 우리는 학생들이 인간적인 맥락에서 신체에 대해 생각하도록 격려하기 위해 인생 그림, 조각, 그리고 시 수업을 통해 예술과 인문학을 포함했습니다. 이것은 웰컴 트러스트로부터 자금을 끌어모았다. 한 프로젝트("Flex + Ply")에는 직물 관련 작업이 포함되었으며, 그림 1(C) (Fleming et al. 2010)에 표시된 피부색 청바지를 특징으로 했습니다. "이거 입으면 내 S3가 커 보이나?"라는 제목이 학생들에게서 나왔다. '절개 가운'은 수술과 생검의 주요 장소를 표시했다. 
We wanted students to understand all aspects of the body, so we included arts and humanities via life drawing, sculpting, and poetry classes, to encourage students to think about the body in a human context (Collett and McLachlan 2005; Collett and McLachlan 2006). This attracted funding from the Wellcome Trust. One project (“Flex + Ply”) included work with textiles, and featured the dermatome jeans shown in Figure 1(C) (Fleming et al. 2010). The title, “Does my S3 look big in this?” came from the students. The ‘Incision Gown’ marked the major sites of operations and biopsies.

이러한 새로운 접근 방식에 맞게 평가를 조정하는 것이 중요합니다. 임상적 맥락이 있는 질문은 더 잘 수행되었고 더 인기가 있었다(Ikah et al. 2015).
It is important to adjust assessment to match these new approaches. Questions with clinical context performed better and were more popular (Ikah et al. 2015).

학생들이 시체들을 사용하지 않음으로써 중요한 것을 놓치나요? 아닐 거예요. 죽음은 호스피스 치료와 같은 현실 세계에서 가장 잘 보인다. 비슷하게, 손재주와 팀워크를 훈련시키는 많은 방법들이 있다. 시체가 "첫 번째 환자"라는 생각은 실망스럽다. 우리는 학생들이 그들의 첫 번째 환자를 분해하기를 원합니까? 오히려, 우리는 학생들이 그들을 살아있는 사람으로 보기를 원한다. 예를 들어, 우리는 1학년 학생들을 임신 중인 산모에게 소개하는데, 산모는 임신 기간 내내 따라다닌다. 우리는 이것이 훨씬 더 나은 "첫 번째 환자"라고 느낍니다. 그리고 그것은 일부 학생들이 시체들과 함께 일하는 것에 대해 느끼는 고통을 피한다.

Do students miss out on anything important by not using cadavers? We believe not. Death is best seen in a real world context, such as in hospice care. Similarly, there are many ways to train for dexterity and team work. The idea of the cadaver as “the first patient” is dismaying: do we want students to disassemble their first patient? Rather, we want students to see them as living people. For instance, we introduce first year students to a pregnant mother, who they follow through her pregnancy, including imaging sessions. We feel this is a much better “first patient”. And it avoids the distress that some students feel with regard to working with cadavers.

이러한 접근법의 학생들에게 미치는 영향은 무엇인가? 우리는 그들이 다른 과목들과 같은 속도로 해부학을 배운다는 것을 보여주었고, 반대편 "팀"의 일원인 아담 윌슨의 메타 분석은 해부학을 가르치기 위해 어떤 양식을 사용하는지를 나타내지 않는다는 것을 보여주었다. 의사로서 학생들에게 미치는 영향은 무엇인가? 우리는 그것이 그들을 더 편안하게 하고 연습에 대비하게 한다는 것을 발견했다(Chinna et al., 2011).
What is the impact on the students of these approaches? We have shown that they learn anatomy at the same rate as other subjects, and a meta-analysis by Adam Wilson, a member of the opposite “team”, has shown that it does not signify which modality you use to teach anatomy (Wilson et al. 2017). What is the impact on students as doctors? We have found that it makes them more relaxed and prepared for practise (Chinnah et al. 2011).

수술의 경우, 외과적 훈련은 보존된 시체들의 연구와 해부를 필요로 할 수 있지만, 그것은 대학원 이후의 활동이어야 한다.
As for surgery, surgical training may well require the study and dissection of preserved cadavers, but that should be a post-graduate activity.

그래서 제가 마지막으로 추천하는 것은, 죽은 자보다 산 자를 선택하는 것입니다.
So my final recommendation is, choose the living over the dead.

찬성 측
“Yes we do” house

애덤 윌슨 박사
Dr Adam Wilson


최근 발표된 해부학 실험실 교육학에 대한 메타 분석은 핵심 증거 기반 연구로, 많은 주장이 따를 수 있는 토대를 마련한다. 요약하면, 메타 분석은 해부 대 해부, 해부 대 모델/모델링, 해부 대 디지털 미디어, 해부 대 하이브리드 접근법을 조사하는 4가지 하위 분석을 수행했다. 이 연구의 전반적인 목표는 이러한 다른 접근법에 비해 해부의 효과를 이해하는 것이었다. 3000개가 넘는 기록을 검토한 결과, 총 27개의 연구가 최종 분석에 포함되었다. 7,000명 이상의 참가자를 포함한 27개 연구에서 메타 분석은 학습자의 성과에 영향을 미치지 않았다. 다시 말해서, 해부학에서 학생들의 단기적인 지식 증가는 [해부용 시체들에 노출되거나 그렇지 않은 것과 상관없이 동등]했다.
Our recently published meta-analysis on anatomy laboratory pedagogies (Wilson et al. 2018) is a key evidence-based study, which lays the groundwork for many of the arguments to follow. In summary, the meta-analysis conducted 4 sub-analyses that investigated dissection vs prosection, dissection vs. models/modeling, dissection vs digital media, and dissection vs hybrid approaches. The overall goal of this study was to understand the effectiveness of dissection compared to these other approaches. Upon reviewing over 3000 records, a total of 27 studies were included in the final analysis. Across those 27 studies (which included over 7000 participants), the meta-analysis detected no effect on learner performance. In other words, students’ short-term knowledge gains in anatomy were equivalent regardless of being exposed to dissecting cadavers or not.

액면 그대로 말하자면, 대학 의학 교육에서 시체들은 더 이상 필요하지 않은 것처럼 보인다. 그러나 나는 개인들에게 이 연구를 지나치게 해석하지 말라고 경고한다. 이러한 결과는 학생들의 [단기적인 지식 향상]에만 초점을 맞춘다. 많은 사람들은 시체들과 해부가 해부학적 지식의 보존에 더 큰 영향을 미친다고 주장할 것 같다. 구조물은 학습자들이 진짜 해부학을 경험할 때 장기적으로 학습자들의 마음에 더 잘 각인됩니다. 우리가 교육 문헌을 볼 때, 커스터(2010)는 [장기적인 지식 보존]의 가장 중요한 결정 요인은 학습 중인 콘텐츠와의 장기적인 접촉이라고 알려준다. 이 논리에 따르면, 시체 해부의 시간 강도 과정은 해부학적 지식을 더 잘 장기적으로 보존하는 것으로 해석될 가능성이 높다. 하지만, 완전한 투명성에서는, 이 주제에 대한 문헌이 거의 없기 때문에, 시체들이 지식 보존에 미치는 진정한 영향을 확실히 아는 것은 어렵습니다. 이 점은 좀 더 엄밀한 조사가 필요하다 
At face value, it appears that cadavers are no longer needed in undergraduate medical education. However, I caution individuals not to over-interpret this study. These results focus only on students’ short-term knowledge gains. Many are likely to argue that cadavers and dissection have a greater impact on the retention of anatomical knowledge. Structures are better imprinted in the minds of learners, for the long-term, when they experience authentic anatomy. When we look at the educational literature, Custer (2010) informs us that the most important determinant of long-term knowledge retention is prolonged contact with the content under study. Following this logic, the time intensiveness process of cadaveric dissection likely translates to better long-term retention of anatomical knowledge. However, in full transparency, the literature on this topic is scant, so it’s hard to know for certain the true impact of cadavers on knowledge retention. This point deserves more rigorous investigation.

흥미롭게도, 지난 10여 년 동안 적어도 5개의 미국 의과대학과 일부 호주와 뉴질랜드 의과대학이 시신 유기 및 해부 실험을 했다. 이 학교들은 몇 년 후에 시신 해부를 다시 시작한다는 것을 알게 되었다. 다음은 면과 관련하여 이러한 현상이 발생한 이유에 대한 두 가지 설명입니다.
Interestingly, over the past decade or so, at least 5 US medical schools and some Australian and New Zealand medical schools have experimented with abandoning cadavers and dissection. These same schools found themselves reinstating cadaveric dissection a few years later (Rizzolo and Stewart 2006; Craig et al. 2010). Here are two explanations for why this about face may have occurred:

  • 한 연구는 임상실습 책임자들이 일화적으로 학생들의 임상실습 수행 능력이 부족하다고 느낀다고 언급했다(리졸로와 스튜어트 2006). 그들은 해부를 포기하는 것과 같은 커리큘럼의 변화에 성과적 부족을 돌렸다. 이것은 해부학적 지식의 보존에 기여하는 시체들의 잠재적인 역할로 돌아간다.
  • One study cited that clerkship directors anecdotally felt the performance of their students on clerkship was lacking (Rizzolo and Stewart 2006). They attributed performance deficits to curricular changes, such as abandoning dissection. This circles back to the potential role of cadavers in contributing to the retention of anatomical knowledge.
  • 학교들이 시체 기반 해부로 복귀한 이유에 대한 두 번째 설명은 대다수의 학생들이 교과 과정에 시체 해부를 하는 것을 선호하는 경향이 있다는 것이다. 해부학 실험실 교육학의 동일한 메타 분석에서, 17개의 연구에서 시체들에 대한 선호도와 시체들에 대한 선호도가 집계되었다. 평균적으로 응답자의 57%가 시체 기반 학습을 선호하거나 가치를 발견했다. 이 발견은 고등학생, 대학생, 보건 직업 학생, 의대생을 포함한 매우 다양한 학습자 집단에서 파생되었다. 57%의 이 추정치는 (아마도 다른 어떤 그룹보다) 자신의 해부학적 지식을 임상 환경에서 적용하도록 강요받는 의대생들 사이에서 더 높을 것이다.
  • A second explanation for why schools returned to cadaver-based dissection is that the majority of students tend to favor having cadavers and dissection in their curricula (Wilson 2017). In the same meta-analysis of anatomy laboratory pedagogies, preferences for and against cadavers were tallied across 17 studies. On average, 57% of respondents favored or found value in cadaver-based learning. This finding was derived from a very diverse population of learners, which included, high school students, college students, health professions students, and medical students. This estimate of 57% is likely to be higher among medical students who (more so than perhaps any other group) are forced to apply their anatomical knowledge in clinical settings.
  • 그렇긴 하지만, 왜 학생들은 시체들을 선호할까? 한 가지 잠재적인 대답은 시신 기반 해부학이 인간의 변이, 죽음에 대한 노출 및 수술 기술을 수반하고 조직 질감과 공간 관계의 고유성을 통해 구조의 차등 식별을 포함하는 [진정한 해부학authentic anatomy]을 가르친다는 것이다. 어떤 사람들은 또한 시체 기반 학습이 학생들이 나중에 임상 환경에서 해부학적 지식을 증명하도록 요구될 때 학생들의 자신감 수준을 높이는 데 도움이 된다고 주장할 수 있다.
  • That being said, why do students prefer cadavers? One potential answer is that cadaver-based anatomy teaches authentic anatomy which entails human variation, exposure to death and surgical skills, and involves the differential identification of structures through the uniqueness of tissue textures and spatial relationships. Some may also contend that cadaver-based learning helps to boost students’ confidence levels when they are later called upon to demonstrate their anatomical knowledge in clinical settings.

 

시체들의 사용에 반대하는 또 다른 일반적인 주장은, 예를 들어, 유전학과 같은 다른 성장하는 분야들에 대해 배우는 데 더 나은 시간을 보낼 수 있다는 것이다. 반박하자면, 의학 연구는 항상 진화할 것이다. 그것은 당연해요! 그러나, 의학의 기초는 인체와 그 기계적인 과정에 대한 복잡한 이해이며, 그것은 결코 변하지 않을 것이다. 해부학은 역사적으로 의학의 초석으로 불리며, 임상 지식과 통찰력이 구축되는 중요한 기본 구성 요소로서 지속되어 왔다. 찰스 프로버(스탠포드 의학교육 학장)는 해부학을 '상록수' 학문이라고 불렀는데, 이는 해부학이 항상 관련성이 있다는 것을 의미한다. 어떤 이들은, 심지어 시체 기반 교육이 가장 엄격한 교육학적 적합성 시험인 [시간의 검증test of time]에서도 살아남았다고 말할 것이다. 마치 모래 대신 바위 위에 집을 지은 현명한 사람처럼, 의학 커리큘럼도 진짜 시체 기반 해부학의 견고한 토대 위에 세워져야 한다고 생각합니다.

Another common argument against the use of cadavers is that the time spent learning detailed anatomy could be better spent learning about other growing disciplines like genetics, for example. In rebuttal, the study of medicine will always be evolving. That’s a given. However, the foundational basis upon which medicine is build is an intricate understanding of the human body and its mechanistic processes—and that will never change. Anatomy has historically been called the cornerstone of medicine, and it continues to persist as an important basic building block upon which clinical knowledge and acumen are built. Charles Prober (a medical education dean at Stanford) along with the founder of the Kahn academy have called anatomy an ‘evergreen’ discipline, meaning it will always be relevant (Prober and Khan 2013). Some would even say that cadaver-based instruction has survived the most rigorous test of pedagogical fitness—the test of time. Like the wise man who built his house upon the rock, instead of the sand, so too should medical curricula be built on the solid foundations of authentic cadaver-based anatomy, in my opinion.

여기 고려해야 할 마지막 요점이 있다. 쿠퍼와 데온(2011)은 논문에서 역사적으로 의료 커리큘럼은 사회적, 정치적, 경제적 힘에 의해 외부적으로 영향을 받았다고 밝혔다. 그들은 커리큘럼이 종종 "문화적으로 기반하고 사회적으로 조정된다"고 주장한다. 의과대학이 학생들이 환자를 보기 전에 해부학에서 의사들을 훈련시키기 위해서만 가상현실을 사용한다고 홍보하는 것을 상상해보라. 사회는 이것에 어떻게 반응할까? 훈련 기관의 명성을 더럽힐 수 있는 대중의 불만이나 불만이 있을 수 있는가? 아마도요. 본질적으로, 우리는 여론의 법정을 과소평가할 필요가 없다. 이 같은 이념은 예비 학생들의 인식, 기대, 요구에도 적용된다.

Here is one final point to consider. In their paper, Kuper and D’Eon (2011) articulated that, historically, medical curricula have been externally influenced by social, political, and economic forces. They argue that curricula are often “culturally based and socially mediated”. Imagine a medical school publicizing that its students only use virtual reality to train their doctors in anatomy before they begin to see patients. How might society respond to this? Might there be some level of public dissatisfaction or discontent that could potentially tarnish the reputation of the training institution? Perhaps. In essence, we need not underestimate the court of public opinion. This same ideology also applies to the perceptions, expectations, and demands of prospective students.

전반적으로, 시체 기반 학습에 유리한 이 논평은 네 가지 핵심 포인트를 통해 요약될 수 있다.
Overall, this commentary in favor of cadaver-based learning can be summarized through four key points:

  • 구조물은 학생들이 진짜 해부학을 볼 때 더 잘 각인된다. 이것은 장기적인 지식 보존을 향상시킬 가능성이 있다.
  • 학생들은 시체로부터 배우는 것을 선호하고 그것은 아마도 교과목에 대한 그들의 신뢰 수준을 증가시킨다.
  • 시체들과 함께 가르치는 것은 시간의 시련을 견뎌냈고 시체 해부를 포기한 학교들은 다시 그 시대로 돌아왔다.
  • 커리큘럼 결정을 내리는 데 있어서 대중의 인식의 역할을 과소평가해서는 안 된다.
  1. Structures are better imprinted in students’ minds when they see authentic anatomy—which is likely to enhance long-term knowledge retention.
  2. Students prefer learning from cadavers and it likely increases their confidence levels in the subject matter.
  3. Teaching with cadavers has withstood the test of time and schools that have abandoned cadaveric dissection have returned to it.
  4. The role of public perception in making curricular decisions must not be underestimated.

반대측
“No we do not “house

제임스 피커링 부교수
Assoc Prof James Pickering

해부학을 가르치는데 시체들이 필요할까요? 그것이 우리가 토론하고 있는 질문이고 나는 커리큘럼 디자인의 프리즘을 통해 그 질문에 대답하기를 희망한다. 맥라클란 박사에 의해 탐구된 주제를 계속하기 위해, 우리는 누구를 원합니까? 현재 대학생들이 의과대학에 합격하면 우리는 누가 의학을 전공하고 싶은가? 우리는 효율적이고 효과적인 의사나 효율적이고 효과적인 해부학자를 원하는가? 나는 우리 모두가 전자에 동의할 것이라고 생각한다. 그렇다면, 우리의 직업은 무엇일까요? 의학 교육자로서, 해부학자로서 우리의 일은 효과적이고 효율적인 의사의 개발을 지원하는 것이다. 우리는 해부학자를 훈련시키기 위해 여기에 있는 것이 아니다. 저희는 대학원 연수 과정에 들어갈 의사들을 양성하기 위해 이곳에 왔습니다. 정신과, 수술, 일반 진료와 같은 다양한 전공분야를 전문으로 하고 있습니다. 

Do we need cadavers to teach anatomy? That is the question we are debating and through the prism of curriculum design I hope to answer that question. To continue the theme that has been explored by Dr McLachlan, who do we want? Who do we want to be practicing medicine once our current undergraduate students have passed through medical school? Do we want efficient and effective doctors or efficient and effective anatomists? I think we’d all probably agree with the former. Therefore, what is our job? Our job as medical educators, as anatomists, is to support the development of effective and efficient doctors—we are not here to train anatomists. We are here to train doctors that are going to enter postgraduate training and specialize in a whole range of different specialties such as psychiatry, surgery and general practice.

그렇다면, 우리는 어떻게 이러한 효율적이고 효과적인 의사로서의 발달을 지원할 수 있을까요? 우리는 어떻게 그들의 졸업과 동시에 효율적이고 효과적인 의사들을 낳는 커리큘럼을 설계할까요? 그 질문에 답하기 위해 우리는 오늘날의 의사들의 역할을 이해할 필요가 있다. 무슨 일을 하시는데요? 오늘날 또는 미래의 의사들은 점점 더 다양해지는 문화, 다른 약, 그리고 현재 이용 가능한 획기적인 치료 방안과 함께 환자의 신체적, 심리적, 사회적 측면을 이해할 필요가 있다. 게다가, 현재의 의사들은 어떻게 이러한 다양한 측면을 환자 치료에 통합하는가? 더 이상 외과의사만 어떤 문제를 해결하는 것이 아니다; 복잡한 현대 문제를 해결하기 위해 함께 모이는 것은 다학제 전문가들로 구성된 팀이다. 임상의는 더 이상 고립된 상태로 일하지 않는다. 그들은 한 팀으로 함께 일한다. 이런 맥락에서 저는 우리가 이러한 [현대의 복잡한 문제]들을 해결할 수 있도록 우리의 학생들과 미래의 의사들을 지원하는 커리큘럼을 개발하고, 구성하고, 설계해야 한다고 믿습니다.

So, how do we support the development of these efficient and effective doctors? How do we design curricula that results in efficient and effective doctors upon their graduation? To answer that question we need to understand the role of today’s doctors. What do they do? Today’s or indeed tomorrow’s doctors need to understand the physical, psychological and social aspect of the patient, alongside the increasingly varied cultures, differing medicines and breakthrough treatment options that are now available. Moreover, how do current doctors then integrate all of these varying aspects to patient care? It is no longer the surgeon that seeks to solve a certain problem; it is a multidisciplinary team of specialists who come together to solve complex modern-day problems. Clinicians no longer work in isolation. They work together as a team. It is in this context I believe we need to develop, construct and design curricula that support our students, our future doctors, in being able to solve these modern day complex problems.

이 목표를 달성하기 위해서는 전이transfer가 필요하다고 생각합니다. 현대 의학의 기초인 종합 해부학, 조직학, 병리학, 살아있는 해부학 및 방사선학에 대한 기본 지식을 현대 의학에서 복잡한 문제를 해결하는 데 도움이 될 수 있는 솔루션을 찾는 데 전이할 수 있도록 지원합니다. 해부학자나 해부학 교육자로서, 우리는 인체의 신체적 기초를 이해하기 위해 미래의 의사들을 지원하고 발전시키는 데 있어, 전면적이고 중심적인 역할을 할 수 있는 운이 좋은 위치에 있다. 그러나, 이것은 [육안gross 해부학을 이해하는 것] 이상이다; 예를 들어, 다양한 근육의 부착 부위나 맹장의 위치를 이해하기 위해 시신으로 학습하는 것이 아니다. 이러한 영역들이 핵심 지식의 중요한 영역이지만, 우리는 학생들에게 단지 "육안gross" 또는 지형적 해부학 이상을 가르쳐야 할 책임이 있다. 우리는 그들에게 이런 것들을 가르친다.

  • 발달 해부학, 배아학; 임상 기술을 뒷받침할 수 있는 표면 및 살아있는 해부학; 현미경 또는 조직학; 기능적 해부학 및 생리학; 비정상적인 해부학 또는 병리학; 그리고 마지막으로 영상 해부학 방사선학을 우리의 코스에 통합합니다. 

후자는 해부학 커리큘럼의 필수적인 요소인데, 대부분의 의사들이 인체를 이미지 형태로 조사examine할 것이기 때문이다.

To achieve this goal, I believe the requirement is transfer. Supporting our students to transfer the basic knowledge of gross anatomy, histology, pathology, living anatomy, and radiology—the bedrock of modern medicine—into finding solutions that can help solve modern day complex problems. As anatomists, or as anatomy educators, we are in the fortunate position to have a front and central role in supporting and developing the future doctors to understand the physical basis of the human body. However, this is more than understanding gross anatomy; it is not just about working with cadavers, for example, to understand the attachment sites of various muscles or the location of an appendix. Whilst these are important areas of core knowledge, we are charged with teaching our students more than just “gross” or topographical anatomy. We teach them

  • developmental anatomy, embryology; surface and living anatomy to support their clinical skills; micro-anatomy or histology; functional anatomy and physiology; abnormal anatomy or pathology; and finally we integrate imaging anatomy radiology into our courses.

The latter is an essential element of any anatomy curriculum, as the vast majority of doctors will examine the human body in image form.

그래서 영국 리즈에서 우리의 커리큘럼의 초점은 무엇인가? 시체들을 해부하고 이것을 신경표와 추천된 교과서에 있는 부착물과 연결시키는데 시간을 보내기 위해서? 앞에서 언급한 다른 영역보다 본 코스의 이러한 측면이 더 중요합니까, 아니면 덜 중요합니까? 거시 해부학macro-anatomy이 중요하지 않다고 주장하는 것은 어리석은 일일 것이다. 하지만 그것은 학생들이 알아야 할 다른 것이다. 저는 우리가 이 [모든 개별적인 요소들을 통합]하는데 우리의 커리큘럼을 집중할 필요가 있다고 생각합니다. 그렇지 않으면, 우리는 커리큘럼을 "원자화"하고, 개별 요소를 우리가 왜 이 내용을 가르치는지에 대한 중요한 근거는 없는, 상당히 상세한 체크리스트로 환원시킬 위험이 있다. 교과 과정의 해부학적 내용을 자세히 이해하는 것은 문제될 것이 없다. 사실 세부적으로 이해하는 것만이 복잡한 문제를 해결할 수 있다. 다양한 "핵심" 해부학 강의 요강은 커리큘럼을 개발하는 데 유용하다고 알려져 왔다. 하지만 원래의 질문으로 돌아가자면, 여러분은 이 논문에서 제시된 해부학을 이해하기 위해 시체 한 구가 필요할까요? 물론, 여러분은 그것을 하기 위해 시체를 사용할 수 있지만, 아마도 다른 방법들도 있을 것이고, 그것은 똑같이 효과적일 것입니다. 해부학자로서, 해부학 커리큘럼을 설계하는 학자로서, 우리는 이것보다 더 잘할 수 있습니다.
So what is the focus of our curriculum at Leeds in the UK? To spend time dissecting cadavers and linking this to tables of nerves and attachments from the recommended textbook? Is this aspect of our course more or less important than the other areas mentioned previously? It would be folly to argue that macro-anatomy is not important, but it is just something else the students need to know. I believe we need to focus our curricula on integrating all of these individual elements together. If not, we risk “atomising” our curricula and reducing the individual elements into quite detailed checklists absent of an overarching rationale for why we are teaching this content. There is nothing wrong with a detailed understanding of the anatomy content of the curriculum, in fact, only by having a detailed understanding can complex problems be solved. Various “core” anatomy syllabi have been said to be useful in developing curricula (Tubbs et al. 2014; Moxham et al. 2015; Smith et al. 2016). But to return to the original question: do you need a cadaver to understand the anatomy presented in these papers? You could use a cadaver to do it, of course, but there are probably other ways to do it, which are just as effective. I think as anatomists, as academics who are designing anatomy curricular, we can do better than this.

학생들은 교과 과정의 해부학 내용을 알아야 하지만, 복잡한 문제를 풀기 위해 이 내용을 어떻게 사용하는지도 알아야 합니다. 예를 들어, 폐암은 복잡한 문제이다. 영국에서 가장 흔하고 심각한 유형의 암 중 하나로, 연간 45,000건의 진단이 있다. 만약 누군가가 폐암에 걸렸다고 의심한다면, 그들은 어떻게 해야 할까요? 그들은 의사에게 간다. 그들의 의사는 무엇을 하는가? 그들을 검사하고, 그들의 가슴을 듣고, 청진하고, 촉진하고, 타진한다. 이는 [생체 해부학]이다. 그들은 잠재적으로 그들을 CT 스캔과 흉부 엑스레이 촬영을 위해 보내고, 그리고 나서 이 발견들을 해석할 것이다. 이것은 [방사선 해부학]이다. 그들은 용량을 계산하기 위해 폐 부피 테스트를 할 수 있다. 이것은 [기능적 해부학]이다. 그들은 조직검사를 받고 조직학(미소해부학)을 검사한 다음 병리를 평가할 수 있다. 이는 [이상 해부학]이다. 일단 환자가 이 순서를 거치면 그들은 거시 해부학을 검사하기 위해 수술을 받을 수 있다. 이는 [육안 해부학]이다.

The students need to know the anatomy content of their course, but they also need to know how to use this content to solve complex problems. For example, lung cancer is a complex problem. It is one of the most common and serious types of cancer in the United Kingdom, with 45,000 diagnoses per year. If someone suspects they have lung cancer, what do they do? They go to the doctor. What does their doctor do? Examine them, listen to their chest, auscultate, palpate, percuss - living anatomy. They will potentially send them for a CT scan, a chest x-ray and then interpret these findings—radiological anatomy. They may do a lung volume test to calculate capacity—functional anatomy. They may go for a biopsy and examine the histology—microanatomy—and then assess for pathology—abnormal anatomy. Only once the patient has gone through this sequence may they go and have surgery to examine the macro-anatomy—gross anatomy.

교육 과정을 [전달 방법]보다는 [내용에 집중]하기 위해서는, 보다 [전체적인 설계]가 필요하다. 원자화된 접근 방식에서 보다 전체적인 접근 방식으로 전환함으로써, 영역의 통합이 발생할 수 있습니다. 그러나 학생들이 이러한 복잡한 생각을 배우기 위해서는 복잡한 가르침이 필요하며 해부학의 각 영역에 대해 어떤 면이 정말로 시체 한 구를 필요로 하는가? 생체, 방사선, 미시, 거시, 비정상적인 해부학은 현재 이용 가능한 광범위한 대체 자원을 사용하여 모두 가르칠 수 있다. 보디페인팅에서 가상현실 소프트웨어 및 시뮬레이션, 3D 프린팅에서 플라스틱에 이르기까지 단순하고 복잡한 형태를 만들 수 있습니다. 만약 이 자원들이 대안들만큼 효과적이라는 것을 보여줄 수 있다면, 왜 시체들은 해부학 커리큘럼을 전달하기 위해 어디에나 있는 접근법이 필요할까요? 난 그렇게 생각하지 않습니다.

A more holistic design is necessary to focus our curricula on the content rather than the delivery method. By moving away from the atomized approach to a more holistic approach, integration of areas can occur. However, for the students to learn these complex ideas you need complex teaching and for each area of anatomy which aspect really needs a cadaver? Living, radiological, micro, macro, abnormal anatomy can all be taught by using the wide range of alternative resources currently available. Form the simple to the complex, from body painting to virtual reality software and simulation, from 3D printing to plastination. If these resources can be shown to be as efficacious as the alternatives (Pickering 2017; Clunie et al. 2018; Wilson et al. 2018), then why do cadavers need to be the ubiquitous approach to delivering our anatomy curricula? I don’t think they do.

찬성측
“Yes we do” house

제니퍼 맥브라이드 부교수
Assoc Prof Jennifer McBride

해부학 교육자들은 계속해서 변화에 관여해 왔다. 우리가 가르치는 환경에 변화가 일어났습니다. 크고 희미한 해부를 하는 극장에서부터, 스테인리스 스틸, 조명이 좋은 해부를 하는 실험실에 이르기까지요. 우리는 또한 학생들에게 해부학적 구조와 서로간의 관계에 대해 가르치는 것을 돕기 위해 수년간 [도구 모음]을 수집해 왔다. 우리의 도구상자에 있는 더 성숙한 도구들 중 일부는 다른 영상 양식을 가진 관절 골격, 해부학적 구조의 도면 및 신체의 지역적 뷰를 포함한다. 수년간 우리는 플라스틱 모형과 플라스틱 견본과 같은 도구를 추가해 왔다. 우리는 심지어 해부학 기반의 컬러링 북, 바디 페인팅, 점토 모델링과 같은 더 창의적인 도구들을 우리 컬렉션에 추가했습니다. 최신 도구 중 일부는 컴퓨터 보조 학습 시스템, e-러닝, 그리고 가장 최근에는 3D 증강 및 가상 현실 장치이다.
Educators of the anatomical sciences have continually been involved in change. Changes have occurred in the environment in which we teach; from large, dimly lit dissection theaters, to stainless steel, well-lit dissection laboratories. We have also amassed a collection of tools over the years to assist in teaching students about anatomical structures and their relationships to one another. Some of the more mature tools in our toolbox include disarticulated skeletons, drawings of anatomical structures and regional views of the body with different imaging modalities. Over the years we’ve added additional tools such as plastic models and plastinated specimens. We’ve even added more creative tools to our collection, such as anatomy based coloring books, body painting and clay modeling. Some of the newest tools are computer assisted learning systems, e-learning, and most recently, 3D augmented and virtual reality devices.

우리가 학생들을 가르치기 위해 선택하는 도구의 정도에 대해 교사로서 우리에게 알려주는 많은 것들은 학습자와 우리가 가르치려고 하는 특정한 개념에 바탕을 두고 있다. 많은 학생들이 [육안 해부학]에 대한 통달성을 위해 엄청난 노력을 기울이는 것처럼 느끼지만, 지식 보유라는 장기적 목표를 가지고 그들의 지식을 적용하고 스스로 평가할 수 있는 기회를 제공함으로써 이러한 노력을 완화하는 것이 우리의 과제이다. 해부학자인 우리가 학생들과 함께 이것을 접근한 몇 가지 다른 방법이 있습니다.

Much of what informs us as teachers about the extent to which tools we choose to teach our students is based on the learner and the particular concept we are trying to teach. While many students feel as though they put forth an enormous effort to achieve mastery in gross anatomy, it is our task to ease this effort by providing the basic units of knowledge followed by opportunities to apply and self-assess their knowledge, with the long term goal of knowledge retention. There are several different ways in which we as anatomists have approached this with our students.

물론, 대부분의 사람들에게 떠오르는 첫 번째 방법은 시신을 사용하는 것이다. 의학교육에서 시체사용의 다양한 측면에 대한 많은 출판물들이 있는데, 나는 몇 가지를 간단히 언급할 것이다. 1990년 연구에서, Nnodim은 하지의 전체 해부학을 연구하는 첫 번째 임상 전 의대생들의 두 그룹을 다른 방법으로 매치시켰다(한 그룹은 직접 해부했고, 다른 그룹은 프로섹션을 리뷰했다). Nnodim은 학생들이 해부한 시체보다 절제된 시체로부터 하지 해부학을 더 잘 배운다는 것을 발견했다. 이 연구에서, Nnodim은 Prosection이 인간의 총체적 해부학을 배우는 효과적인 방법이라고 제안했다. 실제로, 그것은 단축된 수업 시간에 대해 싸워야 하는 부서들에게 고려할 가치가 있는 방법일 수 있다. 몇 년 후인 1996년, 예거는 몇몇 학생들이 해부를 완료하고 다른 학생들이 미리 해부된 표본들을 연구함으로써 배우도록 함으로써 전체 해부학에서 동료 교수법을 탐구했다. 두 그룹 간의 객관식 테스트의 성능은 통계적으로 유의하지 않았다. 그러므로 [Prosected 시신]에서 해부학적 구조를 학습함으로써 시간적 이점이 있을 수 있지만, 두 방법 모두 대등한 것으로 보인다.
Of course, the first way that comes to most people’s minds is with the use of cadaveric material. There are a number of publications on various aspects of cadaveric use in medical education, I will briefly mention a few. In a 1990 study, Nnodim matched two groups of first-year preclinical medical students studying the gross anatomy of the lower limb by different methods (one group dissected one group reviewed prosections). Nnodim discovered that students learned lower limb anatomy better from prosected cadavers than dissected cadavers (Nnodim 1990). From this work, Nnodim suggested that prosections are an effective way of learning human gross anatomy. Indeed it may be a worthy method to consider for departments who have to contend with curtailed teaching time. A few years later, in 1996, Yeager explored peer teaching in gross anatomy by having some students learn by completing dissections while other students learned from studying the predissected (prosected) specimens (Yeager 1996). The performances on multiple-choice tests between the two groups were not statistically significant. So while there may be a time advantage from learning anatomical structures on a prosected cadaver, both methods seem comparable.

시신 기반 과정의 사용에 대한 또 다른 견해는 이전 작업을 기반으로 하며, 해부 기반dissection-based  과정이 학생들이 전문적인 역량을 개발하는 데 도움이 된다는 것을 암시한다. 2010년, Böckers 등은 학생들이 "중요한" 과정으로서 총 해부학에 두는 가치를 이해하기 위해 정량적인 세로 질문지를 개발하여 총 해부학 과정의 124명의 의학 학생들에게 제시했다. 이 과정에 대해 긍정적이거나 부정적인 의견을 가진 학생들의 하위 그룹은 이 과정의 전문적인 역량을 전달하는 능력에 대한 학생들의 의견과 상관관계가 있었다. 학생들은 해부과정에 참여함으로써 해부학 지식뿐만 아니라 팀워크, 스트레스 대처, 시간 관리 등과 관련된 기술을 습득할 수 있다고 느꼈다(Böckers et al., 2010).
Another take on the use of cadaver-based courses builds on previous work, which suggests that dissection-based courses help students develop professional competencies. In 2010, Böckers et al. developed a quantitative longitudinal questionnaire and presented it to 124 medical students in a gross anatomy course, to understand the value students place on gross anatomy as an “important” course. Subgroups of students with positive or negative opinions of the course were correlated with student opinions about the course’s ability to convey professional competencies. Students felt that participation in the course facilitated their acquisition of anatomy knowledge as well as skills related to teamwork, coping with stress, and, to a lesser extent, time management (Böckers et al. 2010).

마지막으로, [cadaver-based dissection 과정]에서의 학생 성과와 통합과목에서 [prosection-based 과정]의 학생 성과를 비교한 한 연구를 언급하고자 합니다. 한 학기 내내 다양한 평가에서 해부를 기반으로 한 강좌의 학생들이 약간 더 좋은 성적을 거둔 반면, 통합 강좌 세션에 참여한 학생들은 이러한 활동을 좋아할 뿐만 아니라 이러한 경험들이 학습에 도움이 된다고 느꼈다고 보고했다. 많은 의과대학 커리큘럼이 보다 통합된 구조로 향하고 있기 때문에 이것은 흥미로운 발견이다.
Finally, I would like to mention one study, which compared student performance in a cadaver-based dissection course versus student performance in a prosection-based course where students also attended integrated course sessions. While students in the dissection based course performed slightly better during the various assessments throughout the semester, students who participated in the integrated course sessions reported that they not only liked these activities but felt that these experiences enhanced their learning (Eppler et al. 2018). This is an interesting finding as many medical school curriculum are heading towards a more integrated structure.

우리 공구함에 있는 다른 도구에 대한 증거는 어떻게 되나요? 컴퓨터 보조 교육(CAI)은 지난 수십 년 동안 많은 관심을 받아왔다. McNulty 등은 CAI의 효과와 개별 사용 수준에 영향을 미치는 요인을 조사하는 총 해부학 강좌에서 다년간의 연구를 완료했습니다. 그들은 성별, 성격 선호도 및 학습 스타일에 따라 활용 수준이 상당히 다양하지만 컴퓨터 사용능력은 그렇지 않다는 것을 발견했다. 흥미롭게도, 자원에 가장 자주 접속한 학생들은 자원에 접속한 적이 없는 학생들보다 시험에서 상당히 높은 점수를 받았습니다. Khot 등은 지식 습득에서 CAI 효과에 대한 이 문제를 더 자세히 조사했습니다. 본 연구에서는 학습 해부학 (1) VR 컴퓨터 기반 모델 (2) 주요 뷰를 가진 정적 컴퓨터 기반 모듈 및 (3) 플라스틱 모델의 세 가지 형식의 효과를 조사했다. 그들은 [컴퓨터 기반 학습 자원]이 명목 해부학을 학습하는 데 있어 [전통적인 표본]에 비해 상당한 단점을 가지고 있는 것으로 보인다는 것을 발견했다. 이전 연구와 일관되게, 이러한 발견은 가상 현실이 주요 관점key view의 정적 표현static presentation에 비해 이점이 없다는 것을 보여주었다. 살타렐리 외 연구진은 멀티미디어 학습 시스템을 전통적인 학부 인간 시체 실험실과 비교한 결과 비슷한 결론을 얻었다. 그들은 인간 시체 실험실이 신원 확인 및 설명 지식의 시체 기반 측정에 대한 멀티미디어 시뮬레이션 프로그램보다 상당한 이점을 제공한다는 것을 발견했다.
What about evidence for the other tools in our toolbox? Computer-aided instruction (CAI) has received a lot of attention in the past few decades. McNulty et al. completed a multi-year study in a gross anatomy course investigating the effectiveness of CAI and the factors affecting level of individual use. They found considerable variability in level of utilization based on gender, personality preferences and learning style, but not with computer literacy. Interestingly, students who accessed the resources most frequently scored significantly higher on exams than those who had never accessed the resources (McNulty et al. 2009). Khot et al. explored this question of CAI effectiveness in knowledge acquisition further. In this study, they examined effectiveness of three formats of learning anatomy (1) VR computer based model (2) static computer-based module with key views and (3) plastic model. They found that computer based learning resources appeared to have significant disadvantages compared to traditional specimens in learning nominal anatomy (Khot et al. 2013). Consistent with previous research, these findings indicated that virtual reality has no advantage over static presentation of key views. Saltarelli et al. had a similar conclusion after comparing a multimedia learning system with a traditional undergraduate human cadaver laboratory. They found, that the human cadaver lab offered a significant advantage over the multimedia simulation program on cadaver-based measures of identification and explanatory knowledge (Saltarelli et al. 2014).

우리가 최근에 소개한 도구 중 일부는 플라스틱 샘플, 3D 인쇄를 통해 만들어진 모델, 가상 또는 증강 현실 리소스이다. 플라스티드 표본은 매우 상세한 해부를 시간 내에 포착할 수 있는 기회를 제공하지만, 촉각적 특성과 표본 다양성의 부족은 학생들의 경험을 제한하는 것으로 보고되었다. 3D 프린팅 모델의 사용과 관련하여, 한 보고서는 3D 프린팅 모델이 교훈적인 2D 이미지 기반 교육 방법에 비해 지식을 크게 증가시켰다는 것을 발견했습니다. 이러한 결과는 앞서 언급한 결과와 유사합니다.
Some of the more recent tools we have been introduced to are plastinated specimens, models created via 3D printing, and virtual or augmented reality resources. While plastinated specimens offer an opportunity to capture a very detailed dissection in time, the lack of haptic qualities and specimen diversity have been reported to limit the student experience (Fruhstorfer et al. 2011). Regarding the use of 3D printed models, one report found that 3D printed models significantly increased knowledge compared to didactic 2D image based teaching methods (Smith et al. 2018). These findings are similar to findings mentioned previously (Khot et al. 2013).

요약하자면, [툴 박스에 있는 툴을 제거할지 여부]에 대한 질문을 하기보다는, [이러한 툴의 사용방식을 어떻게 수정할 수 있는지] 대한 질문으로 바뀌어야 합니다. 교육자로서, 우리는 

  • (1) 학생 중심의 학습 환경을 조성하고,
  • (2) 가능한 경우 콘텐츠를 통합하고,
  • (3) 임상적으로 적용할 수 있는 상관관계를 포함하고,
  • (4) 학생의 진행 상황을 관찰하고 분석하며,
  • (5) 새로운 교육 개입의 결과를 반영하고, 그 결과를 문헌에 보고해야 한다.

In summary, the question of whether or not to remove any tool in our tool box should be changed to a question of how we can revise the way we have been using these tools. As educators, we need to:

  • (1) create a student-centered learning environment,
  • (2) integrate content where possible,
  • (3) include clinically applicable correlates,
  • (4) observe and analyze student progress, and
  • (5) reflect on the outcomes of new educational interventions and report the findings in the literature.

토론은 마지막 두 명의 연사가 자신들의 주장을 발표하고 주장을 요약하기 위해 초대되는 것으로 끝났다.

The debate concluded with the last two speakers being invited to present their case and summarize the arguments.

 

반대측
“No we do not” house

대럴 에반스 교수
Prof Darrell Evans

13년 전, 저는 에든버러에서 열린 AMEE 연차총회에서 존 맥라클란의 강연을 들었습니다. "해부학은 삶입니다. 해부학은 죽음이 아니다." 해부를 통한 가르침의 열렬한 지지자로서 나는 확실히 이야기의 추진에 동의하지 않았고 방 뒤에서 야유했다. 그렇다면 제가 왜 이제 대학 의학부에서 해부학을 가르치기 위해 시체들을 더 이상 필요로 하지 않는다고 말할까요? 뭐가 달라진거죠? 첫째, 우리가 이용할 수 있는 더 많은 대안이 있고 둘째, 해부학 교수법에 대한 다른 접근방식을 뒷받침하는 교육학의 효과에 대한 우리의 이해가 발전했다. 이것은 저널에 발표된 수많은 활발한 연구를 통해 촉진되었습니다. 그 중 일부는 에든버러에서 열린 AMEE 회의 당시에는 없었습니다. 이전에 견고하고 질 높은 연구가 부족했던 것은 우리가 학생 학습에 정말로 차이를 만드는 것이 무엇이고 해부학 교육에 대한 이러한 새로운 접근법이 시체 기반 가르침에 비해 어떤 영향을 미치는지를 정의하는 데 초점을 맞추지 않았다는 것을 의미했다. 동시에, 의학 커리큘럼은 [해부학을 단독으로 배우는 것]에서 벗어나, [좋은 의사가 되는 것을 배우기 위해 해부학에 대한 근본적인 이해를 사용하는 것]으로 옮겨가고 있다.
Thirteen years ago, I sat in a session at the AMEE annual meeting in Edinburgh listening to a talk by John McLachlan entitled “Anatomy is life. Anatomy is not death”. As an ardent supporter of teaching through dissection I was certainly not in agreement with the thrust of the talk and heckled from the back of the room. So why would I now be saying we don’t really need cadavers anymore to teach anatomy in undergraduate medicine. What’s changed? Firstly there are many more alternatives available to us and secondly our understanding of the effects of the pedagogy that underpins different approaches to anatomy teaching has developed. This has been promoted through a plethora of active research published in journals, some of which weren’t around at the time of the AMEE meeting in Edinburgh (Pawlina and Drake 2010). The previous lack of robust and high quality research meant that we didn’t focus on defining what was really making a difference in student learning and what effect these new approaches to anatomy teaching were having in comparison to cadaveric based-teaching. At the same time medical curricula have refocused, moving away from learning anatomy in isolation to using a foundational appreciation of anatomy for learning to be a good doctor.

시신들은 확실히 졸업후 의학훈련과 해부학 관련 분야와 전문 분야의 지속적인 전문적 발전을 특징으로 해야 한다. 시신들은 또한 증강현실 프로그램, 3D 모델 등을  포함한 많은 기술 기반 해부학적 도구들을 개발하기 위한 기초를 형성한다. 도전은 또한 어떤 해부학을 배워야 하는지, 어떤 깊이에서 배워야 하는지, 왜 여러분이 해부학의 특정한 요소나 개념을 배우는지에 대한 것이 아닙니다. 그건 다른 논쟁이고, 지금은 우리가 어떻게 우리의 [학부 의대생]을 가르치는지에 대한 논의가 필요하다. 그리고 우리가 여기에 시신이 [진정으로 필요한지]에 대한 것입니다. 그 점을 염두에 두고 나는 우리가 "진짜 필요really needed"와 "학부 의학undergraduate medicine"이라는 단어에 계속 집중하기를 바란다.

Cadavers should certainly feature within postgraduate medical training and ongoing professional development in anatomically related disciplines and specialties. Cadavers also form the basis for developing many of the technology-based anatomical tools including augmented reality programs, 3D models etc. The challenge is also not about what anatomy should be learned, in what depth that anatomy should be learned and why you're learning a particular fact or concept of anatomy. That’s a different debate and instead this is about how we teach our undergraduate medical students and whether we really need cadavers for this. With that in mind I want us to keep focused on the words “really needed” and “undergraduate medicine”.

이 문제는 커리큘럼 디자인으로 귀결됩니다. 그렇다면 어떻게 하면 학생들이 필요로 하는 기초 지식을 발견할 수 있도록 좋은 커리큘럼 설계를 통해 학생들을 도울 수 있을까요? 학습 과정에 포함시키고 기능적으로나 임상적으로나 관련이 있는지 어떻게 확인할 수 있을까요? 우리는 학생들이 해부학을 배우고 이해할 수 있는 다양한 기회를 가질 수 있도록 해부학을 배우는 다면적인 접근 방식을 가져야 한다. 그래서 학생들은 해부학을 다른 관점에서 그리고 다른 맥락에서 볼 수 있다(Evans and Watt 2005). [통합 커리큘럼 내에 해부학을 배치하는 것]은 학생들이 기초 및 임상 지식, 이해 및 추론을 연결할 수 있도록 하는 데 필요한 [표지게시signposting 및 관련성]을 제공한다. 학생들이 제대로 된 학습을 쌓을 수 있도록 표지판signposting이 핵심이다.

This issue for me comes down to curriculum design. So how do we enable students through good curriculum design to discover the foundational knowledge that they’re going to need? How do we make sure it’s embedded within their learning journey and is functionally and clinically relevant? We need to have a multifaceted approach to learning anatomy (that might include cadavers) so that students have different opportunities to learn and understand the anatomy, see it from different perspectives and in different contexts (Evans and Watt 2005). Placing anatomy within an integrated curriculum provides the signposting and relevance necessary to enable students to connect foundational and clinical knowledge, understanding and reasoning. The signposting is key so that the students can build their learning appropriately.

최근의 많은 발전을 통해, 우리는 해부학을 가르치기 위해 테크놀로지를 효과적으로 활용할 수 있다. 우리는 기술을 사용하여 인체 여러 층을 걸어다니면서 해부학의 다른 요소들을 알아낼 수 있습니다. 우리는 컴퓨터 시뮬레이션을 통해 해부할 수 있고, 그리고 나서 우리는 학생들이 어려운 부분에 다시 집중할 수 있도록 해 줄 수 있다. 해부학은 위치 결정과 연관성, 그리고 복잡한 관계를 이해하는 맥락에서 배울 필요가 있다. 3D 모델링의 창조를 통해 학생들은 시체 물질을 사용하지 않고도 이러한 관계를 인식할 수 있습니다. 우리는 다른 수지를 사용하여 생명체와 같은 또는 예시적인 색칠과 느낌을 제공할 수 있습니다. 3D 모델은 시체 내에서 쉽게 해부되거나 명백하지 않은 해부학을 시각화할 수 있습니다. 예를 들어, 시체에서 뇌의 혈관을 해부할 수 있습니까? (그림 2(A)). 
Through many recent advances, we can utilize technology effectively to teach anatomy. We can use technology to walk through the various layers of the human body to uncover different elements of that anatomy. We can dissect via computer simulation and then we can put the body back together again (you can’t do that with a cadaver) allowing students to refocus on difficult areas. Anatomy needs to be learned in the context of positioning and association, and understanding intricate relations. The creation of 3D modeling allows students to recognize these relationships without the need for them to use cadaveric material (McMenamin et al. 2014). We can use different resins to provide life-like or illustrative colorings, and feel. 3D models enable visualization of anatomy not easily dissected or apparent within the cadaver—could you dissect the blood vessels of the brain in a cadaver for instance? (Figure 2(A)).

3D 모델은 생산 비용이 저렴하고, 안전 요소가 제거되었으며, 재료에 대한 접근성이 높아 licensed premises를 사용할 필요가 없습니다. 각 학생은 자신의 시간과 심지어 미니어처 규모에서 검토할 수 있도록 특정 정상 또는 병리 해부학 사본(그림 2(B))을 제공할 수 있으며, 높은 수준의 자원을 보유하지 않은 국가는 이러한 자료를 사용할 수 있다. 해부학을 맥락 안에서 시각화하는 이 능력은 더 깊은 학습을 가능하게 한다. 학생들은 전체적인 그림을 그릴 수 있어야 하지만, 시신이나 접근할 수 없는 구조물의 단면을 볼 때 어려웠습니다. 호주 뉴캐슬대 등 전 세계 동료들이 이런 문제를 해결하기 위해 증강현실(Augmented Reality)을 개발하고 있다. 예를 들어, 뇌의 요소들을 시각화할 때, 여러분은 해부 슬라이드에서는 3D 형태의 모든 요소들을 볼 수 없었을 것이고, 다른 요소들을 제거하거나 추가하는 어떤 방향에서도 볼 수 없었을 것이다. 이러한 새로운 접근방식을 사용하면 해부학적 관계를 매우 다른 방식으로 볼 수 있습니다. 그러나 주의가 필요합니다. 이것은 테크놀로지 그 자체를 위한 테크놀로지에 대한 것이 아니며, 테크놀로지의 사용은 학습 성과를 가능하게 하기 위한 교육학적 기반이 필요하다(Release 2016). 이것은 우리가 이전에 결코 할 수 없었던 무언가를 하거나 우리가 할 수 있는 것보다 더 나은 것을 하는 것에 관한 것입니다.

3D models are cheap to produce, the safety elements are removed and the material is highly accessible—you do not need licensed premises to use them. Each student can be provided with copies of particular normal or pathological anatomy (Figure 2(B)) to review in their own time and even in miniature scale and countries who do not have high levels of resources can use such materials (Smith et al. 2018). This ability to visualize anatomy within its context allows for deeper learning. Students need to be able to build up the whole picture and this has been difficult when looking at sections of cadaveric material or inaccessible structures. Colleagues around the world including at University of Newcastle, Australia are developing Augmented Reality to solve such issues (Jain et al. 2017). For instance, when visualizing the elements of the brain, you wouldn’t have been able to see all the elements in the 3D form from dissection slices and the ability to view from any direction and removing or adding different elements. Using these new approaches, you get to see the anatomical relations in a very different way. However caution is required. This is not about technology for technology’s sake and instead the use of technology needs a pedagogical basis linked to enabling the learning outcomes (Trelease 2016). This is about doing something we could never do before or doing something better than we could do before.

 

시신은 우리가 기대하는 해부학적 변형을 제공하고, 병리학을 보여주는데 아주 좋습니다. 제가 해부학 연구실을 운영했을 때, 저는 어떤 큰 변화나 병리학적 변화가 있기를 바랬습니다. 그리고 몇 년 동안 당신은 성공했고 다른 사람들은 실패했죠. 테크놀로지는 모든 학생들이 볼 수 있는 [공통 및 희귀 변형과 병리학]을 시각화하고, 문제의 해부학적 맥락 안에서 다시 한 번 도움의 손길을 제공하고 있다. 다시 한 번 3D 인쇄를 사용하면 학생들이 검사하고 기능 및 임상 결과(Mahmoud 및 Bennett 2015)와 연계하여 감사할 수 있는 희귀 병리학의 복사본을 제공할 수 있습니다(그림 2(B)).

Cadavers are great for providing the anatomical variation we expect and for showing pathology. When I used to run dissection labs, I used to hope there was going to be some great variation or pathology and some years you were successful and others not. Technology is once again providing a helping hand by providing visualizations of both common and rare variations and pathologies for all students to see and within the context of the anatomy in question. Once again 3D printing can be used to provide copies of rare pathologies for students to examine and to get an appreciation for by linking to function and clinical outcomes (Mahmoud and Bennett 2015) (Figure 2(B)).

그렇다면 우리는 대학 의학에서 해부학을 배우기 위해 더 이상 카데바가 필요할까요? 해부학은 여전히 학부 의학의 기본이다. 그것은 우리가 학생들이 사용할 수 있기를 바라는 언어이며, 복잡한 임상 문제를 해결하는 데 도움이 되는 지식과 이해로 환자에게 최상의 해결책을 제시합니다(Turney 2007). 그렇다면 어떻게 하면 학생들에게 지식과 이해를 가장 잘 할 수 있을까요? 통합 커리큘럼 내에서 다면적인 접근을 통해 이루어질 필요가 있다고 생각합니다. 그리고 시체도 그 일부가 될 수 있을까요? 물론, 그들은 할 수 있지만, 그들이 정말로 학습 결과를 성취하기 위해 필요한가? 저는 가능한 대안들 때문에 그렇게 생각하지 않습니다(그림 2(A,B)). 그래서 오늘 투표하실 때, 토론 질문을 다시 한 번 살펴보도록 하겠습니다. 나는 해부의 팬이지만 우리는 "학부 의학"을 가르치기 위해 "정말로" 카데바가 필요한가? 난 그렇게 생각하지 않습니다.

So do we really need cadavers anymore to learn anatomy in undergraduate medicine? Anatomy is still fundamental to undergraduate medicine. It is the language we want our students to be able to use, the knowledge and understanding that helps solve complex clinical problems resulting in the best solutions for their patients (Turney 2007). So how do we best enable that knowledge and understanding in our students? I certainly think that it needs to happen through a multifaceted approach within an integrated curriculum. And can cadavers be part of that? Yes they can, but are they really needed to achieve the learning outcomes? I don’t think so because of the alternatives available (Figure 2(A,B)). So I’ll just ask you when you vote today, to look at the debate question again. I’m a fan of dissection but do we “really need” cadavers to teach “undergraduate medicine”. I don’t think so.

찬성측
“Yes we do” house

안드레아스 윙켈만 교수
Prof Dr med Andreas Winkelmann

지금까지 이루어진 많은 논점에 [철학적, 혹은 인류학적 논점]을 추가하고 싶다. 나는 순수한purely 카데바 중심의 교육을 주장하는 것이 아니라, 해부학을 가르치는 많은 대등한parallel 방법들 중 하나로 인체를 사용하는 것에 대해 주장할 것이다.
To the many points that have been made so far, I would like to add a philosophical and/or anthropological one. I will not argue for a purely cadaver-centred teaching, but for using human bodies as one of many parallel approaches to teaching anatomy.

데카르트적 이원론은 오늘날 우리가 실천하고 있는 "서양" 생물의학의 기초이며, "서양"은 이것이 문화적으로 특정한 기반을 둔 의학이라는 사실을 가리킨다. 17세기에 데카르트는 세계를 "res extensa"(확장 물질)와 "res cognitans"(사고 물질)로 나누었다. 매우 넓게 말하면, 이것은 의학이 역사상 처음으로 신체에 대한 진정한 신체적 접근을 개발할 수 있는 기회를 주었습니다. 이 접근법은 생물의학의 많은 성공의 기초가 되어왔지만, 물론 질병의 심리적 사회적 요인을 이해하는 것과 같은 생물의학의 일부 문제에 대해서도 책임이 있다.
Cartesian dualism is at the basis of “Western” biomedicine as we practise it today, with the attribute “Western” pointing to the fact that this is a culturally specific foundation of medicine. In the 17th century, Descartes divided the world as we understand it in “res extensa” (extended matter) and “res cogitans” (thinking matter). Very broadly speaking, this gave medicine, for the first time in history, the opportunity to develop a truly physical approach to the body (Leder 1992). This approach has been the basis of many of the successes of biomedicine—most obviously in surgery or radiology—but is of course also responsible for some of biomedicine’s problems, like the difficulty to understand psychosocial factors of illness.

역사적으로 [해부학적 해부]는 이러한 발전을 뒷받침하는 역할을 해왔고(데카르트 자신은 해부를 관찰함으로써 영향을 받았다), 오늘날의 의학 커리큘럼에서 해부는 이러한 [데카르트적 접근법의 강력한 상징]으로 인식되는 것으로 보인다. 나는 이러한 [상징적인 의미]가 이 교육 도구가 반복적으로 논의되고, 예를 들어 생화학 수업보다 훨씬 더, 학문적인 관심을 끄는 이유 중 하나라고 주장할 것이다. 일부 저자들은 해부 과정이 해부학뿐만 아니라 사람과 그들의 신체에 대한 이원론적 접근을 가르치는 암묵적 또는 암묵적 커리큘럼의 일부라고 주장해왔다. 이것은 적어도 상상할 수 있는 것이다. 학생들은 신체에 대한 데카르트적 관점을 가지고 태어나지 않으며, 만약 신체 생물의학의 핵심이라면, 그들은 교과 과정의 어느 시점에서 신체에 대해 배워야 한다. 이러한 견해는 많은 저자들이 해부 과정을 "의학으로의 시작" 또는 "통과의례"로 보아왔다는 사실에 기여했을 수 있다. [시작 의식initiation ritual]의 오래된 인류학적 개념이 현대 사회에 적용되는지는 논란의 여지가 있을 수 있지만, 해부실은 더 넓은 사회의 금기가 깨지는 폐쇄적인 공간이며, 의료인과 비전문가를 구분하는 이러한 방식은 일부 사람들에게 이것이 '시작initiation'에 해당한다고 제안했다. 한편, 이러한 관점은 해부 과정에 대한 비판을 촉발시켰으며, 이는 학생들이 나중에 환자를 "시신처럼" 다루는 그러한 과정의 암묵적인 결과일 수 있음을 시사한다. (Winkelmann and Guldner 2004).

Historically, anatomical dissection has played a role in supporting this development (Descartes himself was influenced by observing dissections), and it seems that in today's medical curriculum, dissection is perceived as a strong symbol of this Cartesian approach. I would argue that this symbolical meaning is one reason why this educational tool is repeatedly debated and attracts much more scholarly attention than, say, biochemistry classes. Some authors have argued that the dissection course is part of an implicit or tacit curriculum, that does not only teach anatomy but also this dualistic approach to people and their bodies (Reifler 1996). This is at least conceivable—students are not born with a Cartesian view of the body, and if it is at the heart of biomedicine, they have to learn it at some point in the curriculum. This view may have contributed to the fact that so many authors have seen dissection courses as an “initiation into medicine” or “rite of passage". It may be debatable whether older anthropological concepts of initiation rituals (van Gennep, 1909). apply to modern societies, but the dissecting room is a closed space in which taboos of the wider society are broken, and this way of setting apart medical people from nonspecialists has suggested to some that this constitutes an “initiation” (Harper 1993; Shaffer 2004). On the other hand, this perspective has also triggered critique of the dissection course, suggesting that it may be an implicit outcome of such courses that students later treat patients “like cadavers” (cf. Winkelmann and Güldner 2004).

이 비평은, 제 생각에, 교과 과정의 작은 부분의 힘을 과대평가하는 듯 하다. 만약 의사들이 정말로 환자를 사람처럼 대하기 보다는 물질처럼 대한다면, 물론 해부 과정을 비난할 수 있습니다. 왜냐하면 그것의 상징적인 맥락이 이러한 비판에 어울리기 때문입니다. 그러나, 의사들이 해부를 통해서만 그러한 태도를 배웠다고 상상하기는 어렵다. 예를 들어, [번아웃된, 공감없는 임상의사들]과 같은 다른 맥락이나 교사들로부터 (또한) 배우지 않았다고 보기는 어렵다.
This critique, I think, overrates the power of one small part of the curriculum. If doctors in the end really treat a patient like material rather than like a person, you can of course blame the dissection course because its symbolic context lends itself to this criticism. However, it is difficult to imagine that doctors have learnt such an attitude just from dissection and not (also) from other contexts or teachers, like for example from burnt-out non-empathetic clinicians.

비록 역사적으로 해부학이 인체의 객관화에 큰 역할을 했을지라도, 학문으로서의 해부학은 또한 단지 육체적인 접근에 도전하기 위해, 특히 지난 수십 년 동안, 그 자체로도 멀리 왔다. 과거에는 해부학자들이 주로 처형된 범죄자들의 시체, 그 다음에는 가난한 사람들의 시체를 사용했지만, 지금은 적어도 서구 세계와 아시아의 많은 나라들에서 기증자들의 시신을 주로 사용한다. 시체 뒤에 있는 사람을 인정하는 것은 많은 의과대학의 강한 면이다. 예를 들어, 전세계의 해부학자들과 학생들은 또한 이러한 기증자들과 그들의 가족들을 위한 추모식을 조직한다. 또한 시체를 "몸"이나 "시체"라고 부르지 않고 "기부자" 또는 "선생님"이라고 부르는 경향이 증가하고 있다(Bohl et al., 2011). 이러한 모든 변화는 해부실에서 사체의 모호성이 점점 더 인정된다는 것을 의미한다. 사체는 물건인 동시에 죽은 사람이기 때문에 애매하다. 객체object과 주체subject의 모호성은 생물의학의 중심이며, 생물의학에서는 환자를 대상(예: 방사선학 또는 수술)처럼 취급해야 하지만, 그럼에도 불구하고 환자를 사람처럼 취급해야 한다.
Even if historically, anatomy may have played a big role in the objectification of the human body, anatomy as a discipline has also come a long way itself, particularly over the last decades, to challenge a merely physical approach (Dyer and Thorndike 2000). In the past, anatomists mainly used the bodies of executed criminals, then the bodies of the poor, but now they mostly use bodies of donors, at least in the western world and in many countries in Asia (Habicht et al. 2018). Acknowledging the person behind the cadaver is a strong aspect of many medical schools. For example, anatomists and students around the world also organize memorial services for these donors and their families. There is also an increasing tendency not to call the cadaver “body” or “cadaver” but rather “donor” or “teacher” (Bohl et al. 2011). All of these changes have meant that the ambiguity of the dead body in the dissecting room is increasingly acknowledged (Hafferty 1988). The dead body is ambiguous because it is an object and at the same time a deceased person. This ambiguity of object and subject is central to biomedicine, which often has to treat patients like objects (e.g. in radiology or surgery), but should nevertheless also treat them like persons.

그러므로 해부학에서 암묵적인 커리큘럼이 있다면, 사람과 사물의 이런 모호함에 대한 전문적인 관점, 시체나 환자에 대한 전문적인 관점, 이런 모호함에 대한 전문적인 관점을 기를 것이어야 한다고 생각합니다. 해부실 경험은 이러한 모호성을 억누르고 사람을 사물로 생각하는 위험을 수반할 수 있지만, 이 위험은 해부를 완전히 폐지해야 하는 이유가 아니라 이러한 맥락에서 전문적인 관점을 개발하기 위한 선택사항인 도전으로 받아들여져야 한다(Robbins et al., 2008).
Therefore, if there is an implicit curriculum in dissection, I think it should be about this ambiguity of person and object, about developing a professional perspective on this ambiguity, a professional perspective on cadavers and also on patients. The dissecting room experience may carry a risk to repress this ambiguity and to think of people as objects, but this risk should not be the reason to do away with dissection altogether but should be taken as a challenge, an option for developing a professional perspective in this context (Robbins et al. 2008).


저는 다음과 같이 질문하면서 결론짓고 싶습니다: 왜 우리는 카데바처럼 강력한 교육 도구를 없애야 할까요? 그것은 독특한 교육 도구입니다. 그 이유는 첫째, 그것은 (아틀라스, VR 데이터 세트, 3D 프린트처럼) 육체의 표상representation이 아니라, 살아 있는 생명의 "산출product"인, 개인의 운명의 진정한 육체authentic body의 표상representation이기 때문이다. 둘째로, 시체들은 독특하다. 해부는 매우 특별한 학습 경험을 만들어내기 때문이다. 그것은 진정한 멀티모달이고 활동적이다. 그것은 또한 감정적이고 실존적인 학습 경험이며 따라서 지속적인 기억을 만들어낸다. 어떤 사람들은 해부 과정이 그들에게 나쁜 기억을 주었다고 말하지만, 나는 그들이 잘못된 교사나 잘못된 교육 시설을 가지고 있었을지 몰라도, 잘못된 교육 도구를 가지고 있지는 않았다고 제안한다. 마지막으로, 위에서 설명한 바와 같이, 기증자가 해부되는 상황은 기회입니다. 왜냐하면 그것은 학생으로 하여금 인체가 [물체가 아니면서 동시에 물체가 되는 것being an object and not an object]에 도전하기 때문입니다. 그리고 이것이 바로 옛 인류학적 관점에서 통과의례가 실제로 의미하는 것입니다. "초보자나 초심자를 자극하여… 그들의 세계의 요소와 기본 구성 요소에 대해 곰곰이 생각하도록 유도한다." (Turner 1977). 물론, 음악 없이도 노래 텍스트를 배울 수 있는 것처럼, 시체 없이도 해부학을 배울 수 있지만 커리큘럼은 독특한 자원을 잃게 될 것이다.
I would like to conclude by asking: why should we do away with such a powerful teaching tool as a cadaver? It is a unique teaching tool, firstly, because it is not a representation of a body—like figures of an atlas, virtual reality datasets or 3D prints are—but an authentic body, the “product” of a lived life, of an individual fate. Secondly, cadavers are unique because dissection creates a very special learning experience, which is truly multimodal and activating. It is also an emotional and existential learning experience and therefore creates lasting memories. Some people tell me that their dissection course has given them bad memories, but I suggest that they had either the wrong teachers or the wrong teaching facilities but not inevitably the wrong teaching tool. And finally, as outlined above, the situation of a donor being dissected is an opportunity because it challenges the students with the human body being an object and not an object at the same time. And this is what rites of passage are actually about in the good old anthropological sense: “provoking the novices or initiands … into thinking hard about the elements and basic building blocks” of their world (Turner 1977). Of course, you can learn anatomy without cadavers—as you can learn song texts without the music—but the curriculum would lose a unique resource.

토론의 요약 및 결론
Summary and conclusion of debate

양원 모두 반대 의견을 제시한 후 퇴임했고 청중들은 현재 제기되는 질문에 대한 답을 등록하기 위해 대화형 시스템을 사용하여 다시 제시된 주장을 바탕으로 의견을 검토하도록 요청받았다.

Both houses, having presented their opposing cases, retired and the audience were asked to review their opinions based on the arguments presented by again using the interactive system to register their answers to the question now being posed.

McMenamin 교수는 우리 팀이 실제 시체 해부에 대한 주장을 많이 했다고 요약했는데, 그것은 실제로 논의되고 있는 질문이 아니었다. 하지만, 분명히 대다수의 청중들은 학부 의학 강좌에서 실제 해부가 필요하다는 것을 확신하지 못했다. 다음 질문은 학생들이 사체 물질에 대한 노출이 여전히 학부 의대생들의 경험으로 중요한지를 알아보기 위해 제시되었다.

Prof McMenamin summarized that the yes we do team had made much of their case about actual dissection of a cadaver, which was not in fact the question being debated. However, clearly the majority of the audience were not convinced that actual dissection was needed in an undergraduate medical course. The next question was posed to see if the audience thought whether exposure to cadaver material was still important as an experience for undergraduate medical students.

분명히 대다수의 청중들은 그것이 중요하다고 생각했다. 이어 맥메나민 교수는 토론 중인 실제 질문의 문구를 강조하며 투표할 때 이를 신중히 고려해 줄 것을 청중에게 당부했다. 이것은 토론이 시작될 때 다루어진 질문을 반복하는 마지막 투표였다.

Clearly a majority of the audience thought yes it was important. Professor McMenamin then emphasized the wording of the actual question being debated and called on the audience to consider this carefully when voting. This was the final vote repeating the question addressed at the commencement of the debate.

결과는 현재 논쟁 중인 문제에 대해 균일한 의견의 분열이 있다는 것을 분명히 보여주었고, 학부 의학에서 시체 사용에 대해 원래 80%의 찬성 의견이 있었기 때문에 McMenamin 교수는 토론에서 '아니오 불필요합니다' 측이 승리했다고 선언하고 그들의 발표에 대해 양원을 축하했다.

The results clearly showed that there was now an even split of views on the matter under debate and since there was originally majority of 80% in favor of the use of cadavers in undergraduate medicine Professor McMenamin declared the ‘No we do not’ house to have won the debate and congratulated both houses for their presentations.

 

 


Med Teach. 2018 Oct;40(10):1020-1029. doi: 10.1080/0142159X.2018.1485884. Epub 2018 Sep 28.

Do we really need cadavers anymore to learn anatomy in undergraduate medicine?

Affiliations collapse

Affiliations

1a Department of Anatomy & Developmental Biology, Faculty of Medicine, Nursing and Health Sciences , Monash University , Melbourne , Australia.

2b School of Medicine , Lancashire , UK.

3c Department of Cell and Molecular Medicine , Rush University , Chicago , IL , USA.

4d Cleveland Clinic Lerner College of Medicine , Cleveland Clinic , Cleveland , OH , USA.

5e Division of Anatomy, Leeds Institute of Medical Education, School of Medicine , University of Leeds , Leeds , UK.

6f Developmental Tissue Biology, Academic Division, The University of Newcastle (UON) , Callaghan , Australia.

7g Institut für Anatomie, Medizinische Hochschule Brandenburg - Theodor Fontane , Neuruppin , Germany.

PMID: 30265177

DOI: 10.1080/0142159X.2018.1485884

Abstract

With the availability of numerous adjuncts or alternatives to learning anatomy other than cadavers (medical imaging, models, body painting, interactive media, virtual reality) and the costs of maintaining cadaver laboratories, it was considered timely to have a mature debate about the need for cadavers in the teaching of undergraduate medicine. This may be particularly pertinent given the exponential growth in medical knowledge in other disciplines, which gives them valid justification for time in already busy medical curricula. In this symposium, the pros and cons of cadaver use in modern medical curricula were debated and audience participation encouraged.

21세기의 미국 의사과학자 인력: 파이프라인 권고 (Acad Med, 2019)
U.S. Physician–Scientist Workforce in the 21st Century: Recommendations to Attract and Sustain the Pipeline
Robert A. Salata, MD, Mark W. Geraci, MD, Don C. Rockey, MD, Melvin Blanchard, MD, Nancy J. Brown, MD, Lucien J. Cardinal, MD, Maria Garcia, MD, MPH, Michael P. Madaio, MD, James D. Marsh, MD, and Robert F. Todd III, MD, PhD

 

 

미국은 현재 미국의 의사-과학자(PS) 노동력의 기여로 인해 생물의학 연구에서 세계 선두를 달리고 있다. PS는 미국 전체 의사 노동력의 1.5%에 불과한 것으로 추정된다. 그러나 PS는 국가의 생의학 연구 노력에 매우 중요하다. 그들의 훈련 때문에, PS는 "임상 관찰을 실험 가능한 연구 가설로 전환하고 연구 결과를 의학 발전으로 변환하는 데 필수적인 힘"이다. 생의학 연구를 통해 특정 질병이 없어지고, 다른 질병에 대한 치료법이 발견되고, 생명을 구하는 의료 절차와 치료법이 개발되었다. 그러한 발견들은 수명 연장, 삶의 질 향상, 그리고 전 세계적으로 공중 보건의 향상으로 이어졌다.

The United States is currently the world’s leader in biomedical research,1 in large measure because of the contributions of the nation’s physician–scientist (PS) workforce.2–5 PSs are estimated to account for only 1.5% of the nation’s total physician workforce5; however, they are invaluable to the nation’s biomedical research effort.5–13 Because of their training, PSs are a “vital force in transforming clinical observations into testable research hypotheses and translating research findings into medical advances.”10 It is through biomedical research that certain diseases have been eliminated, cures for others have been discovered, and medical procedures and therapies that save lives have been developed.1–3,14,15 Such discoveries have led to the lengthening of life spans, quality of life improvements, and the betterment of public health throughout the world.1–7,13–15

중요한 것은, 생의학 연구를 통해 지금까지 이루어진 발전은 PS 인력들이 점점 더 빠른 속도로 인간 건강 증진에 더 큰 기여를 할 수 있도록 자리를 잡았다는 것이다. 1989년에 시작된 인간 게놈 프로젝트는 연구를 수행하기 위한 환경을 변화시켰고 건강 문제를 해결하기 위해 데이터를 공유하고 다학제적 접근법을 사용하는 시대를 열었다. 또한 팀 사이언스, 빅데이터, 정밀 의학에 기반을 둔 프로젝트에 문을 열었다. 이 세 가지 이니셔티브의 결과로 PS 인력들은 뇌를 더 잘 이해하고 그 장애를 치료하기 위해 설계된 혁신적 신경기술을 통한 뇌 연구와 같은 대규모의 조정된 생의학 연구 프로그램을 구현할 수 있다. 이것의 또 다른 예는 백만 명의 지원자들을 대상으로 한 종적 연구인 정밀의학 이니셔티브 코호트 프로그램으로, 질병의 약리유전학을 더 잘 이해하기 위해 이동 건강 기술을 사용하고 참가자들에게 그들 자신의 건강을 증진시킬 것이다. 마지막 예로, 모든 종류의 암을 예방하고, 발견하고, 치료하는 능력을 가속화하기 위해 빅데이터를 사용하는 국립 암 문샷이 있다. 

Importantly, the advances made thus far through biomedical research have positioned the PS workforce to make greater contributions to the enhancement of human health at an increasingly faster pace. The Human Genome Project, which began in 1989, changed the landscape for conducting research and ushered in an era of sharing data and using multidisciplinary approaches to address health issues.16 It also opened the doors to projects based on team science, big data, and precision medicine. As a result of these three initiatives, the PS workforce is able to implement large-scale, coordinated biomedical research programs, such as the Brain Research through Advancing Innovative Neurotechnologies Initiative, which is designed to better understand the brain and treat its disorders.4,17 Another example of this is the Precision Medicine Initiative Cohort Program, a longitudinal study of one million volunteers, which will enhance understanding of microbiome science, using mobile health technologies to better understand the pharmacogenetics of disease and empowering participants to improve their own health.4,18 As a final example, there is the National Cancer Moonshot, which uses big data to accelerate the ability to prevent, detect, and treat all types of cancer.4,19

한국의 PS 노동력 유지에 대한 우려는 지난 40년 동안 정책 입안자들과 다른 사람들에 의해 공개적으로 제기되어 왔으며, 그러한 우려는 범위와 강도에 있어서 증가하고 있다. 젊은 의사들이 PS보다는 임상의나 임상의사-교육자로 경력을 쌓는 것을 선택함에 따라, 지난 몇 년 동안 PS 인력 규모감소해왔다. 아마도 더 큰 관심사는 현재 PS 노동력의 고령화이다. 2003~2012년 10년 동안 60세 이하 PS는 감소했고 61세 이상은 증가했습니다(그림 1 참조). 이 데이터는 놀랍습니다. 

  • (1) 새로운 PS의 인력진 진입과 지속적인 참여가 전례 없이 감소하고 있음을 시사한다. 
  • (2) 고위직원들은 은퇴를 연기했다. 

PS 파이프라인 모델의 관점에서, 유입과 유출이 모두 감소하기 때문에, 시니어 인력들이 은퇴할 때 시스템이 갑자기 붕괴되기 쉽다.

Concerns about sustaining the nation’s PS workforce have been publicly voiced by policy makers and others for the past four decades,5–13 and those concerns are growing in scope and intensity.5–13,20 The size of the PS workforce has declined over the past several years,5 as young physicians choose to focus their careers on being clinicians or clinician–educators rather than PSs. Perhaps of even greater concern is the aging of the current PS workforce. During the 10-year period between 2003 and 2012, the number of PSs aged 60 or younger declined, while the number of those aged 61 or older rose (see Figure 1).5 These data are striking;

  • they suggest that (1) the entry and sustained engagement of new PSs into the workforce are in unprecedented decline, and
  • (2) senior members of the workforce have postponed retirement. In terms of a PS pipeline model, the decreased inflow and outflow renders the system vulnerable to collapsing suddenly as the senior workforce retires.

2007년과 2008년 동안 의대 교수 협회(APM)와 미국 의대 협회(AAMC)는 일련의 회의를 개최하여 기금 풀을 다음과 같이 확장하기 위한 권고안을 발표 및 배포하였다.

  • 젊은 PS의 경력을 유지하고 육성합니다. 
  • 젊은 PS의 멘토링을 위한 접근 방식을 개선합니다. 
  • 여성 PS의 발전을 촉진한다. 
  • 미래 PS의 경력 개발을 식별하고 육성합니다. 

During 2007 and 2008, the Association of Professors of Medicine (APM) and the Association of American Medical Colleges (AAMC) held a series of conferences resulting in published and disseminated recommendations to expand the pool of funds to

  • retain and foster the careers of young PSs,
  • improve the approach for mentorship of young PSs,
  • promote the advancement of women PSs, and
  • identify and foster the career development of future PSs.12,13

PS에 대한 기존 국립 보건원(NIH) 지원에 대한 우려가 커짐에 따라, 2014년, 프랜시스 콜린스 소장은 의사-과학자 인력 워킹 그룹에 현재 커리어 서포트 메커니즘을 평가하고 개선을 위한 권고안을 제출하도록 요청했습니다. 2014년 6월, 작업 그룹은 여러 권고사항과 함께 보고서를 발표했는데, 무엇보다도 NIH에 다음과 같이 촉구했습니다.

  • PS의 강력한 훈련을 지속합니다.
  • [연방정부가 자금을 지원하는 의사 후 교육]에서 [더 많은 개인 대상 펠로우쉽을 포함]하는 쪽으로 균형을 옮깁니다.
  • 신규 및 기성 조사원 간의 수상률award rates 격차를 지속적으로 완화한다.
  • PS 인력의 강점을 평가하기 위해 엄격한 도구를 채택한다.5

In response to growing concerns about existing National Institutes of Health (NIH) support for PSs, in 2014, Director Francis Collins charged a Physician–Scientist Workforce Working Group to assess the current mechanisms of career support and make recommendations for improvement. In June 2014, the working group issued its report with a series of recommendations that, among other things, urged the NIH to

  • sustain strong training of PSs,
  • shift the balance in federally funded postdoctoral training for physicians to include more individual fellowships,
  • continue to mitigate the gap in award rates between new and established investigators, and
  • adopt rigorous tools to assess the strength of the PS workforce.5

이 워킹 그룹은 또한 약 14,000명의 PS의 현재 국내 인력을 유지하기 위해 "매년 약 1,000명의 개인이 파이프라인에 진입해야 할 것"이라고 추정했다. (이 계산은 "파이프라인에 진입"하는 사람들 중 절반이 성공하지 못할 것으로 가정한다.) 이는 [생의학 연구에서 세계적인 리더]로서 미국의 역할을 위협할 수 있기 때문에, 이 예측은 상당한 무게를 지니고 있다. 모세 외 연구진은 현재의 추세가 계속된다면 앞으로 10년 안에 중국이 이 역할을 맡을 것이라고 언급했다.

The working group also estimated that, to maintain the nation’s current workforce of approximately 14,000 PSs, “about 1,000 individuals will need to enter the pipeline each year.”5 (This calculation assumes that half of those who “enter the pipeline will not succeed.”)5 This projection carries with it significant weight because this could threaten the nation’s role as the global leader in biomedical research, as in 2015, Moses et al21 noted that, if current trends continue, China will assume this role within the next 10 years.

2015년 11월, 학술 내과 연합(AAIM)은 의사 조사관 인력 재검토라는 컨센서스 컨퍼런스를 개최했다. 새롭고 진화하는 연구 영역과 학술 기관의 성공 경로. AAIM은 5개의 단체로 구성된 컨소시엄이다. 
In November 2015, the Alliance for Academic Internal Medicine (AAIM) hosted a consensus conference, Re-examining the Physician Investigator Workforce: New and Evolving Areas of Research and Pathways to Success in Academic Institutions. The AAIM is a consortium of five organizations:

  • the APM,
  • Association of Subspecialty Professors,
  • Association of Program Directors in Internal Medicine,
  • Clerkship Directors in Internal Medicine, and
  • Administrators of Internal Medicine.

이 컨퍼런스의 초점은 NIH 의사-과학자 인력 워킹 그룹에 주어진 것과는 달랐다. 즉, NIH 워킹 그룹의 주요 관심사는 NIH 프로그램과 정책에 영향을 미치는 문제를 다루는 것이었지만, AAIM 컨센서스 컨퍼런스의 주요 관심사는, 개개인의 경험과 관심에 기초한 커리어 초기 PS로부터의 투입으로, academic medical school에 영향을 미치는 문제를 다루는 것이었다.

The focus of this conference was different than the charge given to the NIH Physician–Scientist Workforce Working Group—that is, while the major concern of the working group was to address issues impacting NIH programs and policies, the major concern of the AAIM consensus conference was to address issues impacting academic medical schools, with input from early-career PSs based on their individual experiences and concerns.

이 컨퍼런스는 사상적 리더와 초기 경력 PS가 [생물의학 연구에 진지하게 참여할 가능성이 있는 개인을 조기에 식별하는 것과 관련이 있는 중요한 주제들]과 [이러한 개인의 커리어를 개발하기 위한 최적의 메커니즘]을 논의할 수 있는 기회를 제공했다. 또한, 이 회의의 목표 중 하나는 [PS를 유치하고 지원하는 데 있어 현재 걸림돌]을 확인하고 2016년 이후 [PS 인력을 유지하기 위한 새로운 권고안]을 개발하는 것이었다.
The conference provided an opportunity for thought leaders and early-career PSs to discuss a series of critical topics relating to the early identification of individuals with a potential for serious engagement in biomedical research, as well as optimal mechanisms for developing the careers of these individuals. Additionally, one of the goals of the conference was to identify current impediments to attracting and supporting PSs and to develop a new set of recommendations for sustaining the PS workforce in 2016 and beyond.

이 회의에는 100명 이상의 개인이 참석했으며, 학술 관리자, 학과 의장, 프로그램 책임자, 초기 경력 PS(아래 참조)와 국가 재단, NIH, 미국 국립 의학 아카데미, 제약 업계의 대표자들이 참석했다. 이 회의에는 10개의 의학 센터를 대표하는 14명의 초기 경력 PS가 참석했다. 그들 모두는 NIH 멘토링 경력 개발상 또는 보훈처 경력 개발상의 수상자였다. 모두 박사학위였고, 3명은 석사학위를 추가로 받았으며, 박사학위를 받은 사람은 없었다.
More than 100 individuals attended the conference, representing a cross-section of academic administrators, department chairs, program directors, and early-career PSs (see below), as well as representatives from national foundations, the NIH, the National Academy of Medicine, and the pharmaceutical industry. Fourteen early-career PSs attended the conference, representing 10 academic medical centers. All of them were recipients of either an NIH mentored career development award or a Department of Veterans Affairs (VA) career development award. All of them were MDs, 3 had additional master’s-level degrees, and none had a PhD.

이 회의에는 10차례의 브레이크아웃 세션 동안 집중 토의할 핵심 주제에 대한 5차례의 전체 발표가 포함되었다. 각 브레이크아웃 세션은 국가의 PS 인력을 유지하고 잠재적으로 확장하는 것을 목표로 학술적 보건 지도자와 NIH 및 기타 기금 기관을 대상으로 한 일련의 권고안을 개발했다. 그런 다음 각 브레이크아웃 세션의 권장 사항이 모든 컨퍼런스 참석자에게 제시되었습니다. 특정 권고안에 대해 회의 참석자들 사이에 약간의 의견 차이가 있었지만, 이 관점에 포함된 권고안은 회의가 만장일치에 도달한 후 AAIM 이사회에 의해 승인되었다. 이러한 권장사항은 두 가지 주요 전략으로 분류됩니다.

  • (1) PS 파이프라인으로의 진입 증가 및 
  • (2) PS 인력으로부터의 소모 감소(목록 1 참조)

The conference included five plenary presentations on key topics to focus discussion during its 10 breakout sessions. Each breakout session developed a series of recommendations targeted to academic health leaders and to the NIH and other funding agencies, with the goal of sustaining and potentially expanding the nation’s PS workforce. The recommendations from each breakout session were then presented to all of the conference attendees. Although there were slight differences of opinion among the conference participants on certain recommendations, the recommendations included in this Perspective are those on which the conference reached unanimous consensus and which were subsequently approved by the AAIM Board of Directors. These recommendations are categorized within two major strategies:

  • (1) increasing entry into the PS pipeline and
  • (2) reducing attrition from the PS workforce (see List 1).

목록 1 PS Workforce에 대한 학술적 내과의사 컨센서스 컨퍼런스의 권고 사항, 2015년 11월
List 1 Recommendations of the Alliance for Academic Internal Medicine Consensus Conference on the PS Workforce, November 2015

PS 파이프라인 진입 증가
Increasing entry into the PS pipeline

  • 젊은이들에게 생의학 연구의 가치와 생의학 진보에서 PS가 수행하는 중요하고 독특한 역할을 홍보합니다.
  • 역할 모델 및 멘토 네트워크에 대한 액세스를 제공하는 프로그램의 광범위한 구현을 통해 다양한 모집단의 구성원을 PS로 모집 및 보유할 수 있습니다.
  • 국제 PS가 미국에 들어와 미국 노동력의 일원으로 남을 수 있는 기회를 강화한다.
  • PS 교육에서 효율성과 커리큘럼 모범 사례를 홍보합니다.
  • MD/PhD 프로그램에 입학하지 않은 교육생을 위한 학부 및 대학원 연구 교육 기회를 강화합니다.

  1. Promote to young people the value of biomedical research and the important and unique role that PSs play in biomedical advances.
  2. Facilitate the recruitment and retention of members from diverse populations as PSs through widescale implementation of programs that provide access to a network of role models and mentors.
  3. Enhance opportunities for international PSs to enter and remain in the United States as members of the nation’s workforce.
  4. Promote efficiency and curricular best practices in the training of PSs.
  5. Enhance undergraduate and postgraduate research training opportunities for trainees who do not matriculate into MD/PhD programs.

PS 인력 소모 감소
Reducing attrition from the PS workforce

  • "멘토 멘토링" 교육을 포함한 정형화된 멘토링 프로그램을 구현하고, 멘토링 결과에 대한 주기적인 검토를 수행합니다.
  • [Training]에서 [독립적인 연구 커리어]로의 PS 전환을 지원하는 것을 특별히 목표로 하는 연구비 프로그램을 수립합니다.
  • NIH 또는 VA 경력 개발 보조금을 수여받은 개인에 대한 학자금 대출 상환 기회를 확대합니다.
  • 경력 개발 어워드로 지정된 멘토에게 급여 지원을 제공합니다.
  • PS 간에 부서 전체의 급여 형평성을 보장합니다.
  • 보호 시간 제공 및 필요한 경우 브리지 자금 지원을 통해 PS 교수진이 독립적인 연구자가 될 수 있는 안정적인 환경을 제공합니다.
  • 생물의학 발전에 대한 PS의 기여에 대한 환경의 변화를 수용하고, P&T 의사결정 과정에 투명성을 유지하기 위해 P&T 기준을 재고한다.
  • 산업계와의 파트너십 확대를 포함하여 연구 및 연구 자금 지원을 위한 새로운 방법을 모색합니다.
  • PS 경력 개발 데이터 저장소를 구축합니다.
  1. Implement formalized mentoring programs, including “mentoring the mentor” training, and periodic reviews of mentoring results.
  2. Establish grant programs specifically targeted to supporting the PS transitioning from training to an independent research career.
  3. Expand student loan repayment opportunities for individuals who are awarded an NIH or a VA career development grant.
  4. Provide salary support for mentors named on career development awards.
  5. Assure department-wide salary equity among PSs.
  6. Provide a stable environment for PS faculty to become independent researchers through provision of protected time and, when necessary, bridge funding.
  7. Reconsider criteria for P&T to accommodate the changing environment for PSs’ contributions to biomedical advances and be transparent in P&T decision-making processes.
  8. Pursue new avenues for research and research funding, including expanding partnerships with industry.
  9. Establish a repository for PS career development data.

약자: PS는 의사-과학자, NIH, 국립보건원, VA, 보훈처, P&T, 승진 및 재임 기간을 나타냅니다.

Abbreviations: PS indicates physician–scientist; NIH, National Institutes of Health; VA, Department of Veterans Affairs; P&T, promotion and tenure.


이 합의문의 목적상, PS는 [전문적 노력의 대부분을, (학술기관, 정부기관, 산업 및 독립연구센터와 연구소에서 수행되는), 광범위한 생물 의학 연구의 연속체 내에서 정의된 영역에 바치는 의사]로 정의되었다. (기본, 번역, 임상, 역학, 결과 및 의료 교육 연구 포함) 이 사람들 중 많은 사람들은 MD에 더하여 과학 분야에서 전문 학위를 가지고 있으며, 임상의사로서의 자격으로 환자 치료를 계속 제공하고 있다.
For the purposes of this consensus statement, PSs were defined as physicians who devote the majority of their professional effort to a defined area within the broad continuum of biomedical research (inclusive of basic, translational, clinical, epidemiological, outcomes, and medical educational research) conducted in academic institutions, government agencies, industry, and independent research centers and institutes. Many of these individuals have a professional degree in the sciences, in addition to an MD, and continue to provide patient care in their capacity as clinicians.

PS 파이프라인 진입을 늘릴 기회
Opportunities for Increasing Entry Into the PS Pipeline

미국 내 PS를 늘리기 위한 전략 개발과 실행이 필수다. 이 목표를 달성할 수 있는 기회에는 생물의학 연구의 가치를 더 잘 촉진하고 조기에 홍보하는 것, PS 인력의 다양성을 증가시키는 것, 다양성을 증가시키기 위한 역할 모델과 멘토를 사용하는 것, PS 교육 프로세스의 합리화와 연구 교육 기회의 확대가 포함된다.
Developing and implementing strategies to increase the number of PSs in the U.S. workforce is essential. Opportunities to achieve this goal include

  • facilitating better and early promotion of the value of biomedical research,
  • increasing the diversity of the PS workforce,
  • using role models and mentors to increase diversity, and
  • streamlining the PS training process and expanding research training opportunities.

생물의학 연구의 가치를 더 낫고 조기에 홍보할 수 있도록 촉진
Facilitating better and early promotion of the value of biomedical research

아이들의 두뇌가 아직 개발되고 있는 중인 초등학교 때부터 생의학 연구의 가치를 홍보하는 것이 중요하다. 과학, 기술, 공학, 그리고 수학 (STEM)에서 학생들의 기술을 향상시키기 위한 프로그램을 시행하는데 초점을 맞추고 있음에도 불구하고, 미국은 선진국들 사이에서 표준화된 시험의 과학 점수에서 상위 20위 안에 들지 못하고 있다. 앨런과 케이먼은 이 낮은 순위가 부분적으로 연구와 혁신보다 운동선수와 연예인에 더 큰 가치를 두는 국가 전체에 기인할 수 있다고 주장한다. 생물의학 연구의 가치와 기존 STEM 프로그램의 목표를 효과적으로 홍보하기 위해서는 정부 기관, 지역사회 기반 조직, 민간 부문 연구 조직 및 학교 간의 협력이 필요하다.

It is important to promote the value of biomedical research as early as elementary school—while children’s brains are still being developed. Despite a focus on implementing programs to increase students’ skills in science, technology, engineering, and mathematics (STEM), the United States is not ranked in the top 20 on science scores from standardized tests among industrialized nations.22 Allen and Kamen23 argue that this low ranking can, in part, be attributed to the nation as a whole placing greater value on its athletes and entertainers than it does on research and innovation. Collaborations between government agencies, community-based organizations, private-sector research organizations, and schools are necessary to effectively promote both the value of biomedical research and the goals of existing STEM programs.

PS 인력의 다양성 증대
Increasing the diversity of the PS workforce

AAMC가 수집한 데이터는 PS 파이프라인의 다양성 부족을 보여준다. 2015년 의과대학 입학자 중 여성은 47.8%를 차지했다. 그러나, 지난 5년 동안, 그들은 국가의 MD/PhD 프로그램에 등록한 사람들 중 37%에서 38%를 지속적으로 차지해왔다.25 MD/PhD 파이프라인에서 여성의 낮은 대표성은 [시작부터 여성 지원자의 감소]와 [여성들 사이의 더 큰 이탈attrition 수준]을 반영한다. 여성이 MD/PhD 진로를 추구할 가능성이 낮은 이유에 대해 보고한 몇 가지 요인이 있는데, 여기에는 다음이 포함된다.

  • 자녀 양육 또는 다른 가족 책임에 대한 우려,
  • 남성 상대자에 비해 "경쟁에서 이길 필요"가 있다는 인식을 초래하는 직장의 편견,
  • 여러 면에서 PS가 되기 위한 격려의 부족
  • 역할 모델의 부족

Data compiled by the AAMC demonstrate a lack of diversity in the PS pipeline. In 2015, women accounted for 47.8% of those matriculating into medical school24; however, for each of the past five years, they have consistently accounted for between 37% and 38% of those enrolled in the nation’s MD/PhD programs.25 The lower representation of women in the MD/PhD pipeline reflects both fewer female applicants to start with and greater levels of attrition among women.26–28 There are several factors reported by women as to why they are less likely to pursue the MD/PhD career path, which include

  • concerns about child rearing or other family responsibilities;
  • a sense of bias in the workplace resulting in the perception that there is a need to “outcompete” relative to male counterparts;
  • encountering, on multiple fronts, a lack of encouragement to become a PS; and
  • a lack of role models.27–31

인종/민족의 대표성이 부족한 집단을 위한 파이프라인도 확대될 필요가 있다. 2014-2015년 미국 내 MD/PhD 프로그램 졸업생 616명 중 79명(12.8%)만이 인종/민족적으로 대표성이 낮은 집단 출신이라고 보고했다.

  • 26명(4.2%)이 흑인 또는 아프리카계 미국인이라고 스스로 밝혔다. 
  • 히스패닉, 라틴계 또는 스페인계 혈통으로 12명(1.9%) 
  • 41명(6.7%)이 다인종/다인종이었다. 

The pipeline for racial/ethnic underrepresented groups also needs to be expanded.8,32 Of the 616 graduates of MD/PhD programs in the United States during the 2014–2015 academic year, only 79 (12.8%) reported themselves as being from a racially/ethnically underrepresented group:

  • 26 (4.2%) self-identified as black or African American;
  • 12 (1.9%) as being of Hispanic, Latino, or Spanish origin; and
  • 41 (6.7%) as multiple race/ethnicity.33

게다가, [다른 나라의 재능 있고 지망 있는 많은 수의 PS]들이 미국에서 연구 훈련에 들어가려고 시도하는 반면, 그들 중 소수만이 미국의 PS 노동력에 들어가는 데 성공하고 있다. 2015년 미국의 MD/PhD 프로그램에 입학한 626명 중 16명(2.6%)만이 미국 이외의 국가에서 왔다. 이 적은 수의 국제 대학 입학은 국가의 MD/PhD 프로그램의 절반 이하에 부과되는 자금 제한으로 부분적으로 설명될 수 있다. 즉, 연방정부에서 자금을 지원하는 의학 과학자 훈련 프로그램은 미국 시민들과 미국 영주권자들에게만 개방된다. 유학생이 미국에 입국하여 체류할 수 있는 기회를 강화하려는 노력을 포함하여 다양한 인구로부터 회원을 모집하고 유지하는 것을 촉진하는 것은 PS 인력을 늘리는 효과적인 전략이 될 수 있다.

Additionally, while large numbers of talented and aspiring PSs from other countries attempt to enter research training in the United States, only a small percentage of them are successful in entering the nation’s PS workforce.5 Of the 626 matriculates to the nation’s MD/PhD programs in 2015, only 16 (2.6%) came from countries outside the United States.34 This small number of international matriculates can be partially explained by funding restrictions imposed on slightly less than one-half of the nation’s MD/PhD programs—that is, the federally funded Medical Scientist Training Programs (MSTPs) are open only to U.S. citizens and permanent residents of the United States. Facilitating the recruitment and retention of members from diverse populations, including efforts to enhance opportunities for international students to enter and remain in the United States, could be an effective strategy for increasing the PS workforce.

역할 모델 및 멘토를 활용하여 다양성 증대
Using role models and mentors to increase diversity

롤모델과 멘토는 서로 다른 기능을 하며, 둘 다 PS 파이프라인 진입을 늘리는 데 중요합니다. Cruess 등에 따르면, [롤모델]은 "영감을 주고 모범을 보임으로써 가르칠 수 있다"고 한다. 롤모델은 예를 들어 스포츠 영웅, 연예인, PS가 될 수 있고, 다른 사람들에게 미치는 영향은 텔레비전 쇼나 그랜드 라운드 강의 동안처럼 쉽게 초등학교 교실에서 일어날 수 있다.
Role models and mentors function differently, and both are important to increasing entry into the PS pipeline. Role models, according to Cruess et al,35 can “inspire and teach by example.” Role models can be, for example, sports heroes, celebrities, or PSs, and their impact on others can occur in an elementary school classroom as easily as on a television show or during a Grand Rounds lecture.

롤모델에 대한 노출이 핵심입니다. 인종적/인종적으로 대표성이 낮은 고등학생을 대상으로 한 정성적 연구는 많은 학생들이 PS와 상호작용을 해본 적이 없다는 것을 보여주었다. 그들은 연구 경력을 고려하지 않은 근본적인 이유라고 목소리를 높였다. 더욱이, MD/PhD 의대생들을 대상으로 실시한 유사한 연구는 [일찍이 중학교 또는 고등학교의 역할 모델에 대한 노출]이 연구 커리어를 시작하려는 그들의 결정에 영향을 미친 것으로 나타났다. 학생들은 과학 과정 동안 마주친 역할 모델, 가족 내 PS에 대한 노출, 가족 건강 위기 동안 전문가에 대한 노출에 대해 말했다. 이러한 연구는 MD/PhD 파이프라인에서 인종/민족 차이를 해결하는 데 있어 롤 모델의 중요한 중요성을 강조한다.
Exposure to role models is key. Qualitative research of racially/ethnically underrepresented high school students revealed that many had never had interactions with a PS.30,36 They voiced this as an underlying reason for why they did not consider a research career. Furthermore, similar research conducted on MD/PhD medical students indicated that exposure to role models as early as middle and/or high school influenced their decisions to enter a research career.5,36 Students spoke of the role models they encountered during their science courses, exposure to PSs in their families, and exposure to professionals during a family health crisis. These studies emphasize the critical importance of role models in addressing racial/ethnic disparities in the MD/PhD pipeline.

파이체(Paice) 등에 따르면 [멘토]는 연습생이나 경험이 적은 동료와 '멘토가 명시적인explicit 쌍방향 관계를 활발히 하고 있다'는 점에서 롤모델과 다르다. 그것은 "시간이 지남에 따라 진화하고 발전하며 어느 한쪽이 종료할 수 있는 관계"이다. 국가연구멘토링네트워크(NRMN)와 같은 프로그램이 존재하여 특정 조사 영역뿐만 아니라 전문적 개발 영역에서도 멘토링을 제공한다. NRMN의 일부 프로그램은 "다양성, 멘토 관계 내에서의 포괄성 및 문화, 그리고 보다 광범위한 연구 인력 등의 혜택과 도전을 강조한다." 
Mentors differ from role models, according to Paice et al,37 in that a “mentor is actively engaged in an explicit two way relationship” with a trainee or a less-experienced colleague. It is “a relationship that evolves and develops over time and can be terminated by either party.”37 Programs such as the National Research Mentoring Network (NRMN) exist to offer mentoring not only in specific areas of inquiry but also in areas of professional development. Some of the NRMN’s programs “emphasize the benefits and challenges of diversity, inclusivity and culture within mentoring relationships, and more broadly the research workforce.”38

PS 교육 프로세스 합리화 및 연구 교육 기회 확대
Streamlining the PS training process and expanding research training opportunities

생의학 연구를 위한 준비는 10년 이상의 학부, 의과대학, 대학원 교육을 필요로 하는 긴 과정이다. 이 과정을 가속화하기 위해, 연합 MD/PhD 커리큘럼(연방정부가 지원하는 MSTP 포함)은 의과대학 동안 의학 및 연구 훈련을 더 잘 통합하고 가속화하는 아이디어로 개발되었다. 2014년 전국 설문 조사 결과에 따르면 MD/PhD 프로그램 졸업생 중 80% 이상이 연구 지향적인 직업을 추구하는 것으로 나타났다. MSTP 등록(7년 이상의 의무)에 대한 대안으로, 의대생들 중 일부는 등록자들에게 (기관 또는 외부 자금 지원으로) 1년 동안의 멘토링 연구 경험을 제공하는 공식적인 연구 계약을 이용한다. 제한된 일화 데이터는 이러한 공식 연구 계획 중 일부의 효과를 뒷받침한다. 

Preparation for a career in biomedical research is a lengthy process requiring well over a decade of undergraduate, medical school, and postgraduate training, which may include formal graduate education in a scientific discipline. To expedite this process, combined MD/PhD curricula (including federally funded MSTPs) were developed with the idea of better integrating and expediting medical and research training during medical school. The results of a national survey from 2014 show that these programs have had success with > 80% of MD/PhD program graduates pursuing research-oriented careers.39 As an alternative to MSTP enrollment (a commitment of over seven years),39 a subset of medical students take advantage of formal research tracts, which offer enrollees a one-year mentored research experience during medical school (with institutional or external funding support). Limited anecdotal data support the effectiveness of some of these formal research tracts.40,41

의과대학에서 연구 경험을 쌓은 후, 많은 졸업생들은 오랜 기간의 대학원 임상 및 연구 훈련으로 전문 교육을 이수하는 것을 선택한다. 이 과정을 가속화하기 위해, 이러한 [박사 후 경험을 간소화]하기 위한 보조 메커니즘이 개발되었습니다. 미국 내과의사회(Board of Internal Medicine)가 승인한 이러한 접근 방법 중 하나는 신속한 임상 훈련(그리고 종종 하위 전문 펠로우쉽)과 3년간의 멘토링된 박사 후 연구를 결합하는 레지던트 연구 경로이다. 짧은 임상 교육 기간(3년 대신 2년)에도 불구하고, 이러한 졸업생들의 임상 역량(보드시험 합격률로 측정)은 희생되지 않았으며, 80% 이상이 자금 지원을 받은 생물의학 연구를 계속했다. 다른 전공과목 학회(예: 소아과 및 병리학)도 유사한 간소화된 의사 후 교육 경로를 승인했다.

After gaining research experience in medical school, many graduates opt to complete their professional education with a lengthy period of postgraduate clinical and research training. To expedite this process, supplemental mechanisms have been developed to streamline this postdoctoral experience. One such approach, sanctioned by the American Board of Internal Medicine, is a residency research pathway which combines expedited clinical training (and often subspecialty fellowship) with three years of mentored postdoctoral research. Despite a shortened duration of clinical training (two years instead of three), the clinical competency (as measured by board exam pass rate) of these graduates was not sacrificed,42 and more than 80% went on to pursue funded biomedical research.43 Other medical specialty boards (e.g., pediatrics and pathology) have sanctioned similar streamlined postdoctoral training pathways.

마지막으로, 연구에 대한 새로운 관심을 가진 모든 의사들이 의과대학 이전 또는 그 동안 대학원 수준의 과학 훈련을 이수하지 않았기 때문에, 몇몇 연구집약적 의과대학은 [임상훈련의 후기 단계에 있는 의사나 주니어 교수진 중에서 엄선된 그룹에 이러한 엄격한 훈련을 제공하기 위한 공식적인 박사후 연구 훈련 프로그램](종종 MS 또는 PhD 학위까지 이어진다)을 개발했다. 

Finally, because not all physicians with a budding interest in research have completed graduate-level scientific training prior to or during medical school, several research-intensive medical schools have developed formal postdoctoral research training programs (often leading to an MS or PhD degree) to provide this rigorous training to a select group of committed physicians who are in the later stages of clinical training or who are junior faculty.44–46

PS 파이프라인 진입을 늘리기 위한 권장 사항
Recommendations Aimed at Increasing Entry Into the PS Pipeline

PS 파이프라인 진입을 늘리기 위한 AAIM 컨센서스 회의 권고안은 다음과 같았다.

  • (1) 젊은이들에게 생물의학 연구의 가치와 생물의학 진보에서 PS가 수행하는 중요하고 독특한 역할을 홍보한다. 
  • (2) 역할 모델 및 멘토 네트워크에 대한 액세스를 제공하는 프로그램의 광범위한 구현을 통해 다양한 모집단의 구성원을 PS로 모집 및 보유할 수 있습니다. 
  • (3) 국제 PS가 미국 노동력의 일원으로 미국에 입국하여 체류할 수 있는 기회를 강화한다. 
  • (4) PS 교육에서 효율성과 커리큘럼 모범 사례를 촉진한다. 
  • (5) MD/PhD 프로그램에 입학하지 않는 교육생을 위한 학부 및 대학원 연구 교육 기회를 강화한다(목록 1).

The AAIM consensus conference recommendations for increasing entry into the PS pipeline were to

  • (1) promote to young people the value of biomedical research and the important and unique role that PSs play in biomedical advances;
  • (2) facilitate the recruitment and retention of members from diverse populations as PSs through widescale implementation of programs that provide access to a network of role models and mentors;
  • (3) enhance opportunities for international PSs to enter and remain in the United States as members of the nation’s workforce;
  • (4) promote efficiency and curricular best practices in the training of PSs; and
  • (5) enhance undergraduate and postgraduate research training opportunities for trainees who do not matriculate into MD/PhD programs (List 1).

젊은이들에게 생물의학 연구의 가치와 생물의학 발전에 있어 PS가 수행하는 중요하고 독특한 역할을 홍보합니다.
Promote to young people the value of biomedical research and the important and unique role that PSs play in biomedical advances

과학과 수학의 풍요를 제공할 뿐만 아니라, 어린 학습자들, 특히 소외된 배경을 가진 사람들에게 지원을 제공할 수 있는 혁신적인 교육 개입이 확립되어야 한다. 이를 위해 정부 기관, 지역사회 기반 조직, 민간 부문 연구 조직 및 학교 간의 협력을 장려해야 한다.

Innovative educational interventions should be established to provide enrichment in science and math as well as to provide support for young learners, especially those from disadvantaged backgrounds. To this end, collaborations between government agencies, community-based organizations, private-sector research organizations, and schools should be encouraged.

롤모델 및 멘토 네트워크에 대한 액세스를 제공하는 프로그램의 광범위한 구현을 통해 다양한 모집단의 구성원을 PS로 모집 및 유지
Facilitate the recruitment and retention of members from diverse populations as PSs through widescale implementation of programs that provide access to a network of role models and mentors

PS와 다른 전문가들로 구성된 롤모델 네트워크를 만들어 정기적으로 K-12 및 학부 수업을 방문하면 학생들이 생물의학 연구의 가치와 직업으로서의 생존 능력에 노출되는 데 도움이 될 것이다. 마찬가지로, NRMN과 같은 프로그램은 다양한 모집단의 구성원을 모집하고 유지하기 위해 널리 사용되어야 한다.
Creating a network of role models, comprising PSs and other professionals, to routinely visit K–12 and undergraduate classes would help expose students to the value of biomedical research and its viability as a career. Similarly, programs such as the NRMN should be widely used to recruit and retain members from diverse populations as they pursue training as PSs.

국제 PS가 미국에 입국하여 미국 노동력의 일원으로 체류할 수 있는 기회를 강화합니다.
Enhance opportunities for international PSs to enter and remain in the United States as members of the nation’s workforce

연구 상금과 보조금은 거주 상태에 따라 달라지는 경우가 많다. 외국 의대 졸업생들의 박사 후학을 후원하는 대학들은 미국 영주권 신청에 도움을 주어야 한다. 또한, NIH는 다른 정부 기관과 협력하여 국가 연구 서비스상 펠로우십, 교육 보조금 및 경력 개발상의 자격 요건에 대한 정책을 수정해야 한다. 여기에는 미국 대학원 유학을 위해 입학했지만, 아직 영주권을 부여받지 못한 외국 의과대학 졸업생도 포함해야 한다.
Research awards and grants are frequently dependent on residency status. Universities sponsoring foreign medical school graduates’ postdoctoral studies should provide assistance with applications for permanent residence in the United States. Additionally, the NIH should work with other government agencies to amend policies on eligibility requirements for its National Research Service Award fellowships, training grants, and career development awards to include graduates of foreign medical schools who have been admitted to the United States for postgraduate study but who have not yet been granted permanent resident status.

PS 교육의 효율성 및 커리큘럼 모범 사례 촉진
Promote efficiency and curricular best practices in the training of PSs

연구 분야에서 진로에 대한 의지를 입증한 교육생은, 의과대학 재학 중 정식 MD/PhD 프로그램 및 전공의 수련 중 전공/세부전공 연구 경로 조정과 같이 교육 과정을 단축하고 능률화하는 교육 이니셔티브를 최대한 활용할 것을 강력히 권장해야 한다. MSTP에 대한 지속적인 NIH 자금후원이 제공되어야 한다.
Trainees who have demonstrated a commitment to careers in research should be strongly encouraged to take full advantage of educational initiatives that shorten and streamline the training process, such as formal MD/PhD programs during medical school and coordinated residency/subspecialty research pathways during postgraduate training. Continued NIH funding for MSTPs should be provided.

MD/PhD 프로그램에 입학하지 않은 교육생을 위한 학부 및 대학원 연구 교육 기회 강화
Enhance undergraduate and postgraduate research training opportunities for trainees who do not matriculate into MD/PhD programs

연구에 관심이 있지만 공식적인 MD/PhD 프로그램에 등록되지 않은 의대생은 1년 동안 멘토링된 연구 경험에 참여하는 것을 고려해야 한다. 전문 교육(예: 하위 전문 펠로십) 또는 하위 교수로서 연구를 추구하는 데 관심을 보이는 임상 교육을 받은 의사는 석사 및/또는 박사 학위를 받을 수 있는 공식적인 연구 훈련 기회에 참여하는 것을 고려해야 한다. 현재 이러한 학부 및 대학원 교육 프로그램의 효과에 대한 발표된 데이터가 제한적이므로, 이러한 대안 연구 커리큘럼에 대한 포괄적인 조사(졸업자의 내용, 지원 메커니즘 및 경력 결과 포함)는 관련 전문 기관이 수행해야 한다. 예를 들어 AAIM이나 AAMC, 프로그램 리더가 소집하고 모범 사례를 교환할 수 있는 메커니즘이 제공되어야 한다.

Medical students who have an interest in research but who are not enrolled in a formal MD/PhD program should consider participating in a one-year mentored research experience. Clinically trained physicians who develop an interest in pursuing research later in their professional education (e.g., subspecialty fellowship) or as junior faculty should consider participating in formal research training opportunities that may lead to a master’s and/or doctoral degree. Currently, there are limited published data on the effectiveness of these undergraduate and postgraduate training programs,40,41,44–46 so comprehensive surveys of these alternative research curricula (including content, mechanisms of support, and career outcomes of graduates) should be conducted by relevant professional organizations, such as the AAIM or AAMC, and a mechanism for program leaders to convene and exchange best practices should be provided.

PS 인력의 소모 감소를 위해 해결해야 할 요인
Factors to Address to Reduce Attrition From the PS Workforce

많은 PS들, 특히 그들의 경력 초기와 중간 단계에 있는 사람들은 전임 임상 실습에 들어가기 위해 생물의학 연구 기회를 추구하려는 그들의 원래 계획을 두고 떠난다. Attrition 사유는 다양하고 복잡하지만, 학계로부터 PS의 Attrition와 인과적으로 연결될 수 있는 식별 가능한 요인은 다음과 같다.

  • 부적절한 멘토링, 
  • PS로서의 성공에 대한 편협한 인식, 
  • 외부 지원을 위한 경쟁이 치열해지고 있습니다. 
  • 재정적 압박, 
  • 불충분한 제도적 지원, 그리고 
  • 일과 삶의 균형에 대한 어려움

Many PSs, especially those in the early and middle stages of their careers, leave behind their original plans to pursue biomedical research opportunities to enter full-time clinical practice. Reasons for attrition are numerous and complex; however, there are identifiable factors that can be causally linked to the attrition of PSs from academia, including

  • inadequate mentoring,
  • a narrow perception of success as a PS,
  • increasing competition for external support,
  • financial pressures,
  • inadequate institutional support, and
  • difficulties with work–life balance.

부적절한 멘토링
Inadequate mentoring

독립적으로 자금을 지원하는 PS로서 성공을 달성하는 것은 어려울 수 있습니다. 강력하고 적극적인 멘토링은 그 성공의 중요한 요소이다. 멘토-연수생 다이애드가 멘토십의 전통적인 모델이었지만, 몇몇 기관들은 중앙 집중식 감독, 멘토 지원 및 경력 개발을 제공하기 위해 고안된 이니셔티브를 개발했다. 확립된 연구자는 연구를 수행하는 전문 지식을 가지고 있지만, 견습생을 적극적으로 지도하는 데 필요한 기술을 개발하기 위해 추가적인 교육 지원을 요구할 수 있다. 연구 멘토 양성 프로그램이 효과가 있는 것으로 나타났다. 그러한 프로그램은 모든 의과대학에서 시행되어야 하며 진로 협상, 보조금 작성, 원고 출판, 일과 삶의 균형과 같은 분야의 공식화된 훈련을 포함해야 한다. 가정 기관, NIH 및 기타 기금 기관은 시간과 보상 측면에서 멘토에게 적절한 자원을 할당해야 한다.
Achieving success as an independently funded PS can be challenging. Strong, active mentoring is a crucial element of that success.43 While the mentor–apprentice dyad has been the traditional model of mentorship, several institutions have developed initiatives designed to provide centralized oversight, mentorship support, and career development. Established researchers, while having the expertise to perform research, may require additional educational support to develop the skill set needed to actively mentor an apprentice. Training programs for research mentors have been shown to be effective.47–49 Such programs should be implemented in all medical schools and should include formalized training in areas such as career negotiation, grant writing, publication of manuscripts, and work–life balance.47 Home institutions, the NIH, and other funding agencies should allocate adequate resources to mentors in terms of both time and compensation.

PS로서의 성공에 대한 좁은 인식
A narrow perception of success as a PS

[성공적인 PS는 NIH가 벤치 또는 초기 중개연구를 위한 PI로 자금을 지원받는다]는 인식이 많다. 하지만, 이 개념은 NIH와 다른 사람들이 가정한 [광범위한 PS의 정의]를 고려하지 않으며, 또한 다학제 연구팀이 빅데이터를 사용하고 정밀의학 이니셔티브를 발전시켜야 하는 [연구 분야 내에서의 진화]도 고려하지 않는다. 그럼에도 불구하고, 성공적인 PS를 구성하는 이러한 오래된 개념은 연구 자금과 승진 및 테뉴어(P&T)에 대한 결정에 있어서 부정적인 경력 결과를 초래할 가능성을 계속 제기한다. 따라서, 연구비 지원 기관과 AMC 모두 [PS로서 성공을 구성하는 것]에 대한 더 광범위한 기준을 개발할 필요가 있을 것이다. 
A widely held view is that a successful PS is funded by the NIH as a principal investigator for bench or early translational research.50 This notion does not take into account the broader definition of a PS as posited by the NIH and others,5 nor does it take into account the evolution occurring within the research arena that requires multidisciplinary research teams to use big data and advance precision medicine initiatives. Nonetheless, these antiquated notions of what constitutes a successful PS continue to pose the possibility of negative career consequences when it comes to decisions about research funding and promotion and tenure (P&T). Accordingly, both funding agencies and academic medical centers will need to develop broader criteria for what constitutes success as a PS.50

외부 지원 경쟁 심화
Increasing competition for external support

NIH가 지원하는 R01 보조금에 대한 PS의 최초 수상률은 2012년에 14%로 사상 최저였다. NIH로부터 보조금을 받기 위한 과정은 경쟁이 치열해졌고, 모든 연구 프로젝트 보조금에 대한 전반적인 성공률은 1997년 31%에서 2014년 18%로 떨어졌다. 자금을 성공적으로 확보하거나 지속하지 못하는 것은 흔하지만 예측할 수 없는 일이다. 그로 인해 발생하는 [다른 진로 경로와 비교했을 때에 연구자가 가지는 취약성]의 감각이 소모attrition에 기여할 수 있다. NIH가 훈련에서 독립 연구 경력으로 전환하는 동안 PS를 용이하게 하기 위해 K99/R00 Pathways to Independence Award 이니셔티브와 유사한 프로그램을 수립해야 한다는 강력한 논거를 제시한다.
The first-time award rate among PSs for an NIH-funded R01 grant was 14% in 2012, an all-time low.5 The process to receive a grant from the NIH has become more competitive, with overall success rates for all research project grants dropping from 31% in 1997 to 18% in 2014.5 The failure to successfully obtain or continue funding is a common yet unpredictable occurrence. The resulting sense of researcher vulnerability, as compared with other career pathways, can contribute to attrition. It makes a strong case for the NIH to establish a program similar to its K99/R00 Pathway to Independence Award initiative to facilitate PSs during their transition from training to an independent research career.

학술 기관들은 연방 및 주 기관, 전문 협회 및 사회, 제약 산업을 포함한 민간 부문과 같은 다른 자금 공급원과의 제휴를 고려할 필요가 있다. 빅데이터가 성장하면서 구글, 아마존과 같은 기업과 제휴할 기회도 존재한다. PS에게 이러한 다양한 자금 출처에 접근할 수 있는 지식과 도구를 제공하기 위해서는 효과적인 멘토링과 경력 개발이 필요할 것이다.

Academic institutions need to consider partnering with other sources of funding, such as federal and state agencies, professional associations and societies, and the private sector, including the pharmaceutical industry. With the growth of big data, opportunities also exist to partner with companies such as Google and Amazon. Effective mentorship and career development will be needed to provide PSs with the knowledge and tools to be able to access these diverse funding sources.

재정적 압박
Financial pressures

의대와 대학원 교육 동안, 임상 실습에서의 경력에 비해, PS 커리어를 선택할 때 따르는 재정적 디스인센티브가 있다. 즉, 교육 부채에 대한 부담이 훨씬 더 커지고 안정적인 유급 고용에 대한 자격이 상당히 지연될 가능성이 있다. 비록 MD/PhD 학생이 펠로우십을 통해 지원을 받는다고 해도, 의사 후 연구 훈련과 함께 의과대학 훈련의 상당한 기간(7년 이상)은 생물의학 연구 분야에서 가장 헌신적인 젊은 과학자를 제외한 모든 과학자들을 멀어지게 하기에 충분하다. 아무리 좋은 시나리오라도 PS는 36세에 테뉴어 트랙의 후보자가 된다. 그러나 많은 PS는 테뉴어 트랙 포지션에 대한 수요가 공급을 초과하기 때문에 몇 년 더 포스닥의 지위를 유지한다. 종종, 그들의 조교수로의 고용과 임명은 공식적으로 또는 비공식적으로 NIH의 성공적인 자금 지원(예: K 또는 R 상)에 좌우되지만, MD가 첫 R01을 받은 PS의 평균 연령은 43.8세이다. MD/PhD를 가진 사람들의 평균 연령은 44.3세이다. 많은 PS는 첫 번째 교직원 임명을 시작할 때 큰 부채 부담을 가지고 있는데, 이 상황은 상당한 재정적 압박을 유발하고 가족의 안정적인 지원을 위한 수단을 제공하지 못한다.

During both medical school and postgraduate training, there is a financial disincentive to pursue a PS career relative to a career in clinical practice—that is, there is the potential for a much greater burden of educational debt and a significant delay in eligibility for stable, paid employment.7,51,52 Even if an MD/PhD student is supported through a fellowship, the significant duration of medical school training (seven years or longer), coupled with incremental postdoctoral research training, is sufficient to sway all but the most committed young scientists away from a career in biomedical research. In a best-case scenario, a PS becomes a candidate for a tenure-track position at the age of 36.5 However, many PSs retain their postdoctoral status for several additional years because the demand for tenure-track positions exceeds the supply.52 Often, their employment and appointment as assistant professor are formally or informally contingent on successful funding from the NIH (such as a K or R award), yet the average age of PSs with an MD receiving their first R01 is 43.8 years; for those with an MD/PhD, the average age is 44.3 years.5 Many PSs have large debt burdens when beginning their first faculty appointment, a situation that creates substantial financial duress and does not provide the means for the stable support of a family.

제도적 지원 부족
Inadequate institutional support

제도적 지원은 여러 가지 형태를 취할 수 있으며 임상의사나 박사 연구자와 같은 다른 사람과 비교할 때 PS의 고유한 요구의 결과인 경우가 많다. PS는 연구에 소비하거나 연구 자금 확보에 적용할 수 있는 시간에 영향을 미치는 증가하는 양의 임상 수익을 창출해야 한다. 비슷하게, PS는 종종 임상의 동료들보다 적은 임금을 받으며 종종 외부 자금을 통해 그들의 급여와 연구팀의 다른 사람들의 급여의 많은 부분을 충당할 것으로 기대됩니다. 불행하게도, 그들이 소속된 기관은 외부 자금 부족이 발생할 때, [브리지 연구비 지원]을 제대로 제공하지 않는 경우가 많다. 마지막으로, PS에 대한 P&T 지표는 종종 시대에 뒤떨어지고 팀 과학에 대한 기여, 독립 PS로서의 경력을 확립하는 데 계속 증가하는 시간 또는 빅 데이터, 정밀 의료 및 팀 과학 분야에서 충족되어야 하는 요구를 고려하지 않는다.

Institutional support can take several forms and is often the result of the unique needs of PSs when compared with others, such as clinicians or PhD researchers. PSs are asked to generate increasing amounts of clinical revenue, which affects the time they can spend on their research or apply to securing research funding.52 Similarly, PSs are often paid less than their clinician counterparts and are often expected to obtain a large portion of their salary, and the salaries of others on their research team, through external funding. Unfortunately, their home institutions are often not optimally forthcoming with bridge funding when lapses of external funding occur.7 Finally, the metrics for P&T for PSs are often outdated and fail to take into account contributions to team science, the ever-increasing length of time needed to establish a career as an independent PS, or the demands that will need to be met within the arenas of big data, precision medicine, and team science.

일과 삶의 균형에 대한 어려움
Difficulties with work–life balance

PS는 일반적으로 그들 중 많은 수가 가정을 꾸리고 있는 시점에서 노동력으로 들어가고 있다. 일과성 비경력적 책임(예: 가족 및 건강 문제)은 종종 PS가 일시적으로 인력에서 이탈할 것을 요구할 수 있다. PS들이 소속된 기관은 직장과 가정의 경쟁적인 요구를 수용하고, 가능한 한 유연한 옵션을 제공하며, 결과적으로 PS 직원의 경력 궤적이 악영향을 받지 않도록 해야 한다. [세대 차이]는 후배들에게 매력적이지 않은 작업 환경으로 이어질 수 있다. 예를 들어, 현재 의대에 입학하는 개인과 하위 교수로 학계에 입학하는 사람들은 일과 삶의 균형을 점점 더 중요하게 생각한다. 이러한 가치 체계를 뒷받침하는 연구들은 일과 삶의 균형을 이루는 것이 스트레스, 감정적 피로, 그리고 소진을 줄일 수 있다는 것을 증명했다. 
PSs are generally entering the workforce at a time when many of them are also starting families. Episodic noncareer responsibilities (e.g., family and health issues) can often demand that PSs temporarily remove themselves from the workforce. PSs’ home institutions need to accommodate the competing demands that work and family often present, provide flexible options whenever possible, and ensure that the career trajectories of their PS faculty are not adversely affected as a result. Generational differences may lead to work environments that are unappealing to junior faculty. For example, individuals now entering medical school and those entering academia as junior faculty increasingly value a balance between work and life. Supporting this value system, studies have demonstrated that achieving a work–life balance can reduce stress, emotional exhaustion, and burnout.47,53,54

PS 인력 소모 감소를 위한 권장 사항
Recommendations Aimed at Reducing Attrition From the PS Workforce

PS 파이프라인의 소모 감소를 위한 AAIM 컨센서스 컨퍼런스 권고안은 다음과 같았다.
The AAIM consensus conference recommendations for reducing attrition from the PS pipeline were to

  • (1) "멘토 양성" 교육을 포함한 정형화된 멘토링 프로그램 구현 및 멘토링 결과의 주기적인 검토
  • (2) 교육에서 독립적 연구 경력으로의 PS 전환을 지원하는 것을 특별히 목표로 하는 보조금 프로그램을 수립한다.
  • (3) NIH 또는 VA 경력 개발 보조금을 수여받은 개인에 대한 학자금 대출 상환 기회를 확대한다.
  • (4) 경력개발상(Career Development Awards)에 등재된 멘토에게 급여 지원을 제공한다.
  • (5) PS 간 부서 전체의 급여 형평성을 보장한다.
  • (6) 보호 시간 제공 및 필요한 경우 교량 자금 지원을 통해 PS 교수진이 독립적인 연구자가 될 수 있는 안정적인 환경을 제공한다.
  • (7) 생물의학 발전에 대한 PS의 기여에 대한 환경의 변화를 수용하고 P&T 의사결정 과정에 투명성을 유지하기 위해 P&T 기준을 재고한다.
  • (8) 산업계와의 파트너십 확대를 포함한 연구 및 연구 자금 지원을 위한 새로운 방법을 추구한다.
  • (9) PS 경력 개발 데이터 저장소(목록 1)를 구축한다.

 

  • (1) implement formalized mentoring programs, including “mentoring the mentor” training, and periodic reviews of mentoring results;
  • (2) establish grant programs specifically targeted to supporting the PS transitioning from training to an independent research career;
  • (3) expand student loan repayment opportunities for individuals who are awarded an NIH or a VA career development grant;
  • (4) provide salary support for mentors named on career development awards;
  • (5) ensure department-wide salary equity among PSs;
  • (6) provide a stable environment for PS faculty to become independent researchers through provision of protected time and, when necessary, bridge funding;
  • (7) reconsider criteria for P&T to accommodate the changing environment for PSs’ contributions to biomedical advances and be transparent in P&T decision-making processes;
  • (8) pursue new avenues for research and research funding, including expanding partnerships with industry; and
  • (9) establish a repository for PS career development data (List 1).

 

"멘토 멘토링" 교육을 비롯한 정형화된 멘토링 프로그램 구현 및 멘토링 결과 주기적 검토
Implement formalized mentoring programs, including “mentoring the mentor” training, and periodic reviews of mentoring results

정형화된 멘토링 프로그램은 멘티 뿐만 아니라 궁극적으로 교수진의 성공을 통해 기관의 명성을 높일 수 있다. 따라서 팀 기반, 다세대, 다기관 및 다문화 멘토링 그룹은 기관의 하위 교수진에게 광범위하고 긍정적인 영향을 미칠 수 있다. 멘토링 주제는 여러 분야를 다루어야 한다. 구체적인 연구 주제 외에도, 멘토링은 연구의 책임있는 수행, 연구비 지원서 작성, 원고 출판, 리더십, 경력 협상 및 일과 삶의 균형 등에 대해 제공되어야 한다. 멘토 양성 및 멘토링 결과의 주기적인 평가는 기관의 멘토링 프로그램의 필수 구성 요소가 되어야 한다.

Formalized mentoring programs may help not only the protégé but may also ultimately enhance the reputation of the institution through the successes of its faculty. Team-based, multigenerational, multi-institutional, and multicultural mentoring groups, therefore, could have a wide-reaching and positive impact on an institution’s junior faculty members. Mentoring topics should cover several areas; in addition to specific research topics, mentoring should be provided on the responsible conduct of research, grant writing, publication of manuscripts, leadership, career negotiation, and work–life balance. Training of mentors and periodic evaluations of mentoring results should be required components of an institution’s mentoring program.

교육에서 독립적 연구 경력으로의 PS 전환을 지원하기 위한 특별 보조금 프로그램 수립
Establish grant programs specifically targeted to supporting the PS transitioning from training to an independent research career

전환 기간은 젊은 PS에게 특히 취약한 시기이며, PS가 [Training에서 독립적인 연구 커리어로 전환되는 시기]는 이탈Attrition 현상이 발생할 가능성이 더 높은 시기이다. NIH는 현재의 K99/R00 프로그램과 유사한 이 전환 단계에서 PS를 보호하기 위해 특별히 지정된 기금을 적립해야 한다. NIH 연구 섹션은 많은 예비 데이터를 수집하지 않았을 수 있는 매우 유망한 개인을 수용하기 위해 그들의 기대를 재보정할 필요가 있다.
Periods of transition are a particularly vulnerable time for young PSs, and the period when a PS is transitioning from training to an independent research career is one in which attrition may be more likely occur. The NIH must set aside funds specifically designated for PSs with the purpose of protecting them in this transition phase, similar in nature to the current K99/R00 program. NIH study sections need to recalibrate their expectations to accommodate highly promising individuals who may not have amassed a large body of preliminary data.

NIH 또는 VA 경력 개발 보조금을 받은 개인에 대한 학자금 대출 상환 기회 확대
Expand student loan repayment opportunities for individuals who are awarded an NIH or a VA career development grant

많은 PS는 많은 양의 학자금 대출 채무를 축적했는데, 이것은 학계를 떠나 더 수익성이 높은 직업을 가지기로 한 결정에 영향을 미칠 수 있다. NIH 대출 상환 프로그램은 생물의학 연구 경력을 쌓기 위해 자격을 갖춘 의료 전문가를 모집하고 유지하는 것을 돕기 위해 고안되었습니다. 이러한 대출 상환 프로그램 참여자들은 연구 경력을 더 오래 유지하고, 더 많은 연구 보조금을 신청하고 수령하며, 독립적인 조사원이 될 가능성이 더 높은 것으로 나타났다. PS에 대한 대출 상환 기회가 강화되어야 한다.

Many PSs have amassed large amounts of student loan debt, which can factor into their decision to leave academia for a more lucrative profession. NIH loan repayment programs are designed to help recruit and retain highly qualified health professionals into biomedical research careers. Participants in these loan repayment programs have been shown to remain in research careers longer, apply for and receive more research grants, and be more likely to become independent investigators.55 Loan repayment opportunities for PSs should be enhanced.

경력개발상에 선정된 멘토에 대한 급여 지원 제공
Provide salary support for mentors named on career development awards

멘토 경력 개발 상을 받은 젊은 조사원들은 주로 다른 일정이 멘토링 일정보다 우선하기 때문에, 그들은 종종 그들의 멘토들과 함께 보낸 시간을 그들의 기금 기관에 과도하게 보고한다고 지적한다. NIH와 다른 기금 기관은 멘토가 독립적인 연구 경력을 확립하려는 젊은 연구원들의 개발에 수행하는 중요하고 시간이 많이 걸리는 역할을 인식할 필요가 있다. 멘토는 자신의 시간에 대한 보상을 받아야 하며, 자신의 노력과 생산성에 대해 보고할 때 멘토링에 소요된 시간의 비율을 공식적으로 기록할 수 있어야 합니다.
Young investigators with mentored career development awards note that they often overreport the time spent with their mentors to their funding agency,5 mainly because their mentors’ other commitments sometimes take precedence over their mentoring needs. The NIH and other funding agencies need to recognize the important and time-consuming role that mentors play in the development of young investigators looking to establish independent research careers. Mentors should be compensated for their time and allowed to formally record the percentage of time spent mentoring when reporting on their levels of effort and productivity.

PS 간 부서 전체의 급여 형평성 보장
Assure department-wide salary equity among PSs

몇몇 의과대학에서 급여 형평성이 해결되지 않은 채로 남아 있다는 것은 널리 인식되고 있으며, 특히 젠더 간 불평등의 가장 높은 원인이 된다. 부서 의장은 급여 정책을 투명하게 하고, 급여 지급자에게 급여 지급을 제안할 때 급여 분배와 스타트업 패키지에 대해 논의해야 하며, 이후 정기적으로 부서 직원들에게 급여 분배를 보고해야 한다.
It is widely recognized that salary equity remains unresolved in several of the nation’s medical schools, with gender as the highest source of disparity.56,57 Department chairs should be transparent in their salary policies, discuss salary distribution and startup packages when offering a salaried position to a PS, and report salary distributions to department faculty on a periodic basis thereafter.

보호 시간 제공 및 필요한 경우 브리지 자금 지원을 통해 PS 교수진이 독립적인 연구자가 될 수 있는 안정적인 환경 제공
Provide a stable environment for PS faculty to become independent researchers through provision of protected time and, when necessary, bridge funding

PS의 경력 개발은 장기적인 투자입니다. 소득 발생은 수년 단위의 latency period 이후에야 증가한다. 부서 의장과 그 기관은 젊은 PS의 기능과 궤적에 대한 광범위한 비전을 수용하고 이러한 지연을 반영하는 장기 예산을 구성해야 한다. 여기에는 멘토링 감독, 경력 개발 프로그래밍, 보조금 검토, 동료에서 교직원으로의 전환을 위한 자금 지원 등이 포함될 수 있다. 새로운 PS 교수진들이 [연구 경력을 발전]시키면서, 동시에 [자신의 급여를 지원할 수 있을 만큼 충분한 임상 수익을 창출]할 수 있다는 기대는 비현실적이다. 또한 부서 의장은 PS 교수진의 장기적인 일과 삶의 균형을 수용할 수 있는 유연한 옵션을 제공하는 것을 적극적으로 고려해야 한다.
The career development of a PS is a long-term investment; income generation usually increases only after a latency period that is measured in years. Department chairs and their institutions must embrace a broad vision of the function and trajectory of the young PS and construct a long-term budget that reflects this delay. This may include providing mentorship oversight, career development programming, grant reviews, and funding support for the transition from fellow to faculty.58 The expectation that new PS faculty members can generate clinical revenue sufficient to support their salaries while simultaneously developing their research careers is unrealistic. Additionally, department chairs should actively consider providing flexible options to accommodate their PS faculty members’ long-term work–life balance.

생물의학 발전에 대한 PS의 기여에 대한 환경의 변화를 수용하고 P&T 의사결정 과정에 투명성을 유지하기 위해 P&T 기준을 재고한다.
Reconsider criteria for P&T to accommodate the changing environment for PSs’ contributions to biomedical advances and be transparent in P&T decision-making processes

팀 기반 연구는 P&T 심의에서 적절하게 평가되어야 한다. 전통적으로 개별 연구는 금본위제였지만, 지식의 진보가 여러 분야의 기여를 필요로 하는 시대에 팀 기반 연구는 점점 더 일반화되고 중요해지고 있다. P&T 위원회는 현재의 연구 방향을 뒷받침하기 위해 연구자의 필수 기여자로서의 지위를 인정하고 누가 주 연구원으로 지명되든 간에 성공적으로 자금을 지원받은 보조금 제안을 장학금의 증거로 간주하는 정책을 개발해야 한다. 팀 과학 연구의 모델 내에서, 논문의 1저자 자리를 위한 경쟁에 대한 강조는 없어야 한다deemphasized. 마지막으로, 승진 및 종신 재직권 수여에 추가 시간이 필요한 PS에 대한 P&T 고려사항은 패널티 없이 제공되어야 한다.
Team-based research must be valued appropriately in P&T deliberations. Traditionally, individual research has been the gold standard; however, team-based research is becoming increasingly common and more important in an era where advancement of knowledge requires the contributions of multiple disciplines. In support of the current direction of research, P&T committees must develop policies that recognize a researcher’s status as an indispensable contributor and consider a successfully funded grant proposal as evidence of scholarship regardless of who is named as the principal investigator. Within the model of team science research, competition for first-author position on a publication should be deemphasized. Finally, P&T considerations for PSs needing additional time for promotion and the award of tenure should be provided without penalty.

산업계와의 파트너십 확대를 포함한 연구 및 연구 자금 지원을 위한 새로운 방법 모색
Pursue new avenues for research and research funding, including expanding partnerships with industry

비록 NIH가 PS에 대한 대부분의 연구 지원을 제공하지만, 그것이 유일한 지원원으로 여겨져서는 안 된다. 다른 연방 및 주 정부 기관 외에도 민간 및 공공 재단, 전문 사회 및 협회, 산업 및 외국 소스도 연구에 기꺼이 자금을 대려고 한다. 빅 데이터 이니셔티브가 보편화됨에 따라 기관들은 상호 이익이 될 수 있는 파트너십을 수용할 수 있게 될 것입니다.

Although the NIH provides the majority of research support for PSs, it should not be considered the only source of support. In addition to other federal and state agencies, private and public foundations, professional societies and associations, industry, and foreign sources are often willing to fund research. As big data initiatives become more commonplace, institutions would be well served to accommodate partnerships that can be mutually beneficial.

PS 커리어 개발 데이터 저장소 구축
Establish a repository for PS career development data

PS에 대한 [연구 커리어 개발 과정의 개선을 위한 합리적인 계획을 세울 수 있는 자료]가 부족하다. 데이터 저장소는 향후 의사 결정을 위한 강력한 기반을 제공합니다. 최소한 리포지토리는 다음을 포함해야 합니다.

  • (1) 사용된 훈련 경로에 대한 설명
  • (2) 외부 연구비 지원,
  • (3) 성공적으로 지원된 외부 연구비,
  • (4) 모든 교육을 완료한 후 최소 5년 동안 수집된 PS에 대한 임명 및 고용 데이터.

There is a paucity of data with which to make rational plans for improvement in the research career development process for PSs. A data repository would provide a strong foundation for future decisions. At a minimum, the repository should include

  • (1) a description of training pathways used,
  • (2) external grant applications,
  • (3) external grants successfully funded, and
  • (4) appointment and employment data for PSs collected for a period of at least five years after completion of all training.

요약
Summary

PS 노동력의 적절한 평가는 생물의학 연구의 세계 리더로서의 미국의 지위를 유지하는 데 매우 중요하다. 앞으로, 학술 기관, 정부, 그리고 민간 부문은 직업 선택으로서 생물의학 연구의 일반적인 분야를 홍보하기 위해 협력해야 한다. K-12 교육 시스템의 과학 및 수학 커리큘럼의 향상과 현재 노동력에서 대표성이 부족한 다양한 그룹에 대한 직업 선택으로서의 PS의 홍보도 있어야 한다. 
The proper valuing of the PS workforce is critical to maintaining the status of the United States as the world leader in biomedical research. Moving forward, academic institutions, the government, and the private sector must work together to promote the general field of biomedical research as a career option through the enhancement of science and math curricula in the K–12 education system and the promotion of the PS as a career choice to diverse groups that are currently underrepresented in the workforce.

학문의학은 또한 팀 과학, 빅데이터, 정밀의학을 육성함으로써 생물의학 발전이 달성되는 새로운 방식을 수용해야 하며, 이러한 시책에 관여하는 연구자들이 인정받을 수 있는 메커니즘을 확립해야 한다. 강력하고 실행 가능한 멘토 프로그램을 통해 젊은 PS 교수진을 지원하고 바람직한 독립 연구 경력을 확립하는 데 필요한 지원을 제공하는 조치가 시행되어야 한다. 학계는 관심 있는 젊은 의사들이 연구 경로를 추구하도록 장려하고 모든 진로가 번창하도록 강력한 수준의 지원을 제공하는 효율적인 진로를 만들고 감독해야 한다. 마지막으로, 산업 및 기타 원천과의 새롭고 창의적인 파트너십은 생물의학 발전에 자금을 지원하는 데 도움이 될 수 있다.

Academic medicine must also embrace the new ways in which biomedical advances are achieved by fostering team science, big data, and precision medicine, and must establish mechanisms for researchers involved in these initiatives to be recognized. Measures must be implemented to support young PS faculty through strong, viable mentorship programs and the provision of the support necessary to establish desirable independent research careers. Academia must create and oversee efficient career tracks that encourage interested young physicians to pursue a research pathway and provide robust levels of support so that all career pathways will flourish. Finally, new and creative partnerships with industry and other sources could help fund biomedical advances.

 

 


 

Acad Med. 2018 Apr;93(4):565-573. doi: 10.1097/ACM.0000000000001950.

U.S. Physician-Scientist Workforce in the 21st Century: Recommendations to Attract and Sustain the Pipeline

Affiliations collapse

Affiliation

1R.A. Salata is STERIS Endowed Chair of Excellence in Medicine, professor, and chair, Department of Medicine, Case Western Reserve University, University Hospitals Cleveland Medical Center, Cleveland, Ohio. M.W. Geraci is John B. Hickam Professor of Medicine and chair, Department of Medicine, Indiana University School of Medicine, Indianapolis, Indiana. D.C. Rockey is professor and chair, Department of Internal Medicine, Medical University of South Carolina, Charleston, South Carolina. M. Blanchard is professor and chief of medical education, Department of Internal Medicine, Washington University School of Medicine, St. Louis, Missouri. N.J. Brown is professor and chair, Department of Medicine, Vanderbilt University School of Medicine, Nashville, Tennessee. L.J. Cardinal is assistant professor and program director, Internal Medicine Residency Program, Stony Brook University School of Medicine, Stony Brook, New York, and John T. Mather Memorial Hospital, Port Jefferson, New York. M. Garcia is associate professor and associate director, Internal Medicine Residency Program, University of Massachusetts Medical School, Worcester, Massachusetts. M.P. Madaio is professor and chair, Department of Medicine, Medical College of Georgia, Augusta, Georgia. J.D. Marsh is professor and chair, Department of Medicine, University of Arkansas for Medical Science, Little Rock, Arkansas. R.F. Todd III is professor emeritus, Department of Medicine, Baylor College of Medicine, Houston, Texas.

PMID: 28991849

PMCID: PMC5882605

DOI: 10.1097/ACM.0000000000001950

Abstract

The U.S. physician-scientist (PS) workforce is invaluable to the nation's biomedical research effort. It is through biomedical research that certain diseases have been eliminated, cures for others have been discovered, and medical procedures and therapies that save lives have been developed. Yet, the U.S. PS workforce has both declined and aged over the last several years. The resulting decreased inflow and outflow to the PS pipeline renders the system vulnerable to collapsing suddenly as the senior workforce retires. In November 2015, the Alliance for Academic Internal Medicine hosted a consensus conference on the PS workforce to address issues impacting academic medical schools, with input from early-career PSs based on their individual experiences and concerns. One of the goals of the conference was to identify current impediments in attracting and supporting PSs and to develop a new set of recommendations for sustaining the PS workforce in 2016 and beyond. This Perspective reports on the opportunities and factors identified at the conference and presents five recommendations designed to increase entry into the PS pipeline and nine recommendations designed to decrease attrition from the PS workflow.

 

프로포절 준비 프로그램: NIH 연구비 지원 촉진을 위한 그룹 멘토링, 교수개발 모델(Acad Med, 2022)
The Proposal Preparation Program: A Group Mentoring, Faculty Development Model to Facilitate the Submission and Funding of NIH Grant Applications
Anne Marie Weber-Main, PhD, Kimberly A. Thomas-Pollei, PhD, John Grabowski, PhD, Clifford J. Steer, MD, Paul D. Thuras, PhD, and Matt G. Kushner, PhD 

 

 

학술 의학academic medicine 분야의 연구 중심적 교직원은 보조금 제안서 개발, 특히 NIH(National Institutes of Health) 애플리케이션의 형태와 기능 면에서 높은 수준의 역량을 개발해야 합니다. 전통적으로, 초기 경력 조사관들은 "사회적 견습생social apprenticeship"을 통해 연구비신청서 쓰기 기술을 개발했습니다. 이 과정은 경험이 풍부한 연구자들의 멘토링에 크게 의존하지만, 동료들과의 상호작용, 자금 조달 기관 관계자와의 토론, 성공적인 애플리케이션의 모델링, 검토 패널 참여 및 검토자의 비평 분석을 포함할 수도 있다. 그러나, 멘토링 능력이 강한 환경에서도, 다른 요소들은 사회적 견습제도에 부담을 줄 수 있다. 예를 들어, 선임 조사관senior investigators 은 자신의 제안을 개발하고 (다시) 제출해야 하며, 진행 중인 프로젝트를 실행해야 합니다.이 때문에, 이러한 어려운 과제에 대해 다른 사람에게 조언할 수 있는 시간이 잠식될 수 있습니다.

Research-intensive faculty members in academic medicine must develop a high level of competency in grant proposal development, particularly the form and function of National Institutes of Health (NIH) applications. Traditionally, early-career investigators develop grant-writing skills through “social apprenticeship.” 1 This process relies heavily on mentoring from experienced researchers but can also involve interactions with peers, discussions with funding agency officials, modeling of successful applications, participation on review panels, and analysis of reviewers’ critiques. 2,3 Even in environments with a robust mentoring capacity, however, other factors can strain the social apprenticeship system. For example, senior investigators must develop and (re)submit their own proposals, as well as execute ongoing projects, which can erode the time they have available to mentor others in this challenging task.

박사 전 및 박사 후 프로그램과 과학 학회는 이러한 훈련 요구에 대응하기 위해 점점 더 많은 연구비지원서 쓰기 과정, 세미나 및 워크샵을 제공하고 있습니다. 비슷한 노력이 여러 AHC에 걸쳐 일어났다. 임상 및 번역과학상 허브는 KL2 학자를 대상으로 한 집중적인 보조금 쓰기 훈련, 연구 자금을 요구하는 커뮤니티 및 학술 팀에 대한 지원, 프로젝트 리더 역할로 이행하는 이들을 위한 워크숍 기반 커리큘럼과 멘토링 등 초기 경력 교직원에게 다양한 프로그램을 제공하고 있습니다. 이와 같은 포괄적인 프로그램은 연구비 취득을 촉진하지만, 지원 가능한 investigator의 수에 제한이 있습니다.또, 참가자와 함께 일하는 멘토가, 실제로 학자가 복잡한 제안서 작성 프로세스를 성공적으로 진행하는데 필요한 수준의 피드백을 제공하고 있다는 보장은 없습니다.
Pre- and postdoctoral programs and scientific societies increasingly offer grant-writing courses, seminars, and workshops to address this training need. 4–8 Similar efforts have occurred across academic health centers. Clinical and Translational Science Award hubs offer a variety of programs to early-career faculty including intensive grant-writing training for KL2 scholars, assistance to community–academic teams seeking research funding, and a workshop-based curriculum plus mentorship for those transitioning to research project leadership roles. 9–14 Comprehensive programs such as these promote grant acquisition but are limited in how many investigators they can support. 9 Moreover, there is no guarantee that the mentors with whom participants choose to work are actually providing the level of feedback that scholars need to successfully navigate the complex proposal writing process.

미네소타 대학 의과대학 의과대학에서의 이 트레이닝의 요구에 대응하기 위해서, 2007년에 시니어 교수가 연구비지원서 작성 그룹을 실시했습니다. 이것은 경험이 풍부한 교수진이 NIH에 대한 첫 번째 제안서를 작성하기 위해 적극적으로 후배 교수진을 지도한 4개월간의 소그룹 세션이었습니다. 이 이니셔티브는 호평을 받아 그 이후에도 지속적으로 제안되었으며, 제안 준비 프로그램(P3)의 설립을 예고했습니다. 시간이 지남에 따라 다른 부서의 교수들이 P3에 정기적으로 참여하기 시작했고, P3의 관리와 자금 지원은 교무처(Office of Faculty Affairs)가 담당하게 되었습니다. 현재, 3개의 P3 사이클이 연간 제공되고 있으며, 각 사이클은 3개의 표준 NIH 연간 제출 마감일 중 약 1개월 전에 종료되도록 구성되어 있습니다. 2020년 겨울 현재, P3는 13년간 계속 운영되고 있으며, 25개 이상의 학과에서 271명이 입학하고 있다.
To address this training need in the University of Minnesota Medical School’s Department of Medicine, senior faculty implemented a grant-writing group in 2007. This was a 4-month-long series of small group sessions in which experienced faculty actively guided junior faculty in developing their first proposal to the NIH. This initiative was well received and continuously offered thereafter, heralding the establishment of what became the Proposal Preparation Program (P3). Over time, faculty from other departments began routinely participating in P3, leading to its management and funding being assumed by the medical school’s Office of Faculty Affairs (OFA). Presently, 3 P3 cycles are offered annually, each structured to end approximately 1 month before 1 of the 3 standard NIH annual submission deadlines. As of winter 2020, P3 has operated continuously for 13 years, matriculating 271 individuals from over 25 departments.

이 기사에서는 유사한 이니셔티브를 구현하고자 하는 독자들의 이익을 위해 P3에 대해 설명합니다. 먼저 프로그램의 교육학적 원칙과 운영 절차를 개략적으로 설명하겠습니다. 다음으로 참가자에 대한 데이터(인구학적 특성, 제안서 제출 및 자금 지원 결과, 자체 보고 기술 획득)와 프로그램에 대한 양적 및 질적 피드백을 제시한다. P3에 대한 제도적 투자수익률, 한계 및 향후 방향에 대한 논의로 마무리한다.

This article describes P3 for the benefit of readers who might wish to implement a similar initiative. We begin by outlining the program’s pedagogical principles and operating procedures. Next, we present data for participants (demographic characteristics, grant proposal submission and funding outcomes, self-reported skills gains) and their quantitative and qualitative feedback on the program. We conclude with a discussion of institutional return on investment in P3, limitations, and future directions.

 

교육학적 원칙
Pedagogical Principles

P3는 소규모 P3 멘토 팀이 NIH 보조금 제안을 적극적으로 작성하는 후배 교수 집단과 협업하는 [그룹 멘토링 모델]을 채택하고 있다. 멘토와 참가자는 4개월에 걸쳐 10번 만나 간단한 교육적 프레젠테이션을 한 후 세션 사이에 검토된 각 참가자의 초안 작성에 대해 논의합니다(그림 1). 이 프로그램은 모의 NIH 리뷰 세션으로 끝납니다. P3의 운영 세부 사항은 시간이 지남에 따라 발전해 왔지만, 그 근본적인 교육학적 원칙은 변하지 않았습니다.
P3 employs a group mentoring model in which a small team of P3 mentors work collaboratively with a cohort of junior faculty actively writing NIH grant proposals. Mentors and participants meet 10 times over 4 months for brief didactic presentations followed by discussion of each participant’s developing drafts as reviewed between sessions (Figure 1). The program concludes with a mock NIH review session. Although P3’s operational details have evolved over time, its underlying pedagogical principles have remained constant.

 

원칙 1
Principle 1

생물의학 연구비 신청은 매우 미묘한nuanced 장르로, 숙달하기 어렵고, 일반적으로 가르쳐지지 않습니다. 대부분의 교직원이 P3에 참여하고 있는 것은 만족스러운 과학적 글쓰기 기술뿐 아니라, 수준 높은 연구 제안서에서 기대되는 구체적인 내용, 수사 패턴, 그래픽 요소 및 조직 구조에 대한 지식이 거의 없기 때문입니다. P3 멘토는 이러한 [암묵적 글쓰기 규범]을 적용하는 데 풍부한 경험을 가지고 있으며, 경험이 적은 조사관에게 자신의 글이 리뷰어의 장르 중심 기대에 얼마나 부합하는지 평가하고 이러한 기대를 더 잘 충족시키기 위한 전략적 수정을 시행하는 데 있어 효과적으로 지도할 수 있습니다.
The biomedical research grant application is a highly nuanced and distinct genre of writing that is challenging to master and not typically taught. 3,15,16 Most faculty join P3 with satisfactory scientific writing skills but little knowledge of the specific content, rhetorical patterns, graphic elements, and organizational structure expected in high-quality research proposals. P3 mentors, who have extensive experience in applying these implicit writing norms, can effectively guide less experienced investigators in evaluating how well their writing is meeting reviewers’ genre-driven expectations and in implementing strategic revisions to better satisfy these expectations.

원칙 2
Principle 2

연구비지원서 작성 기술은 고품질 피드백과 성찰 연습의 반복 사이클을 통해 효과적으로 개발될 수 있습니다. P3는 대부분의 단기 보조금 작성 워크숍에서 제공하는 간단한 지침을 훨씬 능가합니다. 참가자들은 몇 달 동안 반복적인 쓰기/검토 과제를 완료함으로써 어려운 스킬을 체계적이고 신중하게 연습합니다. Revision은 다양한 전문지식을 가진 멘토 및 동료들의 피드백 주기에 따라 이루어집니다. 게다가, 학습은, 고부가가치의 단기적 목표, 즉 자신의 연구를 위한 자금을 얻고자하는, 참가자의 내재적 동기 부여에 의해서 촉진된다.
Grant-writing skills can be effectively developed through iterative cycles of high-quality feedback and reflective practice. 17–19 P3 goes well beyond the brief instruction offered by most short-term grant-writing workshops. Participants engage in several months of systematic, deliberative practice of a difficult skill through completing iterative writing/review assignments. Revisions are guided by cycles of feedback from mentors and peers with diverse expertise. Moreover, learning is facilitated by the intrinsic motivation of participants pursuing a high-value, near-term objective: acquiring funding for their own research.

원칙 3
Principle 3

과학 작문에서의 기술 개발 및 생산성은 훈련을 [능동적인 학습자로 이뤄진 소규모 동료 그룹 내에 배치함]으로써 향상됩니다. P3 참가자들은 자신의 작품에 대한 피드백뿐만 아니라 동료들이 개발한 비평 초안도 받습니다. 이 접근방식은 참가자들이 다른 사람들과 연습 사이클에 참여하고 모방(또는 회피)하기 위해 다른 글쓰기 예에 노출되기 때문에 [대리 학습vicarious learning]을 촉진합니다. 리뷰어로서, 참가자들은 독자의 관점에서 공감하는 것을 보다 쉽게 개발하면서 자신의 글에서 최대한 명확성을 추구합니다. 초안을 평가하고 정기적으로 문제 영역에 대처하는 프로세스는 쓰기 과제를 정상화하는 데 도움이 됩니다. 또한 쓰기 프로세스의 고유한 분리를 완화하면서 쓰기 생산성을 지원하는 구조와 책임도 제공합니다.
Skill development and productivity in scientific writing are enhanced by situating training within small peer groups of active learners. 20–23 P3 participants not only receive feedback on their work but also critique drafts developed by their peers. This approach promotes vicarious learning, as participants are engaging in practice cycles with others and exposed to other writing examples to emulate (or avoid). As reviewers, participants more readily develop empathy from a reader’s perspective while striving for maximum clarity in their own writing. The process of evaluating drafts and addressing problem areas at regular intervals helps normalize writing challenges. It also provides structure and accountability to support writing productivity while mitigating the inherent isolation of the writing process.

원칙 4
Principle 4

퀄리티를 높이려면, 다양한 과학자들이 쉽게 이해할 수 있도록 연구비 지원서를 작성해야 한다. P3는 많은 NIH 스터디 섹션 멤버들과 마찬가지로 멘토와 참여자들이 일반적으로 연구 주제와 특정 참가자들의 응용 프로그램에 대한 접근법에 대한 깊은 콘텐츠 지식이 부족하기 때문에 본질적으로 이 목표를 홍보합니다. P3 피드백 프로세스는 참가자들에게 높은 수준의 명확성(예: 분야별 전문 용어 최소화)특수성(예: 비전문가 독자들에게 과학적 질문의 중요성을 전달)을 가지고 프로젝트의 요소를 설명하도록 촉구한다. 이러한 요구사항은 가려졌을지도 모르는 약점을 조명하고, 가독성을 개선합니다. 중요한 것은 프로그램의 최종 모의 NIH 검토 세션이 참가자들의 제안이 [각 분야의 최첨단 기술을 반영]하도록 하기 위해 구체적으로 구현되었다는 점이다.

Writing a grant application so that it can be easily understood by a wide range of scientists contributes to its quality. 16,24 P3 inherently promotes this goal because its mentors and participants—like many NIH study section members—commonly lack deep content knowledge in the research topics and approaches in a particular participant’s application. The P3 feedback process pushes participants to explicate elements of their project with a high degree of clarity (e.g., minimizing field-specific jargon) and specificity (e.g., conveying the significance of their scientific question to nonexpert readers). These requirements illuminate otherwise obscured weaknesses and improve readability. Importantly, the program’s final mock NIH review session was specifically implemented to help ensure that participants’ proposals reflect the cutting edge of their respective fields.

운용 절차
Operational Procedures

리더십, 멘토 및 조직 지원
Leadership, mentors, and organizational support

현재 5명의 P3 교수 멘토(임상연구 및 번역연구 경력 3명, 기초과학연구 경력 2명)가 사이클당 약 10명의 교수진 참가자와 연계되어 있습니다. 이 낮은 멘토 대 참가자 비율은 참가자들이 모든 세션에서 상세한 피드백을 받을 수 있도록 합니다. 각 멘토는 0.15의 풀타임 상당(FTE)을 적용받으며, 의대 OFA(3명 멘토), 대학 임상번역과학연구소(CTSI; 1명 멘토), 멘토의 학술부(멘토 1명)에서 자금을 지원받는다. 0.30FTE에서 OFA의 지원을 받는 5명의 멘토 중 한 명이 프로그램 디렉터(PD)도 맡고 있습니다. PD는 신청 절차, 그룹 멘토링, 작문/검토 과제, 모의 NIH 검토 세션, 프로그램 평가 등을 조율합니다. 교무처 직원은 프로그램 공지, P3로의 전자 지원서 관리, 회의실 예약, 원격 참가자에 대한 기술 지원, 온라인 코스 사이트 유지 및 설문 조사를 지원합니다.
Currently, 5 P3 faculty mentors (3 with backgrounds in clinical and translational research, 2 in basic science research) engage with a cohort of approximately 10 faculty participants per cycle. This low mentor-to-participant ratio ensures that participants receive detailed feedback at every session. Each mentor is expected to apply 0.15 full time equivalent (FTE) to the program, which is funded by the medical school’s OFA (3 mentors), the university’s Clinical and Translational Science Institute (CTSI; 1 mentor), or the mentor’s academic department (1 mentor). One of the 5 mentors, supported by the OFA at 0.30 FTE, also serves as the program director (PD). The PD coordinates the application process, group mentoring sessions, writing/review assignments, mock NIH review session, and program evaluation. OFA staff assist with sending program announcements, managing electronic applications to P3, reserving meeting rooms, providing technical support for remote participants, maintaining the online course site, and administering surveys.

모든 멘토는 NIH R 시리즈 조성금의 수석 조사원(PI), 박사 후 펠로우 또는 교직원의 멘토, NIH 과학 리뷰 그룹 멤버로 활동한 경험이 있습니다. 이러한 자격을 갖춘 바쁜 교직원을 채용하는 것은 어려울 수 있습니다. 따라서 P3 활동에 할애된 [주당 평균 6시간(0.15FTE)]을 기준으로 멘토들의 노력을 지원하고 있습니다. 우리 팀은 2016년부터 2021년 사이에 은퇴자를 대체할 새로운 멘토를 단 한 명만 영입할 정도로 비교적 안정적이었습니다. 새로운 멘토가 영입되면, 그들은 정규 멘토 팀에 합류하기 전에 우선 1회의 P3 사이클 동안 임시ad hoc 역할을 합니다. 이를 통해 P3를 직접 체험하고 피드백 기술을 개발하며 그룹 멘토링 프로세스에 익숙해질 수 있습니다.

All mentors have had experience serving as principal investigators (PIs) for NIH R-series grants, mentors for postdoctoral fellows or faculty, and NIH scientific review group members. Recruiting busy faculty with these qualifications can be challenging. Therefore, mentors’ effort is supported based on an average 6 hours per week (0.15 FTE) devoted to P3 activities. Our team has remained relatively stable; we recruited just 1 new mentor between 2016 and 2021 to replace a retiree. When new mentors are recruited, they first serve in an ad hoc role for 1 P3 cycle before joining the regular mentor team. This enables them to experience P3 firsthand, develop their feedback skills, and become acculturated to the group mentoring process.

참가자 자격 및 선발
Participant eligibility and selection

모든 의과대학 교수에게 발송되는 교무처OFA 뉴스레터에는 P3가 설명되어 있으며 온라인 신청에 대한 링크가 제공됩니다. 의 대상은 첫 NIH R시리즈(연구) 또는 K시리즈(연구경력개발) 지원서를 준비하는 조기취업 의대 교수입니다. 이 프로그램은 때때로 의과대학 외부에서 지원자를 받아들이거나 다른 국가 기금 기관에 제안서를 제출합니다. 박사 후 펠로우는 연수 종료가 가까워지고 미네소타 대학 교수 임명을 수락한 경우에만 고려됩니다. 신청서에는 계획된 제안서 (예: 직함, 자금 조달 메커니즘, NIH 연구소)와 신청자(예: 학적, 학위, 보호 연구 시간)에 대한 기본 정보를 받는다. 신청자는 P3에서 작업하고자 하는 연구비지원서 신청에 대한 [구체적 목적 및 바이오스케치] 요소의 초안도 제출합니다. 이 자료들은 그들의 프로젝트가 얼마나 잘 구성되어 있는지, 그리고 지원자가 "작성할 준비가 되어 있는지"에 대한 통찰력을 제공합니다. 핵심 연구 아이디어가 처음이거나 불확실한 상태에서 P3에 진입하는 참가자는 종종 보조를 맞추는데 어려움을 겪기 때문에 이 평가는 중요하다.

Routine OFA newsletters sent to all medical school faculty describe P3 and provide a link to the online application. Eligible P3 applicants are early-career medical school faculty preparing their first NIH R-series (research) or K-series (research career development) application. The program occasionally accepts applicants outside of the medical school or working on proposals to other national funding agencies. Postdoctoral fellows are considered only if they are nearing the end of their training and have received and accepted a University of Minnesota faculty appointment. The application captures basic information about the planned proposal (e.g., title, funding mechanism, NIH institute) and the applicant (e.g., academic track, degree, protected research time). Applicants also submit a draft of the Specific Aims and Biosketch components for the grant application they propose to work on in P3. These materials offer insight into how well formed their project is and whether the applicant is “ready to write.” This assessment is critical, as participants who enter P3 while their core research ideas are inchoate or otherwise uncertain often struggle to keep pace.

일반적으로 사이클당 15~20개의 신청을 접수하고 10개를 선발합니다. 모든 승인/거부 결정은 프로그램 멘토가 공동으로 합니다. 최대한 많은 인원을 지원하는 것이 목표이기 때문에 퀄리티 랭킹보다는 [적격여부 심사]를 중시합니다. 우선, 부적격자를 명확하게 배제한다(예를 들면, NIH R01 조성금의 PI로서 경험이 있는 사람, 2세션 이상의 스케줄 상충을 보고하는 사람, 교직원의 임명을 가지지 않는 사람). 다음으로 의과대학 교수(P3의 프라이머리 스폰서)를 우선합니다. 추가 삭감이 필요한 경우, 집필 준비 상태가 의심스럽다고 생각되는 지원자는 거절합니다(예: 출판물 부족, 중요한 파일럿 데이터 부족, 목적 불명). 받아들여지지 않는 분들을 위해 향후 사이클에 들어갈 수 있는 가능성을 높이기 위한 제안을 하고 있습니다. 합격하지 못한 지원자에게 원고 작성 워크숍 등의 대체 프로그램을 안내합니다.

We typically receive between 15 and 20 applications per cycle and accept 10. All accept/reject decisions are made collaboratively by the program mentors. Because the goal is to support as many people as possible, we emphasize eligibility screening rather than competitive quality rankings. First, we eliminate clearly ineligible applicants (e.g., those with prior experience as PI of an NIH R01 grant, report scheduling conflicts for more than 2 sessions, do not hold a faculty appointment). Next, we prioritize faculty from the medical school (P3’s primary sponsor). If additional cuts are needed, we reject applicants whose readiness to write is deemed questionable (e.g., insufficient publications, lack of critical pilot data, ill-defined aims). For those not accepted, we offer suggestions for improving their chances of admission to a future cycle. Where warranted, we direct unsuccessful applicants to alternative programs such as manuscript preparation workshops.

회의 일정 및 할당 작성
Meeting schedule and writing assignments

코호트는 15주에 걸쳐 2시간 세션 동안 10회 만난다. 처음 5세션은 매주, 나머지 5세션은 격주로 진행됩니다(예상대로 작성/수정 범위를 늘리기 위해). PD는 세션 간에 한 명의 참가자의 응용 프로그램을 읽고 편집하고 주석을 달아줄 1명의 동료(peer)와 1명의 멘토(mento)를 번갈아 할당합니다. 서면 리뷰는 다음 세션 전에 참가자에게 전송됩니다.

  • 세션 1은 소개, 프로그램의 개요 및 일반적인 글쓰기 원칙에 초점을 맞춥니다.
  • 세션 2-5의 처음 15~20분은 특정 제안 섹션을 작성하기 위한 지침을 제공하는 교훈적인 프레젠테이션에 할애됩니다.
  • 세션 2-9에서 각 참가자는 할당된 검토자가 자신의 비판 사항을 구두로 요약하고 그룹이 식별된 문제에 대한 해결책을 논의하는 약 15분 정도의 시간을 받는다. 세션 사이에 참가자들은 받은 피드백에 따라 초안을 수정하고 정해진 쓰기 과제 일정에 따라 새로운 자료를 개발합니다.
  • 세션 10은 모의 NIH 검토 세션(아래 설명)으로 실시됩니다.

보충 디지털 부록 1은 P3 사이클의 샘플 스케줄을 제공합니다.

The cohort meets for ten ~2-hour sessions over 15 weeks. The first 5 sessions occur weekly, the remainder biweekly (to accommodate increases in the expected scope of writing/revising). The PD assigns 1 peer and 1 mentor (on a rotating basis) to read, edit, and comment on a single participant’s application between the sessions. The written reviews are to be sent to the participant before the upcoming session.

  • Session 1 is focused on introductions, an overview of the program, and general writing principles.
  • The first 15–20 minutes of sessions 2–5 are devoted to didactic presentations offering guidance for writing specific proposal sections.
  • In sessions 2–9, each participant receives a ~15-minute block of time during which the assigned reviewers orally summarize their critiques and the group discusses solutions to the problems identified. Between sessions, participants revise their draft based on the feedback received and develop new material following a prescribed schedule of writing assignments.
  • Session 10 is conducted as a mock NIH review session (described below).

Supplemental Digital Appendix 1, at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B168, provides a sample schedule for a P3 cycle.

[쓰기 과제]

  • Biosketch 섹션과 Specific Aims 섹션(세션 1-2)에서 시작하여
  • 중요성과 혁신 섹션(세션 3-5),
  • 마지막으로 접근 섹션(세션 6-9)으로 이어집니다.

K 시리즈 지원서를 작성하는 참가자는 지원서의 후보 배경, 경력 목표 및 목표, 교육 계획 섹션을 동시에 작성합니다. 기타 애플리케이션 컴포넌트(예: 예산)는 간략하게 설명되지만 작성/검토 스케줄에는 포함되지 않습니다. 참가자들은 각 그룹 세션 이틀 전에 대학의 온라인 학습 관리 시스템 내 사이트(캔버스)에 초안을 업로드합니다. 이것에 의해, 참가자는 매주 세션 사이에 5일, 격주 세션 사이에 12일의 기입이 가능하게 됩니다. 참가자들은 마지막 초안 이후 주요 변경 사항을 페이스 시트face sheet에 간략히 요약하고, 특히 피드백이 필요한 특정 텍스트 또는 문제를 제시합니다. 초안이 제출되면, 리뷰어는 할당된 지원서를 세션 전에 2일 동안 읽고/비평할 수 있습니다.
Writing assignments begin with

  • the Biosketch and Specific Aims sections (sessions 1–2),
  • followed by the Significance and Innovation sections (sessions 3–5), and
  • finally, the Approach section (sessions 6–9).

Participants writing K-series applications concurrently develop their application’s Candidate Background, Career Goals and Objectives, and Training Plan sections. Other application components (e.g., Budget) are briefly discussed but not included in the writing/review schedule. Participants upload drafts to a site within the University’s online learning management system (Canvas; Instructure, Salt Lake City, Utah) 2 days before each group session. This gives participants 5 days to write between weekly sessions and 12 days between biweekly sessions. Participants briefly summarize on their face sheet major changes since the last draft and indicate specific text or issues on which they especially need feedback. Once drafts are submitted, reviewers have 2 days to read/critique their assigned applications before the session.


지원자는 P3의 속도와 시간 약속에 대해 미리 경고합니다(일주일에 10시간 정도 쓰기/재작성, 안전 점검 과제 완료, 그룹 세션 참석). 속도가 빠듯하지만, 참가자들은 공식화된 쓰기 스케줄과 그룹 설명 책임이 쓰기 작업의 우선순위를 정하는 데 도움이 된다는 것을 공유했습니다. 종종 진행상의 문제상황(예: 신청 유형의 변경, 건강 또는 가족 문제, 목표에 대한 상당한 조정)을 반영하여 수정된다. 그러나 사이클 종료까지 완전한 초안(구체적 목표 페이지, Biosketch, 6페이지 또는 12페이지)을 작성하는 목표는 [모든 참가자가 모의 NIH 검토 세션에 이러한 자료를 제출할 것]이라는 기대expectation에 반영되어 있습니다.

Applicants are forewarned about P3’s pace and time commitment (estimated 10 hours per week to write/rewrite, complete the peer review assignment, and attend the group session). While the pace is demanding, participants have shared that the formalized writing schedule with group accountability helps them to prioritize writing tasks. Assignments are occasionally modified to accommodate progress barriers (e.g., change in application type, health or family issues, substantial adjustments to the aims). However, the goal of producing a complete draft by the end of the cycle—Specific Aims page, Biosketch, plus 6- or 12-page grant body—is reflected in the expectation that all participants will submit these materials for the mock NIH review session.

트레이닝 자료 및 커뮤니케이션 물류
Training materials and communication logistics

P3 Canvas 사이트는 할당, 슬라이드 세트 및 보충 자료의 저장소 역할을 합니다. 제안 섹션마다 최소 2개의 지원 문서가 포함되어 있습니다.각 섹션의 목적을 정리한 템플릿, 포함해야 할 주요 요소, 답변해야 할 질문, 권장 순서 및 길이, P3 참가자였던 지원 신청서의 예시 섹션입니다. 또한 P3에서 달리 다루지 않은 섹션(예: 프로젝트 요약, 예산 정당성, 환경, K 제안에 대한 지원서)에 대해 NIH가 주석 없이 제작한 지침을 제공한다. 재료는 새로운 NIH 지침을 반영하기 위해 쉽게 추가, 교체 또는 개조할 수 있습니다. 또, 참가자는 P3 이후의 레퍼런스를 위한 주요 트레이닝 자료를 다운로드해 보관하는 것이 좋습니다.

The P3 Canvas site serves as the repository for assignments, slide sets, and supplemental materials. We include a minimum of 2 supporting documents for each proposal section: a template developed by the mentors that summarizes the purpose of the section, key elements to include, questions to answer, and a recommended order and length; and an example section from a funded application written by a former P3 participant. We also provide unannotated NIH-produced guidance for sections not otherwise addressed in P3 (e.g., Project Summary, Budget Justification, Environment, letters of support for K proposals). Materials can be easily added, replaced, or adapted to reflect new NIH guidance. Additionally, participants are encouraged to download and retain key training materials for their reference post-P3.

리뷰 프로세스
Review process

PD는 P3 피어 1명과 P3 멘토 1명을 할당하여 주어진 참가자의 초안을 비판적으로 읽고 피드백을 제공합니다. 참가자는 세션당 1개의 초안을 리뷰하고, 멘토는 보통 2개의 초안을 리뷰합니다. 처음에는 전공 배경과 무관하게 참가자 및 멘토 간에 검토할 과제를 회람한다. 이 연습은 그룹 구성원들이 모든 제안에 익숙해지도록 하는 한편, 참가자들에게 여러 명의 독자들로부터 피드백을 받는 혜택을 준다. 참가자들이 Approach sections을 개발하기 시작하면, 포괄적 범주(기본 과학, 임상 연구) 내에서 검토자-수정자 일치도를 조정한다.
The PD assigns 1 P3 peer and 1 P3 mentor to critically read and provide written feedback for a given participant’s draft. Participants review 1 draft per session, while mentors typically review 2. Initially, review assignments are rotated among participants and mentors independent of scientific background. This practice familiarizes group members with all proposals, while giving participants the benefit of receiving feedback from multiple readers. Once participants begin developing their Approach sections, attempts are made to align reviewer–reviewee matches within broad categories (basic science, clinical research).

멘토와 참가자들은 [각 제안 섹션의 지정된 기준/목적의 과학(가능한 한), 글쓰기 스타일, 명료, 구성, 완성도 및 달성 등 리뷰에 어떻게 접근해야 하는지에 대한 일반적인 지침]을 참고자료집으로 받는다. 상세 검토자가 제공해야 하는 시간이나 수준을 명시하지 않지만 검토당 최소 1시간을 할애하고(특히 더 많은 자료가 포함된 이후의 세션에서), 실행 가능한 권장사항을 제공할 것을 제안한다. 검토자는 추적된 편집 및 주석을 초안에 포함합니다. 또한 초안 표지에 2-5개의 주요 비판 중 일부를 나열하고 독자로서 가장 우려되는 문제를 강조하기 위해 제안된 수정사항을 제시하였다.
Mentors and participants are given general guidance in how they should approach their reviews, including attention to the science (as able), writing style, concision, organization, completeness, and fulfillment of the designated criteria/purpose of each proposal section as outlined in the program’s supporting materials. We do not specify the time spent or level of detail reviewers should provide but suggest they devote at least 1 hour per review (especially in later sessions, which include more material) and provide actionable recommendations. Reviewers embed tracked edits and comments within the draft. Additionally, they list on the draft’s cover page a subset of 2–5 major critiques with suggested corrections to highlight the issues that most concerned them as readers.


그룹 세션 동안에는, 할당된 2명의 검토자는 각각 5분씩 미리 준비한 검토에서 나온 주요 강점, 비판 및 수정 아이디어를 그룹에 구두로 요약할 수 있습니다. 그런 다음 그룹 토론에 5분을 더 할애하여 다른 사람의 질문과 피드백을 받습니다. 토론은 종종 서면 피드백에서 제시된 포인트를 넘어서기 때문에 참가자들은 메모를 하는 것이 좋습니다. 일부 참가자(~20%)는 세션 중에 수용할 수 있는 것보다 더 광범위한 피드백과 문제 해결이 필요합니다. 이 경우, 가장 가까운 과학적 배경을 가진 멘토는 일반적으로 그룹 밖에서 개별 대화나 편집 세션을 가질 것을 제안합니다. 멘토는 이러한 "추가" 상담에 일주일에 1시간 이상을 할애하는 경우가 거의 없습니다. 이러한 지원은 필요할 때 참가자의 진행률 변화를 수용하려는 의지와 결합되어 중퇴를 줄이는 데 도움이 된다. 그럼에도 불구하고, 중퇴는 (사이클당 평균 1명꼴로) 발생하며, 보통 다른 책임과의 예상치 못한 충돌이나 제안의 방향이나 시기에 큰 변화가 있을 때 발생합니다.

During group sessions, the 2 assigned reviewers have 5 minutes each to orally summarize for the group the major strengths, criticisms, and revision ideas that emerged from their preprepared reviews. Then, an additional 5 minutes is spent in group discussion, with questions and feedback from others welcomed. Participants are encouraged to take notes because the discussion often extends beyond the points provided in the written feedback. Some participants (~20%) require more extensive feedback and problem-solving than can be accommodated during the session. When this occurs, a mentor with the closest matching scientific background typically suggests having an individual conversation and/or editing session outside of the group. Mentors rarely spend more than 1 hour per week in these “extra” consultations. This support, combined with a willingness to accommodate variation in participants’ rate of progress when necessary, helps to mitigate dropout. Nonetheless, dropouts do occur (on average 1 per cycle), usually for unanticipated conflicts with other responsibilities or a major change in the direction or timing of their proposal.

모의 NIH 리뷰 세션
Mock NIH review session

사이클이 시작될 때 참가자들은 프로그램의 [모의 NIH 검토 세션에서 "외부 검토자"로 활동할 미네소타 대학 교직원을 고르도록] 지시받는다. 이상적인 검토자는 R01(또는 동등한) 보조금에서 PI로 활동한 경험이 있고, NIH 검토자로 활동한 적이 있으며, 참가자의 현재 또는 최근 협력자가 아니며, 가장 중요한 것은 참가자의 연구 분야에 대한 전문 지식과 경험이 있는 교수진이다. 스스로 적절한 외부 검토자를 고를 수 없는 참가자는 P3 멘토의 도움을 받는다. PD는 식별된 검토자에게 공식 초대장을 발송하여 다음과 같이 요청한다.

  • 대략 P3 사이클 중간 지점에서 참가자의 특정 목적 페이지를 비판한다.
  • 사이클 종료 직전에 동일한 참가자의 전체 신청에 대한 NIH 스타일의 서면 검토를 제공한다.
  • 토론을 위해 서면 비평의 구두 요약을 전달하기 위해 코호트의 모의 NIH 검토 세션에 참석한다.

At the beginning of the cycle, participants are directed to identify a University of Minnesota faculty member to serve as their “external reviewer” for the program’s mock NIH review session. Ideal reviewers are faculty who have served as PI on an R01 (or equivalent) grant, served as an NIH reviewer, are not a current or recent collaborator of the participant, and, most important, have expert knowledge and experience in the participant’s research area. Participants who cannot identify an appropriate external reviewer on their own are aided by P3 mentors. The PD sends out formal invitations to the identified reviewers requesting that they

  • critique the participant’s Specific Aims page at roughly the P3 cycle midpoint;
  • provide a written NIH-style review of the same participant’s full application just before the cycle’s end; and
  • attend the cohort’s mock NIH review session to deliver an oral summary of their written critique for discussion.


외부 검토자는 비평서를 작성할 때 표준 NIH 연구신청서 리뷰 템플릿을 사용하고, 전체 영향과 개별 평가 기준에 대해 점수(1 = 최고, ~ 9 = 최악)를 할당해야 한다. 이들은 NIH의 정기적인 리뷰와 마찬가지로 어플리케이션에 점수를 매기도록 지시받습니다.단, 누락된 섹션은 무시합니다. 또한 자신이 발견한 취약점에 대한 구체적인 해결책을 제시합니다. 서면 비평은 세션 직전 또는 직후에 참가자와 공유됩니다. 각 참가자에게는 20분간의 리뷰 블록이 할당됩니다. 처음 10분 동안은 외부 리뷰어가 중단 없이 비평을 전달합니다. 나머지 10분은 식별된 문제에 대한 가능한 해결책에 대한 비공식 그룹 토론에 사용됩니다. 외부 검토자는 일반적으로 세션이 끝난 후 참가자에게 신청 내용에 대해 자세히 논의하도록 요청합니다.

External reviewers are asked to use the standard NIH grant review template in writing their critique, and to assign scores (1 = best, through 9 = worst) for overall Impact and the individual scored criteria. They are instructed to score the application as they would a regular NIH review, with 2 exceptions: ignore missing sections; and offer specific remedies for the weaknesses they identify. Written critiques are shared with participants shortly before or after the session. Each participant is assigned a 20-minute review block. For the first 10 minutes, the external reviewer delivers their critique without interruption. The remaining 10 minutes are spent in informal group discussion about possible solutions to the problems identified. External reviewers commonly invite the participant to discuss their application further following the session.

참가자 및 결과 데이터
Participant and Outcomes Data

P3는 교직원 육성 프로그램으로서 그 영향에 대해 과학적으로 엄격한 결론을 내릴 수 있도록 설계되지 않았습니다. 그럼에도 불구하고, 지난 13년 동안 우리는 프로그램 참가자, 그들의 보조금 신청서 제출, P3 이후의 자금 지원 성공, 프로그램의 장점과 단점에 대한 그들의 평가를 제공하는 상당한 양의 데이터를 입수했다. 최근까지 이 정보는 다양한 방법으로 산발적으로 수집되었다. 이러한 제한에도 불구하고, 이용 가능한 데이터는 프로그램의 도달 범위와 영향에 대한 유용한 통찰력을 제공한다(미네소타 대학 기관 검토 위원회는 이 데이터 수집이 인간 연구를 구성하지 않으므로 면제된 것으로 판단했다).

As a faculty development program, P3 was not designed to provide scientifically rigorous conclusions about its impact. Nonetheless, over the past 13 years, we have acquired a substantial body of data that offers a reasonably representative description of the program’s participants, their grant application submissions, funding successes following P3, and their assessment of the program’s strengths and weaknesses. Until recently, this information was collected sporadically and with varying methods. Notwithstanding these limitations, the available data provide useful insight into the program’s reach and impact. (Note that the University of Minnesota Institutional Review Board determined that this data collection does not constitute human research and was therefore deemed exempt.)

인구 통계 데이터
Demographic data


2007년 여름부터 2020년 겨울까지 28개의 P3 사이클이 실시되어 271명의 참가자가 참가했습니다. 인구통계학적 데이터는 처음에는 기록되지 않았다. 그러나 최근 참가자들의 대규모 하위 집합(n = 178, 주기 11-28, 2013년부터 2020년까지 발생)에 대해 이 정보를 수집했다. 데이터는 포스트 프로그램 조사와 프로그램 애플리케이션을 조합하여 작성되었습니다. 이러한 데이터를 통합해, P3 참가자의 가장 포괄적인 그림을 입수할 수 있습니다(표 1). 그림과 같이, 이 참가자 중 여성이 조금 더 많았다. 참가자는 주로 백인 또는 아시아인으로, 백인의 76%, 아시아인의 13%, 흑인 2%, 아메리카 인디언/알래스카 원주민 0.4% 등 폭넓은 교직원의 인종/민족 분열을 대략 반영하고 있습니다. 표 1과 같이, 참가자의 과반수는 의대 교수(프로그램의 창시, 프라이머리 스폰서, 채용의 중점을 반영)이며, 거의 대부분이 조교수였다. 거의 모든 P3 사이클에 중요한 임상 책임을 지는 일부 교직원이 포함되었지만, 대다수는 상당한 연구 보호 시간과 함께 연구 집약적인 위치에 있었다. P3 참여 기간 동안 개발된 가장 일반적인 제안 유형은 NIH R01 제안이었으며, 멘토링된 K 제안 및 기타 R-Series 적용 사례가 그 뒤를 이었다.

From summer 2007 through winter 2020, 28 P3 cycles were conducted, engaging 271 unique participants. Demographic data were not recorded initially. However, we have collected this information on a large subset of more recent participants (n = 178, cycles 11–28, occurring from 2013 through 2020). Data were compiled from a combination of postprogram surveys and program applications. We merged these data to provide the most comprehensive picture of P3 participants that is available to us (Table 1). As shown, a slight majority of this participant sample were female. Participants were predominantly White or Asian, roughly mirroring the racial/ethnic breakdown of our broader faculty (76% Caucasian, 13% Asian, 2% Black, 0.4% American Indian/Alaska Native). As shown in Table 1, a majority of the participants had PhDs, were faculty of the medical school (reflecting the program’s origination, primary sponsor, and recruitment emphasis), and nearly all were assistant professors. The majority were in research-intensive positions with significant protected time for research, although nearly every P3 cycle has included some faculty with significant clinical responsibilities. The most common type of proposal developed during P3 participation was NIH R01 proposals, followed by mentored K proposals and other R-series applications.

NIH 보조금 제안서 제출 및 자금 지원 비율
NIH grant proposal submission and funding rates

참가자의 제안서 제출과 자금조달 결과에 관한 데이터는 두 가지 출처에서 나왔다. 첫 번째 설문조사는 2007년부터 2018년까지 P3에 참여한 모든 개인에게 전송되었다(1-23주기). 이 표본에는 220명의 개인이 포함되었으며, 이들 중 194명이 확인될 수 있었다(나머지는 대학을 떠난 상태였다. 전송된 194개 조사 중 83개 조사(응답률 43%)가 반환되었지만, 이 중 8개 조사에서는 P3를 완료하지 못한 것으로 나타나 75개 조사가 분석을 위해 남겨졌다. 실행 가능한 응답자의 주요 결과는 다음과 같습니다. 88%(66/75)가 P3 신청을 목표한 연구비 지원 기관에 제출했으며, 그 중 35%(23/66)가 자금 지원을 받고 있다고 응답했습니다. 모든 응답자(제출자 및 비제출자) 중에서의 연구비 획득 비율은 31%(23/75)였다. 제출자 중 76%(50/66)는 P3를 완료한 후 첫 번째 NIH 제출 마감일에, 91%(60/66)는 첫 번째 NIH 제출 마감일 내에 제출했다고 보고했습니다. 자금 지원을 받은 응답자에게 직접 비용을 표시하도록 요청했지만 23명 중 12명(52%)만이 이 정보를 제공했다. 응답자의 평균 총 직접 비용은 $875,188(K 시리즈 보조금 절반과 R 시리즈 보조금 절반)이었습니다.
Data regarding participants’ proposal submissions and funding outcomes came from 2 sources. The first was a survey sent to all individuals who participated in P3 from 2007 through 2018 (cycles 1–23). This sample included 220 individuals, 194 of whom could be identified (the remainder had left the university). Eighty-three of the 194 surveys sent were returned (43% response rate), but 8 of these indicated they did not complete P3, leaving 75 surveys for analyses. Key outcomes for viable respondents were as follows: 88% (66/75) reported submitting their P3 application to their targeted funding agency, and 35% of submitters (23/66) reported being funded. The funding rate for all respondents (submitters and nonsubmitters) was 31% (23/75). Of those who submitted, 76% (50/66) reported doing so in the first NIH submission deadline after completing P3, and 91% (60/66) reported having submitted within the first 2 NIH submission deadlines. We asked funded respondents to indicate the amount of direct costs they received, but only 12 of 23 responders (52%) provided this information. For these respondents, the average total direct cost was $875,188 (half K-series grants and half R-series).

P3 참가자의 NIH 보조금 신청 활동에 대한 두 번째 데이터 소스는 미네소타 대학의 SPA(후원 프로젝트 관리)였습니다. 이 분석을 위해, 우리의 표본은 2007년부터 2016년까지 P3에 참여한 모든 개인이었다(n = 165, 사이클 1~17). 2016년을 P3 완료의 컷오프, 2017년을 제출/수상 데이터 수집의 컷오프로서 사용하여 모든 사람이 NIH 제안서를 제출하고 자금을 획득할 수 있도록 했다. 우리의 데이터 쿼리는 P3 참여 후 취득한 NIH 조성금, 50,000달러 이상의 기금(보조금 등 비주요 자금 메커니즘 제외) 및 참가자가 PI로 기재된 조성금으로 제한되었다. 이러한 제약으로 인해 우리가 제시하는 자금조달 비율과 금액은 실제 총액을 밑돌 가능성이 높다. 
Our second data source for P3 participants’ NIH grant application activity was the University of Minnesota’s Sponsored Projects Administration (SPA). For this analysis, our sample was all individuals who participated in P3 from 2007 through 2016 (n = 165, cycles 1–17). We used 2016 as the cutoff for P3 completion but 2017 as the cutoff for submission/award data collection to ensure everyone had at least 1 year post-P3 in which to potentially submit NIH proposals and acquire funding. Our data query was restricted to NIH grants acquired after P3 participation; funding > $50k (to exclude nonprimary funding mechanisms such as supplements); and grants on which the participant was listed as PI. Because of these restrictions, the funding rates and amounts we present likely underrepresent the actual total.

이번 분석 참여자 165명 중 121명(73%)은 P3 완료 후 최소 1건의 NIH 제안서를 PI로 제출했다. 제출자의 90%(109/121)는 P3 프로그램을 완료한 후 2년 이내에 제출했습니다. P3 이후 NIH 제안서를 제출한 121명 중 52명(제출자의 43%, 그룹 전체의 32%)이 어느 시점에서 NIH 자금 조달에 성공했으며, 제출자의 절반 가까이가 P3 완료 후 1년 이내에 자금을 조달했다. 이 그룹의 P3 참가자가 획득한 NIH의 총 자금은 1억9300만 달러를 약간 웃돌았다. 이러한 결과는 참가자들이 P3 참여 중에 작업한 특정 보조금 신청을 포함할 수도 있고 포함하지 않을 수도 있다. 그러나, 이러한 장기 누적 결과는 프로그램의 전체 목표를 적절히 반영하는 것으로 간주될 수 있다. 즉, 참가자들이 성공적인 보조금 신청을 작성하기 위해 배운 것을 적용하는 것이다..

Among the 165 participants in this analysis, 121 (73%) submitted at least 1 NIH proposal as PI since completing P3. Slightly over 90% of submitters (109/121) did so within 2 years of completing the P3 program. Of the 121 individuals who submitted NIH proposals at any time since P3, 52 (43% of submitters, 32% of the entire group) were successful in acquiring NIH funding at some point, with nearly half of submitters (24/52, 46%) funded within 1 year of P3 completion. Total NIH funding obtained by P3 participants in this group was just over $193 million. These outcomes may or may not include the specific grant application that participants worked on during their P3 participation; however, these longer-term cumulative outcomes can be considered a relevant reflection of the program’s overall objective: that participants apply what they learn to write successful grant applications across their career.

 

평가
Evaluations

2007년부터 2015년까지(n = 153, 주기 1~15), 프로그램 완료 직후 모든 P3 참가자에게 평가 설문조사를 보냈다. 응답률 74%에 대한 114건의 설문조사가 반환되었다. 그 설문조사는 질적 질문들과 양적 질문들의 혼합을 포함하고 있었다. 대부분의 응답자들은 P3가 설득력 있는 제안서를 개발하고, 자신의 글을 비판적으로 평가하고, 글 쓰는 시간을 계획하는 능력을 향상시켰다는 데 동의하거나 강하게 동의했다. "이 프로그램에 참여함으로써 습득한 추가적인 지식이나 기술은 무엇입니까?"라는 개방형 설문 질문에 대한 72개의 답변도 유익했습니다(표 2는 설명 가능한 답변을 제공합니다). 두 명의 저자는 이러한 응답을 4가지 광범위한 주제로 검토 및 그룹화했다. 

  • NIH 검토 프로세스와 검토자의 기대에 대한 지식 향상, 
  • 작성 과정 중 시간 관리 개선, 
  • 기술 작성 및 문서 설계에 대한 기술력 강화, 그리고 
  • 작업중인 초안에 대한 피드백을 주고 받는 것의 가치

From 2007 through 2015 (n = 153, cycles 1–15), we sent evaluation surveys to all P3 participants shortly after their completion of the program; 114 surveys were returned for a 74% response rate. The surveys contained a mix of qualitative and quantitative questions. Most respondents agreed or strongly agreed that P3 improved their abilities to develop a compelling proposal, critically appraise their own writing, and plan their writing time (see Supplemental Digital Appendix 2, available at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B168, for quantitative survey outcomes). Seventy-two responses to the open-ended survey question “What additional knowledge or skills did you acquire by participating in this program?” were also informative (Table 2 provides illustrative responses). Two authors reviewed and thematically grouped these responses into 4 broad themes:

  • greater knowledge of the NIH review process and reviewer expectations;
  • improved time management during the writing process;
  • stronger skills in technical writing and document design; and
  • greater appreciation of the value of giving and receiving feedback on drafts in progress.

2016년 이후 OFA와 P3 리더십 교체로 평가가 차질을 빚었다. OFA는 2019년부터 P3 이후 새로운 평가를 도입했다. 이 온라인 설문조사는 3주기(n = 40, 25-28회차)의 참가자들에게 이 글을 작성했을 때 시행되었다. 28개의 설문조사가 70%의 응답률을 보였다. 응답자의 과반수(82%, 23/28)는 P3 그룹 세션 밖에서 주당 6시간 이상을 제안 작업에 소비한다고 응답했다. P3의 Canvas 사이트를 통해 제공되는 자료는 응답자의 86%(24/28)가 "중요한critical" 리소스로 평가했습니다. 응답자의 89%(25/28)는 P3가 제안서를 제출하고 연구비 수주 가능성에 "실질적인 기여"를 했다고 보고했다. 응답자의 82%(19/23)는 제안서 초안에 대한 세션 내 토론이 P3 멘토가 제공한 서면 검토보다 적어도 "적당한" 가치를 더했다고 보고하였다. 그러나 나머지는 구두 토론이 거의 가치를 더하지 않는다고 생각했다. 이에 대해, 우리는 아래에 언급하는 초안에 대해 보다 심도 있는 구두 토론을 할 수 있는 시간을 가질 수 있는 방법을 시험적으로 시행하고 있습니다.
Evaluations were disrupted after 2016 due to transitions in OFA and P3 leadership. Beginning in 2019, the OFA introduced a new post-P3 evaluation. This online survey was administered to participants from 3 cycles (n = 40, cycles 25–28) as of this writing; 28 surveys were returned for a 70% response rate. A majority of respondents (82%, 23/28) reported spending 6 or more hours per week outside of the P3 group session working on their proposal. The materials provided through P3’s Canvas site were rated by 86% of respondents (24/28) as “critical” resources. Eighty-nine percent of respondents (25/28) reported that P3 made a “substantial contribution” to the likelihood of their submitting the proposal and obtaining funding. Eighty-two percent of respondents (19/23) reported that in-session group discussions of draft proposals added at least “a moderate amount” of value above and beyond the written reviews that P3 mentors provided; however, the remainder thought the oral discussions added little value. In response, we are piloting methods that allow time for more in-depth oral discussion of drafts, which we address below.

이 조사는 또한 참가자들에게 프로그램의 장점과 단점에 대해 질적 피드백을 요청했다(표 2는 예시적인 답변을 제공한다). 확인된 강점으로는 적극적인 제안서 작성 중에 받은 실질적이고 시기적절한 피드백과, P3 멘토가 참가자의 성공을 위해 했던 투자가 포함된다. 건설적인 비판 중에는 일부 리뷰의 퀄리티에 대한 "불공평함"면담의 비효율성에 대한 우려가 있었다. 또, 참가자는 컨텐츠 전문가로부터의 이전의 피드백에 대해서도 희망하고 있습니다. 이는 위에서 설명한 바와 같이 사이클의 중간 외부 리뷰를 시작하기 전이었습니다. 이하에 기술한 바와 같이, 이러한 문제에 대처하기 위해서, 프로그램의 몇개의 추가 변경을 시험적으로 실시하고 있습니다.

The survey also solicited participants’ qualitative feedback on what they considered to be the program’s strengths and weaknesses (Table 2 provides illustrative responses). Identified strengths included the substantive and timely feedback received during active proposal development and the investment that P3 mentors have in participants’ success. Among the constructive criticism offered was concern about “unevenness” in the quality of some reviews and inefficiencies in the conduct of in-person sessions. Participants also expressed a desire for earlier feedback from content experts; this was before our initiation of the mid-cycle external review, described above. As noted below, we are piloting some additional changes to the program to address these concerns.

이점, 기회 및 미래 방향
Benefits, Opportunities, and Future Directions

NIH 보조금 신청서의 작성, 제출 및 자금 지원을 촉진하기 위한 P3 모델은 단기 워크숍에서 제공되는 기본 지침이나 특이적 멘토링 상호작용에 대한 의존도를 넘어선다. 참가자는 다음과 같은 몇 가지 P3 특징으로부터 이득을 얻었다.

  • 각 개발 단계에서 다양한 경험이 풍부한 교수진과 동료들로부터 상세한 피드백을 받으면서 제안서을 개선할 기회 
  • 초기에 쓰고 고쳐쓰는 것을 필요로 하는 잘 짜여진 일정과 시간에 맞춰 완성되는 "최종 산출물"
  • 뛰어난 조사자가 연구의 중요성, 프로젝트의 과학적 엄격성 및 팀의 역량을 전달하기 위해 사용하는 기술에 대한 미묘한 통찰력

이 프로그램은 지역 연구 멘토링 능력이 더 제한적인 학부를 포함한 여러 부서의 교직원들을 지원할 수 있습니다. 우리 기관에서는 모든 KL2 및 BIRCH 학자와 일부 K12 학자가 P3에 지원해야 합니다. 이러한 실천은 P3의 가치가 장기적인 지도 트레이닝 프로그램에 종사하는 연구자에게까지 확대된다는 우리 기관의 자신감을 보여준다.

The P3 model for facilitating the writing, submission, and funding of NIH grant applications goes beyond the basic instruction offered in short-term workshops or a reliance on idiosyncratic mentoring interactions. Participants benefit from several P3 features:

  • the opportunity to develop a proposal while receiving detailed feedback from a diverse group of experienced faculty and their peers at each stage of development;
  • a well-defined schedule that requires early and frequent writing and rewriting and a “finished product” on a timeline; and
  • nuanced insight into the techniques that accomplished investigators use to communicate their research’s significance, their projects’ scientific rigor, and their team’s competence.

The program can support faculty from multiple departments, including those with more limited local research mentoring capacity. At our institution, all KL2 and BIRWCH scholars (Building Interdisciplinary Research Careers in Women’s Health), and some K12 scholars, are required to apply to P3. This practice demonstrates our institution’s confidence that P3’s value extends even to researchers engaged in longer-term, mentored training programs.

Rubio와 동료들은 연구 프로젝트를 개선하고 자금을 확보하는 데 도움이 되는 경험적 훈련 이니셔티브의 가치를 설명했다.10 그들은 피츠버그 대학, 마운트 시나이의 Icahn 의과대학 및 펜실베니아 대학의 "P3-like" 프로그램을 언급하지만, 이러한 운영 세부사항과 결과에 대해 언급했다. 프로그램은 설명되지 않습니다. 유사한 구조화된 프로그램의 결과에 대한 다른 발표된 보고서를 검색하여 Duke University 의과대학에서 4개월 간의 독립과 K클럽 프로그램을 설명하는 단 1개의 보고서를 확인했습니다. 18 이러한 프로그램의 경우, 5년간에 걸쳐 제출된 R과 K의 신청에 대한 수상률은 35%로, 우리 기관의 성과와 거의 동일합니다. 샌프란시스코 캘리포니아 대학의 보고서는 P3의 모의 NIH 검토 프로토콜과 유사한 방식으로 보조금 제안서의 내부 제출 전 검토를 수행하기 위한 프로그램을 기술했다. 25 이 프로그램의 경우, 12개월 동안 내부 안전 점검을 거친 제안의 85%(23/27)가 이후에 제출되었고(P3 제출 비율과 매우 유사), 제출된 신청의 52%(12/23)가 자금을 지원받았다.

Rubio and colleagues described the value of experiential training initiatives for helping junior investigators refine their research projects and secure funding. 10 They mention “P3-like” programs at the University of Pittsburgh, Icahn School of Medicine at Mount Sinai, and University of Pennsylvania, but operational details and outcomes for these programs are not described. We searched for other published reports on the outcomes of similarly structured programs and identified just 1, which describes the 4-month Path to Independence and K Club programs at Duke University School of Medicine. 18 For these programs, the award rate for submitted R and K applications combined was 35% over 5 years, which is nearly identical to our outcome. A report from the University of California, San Francisco described a program for conducting internal presubmission review of grant proposals—an approach similar to P3’s mock NIH review protocol. 25 For that program, 85% (23/27) of proposals that underwent internal peer review over a 12-month period were subsequently submitted (very similar to the P3 submission rate), and 52% (12/23) of submitted applications were funded.

이런 기존 연구에 더하여, 우리는 유사한 프로그램을 도입하려는 다른 기관에 적응 가능한 청사진을 제공한다. 그러나 P3를 지원하는 데 필요한 자원은 일부 교육기관에게 한계가 될 수 있으며, 특히 P3가 해당 교육기관에서 "적합"하고 성공 여부를 판단하기 전에 더욱 그렇습니다. 이러한 경우, 소규모 파일럿 프로그램으로 시작하는 것을 고려할 수 있다. 이는 5~7명의 참가자와 함께 일하는 단 2명의 멘토들이 주도하는 단일 부문 이니셔티브(연간 2사이클)로 시작된 P3 모델도 그랬었다. 
Our outcomes add to this limited body of literature while offering an adaptable blueprint for other institutions seeking to implement a similar program. However, the resources needed to support P3 could be a limitation for some institutions, especially before determining its “fit” with and success at their institution. In these cases, potential adopters might consider starting with a smaller pilot program. This aligns with the P3 model, which began as a single-department initiative (2 cycles per year) led by just 2 mentors working with 5–7 participants.

투자수익률
Return on investment

P3 모델의 스탭은 연간 0.9명의 교직원 FTE와 OFA 스탭의 서포트 시간을 더하고 있습니다. 따라서 20만달러는 연간 운영비용의 합리적인 추정치입니다. 이 투자의 수익은 과거 참가자가 획득한 외부 보조금 달러로 수량화할 수 있습니다. 우리의 SPA 데이터에 따르면 P3 참가자는 10년간 NIH 자금(직간접 비용)으로 1억9300만달러를 획득했습니다. 이 기간 동안 P3의 운영 비용은 180만 달러(P3의 9년간 연간 20만 달러)로 추산된다. 이는 P3 운영에 투자된 1달러당 NIH 자금으로 107달러의 수익률을 나타낸다. 그러나, 이러한 자금의 일부는 P3의 참여 없이도 획득될 것이 거의 확실하다.

Staffing for our P3 model engages 0.9 faculty FTE per year, plus additional OFA staff support time. Thus, $200k is a reasonable estimate of its annual operating costs. The return on this investment can be quantified by external grant dollars obtained by past participants. Our SPA data show that P3 participants obtained $193 million in NIH funding (direct and indirect costs) over 10 years. The operating cost of P3 over that period is estimated at $1.8 million ($200k per year for the 9 years of P3 to obtain 10 years of funding data). This represents a return of $107 in NIH funding for each $1 invested in P3’s operation. However, some of this funding would almost certainly have been obtained even without P3 participation.

무작위 제어 실험의 결정적인 데이터가 부족하기 때문에, 우리는 P3 제출자의 35%의 연구비 수주 성공률(P3 참가자 조사 응답자의 88%가 제출자)과 2018년 NIH의 모든 기관 및 자금 조달 메커니즘에 대해 문서화된 약 20%의 자금 조달 성공률을 비교할 수 있다.26 이러한 추정치를 사용하여 매년 P3에 참여하는 제출자는 30명 중 9명NIH 기금을 받게 되는데, 이는 P3가 없었다면 30명의 제출자 중 6명이 NIH 기금을 받게 될 것으로 예상된다. 자금을 지원받은 P3 신청에 대한 평균 직접 비용은 $875,188(위 데이터 참조)인 것으로 판명된 이 3개의 추가 보조금은 P3에 귀속될 수 있는 특정 연도에 기관이 수령한 $3,439,489($2,625,564 + 추정 간접 비용)에 해당한다. 연간 운영 비용이 20만 달러라고 가정하면, 특정 연도에 P3 운영에 지출된 1달러당 기관은 받지 못했을 외부 자금으로 약 17달러를 받는 것으로 추정할 수 있습니다.
Lacking definitive data from a randomized controlled experiment, we can compare the 35% funding success rate of P3 submitters (88% of P3 participant survey respondents were submitters) to the ~20% funding success rate documented across all NIH institutes and funding mechanisms for 2018. 26 Using these estimates, we can extrapolate that 9 of the 30 submitters who participate in P3 each year will receive NIH funding, compared with 6 of 30 submitters expected to receive NIH funding based on the national average. Having found that the average direct cost for a funded P3 application is $875,188 (see data above), these 3 additional grants per year represent $3,439,489 ($2,625,564 direct costs plus $813,925 estimated indirect costs) received by the institution in a given year that can be attributed to P3. Assuming $200,000 annual operating costs, we can estimate that for every $1 spent to operate P3 in a given year, the institution receives about $17 in external funding it would likely not otherwise have received.


P3가 보조금을 제출하는 개인 수의 증가로 이어진다면 ROI도 좋은 영향을 받을 것이다. P3 참가자의 88%의 제출율은 상당하지만, P3가 없었다면 이들 중 몇 명이 연구비지원서를 제출했을지 추정할 수 있는 실증적 수단이 없다. 그러나 P3의 구조와 기대는 보조금 작성 포부를 실제 서면 및 제출된 제안으로 전환하는 데 도움이 된다고 가정하는 것이 타당하다. 마지막으로, P3 참가자들이 경력 전반에 걸쳐 추가 보조금(P3 제안서 외)을 찾고 자금을 조달할 가능성이 더 높다면 투자 수익률은 호의적으로 영향을 받을 것이다. 과거 P3 참가자의 약 73%가 NIH 조성 제안을 제출하고, 그 중 43%가 NIH 자금 조달에 성공했다는 것은 알고 있지만, P3에 참가하지 않은 다른 의과대학 교수와는 비교할 수 없다.

Return on investment would also be favorably affected if P3 leads to an increase in the absolute number of individuals who are submitting grants. While the 88% submission rate for P3 participants is substantial, we have no empirical means of estimating how many of these individuals would have submitted grants in the absence of P3 participation. However, it is reasonable to posit that P3’s structure and expectations help to facilitate the conversion of grant-writing aspirations into actual written and submitted proposals. Finally, return on investment would be favorably affected if P3 participants were more likely to seek and obtain funding for additional grants (beyond their P3 proposal) across their career. We know that about 73% of past P3 participants submitted NIH grant proposals and 43% of these were successful in obtaining NIH funding, but we are unable to compare this with other medical school faculty who did not participate in P3.

제한 사항
Limitations

우리의 조사 데이터는 적당한 응답률에 의해 제한되며, 따라서 결과가 모든 P3 졸업생들을 대표하지 않을 가능성이 있다(즉, 데이터가 무작위로 누락되지 않았다). P3 보조금을 제출한 사람들은 그렇지 않은 사람들보다 조사에 응답하는 데 더 동기 부여가 되었을 수 있다. 응답자의 88%가 P3 제안을 제출했다고 보고한 반면, 기관 데이터에 따르면 전체 P3 참가자의 73%가 최소 1개의 NIH 보조금을 제출한 것으로 나타났다. 후자의 데이터 세트에는 샘플링된 9년간의 모든 참가자가 포함되어 있기 때문에 가장 자신 있는 데이터 세트가 있습니다. 그러나 P3에 참여하지 않고 제안서를 제출하고 NIH 자금을 지원받았을 비율은 아직 알 수 없다. RCT를 하는 것은, 가능한 한 많은 자격 있고 관심 있는 교직원을 지원해야 한다는 프로그램의 의무mandate와 일치하지 않습니다.
Our survey data are limited by the modest response rate, which leaves open the possibility of results not being representative of all P3 alumni (i.e., data not missing at random). Those who submitted their P3 grants may have been more motivated to respond to surveys than those who did not. There is some evidence for this because 88% of respondents reported having submitted their P3 proposal, whereas the institutional data show that 73% of all P3 participants submitted at least 1 NIH grant. We can be most confident in the latter dataset because it includes all participants over the 9 years sampled. However, we still cannot know what proportion of these individuals would have submitted proposals and received NIH funding without having participated in P3. A randomized controlled trial is not consistent with the program’s mandate of supporting as many qualified and interested faculty as logistically feasible.

장래의 방향
Future directions

우리는 효율성과 합리적인 프로그램 확장을 계속 추구합니다. 세션 중에 코호트를 2개의 그룹으로 나누는 접근법(기본 과학 프로젝트 제안자와 임상 또는 지역사회 기반 연구 제안자 간 또는 주어진 주기 중 가장 말이 되는 K와 R 중 하나)을 시범 테스트하여 검토가 2개의 다른 방에서 동시에 진행되도록 한다. 이 「병렬 처리」에 의해, 참가자의 작업에 대해 논의하는 시간이 2배로 증가해, 동료나 멘토간의 전문 지식 제휴가 강화됩니다. 또한 P3 졸업생들을 위한 간단한 재제출 프로그램을 계획하고 있습니다. 또 다른 목표는 URM 집단에서 교수진의 참여를 늘리는 것이다. 델의 CTSI는, URM 교직원을 대상으로 한 프리 K 스콜라 프로그램을 서포트하고 있습니다. 이 프로그램은 향후의 사이클에 있어서, 보다 다양한 P3 지원자 풀에 공헌할 것으로 예상됩니다.
We continue to seek efficiencies and reasonable program expansions. We are pilot testing an approach that divides the cohort into 2 groups during sessions (roughly split between those proposing basic science projects and those proposing clinic- or community-based research or between Ks and Rs, whichever makes the most sense in a given cycle) so that reviews are proceeding simultaneously in 2 different rooms. This “parallel processing” doubles the time available for discussing participants’ work while supporting greater expertise alignment among peers and mentors. Additionally, we are planning a brief program for P3 alumni working on resubmissions. Another goal is to increase participation of faculty from underrepresented minority groups. Our CTSI supports a Pre-K Scholars program for underrepresented faculty, which we anticipate will contribute to a more diverse P3 applicant pool in future cycles.


COVID-19 대유행에 대응하여, 우리는 여기에 설명된 절차에 실질적인 변경 없이 본 문서 작성 현재 2개의 완전 가상 P3 사이클을 완료했다. 평가 응답자들은 만장일치로 첫 번째(소개) 세션과 마지막(NIH 검토) 세션을 제외하고 COVID-19가 통제된 후에도 가상적으로 P3 세션을 계속 실행할 것을 권고했다. NIH National Research Mentoring Network (NRMN)의 일환으로 2014년부터 2019년까지 P3가 전국 규모로 구현됨으로써 하이브리드 또는 완전 온라인 접근법의 실행 가능성이 더욱 뒷받침되고 있다.17 P3의 NRMN 적응은 주로 여러 기관의 교수진에 가상 형식으로 전달되었다. 67명의 참가자로 구성된 6개의 NRMN-P3 코호트가 프로그램 완료 후 3~18개월 동안 추적되었습니다. 초기 데이터에 따르면 NIH 제안서 제출률은 67%(45/67), 제출된 NIH 신청에 대한 자금 조달률은 33%(15/45)이다. 27   
In response to the COVID-19 pandemic, we completed 2 fully virtual P3 cycles as of this writing, with no substantive changes to the procedures described here. Evaluation respondents unanimously recommended that we continue to run P3 sessions virtually even after COVID-19 is controlled, with the exception of the first (introduction) and last (mock NIH review) sessions. The viability of a hybrid or completely virtual approach is further supported by P3’s implementation on a national scale from 2014 through 2019 as part of the NIH National Research Mentoring Network (NRMN). 17 The NRMN adaptation of P3 was delivered in a predominately virtual format to cohorts of faculty from different institutions. Six NRMN-P3 cohorts of 67 participants were tracked for 3 to 18 months after program completion. Early data show an NIH proposal submission rate of 67% (45/67) and a funding rate for submitted NIH applications of 33% (15/45). 27

결론적으로, P3는 수명, 긍정적인 결과 및 적응성의 실적이 있습니다. 프로그램의 절차, 원칙 및 구조에 대한 우리의 설명은 독자들이 자신의 기관 내에서 비슷하게 성공적인 모델을 구현할 수 있도록 해야 한다.

In conclusion, P3 has a track record of longevity, positive outcomes, and adaptability. Our description of the programs’ procedures, principles, and structure should enable readers to implement a similarly successful model within their own institutions.


Acad Med. 2022 Jan 1;97(1):53-61.

 doi: 10.1097/ACM.0000000000004359.

The Proposal Preparation Program: A Group Mentoring, Faculty Development Model to Facilitate the Submission and Funding of NIH Grant Applications

Affiliations collapse

Affiliations

1A.M. Weber-Main is associate professor, Department of Medicine, University of Minnesota Medical School, Minneapolis, Minnesota.

2K.A. Thomas-Pollei is adjunct assistant professor, Department of Medicine, University of Minnesota Medical School, Minneapolis, Minnesota.

3J. Grabowski is retired professor, Department of Psychiatry, University of Minnesota Medical School, Minneapolis, Minnesota.

4C.J. Steer is professor, Departments of Medicine and Genetics, Cell Biology and Development, University of Minnesota Medical School, Minneapolis, Minnesota.

5P.D. Thuras is research associate, Department of Psychiatry, University of Minnesota Medical School, and health science specialist, Minneapolis VA Health Care System, Minneapolis, Minnesota.

6M.G. Kushner is professor, Department of Psychiatry, University of Minnesota Medical School, Minneapolis, Minnesota.

PMID: 34380935

DOI: 10.1097/ACM.0000000000004359

Abstract

This article describes the University of Minnesota Medical School Proposal Preparation Program (P3). P3 is designed to develop grant-writing skills for assistant professors preparing their first K- or R-series application to the National Institutes of Health (NIH). Three 4-month P3 cycles are conducted annually. For each cycle, a cohort of around 10 assistant professor participants and 5 regular faculty mentors meet for ten ~2-hour group sessions. Participants receive iterative oral and written feedback on their proposals in development within a small, interdisciplinary, group mentoring setting providing structure, accountability, guidance, and support. Between sessions, 1 peer and 1 mentor are assigned (on a rotating basis) to critique each participant's developing application. The sessions include a brief mentor-led presentation on a particular grant section followed by discussion of each participant's application conducted by the assigned reviewers. The cycle concludes with a mock NIH review session, in which each participant is matched with a University of Minnesota faculty content expert who critiques their completed application using NIH guidelines. In a survey sent to all past P3 participants as of 2018 (n = 194), 88% of respondents reported having submitted their P3-developed NIH grant, and 35% of these submitters reported funding success. A separate analysis of institutional data for all past P3 participants as of 2016 (n = 165) showed that 73% submitted at least 1 NIH proposal since completing P3 and that 43% of these had acquired NIH funding, for a combined total of $193 million in funding awarded. The estimated rate at which participants obtained funding for their P3-developed grant application (~35%) exceeds the national annual NIH grant funding rates (~20%) by approximately 50%. This article provides the practical information needed for other institutions to implement a P3-like program and presents a cost-benefit analysis showing the advantages of doing so.

대만 의과대학생의 문화간 전문직업성 딜레마 내러티브: 서양의학과 대만문화의 긴장(Adv Health Sci Educ Theory Pract. 2017)
Taiwanese medical students’ narratives of intercultural professionalism dilemmas: exploring tensions between Western medicine and Taiwanese culture
Ming-Jung Ho1 • Katherine Gosselin1 • Madawa Chandratilake2 • Lynn V. Monrouxe3 • Charlotte E. Rees4

 

서론
Introduction

세계화 시대에 의료 종사자들은 다양한 문화적 배경을 가진 사람들을 치료하고, 일하고, 소통해야 합니다. [문화적 역량]은 양질의 의료 서비스를 제공하는 데 필수적인 것으로 널리 인정되어 왔습니다. 그러나 문화적 역량훈련은 서양 의학 커리큘럼에 포함되었지만, 유사한 훈련은 서양 이외의 의학 교육 맥락에서 아직 관심을 끌지 못하고 있다. 동시에, 세계적인 이주와 그에 수반되는 문화의 흐름에 매료된 기존 의학 교육 문헌은 서양의 맥락에서 '기타' 또는 소수 문화에 초점을 맞추는 경향이 있다. 현재의 문헌은 대만과 같은 비서양 국가에서 서양 의학을 배우는 비서양 학생들이 겪는 도전을 대부분 무시하고 있다.
In an era of globalization, healthcare practitioners must treat, work and communicate with people from diverse cultural backgrounds. Cultural competence has been widely acknowledged as essential to the provision of quality healthcare (Anderson et al. 2003; Betancourt 2006). However, while cultural competence training has been incorporated in Western medical curricula (Betancourt 2003; Brach and Fraser 2000), similar training has yet to gain traction in non-Western medical education contexts. At the same time, enamored with global migration and its attendant flows of culture, existing medical education literature has tended to focus on ‘other’ or minority cultures within Western contexts. Current literature largely ignores the challenges experienced by non-Western students learning Western medicine in non-Western countries, such as Taiwan.

대만의 문화간 전문직업성 딜레마
Intercultural professionalism dilemmas in Taiwan

대만에서는 의대생들이 환자 진료에서 직면하는 문화적 문제를 다룰 준비가 잘 되어 있지 않다는 연구 결과가 나왔다. 비록 짧은 교육 개입이 학생들의 문화-간cross-cultural 커뮤니케이션 기술을 향상시켰지만, 장기간의 유지는 걱정거리이다. 게다가 서구의 틀에 근거한 문화적 역량에 대한 일부 정량적 평가는 대만 문맥에서 유효하지 않거나 신뢰할 수 없는 것으로 판명되어 그 적용성에 의문이 제기되어 왔다. 여전히, 현재 대만에서 문화적 역량에 대한 관념은 [대만 문화에서 서양 의학의 도전]을 간과하고, 소수민족이나 '외국foreign' 문화와의 만남에 초점을 맞추는 경향이 있다. 대만과 같이 서양 이외의 맥락에서 서양 의학을 훈련받은 의대생들에게는 문화 간 딜레마가 더 뚜렷할 수 있다.

In Taiwan, research suggests that medical students are not well prepared to deal with cultural issues encountered in patient care (Lu et al. 2014). Although brief educational interventions have improved students’ cross-cultural communications skills, long-term retention is of concern (Ho et al. 2008, 2010). Moreover, some quantitative assessments of cultural competence based on Western frameworks have been found invalid or unreliable in the Taiwanese context, which has raised the question of their applicability (Ho and Lee 2007). Still, existing notions of cultural competence in Taiwan tend to focus on encounters with minority or ‘foreign’ cultures (Kleinman and Benson 2006), overlooking the challenges of Western medicine in Taiwanese culture. For medical students trained in Western medicine in non-Western contexts, as in Taiwan, intercultural dilemmas may be more pronounced.

문화 및 문화 역량
Culture and cultural competence

  • [문화]는 가치, 규범, 실천, 역할 및 관계에서 나타나는 믿음과 행동의 패턴을 나타내기 위해 사용되는 광범위한 용어입니다.
  • [각 개인]은, 단일 집단의 정체성을 보여주기보다는, 단순한 인종, 민족, 종교를 넘어 문화적 영향을 미치는 독특한 [키메라]입니다(베탕쿠르 2003). 
  • 이것을 확장하면, [문화적 역량]은 다양한 문화적 관행과 신념으로 특징지어지는 대인관계와 맥락에서 효과적으로 작동할 수 있는 능력을 의미한다(베탕쿠르 2006). 이 능력은 또한 '문화 상대주의', '문화 간 효과', '문화적 겸손', 그리고 '초국가적 능력'으로 언급되어 왔다.

Culture is a broad term used to signify patterns of belief and behavior, as manifest in values, norms, practices, roles and relationships (Anderson et al. 2003; Betancourt 2003). Far from denoting a singular group identity, each individual is a unique chimera of cultural influences beyond simply race, ethnicity or religion (Betancourt 2003). By extension, cultural competence implies the ability to operate effectively in interpersonal interactions and contexts characterized by diverse cultural practices and beliefs (Betancourt 2006). This ability has also been referred to as ‘cultural relativism’ (Sobo and Loustaunau 2010), ‘cross-cultural efficacy’ (Núñez 2000), ‘cultural humility’ (Tervalon and Murray-García 1998) and ‘transnational competence’ (Koehn and Swick 2006).

문화적 역량에 대한 이전의 움직임은 학생들에게 문화 간 지식과 기술을 전수하는 것을 추구했는데, 이때 주로 [문화적 고정관념]과 [과도하게 단순화된 문화 간 및 문화 내 이질성]에 의존해왔다. 그러나 문화적 역량에 대한 최근의 접근은 환자를 위한 공감적이고 개인화된 치료를 제공하기 위하여 [문화적 배경을 통합하는 것]으로 옮겨가고 있습니다.

Earlier movements towards cultural competence sought to impart students with cross-cultural knowledge and skills (Kripalani et al. 2006; Altshuler et al. 2003) relying on cultural stereotypes and oversimplifying inter- and intra-cultural heterogeneity (Koehn and Swick 2006; Dreher and Macnaughton 2002). Recent approaches to cultural competence, however, have shifted towards the integration of cultural background in the provision of empathic, individualized care for patients (Tervalon and Murray-García 1998; Koehn and Swick 2006; Dreher and Macnaughton 2002).

문화 간 역량에 대한 이론적 관점
Theoretical perspectives on intercultural competence

많은 학자들이 교육, 학습 및 의료 분야에서 [문화 간 역량intercultural competence]을 탐구해 왔지만, 우리는 특히 관리 연구로부터 문화 간 커뮤니케이션에 이르기까지 프리드먼과 베르토인 안탈의 공헌을 바탕으로 하고 있습니다. 우리가 이 이론을 선택한 것은 행동과학 및 정체성 기반 갈등의 개념을 바탕으로 한, [문화 간 역량]에 대한 [행동지향적 접근법] 때문이다(Friedman and Bertoin Antal 2005). 이 작가들은 [문화적 역량]은 [문화 간 역량]과 다르다고 정의한다. 그들의 관점에 따르면,

  • [문화적 역량]은 문화-간 상호작용에서 미성찰적 행동을 의미한다. 즉, 학습된 [기술, 지식 또는 '다른' 문화에 대한 가정]에 의존하는 것이다.
  • [문화 간 역량]은 '현실 협상negotiating reality'을 수반한다. 이는 높은 옹호와 높은 탐구의 신중한 조합을 통해 상호 문화적 인식과 반성을 창출하는 과정이다. [옹호]란 자신의 문화를 표현하고 대변하는 것이다. [탐구]란 자신과 타인의 문화를 탐구하고 성찰하는 것이다.

While many scholars have explored intercultural competence in teaching and learning and healthcare contexts (Byram 1997; Leininger 1996; Srivastava 2007), we draw specifically on Friedman and Berthoin Antal’s contributions from management studies to cross-cultural communication (Berthoin Antal and Friedman 2008; Friedman and Berthoin Antal 2005, 2006). We chose this theory because of its action-orientated approach to intercultural competence, drawing on concepts of action science and identity-based conflict (Friedman and Berthoin Antal 2005). These authors define cultural competence as differing from intercultural competence (Berthoin Antal and Friedman 2008; Friedman and Berthoin Antal 2005, 2006).

  • In their view, cultural competence denotes non-reflective action in cross-cultural interactions; reliance on a set of learned skills, knowledge or assumptions about ‘other’ cultures. 
  • Intercultural competence, on the other hand, involves ‘negotiating reality’: a process of generating mutual cultural awareness and reflection through a careful combination of high advocacy and high inquiry (Berthoin Antal and Friedman 2008), where advocacy involves expressing and championing one’s own culture and inquiry means exploring and reflecting upon one’s own and others’ cultures (Friedman and Berthoin Antal 2005).

프리드먼과 베르토인 안탈에 따르면,

  • [높은 옹호/낮은 탐구] 접근법에는 타인의 가치를 고려하지 않고 자신의 가치를 장려하는 것이 포함됩니다. 의료 환경에서 드물지 않다. '의료 중심medicocentric' 의료인을 만난다거나, 위계적 의사-환자 관계이다.
  • [낮은 옹호/높은 탐구] 접근법은 자신의 견해를 공유하지 않고, 타인의 견해와 가치를 탐색하는 것을 포함하며, 이는 환자 치료에 잠재적인 해를 끼친다.
  • [낮은 옹호/낮은 탐구] 접근법은 다른 문화와의 만남에서 철수하거나 이탈하는 것으로 해석될 수 있다.
  • [높은 옹호/높은 탐구]은 가장 바람직한 접근법이다. 탐구, 토론 및 상호 이해 정신으로 열린 의견 교환이다.

A high advocacy/low inquiry approach involves exhorting one’s own values without considering those of others—not uncommon in healthcare settings, where one might encounter ‘medicocentric’ practitioners (Campinha-Bacota and Munoz 2001; Pfifferling 1981) and hierarchical provider-patient relationships (Chandratilake et al. 2012).

On the other hand, a low advocacy/high inquiry approach involves exploring the views and values of others without sharing one’s own views, with potential detriment to patient care.

A low advocacy/low inquiry approach can be interpreted as withdrawal or disengagement from a cross-cultural encounter.

The most desirable approach, according to Friedman and Berthoin Antal, is high advocacy/high inquiry: an open exchange of views in the spirit of exploration, discussion and mutual understanding (Berthoin Antal and Friedman 2008; Friedman and Berthoin Antal 2005).

서구의 [크로스 컬쳐 프레임워크]가 대만에 적용될 수 있는지는 의문이지만, 기존의 독자적인 이론 프레임워크가 없기 때문에, 높은 옹호/높은 탐구가 최선이라는 결론을 정해두지는 않되, 프리드먼과 베르토인 안탈의 모델을 휴리스틱 장치로서 사용하였다. [서양의 이론 체계를 사용하지 않는 것]의 대안은 [이론 체계를 전혀 사용하지 않는 것]이었다. 그러나 우리는 [이론이 질적 분석 과정에 엄격함을 가져올 것]이라고 생각했기 때문에, 무-이론 접근법theory-free approach를 따르지 않기로 결정했다(Rees and Monrouxe 2010).

Although the applicability of Western cross-cultural frameworks is questionable in the context of Taiwan, due to a lack of existing indigenous theoretical frameworks, we adopt Friedman and Berthoin Antal’s model as a heuristic device to analyze our data without commiting to their conclusion that high advocacy/high inquiry is ncessarily the best. The alternative to not using a Western theoretical framework was to not use a theoretical framework at all. However, we decided against this theory-free approach as we felt that theory would bring rigour to the qualitative analytic process (Rees and Monrouxe 2010).

 

근거 및 조사 질문
Rationale and research questions

비서양적 맥락에서의 의학 교육이 점점 서구화됨에 따라, 서양의학과 비서양 문화 사이의 단절을 다룰 필요가 있다. 대만에서는 의과대학의 정식 커리큘럼이 서양의 표준(서양의 프로페셔널 코드와 환자의 자율성, 기밀성, 정보에 근거한 동의를 나타내는 커뮤니케이션 모델 등)을 따르고 있지만, 임상 실무의 비공식 및 숨겨진 커리큘럼은 현지 문화에 영향을 받는다. 예를 들어, [가족]은 [환자의 자율성을 훼손할 정도]로 의료 의사결정에 중요한 역할을 한다.
As medical education in non-Western contexts becomes increasingly Westernised, there is a need to address any disconnects between Western medicine and non-Western cultures. In Taiwan, while the formal curriculum in medical schools follows Western standards, including formal teaching and assessment of Western professional codes and communication models articulating patient autonomy, confidentiality and informed consent, the informal and hidden curriculum in clinical practice is affected by local culture. For example, families play important roles in medical decision-making, to the degree of compromising patient autonomy (Ho et al. 2012).

환자 중심의 돌봄, 상호 이해 및 공동 의사결정을 장려하는 기존 문화역량 모델(베탕쿠르 2006)에 따라 대만 학생들의 문화 간 딜레마 내러티브 분석에 '문화 간 역량intercultural competence'이라는 개념을 채택했다. 이 이야기들은 학생들의 [전문직업성 딜레마]에 대한 탐구를 통해 도출되었다: 그들이 목격했거나 참여한 상황들, 그들 자신의 문화적 관점에서 볼 때 부도덕하거나 부적절하거나 프로답지 않다고 생각하는 상황들(Christakis and Pondtner 1993). 의대생들은 문화적 차이를 수반하는 전문성 딜레마에 자주 직면하기 때문에, 문화적 역량을 키우는 것이 학생들의 전문성 학습과 실천에 핵심이다. 따라서 이 백서에서는 다음 두 가지 조사 질문에 대해 설명합니다. 

  • (1) 학생들의 문화 간 전문성 딜레마 이야기에서 대만 문화의 어떤 측면이 강조됩니까? 
  • (2) 이러한 딜레마에 대응하여 대만 의대생들은 어떤 옹호와 질문을 조합하여 이야기합니까?

In line with existing models of cultural competence that encourage patient-centered care, mutual understanding and joint decision-making (Betancourt 2006), we employed the concept of ‘intercultural competence’ (Friedman and Berthoin Antal 2005) in our analysis of Taiwanese students’ intercultural dilemma narratives. These narratives were elicited through an exploration of students’ professionalism dilemmas: situations that they witnessed or participated in, which they believe to be immoral, improper or unprofessional from their own cultural perspective (Christakis and Feudtner 1993). Since medical students frequently encounter professionalism dilemmas involving cultural differences, developing cultural competence is key to students’ learning and practice of professionalism (Ho et al. 2008; Monrouxe and Rees 2012). This paper, therefore, addresses two research questions:

  • (1) Which aspects of Taiwanese culture are highlighted in students’ intercultural professionalism dilemma narratives?
  • (2) Which combinations of advocacy and inquiry do Taiwanese medical students narrate in response to these dilemmas?

방법들
Methods

연구 설계
Study design

이 연구는 대만 의대생들의 전문직업성 딜레마에 대한 이야기를 조사하는 대규모 연구 프로젝트의 일부입니다. 질적 내러티브 인터뷰를 사용하였으며, [지식을 '사회적 상호 작용을 통해 협상되는 것'으로 개념화]하고, [다중적 현실의 존재를 인정]하는 [사회적 구성주의social constructionism]에 의해 뒷받침된다(Crotty 2003). 따라서 우리는 데이터에서 몇 가지 기본적인 정량적 패턴을 확인했음에도 불구하고 이 연구에서 정성적 해석적 접근법을 취한다.
This study is part of a larger research project investigating Taiwanese medical students’ narratives of professionalism dilemmas. It employs qualitative narrative interviewing (Monrouxe and Rees 2012; Monrouxe et al. 2014) and is underpinned by social constructionism, which conceptualizes knowledge as negotiated through social interaction and acknowledges the existence of multiple realities (Crotty 2003). We therefore take a qualitative interpretive approach in this study, despite identifying some basic quantitative patterns in our data (Maxwell 2010).

맥락
Context

대만의 의학교육은 서양의학과 전통 의학을 어느 정도 수용하는 문화적 배경에도 불구하고 서양의학 교육에 기반을 두고 있다. 대만의 의학 학위는 보통 7년이며, 본 학교에서는

  • 4학년 학생들이 일주일에 하루 오후를 신체 검사와 환자력 검사를 배우는 데 소비합니다.
  • 5학년과 6학년 학생은 다양한 임상 부서에서 임상실습을 하며 관찰하고, 환자 진료에 대한 제한된 책임을 맡습니다.
  • 7학년 학생들은 환자 진료에서 직접적이지만 감독된 책임을 지는 인턴으로 활동합니다.

Taiwanese medical education is based on Western medical education (Ho et al. in press), despite the cultural backdrop embracing both Western and traditional medicine to varying degrees (Huang et al. 2014). Taiwanese medical degrees are typically seven years, and in the participating school,

  • year 4 students spend one afternoon per week learning to do physical examinations and take patient histories.
  • Year 5 and 6 students undertake clerkships in different clinical departments, observing and taking on limited responsibilities in patient care. Finally,
  • year 7 students act as interns with direct but supervised responsibilities in patient care.

참가자 모집
Participant recruitment

윤리적 승인에 따라, 우리는 참가자를 모집하기 위해 전자 게시판과 학생회 대표들의 도움을 이용했습니다. 2013-2014년에 대만 의과대학 14개 초점 그룹이 64명의 학생을 대상으로(20~33세, 평균 연령 = 24.5세) 4-7년차에 실시되었다. 초점 그룹에는 4학년 학생 10명(여자 4명, 남자 6명), 5학년 학생 15명(여자 3명, 남자 12명), 6학년 학생 16명(여자 3명, 남자 13명), 7학년 학생 23명(여자 4명, 남자 19명)이 포함됐다.

Following ethical approval, we used electronic bulletin boards and assistance from student association representatives to recruit participants. In total, 14 focus groups at one Taiwanese medical school were conducted with 64 students in 2013–2014 (15 females and 49 males, reflective of the school’s gender ratio) in Years 4–7 (age ranged from 20 to 33, mean age = 24.5). The focus groups included 10 students from Year 4 (4 females, 6 males), 15 students from Year 5 (3 females, 12 males), 16 students from Year 6 (3 females, 13 males), and 23 students from Year 7 (4 females, 19 males).

데이터 수집
Data collection

그룹 전체에서 인터뷰의 일관성을 확보하기 위해 두 명의 저자가 실시한 이전의 연구에 근거한 토론 가이드를 채용했다. 그룹 참가자 집중, 소개 및 기본 규칙 토론에 대한 전반적인 환영을 받은 후, 우리는 오리엔테이션 질문으로 각 그룹 토론을 시작했습니다. [O학년 의대생으로서, 전문직업성에 대해 어떻게 알고 계십니까?] 그런 다음, 참가자들은 그들의 전문성에 대한 정의에 대한 논의를 바탕으로 전문직업성 딜레마에 대해 공유하도록 요구받았다. 문헌에서 [전문직업성 딜레마]는 비윤리적, 비전문가적, 비도덕적 또는 잘못된 사건을 목격하거나 참여하는 학생들의 일상적인 경험으로 정의된다. 전문직업성 딜레마에는 윤리적 딜레마가 포함되지만 이에 국한되지는 않습니다. 학생들의 전문직업성 딜레마가 소진된 후, 우리는 인터뷰를 끝내고, 토론에 중요한 기여를 한 참가자들에게 감사를 표하고, 떠나기 전에 설문지를 작성하도록 요청했습니다. 여기에는 기본 인구통계(예: 연령, 성별)와 교육 관련 세부사항(예: 연구 연도)이 포함되어 표본과 각 하위 그룹의 특성을 정의할 수 있었다.
We employed a discussion guide based on previous studies conducted by two of the authors (Monrouxe and Rees 2012; Monrouxe et al. 2014) in order to ensure consistency in interviewing across the groups. After a general welcome to focus group participants, introductions and a discussion of ground rules, we started each group discussion with an orienting question: “what is your understanding of professionalism as a [state year] medical student?”. Then, participants were asked to share their professionalism dilemmas based on their discussion of their definitions of professionalism. In the literature, professionalism dilemmas are defined as day-to-day experiences of students in which they witness or participate in an event that they find unethical, unprofessional, immoral or wrong (Christakis and Feudtner 1993). Professionalism dilemmas include, but are not limited to, ethical dilemmas. Once students’ professionalism dilemmas were exhausted, we closed the interviews, thanking participants for their important contributions to the discussions and asking them to complete a questionnaire before they left. This included basic demographic (e.g. age, gender) and education-related details (e.g. year of study) so that we could define the characteristics of our sample and each sub-group.

 

데이터 분석
Data analysis

그룹 토론은 오디오 녹음, 문자 변환, 익명화 및 ATLAS.ti 버전 7.5.2에 입력되었습니다. 첫째, 일반화된 대화가 아닌 코딩의 주요 단위로 개인적인 사고 기록(특정 사건의 이야기)을 식별했다. (예: "항상 있는 일입니다…"). 총 233건의 개인적 사건 내러티브가 확인되었다. 이 데이터의 1차 주제 분석은 [프레임워크 분석]의 5단계를 사용하여 수행되었다.

Group discussions were audio-recorded, transcribed, anonymized and entered into ATLAS.ti Version 7.5.2 (Scientific Software Development GmbH, Berlin, Germany). First, we identified personal incident narratives (i.e. stories of specific events) as the primary unit for coding, rather than generalized talk (e.g. “it happens all the time…”). In total, 233 personal incident narratives were identified. A primary thematic analysis of this data was undertaken using the five stages of framework analysis (Ritchie and Spencer 1994):

  1. 1. 모든 저자는 주제와 하위 주제를 식별하기 위해 독립적으로(각각 최소 6개의 대본) 데이터를 숙지했다. 5명의 저자 중 2명은 영국과 호주에서 전문직업성을 위해 이전에 개발된 코딩 프레임워크에 대한 지식을 바탕으로 [연역적인 방식]으로 이를 수행했다. 다른 세 명의 저자는 이 과정을 [귀납적인 방식]으로 수행했다.
    1.
    All authors familiarised themselves with the data independently (at least 6 transcripts each) in order to identify themes and sub-themes. Note that two of five authors did this in a deductive manner based on their knowledge of a previously developed coding framework for professionalism from the UK and Australia (Monrouxe and Rees 2012; Monrouxe et al. 2014). The other three authors engaged in this process in an inductive fashion.
  2. 2. 우리는 서로의 통찰력을 공유하고 상호 합의된 코딩 프레임워크를 개발하기 위해 함께 모였습니다. 학생의 내러티브에서 식별되는 가장 일반적인 주제 중 하나가 [문화간 딜레마]였고, 문화간 딜레마 내러티브의 2차 분석을 실시하기로 결정하였으며, 이 논문의 초점이 되었다. 그런 다음, 우리는 문화간 전문직업성 딜레마에 대한 추가적인 코딩 프레임워크를 개발했고(예를 들어, 학생들은 어떤 유형의 문화 간 딜레마를 경험했는가) 데이터를 코드화하기 위해 프리드먼과 베르토인 안탈(2005)의 옹호와 질문 조합을 사용했다.
    2.
    We came together to share our insights and to develop a mutually-agreed coding framework. As intercultural dilemmas were among the most common themes identified in students’ narratives, we decided at this point to undertake a secondary analysis of intercultural professionalism dilemma narratives, which became the focus of this paper. We then developed an additional coding framework for intercultural professionalism dilemmas (for example, what types of intercultural dilemmas did students experience?) and employed Friedman and Berthoin Antal’s (2005) combinations of advocacy and inquiry, to code the data.
  3. 3. 두 번째 저자는 모든 문화 간 전문지업성 딜레마 내러티브를 코드화하고, 연구 보조자는 코드화를 재확인했다(승인 참조). 이견은 제1저자와의 논의를 통해 해결되었다.
    3.
    The second author coded all intercultural professionalism dilemma narratives and a research assistant double-checked the coding (see acknowledgements). Disagreements were resolved through discussion with the first author.
  4. 4. 데이터를 차트화했다(즉, 주제 내에서 패턴을 탐색했다).
    4.
    The data were charted (i.e., patterns were explored within the themes).
  5. 5. 이 주제들은 프리드먼과 베르토인 안탈(2005)의 이론 체계와 기존 문헌에 비추어 해석되었다.
    5.
    These themes were interpreted in light of Friedman and Berthoin Antal’s (2005) theoretical framework and existing literature.

 

결과.
Results

우리는 109개의 문화 간 딜레마를 확인했는데, 그 중 98개(90%)는 대만 문화 문제를, 10개(9%)는 국제 문화 문제를, 그리고 1개(1%)는 둘 다와 관련된 이야기(Monrouxe와 Rees 2017)를 확인했다.
We identified 109 intercultural dilemmas, 98 (90%) of which referred to one or more Taiwanese cultural issues and 10 (9%) to international cultural issues, as well as one narrative (1%) referring to both (Monrouxe and Rees 2017).

 

학생들의 문화 간 딜레마에서 대만 문화의 어떤 측면이 인용되는가?
Which aspects of Taiwanese culture are cited in students’ intercultural dilemmas?

다음과 같은 대만 문화 주제가 확인되었으며, 여러 주제와 관련된 서술이 일부 확인되었다.

  • (1) 가족 관계 및 역할(n = 37),
  • (2) 지방 정책(n = 33),
  • (3) 말기 의료(n = 15),
  • (4) 한의학(n = 15),
  • (5) 젠더 관계(n = 11)
  • (6) 대만어
  • (7) 기타 문화적 이슈

각 주제와 설명에 대한 설명은 표 1을 참조하십시오.
The following Taiwanese cultural themes were identified, with some narratives involving multiple themes:

  • (1) Family relations and role (n = 37);
  • (2) Local policy (n = 33);
  • (3) End-of-life care (n = 15);
  • (4) Chinese medicine (n = 15);
  • (5) Gender relations (n = 11);
  • (6) Taiwanese language (n = 7); and
  • (7) Other cultural issues (n = 8).

See Table 1 for a description of each theme and illustrative narratives.

 

대만 학생들은 어떤 옹호와 탐구를 조합하여 이야기합니까?
Which combinations of advocacy and inquiry do Taiwanese students narrate?

109개의 문화 간 딜레마 내러티브 중 62개는 옹호/탐구 프레임워크를 적용하기에 대인관계에 대한 충분한 세부사항을 제공했다(정의와 예는 표 2 참조). 이하에, 특정된 옹호와 탐구의 조합의 예를 나타냅니다.
Of the 109 intercultural dilemma narratives, 62 provided sufficient detail about interpersonal interactions to apply the advocacy/inquiry framework (see Table 2 for definitions and examples). Below, we provide examples of the combinations of advocacy and inquiry identified.

 

낮은 옹호/낮은 탐구
Low advocacy/low inquiry

대부분의 학생들의 내러티브는 대만의 문화적 딜레마에 관여하는 것을 꺼리는 것을 반영했다. 흥미롭게도, 학생들은 종종 그러한 경우에 불확실하거나 실망감을 표현했다. 한 7학년 학생은 자기 친적 이야기를 했다. 친척은 폐색전증으로 혈액을 희석하면서 한약을 사용하기 시작했다. 이 학생은 양약과 한약의 조합이 친척의 사망으로 이어졌다고 의심했다.

Most of the students’ narratives reflected their reluctance to engage with Taiwanese cultural dilemmas, though a few observed superiors taking the same approach. Interestingly, students often expressed uncertainty or disappointment in such cases. In a narrative combining end-of-life care, the role of the family and Chinese medicine, a Year 7 student shared that her own relative, while taking blood thinner for a pulmonary embolism, began to use Chinese medicine. The student suspected that the combination of Western and Chinese medicines led to her relative’s death:

대학에서 전통의학 동아리에 가입했는데... 그래서 배웠어요. 인삼과 동콰이 항응고 효과에 대한 연구가 있어요. (Y7F2)
I participated in a traditional medicine club in the university… So I learned… that there… [is] some research about… ginseng and… dong-quai hav[ing an] anticoagulation effect. (Y7F2)

 

하지만 친척이 죽었다는 소식을 듣고 그녀는 관여하지 않기로 결정했다.
Yet, upon hearing of her relative’s death, she chose not to get involved:

가족에게는 설명하지 않았다… 왜냐하면 그 환자의 딸이 아버지가 전통 의학을 찾아야 한다고 제안했기 때문이다… 그들은 전통 의학이 항응고 효과도 있다는 것을 알지 못한다. (Y7F2)
I didn’t explain that to the family… because I think it’s the patient’s daughter that suggest[ed] that… [her] father should seek… traditional medicine… They… don’t know that traditional medicine also include[s] some anticoagulation effect. (Y7F2)

 

그러나 이 학생의 한의학 지식은 흔치 않았다. 서양 생물의학 교육을 받은 대부분의 학생들은 전통의학을 배우는 데 거의 관심을 보이지 않았다. 한 학생은 환자가 한의학을 언급했을 때 더 이상 묻지 않고 이 점을 공유했다.
This student’s familiarity with Chinese medicine was, however, uncommon. Most students, having been trained in Western biomedicine, expressed little interest in learning about traditional medicine. One student shared that, instead of inquiring further when a patient mentioned Chinese medicine:

그냥 적어두지만 독소가 아닌 한 아무도 신경 쓰지 않을 겁니다. (Y5M4)
I just write [it down], but I think nobody cares about that as long as it is not some kind of toxin. (Y5M4)


대만에서는 죽음을 둘러싼 문화적 금기사항 때문에 위독한 환자나 노환자의 가족은 종종 환자와 상의하지 않고 중요한 임종 결정을 내린다. 한 7학년 학생은 가족이 환자에게 자신의 상태를 말하는 대신 혼수상태에 빠질 때까지 기다려 DNR오더를 내린 암 환자의 이야기를 들려주었다. 이 학생은 이러한 방식에 불편함을 표시하며 다음과 같이 말했다.

Due to cultural taboos surrounding death in Taiwan, the families of critically ill and elderly patients often make important end-of-life decisions without consulting patients. A Year 7 student shared the story of a patient with cancer whose family, rather than telling the patient about his condition, waited until he was in a coma to sign a ‘do not resuscitate’ order. The student expressed discomfort with this practice, saying:

하지만 그건 말이 안 돼요. 환자가 소생하지 않는다는 것을 알려야 하는데... 대만 문화, 이런 상황은 정말 흔해요. (Y7M5)
but that doesn’t make sense, because we should let the patient know that he will [not be resuscitated]… but I think in… Taiwanese culture, this situation is really common. (Y7M5)

 

이 학생은 다음과 같은 딜레마에 직면한 의대생들 사이에서 낮은 지지/낮은 질의 응답이 일반적이라고 관찰했다.
The student observed that a low advocacy/low inquiry response is common among medical students faced with this type of dilemma:

몇몇 의대생들은 그런 이상한 상황을 마주하고 싶지 않기 때문에 그냥 물러설 것이다. (Y7M5)
some of the medical students will just withdraw… because they d[o]n’t want to face that strange situation. (Y7M5)

높은 옹호/낮은 탐구
High advocacy/low inquiry

일부 학생들은 높은 옹호/낮은 탐구 방식을 사용하여 자신의 경험을 공유했지만, 대부분은 이 방식을 사용한 상관에 대해 비판적이었다. 예를 들어, 한 5년차 학생은 환자 치료에 가족이 관여하는 사건에 대한 치프 레지던트의 높은 옹호/낮은 탐구 접근법의 비효율성에 주목했다. 환자의 며느리는 [의대생들이 시어머니를 방문하는 것]에 대해 불만을 표시했다.
While some students shared their own experiences using a high advocacy/low inquiry approach, most were critical of their superiors who used this approach. For example, a Year 5 student noted the ineffectiveness of a chief resident’s high advocacy/low inquiry approach in an incident concerning family involvement in patient care. When a patient’s daughter-in-law expressed frustration with the medical students visiting her mother-in-law:

치프 레지던트도 조금 화가 나서 '여기는 교육병원이니 학생들을 거절하면 안 된다'고 말했다. (Y5F3)
the chief resident was also a little bit angry and [told] her, ‘this is the teaching hospital, so you should not decline the students’. (Y5F3)


그러나 이 학생은 치프 레지던트가 종종 대만 가족의 비난을 받는 [며느리에 대한 시댁의 압박]에 대해 알아보기 위해 노력하지 않았다는 것을 인정했다.

The student recognized, however, that the chief resident made no effort to inquire about family pressures on the daughter-in-law, who often bears the brunt of a Taiwanese family’s blame:

우리는 다른 전공의와 다른 치프 레지던트로부터 그녀가 환자의 유일한 간병인이라는 이야기를 들었습니다만, 다른 가족들은 그녀에게 '어머니를 잘 돌봤나요?'라고 질문할 수도 있습니다. 우리 할머니 잘 보살펴드렸니?' 가족들로부터 엄청난 압박감을 받고 있는 것 같아요. 거기엔 그녀 한 명밖에 없어요. (Y5F3)
We’ve heard from other residents and [another] chief resident that she’s the only caregiver of the patient, but the other [family members] may… question her, ‘Did you take good care of my mother? Did you take good care of my grandmother?’ So maybe she’s under great pressure [from] the family, and there’s only one of her. (Y5F3)

한 6학년 학생은 표 2와 같이 한약을 사용하는 환자와의 상호작용에서 '의학중심주의'가 뚜렷한 한 교수를 관찰하였다. 한 5학년 학생은 이 관찰을 반복하면서 다음과 같은 의사를 묘사했다.
A Year 6 student observed a professor whose ‘medicocentrism’ was evident in interactions with patients who used Chinese medicine, as indicated in Table 2. A Year 5 student echoed this observation, describing a doctor who:

한약을 가지고 귀찮게 만들고 싶지 않다. 그래서 그는 그냥 '오, 제발 이 약을 드세요, 한약은 먹지 마세요.'라고 말한다.(Y5M3)
doesn’t want to bother himself [with]… Chinese medicine, so he just say[s], ‘oh come on… please just take this drug, don’t take Chinese medicine’. (Y5M3)

 

학생은 이 접근방식이 다음과 같이 환자에게 해를 끼칠 수 있다고 인식했다.
This approach, the student recognized, may harm the patient, as it:

의사가 처방하는 약의 성질을 설명하지 않기 때문에 환자의 순응도가 좋지 않다. (Y5M3)
results in… bad compliance… because the doctor just simply doesn’t explain what kind[s] of characteristics the drug that he prescribe[s has]. (Y5M3)

높은 옹후/높은 탐구
High advocacy/high inquiry


학생들은 종종 선배의사가 취한 [높은 옹호/높은 탐구 접근법]에 감탄하고, 다른 학생들은 이 접근방식을 성공적으로 사용하는 것을 자랑스럽게 여겼다. 예를 들어 표 1에서 설명한 바와 같이, 이제 많은 대만인들이 만다린어를 구사하여 더 이상 대만어로 의사소통을 할 수 없게 되었다. 일반적으로 짧은 환자와의 만남에서는 언어 능력을 배울 수 없지만, 한 5학년 학생은 자신이 어떻게 대만어를 하는 환자들과 더 잘 소통하고 배울 수 있었는지에 대해 이야기했습니다.

Students often admired the high advocacy/high inquiry approaches taken by their superiors, with others being proud to share their own successful use of this approach. For example, as explained in Table 1, many Taiwanese people speak Mandarin and are no longer able to communicate in Taiwanese. Although language skills cannot typically be learned during brief patient encounters, a Year 5 student related how she was better able to communicate with and learn from Taiwanese-speaking patients:

저는 대만어로 할 수 있는 단어를 제한적으로 사용하려고 합니다. 또한 그들이 자신의 방식으로 이해한 것을 알려주면 더 많은 대만어를 배울 수 있기 때문에 단어를 더 잘 설명할 수 있습니다. 좋아지고 있어요. (Y5F3)
I try to use the limited words I can speak in Taiwanese and when they tell us what they understand in their own way, I can learn more Taiwanese word[s]… so I can use the words [t]o explain better to them so… I’m improving. (Y5F3)

 

환자에게 더 물어봄으로써 그녀는 다음과 같이 할 수 있었다.
By further inquiring of the patient, she could:

그들이 이해하고 있는 것을 확인하고 더 잘 이해할 수 있도록 한다. (Y5F3)
make sure [of] what they understand… and make [a] better understanding. (Y5F3)

 

표 2에서 강조된 바와 같이, 4학년 학생은 가족이나 친구와 한의학에 대해 이야기할 때 공감과 정직으로 응답하면서 높은 지지와 높은 관심을 보였다.
As highlighted in Table 2, a Year 4 student exercised high advocacy/high inquiry when talking about Chinese medicine with family and friends, responding with empathy and honesty.

 

낮은 옹호/높은 탐구
Low advocacy/high inquiry

소수의 학생들은 낮은 옹후/높은 탐구의 접근법에 대한 경험과 관찰을 공유했는데, 그 중 많은 수가 환자에게 치명적인 진단에 대해 알리는 것을 가족이 거절하는 것에 관한 것이었다. 6학년 학생은 환자의 자율성에 대한 신념과 합법성에 대한 우려를 억누르면서 가족의 관점을 존중하는 방법을 공유했습니다.

A few students shared experiences and observations of low advocacy/high inquiry approaches, many of which concerned families’ refusals to inform patients about fatal diagnoses. A Year 6 student shared how he respected a family’s point of view while suppressing his belief in patient autonomy and concerns about legality:

그 가족은 의사에게 아버지에게 아버지의 건강에 대해 말하지 말라고 설득했다. 그들은 그가 행복하게 살기를 원했고 어떤 치료도 거부했다. 하지만 사실 환자의 자율성을 존중하기 위해 환자의 몸에서 무슨 일이 일어나고 있는지 환자에게 알려야 합니다. 하지만 대만에서는 사회적 또는 전통적 가치나 규범 때문에 가족이 결정하는 것을 존중하는 경향이 있습니다. 하지만 그건... 법에 있어요. 말기 환자라도 치료 계획이나 선택지에 대해 말해줘야 하지만 실제로는 쉽지 않다. (Y6M8)
the family sort of lie[d], persuade[d] the doctors… not [to] tell… their father about… his health. They wanted [him] to live happily and… refuse[d] any medical treatment. But actually, in order to respect the patient’s autonomy, we’re supposed to tell the patient about what’s going on in his body. But in Taiwan… perhaps due to… social or traditional value[s] or norms… we tend to… respect what [the] family decide[s]. But it’s… in the law. It sa[ys] even the terminal[ly] ill patient, you have to tell him about the treatment plan or his options… but in practice… [it’s] usually not easy to. (Y6M8)


한편, 표 2에서 강조된 바와 같이, 6학년 학생은 자신의 신념에 관계없이, 말기 치료 시 한약 사용을 존중하는 이유로 환자의 자율성을 들었다. 비슷한 상황에서, 한 7학년 학생은 방문진들이 침과 피를 흘리기 위해 한의사를 방문하는 것을 반대하지 않는 것을 관찰했다.
On the other hand, as highlighted in Table 2, a Year 6 student cited patient autonomy as a reason to respect the use of Chinese medicine during end-of-life care, regardless of her own beliefs. In a similar situation, a Year 7 student observed how a visiting staff did not oppose a visit from a Chinese medicine doctor to administer acupuncture and blood-letting.

 

논의
Discussion

이 연구에서 우리는 대만의 의대생들이 공유하는 [전문직업성 딜레마의 거의 절반]과 [문화간 딜레마의 거의 대부분]이 서양의학과 대만 문화의 긴장을 우려하는 것임을 관찰했다.

  • 첫 번째 조사 질문에서는 대만 문화 간 전문성 딜레마에 대해 가족관계와 역할, 지방정책과 입법, 종말관리와 죽음, 전통의학, 성관계와 규범, 대만어 및 기타 문화적 신념과 실천 등 7가지 주제를 특정했다.
  • 두 번째 연구 질문에 대해,
    • 대부분 낮은 옹호/낮은 탐구 접근법을 언급하였고, 이는 학생들이 대체로 문화 간 딜레마에 빠져나가는 쪽을 선택했다는 것을 시사한다.
    • 흥미롭게도, 학생들은 종종 높은 탐구/높은 옹호로 분류된 경험에 대해 긍정적으로 말하면서,
    • 높은 옹호/낮은 탐구로 분류된 내러티브에서는 종종 윗사람을 비판했습니다.
    • 낮은 옹후/낮은 탐구의 경우, 그들은 종종 불확실성이나 실망감을 표현했다.

In this study we observed that, nearly half of the professionalism dilemmas shared by Taiwanese medical students related to culture and nearly all were intercultural dilemmas, in that they concerned tensions between Western medicine and Taiwanese culture.

  • In terms of our first research question, we identified seven themes for Taiwanese intercultural professionalism dilemmas: family relations and role, local policy and legislation, end-of-life care and death, traditional medicine, gender relations and norms, Taiwanese language and other cultural beliefs and practices.
  • With respect to our second research question, we found that
    • a low advocacy/low inquiry approach was narrated the majority of the time, suggesting that students typically opted out of engagement with intercultural dilemmas.
    • Interestingly, students frequently spoke positively about experiences classified as high inquiry/high advocacy,
    • while they often criticized superiors in narratives categorized as high advocacy/low inquiry.
    • In cases of low advocacy/low inquiry, they often expressed uncertainty or disappointment.

조사결과와 기존 문헌과의 비교
Comparison of findings with existing literature

우리는 영국과 호주에서 학생들의 내러티브를 수집하는 데 사용된 것과 동일한 포커스 그룹 방법론과 내러티브 인터뷰를 사용했다. 이전 연구는 아마도 서양의학을 배우는 서양 맥락의 학생들이 포함되었기 때문에 문화 간 딜레마를 발견하지 못했는데, 이는 학생들이 이러한 문화 간 긴장을 경험할 기회가 적다는 것을 의미했다. 대만 의대생들의 문화 간 딜레마는 부분적으로 [서양적 방식의 의학과 대만적 방식의 수련]으로 설명될 수 있다. 이러한 서구화된 의료 문화는 대만 학생들을 대만의 특정 가치관, 관행, 신념과 충돌시킬 수 있다. 비록 서양의학과 비서양의 문화 사이의 갈등이 비서양의 환경에서 더 뚜렷하게 나타날 수 있지만, 비슷한 도전은 서양의 맥락에서 존재하는 것으로 밝혀졌다.

We employed the same focus group methodology with narrative interviewing as was used to collect student narratives in the UK and Australia (Monrouxe and Rees 2012). However, the previous study did not find intercultural dilemmas, probably because it involved students in a Western context learning Western medicine, which meant fewer opportunities for students to experience such intercultural tensions. The intercultural dilemmas expressed by our Taiwanese medical students may, in part, be explained by the Western style of medicine and medical training in Taiwan. Such Westernised medical culture can set Taiwanese students at odds with certain Taiwanese values, practices and beliefs (Dreher and Macnaughton 2002). Although the conflict between Western medicine and non-Western cultures may be more pronounced in non-Western settings, similar challenges have been found to exist in Western contexts (Westerhaus et al. 2015).

대만에서 대부분의 학생들이 낮은 옹호/낮은 탐구 방식을 통해 [문화 간 딜레마에 관여하지 않기로 선택했다는 것]은, [문화적 지식]만 가지고 있는 것은 부족하다는 것을 보여준다. 학생들의 낮은 지지/낮은 질문 접근법에 대한 의존은 그들의 권위와 경험 부족으로 설명될 수 있으며, 이는 학생들이 민감한 상황에서 결정을 내리는 것을 방해한다. 사실, 대만과 같은 [중등도 위계 사회]에서, 학생의 목소리를 듣고자 하지 않기 때문에, 문화적 갈등과 같은 복잡한 문제를 다루는 것은 보통 윗사람에게 맡겨질 수 있다. 문화 간 역량은 공감 및 개인화된 환자 관리와 관련이 있기 때문에, 아시아 학생들 사이에서 이전에 보고된 낮은 공감 수준이 이탈에 기여했을 수 있다. 또한, 감정적으로 충전된 시나리오(예: 수명 만료 관리)에서는 자신의 감정을 조절하기 위하여 withdraw했을 수도 있다. 대만의 이전 연구에 따르면 완화의료 종사자들은 [환자를 개종하려 들지 말고, 교육하고, 지원하며, 환자 가족과 공공연하게 소통해야 한다는 것]을 인식하고 있습니다. '체면'이 중요한 대만에서는 낮은 옹호/낮은 탐구 접근법이 선호될 수 있으며, 이는 환자가 [부정적인 체면(즉, 원하는 대로 행동할 자유)]을 유지하면서 학생들이 자신과 환자의 [긍정적인 체면(즉, 자기 이미지)]을 유지할 수 있게 해준다.

That most students opted out of engagement with Taiwanese intercultural dilemmas through low advocacy/low inquiry approaches highlights that cultural knowledge alone is insufficient. Students’ reliance on a low advocacy/low inquiry approach might be explained by their lack of authority and experience, which precluded them from taking decisions in sensitive situations. Indeed, students in a moderately hierarchical society like Taiwan (Hofstede n. d.) may leave their superordinates to deal with complex issues like cultural conflicts, as their voices might not be heard (Sidanius and Pratto 1999). As intercultural competence is related to empathy and individualised patient care, the low empathy levels previously reported among Asian students may have contributed to disengagement (Berg et al. 2015). Also, in emotionally charged scenarios (e.g., end-of-life care), students might withdraw in an effort to regulate their own emotions (Gross 1998; Gross and Thompson 2007). Previous research in Taiwan indicates that palliative care workers recognize that they should not proselytize, but educate, support and openly communicate with patients’ families (Hu et al. 2002). In Taiwan, where ‘face’ is important, a low advocacy/low inquiry approach might be preferred, permitting students to maintain their own and the patients’ positive face (i.e., self image) while allowing patients to maintain their negative face (i.e., freedom to act as they wish: Goffman 1967; Johnson et al. 2004).

[높은 옹호/높은 탐구 접근법]은 의미가 명시적이고 직접적으로 표현되는 저맥락 커뮤니케이션 스타일(일반적으로 서양 맥락)에 가장 적합해 보일 수 있지만, 우리의 조사 결과(학생들이 높은 옹호/높은 탐구 내러티브에 대해 긍정적으로 말한 것)는 문화간 역량은 고맥락 의사소통 맥락(일반적으로 아시아 맥락)의 경우에도 효과가 있을 수 있음을 시사한다. 의사와 환자는 고맥락의 커뮤니케이션 환경에서 덜 명확하게 의사소통을 할 수 있지만, 다른 관점을 표현하고 상호 이해를 위해 노력할 수 있는 문화적으로 적절한 방법을 찾을 수 있다.
Although a high advocacy/high inquiry approach might seem best-suited to low context communication styles (typically found in Western contexts), where meanings are expressed explicitly and directly, our findings (that students spoke about high inquiry/high advocacy narratives positively) suggest that intercultural competence might also work in high context communication settings (typically in Asian contexts). Physicians and patients may communicate less explicitly in high context communications settings, but could still find culturally appropriate ways to express differing perspectives and work towards mutual understanding (Gudykunst et al. 1996; Nishimura et al. 2008).

방법론상의 과제와 강점
Methodological challenges and strengths

우리의 연구와 관련하여 많은 방법론적 문제가 있다. 

  • 첫째, 포커스 그룹은 단일 대만 의과대학에서 실시되었으며 다른 기관 학생들의 경험과 관찰을 반영하지 않을 수 있다. 예를 들어, 대만의 몇몇 의과대학 학생들은 중국과 서양 의학을 공부한다. 서양의학과 한의학을 포함한 프로그램을 선택하는 학생들은 이문화간의 전문성 딜레마를 다르게 생각할 수 있다. 
  • 둘째, 이 연구는 대만의 문화 간 딜레마를 검토하기 위한 것이 아니라 지역 문화를 이차 분석의 테마로 파악했다. 즉, 우리는 학생들에게 그들의 내러티브의 문화적 측면에 대한 논리와 반응을 묻지 않았다. 
  • 마지막으로, 프리드먼과 베르토인 안탈이 개발한 프레임워크는 높은 옹호/높은 탐구 접근법을 지지하지만, 이 프레임워크 기저의 가정이 [비서구 문화 환경]에서는 완전히 적용되지 않을 수 있다. 예를 들어, Friedman과 Bertoin Antal은 다국적 기업 구성원 간의 권력 관계가 본 연구에서 설명한 의사-환자 및 교사-학생 상호 작용과 다른 국제 비즈니스 맥락에서 프레임워크를 개발했습니다. 본 연구의 맥락에서, 옹호는 존중이 없는 것으로, 탐구는 무례한 것으로 해석될 수 있는 상황이 있습니다. 따라서 다른 문화적 맥락과 시나리오에서 높은 옹호/높은 질의 접근방식을 신중하게 적용해야 할 수 있다.

There are a number of methodological challenges concerning our study.

  • First, focus groups were conducted at a single Taiwanese medical school and may not reflect the experiences and observations of students at other institutions. For example, students at some medical schools in Taiwan study both Chinese and Western medicine. Students who opt for programs including Western and Chinese medicine might conceptualize intercultural professionalism dilemmas differently.
  • Second, this study did not set out to examine Taiwanese intercultural dilemmas, but instead identified local culture as a theme for secondary analysis, meaning that we did not ask students for their reasoning of and reactions towards the cultural aspects of their narratives.
  • Finally, although Friedman and Berthoin Antal’s Western-developed framework advocates for a high advocacy/high inquiry approach, the assumptions underpinning this framework might not be wholly applicable in non-Western cultural settings. For example, Friedman and Berthoin Antal developed their framework in the context of international business, in which the power relationships among members of multinational corporations differ from the doctor-patient and teacher-student interactions outlined in our study. In the context of our study, there are circumstances in which advocacy might be interpreted as disrespectful, and inquiry as rude. Thus, high advocacy/high inquiry approaches may need to be applied thoughtfully in different cultural contexts and scenarios.

이러한 도전에도 불구하고, 본 논문은 많은 방법론적 강점을 가지고 있다. 

  • 우선, 우리가 아는 한, 우리의 연구는 대만 학생들의 문화 간 딜레마와 이러한 딜레마에 직면한 옹호와 질문의 조합을 고려한 첫 번째 연구이다. 대만 문화는 표면적으로는 환자, 학생 및 의료 전문가를 포괄하지만, 우리는 '외국' 또는 '소수민족' 문화뿐만 아니라, 어떤 맥락에서든 ['내부home' 문화 또한 학생의 학습과 환자 치료에 어떤 challenge가 될 수 있음]을 강조한다. 
  • 둘째, 본 연구는 경영 문헌에서 의학 교육 분야에 이르기까지 유용한 프레임워크인 문화 간 역량을 소개합니다. 상기 경고에도 불구하고, 우리는 문화 간 역량 프레임워크가 문화 간 전문성 딜레마에 접근하는 데 유용한 기초가 될 수 있다고 믿는다.  
  • 마지막으로, 우리는 비서양의 의학 교육 맥락에서 문화적 역량에 대한 기존 연구의 제한된 부분을 추가하지만, 대만의 경험 측면은 문화적 환경 전반에 걸쳐 의학 교육자들에게 공감을 줄 수 있다.

Despite these challenges, our paper has a number of methodological strengths.

  • First, to our knowledge, our study is the first to consider Taiwanese students’ intercultural dilemmas and the combinations of advocacy and inquiry employed in the face of these dilemmas. Though Taiwanese culture ostensibly encompasses patients, students and healthcare professionals, we highlight how ‘home’ cultures—not just ‘foreign’ or minority cultures—can pose challenges to student learning and patient care in any context.
  • Second, our study introduces a useful framework—intercultural competence—from the management literature to the field of medical education. Despite the caveats mentioned above, we believe the intercultural competence framework can serve as a useful basis from which to approach intercultural professionalism dilemmas.
  • Finally, we add to the limited body of existing research on cultural competence in non-Western medical education contexts (Ho et al. 2008; Lu et al. 2014), though aspects of the Taiwanese experience may resonate with medical educators across cultural settings.

 

교육 실무에 미치는 영향
Implications for education practice

대만 학생이 주로 [낮은 옹호/낮은 탐구] 방식을 채택한다는 것은, 이들이 [문화 간 딜레마에 휘말릴 때 직면하는 어려움]이 무엇인지 보여주며, 학생들의 [문화 간 역량 향상]에 더 관심을 기울일 필요가 있음을 시사한다. 이는 이전의 연구가 한편으로는 문화적 차이를 다루지 못하면 불만족스러운 환자, 오진 및 최적의 건강 결과를 초래할 수 있다는 점을 시사하는 것을 고려할 때 매우 중요하다. 한편, 강력한 의사-환자 간 커뮤니케이션은 환자 만족도와 순응도를 향상시키고, 환자 중심의 커뮤니케이션 모델은 환자의 건강을 향상시킵니다. 우리의 연구는 의료 종사자들이 어떤 맥락에서든 문화적 격차를 효과적으로 메울 수 있도록 이해, 교육 및 실천의 전환이 필요하다는 것을 시사합니다.

Taiwanese students’ frequent adoption of a low advocacy/low inquiry approach highlights the challenges faced in engaging with intercultural dilemmas and suggests that attention needs to be paid to developing students’ practices of intercultural competence. This is crucial given that previous research suggests, on the one hand, that failure to address cultural differences can result in dissatisfied patients, misdiagnoses and less optimal health outcomes (Barker 1992; Lavizzo-Mourey and Mackenzie 1996); and, on the other hand, that strong physician-patient communication improves patient satisfaction and compliance (Beckman and Frankel 1984; Betancourt et al. 1999) and patient-centered models of communication can improve patient health (Epstein and Street 2007; Mead and Bower 2002). Our study suggests the potential need for a shift in understanding, teaching and practice towards intercultural competence, so that healthcare practitioners can effectively bridge cultural gaps in any context.

따라서 우리는 교육자가 지역 커뮤니케이션 스타일에 맞게 문화 간 역량에 대한 가르침을 조정하고 문화 간 역량을 언제 사용해야 하는지에 대한 이해를 높일 수 있다고 믿는다. 실제로, [문화간 역량]에 대해서 어떻게 학생들을 교육시킬지를 고려할 때, 우리의 연구결과는 [의료계의 문화]와 [역할모델]이 학생들의 학습과 실천에 중요하다는 것을 보여준다. 일부 학생은 상급자가 모델링한 [높은 옹호/낮은 탐구 접근법]의 부정적인 의미를 인식했으며, 다른 학생들은 'negotiating reality'에 있어 상급자의 능숙함에 감탄했다. 의학 교육자들이 일부 학생들에 의해 부정적인 롤모델로 인식되었다는 사실은 교수개발이 필요함을 보여준다. 공식 커리큘럼은 또한 [지역의 요구]를 반영하기 위해 다시 초점을 맞출 수 있다. 대만의 경우, 일반적으로 접하는 문화 간 딜레마(예를 들어 대만어, 한의학)와 관련된 특정 지식 및 기술(예: 대만어)이 커리큘럼에 포함될 수 있다.

We believe, therefore, that educators could adapt their teaching of intercultural competence to suit local communication styles and foster understanding of when to use intercultural competence. Indeed, in considering how we might educate students for intercultural competence, our findings indicate the importance of medical culture and role modeling to students’ learning and practice. Some students recognized the negative implications of high advocacy/low inquiry approaches role modeled by their superiors, while others expressed admiration for superiors’ adeptness in ‘negotiating reality’. The finding that medical educators were recognized by some students as negative role models warrants further faculty development. Formal curricula could also be refocused to reflect local needs. In the Taiwanese case, certain knowledge and skills related to commonly encountered intercultural dilemmas (e.g., Taiwanese language, Chinese medicine) could be incorporated into the curriculum.

문화 간 역량 육성은 공식 및 숨은 커리큘럼에서 장기적이고 통합된 교육을 필요로 하는 복잡한 노력이 될 것입니다. 학생들이 경험을 쌓을수록, 그들은 프로네시스(즉, 실용적인 지혜)를 실천하고 옹호와 질문의 다른 조합이 특정 환경에 더 적합하다는 것을 발견할 수 있다.

Fostering intercultural competence will be a complex endeavor, requiring long-term and integrated teaching in formal and hidden curricula (Berthoin Antal and Friedman 2008). As students gain experience, they may practice phronesis (i.e. practical wisdom) and find that different combinations of advocacy and inquiry are better suited to particular circumstances (Dowie 2000; Hofmann 2002).

추가 연구에 대한 시사점
Implications for further research

본 연구는 대만 학생들의 문화 간 딜레마의 표면만을 긁어낼 뿐이지만, 다른 비서양의 의과대학에서의 문화 간 및 문화 간 역량 이니셔티브를 조사하고 서양의학과 전통 의학을 배우는 사람들의 견해를 이끌어내기 위해 더 많은 연구가 필요하다. 추가적인 종단적 연구는 학생들이 임상 경험이 쌓이면, [사용하는 옹호/탐구 조합]이 달라지는지 여부를 탐구해야 한다. 추가적인 연구는 또한 프로페셔널리즘 내러티브의 문화적 측면에 대한 학생들의 논리와 반응을 탐구할 수 있다. 그것은 학생들이 이러한 문화적 딜레마를 서술하면서 교차하는 개인과 직업적 정체성을 어떻게 구성하는지 탐구하기 위해 교차성 이론에 기초한 서술적 조사를 사용할 수 있다. 마지막으로, 학생, 교사 및 의료 전문가들이 특정 옹호/문의 접근법을 채택하는 이유와 방법을 이해하기 위해 문화 관련 경험과 관찰에 초점을 맞출 수 있습니다.

While our study only scratches the surface of intercultural dilemmas for Taiwanese students, further research is now needed to investigate cultural and intercultural competence initiatives at other non-Western medical schools and elicit views from those learning both Western and traditional medicine. Additional longitudinal research should explore whether students employ different combinations of advocacy and inquiry as they gain clinical experience. Further research could also explore students’ reasoning of and reactions towards the cultural aspects of professionalism narratives. It could employ narrative inquiry, drawing on intersectionality theory (Tsouroufli et al. 2011; Monrouxe 2015), to explore how students construct their intersecting personal and professional identities while narrating these cultural dilemmas. Finally, additional research could focus explicitly on the culture-related experiences and observations of students, teachers and healthcare professionals, with the aim of understanding why and how they adopt certain advocacy/inquiry approaches.

결론들
Conclusions

우리의 연구결과는 대만의 의대생들 사이에서 문화 간 역량 향상의 필요성을 강조하고 자신의 교육적 맥락에서 문화 간 역량을 육성하고자 하는 의학 교육자들에게 통찰력을 제공한다. 의료 종사자는 다수의 문화적 문제와 일상적으로 마주치는 문제를 협상할 수 있는 기술과 도구를 갖추어야 할 뿐만 아니라 문화적 배경에 관계없이 모든 환자에게 고품질의 개인화된 치료를 제공할 준비가 되어 있어야 합니다. 서양의학과 비서양문화 사이의 유사한 단절을 목격한 글로벌 의학 교육자는 이 연구를 자신의 의료 환경에서 문화 및 문화 간 역량의 교육과 실천을 재고하기 위한 기초로 사용할 수 있다.

Our findings highlight the potential need for improved intercultural competence among Taiwanese medical students and offer insights for medical educators seeking to foster intercultural competence in their own educational contexts. Not only should healthcare practitioners be equipped with the skills and tools to negotiate everyday encounters with majority cultural issues, but they must be prepared to provide high quality, individualized care to any patient, regardless of cultural background. Global medical educators witnessing a similar disconnect between Western medicine and non-Western cultures may use this study as a basis from which to reconsider the teaching and practice of cultural and intercultural competence in their own healthcare settings.

 


 

 

Adv Health Sci Educ Theory Pract. 2017 May;22(2):429-445.

 

 doi: 10.1007/s10459-016-9738-x. Epub 2016 Nov 26.

 

Taiwanese medical students' narratives of intercultural professionalism dilemmas: exploring tensions between Western medicine and Taiwanese culture

Affiliations collapse

Affiliations

1Department of Medical Education & Bioethics, National Taiwan University College of Medicine, Taipei, Taiwan.

2Faculty of Medicine, University of Kelaniya, Ragama, Sri Lanka.

3Chang Gung Medical Education Research Center (CG-MERC), Chang Gung Memorial Hospital, Linkou, Chang Gung Medical Foundation, 5. Fu-Hsing St., Kuei Shan Dist., Taoyuan City, 333, Taiwan, ROC. monrouxe@cgmh.org.tw.

4Faculty of Medicine, Nursing and Health Sciences, Monash University, Clayton, VIC, Australia.

PMID: 27888427

DOI: 10.1007/s10459-016-9738-x

Abstract

In an era of globalization, cultural competence is necessary for the provision of quality healthcare. Although this topic has been well explored in non-Western cultures within Western contexts, the authors explore how Taiwanese medical students trained in Western medicine address intercultural professionalism dilemmas related to tensions between Western medicine and Taiwanese culture. A narrative interview method was employed with 64 Taiwanese medical students to collect narratives of professionalism dilemmas. Noting the prominence of culture in students' narratives, we explored this theme further using secondary analysis, identifying tensions between Western medicine and Taiwanese culture and categorizing students' intercultural professionalism dilemmas according to Friedman and Berthoin Antal's 'intercultural competence' framework: involving combinations of advocacy (i.e., championing one's own culture) and inquiry (i.e., exploring one's own and others' cultures). One or more intercultural dilemmas were identified in nearly half of students' professionalism dilemma narratives. Qualitative themes included: family relations, local policy, end-of-life care, traditional medicine, gender relations and Taiwanese language. Of the 62 narratives with sufficient detail for further analysis, the majority demonstrated the 'suboptimal' low advocacy/low inquiry approach (i.e., withdrawal or inaction), while very few demonstrated the 'ideal' high advocacy/high inquiry approach (i.e., generating mutual understanding, so 'intercultural competence'). Though nearly half of students' professionalism narratives concerned intercultural dilemmas, most narratives represented disengagement from intercultural dilemmas, highlighting a possible need for more attention on intercultural competence training in Taiwan. The advocacy/inquiry framework may help educators to address similar disconnects between Western medicine and non-Western cultures in other contexts.

Keywords: Cultural competence; Culture; Intercultural competence; Intercultural professionalism dilemmas; Professionalism.

보건의료전문직 학생이 경험하는 전문직업성 딜레마: 단면 연구(J Interprof Care. 2020)
Professionalism dilemmas experienced by health professions students: a cross-sectional study
Xin Wanga,b and Ming-Jung Hob,

 

서론
Introduction

의학에서 [전문직업성]은 일반적으로 사회에 의해 의사가 기대하는 행동과 속성으로 정의된다. 전문직업성은 보건 전문가 교육의 핵심 역량이며(Stern, 2006), 환자 중심의 치료와 환자 안전의 중심이다. 보건 전문 교육자들은 전문직업성을 가르치고 평가하는 데 상당한 시간과 자원을 투자하지만 보건 전문직 학생들은 전문직업성 딜레마에 직면했을 때 종종 어려움을 겪습니다.
Professionalism in medicine is commonly defined as the behaviours and attributes expected of a doctor by society (Cruess, Cruess, & Steinert, 2009; Ho, Yu, Hirsh, Huang, & Yang, 2011). Professionalism is a core competency of health professions education (Stern, 2006), and is central to patient-centred care and patient safety (Holtman, Frost, Hammer, McGuinn, & Nunez, 2011). Although health professions educators devote considerable time and resources to teaching and assessing professionalism (Cruess & Cruess, 1997, 2006), health professions students are often challenged when confronted with professionalism dilemmas (Binyamin, 2017; Ho, Gosselin, Chandratilake, Monrouxe, & Rees, 2017; Ho, Lin, Chiu, Lingard, & Ginsburg, 2012; Monrouxe, Chandratilake, Gosselin, Rees, & Ho, 2017).

[전문직업성 딜레마]는 동시에 또는 완전히 충족될 수 없는 상충하는 가치 사이에서 바람직하지 않은 선택을 요구하는 윤리적 충돌상황을 의미한다(Cuban, 2001). 전문직업성 딜레마는 학생들의 직업적 태도와 행동에 부정적인 영향을 미칠 수 있습니다(예: 불충분하고 비지능적이라고 느끼는 것과 같은 감정적인 고통으로 학생들의 학습을 방해합니다). 최근의 연구들은 직장에서의 불안과 불신과 같은 전문직 간 딜레마의 다른 해로운 결과들을 묘사했다.
This refers to conflictual ethical situations that require undesirable choices between competing values that cannot be simultaneously or fully satisfied (Cuban, 2001). Professionalism dilemmas can negatively impact students’ professional attitudes and behaviours (e.g. hinder students’ learning with emotional distress, such as feeling inadequate and unintelligent) (D’eon, Lear, Turner, & Jones, 2007; Satterwhite, Satterwhite, & Enarson, 2000). Recent studies have described other detrimental consequences of interprofessional dilemmas, such as anxiety and mistrust in the workplace (Marshall & Robson, 2005; McKenzie, 2015; Sexon & Orchard, 2016).

전문직업성 딜레마에 대한 학생들의 경험과 관련된 문헌이 증가하고 있지만, 대부분의 연구는 여러 분야에 걸쳐 보건 전문가 학생들을 비교 탐구하기 보다는 하나의 특정 분야에 초점을 맞추고 있습니다. 이 연구는 여러 분야의 보건 전문직 학생들이 경험하는 전문직업성 딜레마를 찾아 비교함으로써 이러한 격차를 해소하는 것을 목표로 한다.
Whilst there is a growing body of literature related to student experiences of professionalism dilemmas, most studies focus on one specific discipline, rather than conducting a comparative exploration of health professions students across disciplines. This study aims to bridge this gap by uncovering and comparing professionalism dilemmas experienced by health professions students from different disciplines.

배경
Background

효과적인 전문직군 간 협력은 환자의 결과 향상과 안전한 작업 환경을 지원합니다(Marshall & Robson, 2005; McKenzie, 2015). 그러나 실증적 조사에 따르면 전문직간 관행interprofessional practice은 갈등과 장벽으로 가득합니다. 연구자들은 효과적인 전문직간 관행을 저해할 수 있는 여러 가지 요인을 확인했습니다. 이러한 요인에는 다른 건강 직업에 대한 고정관념, 의사소통 문제, 불평등한 권력 분배 및 위계적 구조가 포함됩니다.
Effective interprofessional collaboration supports better patient outcomes and safer working environments (Marshall & Robson, 2005; McKenzie, 2015); however, empirical research has shown that interprofessional practice is rife with conflicts and barriers (Hean, Craddock, Hammick, & Hammick, 2012; Khalili, Orchard, Laschinger, & Farah, 2013; Körner et al., 2016; Monrouxe & Rees, 2017). Researchers have identified a number of factors that can inhibit effective interprofessional practice; these factors include stereotypes of other health professions (Hind et al., 2003; MacDonald, Bally, Ferguson, Murray, & Fowler-Kerry, 2010; Rotz & Dueñas, 2016; Tunstall-Pedoe, Rink, & Hilton, 2003), communication problems (Childers, Cole, Lyons, & Turley, 2016), unequal power distributions (Nugus, Greenfield, Travaglia, Westbrook, & Braithwaite, 2010), and hierarchies (Lingard et al., 2012).

게다가, 문헌에서는 점차 보건의료 전문직 학생들의 [이중 정체성 개발]이 미래의 전문직 간 역량의 주요 결정 요소라는 것을 증명했다.
Furthermore, a growing body of literature has demonstrated that health professions students’ development of a dual identity is a principal determinant of future interprofessional competence (Baker, Lee, Martimianakis, & Reeves, 2011; Khalili et al., 2013; Monrouxe & Rees, 2017; Stull & Blue, 2016).

의료 전문가의 [이중 정체성]은 그들의 전문직 정체성과 전문직간 정체성을 뒷받침합니다.

  • [전문직 정체성]은 개인이 전문직 집단(예: 간호사)과 동일시하는 것을 말한다. 이 용어는 그들이 누구인지, 그리고 그들의 직업의 일원으로서 행동하는 것이 무엇을 의미하는지 포착합니다.
  • 한편, [전문직간 정체성]은 보다 넓은 전문가간 그룹(예: 보건 전문가) 내에서 개인의 정체성을 나타내며, 보다 넓은 전문가간 팀의 일부로서 다른 사람들과의 정체성을 나타냅니다. 전문직간 정체성의 개념은 직업적 정체성에 대한 기존의 생각을 단일 직업군을 넘어 확장합니다.

Health professionals’ dual identity underpins their professional identity and interprofessional identity.

  • Professional identity refers to an individual’s identification with their professional group (e.g. nurse). The term captures who they are and what it means to be and to act as a member of their profession (Mackey, 2007; Monrouxe & Rees, 2017; Stull & Blue, 2016).
  • On the other hand, interprofessional identity describes an individual’s identification within a wider interprofessional group (e.g. health professionals), and with others as part of a broader interprofessional team (Monrouxe & Rees, 2017). The concept of interprofessional identity broadens existing ideas of professional identity beyond the singular occupational group.

Kalili의 [전문직 간 사회화 프레임워크]에 따르면 [이중 정체성]이 결여된 전문직은 자신의 전문직 정체성을 유지하기 위해 전문직 간 협업을 거부할 수 있습니다. 대부분의 의료 전문가들은 타인의 역할을 이해하는 능력과 전문가 간 팀의 일원으로서 훈련할 기회를 제한하면서 [학문적 고립disciplinary isolation]을 교육받는다(Hall, 2005). 이번 연구는 서로 다른 보건의료전문직의 학생들이 [이중 정체성]의 관점을 통해 전문직업성 딜레마에 어떻게 직면하는지 조사하기 위해 전문직간 사회화에서 이중 정체성의 이론적 프레임워크를 사용한다.
According to Khalili’s interprofessional socialization framework (Khalili, Orchard, Laschinger, & Farah, 2013), professionals who lack a dual identity may resist interprofessional collaboration in order to maintain their own professional identity. Most health professionals are educated in disciplinary isolation, limiting both their ability to understand others’ roles and opportunities to train as part of an interprofessional team (Hall, 2005). This study uses the theoretical framework of dual identity in interprofessional socialization to examine how students from different health professions face professionalism dilemmas through a dual identity perspective.

의대생들이 임상 환경에서 직면하는 전문직업성 딜레마에 대한 잘 발달된 문헌들이 있다. 이전의 연구들은 간호, 치과, 약국, 직업 치료, 물리 치료 프로그램을 포함한 다양한 보건의료전문직에서 학생들의 직장 기반 딜레마를 조사했다. 그러나, 대부분의 연구는 하나의 전문직에 초점을 맞추고 있으며, 학생들의 전문직업성 딜레마에 대한 삶의 경험을 조사하기 위해 질적인 방법을 사용한 사람은 거의 없다. 보건 분야의 학생들을 연구하기 위해 질적인 방법을 사용한 몇 안 되는 논문들은 여러 분야를 비교하지 않았다.
There is a well-developed body of literature on professionalism dilemmas faced by medical students in clinical settings (Christakis & Feudtner, 1993; Ginsburg & Lingard, 2011; Ho et al., 2017, 2012; Monrouxe et al., 2017; Monrouxe & Rees, 2012; Monrouxe, Rees, Dennis, & Wells, 2015; Monrouxe, Rees, Ho, & Chandratlake, 2017; Monrouxe, Rees, & Hu, 2011; Rees, Monrouxe, & McDonald, 2012). Previous studies have examined students’ workplace-based dilemmas in various health professions, including nursing (e.g. Erdil & Korkmaz, 2009; Gunther, 2011; Park et al., 2003; Rees, Monrouxe, & McDonald, 2015; Solum, Maluwa, & Severinsson, 2012; Yeh, Wu, & Che, 2010), dentistry (Duley, Fitzpatrick, Zomosa, Lamber, & Mitchell, 2009; Green, 1981; Sharp, Kuthy, & Heller, 2005; Wilson & Avers, 2004), pharmacy (Lowenthal1, 1988; Lowenthal2, 1988; Lowenthal, Klein, & Overton, 1986), occupational therapy (Barnitt, 1993; Kinsella, Park, Appiagvei, Chang, & Chow, 2008), and physiotherapy programs (Gedde, Wessel, & Williams, 2004; Mansbach, Bachner, & Melzer, 2010; Mansbach, Melzer, & Bachner, 2012). However, most studies have focused on a single profession, and few have used qualitative methods to examine students’ lived experiences of professionalism dilemmas. The few papers that have used qualitative methods to study health professions students (Monrouxe & Rees, 2017; Monrouxe, Rees, Endacott, & Teman, 2014; Rees et al., 2015) did not compare across disciplines.

[이중 정체성] 관점을 통해 학생들이 겪는 건강 직업의 실제 전문성 딜레마를 조사하는 연구가 부족하다. 본 연구는 질적 방법과 이중 정체성 관점을 활용하여 다른 보건 분야의 학생들이 임상 훈련에서 경험하는 전문성 딜레마를 조사함으로써 이러한 격차를 해소하려고 시도한다. 다음의 연구 질문에 답하는 것을 목적으로 하고 있습니다.

  • 임상 환경에서 여러 건강 전문직 학생들이 경험하는 전문성 딜레마의 유형은 무엇입니까?
  • 다른 분야의 보건 전문직 학생들이 경험하는 전문성 딜레마의 빈도와 유형에는 어떤 차이가 있습니까?

There is a dearth of research investigating the actual professionalism dilemmas health professions students experience through a dual identity perspective. This study attempts to bridge this gap by utilizing qualitative methods and a dual identity perspective to examine professionalism dilemmas experienced in clinical training by students from different health professions. It aims to answer the following research questions:

  • What are the types of professionalism dilemmas experienced by different groups of health professions students in clinical settings?
  • What differences (if any) exist in the frequency and types of professionalism dilemmas experienced by health professions students from different disciplines?

방법들
Methods

리서치 디자인.
Research design

우리는 학생들의 전문직업성 딜레마에 대한 경험을 탐색하고 이해하기 위해 내러티브 탐구narrative inquiry를 사용했다. 서사적 조사는 lived experience 연구에 널리 사용된다(Clandinin, 2006; Connelly & Secretin, 1990). 해석적 해석학과 현상학에 기반을 둔, 그것은 서술(글쓰기, 구두, 시각)을 모으고, 사람들이 자신의 경험에서 기인하는 의미에 초점을 맞추는 질적 방법이며, "인간의 삶의 복잡성에 맞는 통찰력"을 제공하고자 한다(Joselson, 2006, 페이지 4). 윤리적 문제를 강조하고 사람들의 경험에 대한 새로운 이해를 형성할 수 있다(Clandinin & Huber, 2010). 우리는 프로페셔널리즘 딜레마에 대한 생생한 경험을 수집하기 위해 주요 데이터 수집 도구로서 내러티브 인터뷰와 포커스 그룹을 사용했습니다(Monrouxe & Rees, 2012).
We used narrative inquiry to explore and make sense of students’ experiences of professionalism dilemmas. Narrative inquiry is widely used in studies of lived experience (Clandinin, 2006; Connelly & Clandinin, 1990). Grounded in interpretive hermeneutics and phenomenology, it is a qualitative method that gathers narratives (written, oral, visual) and focuses on the meanings that people ascribe to their experiences, seeking to provide “insight that befits the complexity of human lives” (Josselson, 2006, p. 4). It can highlight ethical matters as well as shape new understandings of people’s experiences (Clandinin & Huber, 2010). We used narrative interviews and focus groups as our main data collection tools to gather lived experiences of professionalism dilemmas (Monrouxe & Rees, 2012).

참가자 및 모집
Participants and recruitment

대만 국립대학 의과대학에서 임상경험이 있는 보건계 학생을, 학급 대표나 학과장의 발표, 눈덩이처럼 불어나는 등, 참가시키고 있습니다. 이 연구에는 간호, 치과, 약국, 의료기술, 작업치료, 물리치료 등이 참여했다. 이 연구에 참여할 학생을 모집했는데, 학부 3학년 37명, 대학원 1학년 19명 등 56명이었습니다. 각 분야의 참가자 수는 간호(n = 8), 치과(n = 9), 약국(n = 15), MT(n = 9), OT(n = 6), PT(n = 9)와 같았다(표 1 참조). 연구 표본의 남성 대 여성 성비는 전체 학생 인구의 성비에 가까웠다(표 1 참조).

We invited health professions students with clinical experience from the National Taiwan University College of Medicine to participate through announcements by class representatives and department administrators, and snowballing. Nursing, dentistry, pharmacy, medical technology (MT), occupational therapy (OT), and physiotherapy (PT) students participated in this research. We recruited 56 students to participate in this study, including 37 senior students in the undergraduate program and 19 graduate students in their first year of study. The number of participants from each discipline was as follows: nursing (n = 8), dental (n = 9), pharmacy (n = 15), MT (n = 9), OT (n = 6), and PT (n = 9) (See Table 1). The male to female gender ratio in our study sample was close to that of the overall student population (see Table 1).

일반적으로 학부생보다 임상 경험이 많은 상급생으로 채용을 제한했습니다. 연구 후반기에 몇몇 참가자들은 대학원 첫 학기에 있었다.
We limited our recruitment to undergraduate seniors as they generally have more clinical experience than undergraduate students in other years. At the latter phase of our study, some participants were in their first semester of graduate study.

 

데이터 수집
Data collection

학생을 부문별, 연도별로 그룹화해, 합계 56명(남 24명, 여 32명)의 포커스 그룹을 13개 실시했습니다. 먼저, 우리는 보건 전문직 학생들의 전문직업성과 전문직업성 딜레마에 대한 이해를 조사하기 위해 일반적인 질문을 했다. 그리고 나서, 그들은 그들이 직면했던 전문직업성 딜레마에 대해 설명하도록 요구받았다. 학생들은 그들이 무엇을 하고 왜 그랬는지 포함하여 자유롭고 공개적으로 말하도록 격려받았다. 인터뷰는 모두 중국어로 진행됐다. 대표적인 인용문은 영어로 번역되어 결과 섹션에 제시되어 있습니다.
We grouped students by discipline and year and conducted thirteen focus groups with a sum of 56 students (24 males, 32 females). First, we asked general questions to probe health professions students’ understandings of professionalism and professionalism dilemmas. Then, they were asked to describe a professionalism dilemma that they have encountered. Students were encouraged to speak freely and openly, including what they did and why. All interviews were conducted in Mandarin. Representative quotes have been translated into English and are presented in the Results section.

데이터 분석
Data analysis

평균적으로, 각 그룹 인터뷰는 약 70-90분 동안 지속되었다. 모두 참가자의 동의를 얻어 음성녹음, 녹음, 익명으로 작성되었다. 우리는 Template Analysis(Template Analysis)를 사용하여 인터뷰를 코드화했다(King, 1998). 우리는 이것을 두 가지 이유로 사용했다.

  • 첫째, 미리 정의된 테마를 사용할 때 유연하다.
  • 둘째, 연구자가 데이터를 해석할 때 조정(새로운 코드 추가 또는 관련 없는 코드 삭제 등)할 수 있다(King, 2004; Slade, Haywood, & King, 2009).

On average, each group interview lasted about 70–90 minutes. All were voice-recorded, transcribed, and anonymised with participants’ consent. We coded the interviews using Template Analysis (King, 1998). We used it for two reasons: firstly, it is flexible in terms of using pre-defined themes; secondly, it allows the researcher to make adjustments (such as adding new codes or deleting irrelevant ones) during his/her interpretation of the data (King, 2004; Slade, Haywood, & King, 2009).

분석을 위한 선행 템플릿으로 Monrouxe 등(2014)에 의해 개발된 코딩 프레임워크를 채택했다. 연구원들은 인터뷰 내용을 읽고 NVivo 9 소프트웨어(QSR International Pty Ltd, Doncaster, Victoria, Australia)를 사용하여 이전에 개발된 템플릿에 따라 코드를 작성했습니다. 연구진은 원본 템플릿의 23개 테마를 수정하여 데이터에서 찾을 수 없는 8개의 테마를 제거하고 전문가 간 딜레마 및 인력 부족 딜레마를 포함한 2개의 새로운 테마를 추가하였습니다. 마지막으로, 대화록을 독립적으로 코드화한 두 명의 연구자가 코드화를 함께 검토하고 전체 팀과의 논의를 통해 의견 불일치를 해결했다. 최종 코딩 템플릿에는 17개의 테마가 포함되어 있으며 다음 섹션에서 설명합니다.
We adopted a coding framework developed by Monrouxe et al. (2014) as a priori template for our analysis. Researchers read the interview transcripts and coded them according to the previously developed template using NVivo 9 software (QSR International Pty Ltd., Doncaster, Victoria, Australia). Researchers modified the original template’s 23 themes by removing eight themes not found in our data and adding two new ones, including interprofessional dilemmas and lack of manpower dilemmas. Finally, two researchers who coded the transcripts independently reviewed the coding together and resolved disagreements through discussions with the whole team. Our final coding template includes 17 themes and will be presented in the next section.

우리는 결과를 시각화하기 위해 레이더 차트를 사용했다. 가장 일반적으로 보고된 6개의 테마가 차트에서 주요 범주로 사용되었습니다. 차트의 척도는 백분율 값 범위이며 각 분야의 분포 차이를 강조하기 위해 레이더 차트에 각 주제의 백분율 범위를 투영했다.
We used radar charts to help visualize the results. The six most commonly reported themes were used as main categories in the charts. The scale for the charts is in percentage value range and the percentage coverage of each theme was projected on the radar chart to highlight the distribution differences between each discipline.

 

결과 및 조사 결과
Results and findings

결과는 다음 두 부분으로 나누어져 있습니다.

  • (1) 보건 전문직 학생들이 유형 및 빈도별로 가장 일반적으로 보고하는 전문성 딜레마 
  • (2) 가장 일반적으로 보고된 딜레마의 전체 분포(레이더 차트를 통해 표시됨)와 각 개별 분야에 대한 지배적인 딜레마(있는 경우)의 설명과 함께.

We present the results in two parts:

  • (1) the professionalism dilemmas most commonly reported by health professions students by type and frequency;
  • (2) the overall distribution (represented through radar charts) of the most commonly reported dilemmas and the dominant one(s) (if any) for each individual discipline, along with illustrative narratives.

딜레마의 종류
Types of dilemmas

435개의 개인 사고 내러티브(PIN)가 식별되어 17개 주제 중 하나 이상에 코드화되어 있으며(전체 목록은 표 2 참조), 상위 6개 주제가 가장 일반적으로 보고되고 있습니다(표 3 참조).

Four hundred and thirty-five Personal Incident Narratives (PINs) were identified and coded to one or more than one of the 17 themes (See Table 2 for the full list), and the top six themes are the most commonly reported (See Table 3).

 
 
 
 

[전문직 간 딜레마]는 가장 일반적으로 식별되는 주제였으며 보건직 전반에 걸쳐 존재했습니다. 약학과 학생이 가장 많은 전문직 간 딜레마를 보고했으며, 다음으로 MT, PT, 치과, 간호 및 OT 학생이 그 뒤를 이었다(그림 1 참조).
Interprofessional dilemmas were the most commonly identified theme and existed across health professions. Pharmacy students reported the most interprofessional dilemmas, followed by MT, PT, dental, nursing, and OT students (See Figure 1).

 
 

분야별 딜레마 분포
Distribution of dilemmas by discipline

우리는 분야별로 딜레마 유형과 빈도에 큰 차이가 있음을 발견했다.

  • MT, 약학 및 PT 학생들은 동료와 관련된 딜레마(HCP에 의한 환자 안전과 존엄성 침해, 전문가 간 딜레마, 도전적인 행동과 내부고발에 관한 딜레마)에 직면했다(그림 1 참조).
  • OT 학생들은 특히 환자의 가족(가족이 환자 치료 딜레마에 미치는 영향)에 의해 어려움을 겪었다(그림 1 참조). 
  • 치과 및 간호학과 학생들은 동료와 관련된 딜레마와 동료와 관련이 없는 딜레마를 비슷한 정도로 경험했다고 보고했다(그림 1 참조).

We found significant differences in dilemma type and frequency among different disciplines:

  • MT, Pharmacy and PT students encountered more colleague-related dilemmas (patient safety and dignity breaches by HCPs, interprofessionalism dilemmas, dilemmas about challenging behaviour and whistle-blowing) (see Figure 1);
  • OT students were particularly challenged by patients’ family members (impact of family on patient care dilemma) (see Figure 1).
  • Dental and Nursing students reported experiencing both colleague-related dilemmas and non-colleague-related dilemmas to a similar extent (see Figure 1).

레이더 차트는 차이를 시각화하는 데 도움이 됩니다.

  • [세 가지 동료 관련 주제]가 X축 위에 있다: [HCP에 의한 환자 안전 및 존엄성 침해, 전문직 간 딜레마, 도전적 행동 및 내부고발에 관한 딜레마]
  • [비-동료 관련 주제]는 X축 아래에 있으며, 보건 전문직 학생의 환자 안전 및 존엄성 침해, 가족의 영향 등을 포함한다.환자 치료 딜레마 및 정체성 딜레마에 대해 설명합니다.

Radar charts help to visualize the differences.

  • Three colleague-related themes are located above the X-ray, including patient safety and dignity breaches by HCPs, interprofessionalism dilemmas, dilemmas about challenging behaviour and whistle-blowing;
  • the non-colleague-related themes are placed below, and include patient safety and dignity breaches by health professions students, impact of family on patient care dilemmas, and identity dilemmas.

 

치과의
Dental

결과에서 동료와 무관한 전문성 딜레마의 분포는 치과 학생들에게 동등했다. 동료 관련 딜레마가 전체의 47.5%를 차지했다. 비-동료 관련 딜레마가 52.5%를 차지했다(그림 1 참조). 치과 학생들에게 가장 흔하게 보고된 두 가지 딜레마는 전문가 간 딜레마와 보건 전문가 딜레마에 의한 환자 안전 및 존엄성 침해였다. 예를 들어, 전문성 간 딜레마에 대한 질문을 받았을 때, 한 치과 대학원생이 의사들과 비효율적인 협업 경험을 공유했습니다.

The results show that the distributions of colleague-related and non-colleague-related professionalism dilemmas were equal for dental students. Colleague-related dilemmas accounted for 47.5% of the total; non-colleague-related dilemmas covered 52.5% (see Figure 1). Interprofessionalism dilemmas and patient safety and dignity breaches by health professional dilemmas were the two most commonly reported dilemmas for dental students. For example, when asked about interprofessionalism dilemmas, a graduate dental student shared his experience of an ineffective collaboration with physicians:

"한 번은 상사가 X과 의사의 조언을 구하는 것이 좋다고 해서 그와 이야기를 나누러 간 적이 있습니다. 의사는 동의하지 않았지만 명확한 설명을 해주지 않았고, 나는 그가 어디서 왔는지 이해하지 못했다.(대학원 치과그룹2)
“I remember once, my supervisor said it is better to seek the advice of a physician from X department, so we went to speak to him. The physician disagreed with us, but didn’t give clear explanations, and I didn’t understand where he was coming from.” (Graduate Dental Group 2)

치과 학생과 의사는 같은 환자를 치료했음에도 불구하고 서로의 지식과 기술에 대한 인식이 부족하여 정보 격차가 발생했습니다. 의사는 그의 설명이 치과 학생에게는 충분하지 않다는 것을 깨닫지 못했고 치과 학생은 의사가 왜 동의하지 않는지 이해하지 못했다.

Despite working on the same patient, the dental student and the physician lacked awareness of each other’s type of knowledge and skills, leading to an information gap: the physician didn’t realize that his explanation was not enough for the dental student, and the dental student didn’t understand why the physician disagreed.

동료와 관련이 없는 딜레마에 대해 질문을 받았을 때, 일부 학생들의 서술은 정체성 딜레마에 대한 그들의 경험을 반영했다. 예를 들어, 한 7학년 학생은 다음과 같이 말했습니다.
When asked about non-colleague-related dilemmas, some students’ narratives reflected their experience of identity dilemmas. For example, a Year 7 student said:

"제가 학생인 줄 모르고 치과의사인 줄 알았던 환자들도 있어요. 왜냐하면 그들이 상담 클리닉에 왔을 때 "치과의사에게 진찰을 받을 거예요"라는 말을 듣고 나서 그들을 소개받았기 때문입니다." (6학년 치과 그룹 1)
‘‘Some patients didn’t know I was a student, they thought I was a dentist … because when they came into the consulting clinic, they were told ‘You will be seen by a dentist’, and then I was introduced to them’’ (Year 6 Dental Group 1)

이 학생은 불편함에도 불구하고 자신의 신원에 대한 환자의 오해를 바로잡거나 관여하지 않기로 결정했다.
The student chose not to get involved or correct the patients’ misunderstanding of his identity, despite his discomfort.

약국.
Pharmacy

약대생들은 다른 분야의 학생들보다 [동료와 관련된 딜레마]에 더 많이 직면했다. 39%(n=41)를 커버한 [비동료 관련 딜레마]에 비해, 동료 관련 딜레마는 약학 학생이 보고한 전체 딜레마의 약 61%(n=64)를 차지했다(그림 1 참조). 약대생들은 비효율적인 전문가간 협업의 직접적인 결과로 많은 전문직 간 딜레마가 보고되었습니다. 예를 들어, 한 대학원생이 왜 그 약학 학생이 환자를 위해 다른 검사를 원하는지 이해하지 못한 임상의에게 부당한 대우를 받았던 경험을 공유했다. 임상의의 관점에서 보면, 문제는 이미 해결되었습니다.
Pharmacy students encountered more colleague-related dilemmas than students of any other discipline. Colleague-related dilemmas accounted for approximately 61% (n = 64) of the overall reported dilemmas by pharmacy students, as compared to non-colleague related dilemmas which covered 39% (n = 41) (see Figure 1). A significant number of interprofessionalism dilemmas were reported by pharmacy students as a direct result of ineffective interprofessional collaboration. For example, a graduate student shared his experience of being treated unfairly by a clinician who didn’t understand why the pharmacy student wanted another test for the patient. From the clinician’s point of view, the problem had already been solved:

"몇 가지 처방전 때문에 매우 나쁜 부작용을 가진 환자가 있었는데... 그리고 임상의는 그에게 복용을 중단하라고 요청했습니다. 하지만 정확히 어떤 약이 원인인지 알고 싶었죠... 제가 필요한 건 그 환자의 소변 검사를 통해 확인되는 것이었어요. 그래서 나는 임상의에게 갔지만 그는 약간 짜증이 나서 '왜 이 일에 대해 나에게 잔소리할 필요가 있는가?'라고 말했다. 문제가 해결됐어! 이제 좀 그만하지 않겠어요?' (대학원 약학 그룹 1)
‘‘I had a patient who had very bad side effects because of some prescriptions … And the clinician asked him to stop taking them. But I wanted to know exactly which medicine caused it … All I needed was to have a urine test of that patient to confirm it. So I went to the clinician … but he was … kind of annoyed and said ‘Why do you have to nag me about this? The problem is solved! Can you stop doing this for fun?’’’ (Graduate Pharmacy Group 1)

이 딜레마는 주로 임상의사가 약사와 임상의사 사이의 문제 정의의 차이를 인식하지 못했기 때문에 일어났다(이 경우 임상의사는 부정적인 부작용을 주요 인과 인자로 본 반면 약사는 진짜 문제가 약의 선택에 있다고 느꼈다). 또 다른 약대생은 많은 갈등은 타인의 직업에 대한 인식과 존경의 결여에서 비롯된다는 자신의 신념을 강조하며 끝을 맺었다.

This dilemma was mainly caused by the clinician’s unawareness of differences in problem definitions between pharmacists and clinicians (in this case, the clinician saw negative side effects as the chief causal factor, while the pharmacist felt that the real problem lay in the choice of medicine). Another graduate pharmacy student concluded by emphasizing his belief that many conflicts are caused by a lack of recognition and respect for others’ professions:

"제 생각에 가장 큰 문제는 임상의들이 우리의 역할을 이해하지 못하고 있다는 것입니다. 우리는 임상의들이 무엇을 하는지 알지만, 그들은 우리에 대해 제한된 지식을 가지고 있다. 그래서 우리가 함께 일할 때 그들은 우리에게 무엇을 요구해야 할지 몰랐습니다.그들은 우리가 공동작업에서 어떤 역할을 해야 할지 몰랐습니다.(대학원 약학그룹2)
‘‘I think the big problem is … clinicians don’t understand our roles. We know what clinicians do, but they have limited knowledge about us. So when we were working together, they didn’t know what to ask from us … they didn’t know what kind of role we were supposed to play in collaborative work.’’ (Graduate Pharmacy Group 2)

간호
Nursing

치과 학생들의 경우처럼, 간호학과 학생들은 6가지 주요 주제를 모두 비슷한 비율로 경험했다고 보고했다. 간호학과 학생의 경우, 가장 일반적으로 보고된 딜레마의 55%가 동료와 관련이 있는 반면, 45%는 동료와 관련이 없는 딜레마였다. [동료 관련된 전문성 딜레마]와 [동료 비관련 전문성 딜레마] 사이에는 큰 차이가 없었다. 이 그룹에서 가장 자주 보고된 주제는 HCP에 의한 환자 안전과 존엄성 침해와 관련된 딜레마였다. 예를 들어 간호학과 4학년 학생은 다음과 같이 말했다.

As was the case with dental students, nursing students reported experiencing all six main themes at similar rates. For nursing students, 55% of the overall most commonly reported dilemmas were colleague-related, while 45% were non-colleague-related. There was no significant difference between colleague-related and non-colleague-related professionalism dilemmas. The most frequently reported themes for this group were dilemmas involving patient safety and dignity breaches by HCPs. For example, a Year 4 nursing student stated:

한 직원은 좋은 사람이었지만 사무실에서 환자에 대해 상당히 부적절한 방법으로 불평했다. 그녀가 바빴다는 것은 알지만, 솔직히 말해서 그 환자는 무리하지 않았다. 우리도 결국 그녀처럼 공감을 잃을까?(4년차 간호그룹 1)
‘‘There was one staff member [who] was a nice person, but she complained about her patient in a quite inappropriate way in the office. I understand she has been busy, but that patient [was] not being unreasonable, to be honest … and I wonder if we will eventually lose our empathy just like her. ‘‘ (Year 4 Nursing Group 1)

한편, 많은 간호학과 학생들에 의해서도 전문직 간 딜레마가 보고되었다. 한 4학년 학생은 그녀의 설명을 듣지 않은 의사로부터 "환자를 잘 돌보지 않았다"는 비난을 받았던 경험을 털어놓았다.

Meanwhile, interprofessionalism dilemmas were also reported by many nursing students. A Year 4 student shared her experience of being blamed for “not looking after the patient well” by a physician who did not listen to her explanation:

" 그 환자는 다음날 아침 수술을 받을 예정이었기 때문에 그 전에는 음식이나 음료가 허용되지 않았습니다. 저는 그와 그의 가족들에게 이 사실을 여러 번 상기시켰지만, 그는 (설명서를) 따르지 않고 수술 전에 물을 마셨습니다. 의사는 조금 짜증이 났고, 저를 비난했지만, 아무도 내 설명을 들으려 하지 않았다. 사실 24시간 지켜볼 수 없어요.다른 일이 있어요.(간호그룹 4년차)
“ … because that patient was going to have an operation the next morning, food or drink were not allowed for him before that. I had reminded him and his family members about this, quite a few times … however, he didn’t follow (the instruction) and had some water before the operation. The physician was a bit annoyed, and I was the one blamed, but no one wanted to hear my explanations. The fact is, I can’t watch him 24/7, I have other work to do.” (Year 4 Nursing Group 1)

이 학생은 의사가 자신의 업무량을 알지 못해 화가 나고 화가 났다며 자초지종을 파악하지 못한 채 그녀를 비난했다.
This student said she was upset and angry because the physician was not aware of her workload, and blamed her without seeking to understand the full story.

의료 기술
Medical technology


MT 학생들이 보고한 전문성 딜레마는 대부분 동료와 관련된 것이었다. MT 학생 중 HCP에 의한 환자 안전 및 품위 침해와 관련된 전문성 간 딜레마 및 딜레마가 가장 많이 보고되었습니다. 한 4학년 학생은 자신이 이해하지 못하는 명령을 받고 의사로부터 더 자세한 정보를 찾는다고 말했습니다. 그러나 역할 경계로 인해 '소통 채널 없음'을 사용할 수 없었습니다.

The professionalism dilemmas reported by MT students were mostly colleague-related. Among MT students, interprofessionalism dilemmas and dilemmas related to patient safety and dignity breaches by HCPs were the most frequently reported. A Year 4 student described being given orders that he didn’t understand, and seeking out further details from a physician. However, due to role boundaries, there was ‘no communication channel’ available:

"어떤 순서가 적절하지 않은 것 같습니다. 환자에게 왜 그 모든 검사가 필요한지 모르겠습니다. 의사와 상담하고 싶습니다만, 의사와의 연락 창구는 없습니다. MT는 의사와의 협의가 아니라 의사의 지시를 이행할 의무가 있습니다.(제4년차 MT 그룹 1)
“Some order seems … inappropriate … I don’t see why the patient needed all those tests. I would like to talk to the physician … but there is no communication channel between us … you know, the MT is expected to be under a certain obligation to implement a physician’s orders, not to discuss with them about that.” (Year 4 MT Group 1)

작업 요법
Occupational therapy

OT 학생들이 경험한 딜레마의 분포는 더 큰 차이가 있었다. OT 학생의 경우, 가장 일반적으로 보고된 딜레마의 45%(n = 18)가 환자 치료에 대한 가족의 영향과 관련이 있었다. 일부 OT 학생들은 환자의 가족이 진단이나 치료 과정에 개입하거나 영향을 준 유사한 사건의 경험을 보고했다. 예를 들어, 4년차 OT 학생은 가족 구성원의 주장에 따라 작업 치료 세션을 해야 하는 경우를 보고했습니다.
There was greater variance in the distribution of dilemmas experienced by OT students. For OT students, 45% (n = 18) of the most commonly reported dilemmas were related to the impact of family on patient care. Some OT students reported experiences of similar incidents, wherein the patient’s family intervened or influenced the diagnosis or treatment processes. For example, a Year 4 OT student reported a case in which they were forced to give occupational therapy sessions following the insistence of a family member:

"작업치료에 대한 의욕이 없는 노부인이 있었지만, 그 노부인의 가족은 병원에 있는 동안에는 작업치료를 해야 한다고 주장했다. 우리가 그녀에게 운동을 시키려고 할 때마다, 그녀는 항상 잠든 척했어요. 그래서 우리는 수동적인 운동을 할 수밖에 없었다."(4년차 OT 그룹 2)

‘‘There was an old lady [who] was not motivated for occupational therapy sessions herself, but her family insisted she should do it during her stay in the hospital. Every time we try to get her to do some exercises, she always pretended she was asleep. And so we had no choice but to do passive exercises.’’ (Year 4 OT Group 2)

대만에서는 문화적 차이로 인해 [고령 환자의 가족이 환자를 위해 의료 결정을 내리는 경우]가 많은데, 학생들은 이 관행에 불쾌감을 표시했다.
Due to cultural differences in Taiwan, the families of elderly patients often make medical decisions for the patients; the student expressed discomfort with this practice.

물리치료
Physical therapy

MT나 약학과 학생들처럼 물리치료 학생들도 동료와 관련된 딜레마를 많이 경험했다. PT학생이 가장 많이 경험하는 딜레마의 약 61%를 동료와 관련된 딜레마가 측정되었으며, 비동료와 관련된 딜레마는 38%였다(그림 1 참조). PT 학생의 경우, HCP에 의한 환자 안전과 품위 침해에 관한 딜레마가 가장 높게 나타났으며, 전문직 간 딜레마와 함께 가장 많이 보고된 주제 중 두 가지였다. 예를 들어, 한 4학년 학생은 장비 부족 시 환자 치료에 3대의 기계 대신 1대의 기계만 사용하도록 요구받았습니다.
Like MT and pharmacy students, physical therapy students also experienced a high volume of colleague-related dilemmas. In total, colleague-related dilemmas measured about 61% of the most commonly experienced dilemmas for PT students, and non-colleague-related dilemmas stood at 38% (see Figure 1). For PT students, dilemmas concerning patient safety and dignity breaches by HCPs scored the highest, and, along with interprofessionalism dilemmas, were two of the most reported themes. For example, a Year 4 student described being asked to use only one machine instead of three for a patient’s treatment during an equipment shortage:

환자는 무릎과 허리를 모두 치료해야 했습니다.즉, 동시에 3대의 기계를 사용해야 했습니다. 그 당시에는 모든 환자를 위한 기계가 충분하지 않았던 것 같습니다.그래서 치료 효과가 떨어지더라도 그 환자에게는 1대의 기계만 사용하라는 지시를 받았습니다.(4년차 PT 그룹 1)
“The patient needed treatment on both of his knees as well as his lower back, which means I needed to use three machines at the same time. Apparently, we didn’t have enough machines for all patients at that time … So I was told to use only one machine on that patient (who actually needed three), even though the treatment would be less effective … ” (Year 4 PT Group 1)

또 다른 4학년 학생은 자신의 경험을 전문직 간 딜레마에 대해 공유했습니다.
Another Year 4 student shared his experience with interprofessionalism dilemmas:

예를 들어 무릎이 아픈 환자에게도 같은 진단을 내리기도 했는데, 의사는 우리가 같은 치료를 해주길 기대했습니다. 그러나 우리가 알고 있는 바로는, 평가 결과, 동일하지 않은 것을 알 수 있었고, 환자 중 한 명은 다른 치료가 필요했고, 진단은 정확하지 않았다. 이것은 우리에게 있어서 어려운 상황입니다…그들(의사)에게 어떻게 말을 걸어야 할지 모릅니다」(4년째 PTGroup1)
“For example, sometimes patients with aching knees were given the same diagnosis, and the physician expected us to give them the same treatment. However, after evaluation, according to our knowledge, we found they were not the same, and that one of the patients needed a different treatment, and the diagnosis he received was not accurate. And that is a difficult situation for us … we don’t know how to talk to them (the physicians).” (Year 4 PTGroup1)


같은 그룹의 다른 학생은 상황의 어려움을 더 설명했다.
Another student from the same group further explained the difficulty of the situation:

전문 분야와 직군에 따라 환자의 치료에 대한 의견이 다르면 의사 소통이 어려워집니다. 서로의 지식이나 기술을 잘 모르기 때문만이 아니라 커뮤니케이션 능력도 매우 중요합니다. 우리가 당신의 전문지식을 문제삼는 것이 아니라, 제안을 하고 싶다는 메시지를 전달하는 것이 중요합니다.(제4년차 PT Group1)
“We are from different disciplines and professions, and when we have different opinions towards a patient’s treatment, it is difficult to communicate. Not only because we are not familiar with knowledge and skills held by each other; communication skills are also very important. It is important to deliver the message that we are not challenging their professional knowledge, but rather just want to provide suggestions.” (Year 4 PTGroup1)

치과, 약학, 간호 및 MT 그룹의 학생들과 유사하게, PT 학생들도 비효율적인 의사소통을 경험했다고 보고했습니다. 대만에서는, 많은 학생이, 팀원간의 정보 갭을 만들어, 오해를 불러일으키거나 화가 나거나 하는 등, 경솔하지 않은 경청이나 비효율적인 커뮤니케이션의 악영향을 인식하고 있었다.

Similar to students from Dental, Pharmacy, Nursing, and MT groups, PT students also reported experiencing ineffective communication. In the Taiwanese context, many students recognized the negative influences of non-respectful listening and ineffective communication, such as creating an information gap between team members, causing a misunderstanding and feeling upset or angry.

논의
Discussion

우리의 연구에서 두 가지 중요한 발견이 나왔다. 첫째, [전문직간 딜레마]는 대만 보건 전문직 학생들이 임상 경험 중에 직면하는 가장 흔한 전문직업성 딜레마입니다. 이는 의학에 초점을 맞춘 전문성에 관한 기존 문헌에는 명료하지 않은 새로운 차원이다. 이 연구 결과는 또한 이전에 문서화된 것보다 더 광범위한 전문가 간 딜레마를 포착함으로써 전문성 딜레마 문헌을 확장합니다.

Two significant findings emerged from our study. Firstly, interprofessional dilemmas are the most common professionalism dilemma faced by Taiwanese health professions students during their clinical experience. This is a new dimension not articulated in the existing literature on professionalism, which tends to focus on the medical professions (Tsou, Shih, & Ho, 2015). This finding also expands the professionalism dilemmas literature by capturing a broader array of interprofessional dilemmas than previously documented (Monrouxe et al., 2014; Monrouxe & Ree, 2012; Rees, Monrouxe,Ternan, & Endacott, 2015).

여기에 제시된 프로페셔널 간 딜레마에 대한 학생 내러티브는 Kalili 등의 [전문직 간 협업에서 이중 정체성에 대한 프레임워크]를 뒷받침합니다. 배경 섹션에서 제시된 바와 같이, [단일 전문직군 교육 시스템] 내에서 전문직의 사회화는 [단일 전문적 정체성]을 조장하고, [다른 사람의 역할에 대한 이해]를 제한한다. 이것은 [고정관념, 내그룹 편애, 전문직군 간의 차별적 편견]을 고착화함으로써 전문가 간 협업을 방해한다. 게다가 다른 전문직이 어떻게 문제를 정의하고 접근하고 있는지에 대한 이해가 없는 경우, "같은 것을 보면서도look at, 같은 것을 보지seeing 않는" 경우가 있습니다.
The student narratives of interprofessional dilemmas presented here support Khalili and his colleagues’ framework of dual identity in interprofessional collaboration (Khalili et al., 2013). As presented in the background section, health professional socialization within a uniprofessional educational system fosters a uniprofessional identity and limits health professionals’ understandings of other’s roles. This hinders interprofessional collaboration by entrenching stereotypes, in-group favouritism, and out-group discriminatory bias among professional groups. Furthermore, if interprofessional team members do not have an understanding of how other professions define and approach problems, then they may “look at the same thing without seeing the same thing” (Pertrie, 1976).

우리의 결과에 따르면 대부분의 [전문직 간 딜레마]는 보건의료 전문가들이 [다른 전공을 하는 동료의 역할, 경험 및 전문지식에 대한 인식 부족]으로 인해 발생한다는 것을 보여줍니다. Khalili et al(2013)은 [전문가 간 정체성의 개발]이 학습자 자신의 전문적 역할을 넘어, [협업과 팀워크를 위한 모든 전문적 역할에 대한 공통의 이해]를 갖게 됨으로써, "내-그룹in-group" 관점을 확장하는 데 도움이 된다는 것을 발견했습니다. 우리의 연구결과는 그러한 훈련의 필요성을 강조한다.
Our results indicate that most interprofessional dilemmas are caused by health professionals’ lack of awareness of their extradisciplinary colleagues’ roles, experience, and expertise. Khalili et al. (2013) found that development of interprofessional identity can help to expand ‘‘in-group’’ perspective beyond learners’ own professional roles to a shared understanding of all professional roles for collaboration and teamwork. Our findings underscore the need for such training.

둘째, 우리는 분야마다 다양한 프로페셔널리즘 딜레마의 분포에 직면한다는 것을 증명한다. 이전의 다전문 그룹 연구는 학생들이 직면했던 전문성 딜레마 목록을 만들어냈지만, 이 연구는 연구 결과를 학문적으로 비교하고 딜레마 분포의 차이를 밝혀냄으로써 독자들에게 새로운 관점을 제공한다.
Secondly, we demonstrate that different disciplines encounter distinct distributions of the various professionalism dilemmas. While previous multi-professional group studies produced a list of professionalism dilemmas that students encountered (Monrouxe et al., 2014; Rees et al., 2015), this research offers the reader a new perspective by comparing the findings cross-disciplinarily and revealing differences in dilemma distributions.

예를 들어 치과 의사는 일반적으로 환자 치료에서 독립적으로 일하기 때문에, 치과 학생들은 혼자서 환자를 치료할 때 전문직업성 딜레마에 직면할 가능성이 더 높습니다. OT 학생들은 환자의 대부분이 노인이고 대만에서는 노인의 가족이 의료 결정을 내리는 경우가 많기 때문에 '가족이 환자 치료에 미치는 영향' 딜레마에 직면할 가능성이 높다. 동료와 관련된 딜레마는 MT, 약학, 간호 및 PT 학생의 전문직업성 딜레마 프로필에서 주도적인 위치를 차지하고 있습니다. 이들은 의사 및 기타 HCP의 명령에 따르도록 요구되며, 일부 작업이 지나치게 시간이 많이 소요되거나 까다롭다고 생각되는 경우에도, [위계질서와 역할 경계]로 인하여 순응해야 하는 상황이 만들어진다. 이 결과는 개인 전문가의 행동이 그들이 일하는 사회적 규범과 조직적 맥락에 의해 형성된다는 것을 암시한다.

For example, dental students are more likely to encounter professional dilemmas when treating patients by themselves, as dental practitioners generally work independently in patient treatment (Masella, 2007). OT students are more likely to encounter ‘impact of family on patient care’ dilemmas, as many of their patients are elderly people, and in Taiwan, families of elderly patients often make medical decisions for them. Colleague-related dilemmas occupy a leading position in MT, Pharmacy, Nursing, and PT students’ professionalism dilemmas profile: they are expected to obey orders from physicians and other HCPs, and even if they feel that some tasks are excessively time-consuming or exacting, hierarchies and role boundaries necessitate their compliance. This result suggests that the actions of individual professionals are moulded by the social norms and organizational context(s) in which they work.

시사점
Implications

우리의 연구결과는 실질적인 함의를 담고 있다.
Our findings bear practical implications. 

첫째, [전문직 간 정체성]의 결여가 전문가 간 딜레마의 주요 원인이기 때문에, 보건 전문가 교육은 전문가 간 교육, 즉 '협업과 관리의 질을 개선하기 위해 서로와 배우고, 서로에게서 배우고, 서로에 대해 배우는 것'을 강조함으로써 혜택을 받을 수 있다. 이는 보건 전문직 학생들의 [이중 정체성] 개발을 돕고, 그들 자신의 전문직과 더 큰 전문직 간 관리 팀 모두에 대한 소속감을 형성할 것이다(Monrouxe & Rees, 2017). 보건 전문 교육학은 그들의 실천이 위치한 더 큰 사회 시스템과 제도 구조에 반응해야 한다.
Firstly, since a lack of interprofessional identity is a primary cause of interprofessional dilemmas, health professions education could benefit from greater emphasis on interprofessional education, ‘learning with, from and about each other to improve collaboration and the quality of care’ (Oates, 2016). This will assist health professions students’ development of a dual identity, building a sense of belonging to both their own profession and the larger interprofessional care team (Monrouxe & Rees, 2017). Health professions pedagogy should be responsive to the larger social systems and institutional structures in which their practice is situated (McMurtry, Rohse, & Kilgour, 2016).


둘째, [존중이 결여된 경청과 비효율적인 의사소통]이 전문직 간 딜레마의 주요 요인 중 일부라는 우리의 발견에 대처하기 위해, 보건의료전문직 학생들은 전문직 간 의사소통 기술에 대한 더 많은 훈련을 받아야 한다.

Secondly, to address our findings that non-respectful listening and ineffective communication are some of the primary factors in interprofessional dilemmas, health professions students could benefit from more training in interprofessional communication skills (Carpenter & Dickinson, 2008; Clark, 2006; Oates, 2016).

셋째, 많은 연구 참여자들은 [인터뷰 과정에서 무언가를 배웠다]고 느꼈으며, 커리큘럼에서 비슷한 성찰 연습을 보고 싶다고 털어놓았다. 그들은 프로페셔널리즘의 딜레마 경험을 반영하면 그들 자신의 접근 방식을 비판적으로 검토하고 다른 사람의 관점을 고려할 수 있다고 느꼈다. 그 결과, 그들은 미래의 딜레마에 대처하는 것에 대해 더 자신감을 느꼈다. 이것은, 전문가간 교육에서의 성찰을 지지하는 이전의 출판물을 반향한다.

Thirdly, many participants in our study confided that they felt they had learned from the interview process, and would like to see similar reflection exercises in their curricula. They felt that reflecting on professionalism dilemma experiences enabled them to critically examine their own approaches and to consider others’ perspectives. As a result, they felt more confident about coping with future dilemmas. This echoes previous publications that advocate reflection in interprofessional education (Clark, 2009; Zarezadeh, 2009).

제한 사항
Limitations

연구의 잠재적인 한계를 염두에 두는 것이 중요합니다. 첫째, 대만에서 의대를 한 곳밖에 공부하지 않았기 때문에 우리의 결과가 보편적이라고는 할 수 없습니다. 추가 연구를 통해 이 연구 방법론을 대만 및 다른 나라의 다른 의과대학으로 확대할 수 있다. 둘째, 우리의 샘플 사이즈는 상대적으로 작았다. 우리는 6개의 보건 전문가 학생 그룹에 걸쳐 다른 표본 크기를 가지고 있었다. (간호학과 8명에서 약학과 15명까지) 그 결과, 특정 유형의 딜레마가 과소 보고되거나 과도하게 표현되었을 수 있습니다. 그럼에도 불구하고, 우리는 각 직업에 대해 두 개 이상의 포커스 그룹을 실시했고, 추가 포커스 그룹에서 새로운 테마가 나오지 않은 후에야 모집을 중단했습니다.

It is important to bear in mind potential limitations of our study. Firstly, our results are not necessarily universal, as we studied only one medical school in Taiwan. Further studies could extend this research methodology to other medical schools in Taiwan and other countries. Secondly, our sample sizes were relatively small. We had different sample sizes across the six health professions student groups (from 8 nursing students to 15 pharmacy students). As a result, certain types of dilemmas may have been underreported or overrepresented. Nevertheless, we conducted more than one focus group for each profession and stopped recruiting only after no new themes emerged from additional focus groups.

코멘트를 정리하다
Concluding comments

이 연구는 프로페셔널리즘 딜레마에 대한 우리의 이해를 넓힌다. 우리가 아는 한, 다른 분야의 보건 전문직 학생들의 전문성 딜레마 경험을 질적으로 비교한 것은 처음이다. 그렇게 함으로써 우리는 전문직 간 딜레마가 보건직 학생들에게 직장 내 전문직의 지배적인 딜레마라는 것을 보여줄 수 있었다.
This research broadens our understanding of professionalism dilemmas. To the best of our knowledge, it is the first to compare the professionalism dilemma experiences of health professions students from different disciplines qualitatively. Doing so allowed us to show that interprofessional dilemmas are a dominant workplace professionalism dilemma for health professions students.


딜레마 유형에 대한 유의한 분야 간 차이가 발견되었다. 다른 분야의 보건 전문직 학생들은 다양한 유형의 딜레마에 영향을 받는데, 특히 그러한 학문적 차이 때문이다. 조사 결과, 특정 분야의 보건 전문 교육자는 해당 분야의 학생들이 직면할 가능성이 높은 특정 전문성 과제에 보다 잘 대처할 수 있도록 교육과 학습을 재구성할 것을 권장합니다.

Significant disciplinary differences regarding dilemma types were found. Health professions students of different disciplines are affected by different types of dilemmas, due specifically to those disciplinary differences. As a result of our findings, we recommend that health professions educators of specific disciplines restructure teaching and learning to better address the specific professionalism challenges that are more likely to be faced by their field’s students.

 

 


 

J Interprof Care. May-Jun 2020;34(3):259-268.

 doi: 10.1080/13561820.2019.1649645. Epub 2019 Sep 13.

Professionalism dilemmas experienced by health professions students: a cross-sectional study

Affiliations collapse

Affiliations

1School of Humanities, Jiangnan University, Wuxi, China.

2Department of Medical Education & Bioethics, National Taiwan University College of Medicine, Taipei, Taiwan.

3Center for Innovation and Leadership in Education, Georgetown University Medical Center, NW Washington, DC, USA.

PMID: 31516056

DOI: 10.1080/13561820.2019.1649645

Abstract

Health professions students will invariably confront professionalism dilemmas. These early encounters significantly influence future professional attitudes and behaviours. Heretofore, studies concerning professionalism dilemmas experienced by health professions students across disciplines have been limited. To address this issue, we recruited 56 students with clinical experience from the National Taiwan University College of Medicine in the nursing, dentistry, pharmacy, medical technology, occupational therapy, and physiotherapy programs to participate in this research to compare health professions students' understandings of professionalism and their experiences of professionalism dilemmas. We used group interviews to uncover students' experiences of professionalism dilemmas. We identified the six most commonly reported professionalism dilemmas and found that interprofessional dilemmas were the dominant workplace professionalism dilemma for health professions students. We also identified significant disciplinary differences regarding dilemma types and frequencies. We employed the framework of dual identity development to better understand the role of professional and interprofessional identities in interprofessional dilemmas. The professionalism dilemmas that individual students encountered were shaped by disciplinary differences. Our findings suggest that the development of a sense of belonging to both their own profession and a broader interprofessional care team in health professions students can increase the effectiveness of interprofessional healthcare teams.

Keywords: Professionalism dilemma; interprofessional education; professionalism; qualitative method.

 

자기주도학습에는 "자기" 이상의 것이 있어요: 학부생의 자기주도학습(SDL) 탐색 (Med Teach, 2021)
There is more than ‘I’ in self-directed learning: An exploration of self-directed learning in teams of undergraduate students 
Tamara E. T. van Woezika , Jur Jan-Jurjen Koksmab , Rob P. B. Reuzela , Debbie C. Jaarsmac and Gert Jan van der Wilta 

 

 

서론
Introduction

평생학습은 특히 의학과 같은 복잡한 직업의 훈련에서 고등교육의 중요한 목표가 되었다. 의료 커리큘럼은 종종 매우 역동적인 분야의 자기 주도적인 전문가들에게 필요한 비판적이고 성찰적인 태도의 개발을 포함한다. 자기 주도 학습은 진정한authentic 학습 상황에서 가장 잘 촉진되는데, 이는 학습 상황이 전문적인 실천을 반영한다는 것을 의미합니다. 진정한 의학 학습은 무엇보다도 학생들이 팀을 이루어 일하는 것을 의미하는데, 이것은 전문가들이 자주 접하게 되는 환경이다. 사회환경에서의 학습이 토론과 성찰을 자극하기 때문에 자기주도학습은 아마도 이 환경에서 육성될 것이다(Bolhuis 2003). 팀 내에서 자기 주도 학습이 어떻게 발전하는지를 이해하면, 협업 환경에서 교육을 설계하는 데 도움이 될 수 있습니다. 이 연구의 목적에 대해 자세히 설명하기 전에 자기주도학습과 진정한 학습의 개념에 대해 좀 더 자세히 설명하겠습니다.

Lifelong learning has become an important aim for higher education, especially in training for complex professions such as medicine (Mahan and Clinchot 2014; Delany et al. 2016). The medical curriculum often includes the development of a critical and reflective attitude that is needed for self-directed professionals in their highly dynamic field (Miflin et al. 2000; Murad et al. 2010; Chitkara et al. 2016). Self-directed learning is best promoted in authentic learning situations, meaning that the learning situation reflects professional practice (Jennings 2007; Goldman et al. 2009; Taylor and Hamdy 2013). Authentic learning in medicine means, among other things, that students work together in teams, a setting that professionals will often encounter. Self-directed learning is probably fostered in this setting, because learning in a social environment will stimulate discussion and reflection (Bolhuis 2003). Understanding more about how self-directed learning develops in teams could help designing for education in a collaborative setting. Before we elaborate on this aim of our study, the concepts of self-directed learning and authentic learning will be explained in more detail.

자기주도학습(SDL)은 일반적으로 학생들이 자신의 학습목표를 개발하고 추구하며 학습과정과 결과를 평가하는 (1)능력과 (2)태도로 정의된다. 

Self-directed learning (SDL) is commonly defined as the (1) ability and (2) attitude of students to develop and pursue their own learning objectives and to evaluate their learning process and results (Knowles 1975; Candy 1991; Taylor and Hamdy 2013). 

  • 첫째, [인지능력] 측면에서 SDL은 학습자가 보통 특정 코스에 대해 설정된 미리 정의된 학습 목표를 달성하는 데 도움이 되는 학습 방법인 SRL(Self-Regulated Learning)과 밀접하게 관련되어 있습니다. SRL은 SDL처럼 비판적 사고, 정교화, 학습 과정의 모니터링과 같은 학습 전략을 포함한다.
    • SRL과 SDL이 차이가 있는 것은, SDL은 코스 전체에 걸쳐 보다 장기적인 프로세스를 수반하기 때문에 [학습에 대한 태도]로 해석translate됩니다.
    • SDL에는 목표 설정 및 학습 프로세스의 평가와 조정을 위한 자기 모니터링 기능이 있습니다.
    • 또한 SDL은 몇 가지 학습 전략을 수반할 수 있지만 비판적 사고와 메타 인지적 자기 규제가 없는 경우에는 결함이 있는 것으로 간주됩니다(Candy 1991).
  • First, in terms of cognitive ability, SDL is closely related to self-regulated learning (SRL), which is a way of learning that helps learners to complete predefined learning goals that are usually set for a certain course. SRL involves learning strategies such as critical thinking and elaboration, and monitoring the learning process, as does SDL.
    • SRL and SDL differ in the sense that SDL involves more long-term processes often overarching a course, and therefore translates to an attitude towards learning (Sandars and Walsh 2016).
    • SDL includes goal setting, and self-monitoring to evaluate and steer the learning process (Lloyd-Jones and Hak 2004).
    • Moreover, SDL may entail several learning strategies, but is considered flawed when critical thinking and meta-cognitive self-regulation are absent (Candy 1991).

 

  • 둘째, [SDL에 대한 태도]라고 불리는 것은 학습자 개개인의 SDL 개발에 있어 중요한 몇 가지 특징과 행동으로 구성됩니다. 우리는 이러한 태도를 감정, 개방성 및 동기 부여의 관점에서 정의합니다.
    • Affect는 자신의 감정과 접촉touch하거나 감정과 관련된 행동을 보여주는 것을 의미합니다. 관심이나 흥분을 수반하는 경우, 영향은 SDL에 긍정적인 영향을 미칠 수 있으며, 불안 등 부정적인 감정의 경우 부정적인 영향을 미칠 수 있습니다.
    • 둘째, SDL(Mercer 2011)에 필요한 비판적 사고와 자기 평가를 촉진하기 위해서는, 경험에 대한 개방성, 성장 마인드, 창의성이 중요하다는 것을 알 수 있습니다.
    • 마지막으로 학습목표를 설정하기 위해서는 내적 동기부여가 중요합니다.이러한 목표는 SDL의 열쇠가 됩니다.

 

  • Second, what is referred to as the attitude for SDL consists of some characteristics and behaviour that seem important for the development of SDL in the individual learner (Guglielmino 1978; Fisher and King 2010). We define this attitude in terms of affect, openness and motivation.
    • Affect means to be in touch with your emotion or to show behaviour that is connected to emotions. Affect can have a positive influence on SDL when it involves interest or excitement, as well as negative influence in case of negative feelings such as anxiety (Brookfield 1995; Meyer and Turner 2002; Redwood et al. 2010).
    • Second, openness in terms of being open to experience, having a growth mindset, and being creative is shown to be important to stimulate critical thinking and self-evaluation which are needed for SDL (Mercer 2011).
    • Lastly, motivation in terms of intrinsic motivation is important for setting learning goals, which, as mentioned above, is key for SDL (Abd-El-Fattah 2010; Stockdale and Brockett 2011).

[진정한 맥락에서의 학습]과 [사회적 맥락에서의 학습]은 밀접하게 관련되어 있다. 첫째, SDL은 진정한 학습 환경을 통해 추진됩니다. 이러한 상황에는 팀으로 함께 일하는 상황이 포함되는 경우가 많습니다. 프로젝트, 시뮬레이션, 문제 기반 학습 등 SDL 강화를 목적으로 하는 교육 형식에는 모두 사회적 요소가 포함되어 있습니다. 진정한 학습 상황에서 SDL에게 중요한 것은 개인의 영향과 동기 부여에 대한 영향을 통해 사회적 상호작용이 학습을 결정한다는 것입니다(Johnson 및 Johnson 2009). 둘째, 모든 학습은 사회적이라고 주장할 수 있다. 따라서 SDL은 세계에 관한 지식을 구축하면서 세계를 이해하는 수단이라고 생각할 수 있다(Li 등 2010). 중요한 의미는 SDL의 개발이 컨텍스트를 구성하고 있다는 것입니다. 즉, 자기 주도적인 학습자는 조직 구조와 그룹에 포함되어 있습니다.
The ideas of learning in an authentic context and social context are closely related (Yardley et al. 2012). First, SDL is promoted by means of authentic learning situations, which often include working together in teams. Educational formats aimed at strengthening SDL such as projects, simulations or problem-based learning all involve a social component. Important to SDL in authentic learning situations is that social interaction determines learning because of the influence on individuals’ affect and motivation (Johnson and Johnson 2009). Second, one could argue that all leaning is social (Thoutenhoofd and Pirrie 2015). Hence, SDL may be conceived as a means to come to an understanding of the world, while constructing knowledge in relation to this world (Li et al. 2010). An important implication is that context constitutes the development of SDL. That is, the self-directed learner is embedded in organizational structures and groups.


그럼에도 불구하고 SDL에 대한 연구는 오랫동안 [개별 학습자]에 초점을 맞추고 있습니다. SDL에 대한 이러한 개인주의적 접근방식은 학습자가 개별적으로 작업하거나 행동하지 않는다는 점에서 [몇 가지 문제]를 일으킨다(Schmidt 2000). SDL에 관한 지금까지의 조사에서는, 사회적 환경이 SDL의 개발에 관여하는 것을 알 수 있었습니다. 일반적으로 학습의 경우, 사회적 메커니즘이 심리적 안전에 미치는 영향을 통해 학습 과정과 결과에 영향을 미친다는 것을 알 수 있다. 예를 들어, 팀 활동의 결과는 사회적 역학에 의해 영향을 받습니다. 왜냐하면 이러한 역학은 동기 부여와 토론의 깊이를 방해하거나 증가시킬 수 있기 때문입니다(Dolmans and Schmidt 2006). 게다가 팀워크에 대한 연구는 개방성에 영향을 미치는 사회적 과정이 전문직 경력 전반에 걸쳐 남아있다는 것을 보여준다. 따라서 개별 학습자의 SDL은 그룹 학습 과정과 교육 결과에 쉽게 일반화되지 않을 수 있다(Hommes 등 2014).
In spite of this, studies of SDL have long focused on the individual learner (Merriam 2001). This individualistic approach to SDL poses some problems, given that a learner does not work nor act individually (Schmidt 2000). Previous studies on SDL show that the social environment could play a role in SDL development (Levett-Jones 2005; Lee et al. 2010). For learning in general, we see that social mechanisms influence learning processes and outcomes through their impact on psychological safety (Beachboard et al. 2011; Hommes et al. 2014). For instance, outcomes of team activities are influenced by social dynamics because these can deter or increase motivation and depth of discussions (Dolmans and Schmidt 2006). Moreover, research on working in teams shows that social processes influencing openness remain throughout a professional career (de Groot et al. 2014). Therefore, SDL of the individual learner may not be easily generalized to the group learning process and outcomes in education (Hommes et al. 2014).

장래의 의료진이 팀워크를 실시할 때 SDL을 확실히 사용하고 싶은 경우는, 우선 의학교육에서 SDL을 사용하는 것을 추천합니다. 나아가야 할 방향은, 팀 내에서 학습이 어떻게 발전하는지를 더 이해하는 것입니다. 학생들이 자기 주도적인 학습자가 되기를 원한다면, 우리는 공부 시간 및 일정과 같은 [공식적인 메커니즘]과 팀 내에서의 그룹 결속 및 심리적 안전과 같은 [사회적 메커니즘]을 모두 고려해야 한다(Hommes et al. 2014). 개인의 SDL 행동이 그룹의 역동성에 의해 어떻게 영향을 받는지를 이해하면 교사와 교육자가 학생에게 팀 내 학습 방향을 올바르게 안내하는 데 도움이 됩니다. 따라서, 이 탐색적 연구 프로젝트에서는, [소그룹 학습]에서 SDL이 어떻게 발전하는지를 조사했습니다.
If we want to make sure that future medical professionals do use SDL when they work in teams, we should start with that in medical education. A way forward is to understand more about how learning develops within teams. If we want our students to be self-directed learners, we need to take into account both formal mechanisms such as study time and schedules, as well as social mechanisms such as group cohesion and psychological safety in teams (Hommes et al. 2014). Understanding how SDL behaviour of individuals is influenced by group dynamics will help teachers and educators to properly guide students towards learning in a team. In this exploratory research project, we, therefore, explored how SDL develops in students learning in small groups.

 

연구 프로젝트의 목적
Aim of the research project

우리는 두 가지 목표를 추구했다.

  • 우선, 학생의 SDL을 [의학 교육의 관점]에서 소그룹 학습으로 설명하고 싶다고 생각하고 있습니다.
  • 둘째, [그룹 역학]이 소규모 그룹 학습에서 SDL 행동을 어떻게 방해하거나 촉진하는지 알아보는 것을 목표로 했습니다.

We pursued two aims.

  • First, we wanted to describe students’ SDL in small group learning, in the context of medical education.
  • Second, we aimed to explore how group dynamics impedes or promotes SDL behaviour in small group learning.

 

방법
Method

맥락
Context

본 연구에서는 네덜란드 Nijmegen의 Radboudumc에서 [의학 및 생물의학 전공 1학년 학생들이 8개월 동안 팀을 이루어 건강(관리) 문제를 식별하고 정의하며 이를 위한 혁신적인 솔루션을 개발]하는 이른바 '혁신 프로젝트'의 맥락에서 SDL을 조사하기로 선택했습니다. 그러기 위해서는 혁신 프로젝트가 실제 상황과 매우 유사하도록 하는 분야(의사, 환자, 업계, 의료 관리 등)의 이해관계자와 협력해야 합니다. 중요한 것은 프로젝트 과제가 사전에 정의된 세부 가이드라인 없이 제공된다는 것입니다. 학생은 자신의 프로젝트를 관리하고 학습 프로세스를 지시합니다. 이 설정은 그룹 작업, 목표 설정, 감시가 장기간에 걸쳐 필요하기 때문에 그룹별로 SDL에 대한 조사에 적합합니다.
In this study, we choose to investigate SDL in the context of the so-called ‘Innovation project’, where first year students of medicine and biomedical sciences of the Radboudumc, Nijmegen, the Netherlands, over an 8-month period work in teams to identify and define a health(care) problem, and develop an innovative solution to it. To be able to do so, they need to engage with stakeholders in the field (physicians, patients, industry, healthcare management, etcetera), which ensures that the Innovation project closely resemble an authentic situation. Importantly, the project assignment comes without detailed predefined guidelines; students manage their own projects and hence direct their own learning processes. This setting is suitable for our research on SDL in groups, because it requires group work, goal setting and monitoring over a long period of time.

팀은 4~6명의 학생으로 구성되며, 팀의 45%는 의대생과 생물의대생이 혼합된 팀입니다. 팀은 일반적으로 자신의 이상과 아이디어를 바탕으로 혁신 주제를 자유롭게 선택하거나 친척이나 친구의 건강 문제에 직면할 수 있습니다. 예를 들어, 한 그룹의 학생들이 아이들이 천식 약을 기억하도록 돕는 게임을 고안했다. 또 다른 팀은 안약을 필요로 하는 환자들이 디스펜서를 더 잘 배치하고 복용량을 조절할 수 있도록 도와주는 장치를 고안했다. 이들은 실제 파트너와 협업하고 이해관계자 인터뷰를 기반으로 컨텍스트 분석을 수행하며 혁신적인 아이디어의 일부를 실현하려고 합니다. 학생들은 SDL 전략을 사용할 필요가 있습니다. 자신의 경험과 효과를 반영하고 이를 바탕으로 프로젝트 전체의 장기적인 목표와 관련된 미팅의 학습 목표를 특정해야 한다. 결국, 각 팀은 프로토타입 또는 모델의 형태로 혁신을 제공합니다. 또한, 그들은 자신의 혁신을 설명하는 그룹 보고서를 작성하고, 자신의 학습 과정과 그룹 과정에 대한 성찰 에세이를 개별적으로 작성합니다. 프로젝트의 최종 성적은 보고서와 에세이 결과에 기초한다.
Teams consist of 4–6 students and 45% of the teams are mixed teams with both medical and biomedical students. Teams are free to choose a topic for innovation, which is commonly based on their own ideals and ideas, or encounters with health(care) problems of relatives or friends. For example, a group of students designed a game to help children remember their asthma medication. Another team designed a device to help patients who need eye medication to better position the dispenser and control the dosage. They collaborate with real-world partners, perform a context analysis based on stakeholder interviews and try to realize part of their innovative idea. Students need to use SDL strategies: they reflect on their experiences and effectiveness, and on this basis they identify learning goals for the meetings that relate to their long-term goals for the entire project. In the end, each team delivers an innovation in the form of a prototype or model. In addition, they write a group report explaining their innovation, and they individually write a reflection essay about their own learning process and the group process. The final grade for the project is based on the results of both the report and the essay.

학생들은 자신들의 주제에 대해 어느 정도 전문 지식을 가진 교수자, 소위 '혁신-전문가'로부터 지도를 받을 수 있습니다. 또한 최종 프로젝트와 그룹 프로세스를 코스 마지막에 채점합니다. 그 다음, 학생들은 현실 세계에서 '고객'을 찾습니다. 즉, 혁신 분야의 기업 또는 개인 이해관계자이기 때문에 학생들에게 혁신 개발을 알리거나 도울 수 있습니다. 프로젝트 기간 동안 학생들을 지도하기 위해 과정 내내 한 달에 한 번 워크샵에 참여할 수 있습니다. 워크숍 내용은 다음과 같습니다. 팀워크(Belbin 2014), 이해관계자 분석, 인터뷰 스킬 및 프로젝트 관리에 있어 역할을 이해하는 데 도움이 되는 Belbin 역할.

Guidance is available from teachers with some expertise on the student’s topic, the so-called ‘Innovation-experts’, whom students can approach for support. This person also grades their final project and the group process at the end of the course. Next to that, the students find a ‘Customer’ in the real world: a company or individual stakeholder in the area of the innovation and thus can inform or help the students with the development of their innovation. To guide the students during the project, they can participate in workshops once a month throughout the course. Workshops include: Belbin roles to help understand roles in teamwork (Belbin 2014), stakeholder analysis, interviewing skills, and project management.

 

참가자 선정 및 모집
Selection and recruitment of participants

2016년 11월 이노베이션 프로젝트 과정의 첫 번째 워크숍에서 우리는 모든 학생을 이 연구에 참여시키고 8개월 프로젝트 기간 동안 팀 미팅에서 관찰하도록 초대하였습니다. 학생 그룹을 집중적으로 추적하고 싶었기 때문에 연구자가 대부분의 학생 팀 회의에 참석할 수 있도록 최소 3개 팀, 최대 7개 팀을 포함시키는 것을 목표로 했습니다. 학생들은 그룹 전체가 연구에 참여하기로 동의해야만 모집되었다. 그들은 사전동의서를 작성했고 첫 번째 작성자의 연락처를 받았다. 그 후 학생들은 이메일이나 WhatsApp을 통해 첫 번째 작가에게 연락하여 그들의 약속에 대한 최신 정보를 계속 전달했습니다. 첫 번째 저자가 한 달 넘게 학생들로부터 소식을 듣지 못하자, 그들이 여전히 연구 프로젝트에 참여하고 싶은지에 대한 질문과 함께 독촉장이 보내졌다. 학생들의 그룹 미팅에서, 첫 번째 작가는 대화를 녹음하고 짧은 메모를 했다. 그룹 회의의 녹화 허가를 미리 요청하고 각 녹화 시작은 항상 학생들에게 명시적으로 언급되었습니다. 이 연구의 프로토콜은 네덜란드 의학 교육 협회(NVMO)의 윤리 검토 위원회(파일 번호 677)에 의해 승인되었다.

During the first workshop of the Innovation project course in November 2016, we invited all students to participate in this study and be observed during team meetings throughout the 8-month project. We wanted to intensively follow the groups of students, so to make sure a researcher would be able to attend most meetings of the student teams, we aimed to include at least three teams and a maximum of seven teams. Students were only recruited if the entire group agreed to participate in the study. They filled out an informed consent form and received contact information of the first author. Students then approached the first author via e-mail or WhatsApp, to keep her updated about their appointments. When the first author did not hear from the students for more than a month, a reminder was sent along with the question whether they still wanted to participate in the research project. During the group meetings of the students, the first author made audio recordings of the conversation and kept short notes. Permission to make recordings of the group meetings was asked beforehand and the start of each recording was always explicitly mentioned to the students. The protocol for this study was approved by the ethical review board of the Netherlands Association for Medical Education (NVMO), file number 677.

데이터 수집
Data collection

이 연구는 오디오 녹음에 기초한 정성적 연구로 설정되었다. 이 연구는 Giacomini와 Cook(2000)의 질적 연구에 대한 지침을 따랐다. 이전 연구에 따라 대부분의 학습 행동이 명시적으로 발생할 것으로 예상하였다(Chi 2009). 그룹 프로세스의 일부 측면은 의견 불일치를 나타내는 눈살을 찌푸리거나 반성을 위해 잠시 멈출 시간을 나타내는 웅얼거림처럼 구두로 나타나지 않을 수 있기 때문에 첫 번째 저자는 추가적인 관찰을 하기 위해 항상 동석했다. 오디오 녹음은 분석 전에 녹음되었습니다(단절과 망설임 포함). 학생 이름이 숫자 식별자로 대체되었습니다. 학생들의 목소리는 녹취록 전반에 걸쳐 각각의 학생들이 동일한 식별자를 가지고 있는지 확인하기 위해 추적되었다. 이렇게 하면 그룹뿐만 아니라 그룹 내 개별 학생도 시간이 지남에 따라 그룹 역학에서 패턴을 볼 수 있고 학생들이 역할을 수행하거나 역할을 바꾸는 것을 볼 수 있습니다.
This research was set up as a qualitative study, based on audio recordings. This study followed the guidelines for qualitative research of Giacomini and Cook (2000). Following previous research, we expected most of the learning behaviour to occur explicitly (Chi 2009). Since some aspects of the group process may not manifest themselves verbally, such as a frown indicating disagreement or a hum indicating a moment to pause for reflection, the first author was always present to make additional observations. The audio recordings were transcribed before analysis, including breaks and hesitations. Student names were replaced by numeric identifiers. The students’ voices were traced to make sure each student had the same identifier throughout the transcripts. This way, we could follow not only the group, but also the individual student in the group over time, to see patterns in group dynamics and students taking on roles or changing roles.


학생 팀은 평균 2주에 한 번 만났고, 특히 프로젝트 시작과 종료에 한 주에 두 번 만난 팀도 있었습니다. 회의 중에 학생들은 프로젝트의 진행 상황에 대해 토론하고, 정보를 공유하고, 계획을 세우고, 약속을 정하고, 아이디어를 실험하고, 보고서를 쓰고, 서로를 알아가는 데 시간을 보내고, 불평하고, 어려움을 공유하는 등 여러 활동을 할 수 있다. 우리는 총 39회의 학생회의를 기록했고, 이는 기록된 시간의 23시간 이상에 달했다. 학생들은 몇 번 더 회의를 가졌지만 연구원이 참석하지 못하거나 다른 그룹의 회의가 겹치는 시간이었습니다. 간섭을 최소화하기 위하여, 우리는 첫 번째 저자(TW)만 관찰을 하도록 결정했다.

The student teams met once every 2 weeks on average, with short peak moments when some of the teams met two times in 1 week, especially in the beginning and at the end of the project. During the meetings, students could have several activities: they may discuss the progress of the project, share information, make plans, set appointments, experiment with ideas, write on their report, spend time getting to know each other, complain, share hardship, etc. We recorded 39 meetings of the students in total, which amounted to over 23 h of recorded time. The students had some more meetings, but those were on times when the researcher could not be present or the meeting of different groups was overlapping. For reasons of being minimally intrusive, we decided to let only the first author (TW) make the observations.

 

데이터 분석 및 템플릿 개발
Data analysis and template development

템플릿 분석을 사용하여 데이터를 코드화하고 구조화함으로써 보충 부록에 표시된 템플릿으로 이어졌습니다. 템플릿 분석은 다른 인식론 및 온톨로지에 적용할 수 있는 방법입니다. [사회적 구성주의 패러다임]이 결과를 체계화하기 위해 사용되었습니다. 이러한 관점에서 SDL은 세계를 이해하기 위한 수단으로서 개념화되어 있으며, 세계에 관한 지식을 구축하고 있습니다(Li et al. 2010). 이 인식론과 우리의 연구 목적에 부합하는 주요 관심사는 사회적 맥락이 SDL의 발전을 어떻게 구성하느냐이다. 이는 개별 학습 행동 대신 대화에서 학생과 에피소드 간의 상호작용에 초점을 맞췄다는 것을 의미한다. 참가자가 대화할 때 데이터가 수집되었기 때문에 코드는 이러한 상호작용을 반영합니다. 예를 들어, '정서적 가이드'는 누군가의 감정 표현에 대한 반응을 반영하는 코드이며, '계획과 실행'은 개인이 아닌 그룹 토론에서 이루어졌다.
We used template analysis to code and structure the data (Waring and Wainwright 2008; Brooks and King 2012), which led to the template displayed in Supplementary Appendix. Template analysis is a method that can be adapted to different epistemology and ontology (Braun and Clarke 2006; Brooks et al. 2015). A social constructivism paradigm was employed to frame the results. From this point of view, SDL is conceptualized as a means to come to an understanding of the world, while constructing knowledge in relation to this world (Li et al. 2010). Given this epistemology and in line with our research aims, a major concern is how the social context constitutes the development of SDL (Thoutenhoofd and Pirrie 2015). This means that the focus was on interactions between students and episodes in their conversation, instead of individual learning behaviour. Since data were collected when the participants were in a conversation, the codes reflect this interaction. For instance, ‘Emotional guidance’ is a code reflecting a reaction on someone’s expression of emotion, and ‘Planning and implementation’ took place in group discussions, not individually.

템플릿의 첫 번째 버전은 1년 전에 동일한 코스의 별도의 파일럿 연구에서 처음 개발되었으며, 이는 현재 연구와 유사하며 혁신 프로젝트의 맥락에서 수행되었습니다. 이 템플릿은 처음에 3개의 트랜스크립트의 오픈 코딩에 의해 작성되었습니다. 그런 다음 다양한 설문지(MSLQ, SDL-SRS, SDLRS, PRO-SDL; 문학: Brookfield (1995), de Groot et al. (2014), Lloyd-Jones 및 Turner (2004)에서 SDL 및 관련 학습 행동의 정의를 인용하여 문헌에 맞게 조정했다. 그 결과 43개의 코드로 구성된 초기 코드북이 생성되었습니다. 
A first version of the template was initially developed in a separate pilot study in the same course 1 year earlier, which was similar to the present study and conducted in the context of the Innovation project as well. This template was initially constructed through open coding of three transcripts. These codes were then aligned to literature by taking the definitions of SDL and related learning behaviour from different questionnaires: MSLQ (Pintrich et al. 1993), SDL-SRS (Fisher and King 2010), SDLRS (Guglielmino 1978), PRO-SDL (Stockdale and Brockett 2011); and literature: Brookfield (1995), de Groot et al. (2014), Lloyd-Jones and Hak (2004), Meyer and Turner (2002), Redwood (2010). This resulted in an initial codebook of 43 codes.


다음 단계에서는 현재 프로젝트의 대본을 읽고 성찰성 노트를 보관했습니다. 데이터에 익숙해진 후, 두 명의 연구자(TW와 동료는 학력이 있지만 프로젝트에 공식적으로 참여하지 않은 사람)가 템플릿을 사용하여 4개의 트랜스크립트를 코드화했다. 동기 부여 또는 목표 설정 행동과 관련된 인용문에 대해 차이가 발생했다. 예를 들어, 이러한 차이에 대한 논의는 학생들이 프로젝트나 다른 학습 목표를 완수할 수 있을지 고민한다는 것을 인정하는 '자기 개념' 코드를 추가하는 결과를 낳았다. 다른 예로는 일부 코드의 삭제 또는 조정이 있습니다. 예를 들어, 우리는 '배움의 사랑'을 사용하기로 하고, 밀접하게 연관된 '배움의 욕구'를 없앴다. 다음으로 템플릿은 TW, JK 및 GW에 의해 3개의 추가 트랜스크립트에 사용되었습니다. 코딩의 나머지 차이점을 논의하여 해결하였다(TW, JK, RR, GW). 이를 통해 템플릿의 최종 버전이 생성되었습니다. 그룹 회의의 39개의 모든 대화록은 이 템플릿을 사용하여 코드화되었습니다.
In the next step, the transcripts of the current project were read, and reflexivity notes were kept. After becoming familiar with the data, two researchers (TW and a colleague with an educational background but no formal affiliation to the project) coded four transcripts by use of the template. Differences occurred for quotes relating to motivation or goal-setting behaviour. Discussion about these differences resulted in, for instance, adding a code ‘Self-concept’ to acknowledge that students contemplated whether they would be able to complete the project or other learning goals. Another example is removal or adjustments of some codes: We decided, for instance, to use ‘Love of learning’ and removed the closely related ‘Desire for learning’. Next, the template was used by TW, JK and GW for three additional transcripts. Remaining differences in coding were discussed and settled (TW, JK, RR, GW). This led to the final version of the template. All 39 transcripts of group meetings were coded using this template.

Atlas.ti® 소프트웨어 버전 8을 사용하여 스크립트를 코드화하고 분석했습니다. Atlas.ti에서 프로세스를 보다 잘 이해하기 위해 시퀀싱 분석을 실시하였습니다. 이 방법은 여러 코드 간의 가장 중요한 관계를 이해하는 데 도움이 됩니다. 이 그룹의 프로젝트 보고서 최종 성적, 반영 보고서 및 과정의 최종 성적도 고려되었습니다.
We used Atlas.ti® software version 8 to code and analyse the transcripts. To understand more about the processes, we conducted a sequencing analysis in Atlas.ti. This method helps to understand what the most prominent relations between the different codes are. The group’s final grades for the project report, the reflection report and final grade for the course were also taken into account.

 

성찰성
Reflexivity


저자인 JK, RR, GW, TW는 모두 교사로서 이노베이션 프로젝트에서 적극적인 역할을 했으며, 코스의 이념에 공감했습니다. JK, RR 및 GW에게 이노베이션 프로젝트는 프로젝트가 (바이오) 의학 커리큘럼의 필수적인 부분이 되기 전에 소규모 환경에서 시범적으로 시행한 아이디어였습니다. 학생 전체로 확대하는 것은 고객이 설정한 과제에서 벗어나는 등 일부 타협을 수반했지만, 그들의 약속에는 영향을 미치지 않았습니다. AJ는 연구원으로서 이노베이션 프로젝트에 관여하지 않았지만, 더 큰 규모의 연구 프로젝트에 관여했습니다. 사회적 구성주의적 패러다임은 의미 형성 과정에서 우리를 인도했다. 여기에는 대화록의 상호 작용과 대화록에 부여되는 의미가 모두 함께 만들어졌다고 생각하는 것도 포함됩니다. 환경과 학습자는 서로 영향을 미치지만, 연구자와 그 환경 또한 서로 영향을 끼친다. 이 의미가 어떻게 구성되는지에 대한 이해를 돕기 위해, 우리는 대화록의 일부를 보여주고 어떻게 해석했는지 설명하는 것이 중요하다고 생각합니다.

The authors JK, RR, GW and TW all had an active role in the Innovation project as teachers and sympathized with the ideology of the course. For JK, RR and GW, the Innovation project was an idea that they had piloted in a smaller setting, before the project became an integral part of the (bio)medical curricula. Scaling up to the entire student population did involve some compromises, such as departing from assignments set by clients, but that did not influence their commitment. AJ as researcher was not involved in the Innovation project but affiliated with the larger research project. A social constructivist paradigm guided us in the process of meaning-making. This includes that we think that both the interactions in the transcripts, as well as the meaning we give to the transcripts, is co-created. The environment and learner influence each other, but also the researcher and his/her environment influence each other. To give insight into how this meaning is constructed, we think it is important to show parts of the transcripts and explain how we interpreted this.

결과.
Results

참가자 및 수집된 데이터
Participants and gathered data

세 그룹의 학생들이 이 프로젝트에 참여하기로 합의했다. 그들은 회의를 할 때 연구원에게 연락했다. 그룹에 대한 설명은 표 1에서 찾을 수 있습니다. 이들 3개 그룹 중 2개 그룹은 생물의학과 의대생 모두 혼성팀이었다. 한 팀은 의대생으로만 구성되었다. 남학생 비율(26%)과 의대생 비율(66.6%)은 남학생 30%, 의대생 65%로 학생 수가 많은 것과 비슷했다.

Three groups of students agreed to be part of this project. They contacted the researcher when they had a meeting. A description of the groups can be found in Table 1. Two out of the three groups were mixed teams with both students from biomedical sciences and medicine. One team consisted of only medicine students. The percentage of males (26%) and the percentage of medicine students (66,6%) was comparable to the larger student population with 30% males and 65% students of medicine.

총 39개의 스크립트를 코드화하여 템플릿으로 텍스트의 약 34.19%를 코드화할 수 있었습니다. 텍스트의 다른 부분은 전날 학생들과 있었던 일 또는 다음날 일어날 일 등 잡담을 포함하고 있었다. 그들이 이야기할 주제는 음식, 친구, 대중교통 문제, 또는 프로젝트, 팀, 그리고 학습과 관련이 없는 것으로 보이는 다른 주제들이다. 학습과 관련된 토론(예: 다른 과정이나 바쁜 일정에 대한 토론)은 코드화되었습니다. 표 2는 그룹이 얼마나 자주 관찰되었는지를 요약한 것이다.

We coded 39 transcripts in total and could code about 34.19% of the text with our template. The other parts of the text involved small talk: things that happened with the students the day before or what would happen the next day(s). Topics they would talk about were food, friends, problems with public transport, or other topics that evidently were not related to the project, the team, and learning in general. Discussions that did relate to learning, e.g., about other courses or their busy schedule, were coded. Table 2 summarizes how often the groups were observed.

 

게다가, 많은 녹음물이 소셜 토크나 가십을 포함하고 있기 때문에, 학생들은 자유롭게 대화하는 것처럼 보였는데, 녹음물이나 연구원의 존재에 대해 학생들이 매우 경각심을 가졌다면 아마 일어나지 않았을 것이다. 그들은 종종 연구나 연구자의 상태에 대해 묻곤 했지만, 보통 그들의 대화에 연구자를 끌어들이지 않았다. 성적표 1에서 볼 수 있듯이, 학생들은 서로 녹음에 대해 상기시켰습니다.

Furthermore, students appeared to have talked freely as many recordings involved social talk or gossip, which would probably not occur had the students been highly alert about the recordings or the presence of the researcher. They usually did not engage the researcher in their conversations, although sometimes they would ask about the research or how the researcher was doing. At some points students reminded one another or themselves about the recordings, as can be seen in Transcript 1.

 

소규모 그룹 학습에서의 SDL 설명
Description of SDL in small group learning

첫 번째 연구의 목적은 소규모 그룹 학습의 맥락에서 SDL이 어느 정도 발생하는지를 이해하는 것이었습니다. 템플릿 내 코드의 개요를 표 3에 나타냅니다. 또한 이 표는 코드가 다른 그룹에서 인식된 정도를 나타내며, 각 그룹의 모든 인용에 대한 백분율로 나타냅니다. 템플릿에 대한 자세한 개요는 부록을 참조하십시오. 자기 모니터링, 지식 습득 및 대인 관계가 가장 자주 코드화되었습니다.
The first research aim was to understand the degree to which SDL occurs in the context of small group learning. An overview of the codes in the template is displayed in Table 3. This table also shows the degree to which the codes have been recognized in the different groups, expressed as a percentage of all quotations of each group. A more detailed overview of the template can be found in Supplementary Appendix. Self-monitoring, knowledge acquisition and interpersonal behaviour were coded most often.

 

그룹 다이내믹스와 SDL
Group dynamics and SDL

두 번째 연구 목표는 소규모 그룹에서 그룹 역학이 SDL을 촉진하거나 방해하는 방법을 이해하는 것이었다. Atlas.ti의 시퀀스 분석에서는 자기 모니터링(예를 들어 무엇을 알아야 합니까?)과 비판적 사고(예를 들어, 그러한 가정이 유효한가요?)가 지식 습득을 유도하는 것으로 자주 나타나지만(예를 들어, 다른 정보 소스를 사용하여 학습하는 등), 책임감에 대해서도 마찬가지다(예를 들어 학생이 뭔가 해야 한다고 느낌). 이러한 관계는 단방향적이지 않다: 학생들은 다른 종류의 행동들 사이를 왔다 갔다 할 수 있다. 예를 들어, 스트레스(감정)의 느낌을 표현하는 것이 그룹 내 학생들이 이에 대해 토론하고 서로 지지하도록 만들어줄 수 있는 반면(대인 행동), 그룹 프로세스에 대한 피드백에 대한 직접적인 질문(대인 행동)은 스트레스나 좌절감(감정)을 공유하는 것으로 이어질 수 있다. SDL의 메카니즘을 특정하기 위한 본 연구의 목적을 고려하여 자기 감시, 지식 습득, 비판적 사고 하에 파악된 그룹 역학이 이러한 학습에 영향을 미치는 관계에 초점을 맞추고 있습니다. 또, SDL에 관해서 개인이 팀에 영향을 주는 메카니즘도 포함했습니다.이 메카니즘에 근거해, 다음의 3개의 메카니즘은 다음과 같습니다.

The second research aim was to understand more about the way group dynamics promote or impede SDL in small groups. The sequencing analysis in Atlas.ti shows many relations, for instance self-monitoring (e.g., what do we need to know?) and critical thinking (e.g., is that assumption valid?) are often seen to induce knowledge acquisition (e.g., using different sources of information to learn), but this is also the case for responsibility (e.g., a student feeling he or she needs to do something). These relations are not unidirectional: students can go back and forth between the different kinds of behaviour. For example, expressing feelings of stress (affect) may lead the students in a group to discuss this and support one another (interpersonal behaviour), whereas direct questions for feedback about the group processes (interpersonal behaviour) may lead to sharing feelings of stress or frustration (affect). In view of the aim of our study to identify mechanisms of SDL, we have focused on relations where group dynamics influenced this kind of learning as captured under self-monitoring, knowledge acquisition, and critical thinking. We also included mechanisms by which the individual had an influence on the team in terms of SDL. On this basis, we have identified three main mechanisms, where:

  • [감정]은 [자기 모니터링 또는 책임]으로 이어지는 대인 행동을 유도한다.
  • [개방성]이 [비판적 사고]를 유지시킨다.
  • [논쟁적 대화]는 [배움을 좌절]시킨다.
  1. Affect induces interpersonal behaviour leading to self-monitoring or responsibility
  2. Openness sustains critical thinking
  3. Disputational talk frustrates learning.

이러한 메카니즘에 대해서는, 이하에 자세하게 설명합니다.

We explain these mechanisms in greater detail below.

 

영향 및 대인관계 행동
Affect and interpersonal behaviour

학생 집단에서 [감정]은 [스트레스나 분노]의 감정을 표현하는 방식으로 나타나는 경향이 있다. 학생들은 그들이 경험하는 스트레스, 프로젝트의 결과에 대한 두려움, 또는 때때로 어떻게 동기를 잃는지에 대해 이야기함으로써 그룹 내에서 그들의 감정을 드러낸다. 이러한 발언에 대한 반응은 학생 그룹마다 다르며 다양하다. 어떤 그룹에서는, 그 반응은 대부분 개인적인 것이고 누군가의 기분을 좋게 만드는 것을 목표로 한다. 다른 그룹에서는 대부분 학습 과정으로 반응이 향합니다. 통상적으로, [감정]은 SDL 프로세스의 시작을 나타냅니다. 두 가지 방식의 반응은 모두 최종적으로 SDL 동작으로 이어집니다.
Affect tends to show in the groups of students by expressing emotions of stress or anger. Students show their emotions in the group by talking about the stress they experience, their fears about the outcomes of the project, or how they sometimes lose motivation. The reaction to these remarks differs and varies between the groups of students. In some groups, the reaction is mostly personal and targeted at making someone feel better. In other groups, the reaction is mostly directed towards the learning process. Usually affect marks the start of a SDL process, with both kinds of reaction leading to SDL behaviour in the end.

예를 들어, 한 그룹에서 한 학생이 프로젝트에 대한 동기를 유지하는 데 어려움을 겪고 있다고 말합니다. 그녀는 이 프로젝트를 즐기지 않는 반면, 그녀의 동료들은 그것에 열광하기 때문에 이것에 대해 화가 나 있다. 게다가, 그 그룹은 저녁을 함께 먹고 대학 밖에서 만나는 등 꽤 친해졌다. 학생이 자신의 문제에 대해 목소리를 높이면, 그 그룹은 정확히 무슨 일이 일어나고 있는지 탐색함으로써 그 문제를 추적합니다. 그리고 나서 그들은 어떻게 그들이 학생을 도울 수 있는지에 대한 결론에 도달한다. 이렇게 하면 Transcript 2에서 볼 수 있듯이 그룹이 공동 책임을 집니다.

For instance, in one group a student tells that she has trouble staying motivated for the project. She is upset about this, because she does not enjoy the project, whereas her peers are enthusiastic about it. Moreover, the group has become quite close, having dinner together and meeting up outside university. When the student speaks up about her problem, the group follows up on that by exploring what is going on exactly. They then come to a conclusion about how they can help the student. This way the group assumes a shared responsibility, as seen in Transcript 2.

 

또 다른 예에서, 한 학생은 또한 동기 상실을 언급하고, 마감시한에 의한 압박도 느끼지 않음을 암시한다. 그녀는 또한 의욕이 없는 것에 대해 화가 나 있다. 그녀의 코멘트에도 불구하고, 그녀는 그녀의 어조로 압박감을 전달한다. 그 그룹은 감정을 모방하고 다양한 해결책을 제시함으로써 반응한다. 그런 다음 프로젝트에서 수행할 다음 단계를 결정합니다. 이 경우 동료들의 반응은 개인적인 문제보다는 학습 과정에 초점이 맞춰집니다. 대화 내용은 Transcript 3에 나와 있습니다.

In another example, a student also mentions a loss of motivation, and implies that she misses the pressure from a deadline. She is also upset about not being motivated. Despite her comment, she does convey feelings of pressure in her tone of voice. The group reacts by mimicking the feelings and offering a variety of solutions. They then go on to decide on the next steps to take in the project. In this case, the reaction of the peers is focused on the learning process rather than the personal problem. The conversation is shown in Transcript 3.

 

개방성이 비판적 사고를 유지하다
Openness sustains critical thinking

두 번째 메커니즘은 [개방성]과 [비판적 사고]를 포함한다. Transcript 4에서 한 학생이 문학 검색 결과를 자신의 주제에 대한 생각과 연관지어 질문하고 정보를 놓치지 않도록 합니다(비판적 사고). 또한 학생들은 그것이 어떨지 상상하고 그것에 대한 몇 가지 생각을 실험하기 위해 개방성과 관련된 발언들을 포함한다. 따라서, 이 대본은 개방성과 비판적 사고가 서로를 어떻게 강화시키는지 보여준다.
The second mechanism involves openness and critical thinking. In Transcript 4, one of the students is questioning the results of their literature search by relating it to her own idea about the topic and trying to make sure they have not missed out on information (critical thinking). It also involves some remarks that relate to openness, as students try to imagine what it would be like and experiment with some thoughts on that. Thus, the transcript shows how openness and critical thinking reinforce each other.

정보의 공유와 다양한 지식의 원천의 결합은 Transcript 5에 나타나 있다. 이것은 [지식 습득과 비판적 사고의 관계]를 예시하고 있으며, [개방성]도 이에 한몫하고 있다. Transcript 5는 비판적 사고를 표현하는 학생을 보여준다. 다른 그룹 구성원의 반응은 지식 습득에서 시작해 개방성으로 변한다.

Sharing information and combining different sources of knowledge is seen in Transcript 5. This exemplifies the relation between knowledge acquisition and critical thinking, and that openness plays a role in this as well. Transcript 5 shows a student expressing critical thinking. The reaction of the other group members starts with knowledge acquisition and turns into openness.

 

논쟁적 대화는 배움을 좌절시킨다.
Disputational talk frustrates learning

세 번째 메커니즘은 [논쟁적 대화]에 관한 것입니다. 이것은 학습 과정에서 [생각의 선을 멈추는 상호작용]입니다. 학생들은 종종 [교육조직의 문제]를 인식한다. 예를 들어 디지털 학습 환경에 파일을 업로드할 수 없거나, 회의를 준비하려고 할 때 팀원 개개인의 스케줄로는 업로드할 기회가 없습니다. 이는 좌절감을 야기하고 결국 눈앞의 일에 더 이상 집중할 수 없게 될 수 있습니다. 다음 대본은 대화가 계획에서 논쟁적인 대화로 어떻게 흘러가는지를 보여준다. 이 경우 학생들은 해야 할 일의 양에 압도감을 느끼고 시간에 쫓긴다. 학생들은 최종 보고서를 위한 계획을 세우지 않고 피드백 시간을 계획하지도 않습니다.
The third mechanism concerns disputational talk, which is an interaction that stops the line of thinking, in this case, in a learning process. Students often perceive problems with the organization of education. For instance, when they cannot upload a file to the digital learning environment, or when they try to arrange a meeting, but the schedules of the individual team members leave no opportunity to do that. This may result in feelings of frustration and ultimately escalate in not being able to focus on the task at hand anymore. The next transcript illustrates how the conversation goes from planning to disputational talk. In this case, the students feel overwhelmed by the amount of work they need to do and feel time pressure. The students do not come back to planning for the final report, nor to scheduling a feedback moment.


학생들이 좌절감이나 다른 부정적인 감정들에 어떻게 대처할 수 있는가는 또한 그룹에 달려있다. 어떤 학생들은 부정적인 감정을 공유하는 데 유능하고 그 이후에 나아갈 수 있다. 다른 그룹에서는, 개인 차원이나 그룹 차원 중 하나에서 더 깊은 감정이나 사회적 문제가 있을 때, 그들은 상세한 설명을 삼가는 경향이 있다. 학생들은 동료들로부터 통합을 받기도 하지만, 아래 설명과 같이 항상 원인이나 해결책에 대해 논의하지는 않습니다. 이 그룹에서는 스트레스를 받은 학생들이 다른 학생들이 충분히 열심히 공부하지 않거나 프로젝트에 대한 동기부여가 되지 않는다는 생각을 가지고 있었기 때문에 결국 더 심해졌다. 이것은 좌절과 오해로 이어졌다.
How students can cope with frustration or other negative emotions also depends on the group. Some students are competent at sharing negative emotions and can move on after that. In other groups, when it comes to deeper emotional or social problems on either an individual level or group level, they tend to refrain from elaborating. Although students receive some consolidation from their peers, they do not always discuss the causes or solutions, as shown in the transcript below. In this group, it ultimately escalated, because the students that felt stressed had the idea that the other students did not work hard enough or were not motivated for the project. This led to frustration and misunderstanding.

 

논의
Discussion

학생들이 그룹 작업에서 SDL을 어떻게 사용하는지에 대한 질문에 답하기 위해 1학년 동안 3개의 프로젝트 그룹을 추적했습니다. 모든 그룹은 어느 정도 SDL을 보였지만, [자기 모니터링]와 [대인 행동] 면에서 차이가 있었다. SDL 개발에서 그룹을 지도하려면 이러한 차이를 이해해야 합니다.

따라서 두 번째 연구 질문의 초점은 그룹 역학으로, SDL이 표면화되거나 표면화되지 않는 이유를 설명할 수 있는 행동 패턴을 식별하려고 했다. 본 연구의 결과는 [감정(정동)을 공유 및 토론하는 능력과 개방성]이 [자기 모니터링]과 [비판적 사고] 측면에서 SDL에 긍정적인 영향을 미치는 반면, [논쟁적인 대화]는 이 과정을 저해하는 것으로 보일 수 있음을 시사합니다.

To answer the question how students employ SDL in group work, we followed three project groups of students throughout one academic year. All groups showed SDL to some extent, but there were differences in terms of self-monitoring and interpersonal behaviour. If we want to guide groups in SDL development, we need to understand these differences.

Therefore, the focus of the second research question was on group dynamics, trying to identify patterns of behaviour that could explain why SDL does or does not surface. The results of the present study suggest that a capability to share and discuss emotions (affect) and openness influence SDL positively in terms of self-monitoring and critical thinking, whereas disputational talk sometimes appears to inhibit this process.

 

메커니즘
Mechanisms

첫 번째 메커니즘은 [감정]과 [대인관계 기술]이 SDL 행동을 향한 프로세스에서 중요한 역할을 한다는 것을 나타냅니다. 학생들이 해결해야 할 문제의 지표로서 감정을 인식하는 것은 중요하다. 이것은 학습의 중요한 출발점이 되는 이전의 발견과 일치합니다. 현재의 연구는 [감정]이 [자기 모니터링]와 [비판적 사고]의 관점에서 시간을 효과적으로 사용할 수 있다는 것을 보여준다. 이것은 감정과 감정 조절이 자기 조절에 중요하다는 것을 발견함으로써 입증된다. 감정은 또한 내재적 동기 부여와 학습에 필요한 의미를 지닌 사건을 나타낼 수 있다(Boyd 2002; Redwood 등 2010). 하지만 학생 그룹은 이 문제에 대해 다른 방식으로 대처한다는 것을 알게 되었습니다. 일부 그룹은 감정의 신호 전달 기능을 무시했고, 자기조절이나 비판적 사고를 강화하는 측면에서 이득을 얻지 못하였다.
The first mechanism indicates that affect and interpersonal skills play a key role in the process towards SDL behaviour. It is important for students to acknowledge emotions as an indicator of a problem that needs to be solved. This is in line with previous findings that affect is an important starting point for learning (van Woezik et al. 2019). The present study shows that affect can then lead to effective use of the time in terms of self-monitoring and critical thinking. This corroborates with the finding that emotion and emotion regulation are important for self-regulation (Lajoie et al. 2019). Affect may also indicate events that have meaning, which are necessary for intrinsic motivation and learning (Boyd 2002; Redwood et al. 2010). We did find however, that groups of students deal with this in different ways. Some groups may in fact disregard this signalling function of affect and not benefit from in terms of enhancing self-regulation or critical thinking.

우리는 [개방성]이 비판적 사고를 유지하는 데 중요한 역할을 한다는 것을 발견했다. 새로운 관점에서 문제를 비판적으로 성찰하고 가능한 해결책으로 이어질 수 있는 새로운 사고와 정교함을 장려합니다. 게다가, 개방성은 학생들이 집단 사고에 도전할 수 있게 하는데, 이는 비판적 사고에 대한 이전의 연구와 일치한다. 이러한 개방성의 특징은 성장형 마음가짐과 일치하며, 이는 학습이 실수가 문제가 되지 않는 과정으로 짜여진다는 것을 의미합니다. 본 연구에서는 [대인관계 행동]이 이러한 성장 마인드를 확립하는 데 중요할 뿐만 아니라, 그룹 내에서 [개방성과 비판적 사고]를 유지하는 데 중요하다는 것을 발견했다. 이러한 연구결과는 전문적인 팀워크로 확대되며, 이 팀워크에서는 고품질 상호작용이 잘 발달된 커뮤니티에서 보다 비판적으로 성찰적인 대화가 이루어지며(de Groot 등 2014), 팀은 긍정적인 정서적 학습 환경에서 보다 효과적으로 일한다(Jansen 등 2019).

We found that openness plays a role in sustaining critical thinking. It encourages thinking out of the box and elaboration which may lead to new perspectives helping to critically reflect on problems as well as possible solutions. Moreover, openness enables students to challenge groupthink, which is in line with previous studies on critical thinking (de Groot et al. 2014; Koksma et al. 2017). These features of openness are in line with a growth mindset, meaning that learning is framed as a process where mistakes are not problematic (Dweck and Master 2008). In this study, we found that interpersonal behaviour is important for establishing such a growth mindset as well as sustaining openness and critical thinking in groups. These findings extend to professional teamwork, where more critically reflective dialogues take place in well-developed communities with high quality interaction (de Groot et al. 2014), and teams work more effectively with a positive affective learning climate (Jansen et al. 2019).

이 연구에서, [대인관계 행동]은 그룹마다 다른 것처럼 보였다.

  • 우리가 관찰한 두 그룹에서는 스트레스나 다른 부정적인 감정에 대한 대화가 질문이나 문제 해결 행동으로 이어졌다.
  • 다른 그룹에서는 감정만 피상적으로 논의되었다. 우리는 이 마지막 그룹이 논쟁적인 대화로 더 자주 후퇴하는 것을 보았다.

여기서 [그룹 응집력group cohesion]은 중요한 것으로 보인다: 서로 개인적으로 접근하고 대학 밖에서 만나는 학생들은 감정을 공유하고 피드백을 주고 받으며 비판적인 사고를 할 수 있는 안전한 환경을 구축한다. 이전 연구들은 그룹 응집력이 학습 성과에 중요한 영향을 미친다는 것을 보여주었다. 실제로 비치보드 외 연구진(2011)은 동료와 교사와의 관계성relatedness이 비판적 사고에 긍정적인 영향을 미친다는 것을 보여주고 있다. 따라서 본 연구를 바탕으로 교사들에게 그룹의 관계성relatedness이나 결속을 촉진하는 데 투자할 것을 제안한다. 우리는 다른 연구를 통해 선생님들이 프로젝트의 내용뿐만 아니라 그룹 프로세스 레벨에 대한 성찰을 자극함으로써 그렇게 할 수 있다는 것을 알고 있습니다.

In this study, interpersonal behaviour seemed to vary between the groups.

  • In two of the groups we observed, conversations about stress or other negative emotions led to asking questions and problem-solving behaviour.
  • In the other group, the emotions were only discussed superficially. We saw that this last group fell back to disputational talk more often.

Group cohesion appears to be key here: students who approach one another more personally and meet outside university establish a safe environment with room for sharing emotions, giving and receiving feedback, and critical thinking. Previous studies have shown that group cohesion indeed has an important influence on learning outcomes (Beachboard et al. 2011; Hommes et al. 2014). In fact, Beachboard et al. (2011) show that relatedness to both peers and teachers has a positive influence on critical thinking. Based on the present study, we therefore suggest that teachers invest in stimulating relatedness or cohesion in the groups. We know from other research that teachers could do so by stimulating (guided) reflection on the group process level as well as on the contents of the project (Jansen et al. 2019).


[대인관계 행동]의 또 다른 긍정적인 효과는 커리큘럼에서 [조직 문제에 대한 논쟁적인 대화]에 대항하는 데 도움이 될 수 있다는 것이다. 우리는 학생들이 이러한 조직적인 문제에 대해 이야기하는 데 얼마나 많은 시간을 할애하고 있고, 이러한 문제들이 그들의 학습을 방해하는 방식을 보고 놀랐다. 조직 문제로 인해 스트레스가 더 높은 상황에서, 학생들은 더 산만하거나 부정적인 상호작용을 보일 가능성이 더 높은 것으로 보인다. 이것에 의해, SDL 의 동작이 억제되어 이전의 조사와 일치합니다(Magno 2010). 그러나 한 그룹은 감정 공유와 반사성을 기반으로 학습 행동에 대한 잠재적 위협을 완화하는 데 성공했습니다. 다른 그룹은 더 적은 범위로 그렇게 했다. 이러한 효과는 [적극적으로 경청하고 판단을 보류하는 것]이 팀의 문제를 가장 효과적으로 해결하는 데 도움이 된다고 주장하는 샤인의 대화 이론theory on dialogue과 일치한다(Schein 2003).
Another positive effect of interpersonal behaviour is that it may help to counteract disputational talk about organizational problems in the curriculum. We were surprised to see how much time students spent on talking about such organizational problems and the way these interfered with their learning. In situations with higher stress due to organizational issues, students appear more likely to be distracted or show negative interactions. This inhibits SDL behaviour, which is in line with earlier research (Magno 2010). However, one group was successful in mitigating potential threats to their learning behaviour based on sharing emotions and reflexivity. Other groups did so to a smaller extent. These effects are in line with the theory on dialogue of Schein who argues that active listening and withholding judgment will help solve problems in teams most effectively (Schein 2003).

성찰
Reflections

본 연구의 한계는 자발적으로 연구에 등록한 소수의 학생만 포함할 수 있다는 것이며, 이는 선택 편향으로 이어질 수 있습니다. 그러나, 우리는 오랜 세월에 걸쳐 학생들을 추적해 왔고, 이로 인해 우리는 그들의 상호작용과 사고에 대한 심오한 이미지를 개발할 수 있었다. 게다가, 그 팀들은 상호작용과 동기부여 면에서 상당히 다르다는 것을 증명했다. 학생들이 프로젝트 자체와 커리큘럼 전반에 대해 공개적으로 비판하는 것은 연구원과 보이스 레코더의 존재가 그들의 행동이나 태도에 영향을 미치지 않았음을 시사한다.
Limitations of this study are that we could include only a small number of students, who voluntary enrolled in the study, which may have led to a selection bias. However, we have followed the students over a long period of time, which has enabled us to develop a profound image of their interactions and thinking. Moreover, the teams proved to be fairly different in terms of interaction and motivation. The fact that students sometimes openly criticized the project in itself and the curriculum as a whole suggests that the presence of a researcher and a voice recorder has not influenced their behaviour or attitude.

우리의 탐색적 연구를 바탕으로 SDL과 관련된 소그룹 학습의 메커니즘에 관한 가설을 세울 수 있었습니다. [사회적 구성주의] 관점의 연구가 학습자, 동료, 교사 및 환경 간의 상호작용을 더 잘 이해하는 데 도움이 될 것이라고 생각합니다. 여기서, 감정의 대처가 강조되어야 하는데, 감정이 학습에 큰 역할을 하기 때문이다. 이것은 [법제주의enactivism] (학습에서 감정과 구현에 더 많은 초점을 두는, 정신 철학에서 비롯된 학습의 새로운 패러다임)과 일치한다. 이 패러다임을 사용하여 그룹 다이내믹스와 SDL 간의 상호작용 모델은 논쟁적 대화의 효과 또는 자기 모니터링, 책임 및 대인 행동 간의 상호작용의 기초가 되는 메커니즘에 대한 질문에 답함으로써 추가 조사를 위한 출발점이 될 수 있습니다.

Based on our explorative study, we have been able to formulate some hypotheses regarding the mechanisms at work in small group learning that relates to SDL. We think more research from a social constructivist viewpoint could help to still better understand the interaction between the learner, peers, teachers, and the environment. Here, coping with emotions should be emphasized, as the present study underlines that it plays a large role in learning. This aligns with enactivism: a new paradigm of learning that stems from philosophy of mind, in which more focus is placed on emotion and embodiment in learning (Picard et al. 2004; Stephan et al. 2014; Maiese 2017). Using this paradigm, our model of interaction between group dynamics and SDL could be a starting point for further investigation, answering questions on mechanisms that underlie the effects of disputational talk, or the interaction between self-monitoring, responsibility and interpersonal behaviour.

결론
Conclusion

SDL을 소그룹으로 나누어 진정한 학습환경에서 조사했습니다. SDL에서는 개인의 능력이나 태도에 초점을 맞추는 것을 넘어 [감정과 개방성]의 중요한 역할을 찾아냈습니다. 긍정적인 환경에서 감정을 내보내는channeling 것은 SDL에 대한 행동을 유도하는 데 도움이 됩니다. 동료나 교사와 관련된 개방성은 이 메커니즘에서 큰 역할을 합니다. 1학년 학생들은 성찰과 대인관계 행동을 자신들에게 유리하게 사용할 수 있다. 교사는 학생들이 이러한 기술을 습득하도록 도와야 하며, 학생들과 좋은 관계를 맺음으로써 그룹 과정을 성찰할 수 있도록 도와야 한다.
In conclusion, we investigated SDL in small groups in an authentic learning environment. We moved beyond a focus on individual ability or attitude in SDL, finding important roles for affect and openness. Channelling affect in a positive environment will help to steer behaviour towards SDL. Openness, with relatedness to peers and teachers, plays a large role in this mechanism. First-year students are able to use reflection and interpersonal behaviour to their benefit. Teachers should help students acquire these skills and help them reflect on the group process by establishing a good relationship with the students.

 

용어집
Glossary
영향: 감정과 감정의 조합. 이는 긍정적(예: 기쁨)과 부정적(예: 좌절 또는 불안)일 수 있습니다. 두 가지 모두 메타인지적 영향 또는 영향으로 표현되는 학습에 영향을 미칠 수 있습니다. 영향과 학습 사이의 관계는 인지력에 대한 물리적 또는 내재적 접근법에 의해 설명될 수 있다.
Affect: A combination of emotions and feelings. These can be both positive (i.e., joy) and negative (i.e., frustration or insecurity). Both may have an impact on learning, described as metacognitive affect or affect. The relation between affect and learning may be explained by a physical or embodied approach to cognition.

정규 학습 환경: 진정한 학습환경은 실제 세계에 존재하는(또는 존재할 수 있는) 학습환경입니다. 실천에 기초한 학습 이론과 자기주도 학습은 모두 학습을 위해 이러한 유형의 환경에 의존한다. 이러한 환경은 복잡한 상황에서 연습하는 기술과 지식을 제공하여 학습자가 학습 중인 문제의 필요성과 의미를 이해하는 데 도움이 됩니다.

Authentic learning environment: An authentic learning environment is a learning environment which exists (or may exist) in the real world. Both practice-based learning theory and self-directed learning rely on this type of environment for learning. Such an environment affords practicing skills and knowledge in complex circumstances, helping learners to understand the necessity and meaning of the issue they are learning about.

 


Med Teach. 2021 May;43(5):590-598.

 doi: 10.1080/0142159X.2021.1885637. Epub 2021 Feb 22.

There is more than 'I' in self-directed learning: An exploration of self-directed learning in teams of undergraduate students

Affiliations collapse

Affiliations

1Radboud Institute for Health Sciences, Radboud University Medical Centre, Nijmegen, the Netherlands.

2Radboudumc Health Academy, Radboud University Medical Centre, Nijmegen, the Netherlands.

3Lifelong Learning, Education and Assessment Research Network (LEARN), University Medical Center Groningen, Groningen, the Netherlands.

PMID: 33617387

DOI: 10.1080/0142159X.2021.1885637

 

Abstract

Preparing future professionals for highly dynamic settings require self-directed learning in authentic learning situations. Authentic learning situations imply teamwork. Therefore, designing education for future professionals requires an understanding of how self-directed learning develops in teams. We followed (bio-)medical sciences students (n = 15) during an 8-month period in which they worked on an innovation project in teams of 4-6 students. Template analysis of 39 transcripts of audio-recorded group meetings revealed three mechanisms along which group dynamics influenced self-directed learning behaviour. First, if expressions of emotions were met with an inquisitive response, this resulted in self-monitoring or feelings of responsibility. Second, openness in the group towards creativity or idea exploration stimulated critical thinking. Third, disputational talk frustrated learning, because it adversely affected group cohesion. We conclude that emotions, openness, and relatedness are important drivers of self-directed learning in teams and hence should be given explicit attention in designing collaborative learning for future professionals.

Keywords: Collaborative/peer-to-peer; education environment; study skills; undergraduate.

편향되지 않고, 신뢰할 수 있고, 타당한 학생강의평가도 여전히 불공정할 수 있다 (Assessment & Evaluation in Higher Education, 2020)
Unbiased, reliable, and valid student evaluations can still be unfair
Justin Esarey and Natalie Valdes

 

 

서론
Introduction

학생 강의 평가는 고등교육의 교수들이 얼마나 잘 가르치고 있는지를 평가하기 위해 사용되어야 하는가? 학자들이 학생 평가의 유용성에 대해 토론할 때, 일반적으로 SET가 유효하고 신뢰할 수 있고 편향되지 않은 방식으로 강사의 자질을 측정하는지 여부에 대한 논의의 초점이 맞춰진다. 예를 들어, 많은 연구가 SET가 여성 강사에 대해 편중되어 있는지 여부를 조사했습니다. 편파적이거나 잘못된 SET를 사용하여 인사 결정을 내리는 데 명백한 문제가 있기 때문에 문헌은 양적이면서도 불일치하다. 하지만 SET가 이러한 문제로부터 자유로워지면 어떻게 될까요? 이 경우, SET 점수는 채용할 직업 후보자를 선택하는 데 있어서, 또는 교직원에게 종신 재직권을 부여해야 하는지 여부를 결정하는 데 있어서 타당한 근거가 되는가?

Should student evaluations be used to assess how well faculty in higher education are teaching? When scholars debate the utility of student evaluations of teaching (SETs), the discussion typically centres on whether SETs measure an instructor’s quality in a valid, reliable and unbiased way. For example, many studies have examined whether SETs are biased against female instructors (Langbein 1994; Andersen and Miller 1997; Martin 2016; Mitchell and Martin 2018; Mengel, Sauermann, and Zölitz 2019). The literature is both voluminous and discordant, perhaps because there are obvious problems with using biased or invalid SETs to make personnel decisions. But what if SETs are free from these problems? In that case, are SET scores a sound basis for choosing which job candidate to hire or whether a faculty member should be granted tenure?

이 기사에서, 우리의 컴퓨터 시뮬레이션은 SET를 사용하여 가난한 교사를 식별하면 [경험적 연구에 의해 지원되는 가장 낙관적인 시나리오]에서조차 [허용할 수 없을 정도로 높은 오류율]을 야기할 수 있음을 보여준다. 즉, SET가 (a) 학생의 학습 및 지도의 베스트 프랙티스와 어느정도 상관이 있고, (b) 신뢰성이 있고, (c) 편향되지 않았더라도, SET가 교직원의 교육 성과를 평가하기 위해 사용되는 일반적인 방법은 SET와 강사 간의 분포에 관한 합리적인 가정 하에서 불공평하다. 이는 [SET 점수]와 [강사 자질] 간의 관계가 상당히 부정확하기 때문에 발생합니다. 둘 사이에 상당한 상관관계가 있는 경우에도 마찬가지입니다. 이러한 부정확성은 SET 점수에 대한 본질적으로 무작위적이고 특이한 영향(예: 성격이나 외모)에서 비롯될 수 있으며, 지도와 관련이 없는 점수에 대한 체계적인 영향(예: 특정 성별이나 인종의 교원에 대한 편견)에서 비롯될 수 있다. 그러나 체계적인 편견이 없는 경우에도 SET 점수의 특이적 변화로 인해 발생하는 소음은 SET를 사용하여 교직원의 교육에 대한 올바른 판단을 하는 우리의 능력을 방해합니다.
In this article, our computational simulation shows that using SETs to identify poor teachers can result in an unacceptably high error rate even under the most optimistic scenarios supported by empirical research. That is, even if it is correct that SETs are (a) moderately correlated with student learning and/or instructional best practices, (b) reliable and (c) unbiased, common ways that SETs are used to evaluate faculty teaching performance are unfair under reasonable assumptions about the distribution between SETs and instructor quality. This occurs because there is considerable imprecision in the relationship between SET scores and instructor quality even when there is substantial correlation between the two. This imprecision can come from essentially random and idiosyncratic influences on SET score (such as personality or appearance), or it can come from systematic influences on those scores that are not related to instruction (e.g. bias against faculty members of a certain gender or race). But even when there are no systematic biases, the noise created by idiosyncratic variation in SET score interferes with our ability to use SETs to make correct judgements about a faculty member’s teaching.


컴퓨터 시뮬레이션을 사용하는 이유는 SET 점수가 이상적인 조건에서 교직원의 교육에 대한 행정적 판단에 매핑될 때 어떤 일이 일어나는지 조사할 수 있기 때문입니다. 우리의 접근법은 산업심리학에서 나온 선별과 평가의 오래된 이론 모델과 유사하다. 결과가 분포 가정에 지나치게 의존하지 않도록 원시 점수 대신 상관 백분위수 순위를 시뮬레이션하는 정규 연결사를 사용합니다. copula는 개별 한계 분포 함수를 공동 분포 함수에 연결하는 함수이며, 보다 구체적으로 '표준 균일 일변량 여유를 갖는 다변량 df [분포 함수]'이다(Hofert 2018, 페이지 5–6). 백분위수 순위는 원시 SET 점수 분포에 관계없이 항상 균일하게 분포되므로 다양한 학생 평가 도구와 점수 척도로 많은 대학을 모델링하는 데 더 나은 선택이다. 그러나 특정 한계 분포와 상관 계수는 SET 점수 및 교육 품질의 공동 분포를 고유하게 결정하지 않는다. 따라서 우리의 결론은 합리적으로(보편적이지는 않지만) 일반화할 수 있다고 믿는 일부 분포 가정에 여전히 구속된다. 이 점은 '방법론' 섹션과 '결론'에서 더 자세히 설명되며, 여기서 교직원과 관리자가 SET 점수를 실제로 사용하는 경우의 결과에 대해 논의한다. 

We use computational simulation because it allows us to examine what happens when SET scores are mapped into administrative judgements about faculty teaching under ideal conditions. Our approach is similar to venerable theoretical models of screening and assessment from industrial psychology (Taylor and Russell 1939; Naylor and Shine 1965; Cascio 1980; Owen and Li 1980). To avoid our results being overly dependent on distributional assumptions, we use normal copulas that simulate correlated percentile rankings instead of raw scores. A copula is a function that connects individual marginal distribution functions to a joint distribution function, and more specifically is ‘a multivariate df [distribution function] with standard uniform univariate margins’ (Hofert 2018, pp. 5–6). Percentile rankings are always uniformly distributed regardless of the distribution of raw SET scores and are therefore a better choice for modelling many universities with different student evaluation instruments and scoring scales. However, specific marginal distributions and a correlation coefficient do not uniquely determine a joint distribution of SET scores and instructional quality; our conclusions are therefore still bound to some distributional assumptions that we believe are reasonably (though not universally) generalizable. This point is discussed further in the ‘Methodology’ section and in our ‘Conclusion’, where we discuss the consequences for practical employment of SET scores by faculty and administrators.

다양한 상관관계를 가진 SET 점수 및 교직원 품질 백분위수를 시뮬레이션한 후 여러 평가 절차에서 시뮬레이션된 점수를 사용합니다. 구체적으로는 다음 사항을 조사합니다.
We simulate SET scores and faculty quality percentiles with varying correlation, then use the simulated scores in several assessment procedures. Specifically, we examine:

  • SET 점수를 통한 교직원의 쌍별 비교. 이는 교육 실적에 따른 취업 지원자의 비교 또는 종신 재직권 교수와 최근의 성공 사례의 교육 기록을 비교한 것이다.
  • 개별 교수의 SET 점수와 모든 교직원의 SET 점수의 전체 모집단의 비교. 이는 동료에 비해 성적이 낮은 교수진(예를 들어 점수가 특정 백분위수 순위 이하)이 테뉴어 케이스 또는 기타 체계적인 검토의 일부로 행정처분을 위해 식별되는 절차를 반영한다.
  1. pairwise comparisons of faculty via SET scores. This mirrors the comparison of job candidates on the basis of their teaching performance or the comparison of a faculty member up for tenure to the teaching record of a recent (un)successful case.
  2. comparison of an individual professor’s SET scores to the overall population of SET scores from all faculty members. This mirrors a procedure where faculty members who are under-performing relative to their peers (e.g. whose scores are below a certain percentile ranking) are identified for administrative action as part of a tenure case or other systematic review.

SET 점수와 교직원 교육 품질 사이의 상관관계가 ρ가 약 0.4인 경우(즉, 대체로 경험적 문헌에 의해 지지받는 가장 높은 값)인 상황에서조차, SET 점수의 큰 차이(30% 포인트까지)로 인하여 최고의 교수자를 신뢰성 있게 식별하지 못한다. 게다가 SET 점수가 20백분위 이하인 교직원의 4분의 1 이상이, 실제로 시뮬레이션의 중간값 교직원의 교직원에 비해 더 잘 가르치고 있습니다. SET 점수가 매우 높은 사람도 형편없는 교사가 될 수 있습니다. 95번째 백분위수를 초과하는 SET 점수를 받은 교수는 거의 19%가 중간 교수보다 더 잘 가르치지 못합니다. 이러한 결과는 이변량 정규 분포를 사용하여 SET 점수 및 교직원 품질을 시뮬레이션하여 분석을 반복할 때 확인됩니다. 이 분석의 의미는 교수의 수업instruction에 기반하여 공정하고 정확한 인사 결정을 내리려면 SET 점수보다 학생의 학습이나 지도의 베스트 프랙티스에 실질적으로 더 관련된 교육 성과 측정이 필요하다는 것입니다. 

Even when the correlation between SET scores and faculty instructional quality is ρ ≈ 0.4, roughly the largest value supported by empirical literature (e.g. Cohen (1981) finds an average correlation of 0.43 between overall SET score and student learning), a large difference in SET scores (even as much as 30 percentile points) does not reliably identify the best teacher in a pairwise comparison of simulated faculty members. Moreover, over one quarter of faculty with SET scores at or below the 20th percentile are actually better at teaching than the median faculty member in our simulation. Even those with exceptionally high SET scores can be poor teachers: nearly 19% of those with SET scores above the 95th percentile are no better than the median professor at teaching. These findings are confirmed when we repeat our analysis using a bivariate normal distribution to simulate SET scores and faculty quality. The implication of our analysis is that making fair, accurate personnel decisions based on faculty instruction requires a measure of teaching performance that is substantially more related to student learning or instructional best practices than SET scores alone.

우리 결과에 근거해, 대학내에서의 SET의 사용 방법에 대해 3개의 제언을 실시합니다.

  • 첫째, 목적이 무엇이든 회귀 조정 또는 일치된 하위 표본 분석을 통해, 비교육적instructional 요인(즉, 편향)에 의해 설명되는 SET 점수의 체계적 편차를 제거한 후 이러한 점수를 사용할 것을 권고한다. 이 조정은 평가 점수와 교육의 질 사이의 상관관계를 증가시켜 본질적으로 이 관계의 부정확한 원인을 걸러내고, 따라서 우리의 시뮬레이션에 따르면 불공정한 결정의 가능성을 감소시킨다. 단, 이 절차에서는 SET 점수에 대한 특이적 영향에 의해 발생하는 노이즈를 제거할 수 없습니다. 따라서 우리는 또한 SET 점수만으로는 오해의 소지가 있을 때 독립 평가자, 학생 인터뷰, 전문가에 의한 교수 관찰, 교재 동료 검토 및 SET 점수를 조합하여 교직원의 교수 능력을 훨씬 더 정확하게 파악할 수 있다고 믿는다. 중요한 것은, 이러한 개별적인 조치 각각에 노이즈가 있거나 결함이 있는 경우에도 마찬가지라는 것입니다.
  • 우리는 이러한 여러 형태의 평가를 평균화하는 것이 각각의 독특한 변화를 상쇄시켜 평균 평가와 교직원의 실제 교육 성과 사이의 부정확성을 더욱 감소시킬 수 있다는 것을 보여준다. 교육 품질의 여러 척도를 취득하는 것은 비용이 많이 들기 때문에 SET는 교육에 대한 보다 포괄적인 평가가 필요한 교사를 특정하기 위한 저비용 메커니즘으로 기능할 수 있습니다.이렇게 파악된 많은 교직원이 우수한 교사가 될 것이라는 것을 이해하고 있습니다.
  • 마지막으로, 어떠한 목적으로든 SET 점수에 과도하게 의존하는 경우 주의를 기울일 것을 권장합니다. 이러한 유용성은 일반적으로 관리자 또는 교수진에게 알려지지 않은 SET와 강사 품질 간의 공동 분포 특성에 따라 달라질 수 있음을 보여준다. 우리는 이 마지막 요점이 교육을 평가할 때 여러 평가 메커니즘(SET 점수 포함, 이에 한정되지 않음)을 사용할 필요성을 더욱 강조한다고 믿는다.

Based on our results, we make three recommendations concerning how SETs should be used within universities.

  • First, we advise removing any systematic variance in SET scores explained by non-instructional factors (i.e. biases) via regression adjustment or matched subsample analysis before using these scores for any purpose (as illustrated by Nargundkar and Shrikhande 2014; see also Benton and Li 2017, pp. 3–4). This adjustment increases the correlation between evaluation scores and teaching quality, in essence filtering out a source of imprecision in this relationship and therefore reducing the chance of an unfair decision according to our simulations. However, this procedure cannot remove the noise created by idiosyncratic influences on SET scores. Thus, we also believe that a combination of independent evaluators, interviews with students, teaching observations by experts, peer review of instructional materials, and SET scores can give a much more accurate picture of a faculty member’s teaching proficiency when SET scores alone would be misleading. Importantly, this is true even when each of these individual measures is noisy or flawed.
  • We show that averaging these multiple forms of evaluation can allow idiosyncratic variation in each one to cancel out, resulting in further reduction of imprecision between the averaged assessment and a faculty member’s true teaching performance. Because obtaining multiple measures of instructional quality is expensive, we think that SETs could serve as a low-cost mechanism for identifying faculty in need of this more comprehensive assessment of their teaching–with the understanding that many faculty so identified will be excellent teachers.
  • Finally, we advise caution in over-reliance on SET scores for any purpose: we show that their usefulness can depend on characteristics of the joint distribution between SETs and instructor quality that will typically be unknown to administrators or faculty. We believe this final point further underscores the need to use multiple assessment mechanisms (including but not limited to SET scores) when evaluating teaching.

 

배경
Background

본 연구는 SET의 가치에 대한 평가에서 크고 분할된 문헌을 다루지만, 기본적으로는 SET 점수의 타당성, 신뢰성 및 (무)편향성에 초점을 맞추고 있다는 점에서 통합된다. 다수의 연구에서는 SET를 긍정적으로 평가하는데, 한 41개 연구의 메타 분석은 '일반 과정과 강사 차원이 학생의 성취도와 상당히 강하게 관련되어 있다는 것을 비교적 확신할 수 있다' 그리고 '소견은 다른 학생, 강사, 기관 및 주제 영역에 일반화될 수 있다'고 주장한다. Feldman(1989)에 의한 동일한 데이터의 재분석은 이러한 결론을 대체로 확인시켜 준다. Herbert Marsh의 오랜 연구 기록은 대부분(전부는 아니지만) Marsh가 개발한 SEQ(Student Evaluation of Educational Quality)은 신뢰성과 타당성을 조사하여 SET의 특성을 다음과 같이 주장한다.
Our study enters a literature that is both large and divided in its assessment of the value of SETs, but essentially united in that its focus is on the validity, reliability, and (un)biasedness of SET scores as measures of faculty teaching performance. In favour of SETs, an influential meta-analysis combining the findings of 41 empirical studies argues that ‘we can be relatively certain that the general course and instructor dimensions relate quite strongly to student achievement’ (Cohen 1981, p. 298) and that the ‘findings can be generalized to different students, instructors, institutions, and subject matter areas’ (p. 305). Re-analysis of the same data by Feldman (1989) largely confirms these conclusions. A long record of scholarship by Herbert Marsh (summarized in Marsh 1984, 1987; Marsh and Roche 1997), which mostly (but not exclusively) examines the reliability and validity of the Student Evaluation of Educational Quality (SEEQ) developed by Marsh (1982), argues that SETs are:

  • (a) 다차원 
  • (b) 신뢰성 및 안정성 
  • (c) 주로 교육되는 과정이 아닌 과정을 가르치는 강사의 지도의 기능 
  • (d) 효과적인 교육의 다양한 지표에 대해 상대적으로 유효하다. 
  • (e) 잠재적 편견으로 가정된 다양한 변수에 상대적으로 영향을 받지 않는다. 
  • (f) 교육의 효율을 향상시키는 데 도움이 되다 

 

  • (a) multidimensional;
  • (b) reliable and stable;
  • (c) primarily a function of the instruction of the instructor who teaches a course rather than the course that is taught;
  • (d) relatively valid against a variety of indicators of effective teaching;
  • (e) relatively unaffected by a variety of variables hypothesized as potential biases… and
  • (f) useful in improving teaching effectiveness (Marsh and Roche 1997, p. 1187).

이러한 발견은 나르군드카르와 쉬리칸데(2012)의 독립 연구에서도 확인되었다. 이와 함께 Benton과 Li는 IDEA가 제작한 SET의 교육 등급은 '학습자 및 교사 행동에 대한 외부 학생 등급과 긍정적인 상관 관계'와 함께 학생들의 시험 성적도 보고했습니다. 이러한 등급은 또한 Marsh(1982)가 만든 SET에서 보고된 것과 유사한 학생의 숙련도에 해당하는 여러 차원으로 구분된다. 일반적으로 경험적 연구는 [학생 학습]과 [SET 평정] 사이의 상관관계를 최대 ρ = 0.4 정도로 보고한다.

These findings were confirmed in an independent study by Nargundkar and Shrikhande (2012). Along the same line, Benton and Li (2017, pp. 7–8) reports that student ratings of instruction on a SET produced by IDEA ‘correlate positively with external student ratings of learner and teacher behaviours’ as well as student performance on exams (Benton, Duchon, and Pallett 2013). These ratings also break into multiple dimensions that correspond to student proficiencies (Li et al. 2016) similar to those reported for the SET created by Marsh (1982). Generally, empirical studies report correlations between student learning and SET ratings of around ρ ≈ 0.4 at most.


반면에, 많은 다른 연구들은 SET가 학생의 학습이나 강사의 질을 측정하지 않으며, 성과와 상관없이 체계적으로 일부 그룹에 편향될 수 있다고 주장해왔다. Utl, White, Gonzalez(2017)가 Cohen(1981)과 Feldman(1989)의 데이터를 재분석한 결과, [null 결과는 무시]되고, [과장된 긍정적인 결과를 가진 소규모 연구]만 발표되는 경향에 영향을 받는다는 것을 발견했다. 30개 이상의 수업 섹션을 포함하는 SET 연구만 조사하면 학생 등급과 학생 학습 간의 상관관계가 50% 이상 감소하고, 나중에 발표된 SET 연구를 포함하면 이 상관관계는 최대 ρ = 0.1까지 떨어진다(표 4 참조). Nargundkar와 Shrikhande(2014)는 Marsh의 SET 도구의 유효성을 확인하지만, SET 점수는 학급 규모, 강사 성별, 교육 과정 유형과 같은 비교육적 요인에 의한 일부 내재적 편견을 반영한다. 우리 분야(정치학)에서의 SET에 대한 연구는 특히 강사 성별이 코스 평가에 미치는 영향에 초점을 맞추고 있으며, 코스의 다른 측면이 동등하더라도 여성이 남성보다 낮은 SET 점수를 받는다는 것을 반복적으로 발견해 왔다. 이 연구결과는 여성 교수자에 대한 편견을 발견했지만, 이후 대규모 학제 간 연구에서는 커리어의 초기에서만 그렇다는 것으로 확인되었다.

On the other hand, many other studies have argued that SETs do not measure student learning or instructor quality and may be systematically biased against some groups irrespective of merit. Uttl, White, and Gonzalez (2017) re-analyse the data from Cohen (1981) and Feldman (1989) and find that their results are influenced by the tendency for small studies with exaggeratedly positive results to be published while null results are ignored (Schwarzer, Carpenter, and Rücker 2015, chapter 5; see also Sterling 1959; Sterling, Rosenbaum, and Weinkam 1995; Franco, Malhotra, and Simonovits 2014). When examining only those SET studies that included 30 or more class sections, the correlation between student ratings and student learning falls by 50% or more (see Table 3 in Uttl, White, and Gonzalez 2017); when including SET studies published later, this correlation falls even further to at most ρ ≈ 0.1 (see Table 4). While Nargundkar and Shrikhande (2014) confirm the validity of Marsh’s (1982, p. 55) SET instrument, they also note that SET scores ‘reflect some inherent biases due to noninstructional factors’ (p. 55) such as class size, instructor gender, and the type of course being taught. Work on SETs in our home discipline (of political science) has been particularly focused on the effect of instructor gender on course evaluations, repeatedly finding that women receive lower SET scores than men even when the other aspects of the course are equivalent (Langbein 1994; Andersen and Miller 1997; Martin 2016; Mitchell and Martin 2018). This finding was partially confirmed in a large cross-disciplinary study by Mengel, Sauermann, and Zölitz (2019), who found bias against female instructors but only against those early in their career.

고용과 종신 재직에 대한 결정을 내리기 위해 무효, 신뢰성이 없거나 편향된 학생 평가를 사용하는 것은 분명히 학생과 교수진 모두에게 해가 된다. 대학이 학생의 학습이나 지도의 베스트 프랙티스를 추적하지 않는 SET를 채용, 재직 및 승진 과정의 일부로 사용할 경우, 그들은 성과 대신 무작위 기회에 따라 중요한 결정을 내릴 수 있습니다. 설상가상으로, 편향된 SET는 소수집단 배경의 교수자에게 불이익이 되거나, [인기 없는 필수 과목]을 가르치는 교수에 대한 처벌punish이 될 수 있다. 이것이 중요한 문제라는 것은 인정하지만, 다른 질문을 합니다. SET가 유효하고 신뢰할 수 있으며 편견이 없다면 어떻게 될까요? 뚜렷한 편견이 없고 강사의 질과 중간 정도의 상관관계가 있는 SET 점수는 교직원의 교육 성과를 판단하는 공정한 기준인가? 이 질문에 대한 대답이 '아니오'인 경우, 일반적으로 인식되는 것보다 SET 사용에 더 큰 문제가 있습니다.
Using invalid, unreliable or biased student evaluations to make decisions about hiring and tenure is obviously harmful to students and faculty alike. If universities use SETs that do not track student learning or instructional best practices as a part of their hiring, tenure, and promotion process, they may make important decisions on the basis of random chance instead of merit. Even worse, biased SETs could disadvantage faculty from underrepresented minority groups or punish faculty members who teach unpopular required courses. While we agree that this is an important problem, we ask a different question: if SETs are valid, reliable, and unbiased, what then? Are SET scores without demonstrable bias and moderately correlated with instructor quality a fair basis on which to judge a faculty member’s teaching performance? If the answer to this question is ‘no,’ there is a much bigger problem with the use of SETs than is commonly recognized.

 

방법론
Methodology


SET 점수의 신뢰성, 타당성, 편중성을 교육 능력의 척도로 경험적으로 평가하는 것이 아니라 경험적 문헌에 의해 뒷받침될 수 있는 가장 낙관적인 조건을 가정하고 대학 교직원 평가 및 관리를 위한 도구로서 SET 점수를 사용한 결과를 연구한다.

  • 첫째, 전체 강사 SET 등급이 코스 내의 실제 교육 품질(예: 학생 학습 및/또는 교육 모범 사례)과 중간 정도 상관된다고 가정합니다. 문헌에 보고된 가장 높은 상관관계는 ρ 0 0 0.4 정도이므로 이 상관관계 수준을 연구의 기준으로 사용한다. 우리는 또한 강사의 클래스 평균 SET 점수가 완벽하게 신뢰할 수 있다고 가정한다(즉, 강사의 클래스 평균 SET 점수는 항상 동일하므로 완벽하게 알려져 있다). 이는 다수의 클래스 평균 SET 점수의 평균을 사용하여 교직원을 평가하거나 클래스 평균 SET 점수가 완벽하게 안정되어 있다고 가정하는 것과 같다.
  • 둘째, 관리자가 SET 점수를 전문가가 권장하는 신중하고 현명한 방법으로 사용하고 있다고 가정합니다. 예를 들어, 문헌에 의해 보고된 SET 점수와 품질과의 불완전한 상관관계를 고려할 때, 두 강사 사이에 실질적인 품질 차이가 있다고 결론짓기 전에 관리자가 SET 점수에 큰 차이를 요구한다고 가정한다. 따라서 SET 점수가 동료보다 낮은 강사가 불량 교사로 식별될 경우 관리자는 오류 가능성을 최소화하기 위해 이 컷오프를 낮은 수준으로 설정했을 것으로 가정합니다.
  • 마지막으로, 학생 학습과 무관한 강사 수업 평균 SET 점수의 특이적 차이를 모델링하지만, 이러한 특이적 차이는 안정적이며 특정 그룹(예: 여성 또는 대표성이 부족한 소수자)에 대한 체계적 편견을 대표하지 않는다고 가정한다.

Rather than empirically assessing the reliability, validity, or unbiasedness of SET scores as measures of teaching proficiency, we assume the most optimistic possible conditions that can be supported by empirical literature and then study the outcomes of using SET scores as tools for assessing and managing university faculty.

  • First, we assume that overall instructor SET ratings are moderately correlated with actual instructional quality (e.g. student learning and/or instructional best practices) in the course. The highest correlations reported in the literature are on the order of ρ ≈ 0.4, so we use this level of correlation as the basis for our study. We also assume that an instructor’s class average SET scores are perfectly reliable (i.e. an instructor’s class average SET score is always the same and thus perfectly known). This is equivalent to assuming that a faculty member is assessed using the average of a large number of class-average SET scores, or alternatively that class average SET scores are perfectly stable.
  • Second, we assume that administrators use SET scores in the careful and judicious manner recommended by experts (e.g. Boysen et al. 2014; Benton and Young 2018). For example, we assume that administrators require a large difference in SET scores before concluding that there is a real difference in quality between two instructors, given the imperfect correlation of SET scores with quality reported by the literature. Relatedly, if instructors who receive lower SET scores than their peers are identified as poor teachers, we assume that administrators set this cutoff to a low level in order to minimize the possibility for error.
  • Finally, although we model the idiosyncratic difference in instructor class-average SET scores that is unrelated to student learning, we assume that these idiosyncratic differences are both stable and not representative of any systematic bias against a particular group (e.g. women or under-represented minorities).

 

이러한 가정은 SET 점수, 교육 품질 및 관리 평가 모델에 대한 정보를 제공합니다. 구체적으로는 교직원 i의 클래스 평균 강사 SET 점수 si의 백분위수 순위(원점수나 값이 아닌)와 교사로서의 실제 자질을 연구한다.여기서 qi는 교직원이 학생 학습에 진정으로 기여하는 것 및/또는 교육 모범 사례에 대한 적합성을 나타낸다. 예를 들어,

  • si = 40은 교직원의 전체 SET 점수가 교직원의 총 모집단에서 SET 점수의 40%보다 우수하다는 것을 의미하며,
  • qi = 40은 같은 교직원이 동료의 40%보다 우수하다는 것을 의미합니다. 

These assumptions inform our model of SET scores, the quality of instruction, and administrative assessment. Specifically, we study the percentile rankings (rather than raw scores or values) of a faculty member i’s class average overall instructor SET scores si and their actual quality as a teacher qi, where qi represents a faculty member’s true contribution to student learning and/or their conformity with instructional best practices.

For example, 
> si = 40 means that the faculty member’s overall SET score is better than 40% of SET scores from the total population of faculty members,
> while qi = 40 means that the same faculty member is a better instructor than 40% of his/her peers.

이러한 척도는 백분위수이기 때문에 기본 SET 점수 또는 강사 품질 메트릭이 어떻게 분포되는지에 관계없이 각각은 si ~ U [0, 100] 및 qi ~ U [0, 100]의 균일한 한계 분포를 가집니다. (si, qi)의 공동분포는 si와 qi가 고정공통값 θ에서 상관관계를 갖는 것으로, 상관관계가 θ인 정규연관을 사용하여 이를 모델링한다(Hofert 2018, 페이지 87). 

Because these measures are percentiles, each has a uniform marginal distribution regardless of how the underlying raw SET score or instructor quality metric is distributed: si  U [0, 100] and qi  U [0, 100]. The joint distribution of (si, qi) is such that si and qi are correlated at a fixed and common value of ρ; we model this using a normal copula with correlation ρ (Hofert 2018, p. 87).

그림 1은 모델을 사용하여 교수진의 SET 점수 및 실제 교육 품질 값을 백분위수로 시뮬레이션하는 세 가지 예를 보여줍니다. 산점도(si, qi)의 각 점은 개별 교직원 i의 클래스 평균 SET 점수 백분위수(x축)와 실제 교육 품질 백분위수(y축)를 나타냅니다.

  • 그림 1(a)에서 SET 점수와 실제 강사 품질 사이에는 아무런 관계가 없습니다(표준 = 0).
  • 그림 1(b)에서 SET 점수와 강사 품질 사이의 상관관계는 경험적 문헌에 의해 지원되는 최대값과 거의 일치하는 값으로 설정된다(set = 0.4).
  • 마지막으로, 그림 1(c)은 상관 관계를 매우 높게 설정한다(표준 = 0.9).

Figure 1 shows three examples of how we simulate faculty members’ SET scores and true instructional quality values as percentiles using our model. Each point in a scatter plot (si, qi) represents an individual faculty member i’s class average SET score percentile (on the x-axis) and true instructional quality percentile (on the y-axis).

  • In Figure 1(a), there is no relationship between SET score and true instructor quality (ρ = 0).
  • In Figure 1(b), the correlation between SET score and instructor quality is set at a value roughly consistent with the maximum value supported by empirical literature (ρ = 0.4).
  • Finally, Figure 1(c) sets the correlation extremely high (ρ = 0.9).

각 산점도 상단 및 오른쪽 모서리의 히스토그램에는 SET 점수 백분위수(위 모서리)와 교직원 교육 품질(오른쪽 모서리)의 한계 균일한 분포가 표시됩니다. 각각의 시뮬레이션에서는, 특정의 ρ 를 가지는 통상의 코풀라로부터 다수의 교직원을 추출해, 그러한 교직원을 사용해 SET 스코어의 특정의 관리상의 용도가, 좋은 교사와 나쁜 교사의 구별에 있어서 얼마나 효과가 있는지를 평가합니다. 시뮬레이션에서 각 교직원의 진정한 강사 자질을 알 수 있기 때문에 이상적인 조건에서 이러한 관리 용도가 얼마나 잘 수행되는지 정확하게 평가할 수 있습니다.

The histograms on the top and right edges of each scatter plot shows the marginal uniform distribution of SET score percentiles (top edge) and faculty instructional quality (right edge). Each one of our simulations draws a large number of faculty members from the normal copula with a specified ρ and uses those simulated faculty members to assess how well particular administrative uses of SET scores work in terms of distinguishing good teachers from bad. Because we know the true instructor quality of each faculty member in our simulations, we are able to accurately assess how well these administrative uses perform under ideal conditions.

 

우리의 모델은 테일러와 러셀(1939)의 모델과 유사하며, 테일러와 러셀(1939)은 표준화된 평가(점수 테스트 등)를 사용하여 이 [표준화된 평가]가 [근로자의 직무 성과]와 유의하지만, 불완전하게 상관되어 있을 때(수준 r) 근로자를 선택하는 결과를 연구했다. Taylor와 Russell은 저비용의 전자컴퓨팅 이전에 근무하고 있었기 때문에, (평가의 엄격성(즉, 고용되는 평가 노동자의 비율), 평가의 유효성(r) 및 작업 성과가 최소한 허용 가능한 모집단의 근로자 비율이 주어졌을 때) 평가에 의해 선택된 종업원의 비율을 나타내는 표를 작성했습니다. 이러한 표를 통해 관리자는 복잡한 계산 없이 정보에 입각한 결정을 내릴 수 있었습니다.

Our model is similar to that of Taylor and Russell (1939), who studied the consequences of using a standardized assessment (such as a scored test) to select workers when this assessment is meaningfully but imperfectly correlated (at level r) with those workers’ job performance. Because Taylor and Russell were working at a time before low-cost electronic computing, their main contribution was producing tables showing what proportion of workers selected by the assessment would be acceptable given the stringency of the assessment (i.e. what proportion of assessed workers would be hired), the validity of the assessment (r), and the proportion of workers in the population whose job performance would be at least minimally acceptable; these tables enabled managers to make informed decisions without complex calculation.

같은 이유로 테일러와 러셀은 연속 표준화 평가 지표(예: 시험 점수)와 근로자 품질의 연속 표준화 측정치가 상관 관계 r을 갖는 단위 이변량 정규 밀도에 따라 분포될 것이라고 가정했다. Naylor와 Shine(1965)은 다양한 평가 조건에서 선택된 근로자의 평균 표준화된 업무 성과를 보여주는 이 표의 버전을 작성했다. 이들의 수정된 접근방식은 관리자들이 표준화된 평가를 통해 얼마나 많은 선택이 기준 수준과 비교하여 노동자의 평균 품질을 개선할 수 있는지를 결정할 수 있게 했다.그는 전체 인구입니다. Naylor와 Shine은 이러한 표준화된 품질 점수 사이의 상관 단위 이변량 정규 분포에 대한 가정을 유지했습니다. 이러한 모델은 과거 고등교육 평가 연구에 성공적으로 적용되었다. 예를 들어, Owen과 Li(1980)는 수정된 Taylor-Russell 접근방식을 사용하여 대학 입학 요건으로 최소한의 표준화된 시험 점수 성과를 요구하는 효과를 연구한다. 

For the same reason, Taylor and Russell assumed that the continuous standardized assessment metric (e.g. a test score) and the continuous standardized measure of worker quality would be distributed according to a unit bivariate normal density with correlation r. Naylor and Shine (1965) created a version of these tables showing the average standardized job performance of workers selected under varying assessment conditions; their modified approach allowed managers to determine how much selection via standardized assessment would improve the average quality of a workforce relative to the baseline level of the overall population. Naylor and Shine maintained the assumption of a correlated unit bivariate normal distribution between these standardized quality scores. These models have been successfully applied to the study of assessment in higher education in the past; for example, Owen and Li (1980) study the effectiveness of requiring minimum standardized test score performance as a requirement for college admissions using a modified Taylor–Russell approach.


이 모델을 사용하여 SET 점수의 두 가지 일반적인 관리 용도를 연구합니다.

  • 교직원의 쌍별 비교
  • 각 교직원의 SET 점수를 모든 교직원의 SET 점수 전체 분포와 비교합니다.

We use our model to study two common administrative uses of SET scores:

  1. for pairwise comparison of faculty members; and
  2. for comparison of an individual faculty member’s SET score to the overall distribution of SET scores from all faculty.


이러한 용도는 SET가 의사결정에 정보를 제공할 수 있는 현실적인 시나리오를 다루도록 설계되어 있습니다. 예를 들어, 테뉴어 평가는 종종 최근의 사례를 참고한다. 후보자의 SET 점수와 최근의 테뉴어 사례의 점수를 쌍으로 비교하여 교육 성과에 기초한 결정을 정당화할 수 있다. 채용 결정에는 소수의 교직원을 서로 비교하는 것이 포함됩니다. SET 점수의 쌍별 비교는 어떤 후보가 더 나은 교사인지 판단하기 위해 사용될 수 있습니다. 아마도 가장 가능성이 높은 것은 교직원의 SET 점수를 모든 교직원의 SET 점수 모집단이 많은 것과 비교하여 동료보다 현저히 나쁜 교직원의 SET 점수를 식별할 수 있다는 것입니다. 예를 들어, 강사는 SET 점수가 학과 또는 대학 중간 점수보다 낮은지 여부에 따라 평가될 수 있습니다. 우리는 그러한 비교가 테뉴어 심사나 임기 전 평가의 일부로서 일어날 것이 거의 확실하다고 기대한다.

These uses are designed to cover realistic scenarios in which SETs may inform decision-making. For example, tenure evaluations often make reference to cases from the recent past; pairwise comparison of a candidate’s SET scores to those of a recent tenure case might be used to justify a decision based on teaching performance. Hiring decisions involve comparing a small number of faculty members to one another; a pairwise comparison of SET scores might be used to adjudicate which candidate is a better teacher. Perhaps most likely of all, a faculty member’s SET scores might be compared to the larger population of SET scores from all faculty in order to identify those whose teaching performance is markedly worse than their peers. For example, an instructor might be judged according to whether his/her SET scores are below the department or university median score. We expect that such a comparison is almost guaranteed to happen as part of a tenure review or a pre-tenure evaluation.

Microsoft R Open 3.5.3(R Core Team 2019)의 copula 라이브러리를 이용하여 ρ 의 상관관계를 갖는 일반 copula에서 SET 점수 백분위수와 강사 품질 백분위수 1,000,000개를 추출하여 이러한 절차의 영향을 모델링합니다. 그림 1과 같이 SET 점수 및 강사 품질 백분위수의 각 추첨은 단일 교직원을 나타냅니다. 그리고 첫 번째 절차에서는 첫 번째 50만 SET 점수 추첨과 두 번째 50만 SET 점수 추첨을 비교하여 SET 점수가 높은 교직원이 질 높은 강사이기도 한 시간의 비율을 결정합니다. 두 번째 절차에서는 100만 SET 점수 추첨을 모두 최소 백분위수 임계값과 비교하여 SET 점수가 임계값 미만인 모든 교직원을 모집단에서 분리한 후 SET 백분위수 임계값 미만 교직원의 강사 품질 점수를 조사합니다.

We model the impact of these procedures by sampling 1,000,000 draws of SET score percentiles and instructor quality percentiles from a normal copula with correlation ρ using the copula library (Hofert et al. 2017; Kojadinovic and Yan 2010) in Microsoft R Open 3.5.3 (R Core Team 2019). As illustrated in Figure 1, each draw of a SET score and an instructor quality percentile represents a single faculty member. Then, for the first procedure, we compare the first 500,000 SET score draws to the second 500,000 SET score draws to determine the proportion of the time that the faculty member with the higher SET score is also a higher quality instructor. For the second procedure, we compare all 1,000,000 SET score draws to a minimum percentile threshold, separate all faculty members whose SET score is below that threshold from the population, then examine the instructor quality scores of faculty members who are below the SET percentile threshold.

한 가지 방법론적인 선택은 특히 주의를 요한다. 즉, 원점수 또는 표준화된 점수 대신 일반 코풀라를 사용하여 SET 점수 및 강사 성과 백분위수를 시뮬레이션하는 선택이다(표준 측정, 즉 z 점수는 평균이 0이고 표준 편차가 1로 조정되었다). 이 선택에는 중요한 이점이 있습니다.SET 점수 또는 강사 품질 등급의 특정 한계 분포를 가정하지 않아도 됩니다. 그러나 결론에서 다시 살펴보겠지만, 상관관계 ρ 은 SET 점수와 강사 자질 사이의 많은 가능한 관계와 일치하며, 다른 관계는 SET 점수를 사용하여 교직원을 평가하는 다른 결과를 초래한다. 원점수나 표준점수보다 백분위수에 초점을 맞추면 정확한 한계분포를 지정하는 문제를 피할 수 있고, 모든 SET 점수나 교육 품질 지표가 백분위수 등급의 동일한 분포를 가져야 하므로 분석을 보다 광범위하게 적용할 수 있다. 즉, 대학이 학생에게, 예를 들면, 다른 질문의 표현이나 다른 응답 척도를 사용하는 등, 전체적인 강사의 평가를 요구하는 방법에 관계없이, 그러한 평가의 퍼센티지는 균일하게 분포할 필요가 있습니다.따라서 시뮬레이션에서는 이러한 SET 중 하나를 사용하는 경우의 결과를 보다 잘 모델링할 수 있습니다.
One methodological choice requires particular attention: our choice to simulate percentiles of SET scores and instructor performance using the normal copula rather than raw or standardized scores (a standardized measure, i.e. a z-score, is one that has been rescaled to have a mean of zero and a standard deviation of one). This choice comes with an important advantage: it enables us to avoid assuming any particular marginal distribution of SET scores or instructor quality ratings. However, as we will revisit in the conclusion, a correlation ρ is consistent with many possible relationships between SET score and instructor quality and different relationships result in different consequences of using SET scores to evaluate faculty. Focusing on percentiles rather than raw or standardized scores allows us to sidestep the issue of specifying correct marginal distributions and makes our analysis more broadly applicable, as any SET scores or instructional quality metrics must have the same distribution of percentile ratings. That is, no matter how a university asks its students for an overall instructor rating – for instance, using different question wording or different response scales – the percentiles from those ratings must be distributed uniformly and therefore our simulations are better able to model the consequences of using any one of these SETs.



그러나 우리의 절차에는 한계가 있다.

  • 첫째, 한계 분포 함수와 상관 계수를 지정한다고 해서 SET 점수와 교직원 품질 사이의 고유한 공동 분포를 의미하는 것은 아니다(Hofert 2018, 페이지 47). 동일한 균일하게 분포된 SET 점수와 강사 품질 지표는 모두 동일한 상관 관계를 갖는 다른 패턴을 가질 수 있다. 따라서 우리의 결론은 매우 다양한 공통적인 상황에 일반화되어 있다고 믿지만, 가능한 모든 경우에 반드시 적용되는 것은 아니다.
  • 또한 경험적 문헌은 종종 원시 또는 z-점수의 표준화된 SET 점수와 시험 점수와 같은 학생 성취도의 직접적인 척도 사이의 상관관계를 연구한다. 이러한 척도에 대한 백분위 순위 간의 상관관계가 아니라, 우리는 이러한 차이가 분석의 일부에서 중요하지 않다고 가정해야 한다. 따라서, 우리는 분석을 특정 SET 시스템 사용의 결과에 대한 거울 같은 시뮬레이션이 아니라 합리적이고 가능성 있는 조건에서 무엇이 잘못될 수 있는지를 보여주는 유용한 예시로 간주한다.
  • 결론의 견고성을 높이기 위해 정규 연결부를 통해 균일하게 분포되지만 상관 관계가 있는 백분위수 대신 이변량 정규 분포 SET 점수 및 교직원 품질 지표를 사용하여 분석을 반복했다. 온라인 부록에 보고된 결과는 질적으로 우리의 주요 finding과 유사하다. 결론에서 연구의 의미를 설명할 때 이 방법론적 선택에 대한 논의로 돌아갈 것이다.

However, there are limitations to our procedure.

  • First, specifying marginal distribution functions and a correlation coefficient does not imply a unique joint distribution between SET scores and faculty quality (Hofert 2018, p. 47): the same uniformly distributed SET scores and instructor quality metrics can have different patterns of relationship that all have the same correlation ρ. Consequently, although we believe that our conclusions generalize to a wide variety of common circumstances, they do not necessarily apply to every possible case.
  • Moreover, the empirical literature often studies the correlation between raw or z-score standardized SET scores and direct measures of student achievement like exam scores (e.g. Benton, Duchon, and Pallett 2013, pp. 380–383), not the correlation between percentile rankings for these measures; we must assume that this difference is not consequential in parts of our analysis. Consequently, we consider our analysis an informative illustration of what can go wrong under reasonable and likely conditions, not a mirror-like simulation of the outcome of using any particular SET system.
  • Toward the end of increasing the robustness of our conclusions, we repeated our analyses using bivariate normally distributed SET scores and faculty quality metrics instead of uniformly distributed but correlated percentiles created via a normal copula; the results, which are reported in an online appendix, are qualitatively similar to our main findings. We will return to a discussion of this methodological choice when describing the implications of our study in the conclusion.

 

결과.
Results

그림 2는 평균 SET 점수를 사용하여 교직원을 쌍으로 비교한 결과를 보여줍니다. 이러한 SET 점수가 순전히 무작위로 할당된 경우, SET 점수에 의해 실제로 더 poor한 교수가 더 나은 강사로 식별되는 경우는 50%이다 (즉, si -sj와 qi -qj는 한 쌍의 교직원에 대해 같은 부호를 가집니다). 따라서 50%의 오류율은 평가 성과에 대한 최소 기준입니다. 참고로 분석에서는 si = sj를 qi = qj일 경우에만 올바른 예측으로 취급합니다. 또한 qi = qj일 때만 si = sj이면 올바른 예측으로 취급됩니다. 이것들은 엣지 케이스이며 계산상으로는 발생할 가능성이 거의 없습니다. 

Figure 2 shows the result of conducting pairwise comparisons of faculty members using average SET scores. If these SET scores were assigned purely at random, the faculty member who was truly a poorer instructor would be identified by SET scores as the better instructor 50% of the time (that is, si −sj and qi −qj have the same sign for a pair of faculty members i and j). Therefore, a 50% error rate is the minimum baseline of evaluation performance. As a side note, our analysis treats si = sj as a correct prediction if and only if qi = qj. In addition, when qi = qj only si = sj is treated as a correct prediction. These are edge cases and computationally unlikely to occur. 

 

 

그림 2는 진정한 질과 전체적인 강사 SET 평가 사이에 [중간 정도의 상관관계]가 있더라도 교직원의 수업 평균 SET 점수를 비교하면 허용할 수 없을 정도로 높은 에러율을 얻을 수 있음을 보여준다. 경험적 문헌에 따르면 현실적으로 기대할 수 있는 가장 높은 상관관계는 0.4이다. 품질과 SET 점수 간의 이러한 상관 관계 수준에서 시뮬레이션에서 품질이 낮을수록 평균 SET 점수가 거의 37% 더 높습니다. 즉, SET 점수를 완벽하게 신뢰할 수 있고 교육의 질과 중간 정도의 상관관계를 갖는 것으로 두 교원을 비교하는 것은 잘못된 교원을 1/3 이상의 시간 동안 더 나은 교사로 식별할 수 있습니다. 실제 데이터에서 가능한 것보다 훨씬 높은 θ = 0.9인 경우에도 품질이 낮은 강사는 평균 SET 점수가 14% 이상 더 높습니다.

Figure 2 shows that comparing faculty members’ class average SET scores results in an unacceptably high error rate, even when there is moderate correlation ρ between true quality and overall instructor SET evaluation. Based on the empirical literature, ρ ≈ 0.4 is the highest correlation we can realistically expect. At this level of correlation between quality and SET scores, the poorer quality instructor in our simulation has a higher average SET score almost 37% of the time. That is, using SET scores that are perfectly reliable and moderately correlated with teaching quality to compare two faculty members can identify the wrong faculty member as a better teacher over one third of the time. Even when ρ = 0.9, far higher than possible in real data, the poorer-quality instructor still has a higher average SET score over 14% of the time.

SET 점수가 행정 결정에서 중요한 역할을 한다고 믿는 학자들은 SET 점수에서 매우 작은 차이를 심각하게 받아들이는 것을 지지하지 않는다(Boysen et al. 2014; Benton and Young 2018). 따라서 분석 고정 ρ = 0.4를 반복하여 한 교직원이 다른 교직원보다 더 나은 교직원이라는 결론을 내리기 위해 필요한 백분위수 SET 점수 격차의 크기를 변경하였다. 그 결과는 그림 3에 나타나 있다.

Scholars who believe that SET scores have a role to play in administrative decisions do not endorse taking very small differences in SET score seriously (Boysen et al. 2014; Benton and Young 2018). Therefore, we repeated our analysis fixing ρ = 0.4 and varied the size of the gap in percentile SET scores necessary to conclude that one faculty member is truly a better instructor than another. The result is depicted in Figure 3.

 

강사 품질에 대한 판단을 형성하기 위해 SET 점수 사이의 최소 거리를 요구하는 것은 단순히 SET 점수의 차이를 심각하게 받아들이는 것보다 상당히 개선된다. 그러나 시뮬레이션에서 SET 점수의 차이는 의사결정 오류가 허용 가능한 수준에 도달하기 전에 실제로 매우 커야 한다. 그림 3과 같이 시뮬레이션된 교직원이 39퍼센트 이상의 SET 점수 차이로 분리된 경우에만 오류율이 10%에 도달합니다. 심지어 이러한 비교에서도 poor한 강사는 10번 중 1번 이상 우수한 강사로 식별됩니다. 5%의 오류율은 SET 점수가 약 54% 포인트 떨어져 있는 교직원만을 비교해야 달성될 수 있다. 그러나 시뮬레이션된 쌍별 비교의 약 21%만이 SET 점수에서 적어도 이만큼 큰 차이를 보였다. 즉, 어떤 교수가 더 나은 교사인지에 대한 결정은 할 수 없었다.대부분의 경우에서 그렇습니다.
Requiring a minimum distance between SET scores in order to form a judgement about instructor quality does improve considerably on simply taking any difference in SET scores seriously. However, the gap in SET scores in our simulation must be very large indeed before errors in decision making reach an acceptable level. As Figure 3 shows, only when our simulated faculty members are separated by a SET score difference of over 39 percentile points does the error rate reach 10%. Even these comparisons identify the wrong instructor as better one out of ten times. A five percent error rate can be achieved in our simulation by comparing only faculty members whose SET scores are separated by about 54 percentile points; however, only about 21% of our simulated pairwise comparisons had a difference in SET scores at least this large, meaning that no decision about which professor was a better teacher could be made in the vast majority of cases.


마지막으로, 교직원을 명시적으로 비교하지 않고, 리뷰 프로세스의 일부로서 모든 교직원의 전체 모집단과 비교할 수 있습니다.예를 들어 관리자는 교직원의 SET 점수를 학과 또는 대학 중앙 SET 점수와 비교할 수 있습니다. 상관관계가 0.4로 고정된 정상 코풀라에서 1,000,000 SET 점수와 실제 강사 품질 수준을 추출하여 이 수행 평가를 시뮬레이션한 후 SET 전체 강사 점수의 20번째 백분위 이하 교직원을 low-quality 교사로 식별하였다. 중위수 대신 20번째 백분위수를 사용하는 것은 단순히 뛰어나지 않은 교사가 아니라 최악의 교사를 식별하는 SET의 신중한 관리 사용을 나타내기 위한 것입니다. 마지막으로 SET 점수가 낮은 교직원 모집단에서 진정한 강사 품질 수준의 분포를 조사합니다. 그 결과는 그림 4와 같다.

Finally, faculty may not be explicitly compared to one another but rather compared to the overall population of all faculty as part of a review process; for example, administrators may compare a faculty member’s SET scores to the department or university median SET score. We simulated this performance evaluation by drawing 1,000,000 SET scores and true instructor quality levels from a normal copula with correlation fixed at ρ = 0.4, then identified faculty members at or below the 20th percentile of SET overall instructor score as low-quality teachers. Using the 20th percentile instead of the median is intended to represent a careful administrative use of SETs that identifies the worst teachers, not simply teachers who are not exceptionally good. Finally, we examine the distribution of true instructor quality levels in this population of faculty members with poor SET scores. The result is shown in Figure 4.

 

 

그림 4는 SET 점수와 실제 강사의 질 사이에 중간 정도의 상관관계가 있더라도, 학생 평가에서 가장 성적이 나쁜 일부 학생은 시뮬레이션에서 여전히 좋은 교사임을 보여줍니다. 구체적으로, SET의 20번째 백분위 이하에 있는 모의 교수진의 27% 이상이 실제로 강사 품질의 중위수를 초과했습니다. 실증연구 결과가 뒷받침하는 가장 낙관적인 조건하에서 SET 성적은 상대적으로 낮은 층에서도 열악한 교사로 지목된 교수 4명 중 1명이 실제로 일반 교수보다 더 능력이 있는 시나리오를 만들 수 있다는 점은 불안하다. 이 문제는 사용하는 분포에 대해 대칭적이라는 점에 유의하십시오. 즉, SET 점수가 80번째 백분위수를 초과하는 교직원의 27% 이상이 실제로 교육자로서의 퀄리티에서 중간값 이하에 있습니다.

Figure 4 shows that, even with moderate correlation between SET scores and true instructor quality, some of the worst performers on student evaluations of teaching are still good teachers in our simulation. Specifically, over 27% of simulated faculty members at or below the 20th percentile on SETs were actually above the median of instructor quality. It is disturbing that even a relatively low floor for SET performance under the most optimistic conditions supported by empirical study results can create a scenario where one in four faculty members identified as a poor teacher is actually more capable than the typical professor. Note that the problem is symmetric for the distributions we use: that is, over 27% of faculty members with SET scores over the 80th percentile are actually at or below the median in instructor quality.


실제로, 뛰어난 SET 점수조차 교직원의 질을 나타내는 신뢰할 수 있는 지표가 되지 않습니다. 가장 높은 평가를 받은 교수 선발 과정을 시뮬레이션하기 위해 그림 4의 분석을 반복하여 SET 점수에서 95번째 백분위 이상의 모의 교직원을 식별하였다. 이 엘리트 그룹의 교직원 중 18% 이상이 중간 강사와 다를 바 없다는 것을 알게 되었습니다. SET 점수가 매우 높은 교사의 자질 평가의 완전한 분포는 부록 그림 7을 참조하십시오. 이러한 결과에 근거해, 상당수의 교사상 수상자가, 실제로 보통의 교수에 비해 teaching에 서투른 것을 발견할 수 있을 것이다. 따라서 SET 점수가 낮으면 좋은 교수가 나쁜 것으로 잘못 인식될 뿐만 아니라 보통보다 못한 교수가 매우 숙련된 것으로 인식되는 경우가 많습니다. 앞에서와 마찬가지로, 이 문제는 대칭적적으로 발생한다. 즉, SET 점수가 5퍼센타일 이하(매우 낮은)인 교직원의 18% 이상이 실제로 교사의 질에서 중위수 이상입니다.

Indeed, not even exceptional SET scores are a reliable indicator of faculty quality. To simulate the process of selecting the most highly-rated professors for special recognition, we repeated the analysis of Figure 4 and identified simulated faculty members above the 95th percentile in SET scores. We find that over 18% of this elite group of faculty are no better than the median instructor; see Appendix Figure 7 for the full distribution of teacher quality ratings for those with extremely high SET scores. Based on these results, it would not be unusual to find that a substantial proportion of teaching award winners are actually worse at teaching than the ordinary faculty member. Thus, not only do poor SET scores often mis-identify good professors as bad, they can often identify worse-than-mediocre professors as exceptionally skilled. As before, the problem is symmetric for the distributions that we examine: over 18% of faculty members with SET scores at or below the 5th percentile are actually above the median in instructor quality.

 

결론
Conclusion

우리의 증거는 교직의 학생 평가에 대한 일반적인 사용이 그러한 평가들이 매우 신뢰성이 높고, 어떤 그룹에 대해서도 편견이 없으며, 진정한 교수진의 질과 적당히 상관되어 있을 때 많은 불공정한 결과를 쉽게 만들어 낼 수 있다는 것을 보여준다. 우리가 보는 것처럼, 근본적인 문제는 학생들의 평가 점수에 대한 무관한 영향이 이 점수에 근거해 결정을 내리는 것이 너무 우연에 의한 것이라는 것이다. 동시에, 우리는 학생 평가가 이용 가능한 대안보다 비용 및 표준화 측면에서 상당한 이점을 가지고 있다는 것을 인식하고 있습니다. 어떻게 해야 할까요? 우리는 세 가지 추천을 합니다.

Our evidence indicates that common uses for student evaluations of teaching can easily produce many unfair outcomes when those evaluations are extremely reliable, unbiased against any group, and moderately correlated with true faculty quality. As we see it, the fundamental problem is that irrelevant influences on student evaluation scores make decisions based on these scores too subject to chance. At the same time, we recognize that student evaluations have substantial advantages in terms of cost and standardization over available alternatives. What should be done? We make three recommendations.

첫째, SET를 만들고 독립적인 연구에 의해 뒷받침된 일부 회사가 이미 작성한 권고사항과 일치한다. 우리는 코스 평균 학생 평가 점수가 어떠한 목적에 사용되기 전에, [체계적인 비교육적 영향(즉, 편견)을 제거하기 위해 통계적으로 조정되어야 한다]고 믿는다. 예를 들어, 선형 회귀 분석에서는 성별, 인종 및 과정 유형에 기인하는 과정 평균 SET 점수의 변동을 추출한 후 이러한 점수를 교직원 평가에 사용할 수 있습니다. 이러한 특성이 교육 및 학습과 무관한 한, 결과적으로 조정된 점수는 원시 SET 점수보다 실제 강사 품질과 더 강하게 상관되어야 하며 부정확성은 감소합니다. 또 다른 대안으로, 이러한 특징에 대한 점수를 일치시킨 다음 일치된 그룹 내에서만 비교할 수 있다. 이는 IDEA가 이미 채택한 접근법과 유사하다. 이 절차에서는 SET 점수에 대한 순수하게 랜덤한 영향이나 특이적인 영향을 제거할 수 없습니다.따라서 이 조정에도 SET 점수와 강사 품질 간의 상관관계가 1에 근접할 것으로 예상되지 않습니다. 그러나 우리가 권장하는 조정은 이 상관관계를 최대한 높일 것으로 믿습니다.
First, consonant with the recommendations already produced by some companies that create SETs (e.g. Benton and Young 2018) and supported by independent research (e.g. Nargundkar and Shrikhande 2014), we believe that course-averaged student evaluation scores should be statistically adjusted to remove any systematic non-instructional influences (i.e. biases) before they are used for any purpose. For example, linear regression could extract any variance in course average SET scores attributable to gender, race, and course type before these scores are used to evaluate faculty. As long as these characteristics are irrelevant to teaching and learning, the resulting adjusted scores should be more strongly correlated with true instructor quality than the raw SET scores and imprecision will be reduced. As another alternative, scores could be matched on these characteristics and then compared only within the matched groups; this is similar to the approach already taken by IDEA (Benton and Li 2017, p. 5). This procedure cannot remove purely random or idiosyncratic influences on SET scores, and so even with this adjustment we do not expect that correlation between SET scores and instructor quality will be close to 1. But we believe that the adjustment we recommend will make this correlation as high as it can be.


둘째, 기존 권고사항과 마찬가지로, SET 점수를 사용하여 중요한 인사 결정을 내릴 때, 교직원의 [교육 성과를 종합적으로 평가하기 위해 여러 다른 척도와 연계]하여야 한다고 생각합니다. 모든 방법(SET를 포함하지만 이에 국한되지 않음)은 교수 교육 퀄리티의 노이즈와 문제를 야기할 수 있는 측정을 생성하기 때문에, '교습 평가의 증거로서 적절한 단일 척도는 없다.' 그러나, 모든 측정이 모두 같은 방식으로 노이즈를 발생시키거나 편향되지 않는 한, 교육을 평가하기 위해 모든 측정치를 동시에 사용하면 보다 타당한 평가를 할 수 있습니다. 그림 5를 보면, 실제 교사의 질과 그 평균 소음 측정 사이의 상관 관계를 알 수 있다. 노이즈가 있는 각 측정치는 θ = 0.4의 품질과 상관되며, 측정치는 x축에 표시된 것과 같이 서로 상관됩니다(그림에 공선성으로 표시됨). 측정치 간의 공진성이 낮으면 이러한 측정치에 대한 특이적 영향과 지시적으로 무관한 영향이 각각 다르다는 것을 나타낸다. 측정값 간의 공선성이 높으면 각 측정값의 편중과 불완전성이 매우 유사하다는 것을 의미한다. 그래프에서 알 수 있듯이, 4개의 다른 측정치에 대한 결합된 평가의 타당성은 이러한 측정치가 다른 방식으로 불완전하다면 어떤 개별 측정치보다 훨씬 더 나을 수 있다.

Second, and also consistent with prior recommendations (Benton and Young 2018), we believe that SET scores should be used in concert with multiple, dissimilar measures in order to comprehensively evaluate the teaching performance of faculty members when significant personnel decisions are being made. Because every method (including but not limited to SETs) produces a noisy and possibly problematic measure of faculty instructional quality, ‘no single measure is adequate as evidence for evaluating teaching’ (Benton and Young 2018, p. 3). However, as long as these measures are not all noisy or biased in the same way, employing them all simultaneously to evaluate teaching can result in a more valid assessment. Consider Figure 5, which shows the correlation between true teacher quality and an average of noisy measures thereof. Each noisy measure is correlated with quality at ρ = 0.4, and the measures are correlated with each other as indicated on the x-axis (which we label in the figure as collinearity). When collinearity among the measures is low, it indicates that idiosyncratic and instructionally irrelevant influences on these measures are different for each one. When collinearity among the measures is high, it means that the biases and imperfections of each measure are very similar. As the plot shows, the validity of a combined assessment of four different measures can be substantially better than any individual measure as long as these measures are imperfect in different ways.

 

물론 이런 종류의 종합평가에는 비용이 많이 듭니다. 모든 교직원이 매년 자기평가, 강의계획표 등의 동료검토, 숙련된 전문가의 강의실 직접관찰, 학생 관리자에 의한 광범위한 인터뷰 등을 실시해야 합니다. 따라서 SET 점수는 이 보다 포괄적인 평가를 위해 일부 교직원을 초기에 선별하는 저비용 수단이 될 수 있다고 생각합니다. 시뮬레이션의 증거에 근거해, 이 평가의 대상이 되는 교직원의 대부분이 좋은 교사(및 선발되지 않은 교직원은 나쁜 교사)가 되는 것을 강조하는 것이 중요합니다. 그러므로, 우리는 교수님의 가르침을 집중적으로 평가하기로 한 결정이 징벌적인 것으로 여겨져서는 안 된다고 생각한다. 또, 이 집중 평가는 SET 점수가 낮은 교직원만을 대상으로 실시되어서는 안 됩니다. 여기서 설명한 것처럼, 일부의 저조한 강사가 우연히 좋은 학생 평가를 받게 될 것으로 예상되기 때문에, SET 점수가 좋은 교원의 랜덤 서브셋도 집중 평가를 위해서 선택되어야 한다고 생각합니다.
Of course, this kind of comprehensive assessment is very costly; it requires all faculty to engage in self-assessment, peer review of syllabi and other course materials, direct observation of their classroom teaching by trained experts, extensive interviews by administrators of their students, and the like on an annual basis. Therefore, we believe that SET scores could serve as a low-cost means to initially screen some faculty members for this more comprehensive evaluation. Based on our simulation evidence, we think it important to emphasize that many of the faculty members selected for this evaluation will be good teachers (and some faculty members not selected will be poor teachers). Therefore, we believe that the decision to intensively evaluate a professor’s teaching should not be viewed as punitive. Nor should this intensive evaluation be performed solely on faculty with low SET scores; as we showed in this article, we expect that some poor instructors will receive good student evaluations by chance and thus we think that a random subset of faculty with good SET scores should be selected for intensive evaluation as well.

마지막으로, SET 점수와 교원 질 간의 상관관계가 일정하게 유지되어도, [SET 점수]와 [교수자 퀄리티] 사이의 공동 분포joint distribution 형태가 SET 점수의 유용성에 영향을 미칠 수 있다는 점에 유의해야 한다. 위에서 설명한 바와 같이, 우리의 분석은 백분위수가 항상 균일하게 분포되어 있기 때문에 (원시 SET 점수나 교직원 품질 측정이 아닌) 백분위수 순위 간의 상관관계를 가정한다. 이를 통해 우리의 분석을 보다 다양한 사례에 적용할 수 있습니다. 그러나 동일한 상관 관계가 매우 다른 분포에 해당할 수 있습니다. SET 점수 백분위수에 따라 대학의 교수진을 평가하는 것은 SET 기구나 대학마다 다를 수 있는 교사의 질과 정확히 어떤 관련이 있는지에 따라 여전히 문제가 될 수 있다.

Finally, we think that administrators and faculty members should be mindful that the shape of the joint distribution between SET scores and instructor quality can impact the usefulness of SET scores even when the correlation between SET scores and faculty quality is held constant. As noted above, our analysis presumes a correlation between percentile rankings (rather than raw SET scores or faculty quality measures) because percentiles are always uniformly distributed. This makes our analysis applicable to a broader variety of cases. However, the same correlation can correspond to very different distributions. Evaluating a university’s faculty according to their performance on SET score percentiles can still be problematic depending on precisely how they are related to teacher quality, which might vary both among SET instruments and universities.

이 현상의 간단한 예는 그림 6과 같다. 그림의 두 패널은 X축의 SET 점수와 Y축의 교직원 품질 점수 사이의 관계를 나타냅니다. 두 경우 모두 SET 점수는 평균 0과 표준 편차 1로 표준화됩니다. 두 패널 모두 동일한 ρ = 0.4에서 교직원 품질과 상관된 SET 점수를 나타냅니다.

  • 왼쪽 패널(그림 6(a))은 SET 점수와 교수 퀄리티의 양봉 분포를 나타내고 있습니다. 대부분의 교직원은 평균보다 약간 높은 SET 점수로 분산되어 있으며, 실제 교직원의 질은 널리 분산되어 있지만, 소수의 교직원은 신뢰할 수 있는 저품질 강사이며, SET에서도 점수가 낮은 경향이 있습니다.
  • 오른쪽 패널은 그림 6(a)의 분포와 동일한 분산-공분산 행렬을 가진 이변량 정규(단일) 분포를 보여준다. 수직 점선은 각 사례에 대한 SET 점수의 10번째 백분위수를 나타내며 수평 점선은 중위수 교직원 품질 점수를 나타냅니다.

A simple example of this phenomenon is shown in Figure 6. Both panels of the figure depict a relationship between SET scores on the x-axis and faculty quality score on the y-axis. In both cases, SET scores are standardized with a mean of 0 and a standard deviation of 1; both panels also depict SET scores that are correlated with faculty quality at an identical ρ ≈ 0.4. However,

  • the left panel (Figure 6(a)) shows a bimodal distribution of SET scores and faculty quality: most faculty are distributed around a slightly above-average SET score and are widely dispersed in true quality, but a small number of faculty are reliably low quality instructors and also tend to score poorly on SETs.
  • The right panel shows a bivariate normal (unimodal) distribution with the same variance-covariance matrix as the distribution in Figure 6(a). The vertical dashed line shows the 10th percentile of SET scores for each case, while the horizontal dashed line shows the median faculty quality score.
 

 

  • 그림 6(a)의 쌍봉 분포에서는, SET 점수의 10번째 백분위 이하에 해당하는 사람 중, 1% 미만만 실제로 중위수 강사보다 우수합니다. 따라서, 이 백분위수를 poor한 교수자를 식별하기 위한 차단으로 사용하는 것은 이 시나리오에서 매우 효율적이고 대부분 공평할 것이다.
  • 그림 6(b)의 단일 분포에서는, SET 점수의 10번째 백분위 이하에 해당하는 사람 중, 21% 이상이 실제 퀄리티 면에서 중위수보다 우월하다. 따라서, 이 경우에 poor한 교수자를 식별하기 위해 낮은 SET 점수를 사용하는 것은 불공평합니다.

 

  • In the bimodal distribution of Figure 6(a), fewer than 1% of faculty below the 10th percentile of SET scores are better than the median instructor. Thus, using this percentile as a cutoff to identify poor teachers would be quite efficient and mostly fair in this scenario.
  • However, in the unimodal distribution of Figure 6(b), over 21% of faculty below the 10th percentile of SET scores are nevertheless above the median in terms of true quality. Thus, in this other case, using low SET scores to identify bad instructors would be unfair.

반적으로 모집단에서 진정한 교수 퀄리티의 분포를 직접 관찰할 수 없기 때문에 SET 점수 사용자는 자신이 어떤 상황에 처해 있는지 알 수 없습니다. 이번 연구는 주의를 기울일 필요성을 강조하며, SET 점수가 보다 철저하고 비용이 많이 들며 정확한 교육 성과 조사가 필요하다는 우리의 결론을 강화한다고 생각합니다.

Because we generally cannot directly observe the distribution of true faculty quality in any relevant population, a user of SET scores has no way to know which situation they are in. We think this demonstration underscores the need for caution, and reinforces our conclusion that SET scores are best used as an indicator of the need for a more thorough, costly, and accurate investigation of teaching performance.

 


Scholarly debate about student evaluations of teaching (SETs) often focuses on whether SETs are valid, reliable and unbiased. In this article, we assume the most optimistic conditions for SETs that are supported by the empirical literature. Specifically, we assume that SETs are moderately correlated with teaching quality (student learning and instructional best practices), highly reliable, and do not systematically discriminate on any instructionally irrelevant basis. We use computational simulation to show that, under ideal circumstances, even careful and judicious use of SETs to assess faculty can produce an unacceptably high error rate: (a) a large difference in SET scores fails to reliably identify the best teacher in a pairwise comparison, and (b) more than a quarter of faculty with evaluations at or below the 20th percentile are above the median in instructional quality. These problems are attributable to imprecision in the relationship between SETs and instructor quality that exists even when they are moderately correlated. Our simulation indicates that evaluating instruction using multiple imperfect measures, including but not limited to SETs, can produce a fairer and more useful result compared to using SETs alone.

 

 

진실은 중간 어딘가에 있다: 일본 의학교육의 국제화와 지역화 사이에서 (Med Teach, 2017)
The truth lies somewhere in the middle: Swinging between globalization and regionalization of medical education in Japan 
Takuya Saikia, Rintaro Imafukua, Yasuyuki Suzukia and Nobutaro Banb

 

서론
Introduction

일본 의료의 현변화
Current changes of health care in Japan

의료 교육이 의료의 지역적 및 세계적 변화에 대응함에 따라(Gibbs 및 McLean 2011), 의과대학은 지역사회에 봉사할 의료 전문가를 양성해야 할 사회적 책임을 지고 있습니다. 일본의 의료·의료 교육에 대해 기술한 마지막 논문(오니시·요시다 2004년·고즈 2006년·스즈키 외 2008년)으로부터 근 10년, 일본의 의학교육은 과거 수십년간 사회·의료 개혁의 필요성(2014년 Ban)과 그 이하에 관한 큰 전환점을 맞이하고 있다. 지난 수십 년간 '세계화'의 영향 현재의 일본 의학 교육의 변화와 과제에 대처하기 위해, 박스 1과 같이, 헬스케어의 큰 변화를 몇 개 선택했습니다.

As medical education responds to regional and global changes in healthcare (Gibbs and McLean 2011), medical schools have a social responsibility to train health care professionals to serve local communities. It has been almost a decade since the last paper describing health care and medical education in Japan (Onishi and Yoshida 2004; Kozu 2006; Suzuki et al. 2008), and medical education in Japan is now approaching a major turning point, related to the need for the reformation of society and healthcare in the past few decades (Ban 2014), and under the influence of “globalization” for the past decades. To address the current change and challenge of medical education in Japan, we have selected some major changes in healthcare as shown in Box 1.

 

일본의 번역주의
Japan’s “translationism”

국제화에 대한 일본인의 관점은 일본 의학 교육의 현재 상태에 기초하고 있다. 2010년 일본의 철학자이자 베스트셀러 중 하나인 '일본의 주변국적 인식에 관한 논의'에서 우치다(2009)는 국제화에 대한 일본인의 공통된 견해를 논했다. 우치다씨는, 일본인은 주로 [주변적 상황]에 살고 있다는 인식에 근거해, 세계의 중심이 세계 어딘가에 있다고 생각하는 경향이 있다고 주장했다. 그 때문에, 우치다씨는, 통상, 일본인은 새로운 글로벌 동향이나 컨셉을 오픈 마인드(비판 없이)로 받아 들여, 국제 표준을 따라잡아, 서서히 해석·실행해, 최종적으로 일본 국내에 도입한다고 생각하고 있다. 일본의 다른 철학자인 마루야마와 가토(1998년)는 근대 일본이 19세기 개국 이후 외국 문화를 수입함으로써 더 큰 변혁을 이루었기 때문에 "수입"의 중요성을 언급했다. 해외에서 개념을 수입하는 것은 사실 다른 언어에 대한 이해를 높여야 하며, 19세기 일본 정부는 모든 외국어를 일본어로 번역해야 한다는 번역주의를 채택했다. 그 결정 과정에서 일부 사람들은 영어가 일본의 공용어 중 하나로 받아들여져야 한다고 주장했다. 반면에, 다른 사람들은 영어를 이해하지 못하는 일반인들은 중요하고 학술적인 토론에서 제외되고 사회적 불평등을 야기할 수 있기 때문에 제안된 정책에 동의하지 않았다. 이러한 번역주의는 세계화의 쓰나미에 대한 방파제 역할을 하고 문화적 독립을 유지할 수도 있다. 실제로 번역주의의 적응에 의해, 일본어를 사용하는 것에 의해서, 일본의 전통 문화에 비해, 서서히 외국의 개념이나 제도, 문화를 내면화할 수 있을지도 모른다(마루야마, 카토 1998). 한편, 일본 제품의 외국어로의 번역은 매우 한정되어 있어, 이 기사에 기재되어 있는 레퍼런스의 상당수는 일본어로 되어 있다.
The Japanese perspectives toward internationalization are fundamental to the status quo of Japanese medical education. In “Nihon Henkyo Ron (Discussion on the Japan’s perception of peripheral nationality)”, which was written by a Japanese philosopher and one of the best-selling book in 2010, Uchida (2009) discussed the Japanese common perspectives on internationalization. Uchida claimed that the Japanese are based primarily on their perception that they are living in a peripheral situation, and tend to think that the center is located somewhere else in the world. Therefore, Uchida considers that Japanese usually accept new global trends and concepts with an open mindset (without criticisms), to catch up with international standards, interpret and implement them gradually, and finally incorporate them internally into the Japanese context. Maruyama and Kato (1998), other Japanese philosophers, stated the importance of “import” since modern Japan had achieved further transformation by importing foreign cultures after the opening of the country in the nineteenth century. Importing concepts from overseas actually requires a better understanding of another language and in the nineteenth century, the Japanese government adopted “translationism” that every foreign language should be translated into Japanese. In the process of making the decision, some people argued that English should be accepted as one of the official languages in Japan. On the other hand, others disagreed with the policy suggested, because common people who could not understand English would be excluded from the important and scholarly discussions and possibly resulting in social disparity. Such translationism might function as the breakwater against the tsunami of globalization, and maintain cultural independence. In fact, the adaptation of translationism might enable Japanese to internalize foreign concepts, system, and cultures gradually, in comparison with Japanese traditional cultures, by using Japanese language (Maruyama and Kato 1998). On the other hand, translation of Japanese products into foreign languages has been extremely limited, as many of references in this articles are in Japanese.


이 기사에서는, 박스 2와 같이, 매크로, 메소, 마이크로 레벨의 글로벌 동향과 비교해, 우리 나라의 의학 교육의 「번역」의 개념, 현재의 상황, 변화에 초점을 맞추고 있다.

In this article, we focus on some “translated” concepts, current context and changes of medical education in Japan, in comparison with global trends at macro, meso, and micro level as shown in Box 2.

매크로 레벨(국제, 국내 레벨)
Macro level (international, national level)

이 수준에서는 문화보다는 [사회 시스템]이 교육 변화에 영향을 미칩니다. 고령화 고령화와 지역 내 의사 분포의 불균형에 의해 일본의 사회·질병 구조가 변화하고 있다. 실제로 우리나라의 의사 수는 OECD 국가 중 매우 낮은 수준이며(OECD 2009), 도시화와 의사 부정 분포가 공공연히 주장되었다(타니하라 외 2011). 그 결과, 일본인은 다음과 같은 다양한 어프로치에 의해, 지역사회에서 일하는 의사를 늘리려고 하고 있다.
At this level, the social system rather than culture influences the educational change. The social/disease structure in Japan has been changing due to the super-aging population and the ever-increasing uneven regional distribution of doctors. In fact, the number of physicians in Japan is ranked very low among OECD countries (OECD 2009), and urbanization and physician mal-distribution were claimed publicly (Tanihara et al. 2011). As a result, Japanese are trying to increase the physicians working in the community by various approaches as described below.

의료 전문 분야 중 하나인 일반 진료
General practice as one of the fundamental medical specialty area


지역사회에서 인적/사회적 자원을 효과적으로 활용할 수 있는 [1차 진료의사 양성]은 졸업 후 다양한 수준에서 이루어지고 있다(Ban and Fetters 2011). 2014년에는 프로그램의 표준화 및 전문의의 질 보장을 위한 독립된 제3자 조직으로 재조직되어 재기동되어 general practice가 내과, 외과 등 19개 기본 의학 전공분야 중 하나로 자리매김하고 있다. 전국적인 프로그램이 개발 중입니다. 우리나라는 모든 의료기관에 대한 무료접근 체제를 갖추고 있지만, 게이트키퍼로서의 일반의의의 증가는 환자의 의사접근의 재정비와 의료비 절감에 기여할 것이다.

Training of the primary care physicians who can utilize human/social resources effectively in the community is undertaken at various levels after graduation (Ban and Fetters 2011). In 2014, the Japanese Medical Specialty Board was re-organized and re-started as an independent third party organization for standardizing programs and guaranteeing the quality of specialists, and the general practice is finally positioned as one of 19 fundamental medical specialty areas such as internal medicine and surgery and its development of nationwide programs is under development. Although Japan has a free-access system to all health care institutions, the increase in certified general practitioners as gatekeepers would contribute to the reorganization of the patients’ access to the physicians and reduction of medical expenditure.

커뮤니티 의학 학습
Learning community medicine in the community

국제적인 동향에 맞추어, 의학교육의 모든 수준에서 임상 훈련은 서서히 대학병원에서 지역사회로 이동해 왔다(일본 커뮤니티에 근거하는 의학교육협의회 2015). 레지던트 트레이닝에 대해서는, 2004년에 2년간의 대학원 임상 트레이닝 프로그램이 도입되었습니다(스즈키 외 2008년). 이 프로그램에서는 커뮤니티에서 1개월간의 트레이닝을 의무화하고 있으며, 이는 커뮤니티에서 활용할 수 있는 기초적이고 포괄적인 임상역량을 배양하기 위한 노력의 일환이기도 합니다. 다른 나라의 경향과 같이, 커뮤니티 클리닉에서의 커뮤니티-기반 교육과, 일차의료-지향적 교육은 있어서의 교육이 일본의과대학 80곳 중 77곳에서 도입되고 있다(Takamura et al.2015). 또, 학부 교육에서는, 커뮤니티에의 조기 공개를 실시해, 커뮤니티의 고령자, 임산부, 영유아와의 장기적인 만남이, 사회 주체로서의 자각의 폭을 넓히고, 커뮤니티의 기능을 이해하는 데 성공하고 있다.

To fit with the international trends, clinical training has slowly been relocated from the university hospitals to the community at all level of medical education (Japanese Council for Community-based Medical Education 2015). As to residency training, a two year-postgraduate clinical training program was introduced in 2004 (Suzuki et al. 2008); one month training in the community is now mandatory during this program, which is also a part of efforts to cultivate the basic and comprehensive clinical competencies that can be utilized in the community. As with the trend in other countries, community-based education and primary-care-oriented education, within community clinics has been introduced in 77 out of 80 Japanese medical schools (Takamura et al. 2015). Furthermore, early exposure to the community is provided in undergraduate education; longitudinal encounters with elderly people, pregnant mothers, and infants at the community were all successfully implemented for the first year students to understand the function of the community with broadening their self-awareness as social entities (Saiki et al. 2016).

 

의사들의 분포 문제를 해소하기 위한 치이키와쿠 
“Chiiki-waku” to resolve the maldistribution of doctors

문부과학성은, 지역사회에 봉사하는 의사를 늘리기 위해서, [3개의 시책]을 실시했습니다. 문부과학성은 2008년에 [의과대학 입학정원을 증원]하기로 하고, 2007년 7625명에서 2016년 9262명(21.5%)으로 전국 의과대학 입학정원을 변경했다. 문부과학성의 [2개 의과대학 신설] 결정과 함께, 특히 농촌 지역 취업을 희망하는 학생을 우대하는 [새로운 입시 제도가 도입]되었습니다. 이 혁신에서는, 현내에 거주하는 지방 학생이나, 현내에서 복무할 학생에 대해서, 일정수의 의과대학이 일정 숫자의 입학 정원을 허용하고 있다. 지원자들은 지역사회에서 일하려는 강한 미래 의지를 가질 것으로 기대된다. 입학사정관리는 학업성취도, 고등학교 추천, 면접을 포함한 시험을 바탕으로 이루어진다. 졸업생들이 특정 기간(보통 9년) 동안 지역사회에서 일한다는 점을 고려할 때, 그들은 지방 정부로부터 장학금을 받을 수 있다. 이 「치이키와쿠」를 통해 의대에 입학하는 학생이 계속 증가해, 약 1400명(2016년 문부과학성)의 의과대학이 71개교 이상 있다. 오구치 외 연구진(2015년)은, 「치이키와쿠」의 학생은, 학년 내내 지역·농촌의학에 대해 긍정적인 이미지를 가지고 있어, 그 중에서도 1차 진료나 소아과가 인기가 있는 것을 분명히 했다. [지역틀 졸업자]의 83%가 같은 도도부현에 있는 레지던트 프로그램을 선택하고 있는 것에 비해, [비-지역틀 졸업자]는 45.3%만이 선택하고 있다(오구치 외 2015). 이 지역틀 입학 제도는, 지역·농촌의 장래의 의사 양성에 효과적이라고 생각됩니다.

The Ministry of Education, Culture, Sports, Science & Technology of Japan (MEXT) (http://www.mext.go.jp/en/) had implemented three policies to increase the physicians serving at community. MEXT decided to increase the admission quota of medical schools in 2008, and the nationwide medical student enrollment changed from 7625 in 2007 to 9262 in 2016 (21.5% increase). In addition to MEXT’s decision to establish two new medical schools, a new entrance examination system was introduced that specifically favored students who wished to work in community rural areas. In this innovation, medical schools are allowed to have a certain number of seats for local students living in the prefecture where the medical school exists or any students who will serve in the prefecture community. The applicants are expected to have a strong future will for working in the community. The admission decisions are made based on the examination, including the academic performance, recommendation of high schools and interviews. They can receive a scholarship from the local government, given that the graduates work in the community for an given period; usually nine years. The number of students admitted to the medical school via this “Chiiki-waku” has continued to increase and there are now over 71 medical schools, that accept about 1400 such medical students (MEXT 2016). Oguchi et al. (2015) clarified that students of “Chiiki-waku” had a positive image to regional/rural medicine throughout the period of academic years, and primary care and pediatrics are more popular among them. Eighty-three percent of the regional frame graduates have selected residency program located in the same prefecture of their graduation, compared to 45.3% of the non-regional graduates (Oguchi et al. 2015). This regional frame entrance system seems to be effective for increasing the future doctors in the local/rural community.

JACME의 설립
Establishment of JACME

일본의 의과대학에서는, 「일본의 세계 동향에의 민감성」과「일본의 헨쿄론」(우치다 2009)으로 설명되고 있는 미국에의 역사적 의존성」의 2가지 요인에 의해서, 국제적 인정이 매우 중요한 것으로 인식되고 있다. 또 다른 이유는 일본 의대의 보수적인 상황을 타개하려는 의학교육자들의 동기이다. 2004년에 이미 일반 고등교육의 인증제도가 시작되어 교육기관 전체의 신뢰성을 확보하는 것이 주안점이 되고 있기 때문에, 우리 나라 대학으로서 인정 자체는 새로운 것이 아니다. 그러나 2010년 미국 외대 졸업자 교육위원회(ECFMG)는 "2023년부터 자격증을 취득하려면 ECFMG가 의대 인증을 받아야 한다"(ECFMG 2010)고 발표했다. 그 후, 의학교육을 위한 독자적인 인증 기관을 설립하는 움직임이 급속히 강해지고 있습니다. 문부과학성 및 일본 의과대학연합회(AJMC)가 지원하는 파일럿 QA 프로그램을 마련하여 2013년 4월부터 의과대학에 대한 시험인정을 실시하고 있습니다. 그 결과, 2015년 12월에 JACME(Japan Accreditation Council for Medical Education)가 정식 설립되어 2017년 3월에 세계 의학 교육 연맹으로부터 인정받았다(JACME 2015-2017). JACME가 주관하는 공식 인증 활동은 2017년 4월부터 시행되고 있습니다. 이것은, 우리 나라의 의학교육의 변혁에 영향을 주는 계기가 될 수 있다.

International accreditation is recognized as extremely important by the Japanese leaders in medical schools due to two factors: one is Japan’s sensitivity to global trends and historical dependency on the United States to catch up with international standards, which may be partly explained by the “Nihon Henkyo Ron” (Uchida 2009) as described. Another reason is medical educators’ motivation to break through the conservative situation of medical schools in Japan. Accreditation itself is not something new for Japanese universities since the accreditation system for general higher education had already started in 2004, in which the main focus was to ensure the credibility of educational institutions as a whole. However, in 2010, the US Educational Commission for Foreign Medical Graduates (ECFMG) announced that “ECFMG requires medical school accreditation for international medical school graduates seeking certification beginning in 2023” (ECFMG 2010). Since then, a momentum to build an independent accreditation organization for medical education has rapidly increased. A pilot quality assurance program supported by MEXT and the Association of Japanese Medical Colleges (AJMC) has been organized and has carried out trial accreditation for medical schools since April 2013. As a result, the Japan Accreditation Council for Medical Education (JACME) was formally established on December 2015, and recognized by the World Federation for Medical Education in March 2017 (JACME 2015–2017). Formal accreditation activity, which is organized by JACME, has been implemented since April 2017. This can be an influential trigger of transformation of medical education in Japan.

Meso(조직/조직 수준)
Meso (institutional/organizational level)

이 수준에서, [몇몇 문화적 요소]들이 교육 변화에 영향을 미칠 수 있다. 커리큘럼 개혁, 성과주의 교육, 자기주도적 학습 전략 수립, 효과적인 교사 연수는 세계적으로 주요한 전제입니다. 커리큘럼 개발에는 지역 의료교육기관의 조직 변화(2001년 Genn)가 포함되기 때문에 특정 국가의 커리큘럼 발전에 미치는 문화적 영향도 무시할 수 없다.
At this level, some cultural factors may influence educational changes. As to curriculum reform, outcome-based education, setting self-directed learning strategies and effective teacher training is a major premise globally. Since curriculum development includes organizational change in local medical education institutions (Genn 2001), the cultural influence on the curriculum development in a particular country cannot be ignored.

커리큘럼 개혁
Curriculum reformation

Hofstede 외 연구진(2010)은 일본이 권력 거리에서는 중간, 불확실성 회피에서는 가장 높은 점수를 가지고 있음을 입증했다. 이러한 문화의 특성은 PBL/TBL 및 임상 사무직과 같은 커리큘럼 개혁에 대한 접근 방식에 영향을 미칠 수 있다. Jippes and Majoor(2008)와 Jippes et al.(2013)는 권력 거리 및 불확실성 회피와 같은 Hofstede의 문화적 차원이 PBL 커리큘럼과 통합 커리큘럼의 구현에 부정적인 영향을 미친 국가에서 다음과 같이 제안했다. 스즈키 외 연구진(2008)의 보고에 의하면, 일본의 의대의 90%는 커리큘럼 설계에 PBL 어프로치를 채용하고 있다. 한편, 자격을 갖춘 충분한 튜터 확보나 물적 자원의 가용성 등과 같이 PBL 프로그램을 지속하는 것에 관한 어려움을 보고한 기관도 있다(Okubo 2014). 이러한 어려움으로 인해, 최근 PBL을 사용하는 의과대학 수는 약간 감소 추세를 보이기 시작했다. 또한 구현 방법이 다양하다는 것도 분명해졌다. 예를 들어, PBL은 기초 의학, 임상 과목의 커리큘럼에만 도입되거나 몇 주 동안 다른 커리큘럼에 도입된다(Okubo 2014). 한편, 일본의 일부 의과대학은 PBL에서 팀 베이스 학습(TBL)으로 이행하기 시작했습니다. 의과대학 80곳 중 31곳은 2013년부터 TBL 방식을 채택하고 있지만, 실행하는 방식이 불분명하고, 목적에 대한 적합성은 아직 연구가 필요하다. 임상 사무직은 일본 의료 커리큘럼의 또 다른 약점으로 꼽힌다. 많은 의과대학에서 학생들은 여전히 모든 임상학과를 통해 단기(2주) 교대로 배우고 있지만, 임상실습의 국제 표준은 기본적인 임상 역량을 배우기 위한 핵심 과목의 통합과 집중이다.

Hofstede et al. (2010) demonstrated that Japan has an intermediate score in power distance and highest score in uncertainty avoidance. Such characteristics of culture may influence the approaches to curriculum reformation such as PBL/TBL and clinical clerkship. Jippes and Majoor (2008) and Jippes et al. (2013) suggested that in countries where Hofstede's cultural dimensions such as power distance and uncertainty avoidance negatively influenced the implementation of PBL curriculum and integrated curriculum. As reported by Suzuki et al. (2008), 90% of Japanese medical schools have adopted a PBL approach in the design of their curriculum. On the other hand, some institutions reported the challenges of sustaining a PBL program, such as ensuring the sufficient number of qualified tutors, and the availability of physical resources (Okubo 2014). Due to these challenges, the number of medical schools using PBL has started to show a slight downward trend in recent years. It also has become clear that the ways of implementation are varied. For example, PBL is introduced only for the curriculum in basic medical sciences, clinical subjects only, or introduced for a few weeks in a few other curricula (Okubo 2014). Meanwhile, some medical schools in Japan began to implement, or switch from PBL to team-based learning (TBL); 31 out of 80 medical schools have adopted a TBL approach since 2013 (Okubo 2014), but its implementation is unclear and its fit for purpose still needs further research. Clinical clerkship is considered another weak point of Japan’s medical curriculum. In many medical schools, students still learn through a short (two weeks) rotation through all clinical departments, while international standard of the clerkship is more integration and the concentration of the core subjects to learn basic clinical competencies.


일본에서는 새로운 커리큘럼 학습 전략을 받아들이는 열린 마음이 있을 수 있지만, 실제로는 각 학과의 재량권에 대한 간섭이 있어, 매우 독특하고 간략화된 형태로 되어 가는 경향이 있다. 따라서, 실천 연구(2001년 Genn 2001년)등의 연구를 재검토해, 글로벌한 커리큘럼 경향의 개념을 어떻게 채용해, 우리 나라의 의학 교육에 내재화시키고 있는지를 파악하기 위해서, 커리큘럼 혁신에의 노력과 효과가 필요하다.

In Japan, there may be an open mind to accept new curricula learning strategies; however, in practice, there is an interference with the discretionary rights of each department, and a tendency toward quite unique, shortened and simplified forms. Therefore, efforts and effectiveness for the curriculum innovation are necessary to examine the research such, as action research (Genn 2001), to understand how the concept of the global trends of the curriculum are employed and internalized into Japanese medical education.

 

일본의 교직원 육성
Faculty development in Japan

1969년 일본 의학 교육 협회(JSME)의 설립으로 교수개발이 시작되었다. 일본 최초의 의학교육과·센터는 1972년, 준텐도 대학에 설립되었습니다. 1973년, 3명의 일본인 의료지도자가 시드니에서 세계보건기구(WHO)가 실시하는 지역 교사 양성 프로그램에 참가하고, 1974년에는 후지산 기슭에서 같은 1주간의 「의료 교육자를 위한 의료 교육 워크숍」을 개시했다. 이후 일본에서는 커리큘럼 기획과 교수법을 폭넓게 다루는 워크숍식 세미나가 열렸다. 후생노동성(이하 후생노동성)이 2004년 [2년간의 의무적 레지던트 프로그램]을 개시한 이후, 전국 임상교사 워크숍의 기본 틀이 됐다. 워크숍 참가자는 50세 미만이어야 하며, 프로그램은 16시간 이상 진행되어야 하며, 교육과정 개발 및 피드백 및 직장 기반 평가(문부과학성 2004) 등의 실용적인 방법을 포함해야 합니다. 이 워크숍에는 지금까지 7만 명 이상의 주치의(일본 의사 전체의 약 20%)가 참가해, 인증을 취득했습니다.
Faculty development began in 1969 with the establishment of the Japan Society for Medical Education (JSME). The first department/center of medical education in Japan was established in 1972 in Juntendo University. In 1973, three Japanese medical leaders participated in a Regional Teacher Training Programme provided by the World Health Organization (WHO) in Sydney, and they launched a similar 1-week Japanese program “Medical Education Workshop for Medical Educators” at the foot of Mt. Fuji in 1974. Since then, workshop-style seminars that broadly handle curriculum planning and teaching methods had been held in Japan (Science Council of Japan 1997; Ban 2014). Such workshop have now become the basic framework of the nationwide workshop for clinical teachers in 2004 launched by Ministry of Health, Labour and Welfare of Japan (MHLW) after a compulsory 2-year residency program was started. Participants in the workshop should be less than 50, the program should be run for at least 16 hours, and should contain curriculum development and practical methods such as feedback and workplace-based assessment (MEXT 2004). More than 70,000 attending physicians (about 20% of total Japanese physicians) have participated in this workshop and have been certified so far.

 

의학교육의 전문화 및 자격
Specialization and qualifications of medical education

커리큘럼 개혁이 시작된 1990년 이후 현재 의과대학 80곳 중 75곳에 의학교육을 위한 부서나 센터가 존재한다. 600명 이상의 전임 및 시간제 학부가 고용되어 있으며, 비공식 조직 「의학 교육 단위 협회」(Hatao 1999)아래에서 협력하고 있다. 의료 교육을 담당하는 핵심 교직원이 급증함에 따라 교육 전문가 자격증을 취득할 필요성이 높아졌다. 이러한 움직임은 WFME 글로벌 스탠다드 문서에서 의료 교육 전문가를 각 기관에 배치하고 교육 활동을 관리해야 한다는 문구로 가속화되었다(WFME 2015). 현재 일본에서는 외국인 의학교육 석사과정 졸업생이 20명 안팎에 불과하고, 석사과정도 개설되지 않았다. 석사 프로그램 설립이 예상되는 가운데 JSME의 전국 니즈 평가 조사에서 JSME 회원들은 석사 학위보다는 의학 교육의 기본 자격증을 취득하는 것을 선호하는 것으로 나타났다. 이에 따라 2014년 JSME 주도로 학부/대학원/평생 의학교육의 기획, 교육, 경영, 선도, 연구에 능한 [의학교육 전문가]를 양성하기 위한 [전문가 자격 제도]가 구축되었습니다. 지원자는 (1)교육·학습, (2)학습자 평가, (3)교육과정 개발에 관한 3개의 1박2일 과정에 참가하여 교육활동을 분석하여 3개의 교육실천 반영보고서를 작성해야 합니다. 2017년 3월까지 56명의 [의학교육전문가]가 인증되었습니다. 이들은 의학교육이 제도적, 국가적 차원에서 더욱 발전하기 위해 의견 주도적 역할을 할 것으로 기대된다.

Since 1990, when curricula reform commenced, the number of departments/centers for medical education now number 75 out of 80 present medical school (http://www1.gifu-u.ac.jp/∼medc/unit/unit.htm). More than 600 full-time and part-time faculties are employed and they are collaborating under the informal organization “Society for Medical Education Units” (Hatao 1999). With the rapid increase in core faculty members who are responsible for medical education, there was increasing need to acquire certification as experts in education. This movement was accelerated by the statement from the WFME global standards document, that medical education experts are required to be assigned to each institution and to manage educational activities (WFME 2015). Only around 20 Japanese graduates from foreign Masters programs on medical education are now taking a leadership role in Japan, and no Masters program has yet been established. While the establishment of a Masters program is expected, the nation-wide need assessment survey by JSME demonstrated that the members of JSME prefer to obtain a basic certification in medical education rather than a Master degree (Suzuki et al. 2009). According to these results, expert qualification system led by JSME was established in 2014 to nurture medical education experts who are competent in the planning, teaching, managing, leading and studying of undergraduate/postgraduate/lifelong medical education. Applicants are required to participate in three two-day courses on (1) teaching and learning, (2) learner assessment, and (3) curriculum development, with analyzing their educational activities, then they make three educational practice reflective reports for the certification. By March 2017, 56 Medical Education Specialists have been certified. They are expected to take opinion leadership for further development of medical education at both institutional and national level.

대학 레벨에서는, 의학교육에 관한 세미나나 워크숍이 전국에서 개최되고 있습니다. 특히 기후대학 의학교육 개발센터(MEDC)가 주최하는 의료 교육 세미나나 워크숍은, 2001년부터 6000명 이상의 참가자를 받아 들여 새로운 교육 개념과 방법의 발전에 공헌하고 있습니다. 또, 최근, 2개의 의과대학(교토대, 기후대)에서 보건전문직교육 펠로우쉽 프로그램이 개시되고 있다. 두 프로그램 모두 바쁜 임상의들을 위해 온라인 학습과 캠퍼스 학습의 결합으로 설계되었습니다. 이러한 펠로우들은 각 기관의 현지 상황에 대응하여 균형 잡힌 임상 의무와 교육을 보여줄 것으로 기대된다.
At the university level, seminars and workshops on medical education have been held throughout the country, especially Medical Education Seminars and Workshops hosted by Gifu University Medical Education Development Center (MEDC), which as a National Collaboration Centre has accepted more than 6000 participants since 2001 and contributed to the development of new educational concepts and methods (Saiki et al. 2014). Moreover, Fellowship programs on health professions education have recently begun in two medical schools (Kyoto University, Gifu University). Both programs have been designed as a combination of online learning with campus learning for busy clinicians. Those fellows are expected to show their balanced clinical duties and teaching responding to the local context in each institution.

마이크로(개인, 철학)
Micro (personal, philosophical)

[사회적 구성주의]는 현대 교육 및 학습의 글로벌하고 견고한 이론적 기반 중 하나로 간주됩니다. 이 견해는 지식은 활동을 통해 사회적으로 어떻게 구성되는지에 대한 설명을 제공합니다. 성공적인 학습의 열쇠는 학습자의 적극적인 참여와 교육자의 학습 촉진입니다. 또한 오늘날 성찰은 학습 주기의 중요한 단계로 여겨진다(Kolb 1984). 그러나 학습에 대한 기대와 학습에서 어떤 일이 일어나야 하는지에 대한 개념은 원래 각 국지적 맥락, 즉 상황에 따라 개발되었다. 이 절에서는, 해외로부터의 새로운 교육 개념이나 실천이 어떻게 받아들여져 일본의 의학교육에 동화되고 있는지를 기술한다.
Social constructivism is regarded as one of the global, solid theoretical foundations in contemporary teaching and learning. This view provides an account of how knowledge is socially constructed through activity. Key to successful learning is the learner’s active participation and educator’s facilitation for learning. Additionally, reflection is nowadays seen as an important phase of the learning cycle (Kolb 1984). However, the expectations of learning and concepts about what should happen in learning have been originally developed in each local context, i.e. context-dependent. In this section, how new educational concepts and practices from overseas have been accepted and assimilated into Japanese medical education are described.

일본의 교수법
Japanese approaches to teaching

일본의 의학교육자는 전통적으로 학생의 지식 습득을 바람직한 학습 성과로 중시해 왔으며, [강의 위주의 교습]이 바람직한 교육 전략으로 간주되어 왔다. 한편, PBL, TBL, 플립 교실등의 인터랙티브한 교육 전략을 개발해, 학습자의 자율적인 학습과 문제 해결 능력을 촉진해 왔습니다. 의학 교육의 개혁에 수반해, 일본의 고등 교육에서는, 학습자 중심의 교육 패러다임으로의 이행이 광범위하게 행해지고 있다. 특히, 일본 정부 중앙 교육 협의회(2012년 중앙 교육 협의회)가 대학생의 고등 교육에서의 적극적인 학습을 촉진하는 것의 중요성을 강조했기 때문이다.

The medical educators in Japan have traditionally focused strongly on students’ knowledge acquisition as the desired learning outcome and seen lecture-based teaching as a preferred educational strategy (Onishi and Yoshida 2004). On the other hand, they have also committed to developing the interactive educational strategies over 30 years, such as PBL, TBL and flipped classroom, to promote learners’ autonomous learning and problem-solving skills. Subsequent to the reforms in medical education, a shift to the educational paradigm underpinned by learner-centeredness has been made widely in Japanese higher education, especially as the Central Council for Education of the Japanese Government (Central Council for Education 2012) emphasized the importance of facilitating university students’ active learning in higher education.

일본의 교육 패러다임의 변화 속에서, 「선생님」은 학생 학습의 촉진자 또는 코치로서의 역할을 기대받는다. Saiki et al. (2013)는 일본의 의학 교육자들이 때때로 PBL 튜토리얼에서 튜터/조력자의 역할을 맡는 데 어려움을 겪고 있다고 시사했다. 그들은 학생들의 토론이 실패했을 때, 부분적으로 그들이 경험이 부족하고 촉진자로서 무엇을 해야 할지 완전히 이해하지 못했기 때문에, "적극적인" 개입을 피하는 경향이 있었다. 또, PBL의 교육 효과에 대해서도 회의적인 견해를 가지고 있어, 지금까지의 교습 경험이나 일본어의 불확실성 회피의 문화적 특징에 의해서도 영향을 받을 가능성이 있다. 하지만, 그들이 경험함에 따라, 그들은 새로운 교육적 맥락으로 사회화되었고, 튜터로서 학생들의 학습을 촉진하는 더 나은 방법을 찾으려고 시도했다. 
In the educational paradigm shift in Japan, the “teacher” is expected to be a facilitator or coach for student learning. Saiki et al. (2013) suggested that Japanese medical educators were sometimes struggling to assume the role of the tutor/facilitator in the PBL tutorial. They tended to avoid “active” involvement when students’ discussion failed, partially because they were inexperienced and did not fully understand what to do as a facilitator. They also had a skeptical view of the educational effectiveness of PBL, which could be affected by their previous teaching/learning experiences and by a cultural characteristic of uncertainty avoidance in Japanese (Saiki et al. 2013). However, as they experienced, they were socialized into the new educational context and attempted to find a better way to facilitate student learning as a tutor.

교육 철학에 대한 몇 가지 공통된 이해는 아시아와 서양 문화 사이에 존재한다. 예를 들면, 일본의 반영과 같은 개념은 「한성hansei」입니다. 이는 "과거 행동을 검토하고, 평가하고, 비판하고, 최종적으로 이를 개선하는 것"으로 정의된다(Taylor et al. 2005). [한세이]는 전통적으로 아이의 사회적, 개인적 발달을 촉진하는 기본 기술로 여겨져 일본 아이들이 한세이의 습관을 들일 수 있도록 장려되어 왔다. 하지만 한세이는 사람이 해서는 안 되는 것, 즉 경험의 부정적인 면을 특히 더 강조하기 때문에, 일본인은 개선을 위하여 실수로부터 배우는 것을 의미하는 「카이젠Kaizen」을 더 선호한다. 이러한 경미한 인식의 차이에도 불구하고, 일본의 의학교육에서는, 지역 의료 사무원(미야타, 야기타 2010)의 포트폴리오나 시뮬레이션에 의한 교육의 보고 등, 「서양」의 성찰 개념이 널리 받아들여지고 있다.

Some shared understandings of educational philosophy do exist amongst Asian and Western cultures (Nishigori and Sriruksa 2011). For example, a concept similar to reflection in Japan is “hansei”. It is defined as “reviewing past behavior, evaluating, critiquing, and finally improving upon it” (Taylor et al. 2005). Hansei has been traditionally considered a fundamental skill that promotes a child’s social and personal development so that Japanese children are encouraged to make a habit of hansei. Hansei emphasizes particularly on the negative aspect of an experience, i.e. what people should not do, so that Japanese people prefer to learn from a mistake for better improvement; this is known as “kaizen” (change for the better) (Kato and Smalley 2010). Despite such minor difference of their perception, the “Western” concept of reflection has been widely accepted in Japanese medical education, such as portfolios in community-medicine clerkships (Miyata and Yagita 2010) and debriefing in simulation-based education (Konishi et al. 2015).

 

일본식 학습법
Japanese approaches to learning

왓킨스와 빅스(1996)는 학습자가 교육적 맥락, 이전의 학습 경험 및 학습 개념에 따라 학습에 다른 접근법을 취할 것이라고 주장했다. 예를 들면, 일본인을 포함한 아시아계 학생은, 「기억」과 「이해」의 관계를 서양의 학생과는 다르게 인식했다. 특히, 아시아 학생들은 암기와 이해를 별개의 과정이라기 보다는, [상호 연결된 과정]으로 보고 암기가 초기 학습 과정에서 이해로 이어질 수 있다고 믿는다. 예를 들면, 학습자가 학습 전에 독학 준비를 하도록 장려하는 뒤집힌 교실(일본어로는 요슈)이 받아들여져 일본의 학부 의학 교육에 서서히 도입되고 있다(Nishiya et al. 2014). 이러한 급속한 보급의 배경에는, 거꾸로 된 교실에서의 학습 과정이, 일본인의 학습에의 어프로치와 일치할 가능성이 있기 때문일 것이다.
Watkins and Biggs (1996) argued that learners would take different approaches to learning in accordance with its educational contexts, their previous learning experiences and conceptions of learning. For instance, Asian students, including Japanese, perceived the relationship between “memorizing” and “understanding” differently than Western students did. Specifically, Asian students do not see memorizing and understanding as separate but rather interconnecting processes, and believe that memorization can lead to understanding in the initial learning process (Watkins and Biggs 1996; Marton et al. 1997; Imafuku 2012). For instance, the flipped classroom, in which learners are encouraged to perform self-study preparation before classroom learning (Yoshyu in Japanese) is now embraced and gradually introduced into undergraduate medical education in Japan (Nishiya et al. 2014). The reason behind this rapid spreading out may be that the learning process in flipped classroom might align with an approach to learning by the Japanese.

일본 학습자는 조용하고 비판적이지 않은 정보수집자이며 암기성 학습자라는 고정관념적인 이미지가 여전히 남아 있다. 그러나, 실제로, 그들은 비판적인 평가 없이 교실에서 적극적으로 기부를 하고 다른 사람들의 의견을 받아들이는 것을 항상 꺼리는 것은 아니었다(Tavakol과 Dennick 2010). 예를 들면, 인터랙티브한 교육 환경에서, 일본어를 포함한 아시아 학습자는, 단지 대화중의 침묵을 언어적 해방이라고만 생각하지 않았다. 오히려 침묵은 상충되는 이해에 대처하는 생산적인 자원, 협업적 관행 및 플랫폼으로 간주되었습니다. 이러한 교육학적 맥락에서 새로운 학습 프로세스를 형성하는 것은 어렵다고 생각되는 것 같았지만, PBL의 경험을 쌓아, 그룹 학습의 성공을 위한 논의에 보다 적극적으로 공헌하려고 했다(Imafuku et al. 2014).
There are still stereotypical images of Japanese learners as being quiet, non-critical recipients of information and rote learners. However, in fact, they were not always reluctant to actively make contributions in the classroom and to accept others’ opinions without a critical appraisal (Tavakol and Dennick 2010). For instance, in the interactive educational setting, Asian learners, including Japanese, did not merely regard silence in interaction as verbal disengagement. Rather, silence was seen as a productive resource, collaborative practice and platform of handling conflicting understandings (Nakane 2006; Jin 2012). Although Japanese learners appeared to feel it difficult to shape the new learning process in such pedagogical contexts, they attempted to more actively make contributions to discussions for the successful group learning, as they acquired experience of PBL (Imafuku et al. 2014).

일본의 의학교육의 미시적 관점에서 보면, 학습이나 행동에 대한 일본인의 어프로치를 지나치게 일반화시키는 리스크에 유의할 필요가 있다. 마츠모토(2002)의 주장처럼, 일본인은 보다 집단주의적이라고 하는 고정관념은, 현대 문화에서의 일본인의 정체성과 커뮤니케이션 행동을 명확하게 반영하고 있지 않다.

From the viewpoint of micro level of Japanese medical education, we need to note the risk of over-generalizing the Japanese learners’ approach to learning and behavior. As Matsumoto (2002) claims, the stereotype of Japanese being more collectivistic does not clearly reflect Japanese identity and communication behavior in contemporary culture.

결론들
Conclusions

일본의 의학교육은 아직 유동적이지만, 국제적인 동향에 따라 성공적 발전과 개혁을 볼 수 있다. 국제 트렌드에 대한 열린 마음을 가진 번역주의가 일본을 형성하고 있는 반면, 일본 제품의 외국어로의 번역은 극히 한정되어 있다. 영어권 국가에서 주로 창출되는 지식, 교육용어, 의료교육 모델 등이 의료교육의 글로벌 진전에 기여하는 것이 확실하기 때문에 비영어권 국가에서 동등한 협력을 위해 또 다른 견해와 지혜를 만들어 수출해야 한다. 이를 실현하기 위해, 연구를 통해서 지혜를 수출하고, 설계, 개발, 촉진, 평가, 수송하는 능력을 갖춘 일본의 의학 교육자의 적극적인 참여가 기대된다.

Even though medical education in Japan is still in a state of flux, successful development and reformation can be observed in response to international trends. While “translationalism” with an open mind set for international trends has been shaping Japan, translation of Japanese products into foreign languages has been extremely limited. As knowledge, educational terms, and models of medical education, which are mainly generated in the English-speaking countries surely contributes to the global progression of medical education, another view and wisdom should be produced and exported from non-English speaking countries for the equal collaboration. To realize this, active engagement of Japanese medical educators, who equip the capability to design, develop, facilitate, evaluate, and transport as well as export their wisdom through research are expected.

 


Med Teach. 2017 Oct;39(10):1016-1022.

 doi: 10.1080/0142159X.2017.1359407. Epub 2017 Jul 31.

The truth lies somewhere in the middle: Swinging between globalization and regionalization of medical education in Japan

Affiliations collapse

Affiliations

1a Gifu University Medical Education Development Center , Gifu , Japan.

2b Aichi Medical School of Medicine , Medical Education Center , Aichi , Japan.

PMID: 28758830

DOI: 10.1080/0142159X.2017.1359407

Abstract

Japan is well known as a super-aging society, with a low birth rate, and has been ranked as one of the countries having the highest quality of healthcare system. Japan's society is currently approaching a major turning point with regard to societal and healthcare reforms, which are influenced by international trends and regional needs. Development of Japanese healthcare human resources, including medical students, is now expected to ride the wave of globalization, while resolving regional problems in the training and delivery of healthcare. Terms and global trends in medical education, such as outcome-based education, community-based education, reflective learning, international accreditation of medical education, and professionalization of educators are well translated into the Japanese language and embraced positively among the Japanese medical educators. However, these trends occasionally sit uncomfortably with cultural variations that are often a common approach in Japan; notably, "hansei" (introspection) and "kaizen" (change for the better). In the world facing a new era where people are unsettled between globalism and regionalism, Japan's future mission is to steer a balanced route that recognizes both global and regional influences and produce global health professionals educators.

 

교수 리더십 개발: 시너지적 접근의 사례 연구(Med Teach, 2021)
Faculty leadership development: A case study of a synergistic approach
Ellen Goldman , Nisha Manikoth, Katherine Fox, Rosalyn Jurjus and Raymond Lucas

 

 

서론
Introduction

조직이 환경의 변화 속도가 증가하고 무수한 과제에 직면함에 따라 리더십 훈련과 개발이 매우 중요합니다(Yukl 및 Gardner 2020). 이는 특히 교육 및 의료 서비스 제공 개선 및 조직 성과 향상을 위한 이니셔티브를 교직원이 주도할 수 있는 수많은 기회가 있는 Academic Health Center(AHC)에 해당됩니다. 그러나 필요한 리더십 역량을 개발하기 위한 교육을 받은 교직원은 거의 없습니다. 리더십 개발 프로그램(LDP)을 제공하는 AHC가 증가하고 있지만, 평가 방법은 특히 프로그램 설계와 결과를 연결하는 데 있어 엄격하지 않습니다. 교직원의 개발 자원을 효율적으로 활용해야 한다는 압박감이 높아짐에 따라 교직원의 리더십 개발을 극대화하는 프로그램을 설계하는 방법에 대한 더 많은 지식이 필요합니다.
Leadership training and development is critical as organizations face increasing rates of change and a myriad of challenges in their environments (Yukl and Gardner 2020). This is especially true for academic health centers (AHCs), where faculty members have numerous opportunities to lead initiatives to improve education and care delivery, and to enhance organizational performance. However, few faculty members have had training to develop the requisite leadership competencies. While an increasing number of AHCs are offering leadership development programs (LDPs), evaluation methods lack rigor, particularly in linking program design to outcomes (Steinert et al. 2012; Leslie et al. 2013; Straus et al. 2013; Frich et al. 2015; Lucas et al. 2018; Simas et al. 2019). With increasing pressure to use faculty development resources effectively, we need further knowledge about how to design programs that will maximize faculty leadership development.

리더십 개발에 전념하는 자원에도 불구하고 후원 기관들은 프로그램 효과에 대해 계속 의문을 제기하고 있으며(Lacerenza et al. 2017), 관련 연구는 관찰 가능한 결과를 식별하고 다른 환경 세력으로부터 프로그램 효과를 분리하는 것이 어렵기 때문에 어려운 과제이다(Day and Thornton, Yukl and Gardner 2020). 확인된 공식 프로그램의 메타 분석에서는 요구 분석, 대면 현장 세션, 간격 전달, 다중 전달 방법의 사용, 연습 및 피드백이 프로그램 효율성의 중요한 요소로 파악되었습니다(Lacerenza et al. 2017). 이러한 원칙은 지도 학자들의 권고에 부합하며 의학 교육 문헌에서도 공명을 발견한다. 그러나 프로그램 설계를 안내하려면 학습 방법에 대한 자세한 내용이 필요합니다. 어떤 방법이 가장 효과적입니까? 각 방법은 어떻게 리더십을 기르나요?
Despite the resources devoted to leadership development, sponsoring organizations continue to question program effectiveness (Lacerenza et al. 2017) and related research is challenging because identifying observable outcomes and isolating program effects from other environmental forces is difficult (Day and Thornton 2018; Yukl and Gardner 2020). A meta-analysis of formal programs identified needs analysis, face-to-face on-site sessions, spaced delivery, use of multiple delivery methods, practice, and feedback as critical factors for program effectiveness (Lacerenza et al. 2017). These principles are consistent with recommendations from leadership scholars (DeRue and Myers 2014; Day and Thornton 2018; Yukl and Gardner 2020) and also find resonance in the medical education literature (Frich et al. 2015; Lucas et al. 2018; Simas et al. 2019). Yet more specifics regarding learning methods are needed to guide program design: What methods are most effective? How does each method develop leadership?


Allen과 Hartman(2008)이 제안한 학습 방법을 사용한 Conger(1992)의 프로그래밍 접근방식을 활용하여 앞서 언급한 프로그램 효과 원칙(Lacerenza 등 2017)을 포함하도록 설계된 프로그램의 사례 연구를 통해 이러한 질문을 탐색하려고 했다.

We sought to explore these questions through a case study of a program designed to include the aforementioned principles for program effectiveness (Lacerenza et al. 2017), utilizing Conger’s (1992) programming approaches with learning methods suggested by Allen and Hartman (2008).

Conger(1992)의 선구적 리더십 개발 프레임워크는 리더십에 대한 변혁적 접근법(Northouse 2019)을 기반으로 만들어졌으며, 리더십 이론에 대한 경험적 학습의 원칙을 연결하였다. Conger(1992)는 필요한 기술과 능력을 습득할 수 있다고 보고 리더십 개발 프로그래밍에 필요한 4가지 접근법(개념 이해, 스킬 육성, 피드백, 개인 성장)을 확인하였습니다. 앨런과 하트만(2008)은 콩거(1992)의 네 가지 접근법에 매핑된 27가지 학습 방법의 분류법을 만들었다. 이 분류법은 리더십 개발의 필수요소(즉 경험, 지원 네트워크 및 피드백이 리더십 역량을 개발하는 데 중요하다는 것)를 경험적 학습에 관한 문헌에 통합한다(Merriam et al. 2007).
Conger’s (1992) pioneering leadership development framework built on work underpinning the transformational approach to leadership (Northouse 2019) and connected principles of experiential learning to leadership theory. Seeing the requisite skills and abilities as learnable, Conger (1992) identified four required approaches to leadership development programming: conceptual understanding, skill building, feedback, and personal growth. Allen and Hartman (2008) created a taxonomy of 27 learning methods mapped to Conger’s (1992) four approaches. This taxonomy unites the essence of leadership development—i.e. that experience, supportive networks, and feedback are critical for developing leadership competencies (Yukl and Gardner 2020)—to the literature on experiential learning (Merriam et al. 2007).

[경험]은 (경험에서 의미가 만들어지는) [구성주의적 학습 지향]의 핵심이고, 인지적 지향의 핵심으로서, 여기서 [학습 능력capacity to learn]은 지각, 통찰력 및 의미 창출을 통해 개발된다 (Merriam et al. 2007). 구성주의 및 인지적 성향에 기초한 Kolb의 (2015) 경험적 학습이론에서, [학습]은 [경험, 성찰, 사고 및 행동의 지속적인 발전 과정]이다. 앨런과 하트먼(2008) 분류법의 학습 방법을 결합하면 콜브(2015) 학습 주기의 4단계 모두에서 학습할 수 있는 기회를 제공한다. 이와 같은 [학습 방법과 발달 접근법의 조합]은 [인지적, 경험적 및 사회적 과정을 포함하는 전인적holistic 리더십 개발 경험]을 위한 시너지를 제공합니다.

Experience is

  • core to a constructivist orientation to learning, where meaning is made from experience, and
  • core to a cognitive orientation, where the capacity to learn is developed through perception, insight, and meaning-making (Merriam et al. 2007).

Drawing on Kolb’s (2015) Experiential Learning Theory, based on both constructivist and cognitive orientations, learning is a continuous developmental process of experience, reflection, thinking, and acting. Combining learning methods from Allen and Hartman’s (2008) taxonomy provides opportunity to learn from all four stages of Kolb’s (2015) learning cycle. The combination of learning methods and development approaches provides the synergy for a holistic leadership development experience that includes cognitive, experiential, and social processes.

AHC의 리더십 개발에 관한 문헌은 만족도와 학습 수준을 넘어서는 경우가 거의 없으며(Lucas 등 2018; Simas 등 2019), 평가 설계 프레임워크가 부족하고 대부분 자체 보고 데이터에 의존한다는 점에 주목하면서 보다 엄격한 평가가 시급하다는 점을 식별한다(Leslie 등 2013). 다중 데이터 소스(Steinert 등 2012) 또는 종적 데이터(Frich 등 2015)를 사용하는 프로그램 평가는 거의 없다. 또한 '리더십 훈련의 어떤 측면이 가장 효과적이고 참가자들에게 가장 유용한 과정'을 학습하기 위해 질적 방법을 사용할 필요성에 대한 공감대가 형성되어 있다. 또, LDP의 설계와 성과를 관련짓는 문헌에는 gap이 있다. 단일 전략(예: 성찰, 멘토링)의 효과는 연구되었지만, 많은 방법을 설계에 체계적으로 통합하는 프로그램의 효과는 평가되지 않았다. 따라서 특정 학습 방법이 프로그램 효율성에 어떻게 기여하는지를 확인하기 위해 LDP에 대한 엄격한 평가가 필요하다. 

The literature on leadership development in AHCs identifies an urgent need for more rigorous evaluations, noting that most rarely go beyond levels of satisfaction and learning (Lucas et al. 2018; Simas et al. 2019), lacking a framework for evaluation design and relying mostly on self-reported data (Leslie et al. 2013). Few program evaluations use multiple sources of data (Steinert et al. 2012) or longitudinal data (Frich et al. 2015). There is also consensus on the need for using qualitative methods (Leslie et al. 2013; Straus et al. 2013; Frich et al. 2015) to ‘learn what aspects of leadership training are most effective and what processes are most useful to participants’ (Straus et al. 2013, p. 714). Further, there is a gap in the literature linking design of LDPs to outcomes. The effectiveness of singular strategies (e.g. reflection, mentoring) has been researched, but the effectiveness of a program that systematically integrates many methods into its design has not been evaluated. Thus, there is a need for rigorous evaluations of faculty LDPs to identify how specific learning methods contribute to program effectiveness.

본 연구는 프로그램 결과에 대한 [특정 학습 방법의 효과를 평가]함으로써 문헌의 격차를 해소한다. 한 가지 조사 질문이 연구의 방향을 제시했습니다.

  • Conger(1992)의 리더십 개발에 대한 4가지 접근법 및 관련 학습방법(Allen 및 Hartman 2008)은 참가자, 감독자 및 멘토에 의해 보고된 바와 같이 리더십 역량 향상에 어떻게 기여하는가? 다양한 학습 접근법에 맞는 특정 학습 방법이 리더십 역량 향상에 어떻게 기여하는지 연구했다.

This study addresses a gap in the literature by evaluating the effectiveness of specific learning methods for program outcomes. One research question guided our study:

  • How do Conger’s (1992) four approaches to leadership development and the associated learning methods (Allen and Hartman 2008) contribute to improving leadership competencies as reported by participants, supervisors and mentors? We studied how specific learning methods catering to different learning approaches contributed to improving leadership competencies.

 

방법들
Methods

사례 연구 설계는 [경계지어진 현상]으로서 LDP의 '집약적이고 전체적인 설명과 분석'(Merriam and Tisdell 2016, 페이지 232)을 제공한다. 사례 연구를 통해 다양한 연구 방법과 여러 데이터 소스를 통해 분석 단위로서 프로그램에 심도 있는 집중을 통해 구축 타당성을 보장할 수 있습니다(2014년 Yin). 사례연구의 구조적 요소는 앞서 언급한 LDP 평가의 엄격성에 대한 요구에 대처한다.
A case study research design provides an ‘intensive, holistic description and analysis’ (Merriam and Tisdell 2016, p. 232) of the LDP as a bounded phenomenon. Case study allows for in-depth focus on the program as a unit of analysis through mixed research methods and multiple data sources to ensure construct validity (Yin 2014). The structural elements of a case study address the aforementioned calls for rigor in LDP evaluation.

 

프로그램 설명
Program description

George Washington University Medicine and Health Sciences는 리더십 능력 모델을 사용하여 실시한 니즈 평가에 따라 중간 수준의 교직원을 위한 리더십 개발 프로그램인 Fundamentals of Leadership을 설계했습니다(Lucas et al. 2018). 이 프로그램에는 4가지 학습 목표가 있었습니다. 개인 효과, 대인 효과, 팀 성과 및 변경 관리 향상입니다. 참가자들은 학과장의 서포트에 따라 자기 지명을 하고, 실제 프로젝트에 임할 것을 약속했다. 지원자들은 모두 합격했다.
The George Washington University School of Medicine and Health Sciences designed a leadership development program, Fundamentals of Leadership, for mid-level faculty following a needs assessment conducted using a leadership competency model (Lucas et al. 2018). The program had four learning objectives: to enhance personal effectiveness, interpersonal effectiveness, team performance, and change management. Participants self-nominated with chair support and committed to work on a real-life project. All who applied were accepted.

[교실 내 세션]은 8개월 동안 매달 4시간씩 총 32시간 동안 진행되었습니다. 학습 방법은 프로그램 목표와 앨런과 하트먼(2008) 분류법에 기초했다(표 1의 첫 번째 두 열 참조). 비즈니스, 리더십 및 조직 변화에 대한 고급 교육을 받은 교직원은 변경 리더십, 시간 관리, 협상, 팀 구성, 감성 인텔리전스 및 조직 문화에 대한 세션을 촉진했습니다. 참가자들은 실제 [프로젝트 실행을 위한 계획]을 수립하고 세션 내용을 반영하기 위해 매달 업데이트했습니다. 프로젝트 진행 상황은 동료 보고 중에 코호트 구성원과 공유되었다. 각 참가자는 상호 합의에 의해 선택된 [상급 경영자executive 멘토]와 세션과 세션 사이에 만났습니다. [멘토링 툴킷]은 멘토와 멘티의 혜택과 책임, 생산적인 미팅을 위한 팁, 멘토링 계약을 위한 템플릿 등 제공되었습니다.

In-classroom sessions occurred 4 h per month for 8 months, for a total of 32 h. Learning methods were based on program objectives and Allen and Hartman’s (2008) taxonomy (see first two columns of Table 1). Faculty with advanced training in business, leadership, and organizational change facilitated sessions on change leadership, time management, negotiation, team building, emotional intelligence, and organizational culture. Participants developed an action plan for their real-life projects and updated them monthly to reflect session content. Project progress was shared with cohort members during peer debriefs. Each participant met between sessions with a senior executive mentor selected by mutual agreement. A mentoring toolkit was provided, including benefits and responsibilities of mentor and mentee, tips for productive meetings and a template for a mentoring agreement.

 
 

리서치 어프로치
Research approach

기관 심사 위원회는 그 연구를 면제한다고 간주했다. 익명의 조사 데이터는 각 세션과 프로그램의 가치에 대한 피드백을 제공했습니다. 프로그램 종료 시 프로젝트 프레젠테이션 및 멘토 설문조사를 통해 프로그램 결과에 대한 정보를 제공했습니다. 프로그램 완료 후 3개월 후 참가자 및 작업 감독관과의 개별 인터뷰를 통해 장기적인 영향에 대한 정보를 얻을 수 있었습니다.
The institutional review board deemed the study exempt. Anonymous survey data provided feedback on the value of each session and the program. Project presentations and mentor surveys at program conclusion provided inputs on program results. Separate interviews with participants and their work supervisors, 3 months after program completion, provided information on longer-term impacts.

데이터 수집 및 분석은 프로그램 설계 또는 제공에 관여하지 않은 작성자(NM, KF, RJ)에 의해 완료되었습니다. 복수의 근거 소스(예: 인터뷰, 세션 및 프로그램 평가, 조사)와 수렴하는 조사 라인(예: 참가자, 감독자, 멘토)이 결과를 삼각측량하여 'rigor, 폭, 복잡성, 풍부성 및 깊이'를 추가했다. 데이터 분석은 테마를 식별하기 위해 개방형 코딩과 지속적인 비교 방법(Merriam과 Tisdell 2016)을 사용했으며, 콩거 프레임워크와 앨런과 하트만 분류법(2008)의 이론적 코드를 사용한 두 번째 코딩 주기(2014년 Yin 2014)를 사용했다. 코딩과 주제에 대한 합의는 토론을 통해 이루어졌다.
Data collection and analysis were completed by authors not involved in the program design or delivery (NM, KF, RJ). Multiple sources of evidence (i.e. interviews, session and program evaluations, surveys) and converging lines of inquiry (i.e. participants, supervisors, mentors) triangulated the results, adding ‘rigor, breadth, complexity, richness and depth’ (Denzin and Lincoln 2013, p. 10). Data analysis utilized open coding and constant comparative methods to identify themes (Merriam and Tisdell 2016), followed by a second coding cycle (Yin 2014) with theoretical codes from the Conger (1992) framework and the Allen and Hartman (2008) taxonomy. Consensus on coding and themes was reached through discussions.

 

결과.
Results

조사 참가자는 프로그램을 완료한 최초 두 개 코호트 멤버 21명, 참가자의 작업 감독자 15명 중 11명, 시니어 이그제큐티브 멘토 12명(15명 중 12명)을 포함했다. 코호트 구성원은 피부과, 응급의학, 일반 및 전문 소아과, 내과, 실험실 과학, 신경외과, 신경외과, 병리학, 약리학, 의사 보조, 정신과, 종양학 및 외과 조교, 새로운 프로그램, 클리닉, 센터 및 외과와 관련된 프로젝트를 포함했다. 시스템 개선. 모든 프로젝트에는 복수의 부서가 관여하고 있으며, 커뮤니티 파트너도 있었습니다.

Study participants included all 21 members of the first 2 cohorts who completed the program, 11 (of 15) participants’ work supervisors, and 12 (of 15) of the senior executive mentors. Cohort members included assistant and associate professors in departments of dermatology, emergency medicine, general and specialty pediatrics, internal medicine, laboratory science, neurology, neurosurgery, pathology, pharmacology, physician assistant, psychiatry, oncology, and surgery, with projects concerning new programs, clinics, centers, and system improvements. All projects involved multiple departments; some had community partners.

표 1의 세 번째 열은 리더십 개발에 대한 네 가지 접근법 각각(Conger 1992)과 관련 학습 방법이 리더십 역량 향상에 어떻게 기여했는지 요약한다. 자세한 내용은 아래 설명과 함께 Kirkpatrick 및 Kirkpatrick의 (2016) 평가 수준을 사용하여 프로그램 전반에 대해 논의합니다. 만족, 학습, 행동 및 결과. 인용구 출처는 코호트('C') 1 또는 2의 프로그램 참가자('P'), 감독자('S') 또는 멘토('M')입니다.

The third column of Table 1 summarizes how each of the four approaches to leadership development (Conger 1992) and associated learning methods (Allen and Hartman 2008) contributed to improving leadership competencies. Further description is provided below, followed by a discussion of the program overall using Kirkpatrick and Kirkpatrick’s (2016) evaluation levels: satisfaction, learning, behavior and results. Quote sources are program participants (‘P’), supervisors (‘S’), or mentors (‘M’) from cohort (‘C’) 1 or 2.

 

개념적 이해
Conceptual understanding


리더십 개발에 대한 이러한 접근방식은 리더십 개념에 대한 [인지적 이해]를 구축한다(Conger 1992). 참가자들은 수업 전 독서, 과제 및 강의실 세션에서 다음과 같은 주제를 인용하여 새로운 개념을 제시했습니다.
This approach to leadership development builds cognitive understanding of leadership concepts (Conger 1992). The participants cited the following topics from the pre-class readings, assignments and classroom sessions that offered them new concepts:

[세션]을 통해 리더쉽 스킬에 대해 생각해 볼 수 있는 훌륭한 구성을 얻을 수 있었습니다. 회의 리드하기, 프로젝트 아이디어의 개발, 팀의 동기 부여 등입니다. (P9C1)
[The session] gave me nice constructs to think about my leadership skills … leading a meeting, developing project ideas, motivating my team. (P9C1)

정말로 공명하고 있는 것은, 시간 관리의 그리드입니다.(P3C2 )

What really resonated with me is the grid of (how to achieve) time management. (P3C2)

감성 인텔리전스 세션은 사람들이 어디에서 오는지를 듣고 이해하는 데 매우 적극적인 역할을 할 수 있게 해주었습니다. (P6C1)
The emotional intelligence session allowed me to take a very active role in listening and understanding where people are coming from. (P6C1)

문화에 대해 배우는 것은 매우 중요했습니다.그것을 바꾸는 것은 얼마나 어려운 일입니까.필요한 일을 해야 합니다.(P4C2)
It was really important to learn about culture … how difficult it is to change that …what you might need to do. (P4C2)


다른 이들은 참여 강화(P3C1, P5C1), 의사결정 개선(P6C1), 적절한 위임(P3C2, P7C1) 및 좋은 평가를 받는 피드백(P6C2, P7C1)을 위한 리더십 스타일과 팀 개발 원칙을 이해하는 것의 가치에 주목했다. 한계(표 1 열 4 참조)에는 읽기 자료의 과밀함denseness에 대한 불만과 더 많은 사례 사례에 대한 욕구가 포함되었다.

Others noted the value of understanding leadership styles and team development principles to enhance engagement (P3C1, P5C1), improve decision-making (P6C1), delegate appropriately (P3C2, P7C1), and provide well-received feedback (P6C2, P7C1). Limitations (see Table 1 column 4) included complaints about the denseness of the reading material and desire for more case examples.

스킬 육성
Skill building

리더십 개발에 대한 이러한 접근방식은 실천을 제공한다(Conger 1992). 참가자들은 [강의실 내 역할극과 프로젝트 실행 ]계획 제정이 새로운 스킬을 구축하는 데 도움이 된다고 확인했습니다. 한 사람이 지적했듯이, '클래스는 단순히 '개념이 여기에 있다'는 것이 아니었다. 읽어보세요」라고 끝나지 않았고, 「이 문제에 대처하는 방법의 예는 무엇입니까」…실제 롤플레잉(P3C1)을 했다.
This approach to leadership development provides practice (Conger 1992). The participants identified in-class role plays and enactment of project action plans as helping them build new skills. As one noted: ‘Class was not just “here’s the concept. Go read about it,” but … “what’s an example of how you would deal with this?’ … actual role-playing’ (P3C1).


[프로젝트 실행 계획]은 스킬을 쌓기 위해 가장 자주 인용되는 도구였습니다.
The project action plan was the tool most often cited for building skills:

드릴다운, 목적 설명 작성, 측정 기준 작성, 목표가 부서와 일치하는지 확인하는 것이 중요했습니다.(P3C2)
It was important to drill down … create a purpose statement … metrics … recognize if your goals were in line with your department. (P3C2)

[이 계획]은 매우 집중적이고 구체적이어서 도움이 됩니다.언제 대처해야 할 것을 특정합니다.우선순위의 변경에 따라 손실될 가능성이 있는 것을 추적합니다.(P4C2)

[The plan] helped by being very focused and concrete … identify what to tackle when … keep track of things that might get lost as priorities change. (P4C2)

이 계획을 통해 리더로서 큰 시야를 갖게 되었습니다.중요한 목표를 향해 한 발짝 물러서는 것.현재 진행 상황을 눈으로 확인할 수 있습니다.또, 뛰어난 과제도 볼 수 있습니다. … 그것은 매우 귀중한 것이었습니다.(P1C1)

The plan helped me as a leader have that big-picture view … take a step back at its overarching goals … visually see the progress you’re making … as well as outstanding challenges. … That was incredibly valuable. (P1C1)

그 계획은 구체적인 틀을 만들었다. … 매달 그것에 대해 질문을 받는 것은 당신을 긴장하게 한다. (P5C1)

[The plan] created a tangible framework. … Being asked about it on a monthly basis keeps you on your toes. (P5C1)

매월 계획을 갱신하는 것으로, 시간 관리가 향상되었습니다. 「실제로 필요한 것에 주의를 기울이는 한편, 불필요한 것은 무시하거나, 그 시간을 재할당하거나 합니다」(P5C2) 상사들은 향상된 능력을 알아차렸다: '그의 조직력은 향상되었다. … 그는 이해관계자들을 모아 프로젝트를 완료하기 위해 필요한 것을 지지하고 사람들에게 책임을 물을 수 있었습니다(S6C2). 다른 연구진은 부하 직원의 프로젝트 리더십(S1C2, S4C1, S6C1, S9C1, S9C2)에 대한 자신감, 주장성 및 편안함을 증가시켰다.

Updating the plans monthly improved time management: ‘[I’m] paying attention to the things I actually really need to do and ignoring what I don’t … or reallocating that time’ (P5C2). Supervisors noticed enhanced abilities: ‘His organizational skills improved. … He was able to bring stakeholders together … advocate for what was needed to finish the project … hold people accountable’ (S6C2). Others observed increased confidence, assertiveness, and comfort in their subordinates’ project leadership (S1C2, S4C1, S6C1, S9C1, S9C2).

 

피드백
Feedback

리더십 개발에 대한 이러한 접근방식은 [비판적 평가 및 측정 도구]를 사용하여 피드백을 제공합니다(Conger 1992). 참가자가 실시한 자기 평가에서는, 「의심했던 점 뿐만이 아니라, 장점과 단점에 대한 통찰력 향상에 도움이 되지 않았던 점이 강조되었습니다」(P4C2).
This approach to leadership development provides feedback using critical assessment and measurement tools (Conger 1992). Self-assessments completed by the participants ‘highlighted the things I suspected … as well as ones I did not to help improve [my] insight into [my] strengths and weaknesses’ (P4C2).

멘토 피드백 또한 가치 있었다: '나의 멘토가 나에게 좋은 조언을 해주었다. 계속 만날 수 있는지 물어볼게요.(P2C2) 멘토는 멘티가 역할극 시나리오나 어려운 대화(M1C2, M3C2, M5C2)에 대한 '연습 실행' 역할을 하는 등, 이러한 활동이 사운드보드와 격려의 원천이 되고 있음을 확인했습니다.
Mentor feedback was also valuable: ‘My mentor gave me good advice. I’m going to ask if we could continue meeting’ (P2C2). Mentors confirmed they served as sounding boards and sources of encouragement, with several serving as ‘practice runs’ for their mentee to role-play scenarios or difficult conversations (M1C2, M3C2, M5C2).

[동료 디브리핑] 중에 코호트 구성원으로부터도 귀중한 피드백을 받았다.
Valuable feedback also came from cohort members during peer debriefs:

우리는 모두 두려움, 문제, 뭐 그런 것들을 끄집어내다가 서로에게 이렇게 말하곤 했다. '나도 비슷한 일을 겪었어. 난 이렇게 해왔어. 도움이 되는지 확인해 주세요.(P7C1)
We were all bringing up our fears, problems, whatever … and then we would tell each other: ‘I had similar things. I’ve done it this way. See if that helps.’ (P7C1)

칭찬하든 비판하든, 동료의 피드백은 다른 태도, 경험, 배경을 가진 개인들로부터 나왔기 때문에 특히 도움이 되었습니다. (P1C2)
Whether they praise it or criticize it, [peer feedback] was particularly helpful because it came from [individuals with] different attitudes, different experiences, different backgrounds. (P1C2)

동료와 멘토들의 격려로 프로젝트 리더쉽 이상의 자신감을 얻었습니다.다른 사람의 견해와 피드백을 얻음으로써 자신감을 얻을 수 있었습니다.(P1C1).
Encouragement from peers and mentors provided confidence beyond project leadership: ‘Having other people’s perspective and feedback … gave me more confidence’ (P1C1).

 

개인의 성장
Personal growth

 

리더십 개발에 대한 이러한 접근방식은 행동, 가치 및 욕구의 반영을 유도한다(Conger 1992). 참가자들은 수업 시간을 프로젝트 계획을 갱신하고 위에서 논의한 피드백을 받는 것이 개인 및 그룹의 성찰을 촉진하는 것이라고 생각했습니다.'수업에 도움이 된 것은 성찰 시간……프로젝트나 목적지에 대해서만 생각하는 30분 이었다'(P5C2). 그룹 성찰에 참여하는 것은 또 다른 가치를 제공했습니다. '다른 사람이 자신의 문제를 해결할 수 있도록 도와주면서 자신의 프로젝트에 가져올 수 있는 리더십의 자질을 명확히 했습니다.' (P3C2) P6C1은 이 시간의 중요성을 '한 달 동안 당신이 어떻게 진화했는지 볼 수 있도록 하고, 내가 어떻게 발전하고 있는지 생각해 보고, 내가 앞으로 개선할 수 있는 것은 무엇인가'로 요약했습니다.
This approach to leadership development induces reflection of behaviors, values and desires (Conger 1992). Participants identified class time updating project plans and getting the feedback discussed above as promoting personal and group reflection: ‘The thing that helped me were the class reflects … 30 minutes just to think about my project and where I wanted it to go’ (P5C2). Participating in group reflection provided another value: ‘In helping others work through their problems, it clarified … leadership qualities that I could bring to my own project’ (P3C2). P6C1 summarized the significance of the time as ‘allowing you to look at how you evolved over the month … think about how I am improving … what I can improve moving forward.’

전체적인 평가
Overall evaluation


만족도(1단계), 학습(2단계), 행동(3단계), 결과(4단계)를 평가했다(Kirkpatrick 2016).

  • 참가자들은 내용, 자료, 진행자 및 학습 환경에 대한 만족도가 높다고 보고했다(1 = 강하게 동의하지 않음 ~ 4 = 강하게 동의함). 
  • 학습 내용은 표 1에 기재되어 있습니다. 초월 세션 콘텐츠 학습: 「[프로그램]은, 사물을 보다 선명하게 볼 수 있도록 했습니다…… 내가 무엇을 완수하는지, 어떻게 정리하는지…… 스스로 페이스 업 하는 것에 대해, 훨씬 더 신중해졌습니다」(P9C1) 
  • 리더쉽 행동에 대한 자기 인식적인 변화가 설명되었습니다. '내 직감을 따르기 전에' … 이제 "좋습니다. 여기서 어떤 접근 방식이 작동할까요?"(P3C1)가 되었습니다. P7C1은 병원 경영진과 전략적인 월례 회의를 시작했고 P6C1은 운영을 개선하기 위해 간호 리더십에 접근했습니다. 
  • 결과는 주목할 만하다. 거의 모든 참가자가 프로젝트의 주요 컴포넌트를 구현했습니다. 새로운 임상 센터, 학위 프로그램, 연구 시험, 지역사회 관계 확대. 슈퍼바이저는, 많은 참가자가, 부서내 또는 전문 조직내의 리더로서의 역할과 책임을 한층 더 가지고 있는 것에 주목했습니다.

Satisfaction (level 1), learning (level 2), behavior (level 3), and results (level 4) were evaluated (Kirkpatrick and Kirkpatrick 2016).

Participants reported high satisfaction with the content, materials, facilitators, and learning environment (3.14–3.87 on an agreement scale of 1 = Strongly Disagree to 4 = Strongly Agree. 

Learning is noted in Table 1. Learning transcended session content: ‘[The program] made me see things a lot crisper … be much more intentional about what I take on, how I organize … pace myself’ (P9C1).

Self-perceived changes to leadership behaviors were described: ‘Before I would go with my gut. … Now it’s “all right, what approach is going to work here?”’ (P3C1). P7C1 started strategic monthly meetings with a hospital executive, and P6C1 approached nursing leadership to improve operations. 

Results are notable. Nearly all participants implemented major components of their projects: new clinical centers, degree programs, research trials, expanded community relationships. Supervisors noted many participants had additional leadership roles and responsibilities—either within their departments or with professional organizations.

논의
Discussion

이 연구는 중간 수준의 AHC 교직원을 위한 리더십 개발 프로그램에 평가 엄격성을 적용하고 네 가지 리더십 개발 접근법과 관련된 학습 방법의 이점을 미묘한 이해도를 얻었다(Conger 1992).

  • 개념적 이해 접근방식은 참가자가 새로운 리더십 개념을 인식하는 데 도움이 되었습니다.
  • 스킬 육성 접근방식은 참가자가 새로운 스킬을 연습하는 데 도움이 되었습니다.
  • 피드백 접근방식은 강점과 개발 영역에 대한 인식을 높였습니다.
  • 또한 개인 성장 접근방식은 성찰과 전체적으로 성장하기 위한 자극을 촉진했습니다.

중요한 것은 이러한 접근방식의 조합으로 새로운 프로그램, 클리닉, 센터 및 시스템 개선의 형태로 조직 수준(Kirkpatrick 및 Kirkpatrick 2016)에서 이점을 볼 수 있게 되었다는 점입니다.

This study applied evaluation rigor to a leadership development program for mid-level AHC faculty members and obtained a nuanced understanding of the benefits of learning methods associated with four leadership development approaches (Conger 1992).

  • The conceptual understanding approach helped participants become aware of new leadership concepts;
  • the skill-building approach helped them practice new skills;
  • the feedback approach generated greater awareness about strengths and areas for development; and
  • the personal growth approach fostered reflection and the impetus to grow holistically as leaders.

Importantly, the combination of these approaches made it possible to see benefits at the organizational level (Kirkpatrick and Kirkpatrick 2016) in the form of new programs, clinics, centers and system improvements.


다양한 방법들이 체험 학습 주기를 육성하였다(Kolb 2015). 

  • 독서 및 강의실 모듈은 학습자를 추상 개념화 과정을 거치게 했다. 
  • 역할극 및 사례연구는 구체적인 경험을 제공한다. 
  • 동료 및 멘토로부터 받은 자기 평가와 피드백이 성찰 관찰에 기여한다. 
  • 프로젝트 실행 계획은 활발한 실험을 위한 추진력을 제공했습니다. 

The various methods fostered the experiential learning cycle (Kolb 2015):

  • readings and classroom modules took learners through abstract conceptualization;
  • role plays and case studies offered concrete experience; 
  • self-assessments and feedback from peers and mentors contributed to reflective observation; and
  • project action plans provided the impetus for active experimentation

이러한 학습 방법의 통합은 학습자가 '행위자마다, 그리고 특정 참여에서 일반 분석 분리까지 다양한 정도'를 취하여(Kolb 2015, 페이지 42), 인지적, 경험적, 사회적 과정을 통해 학습 기회를 제공했다.

The integration of these learning methods took the learners ‘in varying degrees from actor to observer, and from specific involvement to general analytic detachment’ (Kolb 2015, p. 42), providing learning opportunities through cognitive, experiential, and social processes.

이 리더십 개발 프로그램의 진정한 가치는 실제 프로젝트에 초점을 맞추기 위해 다양한 학습 방법이 연결되고 서로 연계된 방식입니다.

  • 구조화된 강의실 토론은 참가자들이 자신의 프로젝트에 개념을 적용하도록 장려합니다. 
  • 프로젝트 액션 플랜은 작업을 계속하고 과제를 극복할 수 있는 도구를 제공했습니다. 
  • 멘토 피드백은 참가자의 프로젝트 성공을 지원하는 데 초점을 두었다.
  • 동료 디브리핑는 장애물을 극복하고 새로운 솔루션을 찾기 위한 지원 그룹을 개발했습니다.
  • 개인 및 그룹의 성찰은 개념을 명확히 하고 이를 프로젝트에 적용하는 방법에 도움이 되었습니다. 

The true value of this leadership development program is in the way different learning methods were connected and interwoven to focus on a real-life project:

  • structured classroom discussions encouraged participants to apply concepts to their projects;
  • project action plans provided a tool to stay on task and overcome challenges;
  • mentor feedback focused on helping participants succeed in their projects;
  • peer debriefs developed a support group to overcome obstacles and find new solutions;
  • individual and group reflections helped clarify concepts and how to apply them to the project.

프로젝트의 중심성은 개인적이고 경험적인 방식으로 리더십 개념의 의미를 만드는 것을 촉진했습니다. 다양한 리더십 육성 어프로치와 학습 방법의 통합에 의해 달성된 시너지는 리더십 역량 개발에 기여했을 뿐만 아니라 참가자, 감독자, 멘토 입장에서 리더로서의 자신감을 형성했다(그림 1).

The centrality of the project facilitated meaning-making of leadership concepts in a personal, experiential way. The synergy achieved through the integration of different leadership development approaches and learning methods not only contributed to leadership competency development but also built participants’ confidence as leaders from the participants’, supervisors’ and mentors’ perspectives (Figure 1).

 

제한 사항
Limitations

다른 케이스 스터디와 마찬가지로 이러한 결과는 특정 설정에서 제공되는1개의 LDP를 반영합니다. 또한, 이 결과는 우리 프로그램에서 사용된 특정 학습 방법을 반영합니다. 다른 방법은 다른 결과를 제공할 수 있습니다. 마지막으로 프로그램의 장기적인 영향에 대해 알아보는 것이 도움이 될 것입니다.
As with any case study, these results reflect one LDP offered in a specific setting. In addition, the results reflect the specific learning methods used in our program; other methods might provide different results. Finally, it would be helpful to study the program’s long-term impact.

결론
Conclusion

우리의 연구는 자민당에 대한 엄격한 평가의 예를 제공함으로써 문헌을 추가한다. 특정 학습 방법이 리더십 개발에 어떻게 기여했는지를 파악하여 Conger의 리더십 개발 프레임워크, Allen과 Hartman의 학습 방법 분류법 및 경험적 학습 문헌을 더욱 연결한다. 또한 실제 프로젝트를 중심으로 학습 앵커링의 시너지 효과를 설명하고 개인과 조직에 긍정적이고 의미 있는 결과를 보여줍니다.

Our study adds to the literature by providing an example of rigorous evaluation of an LDP. It identifies how specific learning methods contributed to leadership development, further connecting Conger’s (1992) leadership development framework, Allen and Hartman’s (2008) taxonomy of learning methods, and the experiential learning literature. Moreover, we illustrate the synergistic effect of anchoring learning around a real-life project, and show positive and meaningful outcomes for individuals as well as the organization.

 


Med Teach. 2021 Aug;43(8):889-893.

 doi: 10.1080/0142159X.2021.1931079. Epub 2021 Jun 2.

Faculty leadership development: A case study of a synergistic approach

Affiliations collapse

 

Affiliation

1School of Medicine and Health Sciences, The George Washington University, Washington, DC, USA.

PMID: 34078213

DOI: 10.1080/0142159X.2021.1931079

Abstract

Introduction: Ongoing leadership development is essential for academic health center faculty members to respond to increasing environmental complexity. At the George Washington University School of Medicine and Health Sciences, an 8-month program, based on Conger's leadership development approach emphasizing conceptual understanding, skill building, feedback and personal growth was offered to mid-level faculty charged with developing educational programs, clinical services, and/or research initiatives. We studied how specific learning methods catering to different learning approaches contributed to improving leadership competencies.

Methods: Session and program evaluations, participant interviews, mentor surveys, and supervisor interviews were used for data collection. Themes were identified through open coding with use of constant comparative methods to help find patterns in the data.

Results: Readings and classroom modules provided a broadened, holistic understanding of leadership; role plays and action plans helped participants apply and practice leadership skills; self-assessments and feedback from peers and mentors provided specifics for focusing development efforts; and personal growth exercises provided opportunities to reflect and consider fresh perspectives. Anchoring learning methods around a real-time project led to improved leadership competencies and personal confidence as reported by participants, supervisors and mentors.

Conclusion: A faculty leadership development program that integrates understanding, skill building, feedback and personal growth and connects multiple learning methods can provide the synergy to facilitate behavior change and organizational growth.

Keywords: Leadership development; faculty development; learning process.

 

 

복잡성 해결하려고 노력하기: 전문직정체성 발달의 창으로서 의과대학생의 환자 조우 성찰적 글쓰기(Med Teach, 2018)
Grappling with complexity: Medical students’ reflective writings about challenging patient encounters as a window into professional identity formation
Hedy S. Walda, Jordan Whitea, Shmuel P. Reisa,b, Angela Y. Esquibelc and David Anthonya

 

서론
Introduction

의학 교육의 기본 목표는 직업 정체성 형성(PIF)의 적극적이고 건설적이며 변화적인 과정이다. PIF는 "자아의 표현으로, 직업의 특성, 가치, 규범이 시간에 따라 내재화되면서 단계적으로 달성되며, 결과적으로 개인의 의사로서의 생각하고, 행동하고, 느끼게 한다." 의료 교육자는 학습자의 복잡하고 반복적인 PIF 프로세스를 지원하는 커리큘럼을 설계하여 성찰적이고 휴머니즘적이며 탄력적인 의료 전문가의 구성을 촉진한다(Wald 등 2015). 이와 같이, 우리는 PIF의 진화하는 프로세스(Fins et al. 2003) 내에서, 그리고 연습의 복잡함 내에서 수용 가능한 행동 과정과 "존재"의 방식에 대해 가치 중심의 선택을 하기 위한 도덕적 행위자(Pellegrino 1987)로서 학습자를 준비하고 "강화"하는 것을 목표로 한다(Bryan).nd Babelay 2009). 「실천적 지혜」를 육성하는 메타인식과 메타감정적 스킬을 가지는 성찰적인 프로의 자아를 개발하는 것은, 건강한 PIF 프로세스를 서포트하는 것으로, 전문직 역량의 핵심입니다(Wald and Reis 2010). PIF 프로세스의 핵심 추진 요소로서의 경험에서 학습하기 위한 가이드된 성찰은 전문 지식과 가치의 의미 있는 조합을 배양하는 데 도움이 됩니다(Rabow et al. 2010).

A fundamental goal of medical education is the active, constructive, transformative process of professional identity formation (PIF) (Wald 2015a). PIF, “a representation of self, is achieved in stages over time during which the characteristics, values, and norms of a profession are internalized, resulting in an individual thinking, acting, and feeling like a physician” (Cruess et al. 2014). Medical educators strive to design curricula supporting learners’ complex, iterative PIF process to facilitate the formation of reflective, humanistic, and resilient health care professionals (Wald et al. 2015). As such, we aim to prepare and “fortify” our learners as moral agents (Pellegrino 1987) within the evolving process of PIF for making values-laden choices (Fins et al. 2003) about acceptable courses of action and ways of “being” (Wald 2015b) within complexities of practice and when encountering difficult or morally ambiguous circumstances (Bryan and Babelay 2009). The development of a reflective professional self with metacognitive and meta-affective skills (Epstein 2008; Chick et al. 2009) fostering “practical wisdom” (Epstein 1999) supports healthy PIF process and is core to professional competency (Wald and Reis 2010). Guided reflection for learning from experience as a key driver of PIF process helps cultivate a meaningful combination of expertise and values (Rabow et al. 2010).

[상호작용적 (가이드된) 성찰적 글쓰기(IRW), Interactive (guided) reflective writing (IRW)][미래의 행동과 "존재"를 안내하는 더 깊은 의미와 이해를 달성하기 위한 지식과 경험에 대한 비판적 분석]으로 정의되는 [성찰 능력]을 육성할 수 있다(Mann 등 2007). [성찰 능력]은 [자기조절]과 [임상 상황에서 치료적 자아]의 사용에 필수적이며, 피드백과 진단 정확도의 효과적인 사용과 관련이 있다(Mamede 등 2008). IRW 연습은 다음과 같은 효과가 있다.

  • 공감적 참여의 촉진
  • 중요한 교육적 시점에서 통과 의식의 서포트,
  • 취약자에 대한 전문직업적 책임에 대한 신념 유도
  • 문화적 겸손윤리적 딜레마에 대한 이해 촉진

Interactive (guided) reflective writing (IRW) (Wald et al. 2009) can foster reflective capacity, defined as a critical analysis of knowledge and experience to achieve deeper meaning and understanding (Mann et al. 2007) guiding future behavior (Driessen 2008) and “being” (Wald 2015b). Reflective capacity is essential for self-regulation and use of therapeutic self in clinical situations (Head et al. 2012) and is linked to both effective use of feedback (Bing-you and Trowbridge 2009) and diagnostic accuracy (Mamede et al. 2008). IRW exercises may

  • foster empathic engagement (Dasgupta and Charon 2004),
  • support rites of passage at critical educational junctures (Wald et al. 2010),
  • elicit beliefs about professional responsibilities toward the underserved (Ross et al. 2010), and
  • promote both cultural humility (Lie et al. 2010) and understanding of ethical dilemmas (House et al. 2015).

최근 학생들의 성찰적 글쓰기(RW) 내에서의 낮은 성찰 능력은 전문직업적 실수와 관련이 있었다(Hoffman et al 2016). 임상실습 특이적 RW 연습은 학생들이 그들의 성찰적 실천을 강화하고, 임상실습 경험이 그들의 학습과 개인 및 전문적 발전에 미치는 영향을 고려할 수 있는 기회를 제공한다. 또한, RW는 의료 및 산부인과 레지던트들의 자기 성찰과 전문성을 증진하고 개업의들의 공감을 증진하기 위해 의료 전문가 수명 주기 전반에 걸쳐 효과적으로 사용되어 왔다(Misra-Hebert et al. 2012). (비판적 성찰을 강화하는) IRW를 은유적으로 "회복탄력성 운동"이라고 표현하듯, 관점수용 및 공감적 관심에 대한 성찰 기술은 번아웃으로부터의 보호 효과가 있습니다(Lamoth 등 2014).

Recently, lower reflective ability within students’ reflective writings (RWs) was associated with professionalism lapses (Hoffman et al. 2016). Clerkship-specific RW exercises offer opportunities for students to enhance their reflective practice, and to consider the impact of clerkship experiences on their learning and on their personal and professional development (Carr and Carmody 2006; Fischer et al. 2008; Levine et al. 2008; White 2008; Plack et al. 2010; Bradner et al. 2015) Furthermore, RW has been used effectively throughout the medical professional life cycle for promoting self-reflection and professionalism in medical and obstetric residents (Brady et al. 2002; Learman et al. 2008) as well as enhancing empathy among practicing physicians (Misra-Hebert et al. 2012). Reflective skills in perspective taking and empathic concern may be protective against burnout (Lamothe et al. 2014), with IRW (enhancing critical reflection) metaphorically described as a “resiliency workout” (Wald et al. 2015).

이에 따라, 우리는 "마음의 일work of the heart"을 포함한 임상 경험에 대한 서사적 성찰을 위한 "교육적pedagigic 공간"의 가치에 관심을 가져왔다. "새로운emerging 의사들이 자신의 경험을 성찰, 비판적 인식, 문화적 겸손 및 공감을 구체화하는 전문 정체성(PI)에 더 완벽하게 통합할 수 있는 기회를 제공"한다. 2009년에는 경험적 학습을 위한 가정의학의 핵심 개념에 대한 비판적 성찰 촉진을 포함한 이러한 목표를 달성하기 위해 가정의학 사무원(FMC) 내 IRW 커리큘럼을 개발하였다(Wald et al. 2015). 커리큘럼 구조는 1학년부터 2학년까지의 학생의 IRW 경험을 바탕으로 하며, 4개의 성찰 티어로 구성되어 있습니다. 

  • (1) 커뮤니티 멘토 경험(롤 모델링), 
  • (2) IRW(글쓰기 프로세스 자체), 
  • (3) 소그룹의 협업적 성찰과 전문직간 교수팀의 피드백 
  • (4) 구조화된 프레임워크에 의해 지도되는 소그룹 교수진의 개별화된 형성적 피드백을 통해 보다 심층적인 성찰 프로세스를 촉진합니다. 

In line with this, we have been interested in the value of “pedagogic spaces” for narrative reflection on clinical experiences (Clandinin and Cave 2008) including the “work of the heart” (Freshwater and Stickley 2004) to “offer emerging physicians opportunities to more fully incorporate their experiences into a professional identity (PI) that embodies reflection, critical awareness, cultural humility, and empathy” (Wear et al. 2015, p. 289). In 2009, we developed an IRW curriculum within the Family Medicine Clerkship (FMC) to meet such objectives including promoting critical reflection on key concepts of family medicine for experiential learning, recently described in more detail (Wald et al. 2015). The curriculum structure builds on students’ IRW experience from years 1–2 and includes four reflection tiers:

  • (1) community mentor experience (role modeling),
  • (2) IRW (the writing process itself),
  • (3) small-group collaborative reflection and feedback from an interprofessional faculty team, and
  • (4) individualized written formative feedback from small group faculty who are guided by structured frameworks (Reis et al. 2010; Wald et al. 20102012), promoting a more in-depth reflective process (Wald et al. 2015; Wen et al. 2015).

성찰적 자기평가(전문성 발달의 구성요소)를 촉진할 뿐만 아니라, 소규모 그룹 프로세스에서 성찰적 글쓰기(RW)는 환자 치료 프로세스에 대한 통찰력을 배양하고 학생과 실무자의 복지를 촉진합니다.

In addition to promoting reflective self-assessment (as a component of professional development), reflective writing (RW) in a small group process cultivates insights into the process of patient care and promotes student-practitioner well-being (Shapiro et al. 2006).

우리는 (의료 업무에서 도전적이고 의미 있는 순간을 포함하여) [결정적 사건에 대해 쓰는 것]이 전문적인 경험의 맥락에서 학습자의 가치와 태도를 다루는 효과적인 수단이라는 점에서 "도전적이거나 어려운" 환자 조우 RW 프롬프트를 선택했다(Branch 2005). [어려운 환자와의 만남]을 성찰하는 것은 좌절, 분노, 불확실성과 같은 감정에 대한 자각뿐만 아니라 자기 조절과 감정이 의료 행위에 미치는 영향에 대한 통찰력도 발달시키는 데 도움을 줄 수 있다.
We selected a RW prompt of a “challenging or difficult” patient encounter given that writing about critical incidents (including challenging and meaningful moments in medical practice) is an effective means of addressing learners’ values and attitudes in the context of professional experiences (Branch 2005). Reflecting upon challenging patient encounters can also help develop self-awareness of emotions such as frustration, anger and/or uncertainty as well as insights into self-regulation and the impact of emotions on medical practice.

학생들은 의대 3학년에 students에서 practitioner로 전환하면서 극적인 변화를 겪는다. 의과대학 3학년은 "훈련의 목표 지점, 전문적인 기술과 환자에 대한 태도 개발의 중요한 단계"이다(Chen 2012). 의대생 발달에 영향을 미치는 3학년 동안의 '감정적 해방emotionally evocative 사건'에는 임상팀의 역할에 대한 적응, 적절한 멘토와 역할 모델 특정, 환자의 옹호 및 요구에 대한 대응 학습, 가장 보람 있는 진로 선택 등이 포함됩니다. 학생들에게 3학년 경험을 이해하고 대처하는 방법을 가르치는 보다 체계적인 방법(공식적인 성찰 연습 커리큘럼 포함)의 필요성이 점점 더 인식되고 있다.
Students undergo dramatic changes in the third year of medical training as they transition from students to practitioners. The third year of medical school is a “pivotal point in training, a crucial step in the development of professional skills and attitudes toward patients” (Chen 2012). “Emotionally evocative” events affecting medical student development within the third year include adjusting to roles on clinical teams, identifying appropriate mentors and role models, learning to advocate for patients and respond to their needs, and choosing a career path that is most rewarding (Murinson et al. 2008). The need for more structured ways (including formal reflective practice curricula) to teach students how to understand and cope with their third-year experiences is now increasingly recognized (Treadway and Chatterjee 2011).

RW는 PIF(Wong and Trolope-Kumar 2014)의 역동적이고 건설적인 성격의 "창구"로 설명되어 왔지만, 학생들의 RW(3학년 포함)에서 드러나는 새로운 PIF 프로세스는 충분히 검토되지 않았다. FMC 학생의 RW에 대한 연구를 실시해, 환자의 만남에 대한 도전의 경험과 전문성 향상에의 공헌에 대해 자세하게 학습했습니다.
While RW has been described as a “window” into the dynamic, constructed nature of PIF (Wong and Trollope-Kumar 2014), the emerging PIF process as revealed in students’ RWs (including third-year students) has been understudied. We undertook a study of FMC students’ RWs to learn more about their experience of challenging patient encounters and its contribution to their professional development.

 

방법들
Methods

샘플 및 데이터
Sample and data

(구조화된 글쓰기 프롬프트에 대한) 두 가지 RW 과제를 완료하는 것은 6주 FMC의 필수 커리큘럼 구성요소입니다. 어려운/도전적인 환자 조우 관련 RW는 2010년 5월부터 2012년 10월까지 사무원 코디네이터에 의해 FMC에 참여하는 학생들로부터 수집되었습니다. 이 그룹에서는 다양성을 극대화하기 위해 3학년 초·후반 학생들의 내러티브가 포함된 50개의 RW가 무작위로 선택되었다.
Completion of two RW assignments (to structured writing prompts) is a required curriculum component of our six-week FMC. RWs about a difficult/challenging patient encounter were collected by the clerkship coordinator from students participating in the FMC from May of 2010 to October of 2012. From this group, 50 RWs which included narratives from students both early and late in their third year for maximum diversity were randomly selected.

 

분석.
Analysis

단계 1 – 테마 특정
Phase 1 – Identification of themes


연구팀은 시험 단계 훈련 중 몇 가지 내러티브의 주제 분석과 후속 데이터 분석을 위해 몰입 결정 과정을 이용했다. 몰입/결정화는 질적분석 프레임워크(Borkan 1999)로, "보고 가능한 해석에 도달할 때까지" 성찰 및 직관적 통찰력과 결합된 데이터의 집중적인 텍스트 검토 주기를 포함한다. HW, JW, AE의 연구원들은 개별적으로 서술문을 읽고 주제와 패턴에 대해 메모했다. 분석팀(HW, JW, AE, DA)은 정기적으로 만나 각 팀원의 교육 및 교육 관점의 근본적인 편견이 데이터 해석에 어떻게 영향을 미치는지 논의하고, 연구 결과를 공유하며, 주제 발견 간의 중복과 차이점을 논의하고, 서로 다른 해석을 탐색하고, 궁극적으로는 테마의 누적 목록을 종합했습니다. 

Members of the research team utilized an immersion-crystallization process for thematic analysis of several narratives during a pilot phase training and for subsequent data analyses. Immersion/crystallization is a qualitative analysis framework (Borkan 1999) involving cycles of concentrated textual review of data, combined with reflection and intuitive insights, “until reportable interpretations” are reached. Researchers HW, JW, AE individually read the narratives and took notes about themes and patterns. The analysis team (HW, JW, AE, DA) met regularly to discuss how each team member’s underlying biases from their training and teaching perspectives may be affecting their interpretation of the data (Barry et al. 1999), share their findings, discuss overlap and differences among their findings of themes, explore divergent interpretations, and, ultimately, to compile a cumulative list of themes.

조사 결과에 대한 토론과 비교를 통해 차이를 조정하고 포화를 결정하였습니다. 그 후 연구원들은 각각의 주제에 대한 최종 합의뿐만 아니라 최종 주제 체계에 대한 합의에 도달하기 위해 그들의 새로운 주제들을 비교하기 위해 만났다. 이 분석 과정에서는 내러티브 내에서 26가지 주제를 식별했다. 연구팀은 그 다음 주제를 토픽 카테고리로 분류하는 방법에 대한 합의에 도달하기 위해 반복 주기의 주제 목록으로 작업했다. 이 접근방식을 통해 팀은 텍스트 전체를 사용하여 작업하고, 여러 팀원이 여러 번 텍스트를 검토하고, [주제와 그룹을 도출]할 수 있었습니다. 이 단계가 완료된 후에야 직접 콘텐츠 분석을 위한 이론적 프레임워크가 논의되어 2단계에서 사용되었습니다.

Through discussion and comparison of findings, differences were reconciled and saturation determined. The researchers then met to compare their emergent themes in order to reach consensus on a final thematic scheme, as well as final consensus on each theme. This analysis process identified 26 distinctive themes within narratives. The research team next worked with the resulting list of themes in iterative cycles to come to a consensus of how to group the themes into topical categories. This approach allowed the team to work with the texts in their entirety, to go through the texts multiple times by multiple team members, and to derive themes and their grouping. Only after this phase was completed was a theoretical framework for directed content analysis discussed and subsequently used for phase 2.

단계 2 – 주제와 카테고리의 해석 및 모델 개발에 대한 적용
Phase 2 – Interpretation of themes and categories and application to the development of a model

마지막으로, 이러한 주제와 카테고리는 직접 내용분석을 사용하여 추가로 분석되었습니다. 내용분석에 대한 직접적인 접근법의 목표는 [현상에 대한 이론적 프레임워크를 검증하거나 개념적으로 확장하고 초기 코딩 주제 또는 코드 간의 관계를 결정하는 데 도움이 되는 것]입니다. 이 데이터 분석의 최종 단계는 이전 단계를 통해 RW 내의 중심 요소로 식별된 PIF의 구축을 지향했다.
Finally, these themes and categories were further analyzed using directed content analysis (Hsieh and Shannon 2005; Karnieli-Miller et al. 2010). The goal of the directed approach to content analysis is to validate or conceptually extend a theoretical framework about a phenomenon and help determine the initial coding theme or relationships between codes (Hsieh and Shannon 2005). This final phase of data analysis was directed at the construct of PIF, identified through the previous phase as a central element within the RWs.

이 2단계 분석은 전체 분석팀에 의해 수행되었으며, PIF 내 주제 및 범주 상호 관계를 논의하기 위해 여러 번 만났다. 저자 SPR은 분석의 신뢰성과 신뢰성에 대한 경험이 풍부한 외부 감사인 역할을 했습니다. 이 과정과 모든 저자들 간의 추가 협의를 통해, 팀은 데이터에 의해 뒷받침되고 이론적으로 의미가 있는 학생 PIF의 새로운 기능 모델에 대한 합의에 도달했다(아래에서 논의). 전문가간 연구팀은 다양한 전문지식을 활용하여 관련 연구원의 특성과 질적 평가에 대한 반사성을 제공하였다.
This Phase 2 analysis was conducted by the entire analysis team, which met several times to discuss thematic and category interrelationships within PIF. Author SPR served as an experienced external auditor of trustworthiness and credibility of the analysis. Through this process and further consultations between all authors, the team reached consensus on an emergent functional model of student PIF that was supported by the data and made theoretical sense (discussed below). The interprofessional research team brought a wide array of expertise to the endeavor, contributing pertinent researcher characteristics and reflexivity to the qualitative assessment (O’Brien et al. 2014).

조사 결과
Findings

26개의 독특한 주제를 가진 5개의 주제 카테고리(표 1)가 학생들의 RW 분석에서 나타났다. 주제 스펙트럼의 극성이 명백할 때(아래 설명되어야 함) 여러 개의 예시와 함께 각 주제의 구체적인 예가 보충 표 2에 제시되어 있다. 긴급 PIF 모델은 그림 1에 나와 있다.
Five distinct thematic categories with 26 unique themes (Table 1) emerged from analysis of the students’ RWs. Specific examples of each theme, with multiple illustrative quotes when polarities of a theme’s spectrum were apparent (to be described below), are provided in Supplementary Table 2. The emergent PIF model is presented in Figure 1.

 

주제 카테고리
Thematic categories

첫 번째 주제 카테고리인 [감정의 역할]은 학생들의 RW에 기술된 것처럼 강력한 감정을 포착합니다. 학생들은 종종 자신의 강한 감정에 대한 통찰력을 전달했는데, 이는 고통이나 불편함과 관련될 수 있고 왜 특정한 상호작용이 어려운지를 더 잘 이해하도록 도울 수 있다. 학생들은 또한 다른 사람들의 감정을 자주 인지했다(환자, 가족, 주치의). 마찬가지로, 이러한 인식은 약간의 불편함을 야기하거나 방문의 복잡성에 대한 이해를 증진시킬 수 있다. 학생들은 종종 두 가지 특정한 감정, 즉 공감과 연민(또는 더 구체적으로 말하면 환자에 대한 공감 또는 공감을 경험하거나 경험하지 않는 것에 대한 감정 반응)과 격려와 환멸의 감정과 관련된 두 가지 감정들에 대해 글을 씁니다. 
The first thematic category, the role of emotions, captures powerful emotions as described in the students’ RWs. Students frequently conveyed insight into their own strong emotions which could be associated with distress or discomfort and which could help them better understand why a particular interaction was challenging. Students were also frequently aware of the emotions of others (patients, family members, attending physicians). Similarly, this awareness could create some discomfort and/or promote increased understanding of the complexity of the visit. Often, students wrote about two specific emotions – empathy/compassion (or more specifically, their emotional response to experiencing or not experiencing empathy or compassion for a patient), and associated feelings of encouragement or disillusionment.

예를 들어, 한 학생은 이렇게 썼다. 갑자기 수치심에, 나는 그녀의 가정 상황이 엉망이라는 것을 깨달았고, 그녀는 일주일도 안 되어 두 번째로 병원에 입원했지만, 나는 내력 수집을 시도하는 동안 그녀를 극복해야 할 장애물로 빠르게 지목했다. 앞으로 나아가기 위한 마비된 시도에서 공감을 표시하는 것을 소홀히 하고 인터뷰를 어떻게 진행해야 할지 생각만 했습니다. 

For example, one student wrote, “With an abrupt sensation of shame, I realized that her family situation was a mess, she was back in the hospital for the second time in less than a week, and yet during my attempt to collect a history I had quickly pegged her as an obstacle to overcome. In my paralyzed attempt to move forward, I neglected to display any empathy and merely thought of how best to move the interview forward.” 

수치심을 느끼고 인식하고 이를 학습 경험으로 활용할 수 있는 것은 이 학생이 개인 및 직업적 성장을 위한 도전을 높이 평가하면서 미래의 직업에서 도전하는 환자의 상호작용을 보다 효과적으로 관리하는 데 도움이 될 수 있습니다. 이 인용문은 학생들이 공감에 어려움을 겪었던 환자와의 만남에 대해 얼마나 자주 글을 썼는지 보여주며, 어떻게 하면 이런 일이 재발하지 않도록 할 수 있을지에 대해 반성하고 있다.

Feeling shame, recognizing it, and being able to use it as a learning experience may help this student more effectively manage challenging patient interactions in his/her future career while appreciating the challenge as cultivating personal and professional growth. This quote illustrates how students frequently wrote about patient encounters in which their empathy had been challenged but expressed discomfort with this and reflected on how they might be able to prevent this from recurring.

두 번째 주제 범주인 [인지의 역할]은 학생들이 RW에서 자주 겪는 성찰적 사고 과정을 설명한다. 학생들은 "실생활에서 배우는 것과 책에서 배우는 것"을 구분해야 하는 도전적인 환자 상호작용에 대해 썼을 뿐만 아니라, 이전 경험을 바탕으로 환자를 분류하거나 라벨을 붙이기 시작하는 것에 대해서도 썼다(예: "약물 찾는 사람"). 학생들의 RW는 의사가 되는 것이 무엇을 의미하는지에 대한 이해의 변화와 씨름하고 있으며, 환자 진료와 관련된 것으로 인식되는 자신의 무능함을 고려한다고 설명했다. 이 카테고리의 테마는 학생들이 성찰을 통해 능동적인 인지 과정에 참여하고 있으며, 이는 도전을 제시하는 환자에 대한 반응을 형성하고 자신의 전문성 발달에 대한 사려 깊은 참여를 용이하게 한다는 것을 나타냅니다. 

The second thematic category, the role of cognition, describes thought processes that students frequently reflected upon in their RWs. Students wrote about challenging patient interactions that required them to distinguish between “learning in real life versus learning from a book” as well as about beginning to categorize or even label patients based on previous experiences (e.g. “drug seekers”). Students’ RWs described grappling with changes in their understanding of what it means to be a physician and considering their own perceived incompetence as it related to patient care. The themes in this category indicate that students are engaging in an active cognitive process through reflection that helps shape their response to those patients who present challenges and facilitates thoughtful engagement in their own professional development.

한 학생이 썼듯이, "이 상황은 특히 제게는 어려웠습니다. 왜냐하면 이것은 환자가 마취제를 찾는 행동을 보이는 첫 번째 환자였기 때문입니다. 만약 제가 의사와 함께 있는 환자를 보지 않았다면 제가 그 행동을 알아채지 못했을지도 모르겠습니다. 곰곰이 생각해보면서, 의사와 이야기를 나눴는데, 그녀는 이 환자들에게 찾아봐야 할 몇 가지 징후를 설명해줬고, 더 말이 되는 일이었습니다. 의대생으로서 이런 상황을 미리 인지하고 대처하는 법을 배워야 합니다. 또 다른 사람은 환자를 평가하는 데 있어 병력 파악이 가장 중요한 부분이라는 말을 몇 번이고 듣지만 환자는 로봇이 포함된 정보가 아니라 실제 사람이라는 것을 기억해야 한다. 사회적 상호 작용의 기본 원칙을 사용할 필요가 있습니다."

As one student wrote, “This situation was particularly challenging for me because this was my first patient encounter where the patient was exhibiting narcotic-seeking behavior. I am not even sure I would have recognized the behavior if I would not have seen the patient with the physician. In reflection, I spoke to the physician and she explained to me some of the signs to look for with these patients and things made more sense. As a medical student new to the clinical scene, I have to learn how to recognize situations like this ahead of time and learn how to react to them.” Another wrote, “Additionally, we are told again and again how getting the history is the most important part of evaluating the patient, but we have to remember that patients are not information containing robots, but instead real people. We need to use basic principles of social interaction.

세 번째 주제 카테고리는, [상황적 맥락에 맞춰 행동으로 반응하는 것]으로, 학생들이 [특정한 상황이 그들의 행동에 특정한 변화를 야기하고 있거나, 야기해야 한다는 것]을 적극적으로 인식하는 과정을 묘사한다. 학생들은 환자와의 만남에서  코스를 바꾸는 상황을 기술했다. 자신이 압도당하거나, 상황을 차선적 방식으로 처리하거나, 다른 접근법을 취해야 한다는 것을 인식하기도 했다. 그들은 효과적인 프로토-의사proto-physician로서 계속 기능하기 위해 그들이 무엇을 해야 하는지 깨달았을 뿐만 아니라, 그들이 그들의 환자들을 위해 무엇을 해야 한다고 느꼈는지 묘사했다.

The third thematic category, behaviorally responding to situational context, describes the process by which students actively recognize that a particular situation is causing, or should cause, a specific change in their behavior. Students wrote about steps that they took during patient encounters to change course when they recognized that they were overwhelmed, suboptimally managing the situation, or otherwise needing to take a different approach. They described things they did for their patients that they felt made an impact as well as what they realized they needed to do for themselves to continue to function as effective proto-physicians.

예를 들어, 한 학생은 다음과 같이 썼다. "나는 그것이 상황을 악화시킬 것이라고 생각하기 때문에 그녀의 문화적 비방에 대응하지 않고 회피했다. 저는 사실 그녀가 그런 비방들을 믿지 않는다고 느꼈습니다.그것들은 단지 항생제의 문턱을 낮추기 위해 저와 직원들 사이에서 출세를 유도하는 데만 도움이 된다고 느꼈습니다. 도전적인 환자의 상호작용에 대한 특정한 반응을 인식하고 선택하는 것은 이 학생이 잠재적으로 감정적으로 흥분한 만남을 효과적으로 탐색하는 데 도움이 되었습니다. 

For example, one student wrote, “I chose to avoid addressing her cultural slurs because I feel that it would only have inflamed the situation. I actually felt that she did not believe those slurs, but that they served only to elicit a rise out of myself and the staff in order to lower our threshold for antibiotics.” Recognizing and specifically choosing a particular response to a challenging patient interaction helped this student effectively navigate a potentially emotionally charged encounter.

또 다른 학생은 "따라서 다음 번에 환자가 나를 병신이라고 잘못 부르면, 아마도 나는 다른 많은 사람들이 자신의 역할을 다하고 있다는 것을 상기시켜준 것에 대해 조용히 감사할 것이다."라고 썼다.

Another student wrote, “So the next time a patient wrongfully calls me a jerk, maybe I’ll silently thank him a little for reminding me that there are plenty of other people out there pulling their weight.” 

이러한 인용문은 잠재적으로 도발적인 상황에서 학생의 반응을 선택하게 한 인식을 나타내며, 학생이 경험될 수 있는 모욕 등 환자의 부정적인 의견에 대한 관점을 얻는 데 도움을 줍니다. 이 범주는 환자가 마주치는 과정에서 학생들이 자신의 행동을 적응시키는 방법을 배우는 성숙(및 회복탄력성 구축) 과정을 포착합니다.

These quotes illustrate the awareness informing the student’s response choice within a potentially provocative situation, and help the student gain perspective on patients’ negative comments including insults that may be experienced. This category captures the maturation (and/or resilience building) process by which students learn to adapt their behaviors to challenges within patient encounters.

네 번째 주제 범주인 [PIF에 영향을 미치는 환자 요인]은 학생이 의사로서의 전문적 성장에 기여하는 것으로 식별한 환자 요소를 포함합니다. 이러한 요인에는 환자 및 그 가족과의 의견 차이, 환자의 건강에 영향을 미치는 사회적 문제, 환자에 대한 신뢰에 대한 의문을 제기하는 문제가 포함된다. 

The fourth thematic category, patient factors that impact PIF, includes patient factors identified by students as contributing to their professional growth as physicians. Such factors include disagreements with patients and their families, social issues that impact patients’ health, and issues that raise questions of trust in patients.

한 학생은 다음과 같이 썼다. "나는 통제된 약물을 피하는 유일한 예외를 제외하고, 다른 환자들처럼 약물을 찾는 환자들을 계속 치료하는 것이 매우 중요하다고 생각한다. 저는 이것이 어떤 사람이 어디에서 왔는지, 어떤 경험을 했는지, 그리고 그것이 환자의 행동의 특성에 어떻게 영향을 미치는지 이해하는 좋은 예라고 생각합니다. 또 약물 남용 문제가 있는 사람들이 실제 병리학 앞에서 적절한 통증 조절과 관리를 받을 수 있도록 하는 것이 제가 직면한 딜레마의 완벽한 예라고 생각합니다. 

One student wrote, “I really think that it is extremely important to continue to treat drug seeking patients like any other patient with the only exception being to avoid controlled substances. I think that this is a great example of understanding the background of where someone is coming from and what they have experienced and how it influences the specific nature of the behaviors of patients. I also think that it is a perfect example of the exact dilemma I am faced with, which is to ensure that those with narcotic abuse issues receive proper pain control and management in the face of real pathology.” 

이 딜레마(진통제에 어려움을 겪은 전력이 있는 환자의 통증 관리 방법)는 학생 자신의 전문성 발달에 영향을 미치는 약물 남용 환자와 관련된 문제로 학생에 의해 인식된다.

  • 학생들은 미래에 이러한 만남들을 어떻게 인식하고 관리할 것인가?
  • 이러한 유형의 환자 상호작용이 야기할 수 있는 문제를 인지한 후, 학생은 향후 실습에서 어떻게 적절한 관리 표준을 유지할 것인가?

높은 자기 인식과 함께 이러한 요소들을 비판적으로 성찰하면 학생들이 미래의 환자와 상호작용하고 치료하고자 하는 방법에 대한 이해를 촉진할 수 있으며, 잠재적으로 건강한 PIF를 지원할 수 있습니다.

This dilemma – how to manage pain in a patient with a history of difficulties with pain medications – is recognized by the student as an issue associated with patients with substance abuse that impacts the student’s own professional development –

  • How will the student perceive and manage these encounters in the future?
  • How will the student maintain appropriate standards of care in future practice after recognizing the challenges that this type of patient interaction can create?

Critically reflecting on these factors with heightened self-awareness can foster students’ understanding of the way they wish to interact with and treat their future patients, potentially supporting healthy PIF.


다섯 번째 주제 범주, [PIF에 영향을 미치는 외부(비환자) 요인]에는 역할 모델(일반적으로 교훈), 환자 치료 관계의 종적 성격의 영향1차 진료와 관련된 특정 속성이 포함된다. 환자 자신과는 특별히 관련이 없지만 잠재력이 있는 요인PIF에 영향을 줍니다. 

The fifth thematic category, external (non-patient) factors that impact PIF includes behaviors and attitudes of role models (usually preceptors), the impact of the longitudinal nature of patient care relationships, and certain attributes specific to primary care; factors which are not specifically related to the patients themselves but which potentially impact PIF.

예를 들어, 한 학생은 이렇게 썼다. "어떻게 하면 나를 더 신뢰할 수 있는 사람으로 만들 수 있을지 모르겠지만, 나는 내가 의대생이 아닌 실제 의사가 되는 미래에 그것이 문제가 되지 않기를 바란다. 시간과 반복적인 상호작용이 있어야만 어느 정도의 신뢰가 쌓일 수 있다고 생각하기 때문에 종적 치료를 할 수 있다면 더 좋을 것입니다. 이 학생은 의사-환자 치료 관계의 유형(예: 지속적 대 일시적)을 성찰하여 미래의 의사-환자 관계에서 서로 다른 치료 시스템이 수행할 수 있는 역할을 고려하고 있다. 이러한 요소들 또한 학생들의 직업적 성장에 중요한 기여를 할 수 있다.

For example, one student wrote, “I don’t know how to make myself come across as more of a trustworthy person, but I hope that won’t be as problematic in the future when I will be not just a medical student, but the actual doctor. It would be even better if I could provide longitudinal care, because I think certain levels of trust can only be established with time and repeated interactions.” This student, reflecting upon types of physician–patient care relationships (e.g. continuous versus episodic), is considering the role that different systems of care may play in future physician–patient relationships. These factors too, can be important contributors to students’ professional growth.

 

전체 모델
Overall model

우리는 학생들의 RW에서 [PIF 드러남 모델](그림 1)을 개발했다. 학생 자신의 배경과 이전의 의학 경험에서 얻은 내적 감정 및 인식은 외부(환자 및 비환자 모두) 요소와 결합되어 환자와 상호작용할 때 학생들에게 영향을 미치는 일련의 입력 정보를 생성합니다. 환자와 함께 검사실에 있는 동안, 추가적인 새로운 요소들이 작용하고, 학생들은 (방의 실제 물리적 공간뿐만 아니라 그들 자신의 "정신적" 공간에 있는) 감정, 인식, 그리고 외부 영향을 빠르게 처리하고 있다. RW는, 「공감/공감 부족, 격려/환멸, 책으로부터 배우는 것, 환자로부터 배우는 것, 그리고 한 학생이 쓴 것처럼, 「이상화된 비전과 살아 있는 현실과의 불일치」와 같은 양극화를 처리하는 것이 종종 수반된다고 밝히고 있습니다. 모델 내의 "긴급" 단계는 의사로서의 직업적 정체성의 출현과 관련이 있습니다.
We developed a model (Figure 1) of emerging PIF derived from students’ RWs. The students’ own backgrounds, as well as internal emotions and cognitions from previous experiences in medicine, merge with external (both patient and non-patient) factors to create a group of inputs impacting students as they interact with their patients. While in the examining room with patients, additional new factors come into play, and students (both in their own “mental” space as well as in the actual physical space of the room) are rapidly processing the emotions, cognitions, and external influences that coalesce within them. The RWs reveal that processing often involves polarities such as empathy/lack of empathy; encouragement/disillusionment; learning from books/learning from patients and as one student wrote, “dissonance between my idealized visions and the lived reality.” The “Emergence” phase within the model relates to the emergence of a professional identity as a physician.

논의
Discussion


PIF는 시간이 지남에 따라 진화하며 학습 상황에 영향을 받습니다. 일부는 임상적 만남 내에서 구조화됩니다. 경험에 대한 안내된 성찰guided reflection(예: IRW 사용)은 형성적, 능동적, 건설적인 PIF 과정을 지원할 수 있다. 3학년 사무직 학생들의 RW에 대한 연구 결과는 PIF의 새로운 모델의 4가지 구성 요소 각각에 대한 주제와 주제 카테고리를 포함한다. 내부 및 외부 요인, 처리 및 (프로패셔널 정체성의) 출현. PIF의 고유한 복잡성을 포착하고 PIF 프로세스에 대한 이해 수준을 높일 수 있는 방법으로 복잡한 정보를 정리하는 데 도움이 되는 PIF 신흥 모델(그림 1)을 제공합니다. 본 연구는 가정의학과 관련된 주제를 넘어 평생 프로세스 내에서 계속 진화하는 새로운 또는 "예상적인anticipatory" 직업 정체성의 모델을 지원하는 것으로 "RW의 파워 툴"의 범위를 넓힌다. "우리는 경험에서 배우는 것이 아니라, 경험을 성찰하면서 배우는 것"이라는 Dewey의 공식에 따라, 우리의 연구는 PIF 출현 내에서 변혁적 학습(Mezirow 1991)을 지원하기 위해 환자와의 만남에 도전하는 경험과 그 경험에 대한 구조화되고 안내된 성찰로서의 IRW 연습을 결합한다.

PIF evolves over time and is influenced by learning situations, some structured within clinical encounters. Guided reflection on experience (e.g. using IRW) may be formative and can support the active, constructive, developmental process of PIF (Wald 2015a). The outcomes of our study of third-year Clerkship students’ RWs include themes and thematic categories for each of the four components of an emergent model of PIF, i.e. Internal and External Factors, Processing, and Emergence (of professional identity). We offer the PIF emergent model supported by our findings (Figure 1) as helping to capture the inherent complexity of PIF and organize complex information in a way that can increase our level of understanding of the PIF process. Our study broadens the scope of the “power tool of RW” (Wald et al. 2015) beyond themes related to family medicine (Bradner et al. 2015) to those supporting a model of emerging or “anticipatory” professional identity (Mavor and McNeill 2015), which continues to evolve within a lifelong process. In line with Dewey’s formulation that “we do not learn from experience, we learn from reflecting on experience” (Dewey 1933), our study combines the experience of challenging patient encounters with an IRW exercise as structured, guided reflection on that experience to help support transformative learning (Mezirow 1991) within PIF emergence.

[도전적인 환자 조우]라는 주제에 관한 구조화된 글쓰기 프롬프트는 초기 전문직의 "혼란스러운 딜레마disorienting dilemmas"를 인식하고 해결할 수 있는 기회를 제공한다. 의사-환자 관계 내에서 다양한 감정을 포함한 영향에 대한 성찰은 PIF 내에서 의대생의 정서 발달과 복지에 기여할 수 있다. 의사가 되기 위한 정서적 과정(Wald 2011)이 있으며, 주제별 분석 결과 학습자의 정서적 스펙트럼(충돌, 양극성, 이중성 포함)이 조기에 발견되었으며, 이는 어려운 임상 경험입니다. 이중성은 이러한 이중성을 초월한 전문적 정체성의 '발현emergence'의 핵심인 '처리processing'에 기여한다. 그러나 이 시점에서 [전문직 정체성의 출현]이 감정적 양극성을 탐색/관리하며 발생하는 "창조적 긴장creative tension"의 불편함 또는 "방향을 잃게 하는disorienting" 경험을 반드시 "해결solve"해주는 것은 아닙니다.
A structured writing prompt on the topic of a challenging patient encounter provides an opportunity for recognizing and grappling with “disorienting dilemmas” of the emerging professional (Mezirow 1991). Reflection on affect including a spectrum of emotions within the physician–patient relationship can contribute to the emotional development and well-being of a medical student within PIF (Helmich et al. 2012; Lipsitt 2015). There is an emotional process to becoming a physician (Wald 2011) and our thematic analyses revealed an emotional spectrum (with conflicts and polarities or dualities) for learners within early, challenging clinical experiences. Such dualities as noted in Table 1 contribute to the “processing,” core to the “emergence” of a professional identity that transcends such dualities. The emergence of professional identity at this point, however, does not necessarily “solve” the uncomfortable or “disorienting” (Lipsitt 2015) experience of “creative tension” when navigating/managing affective polarities (Monrouxe 2010).

IRW 커리큘럼은 "취약성, 수치심, 탄력성, 자신감 및 불확실성에 대한 커리큘럼 대화"를 장려하는 수단으로서, 의학 교육에서 유용하게 제안된다. 또한 IRW 커리큘럼은 [정서적 자기 인식]을 함양하는 데 도움이 될 수 있다. 조사되지 않은 감정이 잠재적으로 스트레스를 발생시키고 의사의 피로와 잘못된 판단의 원인이 될 수 있기 때문에 환자 치료에 영향을 미칠 수 있는 감정을 식별하고 다루는 것을 포함하여 의사 교육이 필요합니다. 감정 인식/감각이 성찰 능력의 핵심 요소이기 때문에 IRW 강화 성찰은 감정 인식, 규제 및 관리의 보다 건강한 기술을 습득하는 데 도움이 될 수 있다. 감정 지능의 구성 요소인 프로토 전문가와 숙련된 임상의는 물론 감정 지능의 구성 요소이다. 커리큘럼 패러다임은 다음을 가능하게 한다. 

  • 내러티브를 발판으로 한 협력적인 동료 성찰, 
  • 교수진 촉진자(소규모 그룹 촉진자 교육을 받은 교육자)에 의해 안내되는 성찰 및 
  • 감정의식(및 검증)을 촉진할 수 있는 개별화된 피드백.

The IRW curriculum is a means of encouraging “curriculum conversation about vulnerability, shame, resilience, confidence, and uncertainty,” proposed as useful within medical education (Lipsitt 2015, p. 67) and may help cultivate emotional self-awareness. Physician training is needed to increase self-awareness including identifying and working with emotions that may affect patient care given that unexamined emotions are potentially stress-generating and can contribute to physician burnout and poor judgment (Meier et al. 2001). Given that emotional awareness/insight is a key element of reflective capacity (Wald et al. 2012), IRW-enhanced reflection may help facilitate the acquisition of healthier skills of emotional awareness, regulation, and management, components of emotional intelligence (Mayer and Salovey 2007) for proto-professionals as well as seasoned clinicians. The curriculum paradigm allows for

  • collaborative peer reflection with narrative as a springboard,
  • reflection guided by faculty facilitators (ideally trained in small group facilitation), and
  • individualized feedback which may promote emotional awareness (and validation) as well.



지적 요소와 정서적 요소를 모두 포함하는 성찰적 자기 인식은 공감을 촉진합니다. 임상 실무 내에서 감정 스펙트럼(극성 및 양면성을 포함할 수 있음)에 대한 RW-enhanced reflection은 이 과정을 지원하는 매개체 역할을 할 수 있다. 학생들이 복잡한 환자 치료 상호작용을 탐색할 때 감정의 극성polarity을 인식, 처리 및 관리하는 것이 PIF의 핵심 요소입니다. 임상실습 경험 중 환자와의 만남에 대한 학생들의 RW는 실무적 현실에서 [환자의 공감]과 [환자의 객관화] 사이에서 관찰된 상충하는 담론에 따라 공감의 미묘한 관점을 드러냈다(Allen et al. 2008). 우리의 RW 분석은 3학년 때 공감에 대한 대안적 렌즈를 제공한다. 우리가 아는 한, 문학에서는 설명되지 않았다. 즉, 학생들이 도전적인 만남에서 공감의 잠재적 상실을 고민하고 우려하는 것이다. 이러한 성찰적 과정과 보다 미묘한 관점은 현재의 공감의 양적 측정치 내에서 완전히 포착되지 않을 수 있다. 우리의 연구결과는 공감의 복잡성에 대처하기 위해 여러 가지 형태의 측정을 요구하는 것과 일치합니다.

Reflective self-awareness that includes both intellectual and affective components (Bryan and Babelay 2009) promotes empathy (Ahrweiler et al. 2014). RW-enhanced reflection on the emotional spectrum (which can include polarities and ambivalence) within a clinical practice may serve as a vehicle supporting this process. Recognizing, processing, and managing polarity of emotions as students navigate complicated patient care interactions is a key element of PIF (Helmich et al. 2014; Dornan et al. 2015). Our students’ RWs on challenging patient encounters during clerkship experience revealed a more nuanced view of empathy, in line with observed competing discourse between empathy and objectification of the patient in the realities of practice (Allen et al. 2008). Our RW analyses provide an alternative lens on empathy in the third year, one which to our knowledge has not been described in the literature, i.e. students grappling with and concerned about potential loss of empathy within challenging encounters. Such a reflective process and a more nuanced view may not be fully captured within current quantitative measures of empathy. Our findings are in line with the call for multiple forms of measurement to address the complexity of empathy (Smith et al. 2017).

 

PIF 프로세스를 지원하기 위한 안전한 반사 공간으로서의 IRW
IRW as a safe reflective space for supporting PIF process

우리의 결과는 또한 학생들이 "인지적 불균형"과 "감정적이고 도덕적인 고통" 또는 "감정적인 불균형"과 씨름하고 있다는 것을 보여주었습니다. 이상주의가 의사의 생생한 경험의 현실과 일치하기 때문입니다. [인지적 불균형]의 경험, 즉 낯설거나 새로운 생각, 가치관, 관점 또는 상황을 접하는 것은 [정체성과 역량 변화]의 잠재적 지표이다. 자기 세계관의 새로운 관점을 통합하면서, [정체성 구축과 새로운 학습]의 [지적, 감정적, 도덕적 발달의 임계threshold 순간]을 초래할 수 있기 때문이다.

Our results also indicated students grappling with “cognitive disequilibrium” as well as “empathic and moral distress” or “affective disequilibrium” (Kumagai 2008) within challenging patient encounters as idealism meets realities of the lived experience of doctoring. The experience of cognitive disequilibrium, i.e. encountering unfamiliar or new ideas, values, perspectives, or circumstances, is a potential marker of a shift in identity and competence as it may result in threshold moments of intellectual, emotional, and/or moral development within identity construction and new learning with an incorporation of new perspectives in one’s own worldview (Kumagai 2008; Jarvis-Selinger et al. 2012).

PI의 "새로운" 단계, 통찰력, 개념, 기술 또는 기타 참신한 측면은 학생의 안전 영역에 도전하여 전문 지식과 자기 효율성을 확장할 수 있는 기회를 만듭니다. 우리의 IRW 커리큘럼 내에서, 그리고 그 후 협력적으로 촉진되는 소규모 그룹 성찰 내에서 다양한 감정적 및 인지적 부조화에 대처할 수 있는 기회는 이 "성장 과정"을 이상적으로 지원할 수 있으며, 잠재적으로 불쾌감 및 관련 스트레스를 줄일 수 있다. 일반적으로 주제 분석과 emergent PIF 모델의 결과는 모델의 처리 구성요소(그림 1) 내의 RW 관련 메타 인지 및 메타 효과(Epstein 1999)가 새로운 PIF(의사의 비기술적 측면 포함)를 지원할 수 있음을 시사한다.

“New” steps, insights, concepts, skills or other novel aspects of PI challenge a student’s comfort zone, creating opportunities for expanding expertise and self-efficacy. The opportunity within our IRW curriculum to grapple with various emotional and cognitive dissonances within RW and subsequently within collaborative facilitated small group reflection can ideally support this “growth process,” potentially reducing discomfort and/or associated stress. In general, the results of our thematic analyses and emergent PIF model suggest that RW-associated meta-cognition and meta-effect (Epstein 1999) within the Processing component of our model (Figure 1) can support emerging PIF (including nontechnical aspects of physicians).

이 모델을 만들게 된 학생들의 RW 내에서, 긍정적인 쪽과 부정적인 쪽 모두에서, 우리는 학생들이 [그들의 지도교사로부터 다양한 주제와 카테고리에 대해 배우고 있는 정도]와 [역할 모델의 영향에 대한 그들의 생생한 묘사]에 감명을 받았다. 이전 보고서와 마찬가지로 임상 환경에서 예외적인 역할 모델과 부정적인 역할 모델 모두 학생들의 정서 발달에 영향을 미칠 수 있다는 것을 발견했습니다. 일반적으로, 의대생들에게 불확실성과 모호함을 견디도록 가르치는 것은 어렵다. 우리의 분석은 롤모델이 연습생과의 상호작용에서 언어 표현과 비언어 제스처 모두에 미치는 영향에 대한 자기 인식의 필요성을 강조한다.
Within the students’ RWs informing our formulation of this model, we were struck by the degree to which students were learning about the various emergent themes and categories from their preceptors and their vivid descriptions of the impact of role models, both positive and negative. In line with previous reports, we find both exceptional and negative role models in clinical settings potentially impacting students’ emotional development (Murinson et al. 2011; Clay et al. 2015). In general, teaching medical students to tolerate uncertainty and ambiguity (including recognizing one’s own limitations) is challenging (Campbell 2014). Our analyses highlight the need for role models’ self-awareness of the impact of both their verbalizations and nonverbal gestures within their interactions with trainees.

긍정적인 숨겨진 커리큘럼을 촉진하는 IRW 강화 반영
IRW-enhanced reflection facilitating a positive hidden curriculum

"잠재 교육과정" 개념은 "문화, 구조 및 제도가 PIF에 어떻게 영향을 미치는지"를 포함하여, 암묵적 학습의 효과를 가시화한다. 의학 교육을 공부할 때 맥락의 중요성을 받아들이는 것은 숨겨진 커리큘럼 정의 프레임워크 내에서 강조되어 왔다. 우리의 IRW-enhanced reflective "문화적 맥락"은 임상적 실천의 복잡성을 인식하고 대처하는 과정을 장려하고, 표준화하며, 명시하며, 우리는 이를 PIF를 서포트하는 "긍정적 숨겨진 커리큘럼"으로 개념화한다. 이러한 "긍정적인 숨겨진 커리큘럼"은 숨겨진 커리큘럼에서 "긍정적인 것을 기억하라"는 최근의 요구에 부합하며, 원하는 태도와 행동을 영속화할 수 있는 잠재력을 가지고 있다. 우리의 연구는 이 단계에서 학생들의 RW가 전문직 정체성 형성적 과정을 보여주는 창구 역할을 하는 은밀한 것을 이제 명백하게 한다. 우리는 [의료의 현실과 씨름하는 과정]을 커리큘럼 목표이자 "긍정적인 잠재 교육과정"으로 규정하고, 이것이 "의사의 도덕적 침식과 의료의 인도주의적 가치의 인식 훼손"을 포함한 부정적인 잠재 교육과정 효과의 일반적인 개념을 상쇄할 것이라 생각한다. 

The “hidden curriculum” concept makes the effects of tacit learning visible, “including how culture, structures, and institutions influence PIF” (Martimianakis et al. 2015). Embracing the importance of context when studying medical education has been highlighted within the hidden curriculum definitional framework (Hafferty et al. 2015). Our IRW-enhanced reflective “cultural context” (Fins and Rodríguez del Pozo 2011) encourages, normalizes, and makes explicit the process of recognizing and grappling with the complexities of clinical practice which we conceptualize as a “positive hidden curriculum” supporting PIF. Such a “positive hidden curriculum” answers the recent call to “remember the positive” within the hidden curriculum (Lawrence et al. 2017) and has the potential to perpetuate desired attitudes and behaviors (Holmes et al. 2015). Our study makes the covert now overt, with the students’ RWs serving as a window into the formative professional identity process at this stage. We frame the process of grappling with realities of medicine (supported by IRW pedagogy) as a curricular objective and “positive hidden curriculum” to potentially counterbalance the prevailing notion of negative hidden curriculum effects including “moral erosion of physicians and perceived undermining of humanistic values in health care” (Martimianakis et al. 2015).

내러티브를 통해 경험을 깊이 있는 개인 및 직업적 가치 및 새로운 가치에 연결하면 PIF를 형성할 수 있으며, 이는 , PIF 모델의 "Emergence" 구성요소인 "진행 중인 작업work in progress"과 일관된다. RW를 통한 의미 창출의 기회에는 감정적 양극성을 포함한 순간과의 "씨름"이 포함되어 있으며, "우리 안에 앉는 것에 대한 불편함을 허용"한다(보칸 1999). [양극화된polarized 공간에 유예suspended되어 있는 것]은 학생들을 편안한 영역에서 밀어내기 때문에 불안하게 만들지만, 그러한 경험은 잠재적으로 개인적이고 전문적인 성숙에 기여할 수 있습니다. 그 중에는 이전에 불안했던 상황에서의 침착함, 감정적인 양극성의 증가 및 통합이 포함됩니다. IRW 과제는 (감정과 관련된 작업 및 안내guided 피드백과 연계하여) 학생이 자신의 경험을 프로세싱 하도록 초대하며, PIF가 형성되는 과정에서 (기술 습득, 성능 범위 확장, 가치 명확화, 복원력을 잠재적으로 지원할 수 있는) 마음, 생각, 실천 습관을 개발하도록 장려합니다. 일반적으로, 우리의 분석은 반사적 자기 인식의 품질과 의료행위의 회복력과 연계되어 건강한 PIF의 과정을 잠재적으로 지원할 수 있는 정서 지능의 구성요소를 밝혀냈다.

Connecting experiences to deeply held personal and professional values and emerging values through narrative can help shape PIF (Rutberg and Gaufberg 2015), consistent with the “Emergence” component of our PIF model, a “work in progress.” The opportunity for meaning-making through RW includes “wrestling” with moments, including emotional polarities, “allowing the discomfort they generate to sit inside us” (Borkan 1999). Being suspended in polarized space may be unsettling as it can push students out of their comfort zone, yet such experience can potentially contribute to personal and professional maturation including equanimity within formerly unsettling situations (Helmich et al. 2014) and increased tolerance and integration of emotional polarities. The IRW assignment provides an invitation for processing their experience including working with the emotions (Shapiro et al. 2016) and in conjunction with guided feedback, encourages the development of new habits of mind, heart, and practice (Shulman 2005) that can potentially support skill acquisition, expansion of performance scope, values clarification, and resilience within emerging PIF (Wald 2015a). In general, our analyses revealed qualities of reflective self-awareness and components of emotional intelligence that have been linked to resilience in medical practice (Howe et al. 2009; Olson et al. 2015) and can thus potentially support the process of healthy PIF.

우리의 결과는 이 연구의 잠재적인 한계에 비추어 해석되어야 한다. 학생들의 RW는 교직원 및 잠재적으로 동료들과 공유되는 필수 과제였기 때문에, "사회적 바람직성"에 대한 문제가 제기될 수 있다. 그러나, 우리 기관에는 솔직함의 문화가 강하게 남아 있고, 임상 경험의 긍정적인 면과 부정적인 면을 모두 드러낸 글들이 있다. 이러한 우려는 RW가 학생들의 성적에 기여하지 않았다는 사실에 의해 더욱 완화된다. 게다가, 몇몇 연구자들이 그 과정의 일부였고, 잠재적인 편견의 원천이었다. 그러나 잠재적 편견을 투명하게 하고 분석의 신뢰성과 신뢰성에 대한 외부 감사원으로 연구원을 배치함으로써 그러한 가능성을 해결하고 최소화하기 위해 필요한 예방 조치를 취했다. 마지막으로, 본 연구의 결과는 1개의 기관과 1개의 임상실습(및 1개의 학년(3학년))을 나타냈기 때문에, 이러한 조사 결과를 다른 연수 사이트에 일반화하는 데 주의를 기울일 것을 제안한다. 이 연구의 범위를 확대하기 위한 미래 연구에는 일반화를 보장하기 위해 여러 기관 내에서 이 연구를 복제하고 다른 정량적 연구와의 결과를 삼각측량하는 것이 포함될 수 있다. 예를 들어, (IRW와 관련된) PIF의 성장을 증명하기 위해 학생 설문지를 관리하는 것은 IRW 교육학을 구현하지 않은 학교의 다른 학생 표본과 비교하는 것을 고려할 수 있다.

Our results should be interpreted in light of the potential limitations of this study. Since students’ RWs were a required assignment shared with faculty and potentially with peers, the question of “social desirability” may be raised. A culture of candor, however, remains strong at our institution and writings revealed both positive and negative aspects of clinical experiences. This concern is further mitigated by the fact that the RWs did not contribute to the students’ grades. In addition, several of the researchers were part of the course, a potential source of bias. However, necessary precautions were taken to address and minimize such potential by making potential biases transparent and having a researcher as an external auditor of trustworthiness and credibility of the analysis. Lastly, outcomes of this study represented one institution and one clerkship (as well as one training year, year 3), thus, we suggest caution with generalizing these findings to other training sites. Future research to expand the scope of this study could include replicating this study within multiple institutions to assure its generalizability and triangulating results with other quantitative research. Administering student questionnaires to demonstrate growth in PIF (as related to IRW) could be considered, for example, with a comparison to another student sample at an institution that has not implemented IRW pedagogy.

결론들
Conclusions

의대 3학년의 도전적인 환자와의 만남에 대한 RW에 대한 연구는 자신의 가치관, 태도, 감정(생각과 행동)에 대한 인식과 새로운 이해, 프로토프로로서의 역할, 환자, 동료 및 다른 사람과의 경험의 영향, 롤모델의 영향 등 PIF를 위한 수단으로서의 이 방법을 뒷받침한다.  3년째의 그러한 RW 연습은 1년차 및 2년차(초기 단계에서 형성적 피드백을 제공하는 훈련된 교직원과 함께)의 IRW 패러다임을 기반으로 하고 있으며, 학생들이 전문 사회화 내에서 새로운 존재, 관련성 및 수행 방법을 개발하는 발판을 마련하고 있다. 임상실습 학생들의 RW에 대한 주제 분석은 3년차에 [PIF의 잠재적 출현 모델emergent model]을 밝혀냈다. 

Our study of third-year medical students’ RWs about a challenging patient encounter supports this modality as a vehicle for PIF, including awareness and new understandings of one’s values, attitudes, and emotions (thoughts and actions), role as a proto-professional, impact of experiences with patients, colleagues, and others, and influence of role models. Such RW exercises within the third year build on the IRW paradigm within years 1 and 2 (with trained faculty providing formative feedback at early stages) and hopefully scaffold students’ developing new ways of being, relating, and doing within professional socialization. Thematic analyses of Clerkship students’ RWs revealed a potential emergent model of PIF in the third year.

이러한 'grappling"은, "새로운 파괴적 요소" 속에서 임상(및 기타) 경험을 처리, 분석, 평가하는 것이다. 이 과정에서 의미를 만들고, 이 의미는 변혁적 학습으로 이어져서 한 사람의 전문직 정체성을 (trans)formation시키고, 행동에 영향을 준다. 임상 업무의 '지저분함'는 전문직업적 전문성 핵심이다. 우리는 [휴머니즘적인 학습 환경 내에서의 복잡한 경험]에 대해 [학습자를 guided critical reflection에 참여시키는 것]이 [의료 관행의 불가피한 도전]에 "준비된" 마음과 생각을 가진, [성찰적이고 탄력적인 전문가]를 양성하여, 이상적으로는 의학에서의 휴머니즘을 보존할 귀중한 방법이라고 제안한다.

The “grappling,” the processing, the analysis, and evaluation of clinical (and other) experiences within a “novel disruptive element” (Kumagai 2010) is the meaning-making, leading to transformative learning about one’s “becoming,” one’s professional identity (trans)formation (Wald 2015a) which impacts behavior. The “messiness” of clinical practice is at the heart of professional expertise (Schön 1987). We propose engaging our learners in guided critical reflection about complex experiences within a humanistic learning climate (Gracey et al. 2005) as a valuable way to cultivate reflective and resilient professionals with “prepared” minds and hearts for the inevitable challenges of health care practice, ideally preserving humanism in medicine.


Med Teach. 2019 Feb;41(2):152-160.

 doi: 10.1080/0142159X.2018.1475727. Epub 2018 Jun 26.

Grappling with complexity: Medical students' reflective writings about challenging patient encounters as a window into professional identity formation

Affiliations collapse

Affiliations

1a Department of Family Medicine , Warren Alpert Medical School of Brown University , Providence , RI , USA.

2b Department of Medical Education , Hebrew University/Hadassah , Jerusalem , NY , USA.

3c Department of Family Medicine , Mayo Clinic Health System Franciscan Healthcare in La Crosse , La Crosse , WI , USA.

PMID: 29944035

DOI: 10.1080/0142159X.2018.1475727

Abstract

Aim: Clerkship-specific interactive reflective writing (IRW)-enhanced reflection may enhance professional identity formation (PIF), a fundamental goal of medical education. PIF process as revealed in students? reflective writing (RW) has been understudied.

Methods: The authors developed an IRW curriculum within a Family Medicine Clerkship (FMC) and analyzed students? reflections about challenging/difficult patient encounters using immersion-crystallization qualitative analysis.

Results: The qualitative analysis identified 26 unique emergent themes and five distinct thematic categories (1. Role of emotions, 2. Role of cognition, 3. Behaviorally responding to situational context, 4. Patient factors, and 5. External factors) as well as an emergent PIF model from a directed content analysis. The model describes students? backgrounds, emotions and previous experiences in medicine merging with external factors and processed during student?patient interactions. The RWs also revealed that processing often involves polarities (e.g. empathy/lack of empathy or encouragement/disillusionment) as well as dissonance between idealized visions and lived reality.

Conclusions: IRW facilitates and ideally supports grappling with the lived reality of medicine; uncovering a "positive hidden curriculum" within medical education. The authors propose engaging learners in guided critical reflection about complex experiences for meaning-making within a safe learning climate as a valuable way to cultivate reflective, resilient professionals with "prepared" minds and hearts for inevitable challenges of healthcare practice.

Carle Illinois College of Medicine (Acad Med, 2020)
Jennifer R. Amos, PhD, William J. Pluta, PhD, Sol Roberts-Lieb, EdD, Judith L. Rowen, MD,
Lexi Shurilla, MS, Robert C. Wallon, and Heather Wright

 

의료 교육 프로그램의 주요 내용
Medical Education Program Highlights

  • 공학 통합: 일리노이 대학교 어바나-샴페인(Urbana-Champaign)과 칼 재단(CIMED)의 공공-민간 파트너십인 칼 일리노이 의과대학(Carle Illlinois Medicine of Medicine)은 의사-혁신가 졸업하는 것을 목표로 한다. CIMED는 이 재설계된 의과대학의 중추로서 4년 3단계 교육과정의 모든 부분에 공학을 구축했다.
    • 1시기 임상전 과정에서는 공학 개념이 주간 문제 기반 학습(PBL) 사례와 의료 엔지니어링 발견 및 혁신(MEDI) 실험실 세션을 통해 짜여진다.
    • 2시기 임상실습은 "엔지니어링 파트너" 교직원이 매주 학생들과 회진하여 잠재적 엔지니어링/기술/설계 솔루션의 문제를 파악하고, 이를 혁신, 설계, 엔지니어링 및 분석(IDEA) 과정에서 개발하고 해결합니다.
    • Capstone 및 Data Science Project 과정은 3단계의 일부이다.

 

  • Engineering integration: Carle Illinois College of Medicine (CIMED), a public–private partnership between the University of Illinois at Urbana–Champaign and the Carle Foundation, aims to graduate physician–innovators. As the backbone of this reenvisioned medical school, CIMED built engineering into every part of its 4-year, 3-phase curriculum.
    • In Phase 1 preclinical courses, engineering concepts weave through weekly problem-based learning (PBL) cases and Medical Engineering Discovery and Innovation (MEDI) laboratory sessions.
    • In Phase 2 clinical clerkships, an “engineering partner” faculty member rounds with students weekly to identify problems with potential engineering/technology/design solutions, which students then develop and address in the Innovation, Design, Engineering and Analysis (IDEA) course.
    • Capstone and Data Science Project courses are part of Phase 3.

 

  • 초기 임상노출: 학생들이 의과대학 1학년 동안 지역사회 기반 강사와 매주 세션에 참석함에 따라 임상노출이 즉시 시작됩니다. 종단적 가정의학 임상실습은 2학년을 시작하는 7월에 시작한다. 임상실습 기간 동안, 학생들은 저녁 진료소에서 교수진의 감독을 받는 주요 제공자이다. 학생들은 18개월 동안 매주 클리닉 세션을 진행하며 전화 앱을 통해 임상 기술을 직접 관찰함으로써 매주 피드백을 받는다.
    Early clinical exposure: Clinical exposure begins immediately as students attend weekly sessions with a community-based preceptor for the first year of medical school. A longitudinal family medicine clerkship begins in July to start year 2. During the clerkship, students are the primary providers with faculty oversight in an evening clinic. The students have clinic sessions weekly for 18 months and receive weekly feedback from direct observation of clinical skills via a phone app.

 

  • 혁신적인 입학 절차: 양적 역량은 성적증명서나 직장 경험으로부터 분명해야 합니다. 입학을 위해 캠퍼스 내 면접은 필요하지 않습니다. 학생들은 CIMED의 "4C"를 반영한 포트폴리오를 만듭니다: 역량, 호기심, 동정심, 창의성. 화상 인터뷰는 협업과 다양성을 포함한 다른 CIMED 가치를 조사합니다. 2018년 7월 칼리 일리노이 대학교 1학년에 입학했다.
    Innovative admissions process: Quantitative competencies must be evident from transcripts or workplace experiences. No on-campus interview is required for admission. Students produce a portfolio reflecting CIMED’s “4Cs”: competence, curiosity, compassion, and creativity. A video interview probes other CIMED values including collaboration and diversity. Carle Illinois’ first class matriculated in July 2018.

 

  • 빈번하고 다양한 평가: CIMED의 의학 교육 프로그램은 빈번한 인출연습의 기회를 제공한다.
    • 1시기 전반에 걸쳐 학생들은 매주 자신의 의학 지식을 평가하고 즉각적인 피드백을 받는 퀴즈를 치른다.
    • 팀 기반 학습(TBL)은 개별 인출과 팀 토론의 기회를 제공하는 1단계 과정 전반에 걸쳐 사용된다.
    • 또한 1시기 평가에는 42개의 OSCE 스테이션, 4개의 해부학 실습 및 간격을 둔 인출을 지원하도록 설계된 5개의 발달시험progress test가 포함됩니다.
    • 2시기에서는 '위탁 가능한 전문 활동'과 연계된 학생의 역량을 평가하기 위한 진도 OSCE 프로그램이 사용된다.
  • Frequent and varied assessment: The medical education program at CIMED provides frequent opportunities for student retrieval practice.
    • Throughout Phase 1 of the curriculum, students take weekly quizzes that assess their medical knowledge and receive immediate feedback.
    • Team-based learning (TBL) is used in courses throughout Phase 1, which provides opportunities for individual retrieval and team discussion.
    • Phase 1 assessment also includes 42 OSCE stations, 4 anatomy lab practicals, and a series of 5 progress exams that are designed to support spaced retrieval.
    • In Phase 2 of the curriculum, a progress OSCE program is used to assess student competencies that are linked to Entrustable Professional Activities.

 

커리큘럼
Curriculum

커리큘럼 설명
Curriculum description

CIMED 커리큘럼은 4년 동안 3단계로 구성되어 있다: 18개월 전 임상 1상, 12개월 임상 사무직 2상, 캡스톤 및 데이터 과학 프로젝트, 임상 선택, 경력 개발 3상.
The CIMED curriculum consists of 3 phases in 4 years: an 18-month preclinical Phase 1; a 12-month clinical clerkship Phase 2; and Capstone and Data Science Projects, clinical electives, and career development in Phase 3.

https://links.lww.com/ACADMED/A831에서 보충 디지털 부록 1—교육과정 설명—을 참조하십시오.
See Supplemental Digital Appendix 1—Curriculum Description—at https://links.lww.com/ACADMED/A831.

 

평가
Assessment

https://links.lww.com/ACADMED/A831에서 보충 디지털 부록 2—프로그램 목표—를 참조하십시오.
See Supplemental Digital Appendix 2—Program Objectives—at https://links.lww.com/ACADMED/A831.

 

의료교육 프로그램 목표
Medical education program objectives


칼 일리노이는 의대생 교육을 위한 AAMC 학습 목표, ABET, Inc.의 세 가지 프레임워크를 결합한 목표를 채택하기로 결정했다. 학생 학습 결과 및 KEEN(Kern Entrepreneural Engineering Network) 교육 결과. 이 프레임워크는 대학의 미션과 핵심 역량에 부합하는 목표를 채택하기 위해 결합되었다.
Carle Illinois chose to adopt objectives combining 3 different frameworks:

  • the AAMC Learning Objectives for Medical Student Education,
  • ABET, Inc. Student Learning Outcomes, and
  • KEEN (Kern Entrepreneurial Engineering Network) educational outcomes.

It combined these frameworks to adopt objectives that aligned with the college’s mission and core competencies.

특히, 이 대학은 의사-혁신자를 위한 공학 및 혁신 학습 목표를 반영하는 목표를 추가했다. ABET는 공학, 컴퓨팅, 기술 및 응용 과학 학위를 인가하는 인증 기관입니다. ABET 학생 성과는 모든 공학 학위 및 엔지니어로서의 전문 자격증 취득에 필요합니다. KEEN 교육 성과는 또한 엔지니어링 교육 프로그램에 널리 사용되며 ABET 목표에 도입된 엔지니어링 및 설계 기술의 적용을 강화하고 혁신을 촉진하는 데 도움이 된다.
In particular, the college added objectives that reflected engineering and innovation learning goals for physician–innovators. ABET is an accreditation agency that accredits engineering, computing, technology, and applied science degrees. ABET student outcomes are required for all engineering degrees and professional licensure as an engineer. KEEN educational outcomes are also widely used in engineering educational programs and help reinforce application of engineering and design skills introduced in the ABET objectives, as well as foster innovation.

교육학
Pedagogy

  • PBL: Carle Illinois 학생들은 1단계 동안 일주일에 세 번의 2시간 PBL 세션에 참여합니다. 이 세션은 기초 과학, 임상 실습 및 엔지니어링 기술을 통합하는 사례에 초점을 맞춥니다. CIMED만의 독특한 점은 "혁신가" 역할의 추가이다; 한 학생은 사례에서 임상적으로 관련된 요구를 확인하고 가능한 새로운 해결책에 대한 토론을 이끈다. CIMED의 자랑거리는 PBL 세션을 촉진하고 1단계 전반에서 연속성을 제공하는 전임 교수진을 보유한 것입니다.
    PBL: Carle Illinois students participate in three 2-hour PBL sessions per week during Phase 1. These sessions focus on cases that integrate foundational science, clinical practice, and engineering skills. Unique to CIMED is the addition of an “innovator” role; one student identifies a clinically relevant need from the case and leads a discussion of possible novel solutions. A point of pride at CIMED is having full-time faculty who facilitate the PBL sessions, providing continuity across Phase 1.
  • TBL: CIMED의 주요 교육학은 PBL이지만, 컨텐츠와 기술 지식을 구축하고 굳히기 위해 추가적인 실습이 사용됩니다. 이러한 실습은 저널 클럽, TBL, 사례 검토, 강의의 형태를 취합니다. 첫 번째 과정에서는 TBL이 자주 사용되며 나머지 1단계에서는 과정당 평균 1~2 TBL 세션을 사용합니다.
    TBL: While the primary pedagogy at CIMED is PBL, additional practices are used to build and solidify content and skill knowledge. These practices take the form of journal clubs, TBL, case review, and lecture. TBL is used often in the first course and then averages 1 to 2 TBL sessions per course for the remainder of Phase 1.
  • 실습: 학생들은 기존의 시신 기반 해부 실습 외에도, 의학적으로 관련된 환경에서 공학적 원칙의 적용을 입증하는 MEDI 실험실 세션을 경험한다. 예를 들어, 천식 생리를 복제하는 폐 모델의 설정에서 에어로졸 입자 크기와 분포 패턴을 검토했다.
    Laboratory: In addition to traditional cadaver-based anatomy laboratories, students experience MEDI laboratory sessions demonstrating the application of engineering principles in medically relevant settings. For example, aerosol particle size and distribution patterns were reviewed in the setting of a lung model replicating asthma physiology.
  • 몰입형 프로젝트:
    • 1단계의 후반부에서 MEDI 세션은 그룹 프로젝트를 포함한다.
    • 2단계 IDEA 프로젝트 과정에서는 학생들이 환자 및 의료 시스템 문제를 파악하고 기술적 해결책을 제안합니다.
    • 3단계에서는 IDEA 프로젝트 중 하나가 학생의 캡스톤 프로젝트로 선택되며, 개발의 프로토타이핑 단계를 통해 학제 간 팀이 이를 추구합니다. 학생들은 또한 3단계에서 대규모 데이터 세트를 분석하여 인간의 건강 문제에 적용할 수 있는 데이터 과학 프로젝트를 완료합니다.
  • Immersive projects:
    • In the latter portion of Phase 1, the MEDI sessions include group projects.
    • In the Phase 2 IDEA Projects course, students identify patient and health care system problems and propose technological solutions.
    • In Phase 3, one of the IDEA projects is selected as the student’s capstone project; this is pursued in an interdisciplinary team through the prototyping stage of development. The students also complete a data science project in Phase 3, analyzing large data sets for application to human health concerns.
  • 시뮬레이션 및 가상 현실:
    • 표준화된 환자, 작업 트레이너, 충실도가 높은 마네킹 및 가상/증강 현실 활동이 과정 작업에 엮여 있다. 초음파 훈련에는 공학적 원리에 대한 탐구뿐만 아니라 영상의 획득과 해석을 포함한다. 학생들은 초음파 및 기타 시술 기술에 대한 능력을 시험 받는다.
  • Simulation and virtual reality:
    • Standardized patients, task trainers, high-fidelity manikins, and virtual/augmented reality activities are woven into coursework. Ultrasound training includes exploration of the engineering principles as well as the acquisition and interpretation of images. Students are tested to competence in ultrasound and other procedural skills.

 

임상 경험
Clinical experiences

Carle Illinois 학생들은 대부분의 훈련을 지역사회 기반 돌봄 환경에서 한다. 학생들이 훈련하는 주요 병원은 433병상 1레벨 외상센터인 칼 파운데이션 병원이다. 칼병원과 연관된 22개의 외래 환자 시설 외에도 학생들은 210병상 규모의 개인 병원뿐만 아니라 지역 내과의사가 소유한 클리닉 시스템을 통해 돌아가며 진료한다.
Carle Illinois students do most of their training in community-based care settings. The primary hospital where students train is Carle Foundation Hospital, a 433-bed, Level I Trauma Center. In addition to the 22 outpatient facilities that are associated with Carle Hospital, students rotate through a local physician-owned clinic system, as well as a 210-bed private hospital.


첫 해에 학생들은 임상 통합에 초점을 맞춘 1년 과정의 혜택을 받는다. 강의와 시뮬레이션을 통해 학생들은 임상 환경에 참여하는 데 필요한 기술을 점진적으로 개발한다. 학생들은 지역사회의 전담 교사를 찾아가 학습자의 주간 스킬 개발 정도를 평가한다. Carle Illinois 학생들은 직접적인 관찰과 시기적절하고 집중적인 피드백으로부터 이익을 얻는다.
In the first year, students benefit from a yearlong course focused on clinical integration. Through didactics and simulation, students progressively develop the skills necessary to engage in the clinical environment. Students visit a dedicated preceptor in the community who assesses the learner’s development of their weekly skill. Carle Illinois students benefit from direct observation and timely, focused feedback.

필요한 종적 경험
Required longitudinal experiences

CIMED에서 종적 경험은 3개의 시기 중 2개에 짜여져 있다.

  • 1단계 중 1단계에서는 임상 실습 입문 과정에 등록하며, 임상 기술을 개발하는 데 초점을 맞춘 1년 과정이다.
  • 1단계 2학년부터 학생들은 6개월 간의 가정의학 임상실습을 시작한다. 이 사무직은 매주 학생 클리닉뿐만 아니라, 걸어다니는 가정의학과 로테이션를 포함한다.
  • 학생 클리닉은 2단계 3학년까지 계속됩니다.

Longitudinal experiences are woven into 2 of the 3 curricular phases at CIMED.

  • In year 1 of Phase 1, students are enrolled in the Introduction to Clinical Practice course, a yearlong course that focuses on the development of clinical skills; the course includes weekly sessions in a community physician’s practice.
  • Starting in year 2 of Phase 1, students begin a 6-month family medicine clerkship. This clerkship includes ambulatory family medicine rotations, as well as a weekly student clinic.
  • The student clinic continues through year 3 of Phase 2.

 

커뮤니티 기반 필수 및 선택 순환
Required and elective community-based rotations

1단계는 "디스커버리"라는 제목의 6주 선택 기간을 포함하고 있으며, 학생들은 다양한 선택권을 가지고 있으며, 많은 글로벌 경험을 선택한다. 칼리 일리노이주 학생들은 가정의학과, 내과, 외과, 정신과, 신경과, 산부인과, 소아과 등 7개의 필수 임상실습을 가지고 있다. 가정의학은 지역사회에 기반을 두고 있으며, 정신의학, 내과, 산부인과 사무직은 칼 재단 병원 밖의 지역사회에서 발생할 수 있는 부분을 가지고 있다. 졸업을 위해서는 총 28주간의 선택elective 경험이 필요하다; 대부분은 지역사회에 기반을 두거나 지역사회 현장에서 발생하는 부분을 가지고 있다.
Phase 1 includes a 6-week elective period titled “Discovery,” where students have multiple options, with many selecting global experiences. Carle Illinois students have 7 required clerkships: family medicine, internal medicine, surgery, psychiatry, neurology, obstetrics–gynecology, and pediatrics. Family medicine is community based, and the psychiatry, internal medicine, and obstetrics–gynecology clerkships have portions that may occur in community locations outside of Carle Foundation Hospital. A total of 28 weeks of elective experience is required for graduation; many are community based or have portions that occur at community sites.

의대생 임상 경험을 설계하고 구현하는 데 있어 어려움
Challenges in designing and implementing clinical experiences for medical students

다른 새로운 의과대학들과 마찬가지로 CIMED는 임상경험의 발전에 있어서 몇 가지 장애물에 직면했다. 1년차 임상몰입 프로그램이 탄탄한데다 연중 운영되는 종적 학생클리닉까지 있어 새로운 임상교수를 모집하고 승선시키는 것은 쉽지 않은 과제였다. 또한 Urbana-Champaign은 2022년까지 일리노이 대학교 의과대학의 지역 캠퍼스이며, 두 기관의 학습자들의 요구가 균형을 이루어야 한다.
Similar to other new medical schools, CIMED faced some hurdles in the development of its clinical experiences. With a robust clinical immersion program in the first year, as well as a longitudinal student clinic that runs year-round, recruiting and onboarding new clinical faculty was a challenge. Additionally, Urbana–Champaign is a regional campus for the University of Illinois College of Medicine through 2022 and the needs of learners from both institutions must be balanced.

커리큘럼 거버넌스
Curricular Governance

  • 커리큘럼 거버넌스 위원회: 교육과정 감독위원회는 CIMED 미션에 충실하며, 공학도 3분의 1과 기초과학도 3분의 1 그리고 임상 경력이 있는 3분의 1이 있다. 위원회는 3단계에 걸쳐 모든 과정의 검토와 승인을 보고 참여한다. 위원회는 효율적인 심사가 가능하도록 사전심사분과위원회, 사무분과위원회, 엔지니어링분과위원회, 프로그램평가분과위원회 등 4개 분과위원회로 나뉜다. 각 소위원회는 제안서를 상세히 검토한 후 더 큰 위원회의 승인을 위해 검토서를 제출한다. 또한 대학 내 직원, 교수, 학생, 교직원이라면 누구나 위원회 의견을 위한 자료를 제출하거나 공개 회의에 참석할 수 있습니다. 이 과정을 통해 교수진이 행정처의 영향력 없이 교육과정을 통제하고 모든 이해관계자가 위원회에 동등한 접근 권한을 부여해 제안서를 제출할 수 있다.
    Curriculum governance committees: The Curriculum Oversight Committee is true to the CIMED mission with one-third of members from engineering; one-third of members from basic science; and one-third of members with clinical backgrounds, none of which hold an administrative title in the college. The committee sees and participates in review and approval of all courses throughout the 3 phases. To facilitate efficient review, the committee is split into 4 subcommittees: the Preclerkship Subcommittee, Clerkship Subcommittee, Engineering Subcommittee, and Program Evaluation Subcommittee. Each subcommittee does detailed review of proposals and then presents its review for endorsement of the larger committee. In addition, any administrator, faculty, student, or staff member in the college is welcome to submit materials for committee input or attend any of the public meetings. This process ensures that faculty control the curriculum without influence from the administration and that all stakeholders have equal access to the committee to submit proposals.
  • 부서 주도 거버넌스: 공공-민간 파트너십으로서 CIMED는 독특한 교수 모델을 가지고 있다. 많은 학교와 마찬가지로, 임상 교수진들은 보건 시스템(칼 재단 또는 다른 지역사회 파트너)에 의해 고용되고 CIMED에 임명된다. 칼리 일리노이는 기초 이공계 교수들에게도 비슷한 제도를 따르고 있다. 이 대학은 일리노이 대학 캠퍼스의 풍부한 콘텐츠 전문 지식을 활용한다. CIMED에는 임상 과학, 생의학 및 중개과학 두 개의 학과가 있다. 각 학과는 임명, 승진 및 종신 재직권 위원회를 유지하며 대학 수준에서 공유 지원 서비스에 액세스합니다.

    Department-led governance: As a public–private partnership, CIMED has a unique faculty model. As in many schools, the clinical faculty are employed by the health system (Carle Foundation or other community partners) and have appointments at CIMED; key personnel such as clerkship directors and course directors have designated FTE contributions to the school. Carle Illinois follows a similar system for its foundational science and engineering faculty; the faculty retain appointments in their home college, and course directors have designated effort in CIMED. The college draws on the wealth of content expertise on the University of Illinois campus. There are two departments within CIMED: Clinical Sciences, and Biomedical and Translational Sciences; the department chairs oversee faculty efforts dedicated to CIMED and report to the dean. Each of the departments maintains an Appointment, Promotions, and Tenure Committee and accesses shared support services at the college level.




 
 

교육 담당자
Education Staff

  • 과정 설계: 모든 1단계 과정은 기초과학자, 임상의, 엔지니어 등 최소 3명의 교수진이 설계한다. 교육 담당 직원은 지원 소프트웨어 관리, 테스트 프로그램 및 과정 전달을 포함하여 커리큘럼 개발 및 전달의 모든 측면을 지원합니다. 각 과정 위원회에는 교수진 또는 직원이 임명됩니다.
    Course design: All Phase 1 courses are designed by a minimum of 3 faculty: a basic scientist, clinician, and engineer. Academic affairs staff support all facets of curriculum development and delivery, including management of the supporting software, testing programs, and course delivery. An academic affairs faculty or staff member is appointed to each course committee.
  • Academic staff의 역할: Carle Illinois는 교육과정을 완전히 지원하기 위한 다양한 역할을 합니다. 여기에는
    • 의료 교육 촉진자(PBL);
    • 교육과정, 교수진 개발 및 평가 및 품질 향상을 위한 디렉터;
    • 학무 조정자,
    • 의료 교육 조정자(임상, 기초 과학),
    • 의료 사서,
    • 시뮬레이션 센터 직원(관리자, 장비 기술자, 시뮬레이션 환자 조정자),
    • 엔지니어링/IDEA/데이터 과학/캡스톤 조정자
    • 임상실습 조정자
  • 이 직원들은 CIMED의 가치와 사명에 따라 커리큘럼이 생성, 개발, 전달될 수 있도록 교수진과 협력합니다.
  • Roles of academic staff: Carle Illinois has various roles to fully support the curriculum. These include:
    • medical education facilitators (PBL);
    • directors for curriculum, faculty development, and assessment and quality improvement;
    • academic affairs coordinator;
    • medical education coordinators (clinical, basic science);
    • medical librarians;
    • simulation center staff (manager, equipment technician, simulated patient coordinator);
    • engineering/IDEA/data science/capstone coordinator; and
    • clerkship coordinators.
  • These staff work with the faculty to ensure the curriculum is created, developed, and delivered according to the values and mission of CIMED.

교육분야 교수진 육성 및 지원
Faculty Development and Support in Education

  • 교육자로서 교수진을 위한 전문성 개발: CIMED에는 교수진의 전문성 개발을 위한 다양한 옵션이 있습니다. 진행자, 임상 강사, 엔지니어 및 관리 직원과 같은 모든 역할에 대한 특정 교육이 제공됩니다. "칼 일리노이 소개 - 무엇이 CIMED를 독특하게 만드는가.""라는 제목의 소개 프레젠테이션이 있습니다. 매년 열리는 교육과정 리트리트는 교육과정 업데이트, 새로운 기술 학습, 네트워크 구축에 초점을 맞춘다. 프레젠테이션, 활발한 학습 세션 및 워크샵이 혼합된 것이 특징이다. 또 다른 연례 행사인 PBL 워크숍에서는 모든 교직원이 학생이자 촉진자로서 PBL을 경험할 수 있습니다. 교수진은 학습목표 작성, 마이크로 강의 녹음, 활발한 학습활동 등과 같은 작업에 대한 도움을 받기 위해 일대일 세션을 요청할 수 있습니다. 또한 일리노이 대학교 어바나 샴페인에는 광범위한 교수개발 서비스가 있다.
    Professional development for faculty as educators: There are a variety of options at CIMED for faculty professional development. Specific training is available for all roles: facilitators, clinical instructors, engineers, and administrative staff. There is an introductory presentation titled “Introduction to Carle Illinois—What Makes CIMED Unique.” An annual curriculum retreat focuses on curricular updates, learning new skills, and network building. It features a mix of presentations, active learning sessions, and workshops. Another annual event, the Problem-Based Learning Workshop, allows all faculty and staff to experience PBL as both a student and facilitator. Faculty may request one-on-one sessions for assistance with tasks such as creating learning objectives, micro-lecture recordings, active learning activities, and so forth. Additionally, the University of Illinois at Urbana–Champaign has extensive faculty development offerings.
  • 승진 및 테뉴어: 임상의와 캠퍼스 교직원 모두를 지원하기 위해, FTE 역할이 정의된 교수진 외에도 임명, 승진, 종신 재직에 대한 다양한 트랙이 있습니다. 여기에는 교육, 임상 및 재직권 기록이 포함됩니다. 이들 각 트랙에는 승진을 고려한 학생 평가와 장학금이 포함돼 있다.
    Promotion and tenure: To support both the clinicians and campus faculty, in addition to the faculty with defined FTE roles, there are various tracks for appointment, promotion, and tenure. These include teaching, clinical, and tenure tracks. In each of these tracks, student evaluation and scholarship are included in consideration for promotion.

 

 


Acad Med. 2020 Sep;95(9S A Snapshot of Medical Student Education in the United States and Canada: Reports From 145 Schools):S142-S145.
 doi: 10.1097/ACM.0000000000003295.

Carle Illinois College of Medicine

PMID: 33626667

DOI: 10.1097/ACM.0000000000003295

WBA 시스템을 위한 타당도 지도 만들기: Messick과 Kane의 상호교차 (Acad Med, 2021)
Constructing a Validity Map for a Workplace-Based Assessment System: Cross-Walking Messick and Kane
Benjamin Kinnear, MD, MEd, Matthew Kelleher, MD, MEd, Brian May, MD, MEd, Dana Sall, MD, MEd, Daniel P. Schauer, MD, MSc, Daniel J. Schumacher, MD, PhD, MEd, and Eric J. Warm, MD 

 

 

보건 직업 교육은 [의료 제공자를 훈련시키는 데 사용되는 프로세스]가 [복무할 인구의 요구]에 따라 추진되는 접근 방식인 [역량 기반 패러다임]으로 전환되었다. 역량 측정의 필요성으로 인해 평가는 역량 기반 의료 교육(CBME) 구현에서 특히 중요하지만 어려운 측면이 되었다. 직장 기반 평가(WBA)는 실제 임상 과제를 수행하는 학습자 평가의 이점을 제공하는 평가 프로그램에 필수 요소가 되었다. 그러나 WBA는 상대적으로 낮은 심리측정적 성능으로 인해 총괄적 목적을 위한 타당성 증거가 부족하다는 비판을 종종 받는다. 우리는 타당성이 심리측정학 그 이상을 포함해야 한다고 믿는다.

Health professions education has shifted to a competency-based paradigm, 1–4 an approach in which the processes used to train health care providers are driven by the needs of the populations they serve. 5–7 The need for competency measurement has made assessment a particularly crucial, yet challenging, aspect of competency-based medical education (CBME) implementation. 8–11 Workplace-based assessment (WBA) has become integral to programs of assessment, 8 carrying the advantage of assessing learners performing real-world clinical tasks. However, WBAs are often criticized for lacking validity evidence for summative purposes due to relatively poor psychometric performance. 12 We believe validity should include more than psychometrics alone.

타당도는 good assessment의 필수불가결한 요소이므로 CBME 프로그램의 핵심입니다. 타당도에 대한 여러 가지 설명이 존재하지만, 현대의 프레임워크는 타당도를 [데이터를 미리 정의된 해석이나 사용에 대해 지지하는 해석적 주장interpretive argument]으로 개념화한다. 두 개의 현대적 프레임워크는 비록 강조점이 다르지만 타당성 증거를 구성하기 위해 일반적으로 사용된다(표 1). 메식(Messick)의 프레임워크는 타당성 [증거의 출처]를 강조하고, 케인의 프레임워크는 [증거 사슬의 추론]에 초점을 맞춘다. 이러한 프레임워크가 상호 배타적이지는 않지만, 종종 증거를 구성하기 위해 둘 중 하나가 사용된다. 그러나 우리는 그것들이 상호 보완적이라고 믿는다. 
Validity is the sine qua non of good assessment, 13 and therefore is central to CBME programs. While multiple descriptions of validity exist, 14 modern frameworks conceptualize it as an interpretive argument that supports a predefined interpretation or use of data. 15 Two contemporary frameworks are commonly used to organize validity evidence, though they differ in emphasis (Table 1). Messick’s framework stresses sources of validity evidence, 16 and Kane’s focuses on inferences in an evidentiary chain. 17 While these frameworks are not mutually exclusive, often one or the other is used to organize evidence. However, we believe they are complementary. 

 

 

접근
Approach

신시내티 대학(UC) 내과 레지던트 프로그램은 UC 메디컬 센터, 보훈 의료 센터 및 여러 외래 클리닉에서 돌아가며 약 89명의 레지던트들로 구성되어 있다. 2012년에는 대학원 의학교육 하위역량 인증협의회를 통합한 위탁기반 WBA 제도를 시행하였으며, 이후 이 데이터를 레지던트 역량 판단에 활용하기 위한 타당성 근거를 수집하고 있습니다. 

The University of Cincinnati (UC) Internal Medicine (IM) residency program, based in an urban, tertiary referral medical center, consists of approximately 89 categorical residents who rotate at UC Medical Center, Veterans Affairs Medical Center, and multiple ambulatory clinics. In 2012, we implemented an entrustment-based WBA system that integrated the Accreditation Council for Graduate Medical Education subcompetencies, and we have been collecting validity evidence for using these data for determination of resident competence since that time. 18,19

우리는 다음 4단계를 포함한 수사적 주장을 반영하는 다단계 프로세스를 사용하여 타당도 맵을 구성했다. 

  • (1) 명시된 해석과 사용에 대한 비판적인 질문을 할 때, 
  • (2) 그에 대한 대응으로 타당성 증거를 찾고, 
  • (3) 증거 분류, 그리고 
  • (4) 증거를 시각화

We constructed our validity map using a multistep process that mirrored a rhetorical argument including the following 4 steps:

  • (1) Asking critical questions about the stated interpretation and use,
  • (2) Seeking validity evidence as a response,
  • (3) Categorizing evidence, and
  • (4) Visualizing evidence.

 

1. 서술된 해석과 사용에 대한 중요한 질문
1. Asking critical questions about the stated interpretation and use

우리 팀은 먼저 우리만의 WBA 시스템에 [비판적인 대화자 역할]을 하는 방식을 택했습니다. 우리는 개별적으로 WBA 데이터를 사용하여 내린 결정이 역량 평가에 타당한지 여부에 이의를 제기할 수 있는 질문을 작성했다. 예제는 다음과 같습니다. 

  • "위임entrustment은 왜 일선 평가를 위한 구성물로 사용되는가?" 
  • "위임 평정entrustment rating의 신뢰도는 어느 정도인가?" 및 
  • "위임entrustment 점수는 임상 치료 품질 척도와 관련이 있는가?" 

이 질문들은 우리가 찾는 타당성 증거에 대한 가이드 역할을 했습니다.

Our team first took the approach of acting as an interlocutor who is critical of our own WBA system. We individually wrote questions that might challenge whether decisions made using the WBA data were valid for assessment of competence. Example questions included,

  • “Why is entrustment used as a construct for frontline assessment?”,
  • “What is the reliability of entrustment ratings?”, and
  • “Do entrustment scores correlate with measures of clinical care quality?”.

These questions then served as a guide for the validity evidence we sought.

 

2. 대응책으로서 타당성 입증 모색
2. Seeking validity evidence as a response

우리는 각각의 질문에 답변하고 뒷받침되는 증거를 제공하려고 시도했습니다. 우리는 먼저 우리의 대응을 지지하거나 반박할 수 있는 증거를 위해 기존 문헌을 검토했다. 증거가 없다면, 이전 작업을 통해 생성한 증거를 사용했습니다. 
We attempted to respond to each question and provide supportive evidence. We first reviewed existing literature for evidence that would support or refute our response. Other times we used evidence that we had generated through previous work. 

이 작업은 마이크로소프트 엑셀(마이크로소프트, 워싱턴 레드몬드) 스프레드시트를 사용하여 구성되었으며 열 제목은 다음과 같습니다. 질문, 응답, 근거, 인용문, 격차.
This work was organized using a Microsoft Excel (Microsoft Corporation, Redmond, Washington) spreadsheet with the following column headings: Question, Response, Supporting Evidence, Citations, Gaps.

 

3. 증거 분류
3. Categorizing evidence

우리는 우리의 주장에서 추론(Kane)을 뒷받침하는 증거 출처(메식)를 기준으로 증거를 구성했다(그림 1). 이 프로세스는 토론을 통해 범주 분류에 대한 그룹 합의를 형성했습니다. 예를 들어,

  • 일선 WBA 기기에 대한 위탁 프레임워크의 사용은 점수 추론(Kane)을 뒷받침하기 위한 응답 프로세스 증거(Messick)로 고려되었다.
  • 일반화 가능성 연구는 일반화 추론(Kane)을 뒷받침하는 내부 구조 증거(Messick)로 간주되었다. 

We organized our evidence by the source of evidence (Messick) supporting an inference (Kane) in our argument (Figure 1). This process was done using discussion to form group consensus around categorizations. For example,

  • the use of an entrustment framework for frontline WBA instruments was considered response process evidence (Messick) to support the scoring inference (Kane).
  • The generalizability study was deemed internal structure evidence (Messick) to support the generalization inference (Kane).

 

 

4. 증거 시각화: 지도 작성
4. Visualizing evidence: Map building

엑셀은 증거를 분류하는 기능적인 수단이었지만, 우리는 두 가지 이유로 좀 더 시각적인 형식을 원했습니다.

  • 첫째, 우리는 우리의 논쟁에 남아 있는 차이를 식별하기 위해 수집된 증거에 대해 이해할 수 있는 높은 수준의 검토를 추구했다. 이 시각 자료는 증거에 대한 심층 분석에 사용되는 Excel 문서와 함께 빠른 참조를 위한 타당도의 "맵" 역할을 할 수 있다.
  • 둘째, 지도는 우리가 이미 수집한 증거, 진행 중인 검증 작업, 향후 연구로 정리할 수 있게 해주었습니다. 

Excel was a functional means of cataloguing evidence, but we wanted a more visual format for 2 reasons.

  • First, we sought an understandable, high-level review of collected evidence to identify remaining gaps in our argument. This visual could serve as a validity “map” for quick reference, with the Excel document used for deeper dives into the evidence.
  • Second, the map allowed us to organize evidence into that which was already collected, ongoing validation work, and future studies.

We used Microsoft Visio (Microsoft Corporation, Redmond, Washington) to create the map and organize the information using spatial orientation and color/shading (Figure 2). Inferences from Kane’s framework were placed in 4 rows that crossed 3 columns labeled “Evidence obtained,” “Work in progress,” and “Gaps/future studies.” Each critical question from the Excel sheet was placed in a box that represented the corresponding response/evidence. Boxes were color coded based on which source of evidence they represented from Messick’s framework and placed in the appropriate row and column on the map.

 

 

성과
Outcomes

우리의 타당도 맵의 첫 번째 초안은 메식(Messick)이 상세히 설명한 5가지 근거 출처를 모두 포함하고 케인이 설명한 4가지 추론 모두에 걸쳐 확산된 25개의 증거 상자를 생성했다(그림 2a). 우리 팀은 지도 제작 과정과 지도 자체에서 가치를 발견했어요. 수사적 질문-응답 과정을 통해 WBA 시스템을 신중하게 비판적으로 평가할 수 있었다.

The first draft of our validity map produced 25 boxes of evidence that included all 5 sources of evidence detailed by Messick and spread across all 4 inferences described by Kane (Figure 2a). Our team found value in both the process of map construction and in the map itself. The rhetorical question–response process allowed us to critically appraise our WBA system in a deliberate fashion. 

우리는 메식 프레임워크와 케인의 프레임워크를 모두 지도에 통합하는 것이 유익하다는 것을 알았다. 케인의 틀은 증거 사슬에서 "가장 약한 고리"를 식별할 수 있다는 장점을 가지고 있어, 우리의 작업의 우선순위를 정하는 데 도움을 준다. 15 앞서 언급했듯이, 지도에는 외삽 추론을 뒷받침할 증거가 부족함을 보여주었다. 따라서, 우리는 우리의 WBA 데이터가 성과에 대한 다른 측정 또는 임상 치료 결과와 관련이 있는지를 연구하여 증거를 구축하는 데 최근의 노력을 집중해 왔다. 메식(Messick)의 프레임워크는 주어진 추론을 뒷받침할 수 있는 증거의 출처를 통해 우리가 체계적으로 생각하도록 도왔다.

We found it beneficial to integrate both Messick’s and Kane’s frameworks into our map. Kane’s framework carries the advantage of allowing for the identification of the “weakest link” in the evidentiary chain, helping us to prioritize our work. 15 As previously mentioned, the map showed our argument was lacking in evidence to support the extrapolation inference. Thus, we have focused our recent efforts on building evidence by researching if our WBA data are associated with other measures of performance or with clinical care outcomes. Messick’s framework has helped us think systematically through sources of evidence that might be sought to support a given inference.

우리의 타당도 맵은 역동적이며, 새로운 질문이 발생하고 새로운 증거가 수집됨에 따라 변화한다. 전자 형식을 사용하면 시간이 지남에 따라 지도를 쉽게 편집, 업데이트 및 공유할 수 있습니다. 그림 2b는 타당성 연구가 완료되거나 증거가 발견됨에 따라 박스가 오른쪽(미래 작업)에서 왼쪽(증거 누적)으로 이동하는 방법을 보여주는 업데이트된 지도이다. 

Our validity map is dynamic, and changes as new questions arise and new evidence is collected. Using an electronic format allows us to easily edit, update, and share the map over time. Figure 2b is an updated map, showing how boxes move from right (future work) to left (accrued evidence) as validity studies are completed or evidence is discovered. 

다음 단계
Next Steps

현재 타당도 맵의 한계는 각 상자의 질문을 뒷받침하는 증거를 쉽게 심층 분석할 수 없다는 것이다. 위에서 언급한 바와 같이 증거의 초기 분류에 Excel을 사용했으며, 이 스프레드시트에는 관련 증거에 대한 보다 심층적인 설명과 인용이 포함되어 있습니다. 향후 반복 작업에는 대화형 플랫폼과 심층 다이빙을 허용하는 플랫폼을 기반으로 타당도 맵을 구축하는 것이 포함될 것이다. 
A limitation of our current validity map is that it does not allow for an easy deep dive into the evidence undergirding each box’s question. As noted above, we used Excel for the initial categorization of evidence, and these spreadsheets contain more in-depth explanations and citations for relevant evidence. Future iterations will involve building our validity map on a platform that is interactive and allows for deep dives. 

우리는 WBA 시스템에 대한 타당성 증거를 수집, 분류 및 구성하는 데 가치를 발견했지만, 가장 높은 가치는 평가 시스템의 이해관계자와 이 작업을 공유하는 데 있다. 우리는 우리의 과정과 제공된 증거의 수용 가능성에 대한 피드백을 얻기 위해 의학 교육계의 다른 사람들과 우리의 타당성 맵을 예비적으로 공유했습니다. 26 다음 단계에는 타당성 맵이 프로그램의 타당성 주장을 평가하는 데 가치를 추가하는지 이해하기 위해 이해관계자(예: 인가자, 기관 지도자, 학습자, 환자)의 의견을 수집하는 것이 포함된다. 이해관계자들은 증거의 우선순위를 다르게 정하거나 우리에게 처음에 분명하지 않은 새로운 gap을 강조할 수 있다. 
We found value in collating, categorizing, and organizing validity evidence for our WBA system, but the highest value lies in sharing this work with the stakeholders of our assessment system. We have preliminarily shared our validity map with others in the medical education community to obtain feedback on our process and the acceptability of the evidence provided. 26 Next steps include collecting stakeholders’ (e.g., accreditors, institutional leaders, learners, patients) input to understand if our validity map adds value for evaluating our program’s validity argument. Stakeholders may prioritize evidence differently or highlight new gaps not initially evident to us. 

결론
Conclusion

WBA 시스템에 대한 타당도 맵을 구축하는 것이 증거 격차를 식별하고 향후 연구 및 프로그램 개선 노력을 계획하는 데 도움이 된다는 것을 발견했습니다. 다른 프로그램도 WBA 시스템의 의도된 사용을 정의하고, 중요한 질문을 생성하고 관련 증거를 수집하기 위한 수사적 질의응답 접근법을 사용하며, 증거를 구성하고 중요한 차이를 식별하기 위해 Messick과 Kane의 프레임워크를 사용하여 유사한 접근방식을 취할 수 있다. 

We found that constructing a validity map for our WBA system helped identify evidentiary gaps and plan future research and program improvement efforts. Other programs could take a similar approach by defining the intended use of their WBA system, using a rhetorical question–answer approach to generate critical questions and collect relevant evidence, and using the frameworks from Messick and Kane to organize evidence and identify critical gaps.

 


Acad Med. 2021 Jul 1;96(7S):S64-S69.

 doi: 10.1097/ACM.0000000000004112.

Constructing a Validity Map for a Workplace-Based Assessment System: Cross-Walking Messick and Kane

Affiliations collapse

Affiliations

1B. Kinnear is associate professor of internal medicine and pediatrics, Department of Pediatrics, University of Cincinnati College of Medicine, Cincinnati, Ohio; ORCID: https://orcid.org/0000-0003-0052-4130.

2M. Kelleher is assistant professor of internal medicine and pediatrics, Department of Pediatrics, University of Cincinnati College of Medicine, Cincinnati, Ohio.

3B. May is assistant professor of internal medicine and pediatrics, Department of Internal Medicine, University of Alabama Birmingham School of Medicine, Birmingham, Alabama.

4D. Sall is program director, HonorHealth Internal Medicine Residency Program, Scottsdale, Arizona, and assistant professor of internal medicine, University of Arizona College of Medicine, Phoenix, Arizona.

5D.P. Schauer is associate professor of internal medicine and associate program director, Department of Internal Medicine, University of Cincinnati College of Medicine, Cincinnati, Ohio; ORCID: https://orcid.org/0000-0003-3264-8154.

6D.J. Schumacher is associate professor of pediatrics at Cincinnati Children's Hospital Medical Center/University of Cincinnati College of Medicine, Cincinnati, Ohio; ORCID: https://orcid.org/0000-0001-5507-8452.

7E.J. Warm is professor of internal medicine and program director, Department of Internal Medicine, University of Cincinnati College of Medicine, Cincinnati, Ohio; ORCID: https://orcid.org/0000-0002-6088-2434.

PMID: 34183604

DOI: 10.1097/ACM.0000000000004112

자기주도적 의과대학생 교육과정(JAMA, 2021)
The Self-directed Medical Student Curriculum

Joseph H.Wu, PhD, PhilipA. Gruppuso, MD, Eli Y.Adashi,MD,MS

 

최근 몇 년 동안 의대생들은 전임상실습preclerkship 교육에 대한 통제control를 강화해오고 있다.

  • 미국 의대생 13명이 참여한 설문조사에 따르면 2018~2020년 의대 2학년생 중 '거의 강의에 참석하지 않는다'고 답한 비율이 26.3%에서 37.0%로 지속적으로 증가했다.
  • 라이브 강의가 아닌 녹음된 강의에 대한 의존도 증가와는 별개로, 자율학습independent learning에 할당된 커리큘럼 이벤트는 2013년과 2020년 사이에 약 3.35%에서 6.38%로 두 배 가까이 증가했다.
  • 현재 의대생들은 대부분의 학습을 교실 밖에서 수행하는데, 이는 COVID-19 대유행의 적응으로 굳어진 관행이다.

In recent years, medical students have been assuming increasing control over their preclerkship education.

  • According to a survey involving 13 099 US medical students, the percentage of second-year medical students who reported “almost never” attending lectures in person continued to increase, from 26.3% to 37.0% between 2018 and 2020.1 Concurrently, medical school curricula evolved to promote learner autonomy.
  • Apart and distinct from increased reliance on recorded rather than live lectures, the curricular events allocated to independent learning nearly doubled between 2013 and 2020, from an estimated 3.35% to 6.38%.2 
  • These trends are unlikely to abate anytime soon. Current medical students accomplish the bulk of their learning outside the classroom, a practice likely solidified by adaptations to the COVID-19 pandemic.

이미 지적된 바와 같이, 의학 교육의 전임상 구성요소preclerkship component의 재구성은 거의 불가피하다. 이 관점에서, 우리는 자신의 교육을 형성하는 데 있어 의대생의 증가하는 역할을 강조하고 의대생 직접 학습의 증가가 의료 분야의 교육 목표와 일치하도록 보장하는 데 필요한 조치를 개략적으로 설명한다.

As others have noted, the reconfiguration of the preclerkship component of medical education is all but inevitable.3 In this Viewpoint, we highlight the growing role of medical students in shaping their own education and outline the measures required to ensure that the increase of medical student–directed learning remains aligned with the educational aims of the medical discipline.

의과대학은 의대연락위원회(LCME) 인증기준 6.3이 나온 이후 강의와 사례중심 교육을 보완하는 [자기주도학습]이 강조되고 있다. 해당 LCME 표준은 "의대생들이 평생학습의 기술을 개발할 수 있도록" 수업이 배정되지 않은unscheduled 시간과 자율 학습independent learning 구성요소를 포함하도록 요구한다. 4 자기주도학습에 대한 강조는 교육 경험에서 의대생들의 보다 적극적인 역할을 적절히 장려한다. 이러한 변화에다가, USMLE Step 1에서 높은 점수를 받아야 한다는 압박이 더해져서, [USMLE를 위한 학습에 맞춰진 (학습) 자원]이 대부분을 구성하는 [병행적이고 의대생-주도적 커리큘럼의 출현]으로 이어졌다.5 현대 의대생들은 이제 [각 의과대학-특이적 자료는 그저 여러 학습자료 중 하나에 불과한] didactic resource의 방대한 바다를 항해한다. USMLE 1단계가 합격/불합격으로 전환된 것은 이 시험을 잘 봐야한다는 압박을 완화시키는 데 기여했을지 몰라도, 여전히 병렬 커리큘럼을 구성하는 수많은 리소스는 사라지지 않을 것으로 보인다.
Since the advent of Accreditation Standard 6.3 of the Liaison Committee on Medical Education (LCME), medical schools have taken to emphasizing self-directed learning to complement lecture and case-based instruction. The LCME standard in question requires the inclusion of unscheduled time and independent learning components “to allow medical students to develop the skills of lifelong learning.”4 The emphasis on self-directed learning aptly encourages a more active role for medical students in the educational experience. These changes, along with the pressures imposed by the numeric score reporting of the United States Medical Licensing Examination (USMLE) Step 1, led to the emergence of a parallel, medical student–directed curriculum that is dominated by resources geared toward studying for the USMLE.5 Contemporary medical students now navigate a vast sea of didactic resources wherein institution-specific materials constitute but one of many sources. While the transition to pass/fail for USMLE Step 1 may have contributed to the alleviation of the examination performance pressure, the numerous resources that comprise the parallel curriculum are unlikely to fade away.

[평행적, 의대생 주도 교육과정]이 전임상실습 학습 환경에 미치는 영향은 처음에 생각했던 것보다 훨씬 클 수 있다. 2023년 브라운 대학교 워렌 앨퍼트 의대 졸업 예정인 학생 147명의 온라인 과정 평가 플랫폼으로부터 얻은 정보는 장기 시스템 기반 교육 과정에서 다양한 학습 자원을 사용하는 것을 보여주었다. 여기서 보고된 교육 자원과 비율은 다음과 같다.

  • 제도권 의대 강의(84%),
  • 보드 및 비욘드 강의(84%),
  • 안키 플래시카드(65%),
  • 스케치 영상(55%),
  • 패토마 강의(36%),
  • 응급처치(74%),
  • USML Rx 물음은행(72%)  

The influence of the parallel, medical student–driven curriculum on the preclerkship learning environment may be far greater than initially suspected. Information from an online course evaluation platform from 147 medical students in the Warren Alpert Medical School of Brown University class of 2023 revealed the use of a variety of learning resources during the organ system–based portion of the preclerkship curriculum. The didactic resources and percentages of students who reported usage included

  • institutional medical school lectures (84%),
  • Boards and Beyond lectures (84%),
  • Anki flashcards (65%),
  • Sketchy videos (55%),
  • Pathoma lectures (36%),
  • First Aid (74%), and
  • the USMLE Rx Question Bank (72%).

이러한 관측은 [의과대학-특이적 강의를 보충하거나 대체하기 위해 의대생들이 외부 학습 자원에 의존하는 정도가 상당하다는 것]을 보여준다.

  • 2학년 초부터는 교수진이 진행하는 강의보다 Boards & Beyond 또는 Pathoma와 같은 상업적인 비디오 강의에 의존하는 의대생이 더 많았다. 교수가 진행한 수업을 사용하는 비율은 2학년 과정 종료 시점에서 62%로 감소했다.
  • 미생물학 및 약학과 같은 주제를 위한 시공간 학습 플랫폼인 Sketchy도 마찬가지로 장기 시스템 기반 커리큘럼에서 많이 사용되어 1학년 미생물 블록 동안 86%로 정점을 찍었다.
  • 말해둘 것은, 의과대학은 모든 전임상과정 학생들에게 Boards & Beyond와 USMLE Rx 문제은행에 대한 구독을 제공한다는 점이다.

These observations indicate that the reliance of medical students on external study resources to supplement or replace institution-specific lectures is substantial.

  • From the beginning of the second year, more medical students reported relying on commercial video lectures, such as Boards & Beyond or Pathoma, than on faculty-delivered lectures. Usage of the latter declined to 62% of the class by the conclusion of the second-year curriculum.
  • Sketchy, a visual-spatial learning platform for topics such as microbiology and pharmacology, was likewise heavily used throughout the organ system–based curriculum, peaking at 86% during the first-year microbiology blocks.
  • Of note, the medical school provides all preclerkship students with a subscription to Boards & Beyond and to the USMLE Rx Question Bank.

지난 몇 년간 의대생이 만든 학습 자료의 크라우드소싱이 눈에 띄게 증가했고, 특히 눈에 띄는 것은 [안키 플래시카드 데크]이다. 147명의 의대생 중 약 65%가 장기기반의 블록에서 Anki를 꾸준히 사용했다고 보고했다. [크라우드소싱 플래시카드]가 의대생들의 전임상실습 교육을 형성하고 있다는 것은 쉽게 드러난다. 그러나 특히, 이러한 널리 사용되는 자원은 의과대학 시설에서 품질이나 양에 대한 평가를 받지 않는다. 오히려 의대생들이 이러한 학습 도구의 개발과 유지관리를 주도하고 있다. 따라서 [플래시카드 덱의 품질 보장]은 온라인으로 협력하여 오류를 식별하고 관련 내용을 지속적으로 업데이트하는 [의대생 커뮤니티가 담당]하고 있다.
The last several years have also seen a remarkable increase in crowdsourcing of study materials by medical students, most notably, Anki flashcard decks. Approximately 65% of 147 preclerkship medical students reported that they consistently used Anki throughout the organ system–based blocks. It is readily apparent that crowdsourced flashcards are shaping the preclerkship education of medical students. Notably, however, these widely used resources are not vetted for either quality or content by the medical school establishment. Rather, medical students are driving the development and maintenance of these learning tools. Accordingly, the assurance of the quality of the flashcard decks is assumed by a community of medical students who collaborate online to identify errors and update the relevant content on an ongoing basis.

따라서 의대생들은 [강의 기반 학습]을 실질적으로 아웃소싱하고 있을 뿐만 아니라, 온라인에서 교육자료을 개발하고 [크라우드 소싱]함으로써 그들 자신의 교육을 주도directing하고 있는 듯 보인다. 이건 문제일까? 한 가지 관점은 의대생들이 필요한 이해와 관련 역량을 성취하는 한 모든 것이 좋다는 것일 수 있다. 의대생들은 (교과서에서 논문에 이르기까지) 자신의 학습을 위해 이미 오랜 시간 동안 정규 커리큘럼 이상의 학습자원을 탐색해왔다. 현재의 상황은 '자율 학습의 정점'이라고 합리화될 수 있다. 즉 의과대학생들은 기관 특이적 승인과 무관하게 교육 자원을 사용할 수 있는 특권을 가정하고 있는 것이다. LCME는 "의과대학 외부의 상업적 기관"에서 파생된 교육 자료의 사용을 허용한다.6 그러나 LCME는 또한 기관이 "사용되는 교육 자료의 출처가 무엇이든, 전체 의료 교육 프로그램의 수행과 [품질에 대한 책임]이 있다."고 명시한다. LCME 인증 표준을 유의미하게 적용하기 위해서는, 의과대학은 [학생 중심 병행 커리큘럼]을 구성하는 학습자원에 대한 철저한 평가를 수행해야 한다.

It would thus appear that medical students are not only substantially outsourcing their lecture-based learning, but they are also directing their own education by developing and crowdsourcing didactic resources online. Is this a problem? One viewpoint might be that so long as medical students are achieving the requisite understanding and relevant competencies, then all is well. Medical students have long sought out resources beyond the formal curriculum to advance their own learning, from textbooks to peer-reviewed articles. The current situation could be rationalized as the pinnacle of independent learning, that is, medical students assuming the prerogative of using educational resources irrespective of institution-specific endorsement. The LCME, for its part, permits the use of instructional materials that derive from “commercial entities outside of the medical school.”6 However, the LCME also states that institutions are “responsible for the conduct and quality of the entire medical education program, regardless of…the sources of instructional materials that are used.”6 It follows that a meaningful application of the LCME accreditation standards will require medical schools to undertake a thorough evaluation of the resources comprising the parallel, student-driven curriculum.

현상태가 바뀌고 있음을 직면했다면, 의과대학은 학생이 주도하고 있는 의학교육 진화를 따라잡아야만 한다. 의대 교육자들은 의대생들이 [추가적 학습 자료]로 학업을 보완한다는 것을 오랫동안 알고 있었지만, 현재 수준으로 [전임상실습 과정의 학습이 공식적인 의대 커리큘럼과 무관한 방식으로 운영되고 있는 것]은 지탱할 수 없고, 지속 불가능한 평형상태이다.

  • 충분한 품질을 갖춘 학습 자원에 대해서 나아가야 할 최적의 경로는, 이것을 [공식 커리큘럼과 통합]하는 것이다. 즉, [학생들이 주도하는 병행 커리큘럼]을 [공식 커리큘럼]과 정렬aligning하는 것이 필요하다. 이렇게 하지 않는다면, 의대생들은 이중 커리큘럼을 계속 탐색할 것이며, 이는 [기관-특이적 수업을 불필요한 것으로 만드는 행위]가 될 것이다.
  • 접근의 형평성을 보장하기 위해 의과대학은 또한 [의대생들이 일반적으로 사용하는 교육자원에 대한 구독을 제공]하도록 해야 한다.
  • 의대생들이 최대한 효율적으로 학습할 수 있도록 커리큘럼을 구성하려면, [의대생들이 학습시간을 어떻게 배분하는가]를 이해해서 그 정보를 커리큘럼 결정에 사용해야 한다.
    • 예를 들어 강의에 해당하는 플래시카드를 추천하거나,
    • 슬라이드나 유인물이 아닌 플래시카드 형태의 커리큘럼 콘텐츠를 더 많이 설계하거나,
    • 심지어는 교수진이 제공하는 강의 수를 줄이겠다는 의미가 될 수도 있다.

Faced with a changing status quo, medical schools must catch up with the student-driven evolution of medical education. Although medical educators have long known that medical students complement their studies with additional resources, the extent to which preclerkship learning is presently operating in a manner that is independent of formal medical school curricula constitutes an untenable and unsustainable equilibrium.

  • For those learning resources that are of sufficient quality, the optimal path forward should involve their incorporation into the official curriculum—in essence, aligning the parallel student-driven curriculum with the formal curriculum. Absent such, medical students will continue to navigate dual curricula, a practice that threatens to render institution-specific pedagogy redundant.
  • To ensure equity of access, medical schools should also ensure that medical students are provided with subscriptions to commonly used educational resources.
  • Insofar as curricula are to be structured so that medical students can learn as efficiently as possible, insights as to how medical students apportion their study time should inform curricular decisions. This might mean, for example,
    • recommending flashcards that correspond to lectures,
    • designing more curricular content in the form of flashcards as opposed to slides and handouts, or
    • even decreasing the number of faculty-delivered lectures.

현대 의학 교육이 직면하고 있는 주요 질문은 다음과 같습니다: 누가 의학교육을 통제하고 있는가? 이에 대한 정답은 점점 더 '의대생'이 되고 있다. 의과대학 커리큘럼이 자기주도학습을 촉진하는 방향으로 진화하면서 외부 교육자원의 자유시장도 발전했다. 의대생들은 그들의 입장에서 학습을 최적화하는 새로운 방법을 개발했는데, 크라우드소싱 플래시카드 덱의 보급이 대표적인 예이다. LCME와 의과대학은 [많은 면에서, 학생들이 주도하는 병행 커리큘럼]이 의대생들을 설득시켜버린 현실을 더 이상 무시해서는 안 된다. 이제 의대생이 일반적으로 사용하는 학습자원을 검토하고, 커리큘럼 중복을 제거하고, 검토된 새로운 학습자원을 교실 학습의 진화하는 구조에 통합하는 방법을 고려하는 여러 단계를 수행해야 한다. 

A key question facing contemporary medical education is this: who controls medical education?5 Increasingly, the answer is medical students. As medical school curricula evolved to promote self-directed learning, so did the free market of external educational resources. Medical students, for their part, developed novel ways to optimize their learning, the dissemination of crowdsourced flashcard decks being a prime example. It is time for the LCME and the medical education establishment to reckon with the reality that, in many respects, the parallel, student-driven curriculum has won medical students over. Several steps must now be taken to vet the resources commonly used by medical students, eliminate curricular redundancies, and consider how to incorporate vetted novel resources into the evolving construct of classroom learning.

일단 의대생들이 임상 로테이션을 시작하면, 소위 쉘프 검사와 USMLE 2단계를 준비하기 위하여, [임상 환경 밖에서 진행 중인 교육은 거의 전적으로 자기 주도적이라는 점]이다. 의학 교육이 발전함에 따라, 의사이자 평생 학습자로의 전환 과정에서, 교육자들은 언제 학생 주도 학습이 지배적인 교육 방법이 되어야 하는지에 대해 상당한 생각을 해왔다. 많은 학생들에게는 이 전환점이 예상보다 훨씬 일찍 도래한 것으로 보일 것이다.

It is noteworthy that once medical students embark on their clinical rotations, their ongoing education outside the clinical setting is almost entirely self-directed as they prepare for the so-called shelf examinations and for USMLE Step 2. As medical education evolved, educators have given considerable thought to when, in the transition to becoming a physician and a lifelong learner, student-directed learning should become the predominant instructional method. For many students, it would appear that this transition point may have arrived far earlier than anticipated.

 

 

Hafferty  FW, O’Brien  BC, Tilburt  JC.  Beyond high-stakes testing: learner trust, educational commodification, and the loss of medical school professionalism.   Acad Med. 2020;95(6):833-837 XXX


JAMA. 2021 Nov 1.

doi: 10.1001/jama.2021.16312. Online ahead of print.

The Self-directed Medical Student Curriculum

No abstract available

 

역량바탕평가가 지속적인 개혁이 되기 위해 고려할 점(Adv in Health Sci Educ, 2019)
Considerations that will determine if competency‑based assessment is a sustainable innovation
W. Dale Dauphinee1,2,3 · John R. Boulet1 · John J. Norcini1

 

 

거의 20년 동안 보건 분야의 교육 평가는 역량 기반 프레임워크를 도입하기 위한 주요 노력을 보아왔다. 역량 기반 교육(CBE)과 평가(CBA)로의 이동 강도는 40년 이상의 공유된 전문 경험에서 다른 평가 활동과 일치하지 않는다. 이와는 대조적으로, 1980년대 후반 평가에서 시뮬레이션의 도입은 규제 파트너십을 통해 수행된 많은 평가 연구가 지속 가능한 혁신을 확립하기 위한 기반 역할을 하는 빠른 일련의 현장 테스트로 나타났다. 본 논문에서 우리는, 특히 졸업후 의학 교육(PGME)의 맥락에서, CBA를 둘러싼 교육 분야의 근본적인 개발 작업과 규제 상호작용이 뒤떨어지고 있다고 주장한다.
For almost two decades, educational assessment in the health professions has seen a major effort to introduce competency based frameworks. The intensity of the movement to competency-based education (CBE) and assessment (CBA) has not been matched by any other assessment activity in our shared professional experience of over 40 years. In contrast, the introduction of simulation in assessment in the late 1980s appeared as a rapid series of field tests wherein many evaluation studies, conducted with regulatory partnerships, served as the bases for establishing a sustainable innovation. In this paper, we argue that the underlying developmental work and regulatory interaction with the educational sector around CBA is lagging, especially in the context of postgraduate medical education (PGME).

PGME에서 CBA에 대한 우려를 제기한 것은 처음이 아니다. 캐나다 의료 교육의 미래 프로젝트(Regehr et al. 2011)에서 2011년에 세 가지 주요 개발 문제가 지적되었다. 훨씬 더 우려되는 것은 CBA 평가 도구에 사용된 용어와 정의의 의미에 대한 의문이 제기되어 타당성에 대한 잠재적 우려도 제기되었다. 그러나 거의 10년이 지난 후에도 CBA의 실제 적용과 실행으로의 전환과 관련된 문제에 계속 부딪치고 있다. 
We are not the first to raise concerns about CBA in PGME. Three categories of key developmental issues were noted in 2011 by The Future of Medical Education in Canada Postgraduate Project (Regehr et al. 2011). Of even greater concern, the meaning of terms and definitions used in CBA assessment tools have been questioned, raising some potential validity concerns (Lurie et al. 2011; Govaerts and van der Veuten 2013). Yet almost a decade later, we continue to encounter problems with the actual application and translation of CBA into action. 

로드맵 1: CBA를 측정 개발 문제로 재구성 및 해결
Roadmap one: reframe and address CBA as a measurement development issue

첫 번째 로드맵에서는 CBA 과제를 [측정 개발 문제]로 다시 설명하고 있으며, 이를 위한 좋은 모델이 있다. 이 영역에서 성공적인 이노베이션으로 이어지는 여정은 혁신가들에게 구현implementation 경로를 안내할 수 있는 일련의 단계를 기반으로 합니다. 전문 교육과 평가의 실제 세계에서 지속 가능한 혁신에 도달하기 위해서는 이러한 단계를 준수해야 한다. 1970년대 미국응급의학위원회(ABME)의 새로운 인증 프로세스 초기에, Maatsch 등(1976)의 선구적 연구는 오늘날 평가 혁신가들의 본보기가 되고 있다. 이 프로젝트는 기준 참조로 전환하는 것 외에도 대규모 평가 혁신을 위한 모범 사례를 수립했습니다. 

The first roadmap restates the CBA challenge as a measurement development issue, and there are good models for doing this. The journey leading to successful innovation in this realm is based on a series of steps that can guide innovators along the pathway to implementation. Observance of these steps is required to reach a sustainable innovation in the real world of professional education and assessment. Pioneering work by Maatsch et al. (1976) in the early days of the new certification processes of the American Board of Emergency Medicine (ABME) in the 1970s serves as a template for assessment innovators today. In addition to shifting to criterion referencing, the project established best practices for large scale assessment innovations:

  • (1) 전문직, 규제당국 및 교육자를 포함한 주요 이해관계자 간의 계획된 협력 
  • (2) 국가 자격인정 및 인증 절차에 대한 제정된 표준 
  • (3) (독립적 사이코메트리 전문가가 지휘하는) 평가 도구의 전면적 현장 시험을 수행
  • (4) ABEM에 대한 구체적인 평가목표의 계획, 실행, 관리 및 완료에 사업관리를 활용
  • (5) 후속 연구를 기반으로 비효율적인 평가 형식을 제거(Munger et al. 1982; American Board of Emergency Medicine 2018). 

 

  • (1) planned collaboration amongst key stakeholders including the profession, the regulators and the educators;
  • (2) established standards for national credentialing and certification processes;
  • (3) undertook full-scale field trials of the assessment tools (directed by independent psychometric experts);
  • (4) used project management to plan, execute, control and finish the specific assessment goals for the ABEM; and
  • (5) based on subsequent follow-up studies, eliminated inefficient assessment formats (Munger et al. 1982; American Board of Emergency Medicine 2018).

1970년대에는 모든 ABME 시스템이 새로운 것이었기 때문에, 당시만 해도 혁신을 기존 평가 체계에 통합하는 과제는 문제가 되지 않았다.
However, since the entire ABME system was new, the challenge of integrating the innovation into an existing assessment scheme was not an issue.

이와는 대조적으로, 1980년대 중반 이후에는 총괄평가 및 형성평가에 시뮬레이션 환자를 도입하려면 [기존 시스템과의 통합]이 필요했다. 그것은 모든 기관 이해당사자들을 참여시키고 평가 점수의 측정 품질을 지원하기 위한 준비 작업과 시범 연구를 필요로 했다. 실현 가능성과 측정 품질에 대한 증거를 찾은 후에야 더 넓은 스케일러의 혁신을 진행 및 채택하기 위한 정책 결정이 내려졌다. 이는 캐나다 의료위원회(Reznick et al. 1993; Dauphinee and Reznick 2011), 외국인 의료 졸업생 교육위원회(Boulet et al. 1998, 2009) 및 국가의료시험위원회(Swanson et al. 1999)의 평가 시스템에 환자 시뮬레이션을 도입하기 위한 전략이었다.
In contrast, the introduction of simulated patients into summative and formative assessment in the mid-1980s needed to be integrated into existing systems. That required preparatory work and pilot studies aimed at engaging all of the institutional stakeholders and supporting the measurement qualities of the assessment scores. Only after finding evidence of feasibility and measurement quality were the policy decisions made to proceed and adopt the innovation on a wider scaler. This was the strategy for the introduction of patient simulation into the assessment systems of the Medical Council of Canada (Reznick et al. 1993; Dauphinee and Reznick 2011), the Educational Commission for Foreign Medical Graduates (Boulet et al. 19982009), and the National Board of Medical Examiners (Swanson et al. 1999).

CBA가 직면한 과제를 고려할 때, 첫 번째 단계는 [실제 평가 모델 개발]에 더 많은 관심을 기울이는 것일 수 있다. 그러한 조치가 CBA를 홍보하는 많은 저자들에 의해 취해진 것인지는 우리에게 명확하지 않다. 다행히도 최근 개정된 Holmboe 등의 임상능력 평가 실무지침(2017)은 CBA instrumentation이 현재 평가 모범 사례 표준을 충족한다는 것을 확립하는 데 필수적인 개발 및 사전 시험 요건을 명시했다.

Given the challenges facing CBA, the first step might be placing more attention on the development of an actual assessment model. It is not clear to us that such a step has been taken by the many authors promoting CBA. Fortunately, the recently revised Practical Guide to the Evaluation of Clinical Competence by Holmboe et al. (2017) has laid out the development and pre-testing requirements that are essential to establish that CBA instrumentation meets current standards of best practices in assessment.

두 번째 단계는 모델과 관련된 측정 문제를 해결하는 것입니다. 그 중 가장 중요한 것은 타당성이 있습니다. 앞에서 언급한 바와 같이, 루리 외 연구진(2011)은 의도된 평가 목표를 설정하는 데 도움이 되는 이러한 정의가 종종 '실행 중에on the run' 협상되고 있다고 보고했다. CBA 평가 도구의 품질 문제는 '진급 여부 판단'의 핵심 고려 사항이다. 점수 또는 등급의 측정 품질에 대한 문서화는 다음 단계로 이동하기 위해 필수적이다.
The second step is to address the measurement issues associated with the model, chief among them being validity. As noted before, Lurie et al. (2011) reported that these definitions, which help establish the intended assessment goals, were often being negotiated ‘on the run’. The issue of the quality of the CBA assessment tools is a pivotal ‘go or not go’ consideration. The documentation of the measurement qualities of the scores or ratings is essential to move to the next step.

세 번째 단계는 지역 수준에서 구현 모델을 개발하는 것이다. 환경 전반에 걸쳐 개선이 일반화될 수 있도록 결과 및 피드백을 위해 계획, 전달 및 따라야 합니다. 이것은 캐나다의 다른 센터(Tamblyn 1998; Reznick 등 1993)에서 표준화된 환자 기반 평가의 관리에 중요했다. 또한 현장(노르시니 및 버치 2007)의 작업 기반 평가에서도 문제가 되고 있다. 구현 계획에는 또한 광범위한 교육 및 교수진을 위한 준비가 포함되어야 합니다. 
The third step to develop a model of implementation at the local level. It has to be planned, communicated, and followed for results and feedback so that improvement is generalizable across settings. This was important for the administration of standardized-patient-based assessment at different centers in Canada (Tamblyn 1998; Reznick et al. 1993). It is also an issue in work-based assessment across sites (Norcini and Burch 2007). The implementation plan must also include extensive training and preparation for faculty members.

마지막 단계는 이 모든 것이 실제 세계에서 함께 적합한지 여부를 판단하는 것이다. 의료 시스템의 편익을 정의하는 초기에 사용된 모델로부터 차용하여, 많은 이해당사자들에게 영향을 미칠 [새로운 시스템의 개발 중에 반복적으로 물어야 하는 다섯 가지 핵심 질문]이 있다. 

  • (1) 혜택은 무엇입니까?
  • (2) 누가 이득을 보나요?
  • (3) 누가 결정하는가?
  • (4) 누가 돈을 내는가?
  • (5) 누가 관리하는가?

Finally, the final step is judging whether it all fits together in the real world. Borrowing from a model used in the early days of defining the benefits of a health care system (Solon et al. 1960; Lee 1974), there are five key questions that must be asked repeatedly during the development of new systems that will impact on many stakeholders:

  • (1) What are the benefits?
  • (2) Who benefits?
  • (3) Who decides?
  • (4) Who pays?
  • (5) Who manages it?

 

로드맵 2: CBA를 기존 기업 내에서 지속 가능한 혁신으로 구현
Roadmap two: implement CBA as sustainable innovation within existing enterprises

두 번째 로드맵은 [의료 및 교육 시스템을 모두 포함하는 품질 개선]이라는 enterprise 내에서 CBA의 과제가 무엇인지를 다시 설명한다. 이러한 광범위한 맥락에는 [모든 교육 및 임상 치료 기관에서 평가를 가능하게 하는] (교사 및 교수진 지원 서비스에 대한 규제 당국과 인증 기관을 포함하여) 관련된 모든 이해 당사자의 인정regocnition이 포함된다. 구현하려면 기본 구성 요소를 식별하고 공통 비전 실행에 대한 책임을 명확히 하기 위한 [공유 로드맵]이 필요합니다. 이 로드맵은 Christensen의 사례 기반 혁신 관리 연구(2013)에서 채택되었습니다. 
The second roadmap restates the challenge of CBA within a quality improvement enterprise that encompasses both the health care and educational systems. This wider context includes recognition of all of the stakeholders involved, including the regulatory authorities and certification bodies down through the leadership at the educational institutions to the teachers and the faculty support services that enable assessment at all educational and clinical care institutions. Implementation requires a shared roadmap to ensure that the basic components are identified and the responsibilities for them are clear in the execution of a common vision. This roadmap was adapted from Christensen’s case based management studies of innovation (2013).

CBA 관리는 여러 인터페이스를 통해 여러 수준에서 이루어져야 하기 때문에 우리는 [관리management 문헌]으로 눈을 돌렸다. CBA는 선의의 국가 또는 주 기반 자율 규제 이니셔티브로 시작할 수 있지만, 곧 각 개별 교수진의 학술 리더십 및 자원 활용 팀에게는 일련의 과제가 될 수 있다. 궁극적으로, CBA의 구현은 학습자-교사-교육자 인터페이스에서 주요 개발 문제로 드러날 것이다. 예를 들어, 각 교수진을 대상으로 하는 동료-주도 전문성 개발 프로그램과 각 연수생의 리-오리엔테이션을 위해 [접근 가능한 중앙 지원]이 필요할 것이다. 마찬가지로, 해당 분야의 교수진들은 종합 데이터를 제출하고 형성적 피드백을 위한 관찰 결과를 기록할 수 있는 서비스 가능한 대시보드를 포함한 새로운 기술 지원이 필요하다.

We turned to the management literature because the administration of CBA must occur at multiple levels, through multiple interfaces. While CBA may start as a well-intended national or state-based self-regulation initiative, it soon can become a set of challenges for the academic leadership and resources appropriation team at each individual Faculty. Ultimately, the implementation of CBA will surface as key developmental issues at the learner–teacher–mentor interface. To illustrate, accessible central support will be needed for a peer-directed program of professional development aimed at each faculty member and for the re-orientation of each trainee. Similarly, the faculty in the field will need new technical support, including serviceable dashboards to submit summative data and to record observations for formative feedback.

[리더십 수준]에서, The Innovators Solution이라는 책을 통해 Christensen 외 연구진(2013)은 [혁신적 아이디어를 기존 시스템의 성과와 서비스 개선를 위해 re-focus하는 새로운 프로세스와 도구로 전환하는 방법]에 대해 논의합니다. 이는 외부적으로 촉진되는 프레임워크를 채택하기 전에, 리더십이 혁신이 현재와 기능하는 품질 보증 프로그램에 '중단'될 가능성이 있는지 여부를 고려해야 한다는 것을 의미한다. 리더들에게, 크리스텐슨(2000a)은 성공의 결정적 요소 세 가지를 제시한다.

  • 사용자 또는 학습자가 혁신을 완전히 사용하거나 흡수할 수 있는 비율은 얼마입니까?
  • 예상되는 개선률이 사용자나 학습자가 완전히 사용하거나 흡수할 수 있는 수준을 초과합니까? 
  • 지속적 혁신과 파괴적 혁신의 구별이 명확합니까? 

At the leadership level, in The Innovators Solution, Christensen et al. (2013) discuss turning innovative ideas into new processes and tools that refocus an existing system to improve its outcomes and services. This implies that, before adopting any externally promoted framework, leadership must consider if an innovation is likely to be ‘disruptive’ to current and functioning quality assurance programs. For leaders, Christensen (2000a) offers three determining ‘elements’ of success:

  • What is the rate that the users or learners can fully use or absorb the innovation?
  • Does the expected rate of improvement go beyond what the users or learners can fully use or absorb?
  • Is there clarity on the distinction between sustaining and disruptive innovations?

혁신은 이전에 적절하게 강조되지 않았던 결과나 서비스의 '더 나은 수행'을 목적으로 하는 사용자나 학습자를 대상으로 하기 때문에 사전에 이러한 질문을 던지는 것은 중요하다. 대조적으로, 비즈니스에서, 파괴적인 혁신은 대상 고객이나 사용자를 위한 더 나은 제품이나 서비스를 목표로 하지 않는다. 일반적으로, 비지니스에서 파괴적 혁신은 사용하기 더 단순하거나 더 편리하거나 더 저렴한 서비스입니다. 하지만 CBE와 CBA는 지속적인 품질 개선과 지속 가능성에 관한 것입니다. 명백히, CBA는 혁신 솔루션에 대한 준비가 되어 있어야지, 파괴(disruption)를 초래해서는 안 된다.

These questions are important pretests because innovation is aimed at users or learners with a view to ‘better performance’ of outcomes or services that were not adequately emphasized previously. In contrast, in business, disruptive innovations are not aimed at better products or services for the target audiences or users. Typically, they are services that are simpler or more convenient or cheaper to use. However, CBE and CBA are about continuous quality improvement and sustainability. Clearly CBA should be about readiness for innovational solutions, not creating disruptions.

리더를 위한 프레임워크 또는 관리 비계를 제안한 후, 운영팀에서 CBA의 재정 지원과 기술적 요구를 사전에 예상하지 못할 경우, 교수진과 학습자에게 발생할 [잠재적인 다운스트림 위험]은 무엇인가? 다시 한번, 크리스텐슨의 요약은 현명한 조언을 제공한다. 혁신 관리는 리소스 할당 프로세스를 반영합니다. 교수진 지도부 차원에서 우선적으로 고려되지 않는다면, 혁신은 자원 부족으로 굶주릴 것이다. 혁신, 특히 CBE와 CBA와 같은 광범위한 자원 관련성을 가진 혁신에 대한 심의적 우선순위 설정의 필요성은 과소평가될 수 없다. 
Having proposed a framework or management scaffolding for leaders, what are the potential downstream risks for the Faculty and learners if the fiscal support and technical demands of CBA are not anticipated in advance by the management team? Again, Christensen’s (2000b) summary offers sage advice. Managing innovation mirrors the resource allocation process. If not prioritized at the Faculty leadership level, the innovation will starve for lack of needed resources. The necessity of deliberative priority setting for innovations, especially ones with far reaching resource implications like CBE and CBA, cannot be understated. 

더욱이, 기술혁신의 우선 순위를 판단하는 데 필요한 정보가 존재하지 않거나, 다른 사회적 또는 경제적 상황에서 기술혁신이 수행되는 경우라면, 크리스텐슨의 '학습이 있는 교훈lessons with learning'에 대한 제안은 CBA 제품이나 도구를 사용하여 교사-학습자 쌍으로 현장에서 빠르고 저렴한 시험(사전 시험)을 통해 만들어질 수 있다. 
Furthermore, if the information needed to inform prioritization of the innovation is non-existent or if an innovation is undertaken in differing social or economic circumstances, Christensen’s suggestion of ‘lessons with learning’ can be created through fast, inexpensive forays (pre-tests) into the field with the teacher–learner dyads using the CBA product or tool. 

보건 절차의 1단계 시험과 유사하게, 이러한 조종사는 반복 학습과 '안면' 타당성을 확립하기 위해 긍정적인 답변을 제공하거나 작은 고장을 제공할 수 있다. [혁신의 지속]이라는 측면에서, 남보다 '먼저first' 혁신에 도달하거나 리더로 보여지는 것은 중요하지 않다. 중요한 것은 일관되고 점진적인 개선을 달성하는 것에 관한 것이다. CBA를 도입할 때 인적 자원과 재정적 자원에 미치는 영향을 신중하게 고려해야 한다.
Analogous to phase one testing of health procedures, these pilots can give positive answers or provide small failures for iterative learning—and establishing ‘face’ validity. For sustaining innovations, getting there ‘first’ or being seen as a leader is not important. It is about achieving consistent and incremental improvement. The human and fiscal resources implications of CBA adoption must be carefully considered.

질문을 이어가자면, 잠재적인 사용자가 프로그램의 관련 교육 기관이나 지역사회 시설에 대한 CPE와 CBA의 영향을 확인하기 위해 더 자세히 조사할 수 있는 방법은 무엇인가? 위임가능한 전문 활동(EPAs) 또는 더 광범위한 프로그램 평가(PA)를 사용하여 잠재적인 영향을 예상하기 위해 arm-chair trial을 수행할 수 있다. 이러한 trial의 목적은 특정 위험과 기회를 식별하고 잠재적으로 CBE를 채택하는 기관에서 [혁신이 주어진 환경에서 지속 가능한지를 판단할 수 있도록 돕는 것]이다. 이는 PGME에서 특히 우려되는 사항이다. 왜냐하면, 의료진 및 교육 현장에서는 30-50개의 전공과목을 통합하여, 중앙 지원과 필요한 교수진 개발 프로세스를 제공하는 적절한 자금 지원 프로세스에 통합해야 한다(Holmboe et al. 2011).
Continuing with that same line of questioning, how else can potential users drill down further to see the implications CPE and CBA for the program’s associated teaching institutions or community placements? By using entrustable professional activities (EPAs) (Ten Cate 2013; Ten Cate and Scheele 2007) and/or the broader programmatic assessment (PA) (van der Vleuten et al. 2015), one can conduct arm-chair trials to anticipate potential implications. The purpose is to identify specific risks and opportunities and to help potential CBE adopters to decide if the innovation is sustainable in their setting given their purposes. This is a particular concern in PGME where a medical faculty and its associated teaching sites will be faced with integrating 30–50 specialties into an adequately funded process that will provide the required central support and needed faculty development processes (Holmboe et al. 2011).

마찬가지로 평가를 위한 '더 큰 데이터' 모델의 다음 다운스트림 시사점, 각 교수진 및 관련 PGME 프로그램으로 이동하면 EPA 또는 PA 도입의 안락의자 조종사를 사용하여 CBA의 데이터 수집 시사점을 고려할 수 있다. 이를 통해 교사와 멘토가 다음을 수행할 수 있도록 하는 데 필요한 지원을 확인할 수 있습니다.

  • (1) 실시간 관찰을 온라인에 기록한다.
  • (2) 매일 개선을 위해 학생에게 실시간으로 비판단적 피드백을 제공하도록 훈련되고 조직되어야 한다.
  • (3) 각 학습자에 대한 [데이터 수집 및 요약]과 [정보 패키지 개발]을 위한 중앙 지원을 받는다.

Similarly, moving to the next down-steam implications of ‘bigger data’ models for assessment, each faculty and each implicated PGME program, could consider the data collection implications of CBA by using arm-chair pilots of introducing EPAs or PA. It will help identify the support needed to ensure that teachers and mentors can:

  • (1) record real time observations of performance on-line;
  • (2) be trained and organized to offer real time non-judgmental feedback to students/trainees for daily improvement; and
  • (3) have central support to collect and summarize data and develop information packages on each learner.

그런 다음, 일단 수집된 정보는 교수진의 30개에서 50개에 달하는 PGME 프로그램 추진 위원회 각각에 속한 각각의 연수생에 대해 고려되고 해석될 수 있도록, 교수진의 PGME 사무실로 보내져야 합니다. 책임과 신뢰의 차원으로의 진전에 대한 타당한 결정을 내리기 위해 데이터와 관찰 내용을 함께 검토하고 해석하는 것은 그들이다. 기술적, 분석적 조언과 지원과 함께 교수 준비와 훈련이 필요하다 (Eva et al. 2016).

In turn, once collected, information must be sent to the Faculty’s PGME office to be considered and interpreted for each trainee in each of the faculty’s 30–50 PGME program’s promotions committee. It is they who collectively review and interpret the data and observations in order to make valid decisions about advancement to the next level of responsibility and trust. Technological and analytical advice and support aside, Eva and co-authors have suggested why significant faculty preparation and training is needed (Eva et al. 2016).

개별 교수진 수준에서 지속적인 모니터링 프레임워크를 채택하면 다음과 같은 일이 뒤따른다.

  • 총괄적 결정과는 대조적으로, 형성평가를 지원하는 관찰과 정성적 보고서 또한 현장 배치 중에 데이터 수집 시스템이 필요할 것이다. 업무 기반 평가 방법에 대한 교수진 지원 시스템은 CBA를 고려하는 사람들에게 좋은 사전 테스트이다. [피드백을 위한 일상적인 평가 순간]은 [진급 판단에서와 같은 의사결정을 위한 데이터]에서 분리해야 한다(Van der Vleuten et al. 2012).
  • 또한, [실시간 피드백과 형성적 학습]은 반드시 [평가 정보를 학습 목표 및 사전 정의된 기대치와 비교]하여 평가해야 한다. 여기에는 학생 기록에 데이터를 쉽게 제출할 수 있는 [온라인 프로그램]이나 [대시보드]에 정기적으로 액세스할 수 있는 기능이 포함되어야 한다.

There are several other consequences of employing continuous monitoring frameworks at the level of an individual faculty member.

  • In contrast to summative decisions, the observations and qualitative reports supporting formative assessment will also need data collection systems during field placements. Faculty member support systems for work-based assessment methods are a good pre-test for those considering CBA. These day-to-day assessment moments for feedback must be de-coupled from data for decision-making as in judgment for promotion (Van der Vleuten et al. 2012).
  • Moreover, real-time feedback and formative learning must be evaluated by comparing assessment information against learning goals and predefined expectations. That should include regular access to on-line programs or dashboards that permit easy submission of field data into the student’s record.

최근 보고서는 이러한 데이터 기대치의 도입이 쉽게 달성되지 않음을 확인했다. UGME와 PGME에서 CQI 프로세스로 성급하게 달려가는 것이 대부분의 교수진에게 엄청난 변화이며, 여기에 필요한 추가 자원이 과소평가될 수 있다. 따라서 일반적인 피드백뿐만 아니라, 다음 단계의 책임으로 진급하기 위하여 함축된 데이터를 판단하는데 필요한 [멘토와 평가자의 전문성]이 필수적이다. 또한, 형성 평가를 trainee는 총괄평가로 여길 수 있으며, 따라서 형성 평가 프로세스의 타당성에 위협을 가할 수 있다는 것이 문서화되었다(Govaerts 2015). 진정하고 정기적인 형태 형성 피드백에 대한 교수진과 연수생 준비는 필수적입니다(Dath and Iobst 2010; Holmboe et al. 2011). 

Recent reports have confirmed that the introduction of these data expectations is not easily accomplished (Dudek et al. 2012; Cook et al. 2016; Van Loon et al. 2016; Hauer et al. 2016). The rush to continuous quality improvement processes in both UGME and PGME is a big step forward for most faculties and its additional resource demands can be underappreciated. Therefore, the expertise of mentors and assessors is essential as judgments must be made on data where the inferences have implications, both for normal feedback as well as for promotion to the next level of responsibility. Furthermore, it has been documented that formative assessment activities can be viewed as summative by trainees, thereby offering a threat to the validity of the formative assessment processes (Govaerts 2015). Faculty and trainee preparation on authentic and regular formative feedback is essential (Dath and Iobst 2010; Holmboe et al. 2011). 

마지막으로, 평가에 관한 모든 변경은 자격부여 및 인증뿐만 아니라 의대 진급이라는 [광범위한 법적 맥락] 내에서 관리 및 평가되어야 합니다. 그러한 맥락은 입법 요건과 법률적 법리주의에 뿌리를 둔 기본적 법률 및 자연적 정의 체계에 의해 제한되고 지시된다. 평가는 일반적으로 국제적으로 존경 받는 standards for educational and psychological testing에 기초한다. 이렇게 오랫동안 확립된 프레임워크는 교육 기관과 면허 및 인증 기관 모두 준수해야 하는 [법적 절차와 표준]을 정의합니다. 그들은 또한 교육 환경에 걸쳐 동등성을 확립하는 데 필요한 구조와 평가 과정에 대한 지침을 정하고 평가 과정이 번창하는 데 필요한 학습 문화를 정의하는 데 도움을 준다. CBA의 도입은 기존의 교육 시스템으로 지속적인 개선을 통해 더 나은 결과를 얻는 새로운 문화를 창조하기 위한 것이다. 이를 위해서는 CBA가 [기존의 법적 및 행정적 QA 형식] 내에서 실현 가능하고 지속 가능한지를 사전에 평가해야 한다.
Finally, as Norman et al. (2014) have noted, any assessment change must be administered and evaluated within the broader legal contexts of medical school promotion as well as licensure and certification. Those contexts are bounded and directed by basic legal and natural justice frameworks that are rooted in legislated requirements and legal jurisprudence. The assessments are typically based on internationally respected standards for educational and psychological testing (Dauphinee 2002; American Educational Research Association, the American Psychological Association, and the National Council on Measurement in Education 2014). These long established frameworks define the legal processes and standards under which both educational institutions and licensure and certification bodies must operate. They also set the guidelines for the structures and assessment processes needed to establish equivalency across educational settings and help to define the learning culture needed for assessment processes to thrive. The introduction of CBA is intended to create a new culture of achieving better results through continuous improvement with an existing educational system. That necessitates evaluating, in advance, if CBA is feasible and sustainable within the existing legal and administrative quality assurance formats.

누가 CBA 혁신 과제를 소유하고 관리할 것인가?
Who will own and manage the CBA innovation challenge?

우리는 [평가에 대한 강조]는 [더 넓은 임상적 맥락에서 치료의 품질과 결과]에 따라야 한다는 견해를 지지한다. 전문직에 대한 사회적 책무성은 언제나 [교육 기관을 포함한 양질의 의료를 향한 노력]과 [모집단의 건강에 미치는 영향]에 기반하여 규정되어야 한다. 이것이 현재 널리 받아들여지고 있는 관점으로 볼 때, 우리는 면허나 인증을 위한 의사의 관리와 평가를 책임지는 광범위한 기관에 의해 추진되고 있는 주요 혁신에 직면해 있다. [CBA의 효과적인 구현]을 위한 [최적의 솔루션이 식별되도록 보장]할 의향이 있고, 이에 대한 책임을 질 수 있는 이해관계자 조직의 컨소시엄이 있는지 묻는 것이 타당해 보인다. 모든 국가에서 가능한 것은 아니지만, 캐나다, 미국, 그리고 일부 유럽 국가들과 같은 몇몇 나라들에는 강력한 CBA 활동들이 존재한다.

We support the view that the emphasis in assessment must be on the quality and outcomes of care in the broader clinical context (Bismil et al. 2014; Warm 2016; Wong and Holmboe 2016; Chen et al. 2014). Social accountability for the professions must always be framed within the health care quality effort, including the teaching institutions, and their impact on the population’s health. Given that this is now a widely accepted perspective, we are faced with a major innovation being promoted by a broad range of institutions responsible for the governance and assessment of physicians for licensure or certification. It seems reasonable to ask whether there are consortia of stakeholder organizations that are willing and able to take responsibility for assuring that the optimal solutions are identified for the effective implementation of CBA? While not possible globally, pockets of intense CBA activity exist in several countries: Canada, United States, and some European countries.

평가의 초기 혁신을 위해, 스폰서 기관의 비공식적 연합은 기술혁신을 진전시키는데 시간, 직원 및 비용을 투자하였다. 때로는 혁신 비용을 분담하고 조직간 개발 훈련을 촉진하기 위한 인센티브를 창출하는 교육 부문과 파트너십이 형성되기도 했다(Dauphinee 및 Reznick 2011; Tamblyn 등). CBA의 경우 유사한 조직간 협력과 장기 계획의 기회가 명백하다. 이제는 주머니가 두둑하고 사회적 책임감이 강한 기관들이 오너십을 갖고, 잘 확립된 운영 및 평가 실천을 통해, 지속 가능한 변화를 이루기 위해 충족되도록 보장할 때가 아닌가?

For earlier innovations in assessment, informal coalitions of sponsoring bodies invested time, staff and money in moving the innovation forward. Sometimes, partnerships were formed with the educational sectors which created incentives for sharing the cost of innovations and promoting inter-organizational developmental training (Dauphinee and Reznick 2011; Tamblyn et al. 2002). In the case of CBA, opportunities for similar inter-organizational collaboration and longer term planning are apparent. Is it not time for those bodies with deeper pockets and a strong sense of social responsibility to own and ensure that established management and assessment practices are met in order to have sustainable change?

의견 마무리
Concluding comments

결국, 평가를 위한 주요 역할은

  • 개선을 위한 학습자 피드백을 제공하고,
  • 한 단계에서 다른 단계로 [진급에 대한 정의된 기대치에 반하여 판단되는 증거]를 제공하고,
  • 프로그램과 프로그램 책임자와 멘토의 CQI을 보장하기 위한 데이터를 도출하는 것이어야 한다.

그렇지 않다면, CBA는 교육생, 교수진 또는 대중에게 지속 가능하지 않을 것이다.

In the end, the main roles for assessment should be to

  • offer learner feedback for improvement,
  • provide evidence judged against defined expectations for promotion from one phase to another, and
  • derive data to assure continuous quality improvement of the program and its director and mentors.

If not, CBA will be unsustainable for the trainees, the faculty, or the public.

 

 


Adv Health Sci Educ Theory Pract. 2019 May;24(2):413-421.

 doi: 10.1007/s10459-018-9833-2. Epub 2018 May 18.

Considerations that will determine if competency-based assessment is a sustainable innovation

Affiliations expand

PMID: 29777463

DOI: 10.1007/s10459-018-9833-2

 

Abstract

Educational assessment for the health professions has seen a major attempt to introduce competency based frameworks. As high level policy developments, the changes were intended to improve outcomes by supporting learning and skills development. However, we argue that previous experiences with major innovations in assessment offer an important road map for developing and refining assessment innovations, including careful piloting and analyses of their measurement qualities and impacts. Based on the literature, numerous assessment workshops, personal interactions with potential users, and our 40 years of experience in implementing assessment change, we lament the lack of a coordinated approach to clarify and improve measurement qualities and functionality of competency based assessment (CBA). To address this worrisome situation, we offer two roadmaps to guide CBA's further development. Initially, reframe and address CBA as a measurement development opportunity. Secondly, using a roadmap adapted from the management literature on sustainable innovation, the medical assessment community needs to initiate an integrated plan to implement CBA as a sustainable innovation within existing educational programs and self-regulatory enterprises. Further examples of down-stream opportunities to refocus CBA at the implementation level within faculties and within the regulatory framework of the profession are offered. In closing, we challenge the broader assessment community in medicine to step forward and own the challenge and opportunities to reframe CBA as an innovation to improve the quality of the clinical educational experience. The goal is to optimize assessment in health education and ultimately improve the public's health.

Keywords: Clinical assessment; Competency-based assessment; Disruptive innovation; Entrustable professional activities; Post-graduate medical assessment; Programmatic assessment; Sustainability; Undergraduate assessment.

 

통계학개론 (Adv Health Sci Educ Theory Pract. 2019)
Statistics 101

Geoff Norman1

간단한 사전 테스트를 준비했습니다. 그건 이런 식이다:
I have devised a simple pretest. It goes like this:

  • 대학원생 중 한 명이 최근 연구 결과를 보여 줍니다. 이것은 간단한 두 그룹 비교입니다 – 세부 사항은 중요하지 않습니다. 독립적인 표본 t 검정을 사용하여 두 그룹 평균을 비교했는데, 이는 단지 기호화 –> p = .0498인 것으로 밝혀졌다.
    One of your graduate students shows you the findings from her latest study. It is a simple two group comparison – the details do not matter. She compared the two group means using an independent sample t test, which turned out to be just significant –> p = .0498.
  • 동네 술집에서 축하를 하고 나면, 당신은 최근 복제 불가능에 대한 모든 홍보에 시달립니다. 그래서 다음 날 당신은 그녀가 확실히 하기 위해 연구를 반복해야 한다고 주장합니다. 그녀는 전에 했던 것처럼 똑같이 합니다. 디자인은 바뀐 것이 없습니다.
    After due celebration at the local pub, you are haunted by all the recent publicity about non-replication. So the next day you insist that she repeat the study just to be sure. She does it exactly like she did before. Nothing has changed in the design.
  • 질문: 순전히 통계적인 근거로, 두 번째 연구에서 동일한 결론에 도달할 확률, 즉 귀무 가설을 두 번 기각할 확률은 얼마입니까?
    QUESTION: On purely statistical grounds, what is the probability that you will arrive at the same conclusion in the second study; that is, you will reject the null hypothesis a second time?

다음 페이지의 각주1에서 정답을 찾을 수 있을 것입니다. 정답을 맞힌 사람은 올바른 이유(어떻게 나올지에 대한 정당한 논리적 주장)로 다음 섹션을 건너뜁니다. 나머지는, 계속 읽어보세요. 
You will find the correct answer in the footnote1 on the next page, just to keep you from peeking. For those who got it right, for the right reasons (a legitimate logical argument as to how it comes out that way), skip the next section. For the remainder, read on.

1 귀무 가설을 두 번째로 기각할 확률은 0.50입니다.
1 The probability that you will reject the null hypothesis a second time is 0.50


통계논리학의 기초
A primer of statistical logic


복습할 시간이에요. 통계 추론의 기본 논리는 이제 약 100년 정도 되었고(RIP 로날드 경), 반복된 도전(Cohen 2016)을 견뎌냈지만 여전히 살아있다. 효과 크기, 신뢰 구간 및 승산비를 추가했지만, 좋든 싫든 마법의 "p < .05"가 없으면 정량적으로 게시하는 데 어려움이 있을 것입니다. 
It’s time for a review. The basic logic of statistical inference is now about 100 years old (RIP Sir Ronald), and has withstood repeated challenges (Cohen 2016), but lives on. We’ve added effect sizes and confidence intervals and odds ratios, but like it or not, you still will have trouble publishing anything quantitative without the magical “p < .05”. 

그러니 그것이 무엇인지 그리고 우리에게 말하지 않는 것을 명확히 하자. 쉽게 설명하려면 이 책에서 가장 간단한 예를 들어 샘플을 모집단에 비교하는 경우를 살펴보겠습니다. 예를 들어, 우리는 "광도"와 소아과 유사점을 찾았다고 가정해 봅시다(그런데 광도는 작동하지 않습니다). 노화에 따른 인지력 저하를 줄이는 대신, 우리는 다른 쪽 끝에서 일할 것입니다. 그리고 유동적인 지능의 흐름을 조금 더 좋게 만들고 아이들의 IQ를 높이기 위해 고안된 온라인 개입인 윤활성을 고안할 것입니다. 
So let’s be clear on what it is and is not telling us. To make it easy, let’s take the simplest case in the book—comparing a sample to a population. Suppose, for example, we have come up with a pediatric analog to “Luminosity” (which does NOT work, by the way). Instead of reducing cognitive decline with aging, we’re going to work at the other end, and devise an online intervention, Lubricosity—designed to make fluid intelligence flow just a bit better, and raise IQ of kids (that doesn’t work either, but let’s pretend it does for now). 

그러나, 우리는 그 반대로 시작하여 "null 가설"을 설정한다. 
However we begin by doing the opposite and setting up a “null hypothesis”, which in contracted form is: 

H0 pop 모평균(모양성) = 모평균 = 100. 
H0 ∶ Population mean(lubricosity) = Population mean = 100. 

기본적인 논리는 간단하다. 만약 우리 연구 아이들이 12세 모두의 집단에서 무작위로 추출된 샘플이고, 만약 치료법이 효과가 없다면, 그리고 만약 우리가 연구를 수 천 번 하고 모든 샘플의 평균 IQ를 표시한다면, 그들은 치료받지 않은 집단의 평균 IQ인 100 정도 정규 분포를 따를 것입니다. 
The basic logic is simple: If our study kids are a random sample from the population of all 12 year olds, and if the treatment doesn’t work, and if we did the study a zillion times and displayed all the sample mean IQ’s, they would be normally distributed around 100, the mean IQ in the untreated population. 

그래서 우리는 무작위로 100명의 6살짜리 아이들을 표본으로 추출하여 3개월 동안 프로그램에 등록한 후 그들의 IQ를 측정합니다. 중요한 것은 표본 크기 100에서 계산된 평균의 분포를 살펴보기 때문에, 정규분포의 width는, 평균의 표준오차라고 하며, 이는 원래 점수의 표준편차를 평균의 제곱근으로 나눈 1.5가 된다는 것입니다. 데이터는 그림 1a)와 비슷할 것이며, 여기서 우리는 IQ를 Z 점수로 변환하여 모든 것을 표준 오차 단위로 표현했다.  
So we randomly sample 100 6 year olds, enrol them in the program for 3 months, then measure their IQ. Critically, because we re looking at the distribution of means computed from sample size 100, the width of the normal distribution of means, the standard error of the mean, would be the standard deviation of the original scores (15 for IQ) divided by the square root of the sample size (√100 = 10), or 1.5. The data would look like Fig. 1a), where we have also converted the IQ to a Z score, expressing everything in standard error units.  

논리의 다음 단계는 연구의 표본 평균이 이 (null 가설) 분포에서 왔다면 우연히 발생할 가능성이 충분히 없는 경우, 귀무 가설을 기각하고 관측된 차이가 통계적으로 유의하다고 선언하는 것이다. 그리고 "비슷하게"는 항상 같은 방식으로 정의된다; 발생 확률은 100분의 5 미만이다. 
The next step in the logic is to declare that, if the sample mean of the study is sufficiently unlikely to have arisen by chance if it came from this (null hypothesis) distribution, we will reject the null hypothesis and declare that the observed difference is statistically significant. And “unlikely” is always defined the same way; a probability of occurrence of less than 5 in 100. 

그런 다음 꼬리 확률이 .05 미만인 분포에 임계값을 설정하며, 이는 일반적으로 "알파"라고 불린다. 간단한 z 테스트의 경우, 그림과 같이 Z가 1.96일 때 발생합니다. 즉, H0을 거부(수용)하지 못하는 [임계값의 왼쪽에 있는 영역]과 H0을 거부(수용)하지 못하는 [임계값의 오른쪽에 있는 영역]입니다. 
This then establishes a critical value out on the distribution beyond which the tail probability is < .05, which is conventionally called “alpha”. For the simple z test, this arises at a Z of 1.96, as shown in the figure. In turn, this defines two zones: one to the left of the critical value, where we fail to reject (accept) H0, and one to the right, where we reject H0. (Again, because this is a two-tailed test, there is a similar zone on the left side of the graph, but we’ll ignore this). See Fig. 1a). 

이제 중요한 부분이 왔다. 만약 우리가 H0을 거부한다면, 우리는 논리적으로 그것이 다른 분포인 H1 분포에서 왔다고 선언한다. 데이터가 나오기 전에 이 모든 것을 가정한다면, H1은 거의 모든 곳에 중심이 맞춰질 수 있습니다. 따라서 표본 크기 계산은 항상 올바른 값을 산출합니다! 그러나 연구가 끝나면 H1 분포가 있을 수 있는 위치, 정확히 관찰한 위치에 대한 정보를 얻을 수 있습니다. 따라서 "작업"한 두 번째 연구 집단은 새로운 모집단 평균인 관측된 표본 평균에 대한 "최상의 추측"에 초점을 맞춘 분포를 가지고 있다고 가정한다. 또한 해당 분포가 치료되지 않은 모집단과 동일한 표준 편차를 갖는다고 가정한다. 
Now comes the critical part. If we reject H0, we then logically declare it comes from a different distribution, the H1 distribution, somewhere to the right of the critical value. Now, if we were doing all this hypothetically before we had the data, H1 could be centered almost anywhere (which is why sample size calculations always come up with the right number!) But once the study is over, we have information about where the H1 distribution might be—exactly where we observed it. So we assume that the second population of studies that “worked” has a distribution centered on our “best guess” of the new population mean, the observed sample mean. We also assume the distribution has the same standard deviation as the untreated population (“homoscedasticity”, if you want to sound intellectual). 

연구 평균이 104.5로 H0 평균보다 3 표준 오차 위에 있다고 가정합시다. 그러면 곡선은 그림 1b와 같다.
Let’s assume we found that the study mean was 104.5, 3 standard errors above H0 mean. Then the curve looks like Fig. 1b):

이제 중요한 비트는 임계값 왼쪽의 H1 곡선 영역입니다. 즉, 4.5의 IQ 포인트 차이가 있다는 대립 가설 하에서 유의한 차이를 선언하지 않을 가능성인 베타입니다. 이 경우 0.15입니다. 그리고 (1-베타)는 차이가 있는 경우 이를 검출할 수 있는 가능성으로, 이를 검정력이라고 합니다. 이 값은 (1–.15) =.85입니다. 
Now the important bit is the area of the H1 curve to the left of the critical value. That is beta, the likelihood that you would not declare a significant difference, under the alternative hypothesis that there was a difference of 4.5 IQ points. In this case, it’s 0.15. And (1-beta) is the likelihood of detecting a difference if there was one, which is called “power”. This is (1–.15) = .85 

분명히 하자면, 이 연구는 0.0001의 p 값에 해당하는 Z = 3.0의 차이를 발견했지만 유의미한 차이를 반복할 확률은 여전히 85%에 불과하다는 것을 의미합니다. 
To be very clear, what this means is that even though this study found a difference of Z = 3.0, corresponding to a p value of 0.0001, the chance of replicating the finding of a significant difference is still only 85%. 

그리고 그것은 우리에게 프라이머의 시작 부분에서 제기되는 질문으로 이어집니다. p-값을 정확히 0.05로 계산하면, 이것은 Ho 분포의 Z = 1.96에서 표본 평균에 해당합니다. 즉, H1 분포가 임계값에 바로 중심을 맞춘다는 뜻입니다. 분포의 절반은 임계값의 왼쪽에 있고 절반은 오른쪽에 있습니다. 유의한 차이의 원래 발견을 반복할 가능성은 50%에 불과합니다! 
And that brings us to the question posed at the beginning of the primer. If we computed a p-value of exactly .05, this corresponds to a sample mean at Z = 1.96 on the Ho distribution. That means the H1 distribution is centred right on the critical value. Half of the distribution lies to the left of the critical value and half to the right. The likelihood of replicating the original finding of a significant difference is only 50%! 

그림 2에서, 나는 계산된 p 값의 함수로 복제 가능성을 표시했다. 그것은 0.50에서 0.97까지이다. 
In Fig. 2, I’ve plotted the likelihood of replication as a function of the calculated p value (for “significant” results). It goes from .50 to .97. 



이제 시작 부분에 제시된 세 가지 시나리오로 돌아가겠습니다. 
Now let’s return to the 3 scenarios posed at the beginning: 

1. "Power analysis이 제시되지 않았습니다. 실험 설계의 일부로 포함되어야 한다." 
1. “There is not [sic] power analysis presented. Should be included as part of experimental design.” 

위에서 설명한 바와 같이, 통계적 검정의 검정력은 (즉, 데이터가 H1 분포에서 나온 경우) 하나일 때 유의한 차이를 찾을 확률이다. 연구에서 우리는 모든 중요한 차이가 0.001에서 0.0001 사이의 p 값을 갖는다고 보고했다. 유의한 차이를 찾을 확률은 1.0이었는데, 그 이유는 우리가 유의한 차이를 발견했기 때문입니다. Power analysis는 아무것도 더하지 않습니다. 
As we described above, the power of a statistical test is the probability of finding a significant difference when there is one present (i.e. when the data come from the H1 distribution). In the study we reported all the critical differences had p values ranging from 0.001 to 0.0001. The probability of finding a significant difference was 1.0, because we did find a significant difference. The power calculation adds nothing. 

검정력 계산은 차이가 예상되지만 발견되지 않을 때 추정된 크기의 차이를 찾을 가능성을 추정하는 데 유용합니다. 차이가 감지되면 가치가 없습니다. 
Power calculations are useful when a difference is expected but was not found, to estimate the likelihood of finding a difference of some presumed magnitude. They have no value when a difference was detected. 



2. 복제 비복제에 대한 Pashler의 해결책은 피험자당 시행 횟수를 증가시켜 (표본 크기를 증가시켜) 연구에 더 큰 통계적 power을 부여하는 것이었다. 
2. Pashler’s solution to non-replication was to build greater statistical power into the studies by increasing the number of trials per subject (increasing sample size). 

밝혀진 바와 같이 표본 크기가 증가하면 복제되지 않는 문제가 줄어들지 않을지는 유의미한 효과의 원래 결과가 참이었는지 아닌지에 대한 믿음에 달려 있습니다. 
As it turns out, whether increased sample size will or will not reduce problems of non-replication depends on your belief that the original finding of a significant effect was true or not. 

복제와 비복제에 대한 대부분의 문헌은 원래의 결과가 위양성false positive이라는 견해를 가지고 있는 것으로 보인다. (존 외 2012; 마시캄포 및 랄랑드 2012; 시몬스 외 2011). 만약 그렇다면, 우리가 설명한 개념 논리는 알파가 처음부터 0.05로 설정되기 때문에 거짓 양의 가능성은 항상 0.05라는 것을 보여준다. (이 주장을 할 때, 우리는 의도적으로 참고 문헌 목록 중 일부에서 논의된 많은 잠재적인 조사자 편향을 무시하고 단지 이론적 확률을 보고 있다.) 
It would appear that most of the literature on replication and non-replication holds the view that the original finding is a false positive; the effect is really not there. (John et al. 2012; Masicampo and Lalande 2012; Simmons et al. 2011). If this is the case, then the conceptual logic we have described demonstrates that the likelihood of a false positive is always 0.05, because alpha is set at .05 from the outset. No amount of increase in sample size changes that. (In making this claim, we are deliberately ignoring the many potential investigator biases discussed in some of the references in the bibliography, and are simply looking at the theoretical probability). 

그러면 샘플 크기를 늘리면 어떤 효과가 있을까요? 도함수로 돌아가면, 평균의 표준 오차는 감소하므로 두 곡선은 원래 척도에서 더 멀리 이동한다. 겹치는 부분overlap이 감소하면 검정력이 증가하지만, 이는 실제 차이를 탐지할 가능성에만 영향을 미칩니다. 즉, 증가된 검정력은 실제 효과가 있는 경우 점점 더 작은 효과의 탐지를 허용하지만, 효과가 유의하다고 잘못 선언될 가능성은 바꾸지 않는다. 

So what does increased sample size achieve? Going back to the derivation, as sample size increases, the standard error of the mean decreases, so the two curves move further apart on the original scale. Power increases as the overlap decreases, but this only impacts on the likelihood of detecting a true difference. In other words, increased power will permit detection of smaller and smaller effects if they are real, but does not change the likelihood that an effect will be falsely declared significant. 



3. 다중 문항 조사에서 얻어진 문항수준에서의 상관 관계.
3. Correlations at item level from a multi-item survey.

연구 설계가 알파에 미치는 영향의 연장선상에서, 다중 검정이 전체 알파 수준에 미치는 영향에 대한 관심이 부족하다. 다중 항목 목록에서 관찰된 차이의 분석은 적어도 두 가지 이유로 인해 타당하지 않다. 첫째, 검정 횟수가 증가할수록 유의한 차이를 관측할 가능성이 커집니다. 예를 들어, 알파가 0.05인 경우 5개의 검정을 통해 적어도 하나의 유의한 차이(위양성)를 찾을 확률은 0.23, 10개의 검정에서는 0.40, 20개에서는 0.65, 50개에서는 0.92입니다. 거짓과 실제 긍정을 구별하는 것은 불가능하다. 게다가, 수백 명의 참여자들이 참여하기 때문에, 심지어 작은 상관관계도 통계적으로 중요한 것으로 나타날 것이다. 한 가지 해결책은 기존의 알파를 제안된 테스트 수로 나누는 본페로니 보정이다. 발표된 예에서, 논문에 있는 약 40개의 중요한 결과는 본페로니 보정을 통해 3으로 떨어집니다. 

As an extension of the effect of study design on alpha, there is insufficient attention to the effect of multiple tests on the overall alpha level. Analysis of differences observed in a multi-item inventory is rarely sensible, for at least two reasons. First, as the number of tests increases, the likelihood of observing a significant difference increases. As a simple example, using an alpha of .05, the likelihood of finding at least one significant difference (false positive) with 5 tests is .23; with 10 tests, .40; with 20, .65 and with 50, .92. It is not possible to distinguish false from real positives. Moreover, with several hundred participants, which is not uncommon in surveys, even tiny correlations will emerge as statistically significant. One solution is a Bonferroni correction, dividing the conventional alpha by the number of proposed tests. In the published example, the approximately 40 significant results in the paper drops to 3 with a Bonferroni correction. 

그러한 접근법이 유용하지 않은 두 번째 이유가 있다. 다중문항인벤토리를 사용하는 것의 핵심은, 하나의 문항만으로는 신뢰할 수 있는 결과를 산출하기에 충분히 신뢰성이 없다는 것을 인식하는 것이다. 실제로 요인분석은 기초 치수를 식별하기 위한 항목별 판매 생성 지침을 제공하기 위한 것이며, 전체적인 내부 일관성 계산은 모든 항목이 동일한 기초 치수를 측정한다는 가정에 기초한다. 따라서 분석은 항목item 수준이 아닌 척도scale 또는 하위척도subscale 수준에서 진행되어야 합니다. 

There is a second reason why such an approach is not useful. The whole point of a multi-item inventory is recognition that a single item is not sufficiently reliable to yield credible results. Indeed a factor analysis is directed at providing guidance for creating subscales to identify underlying dimensions, and an overall internal consistency calculation is based on the assumption that all items are measuring the same underlying dimension. So analysis should be conducted at the scale or subscale level, not the item level. 

결론
Conclusion


다양한 방법론적 편향에 기초한 복제 실패의 이해를 위한 광범위한 문헌이 있지만(Francis 2013; Schulz 등 1995), 비복제가 피셔 통계 추론의 구조적 특징이라는 사실에 대한 인식과 동일하다고 생각한다.
While there is an extensive literature directed at understanding failure to replicate based on various methodological biases (Francis 2013; Schulz et al. 1995), there is, I think inadequate recognition of the fact that non-replication is an architectural feature of Fisherian statistical inference.

Cohen, J. (2016). The earth is round (p < . 05). In What if there were no significance tests? (pp. 69–82). Routledge.

Norman, G. (2017). Generalization and the qualitative–quantitative debate. Advances in Health Sciences Education, 22(5), 1051–1055. XXX

 

 

 

 


Adv Health Sci Educ Theory Pract. 2019 Oct;24(4):637-642.

 doi: 10.1007/s10459-019-09915-3.

Statistics 101

Geoff Norman 1

Affiliations collapse

Affiliation

  • 1McMaster University, Hamilton, ON, Canada. norman@mcmaster.ca.

의학교육의 신화 폭로하기: 반증의 과학(Med Educ, 2019)
Debunking myths in medical education: The science of refutation
Anique B H de Bruin

 

교육 연구에서 연구된 많은 개인 차이들 중에서, 한 가지 특별한 요인은 지속적으로 개인이 새로운 정보를 배울 가능성에 영향을 미치고 학습에서 많은 다른 요인들을 합친 것보다 더 많은 차이를 설명해 준다: 바로 학생의 사전 지식 수준이다. 사전지식은 (동기, 사회경제적 지위, 자기 조절 기술 및 성별 이상으로) 새로운 정보를 기존 계획에 이미 저장되어 있는 지식에 연결할 수 있게 함으로써 새로운 학습의 기초를 제공한다. 특정 주제에 관하여 사전 지식이 있는 학생들은 새로운 정보를 더 잘 기억하고, 정보의 더 복잡한 부분을 다룰 수 있으며, 사전 지식이 낮은 학생들과 비교했을 때 다른 교육 형식이 필요할 수 있다.4
Of all the many individual differences studied in education research, one particular factor consistently affects the chance that an individual will learn new information and explains more variance in learning than many other factors combined: the student's level of prior knowledge. More than motivation, socioeconomic status, selfregulation skills and gender, prior knowledge provides a basis for new learning by allowing the connection of new information to knowledge that is already stored in existing schemata.1 Students with prior topic knowledge are more likely to remember new information,2 can handle greater complexity of information,3 and may need a different instructional format compared with those with low prior knowledge.4 
 
그러나 학습자의 사전 지식이 부정확할 경우 어떤 현상이 발생하는가?
But what happens when a learner's prior knowledge is incorrect

일이 어려워지는 것은 바로 그 때이다. 사전 지식이 잘못된 경우 사전 지식이 없는 경우보다 올바른 지식을 얻는 것이 더 어렵습니다. 특히 학습자들이 잘못된 정보를 떠나보내는 것은 어렵다. 사전 지식은 변화에 저항적이다. 왜냐하면 인간의 정신은 그 지식의 부정확함에 직면했을 때조차도 더 오랜 기간 동안 알고 사용한 것에 충실하기 때문이다. 정보의 출처가 신뢰성에서 다양해지는 정보 폭발의 시대에 사는 것은 지식이 쉽게 얻어지지만, (얻어진 지식이) 일단 내면화되면 거부하거나 대체하기 어려운 잠재적인 유해한 상황을 만든다. 
That is when things get rough. When prior knowledge is incorrect, it is more difficult to gain the correct knowledge than when no prior knowledge is available.5 It is particularly hard for learners to let go of incorrect information. Prior knowledge is resistant to change because the human mind is loyal to what it has known and used for a longer period, even when confronted with the incorrectness of that knowledge. Living in an era of information explosion, in which the sources of information vary in reliability, makes for a potentially toxic context in which knowledge is gained easily, but is hard to reject or replace once it has been internalised. 

의학 교육은 보편적 법칙이 적용되고 수세기에 걸쳐 유지되는 유기화학이나 양자 물리학이 아니다. 대신에, 의학 교육은 일반적으로 [제한된 증거, 다양한 증거, 그리고 무엇보다 우리가 학습에 대해 가지고 있는 가정에 대한 증거의 부족]으로 특징지어진다. 우리의 직관 중 일부는 정확할 것이다. 그러나 학습 신화는 너무 많은 곳에 있어서 특별히 이 문제를 다루는 디자인, 테스트 그리고 교육 전략의 실행이 필요하다. 어떻게 잘못된 지식을 최대한 거부하고 올바른 지식으로 대체하도록 권장할 것인지의 문제를 다뤄야 한다. 
Medical education is not organic chemistry or quantum physics, in which universal laws apply and are maintained over centuries. Instead, medical education is more typically characterised by limited evidence, varying evidence or, most commonly, a lack of evidence regarding the assumptions we hold about learning. Some of our intuitions will be correct, but the omnipresence of learning myths calls for design, testing and the implementation of teaching strategies that specifically address the issue of how to maximise the rejection of incorrect knowledge and encourage its replacement with correct knowledge in such a way that learners will use it in practice. 

교육 심리학 연구는 약 40년 동안 myth debunking에 대한 고려를 통해 이 문제를 다루어 왔고, 이 연구가 얻은 통찰력은 의학교육에 연구와 교수에 정보를 줄 수 있는 잠재력을 가지고 있다. 이러한 연구가 종종 젊은 학습자(예: 청소년)에서 수행되었고, 대부분 자연과학의 학습 개념과 관련이 있지만, 그들의 연구 결과는 관련성의 몇 가지 일반성을 밝혀냈다.
Studies in education psychology have addressed this issue through the consideration of myth debunking for about four decades and the insights this research has gained have potential to inform research and teaching in medical education. Although these studies were often performed in younger learners (eg adolescents) and mostly related to learning concepts in the natural sciences, their findings have revealed several generalities of relevance.

무엇보다도, 학습자의 잘못된 지식을 바꾸는 것은 [지식의 상당한 재편subsantive reorganization]의 문제이지, '어떻게 학생들에게 말하는 것'의 문제가 아니다. 임상적 추론을 개선하는 데 탈-편향debiasing이 충분하지 않은 것처럼, 올바른 지식을 제공하는 것 만으로는 궁극적으로 필요한 지식의 재구성이 이루어지지 않을 것이다. 따라서 잘못된 지식을 극복하는 일은 종종 '개념적 변화conceptual change'를 가능하게 하는 문제로 언급된다. 그렇게 하기 위해서, 학습자들은 과학적으로 올바른 정보에 광범위하게 관여해야 하고, 그들 자신의 잘못된 생각을 탐색하고 그들의 생각의 오류를 이해하려고 노력할 기회가 주어져야 한다. 
First and foremost, changing learners’ incorrect knowledge is an issue of substantive reorganisation of knowledge, not a matter of ‘telling students how it is.’ Just as debiasing is insufficient to improve clinical reasoning,10 providing the correct knowledge alone will not produce the reorganisation of knowledge that is ultimately required. The task of overcoming incorrect knowledge is, therefore, often referred to as an issue of enabling ‘conceptual change.’ To do so, learners should engage with the scientifically correct information extensively and should be given opportunities to explore their own incorrect ideas and to attempt to understand the errors in their thinking.11 

종종, [과학적 설명]은 학습자의 [나이브한 생각과 경험]에 반직관적이다. 따라서 학습자에게는 특히 과학적인 설명 뒤에 숨겨진 추론을 상세히 설명해주어야 하며, 학습자로 하여금 나이브한 개념과 적극적으로 대조하게 해야 한다. 따라서 (잘못된 개념을) 바로잡기 위해서는 [올바른 정보]와 [잘못된 개념]이 모두 다 작업 기억에서 활성화되어야 한다.
Often, scientific explanations are counterintuitive to the naïve ideas and experiences of the learner (as in the case of the learning style myth), which makes it particularly necessary to elaborate on the reasoning behind the scientific explanation and have learners actively contrast it with naïve conceptions. The correct information and the misconception should be coactivated in working memory in order for them to be changed.12 

이것을 하기 위한 하나의 유망한 접근법은 'refutation'를 사용하는 것이다. 반박 텍스트는 올바른 과학적 지식에 대한 설명과 학습자의 오해에 대한 명백한 거절을 결합한다. 이는 종종 다음과 같은 형태로 나타납니다.
One promising approach to doing this is to use ‘refutations.’ Refutation texts combine an explanation of correct scientific knowledge with an explicit rejection of learners’ misconceptions. This is often in the form of:

어떤 사람들은 X라고 생각해요. 그러나 이는 사실이 아닙니다/이 가정에 대한 증거가 없습니다. 대신, Y'에 대한 증거가 있다(Y에 대한 자세한 설명이 뒤따른다).
‘Some people think X. However, this is not true/there is no evidence for this assumption. Instead, there is evidence for Y’ (followed by a detailed explanation of Y).

반박의 통합은 정확한 과학적 정보 및 설명과 능동적인 대조를 촉진하여 잘못된 개념이 거부되고 올바른 정보가 내재화될 가능성을 증가시킨다. 반박 텍스트refutation text는 또한 메타 이해의 정확성을 향상시키기 위해, 학생들이 학습 자료와 더 적극적으로 상호작용하게 만든다 (즉, 학습자의 이해에 대한 자기 평가). 그리고 새롭게 얻은 지식의 다른 맥락으로의 전달을 증가시킨다.

The incorporation of the refutation encourages active contrasting with the correct scientific information and explanation and thereby increases the chance that misconceptions will be rejected and the correct information internalised.13 Refutation texts have also been observed to make students interact more actively with the learning material, to improve the accuracy of meta-comprehension14 (ie learners’ self-assessments of their understanding), and to increase the transfer of newly gained knowledge to other contexts.15

단순히 학생들의 개념적 변화를 촉진하는 데 유용한 것이 아니라, 그러한 연구 결과는 우리의 과학적 글쓰기의 발표가 우리의 독자들에게 개념적 변화를 더 용이하게 할 수 있는 방법을 제안합니다. 예를 들어, Dale의 학습 피라미드에 대한 증거를 반박하는 Masters의 초록 말미의 명백한 메시지는, 만약 그것이 다음과 같이 시작된다면, 훨씬 더 영향력이 있을 것이다. 어떤 사람들은 [학습자들이 강의에서 들은 것의 10%를 기억한다]고 생각합니다. 그러나 이에 대한 증거는 없다.'
Rather than simply being useful for facilitating conceptual change in students, such findings suggest ways in which the presentation of our scientific writing might better facilitate conceptual change in our readers. For example, perhaps the explicit message refuting the evidence for Dale's pyramid of learning, as stated by Masters7 at the end of his abstract, would be made even more influential if it started with: ‘Some people think that [learners remember 10% of what they hear from lectures]. However, there is no evidence for this.’ 

만약 학생과 교사가 [학습에 대해 가지고 있는 잘못된 가정]이 [반박]을 통해 명백하고 광범위하게 다루어져야 한다면, 우리의 연구 활동도 마찬가지로 집단 개념화를 바꾸기 위한 수단으로 반박을 통합하기 시작해야 할 가능성이 높다. 
If the erroneous assumptions students and teachers hold about learning must be tackled explicitly and extensively through refutations, then so too is it likely that our research activities must similarly begin to incorporate refutations as a means through which to change our collective conceptualisations. 

학생들의 [사전 지식]과 [사전 지식에 있을 수 있는 오류]를 인식하는 것은, 우리의 가르침이 학생들의 지식 적응과 구성에 미치는 영향을 최적화하기 위한 [전제 조건] 단계이다; 이는 우리 분야에서도 마찬가지일 것이다.
Becoming aware of students’ prior knowledge and the possible errors it contains is a prerequisite step to optimising the effect our teaching has on students’ knowledge adaptation and construction; it is similarly likely to be a prerequisite step towards doing the same for our field. 

 


Med Educ. 2020 Jan;54(1):6-8.

 doi: 10.1111/medu.14028.

Debunking myths in medical education: The science of refutation

Anique B H de Bruin 1

Affiliations collapse

Affiliation

  • 1School of Health Professions Education, Maastricht University, Maastricht, the Netherlands.

Free PMC article

Abstract

de Bruin argues that efforts to eradicate erroneous assumptions students and teachers hold about learning requires refutation, a process that combines both correct scientific knowledge and rejection of misconceptions.

섬과 군도: 프로그램적 연구와 기회주의적 연구의 조화(Perspect Med Educ, 2020)
Islands and archipelagos: Reconciling programmatic vs. opportunistic research in health professions education
Glenn Regehr

 

연구 프로그램에 참여하는 것이 무엇을 의미하는지 생각해 볼 수 있는 몇 가지 방법이 있습니다. "프로그램적"이라는 개념을 어떻게 정하느냐는, 당신의 직업에서 [기회주의적 연구]의 위치에 대해 어떻게 생각하는가에 영향을 미칠 것입니다.

  • 실제로 보건직 교육 분야에서는 특정 주제 분야를 선택하고 대부분의 연구 시간을 해당 분야에서 보내는 연구자들이 있습니다. 이들 중 일부는 임상 진단 및 관리에 대한 전문지식의 성격과 같은 보다 개념적인 문제에 초점을 맞춘다.
  • 다른 이들은 특정 교육 혁신 또는 평가 도구의 개발 및 개선과 같은 보다 구체적인 문제에 초점을 맞춥니다.
  • 또한 다른 이들은 위탁 결정의 성격과 기록 방법(개념적 질문과 실제적 질문을 모두 포함하는)과 같은 중간의 공간을 찾는다.  

There are several ways to think about what it means to engage in a program of research. How you choose to frame the notion of “programmatic” will affect how you think about the place of opportunistic research in your career.

  • There are indeed some researchers in health professions education who pick a specific topic area and spend the majority of their research time in that area. Some of these individuals focus on a more conceptual issue, such as the nature of expertise in clinical diagnosis and management.
  • Others focus on more concrete problems, such as the development and refinement of a particular educational innovation or assessment tool.
  • Still others find a space that is somewhere in between, such as exploring the nature of entrustment decisions and how to record them (which encompasses both conceptual and practical questions).

그러나 이러한 고도로 집중된 개인들도 어떤 이유로든 종종 다른 연구 분야로 이탈할stray 가능성이 높습니다. 연구자의 핵심 주제 분야가 아니더라도 연구를 희망하는 타인에 대한 일정 수준의 지원이 직무기술에 포함되어 있기 때문일 수 있다. 또는 연구자가 포기할 수 없는 기회에서 비롯될 수도 있다(내 동료 중 한 명은 특정 주제와 상관없이 연구팀과 함께 일하는 것이 흥분되어 가끔 연구 프로젝트에 참여하는 것을 묘사한다). 일부 핵심 연구 분야에 대한 그들의 깊은 헌신 때문에, 이러한 한 분야에 집중하는 연구자들은 [(그들이 적극적으로 추구하는) 프로그램적 연구]와 그들이 [기회주의적으로 참여하는 "기타" 연구] 활동을 구별할 수 있다. 따라서, 그들은 적극적으로 그들이 참여하는 기회주의적 연구의 양을 제한하고 그들의 연구 프로그램에 최대한 초점을 맞추려고 노력할 수 있습니다.

Yet even these highly focused individuals are likely to stray into other areas of research occasionally, for any number of reasons. Their side forays may be because their job description includes a certain amount of support for others who are hoping to conduct research, even if it is not directly in the researcher’s core topic area. Or it may result from chance opportunities a researcher feels cannot be passed up (one colleague of mine describes occasionally joining research projects because she is excited to work with members of the research team regardless of the particular topic). Because of their deep commitment to some core research area, these focused researchers may drawthe distinction between “their” programmatic research(which they actively pursue) and the “other” research activities they engage in opportunistically. Thus, they may try to actively limit the amount of opportunistic research they engage in and keep as much focus as possible on their own research program(an approach that your supervisor seems to be recommending). 

저 자신의 연구 접근법은 프로그램적 연구와 기회주의적 연구의 경계를 모호하게 만드는 경향이 있습니다. 내 여러 연구결과물에서 이어지는 주제도 있지만, 그 주제들은 각각 다른 사람들과의 작업 때문에 기회주의적으로 생겨났다. 그리고 각각은 새로운 개인이 그 분야에 대한 관심과 새로운 관점을 가지고 나에게 다가오기 때문에 앞으로 나아갑니다. 예를 들어, "나의" 자기 평가 관련 연구작업은 수년 전 정신과 레지던트와의 가벼운 산책에서 시작되었는데, 그는 어떤 학문적인 분야에 관심이 있느냐고 물었더니 학생들의 자기 평가를 개선하고 싶다고 말했다. 이어진 대화로 우리는 과연 자기 평가가 무엇이고, 무엇을 위한 것인지에 대해 궁금해지기 시작했다. 이것은 그가 새로운 자기 평가 모델(상대 순위 모델이라고 부르는 것)을 개발했기 때문에 그의 석사 논문의 주제가 되었습니다. 

My own approach to research has tended to blur the boundaries between programmatic and opportunistic research. There are certain themes that run through my work, but each of those themes arose opportunistically because of my work with others. And each moves forward because a new individual comes to me with an interest in the area and a new perspective on the issue. As an example, “my” self-assessment work began many years ago during a casual walk with a psychiatry resident who, when I asked him what scholarly area he was interested in, said that he wanted to improve students’ self-assessment. The ensuing conversation led us to start to wonder what self-assessment really was, and what it was for. This became the topic for his Master’s thesis, as he developed a new model of self-assessment (something he called the relative ranking model).

그 연구 프로그램을 뒷받침해준 몇 가지 연구 후에, 그는 다른 방향으로 나아갔다. 그래서 그 "내" 연구의 영역은 몇 년 동안 그 분야의 연구를 더 진행했고, 몇 년 후 그 분야를 연구하기 시작한 한 주니어 동료가 나에게 접근하였다. 이 새로운 공동작업자는 임상의가 실무에서 안전을 유지하는 방법에 대한 보다 합리적인 개념화로서 자가 모니터링 개념을 발전시킨 여러 연구를 주도했습니다. 그 기간 동안, 또 다른 어떤 외과 동료는 수술에서 안전한 실습에 대한 개념을 이해하는 데 관심을 보였고, 이로 인해 저는 일상적인 실습에서 자가 모니터링을 탐구하는 그녀의 박사 논문을 돕게 되었습니다. 

After a few studies supporting that research program, he moved in different directions. So that area of “my” research lay fallow for a few years until a junior colleague started working inthe area and approached me to collaborate with him. This new collaborator led several studies that developed the idea of self-monitoring as a more sensible conceptualization of how clinicians stay safe in practice. During that time, a surgeon colleague was showing interest in understanding the notion of safe practice in surgery, which led to my supporting her PhD thesis exploring self-monitoring in everyday practice (what she called “slowing down when you should”).

나에게 있어, 그 연구 분야는 다른 학생 및 동료연구자들의 관심 때문에, [피드백에서 "자기"의 역할에 대한 탐구]로 바뀌었습니다. OSCE 측정, 직장 기반 평가, 전문 정체성 구축 또는 임상 추론에 대한 전문 지식과 관련된 내 연구 주제에 대해 비슷한 이야기를 할 수 있습니다. 이 중 어느 분야도 '내 연구'로 적극적으로 추진하지는 않았지만 기회가 생기면 그 사람의 관심사와 내가 생각해 온 것을 함께 연구하게 되어 기뻤다. 그리고 저는 그 특정 분야에 대해 생각하기 시작했습니다. 왜냐하면 어떤 사람이 처음에 저에게 흥미로운 문제를 가지고 다가왔기 때문입니다. 그래서 아마도 나의 연구 스타일에 대한 가장 좋은 설명은 다른 사람들과의 상호작용을 통해 기회주의적으로 발생하는 교육의 실질적인 문제들을 해결하는 [프로그램적 접근방식]을 가지고 있다는 것입니다. 

For me, that area of research has now morphed into explorations of the role of the “self” in feedback because of the interests of other students and collaborators. I could tell similar stories about my research themes around OSCE measures, workplace-based assessment, professional identity construction, or expertise in clinical reasoning. I did not actively pursue any of these areas as “my research”, but when opportunities arose, I was happy to marry the person’s interests with something I had been thinking about. And I only started thinking about that particular area because someone had initially approached me with an interesting problem they wanted to explore. So perhaps the best description of my own research style is that I have a programmatic approach to addressing the practical problems of education that arise opportunistically through my interactions with others. 

그러나 내가 해온 모든 연구 연구활동의 보다 심층에는 "프로그램적" 일관성이 있습니다. 즉, 제가 작업 중인 모든 분야에 일관된 [개념 렌즈 세트]입니다. 저는 우리들(또는 적어도 우리들 대부분은)이 특정 학문분야의 훈련을 통해 자신만의 렌즈 세트를 개발한다고 생각합니다. 우리는 부분적으로는 멘토와 감독자로부터, 부분적으로는 우리가 선택하여 읽고 따르기로 한 문헌으로부터 '렌즈의 세트set of lenses'를 물려받습니다. 이 렌즈들은 우리가 세계를(그리고 그 세계의 문제를) 프레이밍하는 방법을 정의합니다. 그것은 상황을 해석하는 방법, 우리가 자연스럽게 던지는 질문의 종류, 그래서 우리가 찾을 수 있는 해답을 형성합니다.
However, there is also a deeper level of “programmatic” coherence across all my research enterprises: the consistent set of conceptual lenses that I bring to whatever I am working on. I think each of us (or at least most of us) develop our own set of lenses through our disciplinary training. We inherit them, in part, from our mentors and supervisors and, in part, from those we choose to read and follow in the literature. These lenses define the ways in which we tend to frame the world (and its problems). It shapes our ways of interpreting situations, the sorts of questions we naturally ask and, therefore, the sorts of answers we can find.

따라서, 우리의 개념적 렌즈는 해당 분야의 다른 사람들과의 관계 속에 우리를 위치시킵니다. 제 뿌리는 인지심리학에 있습니다. 그리고 제가 개발한 모든 연구 질문들은 인지주의 틀을 가지고 있습니다. 그래서 주제와 상관없이 저는 항상 [개인]에 초점을 두고 있습니다. 즉, 사람들이 주변의 세상에 대해 어떻게 이해하는지, 그리고 그러한 이해가 그들의 결정과 행동방식에 어떻게 영향을 미치는지 말입니다. 물론, 다른 사람들은 그들만의 렌즈를 가지고 옵니다: 사회학, 수사학, 정신분석학, 인구과학, 시행과학, 또는 비판 이론. 

 Thus, our conceptual lenses position us relative to others in the field. My own roots are in cognitive psychology, and all the research questions that I develop have this cognitivist framing. So regardless of topic, my focus is always on the individual—how people develop an understanding of the world around them and how that understanding affects their decisions and ways of acting in the world. Others, of course, bring their own lenses: sociology, rhetoric, psychometrics, population sciences, implementation sciences, or critical theory (to name just afew). 


위의 개념적 렌즈는 여러분의 "프로그램" 연구에 대한 또 다른 사고방식을 제공합니다. 여러분이 다루는 [특정한 문제]들은 상당히 정기적으로 바뀔 수 있지만, 여러분이 그 문제들에 [적용하는 렌즈]들은 더 일정할 것입니다. 비유하자면, 저는 저의 연구 접근법과 그 결과로 생긴 공동 출판 기록을 [바다의 섬]에 비유합니다. 저와 함께 일하는 각 공동작업자는 우리가 건설하고 있는 섬의 소유권을 합법적으로 주장할 수 있습니다(특정 주제 또는 질문). 하지만 1만 미터 상공에서 이 모든 섬들을 보면, 하나의 군도를 이루고 있다는 것이 명백해집니다. 내가 이 일에 기여한 것은 [단순히 섬의 구축하는 것]이 아니라 [각각의 섬이 구축된 수면아래에 자리잡고 있는 개념적이고 방법론적인 땅덩어리]이다. 한 사람의 작업이 군도에서 너무 멀리 떨어져 있다면, 섬 자체(연구)가 형성되기 전에 훨씬 더 많은 기초 작업(대양 바닥에 재료를 붓는 일)이 필요하다. 하지만 만약 내가 내 땅 가까이에 있는 사람을 협상할 수 있다면, 그것은 그 사람의 섬의 발전을 더 쉽게 지지해주고 내 군도를 확장시켜준다. 

These conceptual lenses offer another way of thinking about your “program” of research. The specific problems you address may change fairly regularly (because of the various opportunities that arise) but the lenses you apply to them (the way you frame them and explore them), will be more constant (although these too might evolve with time). By way of analogy, I liken my research approach and my resulting collaborative publication record to islands in an ocean. Each collaborator I work with can legitimately claim ownership of the island we are co-constructing (the particular topic or question). But if one looks at all these islands from10,000 metres up, it becomes clear that they forman archipelago. My contribution to the work is not just the building of the island, but the conceptual and methodological landmass that sits under the water on which each of the islands are built. If a person’s work is too far away from the archipelago, then it takes a much greater amount of foundational work (pouring material onto the ocean floor) before the island itself (the study) can take shape. But if I can negotiate the person close to my landmass, then it more easily supports the development of the person’s island and it extends my archipelago. 

특정 학문을 기반으로 한 박사과정 프로그램을 통해 보건 직업 교육 분야에 진입한 많은 사람들에게, 우리는 그 땅덩어리의 모양을 명시적으로 정의할 필요도 없었고, 따라서 어떻게 그것이 HPE 유형의 섬들을 효과적으로 지지할 수 있을지에 대해 생각해볼 필요도 없었습니다. 이러한 이유로 나는 종종 [이 분야에 입문하는 사람들]에게 그들만의 선언문manifesto을 쓰는 데 시간을 할애할 것을 추천한다. 그렇게 한다면, 자기자신과 다른사람 모두가 [자신이 어떤 관점을 이 분야로 가지고 왔고, 그 관점이 어떤 독특한 시각을 제공하며, 그리고 그 새로운 통찰이 어떻게 다루고있는 문제를 해결하는 데 도움을 줄 수 있는지]를 알게 될 것이다.

For many of us who come to the field of health professions education from a discipline-based PhD training program, we have never had to explicitly define the shape of that landmass, nor think about how it might effectively support HPE types of islands. It is for this reason that I often recommend to those entering the field that they spend some time writing their own manifesto in order to help them develop a clear understanding for themselves and others

  • what perspective they bring to the field,
  • what their perspective allows them to uniquely see, and
  • how that new insight might help others in the field address the problems they are grappling with. 

 

이것은 다른 사람들이 당신의 군도의 10,000미터 경치를 이해하고 감상할 수 있도록 도와줍니다. (현장에서 무작위로 주제를 수집한 것처럼 보일지라도 CV의 일관성을 유지합니다.) 또한 협업 대상을 합리적으로 선택할 수 있도록 지원합니다(만약 대상을 선택할 수 있는 상황이 아니라면 협업을 의미 있게 만들게끔 도와준다). 이 선언서는 일반적으로 쓰기가 쉽지 않고 때로는 1-2년 정도 걸릴 수 있다. 왜냐하면 그것은 단지 여러분이 누구인지 말하는 것이 아니라, 자기 자신의 배경, 목표, 그리고 렌즈를 가진 다양한 분야의 전문가들과 관련 있는 청중들에게 이치에 맞는 방식으로 shaping하는 것이기 때문입니다. 

This helps others understand and appreciate the 10,000 metre view of your archipelago (the coherence of your CV, even if it might look like a random collection of topics on the ground). And it helps you make rational choices about what to collaborate on (or how to make a collaboration meaningful if choice is not an option). This manifesto is generally not easy to write and can sometimes take up to a year or two, because it is not just a matter of stating who you are but shaping it in a way that makes sense (and sounds relevant) to an eclectic audience of disciplinarians and practitioners with differing backgrounds, goals and lenses of their own. 

중요한 것은 [다른 사람들에게 당신의 관점을 가르치는 것]이 아니라, [그 관점이 드러낼 수 있는 것의 힘을 보여주는 것]입니다. 하지만 잘만 한다면, 그러한 문서는 당신의 땅덩어리의 쓰여진 표현과 당신이 프로그램적으로 일련의 섬을 공동 건설할 수 있는 토대가 될 수 있습니다.

The point is not to teach others your perspective, but to show them the power of what that perspective can reveal. But if done well, such a document can become the written manifestation of your landmass, and the foundation on which you can co-construct a set of islands programmatically. 



Perspect Med Educ. 2020 Dec;9(6):367-369.

 doi: 10.1007/s40037-020-00628-7. Epub 2020 Nov 19.

Islands and archipelagos: Reconciling programmatic vs. opportunistic research in health professions education

Glenn Regehr 1

Affiliations expand

Free PMC article

No abstract available

When I say . . . 젠더 (Med Educ, 2019)
When i say . . . gender
Alice Cavanagh1,2

 

최근에 방문 진료 대합실에서 서류 뭉치를 들고 나와 보니 예상외로 어려운 질문에 직면하게 되었습니다. '현재 주소'와 '약물 알레르기' 사이에 끼어 있는 것은 저의 '생물학적 성별/성별'을 제공하라는 요청이었습니다. 'Circle One: M/F/기타/대답 안 함' 옵션은 내가 식별한 성별에 대해 묻거나 내 옷차림과 행동으로 표현하는지를 묻는 질문에 답변하기 위한 시도를 방해했습니다. 내 성별에 대해서? 어떻게 정의해야 할까? 호르몬, 염색체, 생식기? 
Presented, recently, with a sheaf of forms in a walk-in clinic waiting room, I found myself faced with an unexpectedly challenging question. Wedged between ‘Current Address’ and ‘Medication Allergies’ was a request to provide my ‘Biological Gender/Sex’. The options – ‘Circle One: M/F/Other/Prefer Not to Answer’ – stymied my attempts to answer: were they asking about the gender I identify with or that I express with my dress and behaviour? About my sex? In that case – defined how? By hormones, by chromosomes, by genitals? 

건강과 건강 관리에 관한 한, gender과 sex이 모두 매우 중요하다는 것이 밝혀졌습니다. 
When it comes to health and health care, it turns out that gender and sex both matter – a lot.

  • 젠더Gender'남성' 또는 '여성'으로 생각되는 행동과 표현 방식에 의해 대표되는 사회적 역할로서, 우리가 노출되는 건강 해악, 의료 제공자와의 의사소통 방식, 의료 참여에 대한 접근 방식을 규범적으로 형성한다.1
  • 섹스Sex 은 '남성' 또는 '여성'으로 특징지어지는 다른 이형적 생물학적 특징들을 포함하며, 그들이 제시할 수 있는 무수한 다른 방법들과 함께 우리 몸을 구성하는 구조, 호르몬, 염색체를 가리킨다.

 

  • Gender – a social role typified by behaviours and ways of presenting thought of as ‘masculine’ and/ or ‘feminine’ – normatively shapes health harms we are exposed to, our ways of communicating with care providers, and the approaches we take to participating in health care.1
  • Sex – encompassing different dimorphic biological features characterised as ‘male’ or ‘female’– refers to the structures, hormones and chromosomes that compose our bodies, along with myriad different ways they can present.

'Gender는 귀 사이에 있고 Sex은 다리 사이에 있다'는 격언은 이러한 구별을 도입하기 위해 사용되는 하나의 일반적인 속어이다. 겉보기에는 용어가 분명하고 경계가 뚜렷하지만, 과연 그럴까?

The adage that ‘gender is between your ears and sex is between your legs’ is one common (and contested) shorthand used to introduce this distinction. Seemingly, the terms are clear and the boundaries distinct but are they really? 

'섹스'과 '젠더'이라는 용어에 대한 혼란은 클리닉, 의료 교실 및 사회 전반에서 일반적이다. 임상적 가이드라인에 따르면, 에스트로겐을 통한 고혈압에서 여성 성별의 보호 효과와 문제 음주 행동 선별에서 남성성의 중요성을 설명한다.2 의학 교육에서 ['젠더 의학' 운동]은 지금껏 의학 교과서에 규범적으로 (백인) 남성의 삽화를 사용해온 것에 대응하여 '여성 신체'의 이미지를 포함시키는 것을 지지한다.1 이러한 각각의 예에서, 언어는 [섹스와 젠더에 대한 생각을 흐리게] 하고, 궁극적으로 [신체와 행동이 일치하는 방식에 직선을 긋는 결정론자들의 담론]에 기여한다.

Confusion around the terms ‘sex’ and ‘gender’ is common in the clinic, the medical classroom and in society at large: clinical practice guidelines describe the protective effects of female gender in hypertension via oestrogen and the importance of male sex in screening for problem drinking behaviour.2 In medical education, the movement for ‘gender medicine’ advocates for the inclusion of images of ‘female bodies’ in response to the normative use of illustrations of (white) men in medical textbooks.1 In each of these examples, language is used that blurs ideas of sex and gender, ultimately contributing to determinist discourses that draw a straight line between how bodies and behaviours align.

이것은 모든 사람들에게 여파를 미친다: 남성들이 아이를 양육하는 능력이 떨어지거나 호르몬의 불안정성이 여성을 나쁜 의사 결정자로 만든다는 주장의 사회적, 정치적 파장을 고려하라. 그러나 이러한 사고방식은 [젠더 정체성]이 [출생 시 적용되는 섹스에 따른 젠더]가 서로 동일하지 않은 트랜스 및 non-binary people에게 더 큰 위험이 된다. 이러한 사람들에게 있어서, [성별의 제도화된 측면]은 사회적 규범, 문화적 관행 및 물리적 공간뿐 아니라 의료 및 그 이상에서 분명히 [차별적인 태도와 정책]으로서 [신체적, 정신적 건강과 웰빙에 가해지는 치명적 손실]이다. 
This comes with consequences for all people: consider the social and political ramifications of the assertion that men are less capable of nurturing children or that hormonal instability makes women bad decision makers. This way of thinking poses particular risks, however, for trans and non-binary people, whose gender identity diverges from the gender normatively associated with the sex designation applied to them at birth. For these people, institutionalised aspects of gender – gendered social norms, cultural practices and physical spaces, as well as explicitly discriminatory attitudes and policies in health care and beyond – exact gruelling tolls paid in physical and mental health and well-being. 

궁극적으로 [섹스와 젠더에 대한 관념의 흐릿한 경계]를 무시할 수 없는 존재로 여기는 것은, (비록 이러한 더 큰 체계적 과제를 해결하기에 불충분하더라도), 젠더 부적합자gender non-conforming people를 돌볼 수 있는 의사 양성에 필요한 부분이다. 

Ultimately, reckoning with blurry boundaries between ideas of gender and sex is insufficient to address these larger systemic challenges, but is a necessary part of training physicians who are capable of caring for gender non-conforming people. 

의대생들이 [젠더와 섹스에 대해 더 정교한 어휘를 갖도록 훈련시키는 것] 또한 트랜스 및 비 바이너리 사람들을 돌보는 맥락을 넘어서는 의미를 갖는다. 예를 들어, 골다공증을 생각할 때 때, [젠더 영향]을 고려하는 의학 학습자는 골다공증이 에스트로겐 생산의 감소로 인한 '여성병woman's disease'이라는 [기존의 아이디어에 대하여 생각이 복잡해질 것]이다. 그들은 [뼈 리모델링의 생리학적 과정]이 [어떻게 행동과 신체에 대한 젠더적 아이디어]에 의해 깊이 형성된 식이요법, 운동 그리고 기계적 스트레스의 패턴의 산물인지 배울 수 있다. 비록 행동과 생물학이 뼈에 미치는 구체적인 영향을 깔끔하게 나누는 것은 불가능할 수 있지만, 학생들이 이 상호작용과 씨름하도록 하는 초청은 비판적인 성찰의 기회를 향해 더 나아가기 위한 제스처입니다.
Training medical students to deploy a more nuanced vocabulary around sex and gender also has implications that extend beyond the context of caring for trans and non-binary people. Considering osteoporosis, for instance, a medical learner accounting for gender effects would complicate conventional thinking about osteoporosis as a ‘woman’s disease’ driven by declines in oestrogen production; they might learn how physiological processes of bone remodelling are also a product of patterns of diet, exercise and mechanical stress that are profoundly shaped by gendered ideas about behaviour and bodies.3 Although neatly dividing the specific influences of behaviour and biology on bones might prove impossible, the invitation to students to grapple with this interplay gestures towards further opportunities for critical reflection. 


의학 교육에서 '성'에 대해 이야기할 때 [세계와의 신체접촉에 대한 대화]를 시작하여, [건강과 질병의 사회적, 생물학적 기초에 대한 비판적 탐구 공간을 만들 것]을 제안한다. 보다 정확한 언어를 찾기 위해 ['생물학적 젠더/섹스'을 풀어내는 것]은 인종, 성, 장애, 연령을 포함한 사회적 정체성의 다른 축을 중심으로 문화와 생물학에 대한 대화의 문을 열어주는 역할을 할 것이다. 또한 이는 의학 학습자들에게 [인간의 건강을 형성하는 데 있어 사회적 범주가 미치는 광범위한 효과]를 무시할 수없는 존재로 여기는 광범위한 개념 체계(사회 구성주의)를 도입할 것이다. [젠더와 섹스에 대해 이야기하는 것]은 학습자들이 여성과 남성에게 심장마비를 다르게 경험한다는 가르침에 의문을 품게 하고, 생물 의학 지식의 다른 측면의 기초가 되는 생물학과 문화의 상호작용을 풀어나가도록 한다.

I suggest that when we talk about ‘gender’ in medical education, we start a conversation about the interface of bodies with the world, creating space for critical inquiry into the social and biological basis of health and illness. Untangling ‘biological gender/sex’ in search of more precise language serves as a gateway to dialogues about culture and biology around other axes of social identity, including race, sexuality, (dis)ability and age; it also introduces medical learners to a widereaching conceptual framework – social constructionism – for reckoning with the pervasive effects of social categories in shaping population health. Talking about gender and sex propels learners to question the teaching that women experience heart attacks differently to men and to try untangling the interplay of biology and culture that underlies other aspects of biomedical knowledge.4 

의대생들에게 성별에 대해 이야기하도록 하는 것은 또한 [사회적 정체성]이 (전문적 노동의 분할과 직업 기회의 접근을 포함하여) [보건과 의료의 다른 측면을 어떻게 구조화하는지] 강조하는 데 도움이 될 수 있다. 의학의 '성 주류화gender mainstreaming' 캠페인은 의학 커리큘럼과 의학의 모든 측면에서 젠더에 대한 고려사항을 포함시키려 했지만, 더 많은 여성을 입학시켜서 의학의 '여성화feminising'라는 목표를 가지고 직업적 성평등을 자주 conflate한다는 비판을 받아왔다. 비록 이 운동이 일부 여성들의 의료계 진출을 돕는데 성공했지만, 비평가들은 이 운동이 인종을 포함한 성별과 교차하는 정체성의 다른 측면과 관련된 직업적 소외를 해결하는데 충분하지 않았다고 주장한다. 젠더와 섹스가 건강관리와 건강을 형성하는데 중요한 요소이지만 그 자체로 완전한 이야기는 하지 않는다.

Asking medical students to talk about gender can also help highlight how social identity structures other aspects of health and health care, including professional divisions of labour and access to career opportunities. Campaigns for ‘gender mainstreaming’ in medicine have attempted to embed considerations of gender into all aspects of medical curricula and medicine, but have been critiqued for frequently conflating professional gender equity with the aim of ‘feminising’ medicine by admitting more women.5 Although this movement has been successful in helping some women enter the medical profession, critics argue that this push has not done enough to address professional marginalisation related to other aspects of identity that intersect with gender, including race. Although gender and sex are important factors in shaping health care and health, neither in itself tells a complete story.


Bleakley A. Gender matters in medical education. Med Educ 2013;47 (1):59–70.


 


Med Educ. 2019 Dec;53(12):1176-1177.

 doi: 10.1111/medu.13963. Epub 2019 Oct 31.

When i say … gender

Alice Cavanagh 1 2

Affiliations collapse

Affiliations

  • 1Health Policy PhD Program, McMaster University, Hamilton, Ontario, Canada.
  • 2Michael G DeGroote School of Medicine, McMaster University, Hamilton, Ontario, Canada.

여자지원자가 남자지원자보다 MMI 점수가 더 높은가? 캘거리 대학 결과(Acad Med, 2017)
Are Female Applicants Rated Higher Than Males on the Multiple Mini-Interview? Findings From the University of Calgary 
Marshall Ross, MD, Ian Walker, MD, Lara Cooke, MD, MSc, Maitreyi Raman, MD, MSc, Pietro Ravani, MD, PhD, Sylvain Coderre, MD, MSc, and Kevin McLaughlin, MBChB, PhD 

 

 

의대에 입학하는 학생의 약 95%가 궁극적으로 졸업하기 때문에, 의대 입학 과정은 많은 사람들에게 의대 진로를 위한 "이상적인" 지원자를 선택할 수 있는 최선의 (그리고 아마도 유일한) 기회로 여겨진다.1,2 지원자들에게 면접 과정은 삶의 결정적 순간일 수 있으며, 이는 주어진 지원자가 동료들보다 CanMED-proficient한 의사로 성숙할 가능성이 더 높은지 예측하는 것이기 때문에 선발 과정에 참여하는 우리 중 누구에게나 큰 부담이 될 수 있습니다. 그러한 예측은 어렵고 부정확하기로 악명 높지만, 사회가 의사를 필요로 하기 때문에 (또한 의과대학에 지원한 지원자가 채용 가능한 숫자보다 훨씬 많기에) 우리는 의사 선발 과정이 필요하며 가능한 한 신뢰할 수 있고 타당하며 "공정"하게 만들기 위해 노력해야 합니다. 

Since approximately 95% of students entering medical school will ultimately graduate, the medical school admissions process is considered by many as our best (and perhaps only) opportunity to select the “ideal” candidates for a career in medicine.1,2 For applicants, the interview process may be a life-defining moment, a fact that weighs heavily on those of us involved in the selection process as we try to predict whether a given applicant is more likely to mature into a CanMEDS- proficient physician than his or her peers.3 Such predictions are notoriously difficult and inaccurate,4,5 but because society needs physicians—and there are many more applicants to medical school than positions available—we need a selection process and must strive to make this as reliable, valid, and “fair” as possible. 

대부분의 의과대학은 이전의 학업성취도 및 비학업적 특성의 지표를 평가하는 shor-listing 과정 외에도, 미래의 의사와 관련이 있을 수 있는 다른 속성을 평가하기 위한 형태의 인터뷰도 사용한다. 과거에는, 각 후보자에 대해 단일 인터뷰를 실시하는 선정 위원회가 필요했으며, 그 구체적인 방법(위원회의 구성, 논의되는 내용, 인터뷰의 구조화 정도, 최종 합격자를 뽑는 과정)에는 여러 기관 내 및 여러 기관 간 상당한 차이가 있었습니다. 그리고 이러한 접근방식은 편리했지만, 단일 면접의 제한된 범위와 면접관에 기인하는 점수차이의 비율을 고려할 때 이 과정의 [공정성에 대한 우려]가 제기되었다.

In addition to a short-listing process that rates indicators of prior academic performance and nonacademic attributes, most medical schools also use some form of interview to assess other attributes that may be relevant for future physicians. Historically, this involved a selection committee conducting a single interview of each candidate, and there was often significant variation—both within and between centers—in the makeup of committees, the content discussed, the degree of structure of the interviews, and the process of selecting the best candidates.6,7 And, although this approach was convenient, concerns arose about the fairness of this process given the limited scope of a single interview and the proportion of variance in scores attributable to the interviewers.8,9 

의대 입학 과정에 MMI를 포함함으로써 지원자들은 기존의 면접 형식보다 더 신뢰성이 높고, 더 수용 가능하며, 덜 의존적이며, 미래 성과를 더 예측하는 것으로 보이는 선발 과정이 이루어졌다. MMI의 타당성과 차원성에 대한 지속적인 우려에도 불구하고, 이러한 인상적인 연구 결과는 북미, 유럽 및 호주의 많은 의과대학에서 MMI를 선발 과정에 포함시키는 것을 촉진했습니다. 그러나 모든 변화는 [의료계의 인구학적 특성을 바꾸는 것]과 같은 의도하지 않은 결과의 가능성을 수반한다. 
The inclusion of the MMI to the medical school admissions process has resulted in a selection process that appears to be more reliable,10,14–16 more acceptable to applicants,13,14 less rater dependent,10 and more predictive of future performance than the traditional interview format.14,15,17,18 Despite ongoing concerns regarding the validity and dimensionality of the MMI,14,19 these impressive findings have fomented the incorporation of the MMI into the selection process in many medical schools in North America, Europe, and Australia.11–13 Yet every change carries the possibility of unintended outcomes, such as changing the demographic characteristics of the medical profession. 

예를 들어, 이 기술을 신뢰성 있게 평가할 수 있는 순간, 일반적으로 여성이 남성보다 높은 평가를 받기 때문에, 의사소통이 수반되는 업무에 대한 지원자의 성과를 평가할 때마다 여성이 남성보다 더 높은 성과를 낼 것이라고 예측할 수 있다. McMaster에서 MMI를 처음 시험했을 때 이 초기 연구의 표본 크기가 상대적으로 작았지만(n = 117) 신청자 성별과 MMI 등급 사이에는 유의한 연관성이 없었다. 후속 연구에서도 여성 지원자와 남성 지원자의 등급 차이는 없다고 보고했지만, 다시 한 번 이러한 연구의 표본 크기는 작았고, 남성 지원자도 30명 미만인 경우가 많았다. 
For example, because females are typically rated higher than males in communication as soon as this skill can be reliably assessed,20 one might predict that females would outperform males whenever we assess the performance of applicants on tasks that involve communication.21,22 When the MMI was first piloted at McMaster there was no significant association between applicant gender and MMI ratings, although the sample size in this initial study was relatively small (n = 117).10 Subsequent studies also reported no difference in ratings of female and male applicants,23–26 although, once again, the sample size in these studies was small, with studies often including fewer than 30 male applicants.24–26

캘거리 커밍 의과대학에서 MMI를 소개할 때, 브라우넬과 동료는 지원자와 면접관 모두의 의견으로 MMI가 "성 편견이 없었다"고 보고했고, 이후 연구에서도 이러한 결론이 도출되었다. 흥미롭게도 스코틀랜드의 한 센터에서 실시한 보다 최근의 연구에서 10개 스테이션 MMI가 신뢰할 수 있는 것으로 보고되었으며, 이 과정은 "모든 당사자가 수용할 수 있다" (후보와 평가자의 90% 이상이 공정성 진술에 동의하거나 강력하게 동의)고 하였다.

 When introducing the MMI at the University of Calgary Cumming School of Medicine, Brownell and colleagues11 reported that, in the opinion of both applicants and interviewers, “the MMI was free of gender bias,” and this conclusion was also drawn in subsequent studies.15,16,25 Interestingly, in a more recent study from a single center in Scotland, a 10-station MMI was reported as reliable, and the process was “acceptable to all parties” (more than 90% of candidates and raters agreed or strongly agreed with a fairness statement).13  

여기서는 여성 및 남성 지원자의 MMI 등급을 의과대학과 비교하고 MMI 등급이 지원자 순위에 미치는 영향을 탐색한 두 가지 연구를 설명합니다. 

Here we describe two studies in which we compared MMI ratings for female and male applicants to our medical school, and explored the impact of MMI ratings on the ranking of applicants. 


연구 1 Study 1

방법 Method

참여자 Participants.

재료 Materials.

절차 Procedures.

통계뿐석 Statistical analysis.

우리는 평균과 SD를 표준화된 평균 차이로 변환하고 효과 크기 계산을 위해 Hedges g를 사용했습니다.28 그런 다음 STATA 버전 11 통계 소프트웨어(STATA Corporation, College Station, 텍사스)를 사용하여 랜덤 효과 모델을 사용한 누적 메타 분석을 수행했다. 

We converted means and SDs into standardized mean differences and used Hedges g for our effect size calculation.28 We then performed cumulative meta-analysis using the random-effect model, using STATA version 11 statistical software (STATA Corporation, College Station, Texas). 

연구결과 Results of Study 1

고찰 Discussion of Study 1

우리의 연구 결과는 MMI에서 여성이 남성보다 높은 평가를 받고 있음을 시사한다. 시간이 지남에 따라 [표준화된 평균 차이]가 변한다는 것은 2012년에 이러한 결론을 도출하기에 충분한 데이터가 있었다는 것을 의미하며 후속 데이터를 추가하면 이러한 결과를 더 정확하게 확인할 수 있다는 것을 의미한다. 
Our findings suggest that at our medical school, females are rated higher than males on the MMI. The change in the standardized mean difference over time implies that there were sufficient data to draw this conclusion in 2012 and that the addition of subsequent data simply confirms this finding with greater precision. 



연구 2 Study 2

방법 Method

참여자 Participants.

재료 Materials.

본 연구에 사용된 데이터는 본 의과대학의 입학 전형 과정의 일환으로 전진적으로 수집되었습니다. 이러한 데이터에는 지원자 파일의 등급과 후속 MMI 등급이 포함되었습니다. 지원자의 파일 데이터에는 이력서, 학력(학부 성적 평균[GPA]), 적성 시험 성적(MCAT]), 추천서 등이 포함되어 있었다. 또한 지원자의 성별과 나이를 기록했으며, 각 MMI 방송국별로 면접관의 성별과, 면접관이 수습생인지 여부를 기록했습니다. MMI의 12개 스테이션 각각에 대해 우리가 평가하고자 하는 단일 속성이 있었으며, 대상 속성의 전체 목록은 다음과 같았다.

  • 갈등 관리/통신
  • 학습에 대한 태도
  • 피드백에 대한 반응성.
  • 의사결정 능력/데이터 해석
  • 연구 윤리
  • 의사소통 기술,
  • 문화적 역량
  • 공감;
  • 시각적 관찰 및 창의적 사고
  • 자원 관리/프로젝트 계획;
  • 정직과 진실,
  • 오류 공개

The data used for this study were collected prospectively as part of our admissions selection process. These data included ratings of applicants’ files and subsequent MMI ratings. Applicants’ file data included their curriculum vitae, academic record (undergraduate grade point average [GPA]), performance on an aptitude test (Medical College Admission Test [MCAT]), and letters of reference. We also noted the gender and age of applicants, and for each MMI station we noted the gender of the interviewer and whether the interviewer was a trainee. For each of the 12 stations on the MMI there was a single attribute that we intended to assess, and the complete list of target attributes was as follows:

  • conflict management/communication;
  • attitude towards learning;
  • responsiveness to feedback;
  • decision-making ability/data interpretation;
  • research ethics;
  • communication skills;
  • cultural competency;
  • empathy;
  • visual observation and creative thinking;
  • resource management/project planning;
  • honesty and integrity; and
  • disclosure of error.

MMI에 대한 성과는 체크리스트와 전지구적인 평가 척도를 조합하여 평가되었으며, 이는 주어진 관측소에 대한 최종 평가에도 동일하게 기여하였다.
Performance on the MMI was rated using a combination of a checklist and a global rating scale, which then contributed equally to the final rating for a given station. 

절차 Procedures.

각 지원자의 파일은 7개 CanMED 역량을 나타내려는 7개 영역에 대해 주관적인 점수를 제공한 60명의 패널로부터 4명의 독립 검토자에 의해 검토되었다.3 예를 들어, 학업 성적은 전문가 역할의 일부로 평가되었고, 관리자 역할을 평가할 때 리더십 경험이 고려되었습니다. 그런 다음, 파일 검토 점수는 다음과 같은 가중치를 사용하여 작성되었다: 7개의 CanMED 역량을 나타내는 각 도메인에 대해 10%, GPA에 대해 20%, MCAT의 구두 추론 구성요소에 대해 10%이다. 평균 파일 검토 점수를 기준으로 지원자의 순위를 매기고 상위 526명의 지원자를 MMI에 초대했습니다. MMI 스테이션은 7분이며 단일 면접관이 평가했습니다.
Each applicant’s file was reviewed by 4 independent reviewers, from a panel of 60, who provided subjective scores for seven domains that were intended to represent the seven CanMEDS competencies.3 For example, academic record was rated as part of the Expert Role, and leadership experience was considered when rating the Manager Role. The file review scores were then compiled using the following weighting: 10% for each of the domains representing the seven CanMEDS competencies, 20% for GPA, and 10% for the verbal reasoning component of the MCAT. We ranked applicants based on mean file review scores and invited the top 526 applicants to attend our MMI. Our MMI stations were seven minutes long and were rated by a single interviewer. 

통계 분석
Statistical analysis.

여성 및 남성 지원자에 대한 MMI 등급을 비교하기 위해 Cohen d와 함께 독립 표본 t 검정을 효과 크기 측정값으로 사용했습니다. 다른 잠재적 설명 변수에 대한 조정 후 신청자 성별과 MMI 등급 간의 연관성을 연구하기 위해 다중 선형 회귀 분석을 수행했다.

  • 지원자의 나이,
  • 내신,
  • MCAT 점수(언어 추론, 물리, 생물)
  • 면접관의 성별, 그리고
  • 면접관이 훈련생(의대생 또는 레지던트)이었는지 여부.

To compare MMI ratings for female and male applicants, we used an independent-sample t test with Cohen d as our measure of effect size. We performed multiple linear regression to study the association between applicant gender and MMI ratings after adjustment for other potential explanatory variables:

  • applicant’s age,
  • GPA,
  • MCAT score (for verbal reasoning, physical sciences, and biological sciences),
  • interviewer’s gender, and
  • whether the interviewer was a trainee (medical student or resident).

우리는 회귀 모형에 지원자와 면접관 변수 간의 교호작용을 포함시키고 교호작용 항부터 시작하여 유의하지 않은 설명 변수를 제거하기 위해 후진 제거를 수행했습니다.

We included interactions between applicant and interviewer variables in our regression model and performed backward elimination to remove nonsignificant explanatory variables, beginning with interaction terms. 

MMI 등급에 부여된 가중치가 의과대학원 직책을 제안받을 확률에 미치는 영향을 조사하기 위해, 각 지원자에 대한 파일 검토 점수와 MMI 등급을 결합한 민감도 분석을 수행했다. 
To explore the impact of the weighting given to the MMI rating on the odds of female applicants being offered a medical school position, we performed a sensitivity analysis where we combined file review scores and MMI ratings for each applicant. 

결과 Results of Study 2

여성 신청자와 남성 신청자에 대한 평균 MMI 등급은 각각 6.60 (SD 1.75)과 6.34 (SD 1.88)이었다 (P = 0.01, d = 0.14). 지원자와 면접관의 성별(P =.94) 간의 상호작용을 포함하여 우리의 회귀 모델에서 상호작용은 없었지만, 지원자의 성별, 지원자의 나이, 면접관의 지위(연수생 대 비훈련생), 언어 추론 및 생물 과학에 대한 MCAT 점수는 MMI 등급과 관련이 있었다. 다른 변수에 대해 조정한 후에도 여성 신청자와 MMI 등급 사이에는 유의한 양의 연관성이 있었습니다(회귀 계수 0.23, 95% CI [0.14, 0.33, P < 0.001]). 이러한 데이터는 표 1에 나와 있습니다. 
The mean MMI rating for female and male applicants was 6.60 (SD 1.75) and 6.34 (SD 1.88), respectively (P < .01, d = 0.14). There were no interactions in our regression model, including no interaction between gender of applicant and interviewer (P = .94), but applicant’s gender, applicant’s age, interviewer’s status (trainee vs. nontrainee), and MCAT scores for verbal reasoning and biological science were associated with MMI rating. After adjusting for other variables, there was still a significant positive association between being a female applicant and MMI rating (regression coefficient 0.23, 95% CI [0.14, 0.33], P < .001). These data are shown in Table 1. 

민감도 분석에서, 서류점수 검토만을 기반으로 한 상위 150명의 지원자의 성별 구분(즉, MMI 등급이 전체 지원자 점수에 기여하지 않은 경우)이 원래 지원자 코호트의 성별 구분과 크게 다르지 않다는 것을 발견했다. (지원자가 여성이었던 비율 1.32; 95% CI[0.92, 1.91] P =.11) MMI 등급에 부여된 가중치를 변화시킬 때, MMI 등급이 전체 점수의 10% 이상을 기여할 때마다, 여성 지원자가 남성 지원자보다 상위 150명 안에 들 확률이 상당히 높았다. 이러한 데이터는 그림 2에 나와 있습니다. 

In our sensitivity analysis, we found that the gender breakdown of the top 150 applicants based solely on file review scores (i.e., when MMI rating did not contribute to overall applicant score) was not significantly different from that of the original application cohort (odds ratio of an applicant being female was 1.32; 95% CI [0.92, 1.91], P = .11). When varying the weight given to MMI rating, we found that whenever the MMI rating contributed 10% or more of the overall score, the odds of a female applicant being ranked in the top 150 students were significantly higher than for male applicants. These data are shown in Figure 2. 




고찰 Discussion of Studies 1 and 2

만약 MMI에서 여성이 남성보다 높은 평가를 받는다면, 우리는 그 이유를 이해하려고 노력해야 한다. 우리는 MMI의 타당성에 대해 서로 다른 의미를 갖는 두 가지 가능한 설명을 제안할 것이다. 첫 번째는 MMI가 포착하려는 속성을 여성들이 더 잘 보여줄 가능성이 높다는 것이다. 일반적으로, 남성과 비교했을 때, 여성이 더 나은 의사소통 기술을 보일 때, 20-22는 비판적 사고의 특정 측면(예: 열린 마음, 성숙도)에서 더 높은 평가를 받고, 18,29 그리고 더 많은 윤리적 결정을 내린다.30,31 
If females are rated higher than males on the MMI, then we should try to understand why. We would propose two possible explanations that have divergent implications for the validity of the MMI. The first is that females are more likely to demonstrate the attributes that the MMI is intended to capture. In general, when compared with males, females typically demonstrate better communication skills,20–22 are rated higher on certain aspects of critical thinking (such as open-mindedness and maturity),18,29 and make more ethical decisions.30,31

이러한 업무에서 여성이 남성보다 높은 성과를 낼 것으로 예상하기 때문에, MMI에서 여성이 남성보다 높은 등급을 받는다는 사실이 [MMI의 타당성 원천]이라고 주장할 수 있다. 그러나 또 다른 설명으로 가능한 것은 여성이 의사소통, 비판적 사고, 윤리적인 모습을 [더 잘할 것으로 기대하기 때문에] MMI에서 더 높은 평가를 받는다는 것이다. 만약에 후자의 경우라면, 여성은 MMI 점수의 타당성을 감소시키는 편견의 일종인 [관찰자 기대]의 결과로 더 높은 등급을 받은 것이다.

Because we expect females to outperform males on these tasks, one could argue that the fact that females are rated higher than males on the MMI is a source of validity for the MMI.32 However, the alternative explanation is that females are rated higher on the MMI because we expect them to be better at communication, critical thinking, and ethical decision making. In this scenario, females are rated higher as a result of observer expectancy, a type of bias that would reduce the validity of MMI ratings.

[관찰자 기대] 또는 [확증 편향(또는 "자기 충족 예언"33)]은 기존의 신념이 이러한 기존 신념을 뒷받침하는 방식으로 데이터의 해석에 무의식적으로 영향을 미치는 과정을 말하며, 심리학 문헌에는 관찰자 기대 편향의 예가 많다.36

  • 예를 들어, 근지구력 과제에서 남성과 여성의 성과를 평가해 달라고 요청했을 때, 남녀 대학생 모두 남성의 성과를 과대평가하고 여성의 성과를 과소평가하는 경향이 있었다.
  • 동영상에서 남성과 여성의 웃는 정도를 평가해 달라는 질문에 심리학과 학생들은 남성에 비해 여성의 웃는 모습을 과대평가했다. 

Observer expectancy or confirmation bias (also referred to as “self-fulfilling prophecy”33) refers to a process where preexisting beliefs subconsciously influence interpretation of data in a way that supports these preexisting beliefs,34,35 and there are many examples of observer expectancy bias in the psychology literature.36

  • For example, when asked to rate the performance of males and females on a muscular endurance task, both male and female college students tended to overestimate the performance of males and underestimate the performance of females,37
  • whereas when asked to rate the amount of smiling of males and females on video clips, psychology students overestimated smiling of females relative to males.38

이러한 성별 기반 고정관념은 자동으로 생성되며 컴퓨터의 음성 출력이나 가상 인간의 인식된 성별과 같은 미묘한 조작에 의해 유발될 수 있습니다. [관찰자의 기대]는 대체로 잠재의식 수준에 존재하는 것이므로, 감지하기 어렵고 마찬가지로 억제하기도 어려울 수 있습니다. —특히 관측자에게 8분 MMI 관측소와 같이, 노출이 제한된 상황에서, ill-defined 구인에 대한 평정을 해야 하는 경우 그렇다.

These gender-based stereotypes are generated automatically and can be triggered by subtle manipulations, such as altering the voice output of computers or perceived gender of virtual humans.39,40 Being largely subconscious, observer expectancy may be difficult to detect and equally difficult to suppress—especially when observers are asked to rate ill- defined constructs based upon limited exposure, such as an eight-minute MMI station.41–43 

MMI(또는 다른 데이터 출처)의 포함이 의대 입학에서 성비 불균형을 야기하는지 우려해야 하는가? 이 질문에 대한 답은 취해진 관점에 따라 달라지며, 우리는 의과대학 입학 과정에 변화가 미치는 영향을 판단할 수 있는 가장 의미 있는 방법으로 [환자 중심의 결과]를 제안할 것이다. 선발 과정의 변화를 통해서 양질의 의료 서비스를 제공하는 인력이 양성된다면, 성별 불균형이 허용될 수 있다. 심지어는 의료 서비스 제공 개선을 위하여 필요할 수도 있습니다. 
Should we be concerned if the inclusion of the MMI (or any other source of data) creates a gender imbalance in medical school admissions? The answer to this question depends on the perspective taken, and we would propose patient-centered outcomes as the most meaningful way to judge the impact of any change to the medical school admissions process. If changes to the selection process produce a workforce that delivers higher-quality health care, a gender imbalance may be acceptable— and may even be necessary to improve health care delivery.

그러나 동등하거나 더 나쁜 의료 결과로 성비 불균형을 초래하는 입학 과정은 용납될 수 없다. 이전의 연구들은 여성 의사들이 환자와 상호작용할 때 일반적으로 남성보다 더 큰 공감을 보이고 더 많은 긍정적인 진술을 사용하며, 이러한 유형의 의사소통은 더 나은 과거 데이터를 제공하고, 더 나은 만족도와 정신건강을 보고하고, 덜 사용하는 환자와 관련이 있다고 제안했다. 45–48 그러나 이러한 유형의 데이터는 어떤 유형의 입학 절차를 지원하는 직접적인 증거를 제공하지 않는다. 

But an admissions process that creates a gender imbalance with equal or worse health care outcomes is unacceptable. Previous studies have suggested that female physicians typically demonstrate greater empathy and use more positive statements than males when interacting with their patients21,44 and that this type of communication is associated with patients providing better historical data, reporting enhanced satisfaction and psychosocial health, and using less health care resources.45–48 However, these types of data do not provide direct evidence in support of any type of admissions process. 

그렇다면 선발 프로세스가 의료 결과에 미치는 영향을 어떻게 입증할 수 있는가? 의료 성과 개선을 목적으로 설계된 인터벤션은 지속적으로 도입되고 있으므로 선택 프로세스의 사전/사후 비교는 다른 개입으로 인하여 confound될 수 있다. 두 가지의 성발 과정을 종단적으로 추적하여 무작위 비교하는 것이 이상적이지만, 이러한 유형의 다중 센터 연구는 많은 의과대학에서 수용되거나 가능하지 않을 수 있다. 

So, how can we demonstrate the impact of the selection process on health care outcomes? Interventions designed to improve health care outcomes are being implemented continuously, so a pre/post comparison of selection processes would be confounded by other interventions. A randomized comparison of different selection processes with longitudinal follow-up would be ideal, but this type of multicenter study may not be acceptable or feasible for many medical schools. 

분명히 우리는 입학 과정이 측정 가능하고 의미 있는 결과에 미치는 영향을 입증하는 데 있어 중대한 도전에 직면해 있습니다.5 MMI가 보건의료 성과에 미치는 영향을 알지 못하면 MMI 등급의 성별 차이가 허용 가능한지 여부를 말할 수 없다. — 그러나 우리는 의과대학 입학에서 성 불균형의 기원을 MMI의 역사보다 훨씬 더 거슬러 올라갈 수 있다는 것을 알고 있다. 미국에서는 남성이 지속적으로 여성 졸업생 수를 앞섰다.49 1993-1994년(MMI가 나오기 10년 전) 이후, 캐나다에서는 지난 22년 동안 2년을 제외한 모든 기간에서 여학생이 남학생보다 많았다. 그 전 22년동안에는 반대로 여성은 늘 상대적으로 소수였다 50 이러한 성별 불균형의 이유와 의료 제공에 미치는 영향은 알려지지 않았지만, 추가 탐구할 가치가 있다.

Clearly, we face significant challenges in demonstrating the impact of the admissions process on outcomes that are both measurable and meaningful.5 Without knowing the impact of the MMI on health care outcomes, we cannot say whether gender differences in MMI ratings are acceptable or unacceptable— but we do know that the origins of gender imbalance in medical school admissions can be traced back much further than the history of the MMI. In the United States, males have consistently outnumbered female graduates.49 Since 1993–1994 (10 years before the description of the MMI), in Canada female students have outnumbered males in all but 2 years— after being consistently in the minority in the preceding 22 years.50 The reason for these gender imbalances and their impact on health care delivery are unknown, but are also worthy of further exploration. 

결론 Conclusions

우리는 이것이 먼저 확인되고 설명되어야 할 중요한 발견이라고 생각합니다. 특히 MMI에서는 커뮤니케이션, 비판적 사고, 윤리적 의사결정 능력이 향상되어 여성 지원자를 선발하는 것인지, 아니면 추가 설명이 필요한 대안적 설명 때문에 여성 지원자를 더 높게 평가하는 것인지 알 필요가 있다.

We feel that this is an important finding that needs first to be confirmed and then explained. In particular, we need to know if we are selecting female applicants because during the MMI we observe better communication, critical thinking, and ethical decision-making skills, or if we rate female applicants higher because of alternative explanations that need to be further elucidated. 

 

 

 

 


Acad Med. 2017 Jun;92(6):841-846.

 doi: 10.1097/ACM.0000000000001466.

Are Female Applicants Rated Higher Than Males on the Multiple Mini-Interview? Findings From the University of Calgary

Marshall Ross 1Ian WalkerLara CookeMaitreyi RamanPietro RavaniSylvain CoderreKevin McLaughlin

Affiliations collapse

Affiliation

  • 1M. Ross is a resident, Department of Emergency Medicine, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. I. Walker is clinical associate professor, Department of Emergency Medicine, and director of admissions, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. L. Cooke is associate professor, Department of Clinical Neurosciences, and associate dean of continuing medical education, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. M. Raman is clinical associate professor, Department of Medicine, and associate director of admissions, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. P. Ravani is professor, Department of Medicine, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. S. Coderre is professor, Department of Medicine, and associate dean of undergraduate medical education, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada. K. McLaughlin is professor, Department of Medicine, and assistant dean of undergraduate medical education, Cumming School of Medicine, University of Calgary, Calgary, Alberta, Canada.
  • PMID: 28557950
  • DOI: 10.1097/ACM.0000000000001466Abstract
  • Purpose: The multiple mini-interview (MMI) improves reliability and validity of medical school interviews, and many schools have introduced this in an attempt to select individuals more skilled in communication, critical thinking, and ethical decision making. But every change in the admissions process may produce unintended consequences, such as changing intake demographics. In this article, two studies exploring gender differences in MMI ratings are reported.Results: Females were rated higher than male applicants (standardized mean difference 0.21, 95% CI [0.11, 0.30], P < .001). After adjusting for other explanatory variables, there was a positive association between female applicant and MMI rating (regression coefficient 0.23 [0.14, 0.33], P < .001). Increasing weight assigned to MMI ratings was associated with increased odds of females being ranked in the top 150 applicants.
  • Conclusions: In this single-center study, females were rated higher than males on the MMI, and the odds of a female applicant being offered a position increased as more weight was given to MMI ratings. Further studies are needed to confirm and explain gender differences in MMI ratings.
  • Method: Cumulative meta-analysis was used to compare MMI ratings for female and male applicants to the University of Calgary Cumming School of Medicine between 2010 and 2014. Multiple linear regression was then performed to explore gender differences in MMI ratings after adjusting for other variables, followed by a sensitivity analysis of the impact of varying the weight given to MMI ratings on the odds of females being ranked in the top 150 applicants for 2014.

퀄리티 아카데미의 교사들: 교수들이 보건시스템과학을 가르칠 수 있도록 준비하기 위한 학습공동체 접근(Acad Med, 2016)

The Teachers of Quality Academy: A Learning Community Approach to Preparing Faculty to Teach Health Systems Science
Elizabeth G. Baxley, MD, Luan Lawson, MD, Herbert G. Garrison, MD, MPH, Danielle Walsh, MD, Suzanne Lazorick, MD, MPH, Donna Lake, RN, BSN, MEd, PhD, and Jason Higginson, MD

 

문제 Problem

오늘날 의학에서 가장 큰 어려움 중 하나는, 환자 안전과 품질을 개선하고, 의료 전문가와 의료 전문가들이 봉사하는 환자 및 지역사회 간의 협력적 파트너십을 강조하기 위해 [전달 시스템을 혁신하는 것]이다. 의료 교육자의 경우, 미래의 의사가 트리플 에이밍 목표(인구 건강 및 환자의 진료 경험 향상과 1인당 비용 절감)를 충족할 수 있도록 준비하는 것이 가장 중요하다. 그러나 주요 보고서는 시스템 기반 실습, 커뮤니케이션 및 팀워크 기술에서 의사들 사이에 이러한 목표를 달성하기 위해 필요한 결함이 있음을 확인했다.1 따라서 의학교육에는 환자 안전, 품질 개선(QI), 전문성, 인구 보건과 관련된 보건 시스템 과학(HSS) 역량 달성이 포함되어야 한다.2
One of the greatest challenges in medicine today is transforming the delivery system to improve patient safety and quality and to emphasize collaborative partnerships among health professionals and the patients and communities they serve. For medical educators, a major priority is preparing future physicians to meet Triple Aim goals (improving population health and patients’ experience of care while reducing per capita costs). However, key reports have identified deficiencies among physicians in systems-based practice, communication, and teamwork skills, all of which are needed to meet these goals.1 It is, therefore, vital that medical education include attainment of health systems science (HSS) competencies related to patient safety, quality improvement (QI), interprofessionalism, and population health.2

보건직업 커리큘럼에 HSS를 통합하려는 노력이 늘고 있지만 변화 속도는 더디다. 졸업생들이 증거 기반 진료를 준비하고 QI 프로세스를 구현하며 안전상의 오류와 격차를 인식하고 이에 대응하기 위해 체계적인 커리큘럼을 변경한 의과대학은 거의 없다. 이를 해결하기 위한 핵심 과제는, [교수들이 새로운 전달 시스템을 준비하는 데 필요한 지식과 기술을 갖추지 못했기 때문에], 최적의 치료 환경을 조성하는 방법을 이해하고 실천하며 가르칠 수 있는 교수진을 식별하는 것이다. 4,5 또한 오늘날의 임상 교수진은 (빠르게 변화하는 환경에서 진료도 하면서), HSS를 배우면서 동시에 가르쳐야 하는 어려움을 겪고 있다.
Although efforts to integrate HSS into health professions curricula are increasing, the rate of change has been slow. Few medical schools have instituted systematic curricular changes to prepare their graduates to provide evidence-based care, implement QI processes, and recognize and respond to errors and gaps in safety.3 A key challenge to addressing this is identifying faculty who understand, practice, and can teach students how to create optimal care environments, as most are not equipped with the knowledge and skills necessary to prepare for the emerging delivery system.4,5 Additionally, today’s clinical faculty are challenged with teaching HSS at the same time as they are learning it themselves, while simultaneously delivering care in a rapidly changing environment.6

조직 목표와 일치하는 [경험적 학습]은 임상 수준에서 품질과 안전의 개선을 달성하는 동시에 교육생의 교육과 역량을 향상시킬 수 있습니다.5 그러나...

  • 의과대학은 종종 이러한 기술에 대한 교수진을 개발할 자원과 인프라가 부족하며, 시간에 대한 competing demands는 교수들로 하여금 종합적인 HSS 훈련을 받기가 어렵게 만든다.
  • 기존의 많은 훈련 프로그램들은 여행travel을 요구하고 일상 업무에서 시간을 빼앗는다.
  • 또한, 교육 과정 참가자는 각기 다른 기관에서 오기 때문에, 이는 임상 제공 환경의 맥락에서 이러한 기술을 배울 기회를 제한합니다.
  • [품질 및 안전 교육자 아카데미]와 "혁신" 또는 "가치" 기관과 같은, 교육 기관 내 이니셔티브의 일부 사례가 보고되었지만, 이는 널리 확산되지 않았다.7,8
  • 마지막으로, 교직원을 위한 HSS 훈련 프로그램의 효과적인 계획 및 구현은 [강력한 평가 전략의 부족]에 의해 제한된다.9

 

Experiential learning that is aligned with organizational goals can help achieve improvements in quality and safety at the clinical level while also improving the education and competency of trainees.5 Yet,

  • schools often lack the resources and infrastructure to develop faculty in these skills, and competing demands on time make it difficult for faculty to undertake comprehensive HSS training.
  • Many existing training programs require travel and take time away from daily work.
  • Additionally, course attendees come from different institutions, which limits their opportunity to learn these skills in the context of their clinical delivery environment.
  • Some examples of intrainstitutional initiatives have been reported, such as the Quality and Safety Educators Academy and “innovation” or “value” institutes, but these are not widespread.7,8 
  • Finally, effective planning and implementation of HSS training programs for faculty is limited by a paucity of robust evaluation strategies.9

접근법
Approach

이스트 캐롤라이나 대학의 브로디 의과대학(ECU)은 변화하는 의료 전달 시스템에서 일하는 의대 학생들을 더 잘 준비시키기 위해 미국 의학 협회(AMA)로부터 5년 상을 받았다. 이 상을 사용하여, 우리는 의료의 변화를 가속화하기 위한 재설계 교육을 위한 REACH라는 이름의 이니셔티브를 개발했습니다. 이 이니셔티브의 목표는 모든 의대생을 대상으로 통합된 종방향 HSS 커리큘럼을 구현하는 것이었다. REACH 프로젝트 팀에는 다양한 전문 분야의 임상 교육자 6명, 간호사 교수진 1명, 프로그램 관리자 1명이 포함되었다.
The Brody School of Medicine at East Carolina University (ECU) received a five-year award from the American Medical Association (AMA) to better prepare medical students for working in a changing health care delivery system. Using this award, we developed an initiative entitled REACH, for Redesigning Education to Accelerate Change in Health Care. The goal of this initiative was to implement an integrated, longitudinal HSS curriculum for all medical students. The REACH project team, responsible for the design and implementation of all components of the initiative, included six clinical educators from various specialties, one nurse faculty member, and one program manager.

우리는 [HSS 역량에 대한 전문지식을 갖춘 교수진]을 새로운 커리큘럼의 구현에 필요한 전제조건으로 간주했다. 그래서 2014년 1월, 우리는

  • HSS 역량을 준비하는 데 필요한 교육학 및 교육과정 설계에 능숙해지면서
  • 일선 임상 변혁을 선도할 교수진을 준비한다

...는 이중의 목표를 가지고 TQA를 설립했다.

We deemed having a critical mass of faculty with expertise in HSS competencies as a necessary prerequisite to the implementation of the new curriculum. So in January 2014, we established the TQA with the dual goal of

  • preparing faculty to lead frontline clinical transformation while
  • becoming proficient in the pedagogy and curriculum design necessary to prepare students in HSS competencies.

다른 학교에서 발견되는 다양한 의학 교육자 아카데미 모델과 유사하게, TQA의 목표는 교육자로서 교직원을 지원하고, 교육적 우수성을 육성하고, 커리큘럼 혁신을 가속화하고, 교육적 장학금을 확대하는 것을 포함했다. 
Similar to various Academy of Medical Educators models found at other schools, the objectives of the TQA included supporting faculty as educators, fostering teaching excellence, accelerating curricular innovations, and expanding educational scholarship.10 

TQA는 다음과 같은 점에서 독특했다

  • [의학 교육]과 [보건 시스템] 간의 연계,
  • 공통 HSS 커리큘럼 개발을 위한 참가자의 집단 참여,
  • 교수진들이 practice and teach하는 임상 환경의 맥락에서 부서와 기관 간에 아이디어를 교환할 수 있는 포럼의 제공

Unique to the TQA were

  • the linkage between medical education and the health system,
  • participants’ collective participation in the development of a common HSS curriculum, and
  • provision of a forum for faculty to exchange ideas across departmental and institutional lines all within the context of the clinical environment in which they practice and teach.

또한, 보건전문직학생들이 train받을 때 종종 겪는 [사일로 효과를 완화하기 위해], 우리는 다른 건강 전문 학교의 교직원을 TQA로 모집하여 전문적 학습 커뮤니티를 설립했다.

Additionally, to mitigate the silo effect in which health professions students are often trained, we recruited faculty from other health professions schools to the TQA to establish an interprofessional learning community.

 

2014년 3월부터 11월까지 여섯 개의 이틀짜리 세션이 이어졌고, HSS의 주요 주제(그림 1)를 다루었다. TQA 훈련 설계에서는 온라인, 교육적, 소규모 그룹 및 경험적 학습을 QI 프로젝트의 완료와 결합하여 학습 세션의 개념을 일상 작업의 컨텍스트로 연결하였다.

A lead-in period from January to mid-March 2014 allowed participants to independently complete the Institute for Healthcare Improvement Open School Basic Certificate in Quality and Safety to ensure a shared foundational knowledge framework. Six 2-day learning sessions followed (from March to November 2014), covering key HSS topics (Figure 1). The TQA training design used a mix of online, didactic, small-group, and experiential learning coupled with the completion of a QI project to hardwire the concepts from the learning sessions into the context of daily work.

 

TQA 참가자들은 REACH 프로젝트 팀원들의 조언을 받아 소규모 그룹으로 활동하여 세션 간 QI 프로젝트에 대한 동료 피드백과 지원을 제공하였다. QI 활동 및 HSS 커리큘럼 개발과 관련된 학술 제품은 QI 프로젝트의 검토 기준을 개발하는 ECU 기관 검토 위원회와의 파트너십을 통해 장려되고 촉진되었다. 대부분의 TQA 참가자들은 2015년 1월 21일 QI 심포지엄에서 공식적으로 자신의 연구 결과를 발표했다.
TQA participants worked in small groups, mentored by REACH project team members, to provide peer feedback and support for QI projects between sessions. Scholarly products related to both QI activities and HSS curriculum development were encouraged and facilitated by a partnership with the ECU’s institutional review board through which criteria for the review of QI projects were developed. Most TQA participants formally presented their work at a campus-wide QI symposium on January 21, 2015.

ECU의 교육대학은 REACH와 제휴하여 커리큘럼을 설계하고 전달을 위한 새로운 교육학적 방법을 창조하는 기술 개발을 제공하는 의학 교육학 Credentials를 만들었다. 2014년 6월부터 2015년 5월까지 3개의 온라인 대학원 과정에서는 교육 리더십, 커리큘럼 개발 및 교육 효과 평가 분야에서 교수진의 역량을 강화하였다(그림 1). 이러한 과정에서의 학습은 참여 동료 및 과정 리더의 input을 받아 새로운 커리큘럼 제품을 개발함으로써 시행되었다. 모든 TQA 참여자는 새롭게 시행된 ECU 의학교육의 날(2015년 4월 22일)에 HSS와 관련된 커리큘럼 혁신을 완료하였다.
ECU’s College of Education partnered with REACH to create a Credential in Medical Education that provided skill development for designing a curriculum and creating new pedagogical methods for delivery. Three distinct online graduate courses (from June 2014 to May 2015) promoted faculty skills in educational leadership, curriculum development, and assessment of educational effectiveness (Figure 1). Learning in these courses was enforced through the development of new curricular products with input from participating peers and course leaders. All TQA participants completed a curricular innovation related to HSS for presentation at the newly implemented ECU Medical Education Day (April 22, 2015).

TQA의 총 예산은 500,187달러였으며, 41만 4,044달러의 자금 지원 교수 출시 시간, 57,000달러의 REACH 프로젝트 팀 계획 및 멘토링 노력을 지원했으며, 자료, 명예 및 기타 물류 요구에 대한 비용 29,143달러였다. 의과대학에서 제공한 자금은 교수 방출 시간을 지원했고, REACH 프로젝트 팀원의 TQA 비용과 방출 시간은 AMA 보조금 기금을 통해 지원되었다.
The total budget for the TQA was $500,187, with $414,044 funding faculty release time, $57,000 supporting REACH project team planning and mentoring efforts, and $29,143 covering materials, honoraria, and other logistical needs. Funds provided by the medical school supported faculty release time, while TQA expenses and release time for REACH project team members were supported through AMA grant funds.

프로그램 평가에는 다음이 포함됩니다.

  • QI 이니셔티브에 대한 진행 중인 작업, 교육 모듈의 커리큘럼 통합, TQA 완료 후 1년 동안 및 1년 동안 학술성과물의 추적
  • QI, 환자 안전, 전문직 간 관행 및 교육에 대한 참가자의 지식, 태도 및 행동을 평가하는 1년 간격의 사전-사후 교육 조사.

Program evaluation includes

  • tracking ongoing work on QI initiatives, the incorporation of educational modules into the curriculum, and the production of scholarly products during and one year after completing the TQA, as well as
  • immediate and one-year pre- and posttraining surveys assessing participants’ knowledge, attitudes, and behaviors in QI, patient safety, and interprofessional practice and education.

 

성과 Outcomes

의도한 성과와 영향 Intended outcomes and impact

초기 학습 세션 이후 TQA에 전념한 교수진 31명; 경쟁적인 시간 요구로 인해 4명의 교수진(13%)이 감소하면서 4개의 건강 과학 프로그램에서 27명의 TQA 참가자가 프로그램을 완료했다. TQA 참가자의 인구통계학적 특성은 표 1에 제시되어 있다. 참여자 26명(96%)이 [품질 및 안전에 관한 열린학교 기본자격증]을 이수하고, 6개 학습 세션에 모두 참여하였다. 모든 참여자는 QI 프로젝트를 완료하여 지역 의료 시스템과 지역사회에서 돌봄 전달의 일부 측면을 개선하는 20가지 이니셔티브에 기여하였다(목록 1). 

Thirty-one faculty committed to the TQA after the initial learning session; the subsequent attrition of 4 (13%) faculty members due to competing time demands resulted in 27 (87%) TQA participants from four health science programs completing the program. Demographic characteristics of the TQA participants are shown in Table 1. Twenty-six (96%) participants completed the Institute for Healthcare Improvement Open School Basic Certificate in Quality and Safety and participated in all six learning sessions. All participants completed their QI projects, contributing to 20 different initiatives that improved some aspect of care delivery in the local health care system and community (List 1).

 

 

이 모든 QI 프로젝트는 [성과 향상 지속 의학교육]을 위한 자격을 얻었으며, 각각은 CME에 20 크레딧 시간을 벌었다. 모든 참가자들은 세 개의 대학원 과정에 등록하고 종방향 HSS 커리큘럼에 포함할 커리큘럼 구성요소를 제출하였다. 8명(30%)은 공식 교육(2015년 5월)이 끝날 때까지 의료 교육 자격 증명을 이수했으며, 다른 이들은 계속 이러한 요건을 이수하고 있다. 26명(96%)은 캠퍼스 전역의 QI 심포지엄에서 QI 프로젝트를 발표했고, 25명(93%)은 ECU 창립 의료교육의 날에 커리큘럼 기여를 제시했다.

All of these QI projects qualified for Performance Improvement Continuing Medical Education, each earning 20 credit hours of continuing medical education. All participants enrolled in the three graduate courses and submitted curriculum com ponents to include in the longitudinal HSS curriculum. Eight (30%) completed the Credential in Medical Education by the end of the formal training (May 2015), while others continue to complete these requirements. Twenty-six (96%) presented their QI project at the campus-wide QI symposium, and 25 (93%) presented their curricular contributions at ECU’s inaugural Medical Education Day.


목록 1 List 1

2014년 3월 ~ 2015년 5월, 이스트캐롤라이나 대학교 Brody School of Medicine 참가자들의 QI(품질 향상) 이니셔티브 및 의료 교육 제품
Quality Improvement (QI) Initiatives and Medical Education Products of Teachers of Quality Academy (TQA) Participants, Brody School of Medicine at East Carolina University, March 2014–May 2015

TQA 참가자 QI 이니셔티브환자 집중

  • 진료전환 관리 개선을 통한 가정의학 실습에서 노인 환자 재전송 감소
  • 교육을 통한 저혈당 및 위해 감소 및 내과 진료 시 주문 세트 사용 증가
  • 학술적 정신의학 실습에서 자살 위험이 있는 환자에 대한 치료 전환 개선
  • 약물 투여 지연을 줄이기 위해 마취 후 치료실에서 소아 중환자실로 인계 절차 개선
  • 소아병동 거주자의 안전지능 보고 시스템 활용도 증대
  • 다원적 입원 환자 라운드에서 임상 윤리 관점 통합 개선

TQA Participant QI InitiativesInpatient Focused

  • Reducing readmissions among geriatric patients in an academic family medicine practice through improved management of transitions of care
  • Reducing hypoglycemia and harm through education and increased use of order sets on an internal medicine inpatient service
  • Improving transitions of care for patients at risk for suicide in an academic psychiatry practice
  • Improving handover procedures from postanesthesia care unit to pediatric intensive care unit to reduce delays in medication administration
  • Increasing utilization of the safety intelligence reporting system by residents on a pediatric ward service
  • Improving integration of a clinical ethics perspective in multidisciplinary inpatient rounds

급성 질환 관리 집중

  • 12세 미만 아동의 급성 맹장염 방사선순서 프로세스 개선
  • 지역 병원 응급 부서에서 탑승하는 정신과 환자 간의 적절한 의약품 조정 증가
  • 거주자 간의 수술 이력 및 신체 기록 개선
  • 췌장 절제술 환자의 수술 후 회복의향상 구현
  • 환자 동의 수술 멸균의 신뢰성 향상으로 의료기관 서비스에 관개 보호
  • 입원 재활치료실 수면 무호흡증 검사 강화
  • 아동 응급실 체류기간 단축을 위한 간호의정서 활용

Acute Care Focused

  • Improving the radiographic ordering process for acute appendicitis in children under 12 years of age
  • Increasing appropriate medication reconciliation among boarding psychiatric patients in a regional hospital emergency department
  • Improving surgical history and physical documentation among residents
  • Implementing an enhanced recovery after surgery protocol among patients with pancreatic resection
  • Improving reliability of patient-consented surgical sterilization resulting in tubal ligation on an academic obstetrical service
  • Enhancing screening for obstructive sleep apnea on an inpatient rehabilitation unit
  • Utilizing nursing protocol orders to decrease length of stay in a children’s emergency department

앰뷸런스 연습 집중

  • 세 가지 임상 실습 현장(가족의학, 내분비학, 아동 정신의학)에서 노쇼율 감소 - 세 가지 구별되지만 관련성이 있는 프로젝트 및 팀이었다.
  • 유방암 방사선 치료를 위한 선량 목표 표준화
  • ECU 소아 외래 환자 센터의 스페인어권 환자에 대한 차별 감소 및 관리 개선
  • 영유아 및 산후 평가를 위한 가정방문 추천 강화
  • 감염성 심내막염 의심 평가 시 심초음파 심초음파 부적절한 사용

Ambulatory Practice Focused

  • Reducing no-show rates at three clinical practice sites (family medicine, endocrinology, and child psychiatry—these were three distinct, but related, projects and teams)
  • Standardizing dose objectives for radiotherapy in breast cancer
  • Reducing discrimination and improving care for Spanish-speaking patients in the ECU Pediatric Outpatient Center
  • Enhancing home visit referrals for infant and postpartum assessment
  • Reducing inappropriate use of transesophageal echocardiography in evaluation of suspected infective endocarditis

TQA 참여 의료 교육 제품 문제 기반 학습/팀 기반 학습 사례

  • 의료 오류 인식 및 인식
  • 입원 인슐린 투약의 QI/환자 안전
  • 암 관리: 의료 오류, 전문 교육 및 증거 기반 의학
  • 빈곤, 특권, 전문성
  • ECU 간호대학 학생들과의 팀 기반 관리

TQA Participant Medical Education ProductsProblem-Based Learning/Team-Based Learning Cases

  • Recognizing and acknowledging medical error
  • QI/patient safety of inpatient insulin dosing
  • Cancer care: medical error, interprofessional education, and evidence-based medicine
  • Poverty, privilege, and professionalism
  • Team-based care with ECU College of Nursing students

교육 모듈

  • 팀 STEPS 훈련 및 QI 올림픽
  • 환자안전에 대한 점원직위반 교육법 위반
  • 시스템을 통한 환자 흐름 시뮬레이션 모델링
  • 안전한 처방 관행 및 의약품 조정
  • 고부가 가치, 비용 절감형 관리 구축

Educational Modules

  • TeamSTEPPS training and QI Olympics
  • Flipping the clerkship didactic on patient safety
  • Simulation modeling of patient flow through system
  • Safe prescribing practices and medicine reconciliation
  • Creating high-value, cost-conscious care

연습/시뮬레이션

  • 진료 시뮬레이션 전환 개선
  • 수술 사무원의 안전성 향상: 시스템의 접근 방식
  • 오류 분석과 QI를 가르치기 위한 시뮬레이션된 근본 원인 분석
  • 보건 및 지역사회 자원 실천의 사회적 결정 요인
  • PCMHs에서의 핫스팟팅 연습, 전문가 간 교육 및 인구 건강 측면 지원

Exercises/Simulations

  • Improving transitions of care simulation
  • Improving safety in the surgery clerkship: a system’s approach
  • Simulated root cause analysis to teach error analysis and QI
  • Social determinants of health and community resources exercise
  • Hotspotting exercise in PCMHs, with interprofessional education and population health aspects

Abbreviations: ECU indicates East Carolina University; TeamSTEPPS, Team Strategies and Tools to Enhance Performance and Patient Safety; PCMH, patient-centered medical home.


 

11명(41%)의 참가자가 9차례의 전국 컨퍼런스에 참석했으며, 7명(26%)은 TQA 학습 세션 중 두 차례에서 교수로 활동했다. 19명(70%)은 TQA 참가자들이 기여하는 교육 모듈의 통합 및 평가를 포함하여 HSS에서 의대생 교육과정의 설계 및 전달에 공식적으로 참여하고 있다.
Eleven (41%) participants presented their work at nine national meetings, and seven (26%) served as faculty in two of the TQA learning sessions. Nineteen (70%) have been formally engaged in the design and delivery of the medical student curriculum in HSS, including the integration and evaluation of educational modules contributed by TQA participants.

 

예상치 못한 결과 및 영향
Unanticipated outcomes and impact

 

TQA의 몇 가지 결과는 우리의 초기 목표를 초과했다. 교육 초기에는 많은 TQA 참가자들이 의대생 교육과정을 넘어 HSS의 교육 이니셔티브 개발에 새로운 지식과 기술을 적용하기 시작했다. 이러한 영향은 전공의 핸드오프 교육을 위한 새로운 모듈, 질병 및 사망률 컨퍼런스에 대한 시스템 분석 통합, 전공의에 의한 환자 안전 보고 시스템의 강화된 사용, 거주자와 간호 및 공중 보건 학생을 위한 QI 선택 사항의 개발에서 입증되었다(목록 1). 6명(22%)의 참가자가 AMA의 의료 교육 이니셔티브의 신속한 변화를 지원하는 HSS 교과서의 챕터 저자가 되었다. HSS 개념에 초점을 맞춘 국가고시 개발에 2명(7%)이 기여하고 있다.
Several outcomes of the TQA exceeded our initial objectives. Early into their training, a number of TQA participants began to apply their new knowledge and skills to the development of educational initiatives in HSS beyond the medical student curriculum. This impact was demonstrated by new modules for resident hand-off training, the integration of systems analysis into morbidity and mortality conferences, the enhanced use of the patient safety reporting system by residents, and the development of QI electives for residents and nursing and public health students (List 1). Six (22%) participants became chapter authors for a textbook on HSS that was supported by the AMA’s Accelerating Change in Medical Education Initiative. Two (7%) are contributing to the development of a national examination focused on HSS concepts.

또한, ECU 보건과학부 전체에서 의학 교육 인증(Credential in Medical Education)이 주목을 받았으며, 이는 현재 진행 중인 캠퍼스 전체의 보건 직업 교육(Credential in Health Professionals Education)의 승인과 시행으로 이어졌다. 매년 의료 및 간호학과 학생들을 위한 QI 올림픽을 포함하여 보건 과학 캠퍼스 전반에 걸친 새로운 전문직 간 교육 노력은 강화된 전문직 간 교육 협력의 영향을 강조한다.
Additionally, the Credential in Medical Education gained attention across the ECU’s health science division, leading to the approval and implementation of an ongoing campus-wide Credential in Health Professions Education. New interprofessional education efforts across the health science campus, including an annual QI Olympics for medical and nursing students, highlight the impact of enhanced interprofessional education collaboration.

TQA가 새로운 QI 전문가를 개발한 것으로 인정받는 것은 이후 참가자 한 명이 Vidant Medical Center의 품질 담당 선임 의료 책임자로 임명되고 다른 한 명이 ECU Physicals의 부 의료 책임자로 임명되어 Brody School의 임상 관행을 위한 QI 노력을 주도함으로써 입증된다. 프로그램의 영향을 예시하는 사례는 한 TQA 참가자가 수술 후 조기 회복 프로그램을 구현하여 고품질의 결과를 유지하면서 선택된 시술 비용을 크게 절감하는 결과를 초래한 것으로 입증된다. 장기 결과를 평가하는 데 도움이 되는 의대생 참여뿐만 아니라 다른 외과의사와 케이스에 대한 이러한 개입의 후속 확산은 TQA의 임상적 및 교육적 영향을 보여준다.
Recognition of the TQA as having developed new QI experts is evidenced by the subsequent appointment of one participant as the senior medical director for quality for Vidant Medical Center and another as the associate medical director of ECU Physicians, leading QI efforts for the Brody School of Medicine’s clinical practices. A case that exemplifies the program’s impact is illustrated by one TQA participant’s implementation of an early recovery after surgery program that resulted in dramatic reductions in cost for selected procedures while maintaining high-quality outcomes. The subsequent spread of this intervention to other surgeons and cases, as well as medical student engagement to help assess its long-term outcomes, demonstrates the clinical and educational impact of the TQA.

25명(93%)의 참가자가 교육 후 설문조사를 완료했다. 응답자 25명 중 20명(80%)은 향후 QI 프로젝트를 선도하는 업무를 계속할 것으로 예상했습니다. 23명(92%)의 응답자는 QI 원칙을 가르치는 데 편안하거나 매우 편안했습니다. 향후 QI 원칙의 통합에 대한 질문에 응답자들은 각각의 임상(18/19; 95%), 강의(21/25; 84%), 학술(18/24; 75%) 활동에서 유의하거나 상당한 수준으로 이를 수행할 것으로 기대했다.

Twenty-five (93%) participants completed the posttraining survey. Twenty of the 25 (80%) respondents expected to continue their work leading future QI projects. Twenty-three (92%) respondents were either comfortable or very comfortable teaching QI principles. Asked about incorporation of QI principles going forward, respondents expected to do so in their respective clinical (18/19; 95%), teaching (21/25; 84%), and scholarly (18/24; 75%) activities to a significant or substantial degree.

다음 단계
Next Steps

의대생들을 위한 HSS 커리큘럼을 제정하기 전에, 우리는 HSS 개념을 가르칠 준비가 된 교직원의 코호트가 필요하다고 생각했다. 우리는 이 중요한 요구를 해결하기 위해 TQA를 설계했다. 우리는 15개월 간의 교육 제도 훈련 프로그램에 참여하기 위해 이 학습 커뮤니티에 다양한 전문직 간 교수 코호트를 모집했다. 기술되고 구현된 바와 같이, TQA는 [HSS 역량을 준비하는 데 필요한 교육학 및 커리큘럼 설계에 능숙]해지면서, [일선 임상 변혁을 선도할 교직원을 준비]한다는 이중 목표를 달성했다. 프로그램에 대한 열정은 우리의 초기 목표를 초과한 결과와 영향을 초래했으며, 이는 이 분야에 대한 관심이 널리 퍼져 있음을 시사한다.
Prior to instituting an HSS curriculum for medical students, we deemed a cohort of faculty prepared to teach HSS concepts necessary. We designed the TQA to address this critical need. We recruited a diverse, multispecialty cohort of interprofessional faculty to this learning community to participate in a 15-month intrainstitutional training program. As described and implemented, the TQA achieved the dual goal of preparing faculty to lead frontline clinical transformation while becoming proficient in the pedagogy and curriculum design necessary to prepare students in HSS competencies. Enthusiasm for the program resulted in outcomes and impact that exceeded our initial objectives, suggesting that interest in this area is widespread.

TQA를 완료한 이후, 참가자들은 환자 치료에 대한 팀 접근 방식을 모델링하고 QI 이니셔티브와 환자 안전 노력을 선도하며 새롭게 부상하는 종방향 HSS 커리큘럼의 구성 요소를 기여해왔다. 참가자들은 또한 여러 학술 프레젠테이션을 통해 학습과 성과를 전파했습니다.
Since completing the TQA, participants have been modeling a team approach to patient care, leading QI initiatives and patient safety efforts, and contrib uting the building blocks of the emerging longitudinal HSS curriculum. Participants have also disseminated their learning and accomplishments through multiple scholarly presentations.

TQA 참가자 및 프로그램 기획자를 위한 중요한 다음 단계는 

  • (1) 종단적 HSS 커리큘럼의 완전한 구현을 위하여 자문교수 및 기여자로 추가적 통합incorporation
  • (2) 'Leaders in Innovative Care Scholars'의 학생리더십 트랙을 포함하여 참여 확대
  • (3) TQA 참여가 환자 치료, 교육 및 역할 모델링에 미치는 영향에 대한 심층적인 평가를 계속한다.
  • (4) TQA 참가자의 다음 코호트 모집(HSS 전문지식을 갖춘 교수진의 임계 질량을 달성하기 위한 필요성)

Important next steps for TQA participants and program planners include

  • (1) further incorporation as faculty advisors and contributors to the full implementation of the longitudinal HSS curriculum;
  • (2) expanded involvement with the Leaders in Innovative Care Scholars student leadership distinction track;
  • (3) continued in-depth evaluation of the impact of TQA participation on patient care, teaching, and role modeling; and
  • (4) the recruitment of the next cohort of TQA participants (a necessity for achieving a critical mass of faculty with HSS expertise).

헬스케어의 성과를 최적화하려면 교육자가 의료 교육과 의료 제공 개혁의 조정을 지원하는 HSS 원칙을 배우고 가르쳐야 한다. TQA의 초기 결과는 HSS 역량에 초점을 맞춘 교수 개발 학습 커뮤니티를 구현하면 다양한 참가자 코호트를 참여시키고, 필요한 교수 지식과 기술을 구축하여 기관에 가치를 더하며, 보건 전문가 프로그램 전반에 걸쳐 새로운 전문가 간 파트너십을 만들 수 있음을 시사한다. 

Optimizing health care outcomes will require educators to learn and teach HSS principles that support the alignment of medical education and health care delivery reform. The early outcomes from the TQA suggest that implementing a faculty development learning community focused on HSS competencies can engage a diverse cohort of participants, add value to the institution by building requisite faculty knowledge and skills, and create new interprofessional partnerships across health professions programs.

 

 

 


Acad Med. 2016 Dec;91(12):1655-1660.

 doi: 10.1097/ACM.0000000000001262.

The Teachers of Quality Academy: A Learning Community Approach to Preparing Faculty to Teach Health Systems Science

Elizabeth G Baxley 1Luan LawsonHerbert G GarrisonDanielle WalshSuzanne LazorickDonna LakeJason Higginson

Affiliations collapse

Affiliation

  • 1E.G. Baxley is senior associate dean for academic affairs and professor of family medicine, Brody School of Medicine at East Carolina University, Greenville, North Carolina. L. Lawson is assistant dean of curriculum, assessment, and clinical academic affairs and assistant professor of emergency medicine, Brody School of Medicine at East Carolina University, Greenville, North Carolina. H.G. Garrison is associate dean for graduate medical education and professor of emergency medicine, Brody School of Medicine at East Carolina University, Greenville, North Carolina. D. Walsh is associate professor of surgery, Division of Pediatric Surgery, Brody School of Medicine at East Carolina University, Greenville, North Carolina. S. Lazorick is associate professor of pediatrics and public health and health services researcher, Brody School of Medicine at East Carolina University, Greenville, North Carolina. D. Lake is clinical associate professor of nursing, Graduate Nursing Sciences and Leadership Concentration, East Carolina University College of Nursing, Greenville, North Carolina. J. Higginson is associate professor of pediatrics and chief, Division of Neonatology, Brody School of Medicine at East Carolina University, Greenville, North Carolina.

Free PMC article

Abstract

Problem: Although efforts to integrate health systems science (HSS) topics, such as patient safety, quality improvement (QI), interprofessionalism, and population health, into health professions curricula are increasing, the rate of change has been slow.

Approach: The Teachers of Quality Academy (TQA), Brody School of Medicine at East Carolina University, was established in January 2014 with the dual goal of preparing faculty to lead frontline clinical transformation while becoming proficient in the pedagogy and curriculum design necessary to prepare students in HSS competencies. The TQA included the completion of the Institute for Healthcare Improvement Open School Basic Certificate in Quality and Safety; participation in six 2-day learning sessions on key HSS topics; completion of a QI project; and participation in three online graduate courses.

Outcomes: Twenty-seven faculty from four health science programs completed the program. All completed their QI projects. Nineteen (70%) have been formally engaged in the design and delivery of the medical student curriculum in HSS. Early into their training, TQA participants began to apply new knowledge and skills in HSS to the development of educational initiatives beyond the medical student curriculum.

Next steps: Important next steps for TQA participants and program planners include further incorporation as faculty advisors and contributors to the full implementation of the longitudinal HSS curriculum; expanded involvement with the Leaders in Innovative Care Scholars student leadership distinction track; continued in-depth evaluation of the impact of TQA participation on patient care, teaching, and role modeling; and the recruitment of the next cohort of TQA participants.

적응적 전문성(When I say...) (Med Educ, 2017)

When I say . . . adaptive expertise
Maria Mylopoulos & Nicole N Woods

 

전문 임상의사들은 질병의 징후와 증상에 대한 지식, 환자의 필요와 가치에 대한 이해, 사회적 맥락과 가용 자원을 이용하여 상황을 의미 있게 만들고 해결책에 도달한다. 

  • 때로는 알려진 해결책을 적용하는 것으로 충분합니다: 그렇지 않으면 일상적인 박테리아 감염을 보이는 건강한 환자에게 항생제를 처방해야 합니다. 
  • 다른 때에, 일상적인 환자가 아닌 환자를 위한 해결책은 임상의가 혁신을 필요로 할 것이다: 동일한 박테리아 감염을 가진 노숙자, 우울증 환자는 항생제에 대한 처방 이상의 것을 필요로 할 수 있다. 

Expert clinicians use their knowledge of the signs and symptoms of illness, understanding of patients' needs and values, and the social context and available resources, to make meaning of situations and arrive at solutions. Sometimes applying a known solution is sufficient: an otherwise healthy patient who presents with a routine bacterial infection should be prescribed antibiotics. At other times, the solution for a non-routine patient will require the clinician to innovate: a homeless, depressed patient with the same bacterial infection may require more than just a prescription for antibiotics.

두 경우 모두 최종 솔루션은 임상 의사의 경험과 임상 영역에 대한 진화하는 이해의 일부가 된다. 우리가 '적응적 전문지식'이라고 말할 때, 우리는 임상 추론의 이러한 상황적인, 반복적인, 때로는 생성적인 총체적 활동을 포함한다.
In both cases, the eventual solution becomes part of the clinician's experience and evolving understanding of her or his clinical domain. When we say ‘adaptive expertise’, we encompass this entire situated, iterative and sometimes generative activity of clinical reasoning.

전문가가 [때로는 효율적인 솔루션을 적용]하고 [때로는 환자의 요구를 충족하기 위해 혁신해야 한다]는 것을 이해하는 것이 [적응형 전문성] 구성의 핵심이다. 전문가들은 작업의 이러한 '효율성'과 '혁신' 치수의 균형을 적절히 맞출 수 있을 때 최적으로 적응한다.1 모든 임상 추론 모델에서처럼, 지식은 적응 전문지식의 이 두 가지 차원에서 모두 수행능력에 중요하다. 
Understanding that an expert sometimes applies an efficient solution and at other times must innovate to meet a patient's needs is central to the construct of adaptive expertise. Experts are optimally adaptive when they are able to appropriately balance these ‘efficiency’ and ‘innovation’ dimensions of their work.1 As in all models of clinical reasoning, knowledge is critical for the performance of both dimensions of adaptive expertise.

지식을 획득, 저장 및 적용하는 방법의 중요성과 함께, 적응형 전문지식의 프레임워크는 지식이 활동 중에 사용되는 두 가지 뚜렷한 방법, 즉 적용할 솔루션의 레퍼토리로서(효율성) 또는 새로운 솔루션(혁신)을 만드는 출발점으로 강조된다. 일반적인 오해는 연습의 효율성이나 '일상적인' 차원이 '혁신적인 것'과 충돌하거나, 그렇지 않다는 것이다. 적응형 전문지식을 위해서는 효율성과 혁신이 모두 필요합니다. 그들은 보완적이고, 똑같이 필요한 전문가 활동의 형태이다. 

Alongside the importance of how knowledge is acquired, stored and applied2, 3 the framework of adaptive expertise emphasises two distinct ways that knowledge is used during activity, either as a repertoire of solutions to be applied (efficiency) or as the starting point for the creation of new solutions (innovation). A common misconception is that the efficiency or ‘routine’ dimension of practice is in conflict with, or inferior to, ‘being innovative’. Adaptive expertise requires both efficiency and innovation. They are complementary, equally necessary forms of expert activity. 

임상의사가 알려진 해결책으로 충분할 상황에서 혁신을 추구한다면, 그들은 열악한 환자 치료를 제공할 가능성이 있다. 박테리아 감염의 일상적인 환자는 새로운 해결책을 필요로 하지 않는다. 항생제의 적절한 처방이 최적이다. 마찬가지로 임상의가 항상 모든 상황에 대해 알려진 해결책을 맞추려고 한다면, 그들은 또한 열악한 환자 치료를 제공하고 있다. 세균감염 환자가 아닌 경우 처방을 받아 집으로 돌려보낼 경우 치료하지 않은 상태로 남아 있거나 악화될 수 있으며 보다 공격적이거나 비용이 많이 드는 치료가 필요할 수 있다. 우리가 '적응적 전문성'이라고 말할 때, 우리는 효율성보다 혁신이 더 좋은 것이라는 위계를 의미하지 않는다. 오히려 임상 작업의 맥락 안에 위치한situated within 임상의의 지식은 [언제 효율성이 필요하고 언제 혁신이 필요한지]를 결정한다.

If a clinician seeks to innovate in a situation where a known solution will suffice, they are likely to be providing poor patient care. The routine patient with a bacterial infection does not require a new solution, timely prescription of an antibiotic is optimal. Similarly, if clinicians always seek to fit their known solutions to every situation they encounter, they are also providing poor patient care. If the non-routine patient with the bacterial infection is sent home with a prescription, the patient might remain untreated or may deteriorate and need more aggressive or costly care. When we say ‘adaptive expertise’ we are not proposing a hierarchy of innovation over efficiency. Rather, a clinician's knowledge situated within the context of his or her clinical work determines whether efficiency or innovation is required at any point in time.

전문지식이 이런 식으로 이해된다면 보건직 교육에 미치는 영향은 상당하다. 의학 교육은 지식 습득, 보존 및 응용에 대한 집단 강조를 대표하는 임상 추론의 지시와 평가를 위한 커리큘럼 전략, 도구 및 기법을 오랜 역사를 가지고 있다. 적응형 전문지식의 일부로 간주되는 이 유형의 훈련은, 전문가 문제 해결 중 [효율성의 개발]을 효과적으로 촉진한다. 전문지식의 [효율성과 혁신] 모두가 중요하다는 것을 받아들인다면, [혁신을 위한 훈련]을 지원하기 위하여 교육적 원리에 기반한 추가적인 보완적이고 동시적인 집중이 필요하다. 
If expertise is understood in this way, the implications for health professions education are significant. Medical education has a long history of creating curricular strategies, tools and techniques for the instruction and assessment of clinical reasoning that are representative of a collective emphasis on knowledge acquisition, retention and application.4 Viewed as part of adaptive expertise, this type of training effectively promotes the development of efficiency during expert problem solving. Accepting the importance of both the efficiency and innovation dimensions of expertise requires an additional complementary and synchronous focus on educational principles that support training for innovation.

이러한 원칙을 식별하고 이를 적응형 전문지식을 반영하는 결과와 연결시키는 문헌 조직이 늘어나고 있다. 예를 들어, 임상 징후와 증상을 기본 메커니즘과 명시적으로 연결하는 기초 및 임상 과학의 통합 교육은 [non-routine case의 문제 해결]은 물론 [새로운 학습]을 지원하는 것으로 나타났다.2 또한, 학습자가 여러 경우에 걸쳐 체계적인 특징 변화variation of feature에 의도적으로 노출되는 것을 강조함으로써, 적극적인 학습 활동이 문제에 대한 포괄적인 이해를 지원하는 것으로 나타났다.6 이러한 활동에 이어 직접적인 지시로 학생들은 답을 듣기 전에 풀려고 하는 문제에 대한 깊은 이해를 개발할 수 있다.6 

There is a growing body of literature identifying these principles and linking them to outcomes reflective of adaptive expertise. For example, integrated instruction of basic and clinical sciences that explicitly links clinical signs and symptoms with underlying mechanisms has been shown to support problem solving in non-routine cases5 as well as support new learning.2 As well, active learning activities with an emphasis on deliberately exposing learners to systematic variation of features across cases have been shown to support comprehensive understanding of problems.6 These activities, followed by direct instruction, allow students to develop deep understanding of the problem they are trying to solve before being told an answer.6 

일상적인 교육은 다양한 커리큘럼 모델에 이러한 원칙을 포함하도록 설계될 수 있다. 예를 들어 CBL 또는 PBL 세션과 interactive lecture는 학습자에게 기초 및 임상 과학에 대한 통합 교육을 제공할 수 있도록 세심하게 설계될 수 있으며, direct instruction에 이어 active learning이 극대화되도록 촉진될 수 있다. 평가는 학생들이 학습하고 기존 지식 테스트와 함께 평가 환경에서 적용할 수 있는 새로운 지식을 제공함으로써 역동적으로 만들 수 있다. 임상교육동안, 이러한 원칙을 강화하는 것이 임상 교사의 임무가 된다. 이는 임상 징후와 증상의 기본 메커니즘을 명확히 하기 위한 '왜' 질문을 하고, 환자 사례의 임상 징후와 증상을 의도적으로 변화시키고 학습자에게 그 함의를 설명하도록 요청함으로써 이루어질 수 있다. 비판적으로, 이것은 [학습자의 지식을 평가하는 질문]을 넘어 [학생들에게 임상 활동과 관련된 새로운 지식을 생각하고 적용하도록 요구하는 것]을 의미한다.
Everyday teaching can be designed to incorporate these principles within a variety of curricular models. For example, case-based or problem-based learning sessions and interactive lectures can be carefully designed to provide learners with integrated instruction on basic and clinical science, and be facilitated in such a way as to maximise active learning followed by direct instruction. Assessments can be made dynamic by providing students with new knowledge to learn and apply in an assessment setting alongside testing their existing knowledge.2 During bedside teaching, it becomes the job of the clinical teacher to reinforce these principles. This can be done by asking ‘why’ questions to make explicit the underlying mechanisms of clinical signs and symptoms as well as by deliberately varying the clinical signs and symptoms of a patient case and asking learners to explain the implications. Critically, this means moving beyond questions that assess learners' knowledge in the moment and asking them to think about and apply new knowledge related to their clinical activity.


Med Educ. 2017 Jul;51(7):685-686.

 doi: 10.1111/medu.13247. Epub 2017 Feb 22.

When I say … adaptive expertise

Maria Mylopoulos 1Nicole N Woods 1

Affiliations collapse

Affiliation

  • 1Toronto, Ontario, Canada.

의학교육은 정보시대에서 인공지능시대로 가야 한다(Acad Med, 2018)

Medical Education Must Move From the Information Age to the Age of Artificial Intelligence
Steven A. Wartman, MD, PhD, and C. Donald Combs, PhD

 

 

 

윌리엄 오슬러는 [의학은 불확실성의 과학이며 확률의 예술]이라고 말한 것으로 보도되었다. 그러나 오늘날, 이러한 오랜 관점은 도전받지 않더라도 정교해지고 있습니다.
William Osler is reported to have said that medicine is a science of uncertainty and an art of probability. Yet today, this time-honored perspective is being refined, if not challenged.

의학의 관행이 정보 시대에서 인공지능 시대로 빠르게 전환되고 있는 모든 것 중 가장 근본적인 변화를 해결하는 데 더 많은 관심을 기울여야 한다.
More attention needs to be given to addressing the most fundamental change of all—the practice of medicine is rapidly transitioning from the information age to the age of artificial intelligence.

이 개혁의 근본원칙은 학생들이 '정보'와 '인공지능'의 차이를 이해하고 관리해야 한다는 것이다.

A fundamental principle of this reformulation is that students must understand and manage the difference between “information” and “artificial intelligence.”

정보 대 인공지능
Information Versus Artificial Intelligence

 

정보 시대(1970년대부터 2010년대까지)는 [정확하고 시기적절하며 특정 목적을 위해 체계화된 데이터]를 사용했으며, [데이터는 의미와 관련성을 제공하는 맥락에서 제시]되었으며, [데이터는 불확실성의 이해와 감소]로 이어졌다.1 이 기간 동안 의사의 주요 과제는 유효성과 이용 가능한 정보를 효과적으로 사용하는 방법을 결정하는 것이었다. 
The information age (roughly from the 1970s to the emergence of machine learning tools during the 2010s) featured the use of data that were accurate and timely, specific and organized for a purpose, and presented within a context that gave them meaning and relevance, as well as led to an increase in understanding and decrease in uncertainty.1 The primary challenges for physicians during this time were determining validity and how to effectively use the available information. 

"인공지능"이라는 용어는 추론, 의미 발견, 일반화 및/또는 경험으로부터 학습하는 능력과 같은 인간의 지적 과정을 가진 시스템의 개발에 적용된다.2 인공지능 응용 프로그램을 이용한 데이터 조작은 의학 교육에 중요한 의미를 갖는다. 대체로 [암기 기반인 현재의 커리큘럼]은 [증가하는 정보 출처에서 정보의 효과적인 통합과 활용에 대한 역량을 가르치는 커리큘럼]으로 전환해야 한다. 
the term “artificial intelligence” applies to the development of systems that are endowed with the intellectual processes characteristic of humans, such as the ability to reason, discover meaning, generalize, and/or learn from experience.2 The manipulation of data using applications of artificial intelligence has significant implications for medical education. The current, largely memorization-based curriculum must transition to one that teaches competence in the effective integration and utilization of information from a growing array of sources. 

의사들이 신뢰할 수 있는 인공지능에 기반한 의사결정 지원 소프트웨어를 사용하든, 병원이나 환자의 집, 인체 내에 배치된 로봇을 관리하든, 이 새로운 패러다임에서 교육을 받을 필요가 있을 것이다.

Whether physicians use decision support software based on reliable artificial intelligence or manage robots deployed in hospitals, patients’ homes, or within the human body, they will need to be educated in this new paradigm. 

의료교육 개혁은 20세기에 주로 초점을 맞추고 있다.
Medical Education Reform Has Largely Focused on the 20th Century

 

주로 재단과 정부 기관이 후원하는 국가 보고서의 발견에 바탕을 둔 의학교육 개혁 노력은 일상화되었고, 아브라함 플렉스너의 1910년 보고서 이후 몇 년에 한 번씩 추진되어 왔다. 미국 의학 협회는 2000년부터 2015년까지 의료 교육 개혁을 요구하는 15개의 국가 보고서가 있었다고 언급했다.3 이러한 제안된 개혁은 만성 질환 관리 및 치료 조정, 시스템 기반 관행, 실천 기반 개선 및 효과적인 커뮤니케이션을 포함하여 이전에 확인된 많은 개혁 분야와 유사했다. [전통, 인증에 대한 우려, 변화에 대한 교수진의 저항, 그리고 국가 이사회 시험에서 우수한 성적을 낼 수 있도록 학생들을 준비해야 하는 필요성]은 일반적으로 필요한 개혁을 방해하는 주요 요소로 간주된다. 
Efforts to reform medical education, largely based on the findings in national reports funded by foundations and government agencies, have become routine and have been rolled out every few years since Abraham Flexner’s 1910 report. The American Medical Association noted that from 2000 to 2015 there were 15 national reports calling for medical education reform.3 These proposed reforms paralleled many of the previously identified areas for reform, including the management of chronic conditions and care coordination, systems-based practice, practice- based improvement, and effective communication. Tradition, accreditation concerns, faculty resistance to change, and the need to prepare students to perform well on national board exams are generally considered the major factors impeding needed reform. 

워트먼은 2016년 강연에서 현재 파악된 많은 개혁이 21세기 의학교육에 필요하지만 충분하지 않다고 언급하며 의학교육의 '재부팅'을 주장했다.4 그는 또 의학교육 개혁의 행적은 마치 [의미 있는 변화를 채택하는 속도가 느린 산업]과 같다고 언급했다. 21세기 의료 기술 습득은 의료 교육의 보다 [급진적인 변혁]을 필요로 한다고 우리는 생각한다. 비록 "하나를 보고, 하나, 하나 가르쳐라"라는 격언이 과거에 의사들이 임상 기술을 배운 방식을 특징지었을 수 있지만, 이제 훈련이 효과적이기 위해서는 모든 수준의 학습자들이 자신의 성과를 표준과 비교하고, 역량이 달성될 때까지 계속 연습할 기회를 가져야 한다는 것이 명백하다.5 
In a 2016 lecture, Wartman advocated a “reboot” of medical education, noting that many of the current reforms that have been identified are necessary but not sufficient for 21st-century medical education.4 He also noted that the track record of medical education reform depicts an industry that is slow to adopt meaningful change. The acquisition of 21st-century skills for medical practice requires, in our opinion, a more radical transformation of medical education. Although the dictum “see one, do one, teach one” may have characterized the way physicians learned clinical skills in the past, it is now clear that, for training to be effective, learners at all levels must have the opportunity to compare their performance against a standard and to continue to practice until competence is achieved.5 

고용주들은 학부생, 대학원생, 그리고 지속적인 의학 교육의 긴밀한 통합을 위한 설득력 있는 사례를 제시하고 있다. 그들은 다음과 같은 의사가 필요하다. 

  • 다른 의료 팀원과 함께 면허의 상위에 있는 작업을 수행한다. 
  • 의료 분야 및 의료 연속체의 폭넓은 범위에 걸친 지식을 보유해야 한다. 
  • 스마트폰, 소셜 미디어 및 기타 장치를 사용하여 데이터 플랫폼을 활용합니다. 
  • 고객 서비스를 포함하여 결과 분석 및 성능 향상에 초점을 맞춘다.7

Employers are making a compelling case for a tighter integration of undergraduate, graduate, and continuing medical education. They need physicians who

  • work at the top of their license with other members of the health care team;
  • have knowledge that spans the breadth of the health professions and care continuum;
  • leverage data platforms by using smartphones, social media, and other devices; and
  • focus on analyzing outcomes and improving performance, including customer service.7

의료 교육을 지배적인 20세기 모델에서 21세기의 새로운 과제, 특히 전문적 실무에서 빅데이터와 인공지능의 응용이 증가하는 문제를 해결할 수 있는 모델로 어떻게 개혁할 것인가?

How do we reform medical education from the dominant 20th-century model into one that can address the emerging challenges of the 21st century, especially the increasing application of big data and artificial intelligence in professional practice?

 

21세기를 향한 의학의 부활
A Medical Education Reboot for the 21st Century


우리는 의료 교육을 재부팅하기 위한 기초는 [미래의 의료 행위가 의사, 다른 의료 전문가, 기계(소프트웨어와 하드웨어 모두 포함) 및 환자 사이의 명시적인 파트너십이 될 것]이라는 공동체의 인식에 있다고 믿는다. 
We believe that the foundation for a medical education reboot lies in the community’s recognition that future medical practice will be an explicit partnership among physicians, other health care professionals, machines (which includes both software and hardware), and patients. 

첫째, 여러 장소에서 케어가 제공될 것입니다. 기술은 환자의 내부와 내부로 이동하여 지속적인 데이터 흐름을 제공할 것입니다. 대규모 데이터 저장 및 처리 인프라는 실시간으로 보다 쉽게 액세스할 수 있게 됩니다. 환자, 보험사, 규제 당국은 편리함과 입증 가능한 결과를 주장할 것이다.
First, care will be provided in many locations. Technology will move with and inside patients, providing a continuous flow of data. Large data storing and processing infrastructures will become more readily accessible in real time. Patients, insurers, and regulators will insist on convenience and demonstrable results. 


둘째, 새롭게 구성된 의료팀이 케어를 제공할 것이다. 신성불가결한 일대일 의사-환자 관계는 여러 의료 기관과의 환자 관계로 대체될 것이다. (예: 간호사, 사회복지사, 물리 및 직업 치료사, 의료 관리자, 가정 의료 보좌관, 사회 지원 단체, 가족 및 아직 정의되지 않은 새로운 종류의 의료 제공자들. 이는 환자의 거주지와 무관하다) 의사나 팀 리더 역할을 하는 다른 사람들은 어떻게 팀 케어를 통해 가장 큰 가치를 얻을 수 있을지를 배워야 할 것이다. 이러한 연습은 새로운 연습 양식에 맞춰 팀 구성원의 연습 범위를 신중하게 재설계해야 한다.  
Second, care will be provided by newly constituted health care teams. The sacrosanct one-to-one doctor–patient relationship will be replaced by patient relationships with multiple health providers (e.g., nurses, social workers, physical and occupational therapists, care managers, home health aides, social support groups, family members, and new kinds of health care providers yet to be defined, without regard to where patients live). Physicians or others who serve as team leaders will need to learn how to gain the most value from team care. Such practice will necessitate the careful redesign of the scopes of practice of team members to align with new practice modalities. 

셋째, 여러 소스, 액세스 가능한 대용량 데이터 세트 및 인공지능의 증가하는 데이터 배열을 기반으로 관리가 이루어질 것입니다. 대규모 메타 데이터 세트의 기계 기반 분석의 통합은 환자 관리의 표준이 되어 각 환자에 대한 지속적인 모니터링으로 이어질 것이다. 새로운 해석 및 기능적 실무 기반 구조가 시간에 따라 개발되어 데이터를 관리하고 정보의 확장에 대한 유효한 평가를 제공할 것이다. 의사는 환자와 환자의 가족, 기계 및 다양한 보건 전문가의 복잡한 교차점 내에서 의사 결정이 이루어지는 환경에서 실습합니다.
Third, care will be delivered based on a growing array of data from multiple sources, accessible large data sets, and artificial intelligence. The incorporation of machine-based analysis of huge meta-data sets will become standard for patient care, leading to continuous monitoring of each patient. A new interpretive and functional practice infrastructure will be developed over time both to manage the data and to provide valid assessments of the expanding volume of information. Physicians will practice in an environment where decision making takes place within the complex intersection of patients and their families, machines, and an expanding variety of health professionals.

넷째, 마지막으로, 의학과 기계 사이의 인터페이스가 능숙하게 관리되어야 할 것이다. 기계는 많은 분야에서 더 많은 것을 알게 될 것이고 전통적으로 의사가 수행했던 더 많은 작업을 수행할 수 있게 될 것이다. 따라서 간병인은 기기가 인지적 및 신체적으로 인간을 점점 능가할 것이라는 사실에 동의해야 할 것이다.

Fourth, and finally, the interface between medicine and machines will need to be skillfully managed. Machines will know more in many areas and be able to perform more tasks that traditionally have been performed by physicians. Thus, caregivers will need to come to terms with the fact that devices increasingly will outperform humans, both cognitively and physically.


미래의 실습을 위해 필요한 기술
Necessary Skills for Future Practice

 

인지심리학은 사실과 개념이 사용될 맥락에서 가르치고, 실천하고, 평가할 때 가장 잘 상기되고 활용된다는 것을 입증했다. 수십 년 동안의 임상 전문성에 대한 연구는 의사들로 하여금 징후와 증상을 평가하고, 진단 테스트를 선택 및 해석하고, 임상 평가 및 치료 계획을 개발하기 위해 데이터를 합성하는 사고방식을 설명하였다.8 한 관찰자가 지적한 바와 같이, "기술이 변화하고 데이터 안개가 짙어짐에 따라 교육 표준을 새로 고치고, 다듬고, 개선해야 합니다."  
Cognitive psychology has demonstrated that facts and concepts are best recalled and put into service when they are taught, practiced, and assessed in the context in which they will be used. Several decades of research on clinical expertise have elucidated the thinking of physicians as they evaluate signs and symptoms, select and interpret diagnostic tests, and synthesize data to develop clinical assessments and care plans.8 As noted by one observer, “Educational standards need to be refreshed, refined and improved as technology changes and the data fog thickens.”9 

생물의학 과학에 대한 근본적인 이해와 임상 지식과 실무에서의 전문지식과 상호 연계성이 의학 교육의 핵심으로 남아 있어야 한다는 데는 이견이 없다. 그러나, 21세기 커리큘럼은 또한 인공지능이 지원하는 데이터가 풍부한 환경에서 의사가 보다 정확하게 연습할 수 있는 능력을 강화하기 위한 구성요소를 포함해야 한다. 한 예로, 학습자는 의사결정의 맥락에서 빅 데이터에 노출되어야 합니다. 빅 데이터의 4V에 대한 확실한 이해:

  • 볼륨(과거의 양에 비해 오늘날의 데이터 양이 방대함),
  • 다양성(다양한 유효성의 다양한 소스에서 데이터 제공),
  • 속도(데이터가 매우 빠르게 생성되고 모멘텀이 증가함),
  • 정확성(새롭게 생성되는 평가 해야 할 데이터의 품질)

There is no disagreement that a fundamental understanding of the biomedical sciences and their interconnectedness with clinical knowledge and expertise in practice should remain central to medical education. However, the 21st-century curriculum also should include components to strengthen physicians’ capacity to practice with more precision in a data-rich environment supported by artificial intelligence. As one example, learners must be exposed to big data in the context of decision making. They must develop a solid understanding of the four Vs of big data:

  • volume (the amount of data today is vast compared with the amount in the past);
  • variety (data come from many different sources of varying validity);
  • velocity (data are being generated very fast, and momentum is increasing); and
  • veracity (the quality of the data being generated needs to be assessed). 


학습자들도 인공지능 애플리케이션을 통한 의료 전달에서 [데이터가 어떻게 집계되고 분석되고 궁극적으로는 개인화되고 있는지]에 대한 기본적인 이해를 키울 필요가 있을 것이다. 그들은 의사결정 지원 소프트웨어, 로봇 또는 보다 정교한 소셜 미디어 애플리케이션에 구현되어 있는지 여부에 관계없이 다양한 애플리케이션을 관리하는 방법에 대해 폭넓게 생각할 필요가 있을 것이다. Yang과 Veltri10이 지적했듯이 "가장 중요한 과제는 어떻게 하면 의료 데이터를 정밀의학, 예방의학, 예측 모델링에 대한 부가 가치로 전환할 수 있느냐 하는 것이다." 

Learners also will need to develop a basic understanding of how data are being aggregated, analyzed, and ultimately personalized in health care delivery through artificial intelligence applications. They will need to be able to think broadly about how to manage the variety of applications, whether embodied in decision support software, robots, or more sophisticated social media applications. As Yang and Veltri10 noted, “The most critical challenge is how we can transform the health care data into additional values for precision medicine, preventive medicine, and predictive modeling.” 

 

결론

Conclusion

커리큘럼 개혁은 [혁신과 실험에 더 개방적]이고 [(종종 학생들의 미래 관행과 무관한 사실에 기초한 암기와 임상 사무직에 중점을 두는) 낡은 모델을 훨씬 뛰어넘을 수 있는] accreditor의 전폭적인 지원을 필요로 한다. 미래의 의대 졸업생들이 license의 top에 올라 value-based financing system에 적응하려면 평생교육의 새로운 양식에 참여할 필요가 있을 것이다. 
curricular reform requires the whole-hearted support of accreditors who are willing to be more open to innovation and experimentation and able to move far beyond the old model with its emphasis on fact-based memorization and clinical clerkships that are often unrelated to students’ future practice. Future medical school graduates will need to participate in new modalities of lifelong education if they are to perform at the top of their license and adapt to a value-based financing system. 

두 가지 기술(새로운 기술, 오래된 기술)이 강조되어야 하며 커리큘럼 내내 수행되어야 한다.

  • 첫 번째는 데이터 플랫폼에 의해 생성된 확률의 의미를 환자에게 고유한 인간 복잡성에 직면하여 전달할 수 있는 의사의 능력을 향상시키는 통계 전문지식의 숙달이다.
  • 두 번째는 진정한 동정심 있는 제공자가 되기 위한 끊임없는 훈련과 평가를 포함하는데, 이는 의학이 점점 더 첨단기술이 되어감에 따라 간과되어서는 안 되는 것이다.

Two additional skills, one new, one old, also must be emphasized and carried throughout the curriculum.

  • The first is the mastering of statistical expertise that enhances the ability of the physician to communicate the meaning of the probabilities generated by data platforms to patients in the face of their uniquely human complexity.
  • The second involves constant training and evaluation toward being a truly compassionate provider, something that must not be overlooked as medicine becomes increasingly high tech. 


 

4 Wartman SA. Medical education needs a reboot!! 2016 Mansbach lecture. Presented at: Eastern Virginia Medical School; October 5, 2016; Norfolk, VA. Accessed October 25, 2017.

 

 

 


Acad Med. 2018 Aug;93(8):1107-1109.

 doi: 10.1097/ACM.0000000000002044.

Medical Education Must Move From the Information Age to the Age of Artificial Intelligence

Steven A Wartman 1C Donald Combs

Affiliations collapse

Affiliation

  • 1S.A. Wartman is president and CEO, Association of Academic Health Centers, Washington, DC. C.D. Combs is vice president and dean, School of Health Professions, Eastern Virginia Medical School, Norfolk, Virginia.
    • PMID: 29095704

 

Abstract

Noteworthy changes coming to the practice of medicine require significant medical education reforms. While proposals for such reforms abound, they are insufficient because they do not adequately address the most fundamental change-the practice of medicine is rapidly transitioning from the information age to the age of artificial intelligence. Increasingly, future medical practice will be characterized by: the delivery of care wherever the patient happens to be; the provision of care by newly constituted health care teams; the use of a growing array of data from multiple sources and artificial intelligence applications; and the skillful management of the interface between medicine and machines. To be effective in this environment, physicians must work at the top of their license, have knowledge spanning the health professions and care continuum, effectively leverage data platforms, focus on analyzing outcomes and improving performance, and communicate the meaning of the probabilities generated by massive amounts of data to patients, given their unique human complexities. The authors believe that a "reboot" of medical education is required that makes better use of the findings of cognitive psychology and pays more attention to the alignment of humans and machines in education and practice. Medical education needs to move beyond the foundational biomedical and clinical sciences. Systematic curricular attention must focus on the organization of professional effort among health professionals, the use of intelligence tools involving large data sets, and machine learning and robots, all the while assuring the mastery of compassionate care.

의학교육 인증기준의 중요성(Med Teach, 2012)

The importance of medical education accreditation standards
MARTA VAN ZANTEN1, JOHN R. BOULET1 & IAN GREAVES2
1Foundation for Advancement of International Medical Education and Research (FAIMER) and Educational Commission for Foreign Medical Graduates (ECFMG), USA, 2Temple University, USA

 

 

 

 

도입

Introduction

전 세계적으로 학부 의학 교육의 구조에는 상당한 차이가 있으며(Karl 2004), 최소 기준을 충족하도록 하기 위해 교육의 질(예: 인증 시스템)을 평가하는 방법에도 차이가 있다. 인증이라는 용어는 다양한 의미를 가지지만, 본 문서의 목적상, [지정된 기관이 명확하게 정의된 표준과 절차를 사용하여 교육 기관을 검토하고 평가하는 과정]으로 정의됩니다.
There is significant variation in the structure of undergraduate medical education around the world (Karle 2004), and also differences in how organizations assess the quality of education (e.g., a system of accreditation) to ensure that minimum standards are met. The term accreditation has various meanings, but for the purpose of this article is defined as the process by which a designated authority reviews and evaluates an educational institution using a set of clearly defined standards and procedures.

최근 의학교육 프로그램의 인증 필요성에 대한 인식(Carl 2008)과 의료 직업의 세계화와 의료 종사자의 이주 증가(Echert 2002; Ray et al. 2006)에 초점을 맞추고 있음에도 불구하고, 국제적인 관점에서 인증의 practices를 기술하는 데이터는 제한적이다. 1996년 세계보건기구(WHO)가 의과대학 부서를 대상으로 실시한 조사에 따르면 의과대학의 거의 3분의 2가 외부 기관에 의해 인증받은 것으로 나타났다(Boelen & Boyer 2001). 전 세계에 위치한 9개 개발도상국의 의료 교육 인증 시스템을 비교한 연구는 엄격한 품질 보증 절차를 제정하려는 경향이 확산되고 있다고 결론짓는다(Cue to Jr., 2006). 전세계 인증 관행에 대한 반 잔텐 외 연구진(2008)은 authorities의 성격과 집행 수준에 상당한 차이variation가 있음을 입증했다. 
Despite the recent focus on the perceived need for accreditation of medical education programs (Karle 2008) and the increasing globalization of the medical profession and migration of health care workers (Eckhert 2002; Ray et al. 2006), there are limited data describing accreditation practices from an international perspective. A report based on a 1996 World Health Organization (WHO) survey of Ministries of Health and deans of medical schools indicates that almost two-thirds of medical schools are accredited by an external body (Boelen & Boyer 2001). A study comparing medical education accreditation systems in nine developing countries located throughout the world concludes that the trend toward instituting rigorous quality assurance procedures is spreading (Cueto Jr. et al. 2006). van Zanten et al.’s (2008) study of accreditation practices worldwide demonstrated that considerable variation exists in the nature of authorities and levels of enforcement. 

한국에서는, 이해관계자를 대상으로 실시한 의과대학 인증에 사용되는 기준에 관한 설문조사에서, 설문 응답자들의 직책과 이전 경험에 따라 표준의 중요도 수준이 다르지만 모든 기준의 내용 타당성이 충분하다고 판단되는 것으로 나타났다(양2002).

A survey of stakeholders regarding standards used to accredit medical schools in South Korea revealed that all standards were deemed to have adequate content validity, although the level of importance of standards varied depending on the position and previous experience of the survey respondents (Yang 2002). 

 

 

방법

Methods

 

설문 설계

Survey design

 

세계 의료 교육 연맹(WFME)은 품질 개선을 위한 국제 기준 3부작을 개발했다. 여기에는 학부 과정으로 이어지는 의과대학의 질을 평가하는 데 도움을 주기 위한 기초의학교육 표준(WFME 2003) 문서가 포함된다. 본 문서는 제한적으로 사용하도록 설계된 것이 아니라, [인증 절차 개발에 관심이 있는 국가 기관의 템플릿으로 기능]하도록 의도되었으며, 국가 및 지역 인증 절차 수립 모델로서 전 세계 국가에서 널리 사용되어 왔다(Karl 2006). 우리는 전 세계의 학부 의료 교육 프로그램을 인증하거나 평가하는 데 사용되는 기준을 설명하는 수많은 출판 문서에서 가져온 추가 기준으로 보완하여 [WFME 기준의 전체 집합으로 구성된 설문 조사]를 개발했다. WFME 표준에서 이미 다루어진 개념을 설명하는 이러한 보충 기관의 표준은 설문조사에서 반복되지 않았다. 따라서, 우리는 전 세계에서 사용되는 관련 기준의 universe를 나타내기 위해 설문조사를 설계했습니다. 
The World Federation for Medical Education (WFME) has developed a Trilogy of Global Standards for Quality Improvement. These resources include a document, Standards in Basic Medical Education, aimed at helping organizations assess the quality of medical schools leading to an undergraduate degree (WFME 2003). This document is not designed to be used restrictively, but instead is intended to function as a template for national agencies interested in developing accreditation procedures, and has been widely used in countries throughout the world as a model for establishing national and regional accreditation procedures (Karle 2006). We developed a survey that consisted of the entire set of WFME standards, supplemented with additional standards taken fromnumerous published documents describing the criteria used to accredit or evaluate undergraduate medical education programs around the world. Standards from these supplemental agencies describing concepts that were already covered in the WFME standards were not repeated in the survey. Therefore, we designed the survey to represent the universe of relevant standards used around the world. 

조사는 다음과 같이 9개의 WFME 주제 영역에 구성된 150개의 표준으로 구성되었다.
The survey consisted of 150 standards organized into the nine WFME topic areas as follows:

응답자들에게는 150개 기준서를 각각 읽어본 뒤, 학부형 의료교육 프로그램의 질적 판단과 보장에 있어 기준이 상대적으로 중요하다는 전문가 의견을 바탕으로 등급을 매기도록 지도했다.
Respondents were instructed to read each of the 150 standards, and then rate the standard based on their expert opinion of the relative importance of the standard in determining and ensuring the quality of undergraduate medical education programs.

전문가들에게 다음과 같은 척도를 제공하여 각 표준을 평가하도록 하였다.
The experts were provided with the following scale to rate each of the standards:

(1) 중요하지 않음(표준은 품질 결정에 유용하지 않음).
(2) 중요하나 필수적이지는 않다(표준은 품질 결정에 다소 유용하지만 요구되지는 않는다).
(3) 필수(표준은 품질 결정에 매우 유용하며 요구됨).
(1) Not important (the standard is not useful for determining quality).
(2) Important but not essential (the standard is somewhat useful for determining quality, but is not required).
(3) Essential (the standard is very useful for determining quality and is required).

우리는 의료교육 인증 분야 전문가 22명에게 연락하여 연구 프로젝트에 대한 설명과 익명으로 설문조사를 완료해 달라는 요청을 제공하였습니다. 이들 개인 중 다수는 지역, 지역 또는 국제 인가 기관의 현재 또는 이전 고위 직원으로, 인가 또는 의과대학 질에 대한 주제에 대해 광범위하게 출판되었다. 

We contacted 22 experts in the field of medical education accreditation and provided them with a description of the research project and a request to anonymously complete the survey. Many of these individuals are current or former senior staff of local, regional, or international accrediting agencies, and have extensively published on the topic of accreditation or medical school quality. 

 

 

분석 Analyses

 

결과

Results

1차 응답기간 1개월 이내 8건의 설문조사가 반송됐고, 2차 달 발송된 독촉메일 2건에서는 총 13건의 완료된 설문조사에 대해 5건의 응답(응답률 59%)이 추가됐다.  
Eight surveys were returned within the first response period ofone month, and two reminder emails sent in the second month produced an additional five responses for a total of 13completed surveys (59% response rate).  

표 1은 각 13명의 응답자에 대해 제공된 등급 수, 모든 표준에서의 평균, 등급의 표준 편차, 평균 평균 평균 편차 및 루트 평균 제곱 오차를 표시합니다.
For each of the 13 respondents, Table 1 displays thenumber of ratings provided, the mean across all standards,the standard deviation of the ratings, the mean deviation fromthe grand mean, and the root mean square error 

 

 

  • 14개의 표준은 모든 평가 참가자로부터 3('필수')의 최고 등급을 받았고,
  • 4개의 표준은 2.00 이하('중요하지만 필수적이지 않음')의 평균 등급을 받았다.
  • 개별 표준에 대한 전문가들 간의 등급 변동성은 0(동일 합의)에서 0.76(중간 불일치)까지 다양했다.
  • 모든 등급으로부터 완전한 동의가 이루어진 표준, 평균 2.00 이하의 등급을 받은 표준, 0.50 이상의 차이를 가진 표준이 표 2에 제시되어 있다.  

Fourteen standards received the highest rating of 3(‘‘Essential’’) from all survey participants, and four standards received mean ratings of equal to or less than 2.00 (‘‘Importantbut not essential’’). Variability in the ratings across the experts for individual standards ranged from 0 (unanimous agreement)to 0.76 (moderate disagreement). The results displaying the standards that had complete agreement from all raters as being‘‘Essential,’’ the standards that received mean ratings of 2.00 orless, and the standards with variances, across respondents,equal to or greater than 0.50 are presented in Table 2.  

 



고찰

Discussion

150개 기준 중 14개 기준이 퀄리티 결정에 필수적이라는 데 만장일치가 있었다. 이러한 필수 표준은 WFME 범주에 걸쳐 다소 고르게 분포되어 있으므로, 전문가들은 다양한 입력과 프로세스를 다루는 표준이 필수적이라고 생각한다. 이 14개의 기준은 졸업생들의 성공적인 생산에 필요한 세계적으로 인정된 주요 특징들을 설명한다. 예를 들어 

  • '의과대학은 교육과정을 통해 분석적·비판적 사고를 포함한 과학적 방법과 증거 기반 의학의 원리를 가르치고 있다'는 기준에는 의학교육이 고차원의 사고를 포함시켜야 하며 많은 양의 정보를 단순 암기하는 것 이상의 것이어야 한다고 명시돼 있다.  
  • '의과대학은 학생들이 환자와 접촉하고 졸업과 동시에 적절한 임상 책임을 지기 위한 충분한 임상 지식과 기술을 습득하도록 보장한다'는 표준은 커리큘럼의 일환으로 응용적 임상 교육의 본질에 대해 설명한다. 
  • 다른 필수 표준은 평가 활동의 적절성을 보장한다. 필수기준은 도서관, 학교 리더십, 학교의 재정 안정성 등의 문제와도 관련이 있으며, 교과과정 전달과 직접 관련이 없는 학습의 중요한 측면을 보여준다. 

 

Of the 150 standards, there was unanimous agreementamong the respondents that 14 of the standards are essentialfor determining quality. These essential standards are some-what evenly distributed across the WFME categories, indicatingthat experts believe standards covering a range of inputs and processes are mandatory. These 14 standards describe globally accepted key features necessary for the successful production of graduates.

  • For example, the standard, ‘‘The medical school teaches the principles of scientific method and evidence-based medicine, including analytical and critical thinking, throughout the curriculum,’’ states that medical education must include higher order thinking and be more than simple memorizationof a large quantity of information.
  • The standard, ‘‘The medical school ensures that students have patient contact and acquire sufficient clinical knowledge and skills to assume appropriate clinical responsibility upon graduation’’ speaks to the essential nature of students’ applied clinical education as part of the curriculum.
  • Other essential standards ensure the appropriateness of evaluation activities. Essential standards also related to issues such as the library, school leadership, and the school’s financial stability and demonstrate crucial aspects of learning not directly related to curriculum delivery. 


이 14개의 필수 표준에 대한 전문가들의 만장일치 합의는 이러한 것들이 모든 인가 시스템이 통합해야 하는 핵심 개념임을 시사한다. 또한 이 데이터는 인증 기관이 사용하는 이러한 표준이 세계적으로 인정된 최소 기준을 준수하는지 검증하며, 기관은 이러한 [필수적 기준에 포함된 개념]이 시스템의 일부로 구현되도록 보장해야 한다. 그러나 이것이 다른 표준이 중요하지 않다는 것을 의미하는 것은 아니다. 대신 의대 심사 과정에서 인정해야 할 인증기준의 위계구조가 있음을 시사한다.
The experts’ unanimous agreement on these 14 essential standards suggests that these are core concepts that all accrediting systems should incorporate. The data also validate that these standards that are used by accreditation agencies conform to globally accepted minimum criteria, and agencies should ensure that the concepts covered in these essential standards are implemented as part of their systems. This does not, however, mean that other standards are not important. Instead, it suggests that there is a hierarchical structure of accreditation standards that needs to be acknowledged in the process of medical school review.


평균 점수가 2점 이하인 교육 리소스 범주에는 모두 4개의 표준이 있었습니다. 표준 중 두 가지는 매우 구체적인 리소스 요구 사항을 나타냅니다. 특정 문화권에서는 의대에 필요한 인풋을 상세하게 지정하는 것이 전통이지만, 이 정도의 특수화는 세계적으로 표준이 아니다. 특히 "의과 과정은 학교 내에서 활발한 연구 프로그램의 맥락에서 설정된다." 라는 기준이 상대적으로 낮은 합계점수를 받은 것이 눈에 띈다. 지난 세기에 걸쳐 세계 대부분의 고소득 국가의 의과대학들이 연구 프로그램에 많은 자원을 투입하는 것이 점점 더 중요해지고 있지만, 이 연구의 결과에 따르면, 세계적으로 본다면 이 개념은 우선순위로 간주되지 않는다. 흥미롭게도, 미국에서 대학원 교육과 면허를 추구하는 많은 수의 의대생들을 교육하는 최근에 설립된 많은 기관들(즉, 미국 오스테오패스 학교, 카리브해에 위치한 일부 MD 허가 기관 등)은 작은 연구 프로그램만 가지고 있다. 그러므로, 1900년대 초에 Flexner (1910)가 추구했던 전통에도 불구하고, [교수진, 직원, 학생들을 위한 연구 기회를 통합한 의과대학]은, 적어도 세계적인 관점에서 볼 때, 의과대학과 관련된 연구 프로그램에 대한 이러한 강조는 오늘날 자격을 갖춘 졸업생들의 생산을 보장하는 데 더 이상 관련성이 없는 것으로 간주될 수 있다.

There were four standards, all in the Educational Resources category, where the average rating was 2 or less. Two of the standards refer to very specific resource requirements. While it is the tradition in certain cultures to specify in detail the inputs required for a medical school, this level of particularization is not the norm worldwide. Of particular interest is the relatively low aggregate rating of the standard, ‘‘The medical course is set in the context of an active research program within the school.’’ While it has become increasingly important over the past century for medical schools in most high income countries in the world to devote large resources to research programs, based on the results of this study, this concept is not considered a priority worldwide. Interestingly, many of the more recently founded institutions that educate a large number of medical students who pursue postgraduate training and licensure in the United States, (i.e., US Osteopathic schools, some MD granting institutions located in the Caribbean, etc.) have only small research programs, if at all. Therefore, despite the tradition promoted by Flexner (1910) in the early 1900s of medical schools incorporating research opportunities for faculty, staff, and students, it appears that, at least from a global perspective, this emphasis on research programs associated with medical schools may no longer be considered relevant today in ensuring the production of qualified graduates. 

9개 기준은 0.50보다 큰 평가자 variability를 가진 것으로 나타나, 품질 보장에 있어 기준의 중요도 수준에 대해 전문가들이 차이가 크다는 것을 보여주었다. 이러한 표준은 지리적 및 문화적 영역에 따라 크게 달라지는 의료 교육의 측면을 나타낼 수 있다.

  • 예를 들어, 기본 과학과 임상 과학을 별도로 가르치는 것이 세계의 많은 지역에서 전통이지만, 다른 지역에서는 이러한 지식과 기술의 측면이 완전히 통합되어야 한다는 것이 관습이다.
  • 토착 인구의 건강이나 사회의 다른 부문의 고려사항과 관련된 기준은 보편적인 관련성은 낮을 수 있다.
  • 마지막으로, 전문가들은 양질의 교육을 보장하는 데 학생의 권리와 관련된 표준을 포함하는 것의 중요성에 동의하지 않는다.

Nine standards had rater variability that was greater than 0.50, indicating that the experts disagreed substantially on these standards’ levels of importance in ensuring quality. These standards likely represent aspects of medical education that significantly vary across geographic and cultural realms.

  • For example, while it is the tradition in many parts of the world to separately teach basic sciences and clinical sciences, in other regions the convention is that these aspects of knowledge and skills should be fully integrated.
  • Standards related to the health of indigenous populations or considerations of other sectors of society may not be universally relevant.
  • Finally, experts do not agree on the importance of including standards that pertain to the rights of students in ensuring a quality education.

9개의 WFME 범주 내의 모든 표준에 대해 집계된 평균 등급은 전체적으로 전문가들이 기준의 여러 범주를 비교적 동등하게 평가했음을 보여준다. 평균평가(2.77점)가 가장 높았고, 교육자원(2.52점)과 학생(2.53점)이 가장 낮았다. 수준 높은 교사를 보장하는 표준에 대한 강조는 기대되었고, 분명히 그것은 자질을 결정하는 중요한 요소이다. (Darling Hammond 1999) 대조적으로, 학교의 물리적 자원과 학생들의 권리와 관련된 기준들이 다소 낮은 평가를 받은 것은 문화와 전통의 변화로 설명될 수 있는 흥미로운 결과이다. 예를 들어, 학생들의 학업성적 열람 및 이의신청권한을 보호하는 기준의 포함은 한 나라의 정부의 개방성과 투명성을 반영할 수 있다. 
The mean ratings, over respondents, aggregated for all the standards within each of the nine WFME categories demonstrate that, overall, the experts rated categories of standards relatively equally. Standards related to Academic Staff/Faculty received the highest mean rating (2.77), whereas the categories of standards related to Educational Resources (2.52) and Students (2.53) received the lowest. The emphasis on standards that ensure high-quality teachers was expected and clearly it is an important determinant of quality (DarlingHammond 1999). In contrast, the somewhat lower rating of standards related to a school’s physical resources and the rights of students is an interesting outcome that may be explained by variations in culture and tradition. For example, the inclusion of standards that protect the rights of students to view and challenge their academic records may reflect the level of openness and transparence of a country’s government. 

 

 

 

 

 

 

 


Med Teach. 2012;34(2):136-45.

 doi: 10.3109/0142159X.2012.643261.

The importance of medical education accreditation standards

Marta van Zanten 1John R BouletIan Greaves

Affiliations collapse

Affiliation

  • 1Foundation for Advancement of International Medical Education and Research (FAIMER), Philadelphia, PA 19104, USA. mvanzanten@faimer.org

PMID: 22288991

 

Abstract

Introduction: The purpose of this study was to evaluate the relative and absolute importance of individual standards used by accreditation agencies throughout the world.

Method: We developed a 150-item survey that consisted of all World Federation for Medical Education standards, supplemented with additional standards used around the world. International accreditation experts rated the standards based on the importance of each standard for ensuring the quality of undergraduate medical education. A 3-point scale was employed: 1 = not important, 2 = important but not essential, 3 = essential.

Results: Thirteen of 22 chosen experts anonymously completed the survey (59%). The mean values, over raters, across individual standards ranged from 2.32 to 2.87, indicating that most of the 150 standards are at least important, and often essential, for ensuring program quality. Fourteen standards received the highest rating of 3 ("Essential") from all experts, and four standards received mean ratings ≤2.00. Variability in the ratings across the experts for individual standards ranged from 0.00 (unanimous agreement) to 0.76 (moderate disagreement).

Conclusions: While there is some global variation in experts' opinions of accreditation standards, certain standards are considered essential. Our summary data are useful for determining best practices for medical education accreditation systems.

 

사회적 책무성과 인증: 교육기관을 위한 새로운 프론티어(Med Educ, 2009)

Social accountability and accreditation: a new frontier for educational institutions
Charles Boelen1 & Bob Woollard2

 

 

 

도입

INTRODUCTION

보건의료전문인력 생산의 수월성excellence을 염원하는 교육기관은 졸업생이 시민과 사회의 건강증진에 바람직한 역량을 모두 보유할 때뿐만 아니라 이를 전문적 실무에 활용할 수 있을 때 그 지위를 부여받아야 한다. 비록 의과대학이 현재 졸업생들이 사용되는 방식이나 봉사하는 방식에 대하여 책임을 지지는 않지만held to account, 미래에는 그러한 책임이 요구될 수 있다. 교육 기관들은 점점 더 professional practitioner의 성과와 그들의 존재가 사회 복지에 미치는 영향에 대해 더 명확히 해달라는 요구를 받고 있다.
An educational institution that aspires to excellence in the production of health care professionals should be granted that status not only when its graduates possess all of the competencies desirable to improve the health of citizens and society, but when they are able to use them in their professional practice. Although medical schools are not presently held to account for the ways in which their graduates are used, and serve, their societies, such an accounting may be required in the future. Educational institutions are increasingly requested to be more explicit about their outputs of professional practitioners and the impact of their presence on social well-being. 


지난 반세기 동안, 의료 전문가의 교육의 질은 일련의 교육 발전을 통해 점진적으로 향상되었습니다.1 
Over the last half-century, the quality of education of health care professionals has progressively improved through a series of educational advances.1 

이러한 교육적 혁신은 모두 매우 유용했지만, 이러한 혁신은 [의료 분야의 인적 자원 개발에 영향을 미치는] 국제적 위기를 시정하는 데 실질적으로 기여하지 못했다.2 이러한 위기는 다음을 포함하는 기여 요소의 끔찍한 재고로 예시된다.

  • 의료진의 정량적 부족
  • 우선적인 의료 요구에 관한 특정 전공 분야의 불충분한 비율
  • 일차 의료진의 만성적인 부족
  • 보다 사회적이고 경제적으로 매력적인 직업적 환경으로 보건 전문가의 이동.
  • 농촌의 과소 서비스
  • 질병 예방 및 건강 증진을 위한 효과적인 조치의 일반적인 결여
  • 자신의 건강 보호에 대한 책임을 지기 위해 시민들이 거의 동원되지 않음
  • 보건의 사회적 결정요소에 보다 효과적인 영향을 주기 위해 사회부문과 협력할 수 있는 열악한 인센티브
  • 직업적 이상을 희생하는 서비스 상품화에 대한 표류
  • 행정 및 공공에 의한 보건 전문가에 대한 신뢰 감소
  • 의료 전문가의 동기부여 저하  

Although these are all very useful, these innovations have not materially contributed to correcting the global crisis affecting human resources development in the health care sector.2 This crisis is exemplified by an appalling inventory of contributory factors, which include:

  • a quantitative lack of health care staff;
  • inadequate proportions of specialties with respect to priority health care needs;
  • a chronic dearth of primary health care staff;
  • the migration of health professionals to more socially and financially attractive working environments;
  • the underserving of rural areas;
  • a general deficit of effective action towards disease prevention and health promotion;
  • little mobilisation of citizens to assume responsibility for protecting their own health;
  • poor incentives to work in partnership with the social sector for a more effective impact on the social determinants of health;
  • a drifting towards the merchandising of services at the expense of professional ideals;
  • lessening trust in health professionals by administration and the public, and
  • the de-motivation of health care professionals. 


그들은 그러한 위기에 어떻게 대처할 수 있을까? 교육기관이 교육, 연구, 서비스 임무를 통해 위기를 어느 정도 완화시킬 수 있는가? 교육프로그램의 설계·시행·추진이 [시민과 사회 전체의 요구에 부합]하고 [국민건강발전 과정과 밀접하게 관련]되도록 하는 방향으로 정립하는 것이 절실하다
How can they cope with such a crisis? To what extent cananeducational institutionhelp mitigate the crisis through its education, research and service missions? It is imperative that the design, implementation and follow-up of educational programmes be established in a manner that ensures they are relevant to the needs of citizens and society as a whole and are closely related to the process of national health development. 

사회적 책임의 다른 파트너들(정책 입안자, 보건 서비스 관리자, 보건 전문가 및 대중)이 기대, 적응 및 품질 보증에 동등하게 헌신할 것이라는 기대가 있다. 
There is an expectation that the other partners in social accountability (policy makers, health service managers, health professionals and the public) are equally committed to anticipation, adaptation and quality assurance. 

사회적 책임의 의미
WHAT SOCIAL ACCOUNTABILITY IMPLIES


세계보건기구(WHO)는 의대의 사회적 책임을 '지역, 지역 또는 국가의 우선적 건강 문제를 해결하기 위한 방향으로 그들의 교육, 연구 및 서비스 활동을 지향direct해야 하는 의무'로 정의한다. [우선적 건강 문제]는 정부, 의료 기관, 보건 전문가 및 일반 대중이 공동으로 파악해야 한다.'3
The World Health Organization (WHO) defines the social accountability of medical schools as representing: ‘the obligation to direct their education, research and service activities towards addressing the priority health concerns of the community, region, or nation they have a mandate to serve. The priority health concerns are to be identified jointly by governments, healthcare organisations, healthprofessionals andthe public.’3

이로부터, 사회적 책무성의 두 가지 특징인 [이타주의와 통합]이 등장합니다.

  • 이타주의는 주로 사회의 웰빙에 초점을 맞추고 있으며
  • 통합은 사회 캔버스의 필수적인 부분이다.

From this, two features of social accountability emerge: altruism and integration.

  • Altruism focuses primarily on society’s well-being and
  • integration is an integral part of the social canvas.

그룹의 원칙은 frame of reference로서 기능할 수 있다:

  • 사람들의 보호와 관련된 휴머니즘적 원칙
  • 의료 시스템과의 관계와 관련된 시스템적 원칙.

 

Two groups of principles may serve as frames of reference:

  • humanistic principles, which are relative to people’s protection, and
  • systemic principles, which are relative to the relationship of the institution with the health care system. 

 

인본주의 원칙

Humanistic principles

세계보건기구가 밝힌 [네 가지 원칙]은 개인과 집단적 관점 모두에서 사람들이 권리를 갖는 건강 관리의 유형을 가리킨다. 질, 형평성, 목적적합성, 효과성.

  • [질quality 원칙]은 시민들에게 신체적, 정신적, 사회적 행복 상태를 보호하고, 회복하고, 증진시킬 수 있는 최선의 조치를 제공하는 것을 추구한다.
  • [형평성의 원칙]은 모든 시민이 의료 서비스에 완전히 접근할 수 있고 어떤 형태의 차별에도 직면하지 않도록 하기 위해 노력한다.
  • [관련성의 원칙]은 우선적인 의료 요구에 대한 대응과 사회에서 가장 취약한 개인 또는 집단에 대한 특별 주의의 제공을 추구한다.
  • [효과성의 원칙]은 가장 효과적이고 효율적인 방법으로 공공의 이익에 봉사하는 방식으로 인적 및 물질적 의료 자원을 활용하는 것을 말한다. 

 

Four principles, enunciated by WHO, refer to the type of health care to which people have a right, from both an individual and a collective standpoint: quality, equity, relevance and effectiveness.

  • The principle of quality seeks to provide the citizen with the best possible measures to protect, restore and promote a state of physical, mental and social wellbeing.
  • The principle of equity tries to ensure that every citizen has full access to health care services and does not face any form of discrimination.
  • The principle of relevance seeks a response to priority health care needs and the provision of special attention to the most vulnerable individuals or groups in society.
  • The principle of effectiveness refers to the utilisation of health care resources, both human and material, in a manner that serves the public interest in the most effective and efficient way. 

 

체계적 원칙
Systemic principles


이러한 원칙은 [의료 시스템의 복잡성]에 대한 이해와 그 안에서 가장 유용한 장소를 찾을 수 있는 능력과 관련이 있다. 제도권 내 다른 이해관계자, 즉 정책결정자, 보건시스템 관리자, 의료전문가, 시민사회 등과 제휴해 활동하면 실효성이 개선될 가능성이 높다. 위에서 설명한 인문학적 원칙을 구현하기 위해, 이들 이해관계자는 각각 조정된 역할을 수행한다.

These principles relate to the understanding of the complexity of a health care system and to the capacity to find a most useful place in it. The institution is likely to improve its effectiveness if it works in partnership with other stakeholders in the system, namely, policy makers, health system managers, health care professionals and civil society. In order to implement the humanistic principles outlined above, each of these stakeholders has a coordinated role to play.

 

예를 들어,

  • [정책 입안자]는 일관되고 통합된 의료 시스템의 장기적인 비전을 수립해야 한다.
  • [보건 시스템 관리자]는 이 비전과 일치하는 자원의 할당을 보장해야 한다.
  • [의료 전문가]는 적절한 범위의 서비스를 제공할 수 있는 역량을 획득해야 하며,
  • [시민]은 자신의 건강과 지역사회의 건강을 보호하는 데 더 큰 책임을 진다. 

For instance, the policy maker should frame a long-term vision of a health care system which is coherent and integrated;

  • the health system manager should ensure an allocation of resources that is consistent with this vision;
  • the health care professional should acquire competences to deliver the appropriate range of services, and
  • the citizen should assume greater responsibility in protecting his or her own health and that of the community.

모든 파트너는 자신의 역할을 조정하고 시너지를 발휘하여 의료 시스템과 인적 자원을 강화해야 합니다.4 

All partners should adapt their roles and act in synergy to strengthen the system and its human resources for health.4 

완전히 사회적으로 책임을 지기 위해서는, 기관은 자신의 '제품products'(졸업생, 서비스 모델 또는 연구 결과)이 대중의 최선의 이익을 위해 사용되고 있는지에 대해 의문을 제기할 권리를 주장할 필요가 있다.

To be fully socially accountable, an institution needs to claim the right to question whether its ‘products’ (graduates, service models or research findings) are being used in the best interest of the public.

 

 

효과의 수월성

EXCELLENCE IN IMPACT

이러한 기관은 그 존재와 일의 최종 영향을 의심함으로써 더 높은 수준의 사회적 책임을 지게 된다. 
By questioning its raison d’eˆtre and the final impact of its work, such an institution undertakes a higher order of social accountability. 

전문직의 '생산자producer'로서, 교육기관은 기관의 산출물output을 활용할 사회 기관들과 일련의 관계를 맺어야 한다. 동시에, 니즈는 끊임없이 진화하기에, 커리큘럼과 목표는 지속적으로 조정되어야 한다는 것을 깨달아야 한다. 이에 필요한 일련의 관계, 정보 수집, 피드백 루프 및 변경의 영향자는 기관이 계획과 조치의 복잡성 원칙을 인식할 것을 요구한다.5-7 따라서 [원인과 결과의 선형 관계]가 아니라, [원하는 output을 정의하고, 실제 output을 측정하는, 명시적이고 적응 가능한 프로세스]를 만드는 것으로 대체되어야 하며, 졸업생이 진입하는 시스템의 요구에 적응해야 한다.

 
As a ‘producer’ of professionals, it must enter into a series of relationships with the social institutions that will utilise its output. At the same time, it must realise that needs are in constant evolution and thus its curriculum and goals must be in a state of constant adjustment. The series of relationships, information gathering, feedback loops and effectors of change needed for this require that the institution recognise principles of complexity in its plans and actions.5–7 Thus linear relationships of cause and effect need to be replaced by the creation of explicit, adaptable processes that define desired outputs and measure actual outputs while adjusting to the needs of the system their graduates are entering. 

원하는 효과impact를 얻으려면 원하는 졸업생 유형에 대한 초기 정의가 필요합니다. 그러나 이러한 졸업생이 성취되더라도, 그들의 역량이 공식적으로 인정되지 않고 의료 시스템에 의해 공정하게 보상되지 않는다면, 그들이 원하는 영향은 달성되지 않을 것이다. 이 경우, 졸업생들은 고용되지 못하거나, 혹은 인센티브를 받는 영역으로 돌아갈 것이다.   
Achieving the desired impact requires an initial definition of the type of graduates desired. However, even if such graduates are achieved, if their competencies are not formally recognised and fairly rewarded by the healthcare system, their desired impact will not be achieved. The graduates will either be underemployed or will revert to the kinds of practices that are incentivised.   

따라서 교육기관은 [보건 정책을 설계하는 사람], [의료 서비스를 조직하는 사람], 그리고 [획득된 역량이 요구되는 일자리 기회를 창출하고 서비스를 지원하는 사람] 사이의 솔직한 대화를 시작해야 한다. 
The educational institution must therefore initiate a frank conversation between those who design health policies, those who organise health care services and those who create job opportunities and support services requiring the acquired competencies. 

공익이 사익에 우세할 때, 협력은 비로소 생산적이다. 한 파트너의 구성원이 자신의 이익에 초점을 맞추고, 더 넓은 사회적 관점을 무시한다면 위협은 현실이 된다.
Partnership is productive within an institution if common interest prevails over private interests. The threat is real if the members of one partner focus on their own interests and ignore the wider social perspective.

의대교육의 창의성이 대부분 교육과정의 [사회적 목적과 도덕적 의무]보다는 [교과내용과 학습방법]에 집중되는 것이 놀라워서는 안 된다. 간단히 말해, 현재는 프로세스에 많은 focus을 두지만, impact에 focus는 충분히 주지 않고 있다. 

It should not come as a surprise that most of the creativeness in medical education concentrates on curriculum content and learning methods rather than on the social purpose and moral obligations of the curriculum. In brief, a lot of emphasis is placed on processes and not enough on impact. 

 

이 실망은 어제오늘의 일이 아니다! 지난 세기 초, 아브라함 플렉스너는 카네기 재단에 의해 북미 의과대학의 질에 대한 검토를 맡도록 위임받았다. 미국 의료 시스템의 형평성 부족을 의식한 그는 [아프리카계 학생들이 그들이 속한 커뮤니티의 건강상태 향상에 기여하기 위해서는] 우수한 의료교육의 혜택을 받아야 한다고 권고했다. 플렉스너는 감히 좋은 의료 교육과 인구 건강 사이의 상관관계를 만들었다. 의학교육 개선을 통해 시민들의 건강에 긍정적인 영향을 미친 것이 그 운동의 주요 동기였다. 불행히도 그의 후계자들에 의해 행해진 의과대학의 개혁이 교과과정의 [과학성scientific nature]을 강화하는 것으로 이루어졌기 때문에 이러한 기대는 부족했다. 12 

This disappointment is not new! At the beginning of last century, Abraham Flexner was mandated by the Carnegie Foundation to undertake a review of the quality of North American medical schools. Aware of lack of equity in the US health care system, he recommended that Afro-American students should benefit from excellent medical education in order to contribute to raising the health status of their communities. Flexner dared to make a correlation between good medical education and population health. Achieving a positive impact on the health of citizens through improved medical education was indeed the prime motive for the exercise. Unfortunately this expectation fell short as the reform of medical schools conducted by his successors consisted of strengthening the scientific nature of the curriculum but little else.12

 

역사는 그 결과를 입증했다.

  • 기초과학의 교육 블록은 학생들이 환자와 사회 환경과의 접촉이 허용되기 전에 필수 통로가 되었다.
  • 사회과학과 인문학의 도입은 제한적이고 늦다. 
  • 부문과 부서는 어떻게 해서든 자신의 자율성을 지킨다.
  • 수직적 교육은 [복잡한 건강 문제를 해결하는 데 가장 적합한 통합적 교육]을 희생함으로써 강화된다.
  • 공중 보건 과학은 소외되어 왔다.

History has demonstrated the result:

  • blocks of education in the basic sciences became a compulsory passage before students were allowed any contact with patients and the social environment;
  • the introduction of the social sciences and humanities is limited and late;
  • disciplines and departments guard their autonomy jealously;
  • vertical teaching is enhanced at the expense of the integrated teaching best suited to address complex health issues, and
  • the public health sciences have been marginalised.

 

이것은 선의의 의도하지 않은 결과였다. 졸업생의 영향에 대한 평가 부족과 사회의 진화하는 요구는 교육기관을 삶의 환경living environment으로부터 격리시키게 되었다. 이 모델은 100년 넘게 전 세계적으로 널리 보급되어 왔으며, 의과대학 인증의 parameter로 지속적으로 장려하고 있습니다. 이는 academe이 자신의 존재의 이유를 사회적 웰빙에 미치는 영향의 근원으로서 설정할 역사적인 기회를 놓친 것이다.13 

These were unintended consequences of good intentions. The lack of assessment of the impact of graduates and the evolving needs of society have tended to isolate the institution from the living environment. This model has remained distressingly~prevalent worldwide for over a century and continues to inspire parameters for the accreditation of medical schools. This represents an historical missed opportunity for the academe to set as its raison d’eˆtre its impact on social well-being.13 


사회적 책임의 표현
EXPRESSIONS OF SOCIAL ACCOUNTABILITY


(그림 1).
(Fig. 1).



[개념화 영역]에는 전문적으로 필요한 종류의 협업 설계와 자신의 기술을 활용하는 시스템이 포함된다.

[생산 영역]은 훈련과 학습의 주요 요소를 포함한다.

  • The domain of conceptualisation involves the collaborative design of the kind of professional needed and the system that will utilise his or her skills.
  • The domain of production involves the main components of training and learning. 

[사용적합성 영역]에는 훈련된 전문가가 최고 최선의 사용을 보장하기 위해 기관이 취하는 이니셔티브가 포함된다. 
The domain of usability involves initiatives taken by the institution to ensure that its trained professionals are put to their highest and best use. 

'사용적합성'이라는 용어가 '이용성utilization' 또는 '유용성usefulness'이라는 용어보다 선호된다. 졸업생들은 실제로 그들이 훈련받은 역량의 스펙트럼을 부분적으로만 적용하더라도, 그들이 어떤 의료 구조에서 고용되는 즉시 이용되고 유용할 수 있다. 대조적으로, [사용적합성] 개념은 [획득한 역량과 이를 실행할 기회 사이의 일치도]를 의미한다. 따라서 사용적합성 영역은 훈련의 기반이 되는 보건 전문가의 프로필이 미래 작업 환경에서 적절하게 평가되도록 기관이 시작한 프로세스를 반영해야 한다.
The term ‘usability’ is preferred to the terms ‘utilisation’ or ‘usefulness’. Graduates may indeed be utilised and useful as soon as they are employed in any health care structure, even if they only partially apply the spectrum of competencies in which they have been trained. By contrast, the notion of usability refers to the degree of concordance between their acquired competencies and their opportunities to practise them. Therefore, the domain of usability should reflect processes initiated by the institution to ensure that the profile of a health professional on which the training was based is properly valued in the future working environment.

CPU 활동의 피드백 루프가 구축되려면 [지속 가능한 일련의 파트너십]이 필요하다. 모든 주요 행위자들이 공통 가치 집합과 그러한 공통 가치를 표현하는 효과적인, 복잡하지만 효과적인 시스템을 공유하지 않는다면 사회적 책임성은 완전히 충족될 수 없다. 
A sustainable series of partnerships is necessary if feedback loops of CPU activities are to be built. Social accountability cannot be entirely fulfilled if all of the main actors do not share a common set of values and an effective, although complex, system through which to express those common values. 

표 1은 더 큰 사회적 관련성을 향한 교육 기관의 방향을 잡기 위해 특정한 규범, 지표 및 기준을 도출할 수 있는 일반적인 프레임워크를 제시한다.

Table 1 presents a general framework from which specific norms, indicators and criteria can be drawn to orient an educational institution towards greater social relevance.

 

 

 

현행 평가 및 인증 시스템 관련
RELATING TO CURRENT EVALUATION AND ACCREDITATION SYSTEMS

 

의료교육연락위원회(LCME)가 북미의 의대를 평가하고 인가하기 위한 표준을 도입한 이후, 이들로부터 영감을 받은 다양한 국가 이니셔티브를 통해 그리고 최근 세계 의료교육연맹(WFME)이 국제표준을 발행할 때까지, 생산 영역에 주안점을 두었으며 개념화 및 사용적합성 영역에는 사소한 관심만이 표시되었다(표 2).

Since the introduction of norms for evaluating and accrediting medical schools in North America by the Liaison Committee on Medical Education (LCME), through the different national initiatives inspired by these and until the more recent publication of international standards by the World Federation of Medical Education (WFME), the main emphasis has been put on the domain of production, and only minor interest shown in the domains of conceptualisation and usability14–16 (Table 2). 

 



1995년 WHO는 사회적 반응적 보건 정책을 옹호하는 역할advocacy role에서 의료 교육의 품질 보증에서 사회적 책임 원칙을 고려할 것을 권고했다. 세계보건기구는 규범에 관한 구체적인 제안을 하지 않았고 또한 국가들로 하여금 개정된 인가 시스템을 이용하도록 명시적으로 장려하지도 않았다. 17, 18 
In 1995, the WHO, in its advocacy role for socially responsive health policies, recommended that principles of social accountability be taken into account in the quality assurance of medical education. The WHO did not make concrete proposals regarding norms and nor did it explicitly encourage countries to avail themselves of revised accreditation systems.17,18 


인증 시스템을 구축하기 위한 많은 국가적, 지역적 노력이 진행 중이다. 기관과 국가가 사회에 대한 의무를 최적으로 반영하지 않는 인가 접근방식을 채택하는데 너무 확고하게 관여하기 전에 사회적 책임에 기초한 표준을 수용하는 이니셔티브를 시작할 필요가 절실히 있다.
Many national and regional efforts are underway to establish accreditation systems. There is a pressing need to launch an initiative that embraces standards based on social accountability before institutions and countries become too firmly engaged in adopting accreditation approaches that do not optimally reflect obligations to society.

트렌드와 기회

TRENDS AND OPPORTUNITIES

세계화가 사회적 영향에 대해 재평가됨에 따라, 사회는 이러한 투자가 공공재에 미치는 영향에 대한 보다 확실한 증거로 투자를 정당화하려고 할 것이다.
As globalisation is reassessed for its social impact, societies will seek to justify their investments with more solid evidence of the impact of these investments on the public good.

 

윤리적 문제: 원인과 결과
Ethical issues: causes and consequences


사람들의 건강에 영향을 미치는 인간의 노력에서 위험을 최소화하는 것(첫 번째, 해치지 않는 것)은 히포크라테스의 유산보다 더 오래되었다. 사회는 이러한 [주의cautionary 원칙]을 의사와 의사양성 기관에 요구하고 있다. 게다가, 사회는 행동에 대한 결정과 그 행동들의 장기적인 영향 사이에 관계를 확립할 것을 요구한다. 교육 전략과 인구 건강 사이의 직접적인 상관관계는 쉽게 입증할 수 없지만, 대리지표proxies는 존재한다. 우리는 사회적 책임 기관을 그렇지 않은 기관과 구별할 수 있다.1,3 사회적 책무성을 갖는 기관의 교육 프로그램이 사회의 우선적인 의료 요구에 반응하는 보건 전문가의 교육을 초래한다는 증거도 제공해야 한다. 

The aim to minimise risks (first, do not harm) in human endeavours that affect people’s health is older than the legacy of Hippocrates. Society demands this cautionary principle of its practitioners and, increasingly, of the institutions that produce them. Further, society demands that a relationship be established between decisions for actions and the long-term effects of those actions. Although a direct correlation between educational strategies and population health is not easily demonstrable, proxies exist. We can differentiate a socially accountable institution from one that is not.1,3 We should also provide evidence that the educational programmes of socially accountable institutions result in the education of health professionals who are responsive to society’s priority health care needs. 

민주주의 문제: 개방성과 투명성
Democratic issues: openness and transparency


전문가들을 위해 남겨두던 지역들이 점점 더 대중들에게 접근하기 쉬워지고 있다. 정보에 대한 폭넓은 접근과 시민들의 보다 중요한 관심은 모든 기관의 관리에 대한 의문으로 이어진다. 사회적으로 책임이 있는 기관에 대한 명백한 인정은 학생들과 더 넓은 대중 모두를 안심시킬 것이다.
Areas that used to be reserved for experts are increasingly accessible to the public. Wide access to information and the more critical attention of citizens lead to questioning of the management of any institution. The explicit recognition of a socially accountable institution will reassure both its students and the wider public.

경제 문제: 결과 및 지원
Economic issues: results and support


투명성이 높아지면 기관 간 비교가 가능해진다. 사회적 책임 원칙에 기초한 인가 규범은 공공 당국, 기금 기관 및 시민 사회가 더 높은 사회적 영향을 위한 능력을 가진 기관들을 더 잘 알 수 있도록 지원할 수 있게 할 것이다.
Greater transparency will induce comparisons among institutions. Accreditation norms based on principles of social accountability will enable public authorities, funding agencies and civil society to more knowledgably support those institutions with the capacity for a higher social impact.

정치적 문제: 시스템 접근 및 시너지 향상
Political issues: system approach and enhanced synergies

 

기관에 대한 좋은 통치는 [사회정치적 환경의 복잡성을 고려]하고, [(유사하거나 보완적인 임무를 가진) 다른 기관과 지속 가능한 파트너십을 구축할 수 있는 기회를 이용할 수 있는 능력]에 의해 점점 더 정의될 것이다. 우리는 정치당국이 우수성을 귀속시키고, [의료시스템의 응집성과 성과를 촉진시키는 시너지 효과를 내는 데 적성aptitude을 보이는 기관]에 우선적으로 자원을 지원할 것으로 예상할 수 있다.

Good governance of institutions will be defined increasingly by these institutions’ capacity to take into account the complexity of the socio-political environment and to take advantage of opportunities to build sustainable partnerships with other institutions with similar or complementary missions. We may anticipate that political authorities will attribute excellence and provide resources preferentially to institutions that show an aptitude to create synergies that induce greater coherence and performance of the health care system. 

 

결론

CONCLUSIONS

 

적절하게 설계되고 의무화된 인증 시스템은 복잡한 시스템의 품질과 변화에 강력한 힘이 될 수 있습니다. 이것은 특히 의료 교육 기관들에 해당된다.

Accreditation systems, properly designed and mandated, can be powerful forces for quality and change in any complex system. This is particularly true of the institutions of medical education. 

 

 

 

 

 

 

 


Med Educ. 2009 Sep;43(9):887-94.

 doi: 10.1111/j.1365-2923.2009.03413.x.

Social accountability and accreditation: a new frontier for educational institutions

Charles BoelenBob Woollard

    • PMID: 19709014

 

Abstract

Context: An association with excellence should be reserved for educational institutions which verify that their actions make a difference to people's well-being. The graduates they produce should not only possess all of the competencies desirable to improve the health of citizens and society, but should also use them in their professional practice. Four principles enunciated by the World Health Organization refer to the type of health care to which people have a right, from both an individual and a collective standpoint: quality, equity, relevance and effectiveness. Therefore, social, economic, cultural and environmental determinants of health must guide the strategic development of an educational institution.

Discussion: Social responsibility implies accountability to society for actions intended to serve it. In the health field, social accountability involves a commitment to respond as best as possible to the priority health needs of citizens and society. An educational institution should verify its impact on society by following basic principles of quality, equity, relevance and effectiveness, and by active participation in health system development. Its social accountability should be measured in three interdependent domains concerning health personnel: conceptualisation, production and utilisability. An educational institution that fully assumes the position of a responsible partner in the health care system and is dedicated to the public interest deserves a label of excellence.

Conclusions: As globalisation is reassessed for its social impact, societies will seek to justify their investments with more solid evidence of their impact on the public good. Medical schools should be prepared to be judged accordingly. There is an urgent need to foster the adaptation of accreditation standards and norms that reflect social accountability. Only then can educational institutions be measured and rewarded for their real capacity to meet the pressing health care needs of society.

졸업후의학교육의 사회적 요구에 반응하기: 인증의 역할(BMC Med Educ, 2020)

Responsiveness to societal needs in postgraduate medical education: the role of accreditation
Ingrid Philibert1* and Danielle Blouin2

 

 

 

배경

Background

 

의료 교육 기업은 자신이 생산하는 의료 인력으로 서비스를 받을 시민에게 책임을 집니다 [1]. 적절한 규모의, 숙련된, 분산된 의료 인력이 모든 국가의 건강에 매우 중요하다. 이러한 인력의 구성과 기술은 의학 교육의 대학원 단계에서 상당 부분 결정된다. 30년 전, 세계 의료 교육 연맹(WFME)은 의료 교육의 목표가 모든 사람들의 건강을 증진시킬 의사를 생산하는 것이라고 선언했고, 의료 과학의 발전에도 불구하고 이 목표가 충족되지 못하고 있다고 언급했다[2]. 1995년, 세계보건기구(WHO)는 의과대학의 사회적 책무"지역, 지역 및/또는 그들이 봉사하는 국가의 우선적인 건강 문제를 해결하기 위한 방향으로 그들의 교육, 연구 및 서비스 활동을 지향할direct 의무"[3]로 정의했다. 의료 교육 및 인증 전문가는 2013년 결과 기반 인증 세계 서밋에서 사회적 책임의 중요성을 논의했습니다.각주 1 

The medical education enterprise is accountable to the citizens who will be served by the physician workforce it produces [1]. An appropriately sized, skilled, and distributed physician workforce is critical to the health of any nation. The composition and skill set of this workforce is determined in significant part during the postgraduate phase of medical education. Three decades ago, the World Federation for Medical Education (WFME) declared that the aim of medical education is to produce physicians who will promote the health of all people, and noted that this aim was not being met despite progress in medical science [2]. In 1995, the World Health Organization (WHO) defined the social accountability of medical schools as “the obligation to direct their education, research and service activities towards addressing the priority health concerns of the community, region, and/or nation they serve” [3]. Medical education and accreditation experts discussed the importance of social accountability at the 2013 World Summit on Outcomes-Based Accreditation.

 

정상 회담 참가자는 미국, 캐나다 및 네덜란드를 포함한 여러 국가의 인증 시스템에 초점을 맞춘 광범위한 영역에서 인증의 역할에 대해 논의하였다. 이 기사에서는 대부분의 국가의 의료 시스템에서 상대적으로 분산되어 운영되는 점을 감안할 때 대학원 의학 교육의 더 실행 가능한 용어로 "사회적 대응성social reponsiveness"을 제안한다. 사회적 대응성은 "사회적 요구에 대응하는 행동 과정의 참여"로 정의되었습니다 [4]. 

Participants at the summit discussed the role of accreditation in a wide range of domains, focusing on the accreditation systems in different nations, including the United States, Canada, and the Netherlands. In this article, we propose “social responsiveness” as a more actionable term for postgraduate medical education, given its relatively decentralized operation in most nations’ health care systems. Social responsiveness has been defined as the “engagement in a course of actions responding to social needs” [4].

 

WFME와 WHO의 사회적 책임 정의에는 의료 교육 시스템이 생산하는 의료 인력의 역량에 대한 기대가 내재되어 있다. 그러나 정의의 일반적인 특성은 그것들을 대학원 의학 교육 프로그램과 기관에 대한 실행 가능한 권장사항으로 변환하는 것을 어렵게 만든다. "대응성responsiveness"이라는 용어는 정부, 의료 기관, 교육자, 전문가 및 일반인을 포함한 이해관계자가 의료 우선 순위를 집단적으로 식별해야 한다는 WHO의 기대와 일치한다[3].

Inherent in the WFME and WHO definitions of social accountability are expectations for the competencies of the physician workforce that the medical education system produces. Yet the general nature of the definitions makes it challenging to translate them into actionable recommendations for postgraduate medical education programs and institutions. The term “responsiveness” is congruent with the WHO expectation that health care priorities should be collectively identified by stakeholders, including governments, health care organizations, educators, professionals, and members of the public [3].

 

주 텍스트

Main text

 

대학원 의료교육의 사회적 대응성
Social responsiveness in postgraduate medical education

 

의대에 대한 사회적 책임 기대치를 논의한 이전의 논평자들과는 대조적으로, 우리는 의대 이후 의사 교육에 초점을 맞추고 PGME 시스템에서 사회적 대응성에 대한 네 가지 우선 순위를 설명한다. 

  • 첫 번째는 의료 인력의 규모, 전문적 혼합 및 지리적 분포가 환자 및 인구 보건 요구를 충족하기에 적절한지 확인하는 것이다[5, 6]. 
  • 두 번째 우선 순위는 전문직 종사자가 [점점 더 다양한 인구에서 보건의 차이[8]와 보건의 사회적 결정요인[9]]을 다루면서 [접근성, 인구 보건 및 자원 관리[7]에 대한 사회적 목표]를 충족할 수 있도록 하기 위해 필요한 기술 세트skill set을 갖추는 것이다. 
  • 세 번째 우선순위는 학습 환경의 다양성과 포괄성을 향상시키는 것과 관련이 있다. 이것은 의사 노동력에서 인종, 민족 및 기타 소수민족의 표현을 증가시키고 모든 교육생을 위한 포괄적이고 지원적인 환경을 촉진하는 것을 포함한다. 
  • 네 번째 우선순위는 [의사의 전문적 개발을 촉진]하는 동시에 [교육생이 진료를 배우고 참여하는 환경에서 안전하고 효과적인 care]를 제공하는 안전하고 존중하고 지지적인 학습 및 근무 환경을 확보하는 것이다. 

In contrast to earlier commentators who have discussed social accountability expectations for medical schools, we focus on physician education after medical school and describe four priorities for social responsiveness in the postgraduate medical education system.

  • The first pertains to ensuring that the size, specialty mix, and geographic distribution of the physician workforce is adequate to meet patient and population health needs [5, 6].
  • The second priority pertains to the skill set necessary to enable the profession to meet societal goals for access, population health, and the stewardship of resources [7] while addressing health disparities [8] and the social determinants of health [9] in increasingly diverse populations.
  • The third priority relates to enhancing the diversity and inclusiveness of the learning environment; this includes increasing the representation of racial, ethnic, and other minorities in the physician workforce and promoting an inclusive and supportive environment for all trainees.
  • The fourth priority pertains to ensuring a safe, respectful, and supportive learning and working environment that facilitates the professional development of physicians while providing safe and effective care in settings where trainees learn and participate in care.

 

네 가지 우선순위에 대한 세부 사항은 표 1, 2, 3, 4에 나와 있습니다. 세 가지 우선순위는 미래의의사 노동력과 관련이 있으며, 하나는 미래의사 노동력의 전문적인 사회화를 위한 맥락을 제공하는 학습 환경과 관련이 있다. 이러한 우선 순위는 Boelen의 사회적 의무 규모를 보완하고 운영화를 촉진합니다 [4].

Detail on the four priorities is shown in Tables 1, 2, 3 and 4. Three of the priorities relate to the future physician workforce, and one to the learning environment that provides the context for the professional socialization of the future physician workforce. These priorities complement Boelen’s social obligation scale and facilitate its operationalization [4].

 

표 1 우선순위 1: 의료진의 적절한 규모, 전문적 혼합 및 지리적 구성
Table 1 Priority 1: Appropriate size, specialty mix, and geographic composition of the physician workforce

 

 

 

표 2 우선순위 2: 지속 가능한 비용으로 의료 및 인구 보건에 대한 사회적 목표를 달성하기 위한 의사 역량
Table 2 Priority 2: Physician competencies for meeting societal goals for health care and population health at a sustainable cost

 

 

표 3 우선순위 3: 의료 인력의 다양성, 학습 및 작업 환경의 다양성 및 포괄성
Table 3 Priority 3: Diversity of physician workforce, and diversity and inclusiveness in the learning and working environment

 

 

표 4 우선순위 4: 의사를 위한 전문적 개발과 안전하고 효과적인 환자 관리를 공동 제작할 수 있는 안전하고 지원적인 학습 환경

Table 4 Priority 4: A safe, supportive learning environment that facilitates the co-production of professional development for physicians and safe and effective patient care

 

 

사회적 대응 목표 충족을 위한 접근 방식
Approaches to meeting social responsiveness aims

 

표 1, 2, 3, 4에서 우리는 네 가지 우선 순위를 다루기 위해 시스템 수준(정부 실체와 인가자), 기관 및 프로그램 및 개인의 개입을 요약한다. 이는 인증를 많은 영역에서 사회적 책임의 지렛대로 강조한다. 우리는 1995년 WHO 문서에서 논의한 사회적 책무에 대한 네 가지 가치, 즉 

  • (1) 관련성(의료 교육의 목표가 그것이 봉사하는 지역사회의 요구와 목표와 일치하는 정도), 
  • (2) 품질(의학교육이 trainee와 graduate가 practice하는 환경 양쪽에서 모두 양질의 효과적인 케어에 기여하는 정도)
  • (3) 비용 효과(의료 교육이 비용 효율적인 관리에 기여하는 정도), 
  • (4) 형평성(모든 사람이 의료 서비스를 이용할 수 있도록 하고, 여성과 인종, 민족 및 기타 구성원이 의료 교육을 받을 수 있도록 하는 것) [3]

In Tables 1, 2, 3 and 4, we summarize interventions at the level of the system (government entities and accreditors), the institution and program, and the individual to address the four priorities. This highlights accreditation as a lever for social accountability in many domains. We relate the social responsiveness priorities we identified to four values for social accountability discussed in a 1995 WHO document:

  • (1) relevance (the degree to which the aims of medical education are congruent with the needs and aims of the communities it serves);
  • (2) quality (the degree to which medical education contributes to high-quality, effective care, both in the settings where trainees participate in care and in graduates’ future practice);
  • (3) cost-effectiveness (the extent to which medical education contributes to cost-effective care); and
  • (4) equity (making health care available to all, and making medical education accessible to women and members of racial, ethnic, and other minorities) [3].

표 1, 2, 3, 4에 나타난 네 가지 사회적 대응성 우선순위는 새로운 것이 아니며, 여기서 요약된 많은 측면은 의과대학의 사회적 책무에 대한 합의 문서와 일치한다[26]. 그러나 사회적 책무의 차원에 대한 일반적인 인식과 상당한 합의에도 불구하고, 대학원 의학 교육에서 사회적 대응성을 폭넓게 다룬 연구는 거의 없었다. 지금까지의 연구는

  • 의료 인력의 규모와 분배 최적화[27],
  • 1차 진료 및 시골지역 교육 프로그램에 대한 자금 지원 강화[28],
  • 학습자를 서비스 부족 환자에게 관리를 제공하는 설정에 노출시키는 서비스 학습 프로젝트

...처럼 단일 측면을 해결하기 위한 노력에 초점을 맞추었다[29]. 대학원 학습 및 작업 환경을 개선하기 위한 노력은 연습생 근무 시간 제한[30, 31]과 안전하고 효과적이며 지원적인 학습 환경을 촉진하기 위한 개입[12]에 초점을 맞추고 있다.
The four social responsiveness priorities shown in Tables 1, 2, 3 and 4 are not new, and many of the aspects summarized there are congruent with a consensus document on the social responsibility of medical schools [26]. Yet, despite a general appreciation and considerable agreement on dimensions of social accountability, few studies have broadly addressed social responsiveness in postgraduate medical education. Work to date has focused on efforts to address a single aspect, such as

  • optimizing the size and distribution of the physician workforce [27],
  • enhanced funding for primary care and rural training programs [28], and
  • service learning projects to expose learners to settings that provide care for underserved patients [29].

Efforts to enhance the postgraduate learning and working environment have focused on trainee work hour limits [30, 31] and interventions to promote a safe, effective, and supportive learning environment [12].

  • 사회적 책무성 목표를 충족하는 프로그램을 장려하기 위해 [PGME를 위한 기금을 재할당하자]는 제안[32]과 같은 개념적 수준에서 더 광범위한 개입을 위한 제안이 일반적으로 제기되었으며, 일부 논평자들은 기금 할당에 사용할 측정 기준을 권고했다[33].
  • 캐나다에서는, 대학원 의학 교육의 미래를 다룬 한 단체 컨소시엄의 보고서가 의사들이 봉사하는 공공에 대한 사회적 책무성을 강조했다[34].
  • 학부 의학 교육 수준에서 미국의 "사회적 책무" 지표 제안은 의과대학의 output을 졸업생이 어느 정도 비율로 일차의료나, 의료인 부족 지역에서 근무하는지, URM의 비율이 얼마인지 평가하였다. 의과대학 순위는 의과대학이 이러한 사회적 임무에 기여한 바가 상당히 다르다는 것을 보여주었다 [35].
  • Suggestions for broader interventions have generally been made at the conceptual level, such as proposals in the United States to reallocate funding for graduate medical education to incentivize programs that meet social accountability aims [32], and some commentators have recommended metrics to be used in the allocation of funds [33].
  • In Canada, the report of a consortium of organizations that addressed the future of postgraduate medical education emphasized the social accountability of physicians to the public they serve [34].
  • At the undergraduate medical education level, a US proposal for a “social mission” metric assessed the output of medical schools as the percentage of graduates who practice primary care, work in areas affected by a shortage of health professionals, and are members of under-represented minorities; their ranking showed that medical schools vary substantially in their contribution to these social missions [35].


량 기반 PGME 시스템이 사회적 대응 목표를 충족하려면 인증 기관은 다음을 보장해야 합니다.

  • 학습은 관련 역량을 강조한다
  • 졸업생이 의료 접근, 인구 건강, 환자 진료 경험 향상 및 유한 의료 자원의 책임에 대한 사회적 목표를 충족할 수 있는 속성을 보유한다.

Meeting goals for social responsiveness in a competency-based postgraduate medical education system requires accrediting organizations to ensure

  • that learning emphasizes relevant competencies, and
  • that graduates possess the attributes to meet societal goals for health care access, population health, improved patient experience of care, and stewardship of finite health care resources [8].

 

미국에서는 2019년부터 시행되는 인증기준에 따라 대학원 의학 교육 프로그램이 "숙의 설계" 접근방식을 사용하여 "지원 기관의 전반적인 임무 내에서, 그들이 복무serve하는 공동체의 요구, 그리고 그들이 양성고자 하는 의사의 능력에 적합한 목표를 설정하도록 요구하고 있다"[36]. 새로운 표준에는 또한 프로그램 평가 및 개선에서 인력 다양성이 고려될 것이라는 기대도 포함되어 있다[20]. 이와 같은 표준은 의사 교육 시스템이 사회적 요구를 더 잘 충족시킬 수 있도록 하는 변화에 영향을 미치는 대학원 의학 교육의 능력을 증가시킬 것이다.

In the United States, accreditation standards that will become effective in 2019 call for postgraduate medical education programs to use a “deliberate design” approach to set aims relevant to the “needs of the communities they serve, within the overall mission of their sponsoring institution, and the capabilities of physicians they intend to graduate” [36]. The new standards also include an expectation that workforce diversity be considered in program evaluation and improvement [20]. Standards like these will increase the ability of postgraduate medical education to influence change that allows the physician education system to better meet societal needs.

 

 

사회적 기대 충족을 위한 과제 극복
Overcoming challenges to meeting societal expectations

 

GME의 사회적 책무성을 개선하기 위한 전략은 시간적 제약, 다른 커리큘럼 구성 요소와의 경쟁, 재정적 제한, 그리고 제도적 저항에 의해 저해될 수 있다. 인가를 통한 사회적 책임의 촉진은 인가된 프로그램과 후원 기관이 운영되는 환경의 영향을 받는 [복잡한 적응적 시스템]이라는 사실에 민감할 필요가 있다. 이는 [감독 기관으로부터 발생할 수 있는 상충적 요구]와 [의료 교육계의 다양한 이해 관계와 초점]을 충족시키는 능력을 제한시킨다. 예를 들어, 네덜란드에서, 책임성, 교육 집중, 신뢰, 역할 모델링 및 일과 삶의 균형에 관한 상출적 관점이 국가의 대학원 의학 교육 시스템의 미래에 대한 논의에서 나타났다[38].
Strategies to improve the social accountability of postgraduate medical education can be impeded by time constraints, competition with other curricular components, financial limitations, and institutional resistance. The promotion of social accountability through accreditation will need to be sensitive to the fact that accredited programs and sponsoring institutions are complex adaptive systems [37] influenced by the environments in which they operate. This constrains their ability to meet the range of potentially competing demands that arise from oversight organizations and the varying interests and foci within the medical education community. For example, in the Netherlands, competing perspectives with regard to accountability, educational focus, trust, role modelling, and work-life balance emerged in discussions about the future of the nation’s postgraduate medical education system [38].


미국과 캐나다와 같은 대부분 시장 기반 시스템에서는 의료 인력의 규모와 혼합을 최적화하려는 노력과 관련하여 추가적인 과제가 있다(표 1). 인가자는 일반적으로 인가 결정에서 인력진의 적정성 결정을 이용하지 않기 때문에 인가를 [직접 지렛대]로 사용할 수 없다[39]. 또한, 공식 커리큘럼과 학습 경험은 generalist의 실습과 소외된 모집단의 관리를 촉진할 수 있지만, 이러한 모집단의 일반의 실습과 관리를 위한 의사의 공급을 증가시키기 위한 노력은 일반의사 전문성 격하를 포함한 의료교육의 "숨겨진 커리큘럼"[40]을 해결해야 한다. 여기에는 매우 필요한 전문 분야에 대한 제너럴리스트 전공분야[41]와 재정적[42] 및 사회적[41] 보상 구조의 격하를 포함한다.
There are additional challenges with regard to efforts to optimize the size and mix of the physician workforce (Table 1) in largely market-based systems such as the United States and, to a lesser degree, Canada. Accreditation cannot be used as a direct lever, as accreditors generally are enjoined from using workforce adequacy determinations in accreditation decisions [39]. In addition, while formal curricula and learning experiences can promote generalist practice and care of underserved populations, efforts to increase the supply of physicians for generalist practice and care in these populations need to address the “hidden curriculum” [40] in medical education, including the disparagement of generalist specialties [41] and the financial [42] and societal [41] reward structure for these highly needed specialties.

세계적으로 의사들을 더 큰 자유, 더 높은 보상, 더 나은 삶의 질을 가진 국가로 이동시키거나 지역 의사들의 부족 문제를 해결하기 위한 "두뇌 유출"에 대한 우려가 있다 [43]. 2011년, WHO는 의사의 해외이주로 인해 질병 부담이 높고 이미 보건 인력의 부족에 직면하고 있는 국가에 피해를 줄 수 있다는 사실을 인식하여 보건 인력의 국제 채용에 관한 글로벌 실무 강령을 제정했다[14]. 호주와 뉴질랜드의 의사 부족 문제를 해결하기 위한 노력은 [교육 및 보건 시스템의 요소를 환자 치료 요구에 맞추는 것]이 [의사 "수입" ]보다 더 효과적이라고 제안했다 [44]. 아랍에미리트에서는 에미리트 국민이 국가와 지역에 봉사할 차세대 의사를 양성하기 위한 노력이 있습니다 [45].
Globally, there are concerns with the “brain drain” that results from the migration of physicians to nations with greater freedom, higher reimbursement, and better quality of life, or to address local physician shortages [43]. In 2011, the WHO instituted a Global Code of Practice on the International Recruitment of Health Personnel, in recognition of the fact that the out-migration of physicians may hurt nations that have a high disease burden and already face shortages in their health workforce [14]. Efforts to address physician shortages in Australia and New Zealand have suggested that aligning elements of education and health systems with patient care needs is more effective than “importing” physicians [44], and in the United Arab Emirates there are efforts to train Emirati nationals to make up the next generation of physicians to serve the nation and region [45].


GME의 사회적 요구와 기대치를 해결하는 것은 효과적인 접근 방식과 이해 관계자에 대한 홍보, 성공과 도전 탐색, 채택 또는 적응을 위한 효과적인 실천에 대한 정보 수집 및 보급을 포함한 추가 작업의 영역이다.

Addressing societal needs and expectations in postgraduate medical education is an area for additional work, including research on effective approaches and outreach to stakeholders, exploring successes and challenges, and gathering and disseminating information on effective practices for adoption or adaptation.

 

결론

Conclusion

 

대학원 의학 교육의 사회적 대응성은 시스템, 기관, 프로그램 및 개인 수준의 다양한 접근방식을 통해 달성될 수 있다. 인증은 다양한 국가 맥락과 다양한 차원의 사회적 대응성에 걸쳐 효과적일 수 있는 잠재력을 가지고 있다. 핵심 관측은 역량 기반 대학원 의학 교육 시스템에서 사회적 대응력을 충족하려면 학문이 관련 역량을 강조하고, 졸업생이 원하는 속성을 보유하도록 인가 기관이 보장해야 한다는 것이다. 이와 함께 대학원 의료교육을 후원하는 기관이 지원적이고 인문학적인 학습과 근무환경에서 안전하고 효과적인 환자진료를 제공하는 역할이 있다.

Societal responsiveness in postgraduate medical education can be achieved through a range of approaches at the system, institution, program, and individual levels. Accreditation has the potential to be effective across different national contexts and across the various dimensions of social responsiveness. A key observation is that meeting social responsiveness in a competency-based postgraduate medical education system requires accrediting organizations to ensure that learning emphasizes relevant competencies, and that graduates possess desired attributes. At the same time, there is a role for institutions that sponsor graduate medical education to provide safe and effective patient care in a supportive, humanistic learning and working environment.

 

 

 

 

 

 

 


 

BMC Med Educ. 2020 Sep 28;20(Suppl 1):309.

 doi: 10.1186/s12909-020-02125-1.

Responsiveness to societal needs in postgraduate medical education: the role of accreditation

Ingrid Philibert 1Danielle Blouin 2

Affiliations collapse

Affiliations

  • 1Department of Medical Education, Frank H. Netter MD School of Medicine at Quinnipiac University, North Haven, CT, USA. ingrid.philibert@quinnipiac.edu.

  • 2Faculty of Health Sciences (Department of Emergency Medicine) and Faculty of Education, Queen's University, Kingston, Ontario, Canada.

    • PMID: 32981520

 

 

Free PMC article

Abstract

Background: Social accountability in medical education has been defined as an obligation to direct education, research, and service activities toward the most important health concerns of communities, regions, and nations. Drawing from the results of a summit of international experts on postgraduate medical education and accreditation, we highlight the importance of local contexts in meeting societal aims and present different approaches to ensuring societal input into medical education systems around the globe.

Main text: We describe four priorities for social responsiveness that postgraduate medical education needs to address in local and regional contexts: (1) optimizing the size, specialty mix, and geographic distribution of the physician workforce; (2) ensuring graduates' competence in meeting societal goals for health care, population health, and sustainability; (3) promoting a diverse physician workforce and equitable access to graduate medical education; and (4) ensuring a safe and supportive learning environment that promotes the professional development of physicians along with safe and effective patient care in settings where trainees participate in care. We relate these priorities to the values proposed by the World Health Organization for social accountability: relevance, quality, cost-effectiveness, and equity; discuss accreditation as a lever for change; and describe existing and evolving efforts to make postgraduate medical education socially responsive.

Conclusion: Achieving social responsiveness in a competency-based postgraduate medical education system requires accrediting organizations to ensure that learning emphasizes relevant competencies in postgraduate curricula and educational experiences, and that graduates possess desired attributes. At the same time, institutions sponsoring graduate medical education need to provide safe and effective patient care, along with a supportive learning and working environment.

Keywords: Accreditation; Diversity; Equity; Postgraduate medical education; Societal accountability.

임상적 퀄리티의 이해 넓히기: 귀인 오류에서 상황적 인식으로 (Clin Pharmacol Ther, 2012)

Broadening Our Understanding of Clinical Quality: From Attribution Error to Situated Cognition
AR Artino Jr1, SJ Durning2, DM Waechter3, KL Leary2 and WR Gilliland3

 

 

 

[개인적 특성이 결과에 미치는 영향을 과대평가하고 상황적 요인의 영향을 과소평가하는 경향]근본적인 귀인 오류라고 한다.
The tendency to overestimate the influence of personal characteristics on outcomes, and to underestimate the influence of situational factors, is known as the fundamental attribution error. 

우리는 임상 품질을 진정으로 이해하기 위해 상황 요인을 조사해야 하며, 이는 종종 임상 조우의 품질에 강한 영향을 미친다.
We suggest that to truly understand clinical quality, they must examine situational factors, which often have a strong influence on the quality of clinical encounters. 

 

귀인 오류를 넘어
Moving beyond attribution error


어떤 임상적 만남의 성공은 종종 의사의 질적인 면에서만 좌우된다. 즉, 환자와 다른 이해관계자는 [임상적 질clinical quality]이 [의사의 질]과 동의어라고 가정한다.
The success of any clinical encounter is often framed solely in terms of physician quality. That is, patients and other stakeholders assume that clinical quality is synonymous with physician quality.

이러한 경향은 개인 특성의 영향을 과대평가하고 상황적 요인의 영향을 과소평가하는 경향이 널리 퍼져 있다. 사실, 사회심리학자들은 인간이 종종 [근본적인 귀인 오류]라고 불리는 이러한 경향에 굴복한다는 것을 알고 있었고, 1과 교육 연구자들은 최근 교육의 질을 이해하려는 그들의 추구에서 이 광범위한 문제를 확인했다.2
This tendency to overestimate the influence of personal characteristics, and to underestimate the influence of situational factors, is widespread. In fact, social psychologists have known that humans often succumb to this tendency, labeled the fundamental attribution error,1 and education researchers have recently identified this pervasive problem in their quest to understand teaching quality.2

임상 품질에 대해 생각할 때, 자연히 의사의 특성은 좋은 결과와 나쁜 결과 모두에 대해 전적으로 인과관계가 있다고 가정한다.
When thinking about clinical quality, one naturally assumes that the characteristics of the physician are solely causal to both good and bad outcomes.

이러한 근본적인 귀인 오류를 만들면서, 우리는 임상 실습이 바쁜 구급 병원과 응급실에서부터 스트레스가 많은 환자 병동과 수술실에 이르기까지 다양하고 복잡한 환경에서 발생한다는 사실을 잊고 있다. 그렇다고 해서 의사가 좋은 결과와 나쁜 결과에 부분적으로만 책임이 있다고 말하려는 것은 아니지만, 우리는 의사가 그러한 결과를 초래하는 몇 가지 요인 중 하나일 뿐이라고 주장할 수 있다.
In making this fundamental attribution error, we forget that clinical practice occurs in many different and complex environments, ranging from busy ambulatory clinics and emergency rooms to stressful inpatient wards and operating rooms. This is not to say that the physician is not partially responsible for good and bad outcomes; however, we would argue that the physician is only one of several factors leading to such outcomes.

실제로, 30년 이상의 사회심리학 연구는 [인간의 행동이 자신의 지속적인 개인적 자질보다 사람들이 직면하는 상황에 더 많은 영향을 받는 경향이 있다는 것]을 말해준다. 따라서 우리는 임상 품질을

  • [의사의 개인적 특성(예: 지식, 기술 및 태도)]과
  • [진료 도중에 의사가 경험하는 상황적 요구(예: 진료 기간, 인력 배치 및 질병의 정확성 같은 환자 요인)]

...의 함수로 재인식하는 것이 도움이 된다.
Indeed, more than 30 years of social psychology research tells us that human behavior tends to be more influenced by the situations people face than by their own enduring personal qualities. Therefore, we believe it is helpful to reconceptualize clinical quality as a function of both

  • physicians’ personal characteristics (e.g., knowledge, skills, and attitudes) and
  • the situational demands physicians experience during practice (e.g., appointment length, staffing, and patient factors, such as acuity of the illness). 


최근, 임상 품질에 대한 우리의 관점을 확장해야 할 필요성이 의학교육의 연구와 훈련을 개선하는 데 있어 매우 중요한 것으로 파악되고 있다. Durning과 동료3는 의료 교육 연구자가 의료 교육 연구 패러다임에서 임상 조우 상황을 명시적으로 고려하도록 장려하는 프레임워크를 제안했다(그림 1).
Recently, the need to expand our view of clinical quality has been identified as critical to improving research and training in medical education. Durning and colleagues3 proposed a framework that encourages medical-education researchers to explicitly consider the context of the clinical encounter in medical-education research paradigms (Figure 1). 

 


[위치 인식situated cognition]의 교리에 기초한 그들의 모델은, [사고와 학습은 상황의 특성과 불가분의 관계에 있다]고 주장한다.4 이 렌즈를 통해 볼 때,

  • 사고와 학습은 내부internal 과정으로 보이지 않고,
  • 지식은 대상이 아니며,
  • 기억은 위치가 아니다;
  • 대신에 생각과 학습은 사람과 환경 사이의 상호 작용으로 일어난다.5 

Their model, based on tenets of situated cognition, argues that thinking and learning are inextricably linked to the characteristics of the situation.4 When viewed through this lens,

  • thinking and learning are not seen as internal processes,
  • knowledge is not an object, and
  • memory is not a location;
  • instead, thinking and learning take place as interactions between people and their environment.5

 

[전통적인 인지심리학자]가 은유적으로 "머리 안의 세계"에 대해 말하는 반면, [situated conition theorist]는 "세계 안의 머리"에 대해 토론하기를 선호한다. 인지 심리학자가 세계의 정신적 표현과 [입력-출력 변환]의 본질에 초점을 맞출 수 있는 경우, 위치 인식 이론가는 상황과 사람들이 하는 부분에 초점을 맞추는 것을 선호할 것이다.4 이러한 관점에서 볼 때, 인간의 지식은 [세상과의 상호 작용]과 [사람과 환경의 상호 수용]으로 생각할 수 있다.

Whereas a traditional cognitive psychologist might talk metaphorically about “the world inside the head,” a situated cognition theorist would prefer to discuss “the head inside the world.” And where a cognitive psychologist might focus on mental representations of the world and the nature of input–output transformations, a situated cognition theorist would prefer to focus on situations and the parts that people play.4 When viewed from this perspective, human knowledge can be thought of as interactions with the world and the mutual accommodation of people and the environment. 

 

Durning et al.3에 의해 제안된 모델은 세 가지 상황 입력, 즉 의사 요인, 환자 요인 및 실습 요인을 설명함으로써 임상 결과를 고려한다. 이 모델은 의사결정이 참가자가 정보가 풍부한 환경에서 여러 목표의 균형을 맞춘 결과라고 제안한다.
The model proposed by Durning et al.3 considers clinical outcomes by explicating three situational inputs:

  • physician factors,
  • patient factors, and
  • practice factors.

The model proposes that decision making is the result of a participant balancing multiple goals in an information-rich environment.

참가자들(의사 및 환자)은 주어진 약속에서 종종 여러 가지 목표를 가지고 있으며, 그들의 목표는 시간이 지남에 따라 나타나며, 그들의 목표는 약속appointment 시작 시에 정확하게 예측할 수 없다. 또한, 다중 요인은 역동적이고 종종 복잡한 방식으로 상호작용할 수 있다.
Participants (physician and patient) often have multiple goals in any given appointment; their goals emerge over time, and their goals cannot be precisely predicted at the outset of the appointment. Furthermore, multiple factors can interact in dynamic and often complex ways.


임상 품질을 의사, 환자 및 실습 요인의 상호 작용으로 생각하고 각 요인에 기여하는 다양한 요소를 인식하면(그림 1), 임상 품질에 대한 보다 광범위하고 시스템 수준의 관점이 나타난다. 중요한 것은, 이 접근방식은 또한 환자 치료를 개선하기 위해 구현될 수 있는 몇 가지 잠재적 개입을 가리킨다. 마지막으로, 임상 만남에서처럼 목표가 나타날 때, 아마도 비선형성nonlinearity (즉, 결과가 구성 요소 부분의 단순한 합보다 크다는 생각)이 발생할 것이다.

When one thinks of clinical quality as the interaction of physician, patient, and practice factors, and recognizes the various elements that contribute to each factor (Figure 1), a broader, system-level view of clinical quality emerges. Importantly, this approach also points to several potential interventions that can be implemented to improve patient care. Finally, when goals emerge, as they do in a clinical encounter, nonlinearity (i.e., the idea that the outcome is more than the simple sum of the component parts) probably occurs.



귀인 오류의 사례 연구
A case study in attribution error


78세의 한 여성이 왼쪽 다리를 포함한 심혈관 혈전증으로 치료를 받은 후 학원에서 퇴원했다. 와파린 치료는 그녀가 저분자 무게의 헤파린으로 다리 항응고제를 받는 동안 시작되었다. 퇴원 후 5일 후 급성 오른쪽 반두통 진단을 받고, 비대조 컴퓨터 단층촬영 헤드 스캔 결과 왼쪽 피질 출혈성 뇌졸중이 확인된다. 환자의 국제 정상화된 프레젠테이션 비율은 18.5로 퇴원 전 1.4와 비교된다. 환자 차트를 검토한 결과 와파린 치료법(10mg/일)이 시작, 입원 중 유지되고 지난 7일 동안 퇴원한 것으로 나타났으며, 입원환자 주치의가 와파린 복용량을 부적절하게 모니터링하고 너무 많이 투여하여 약물 부작용으로 이어진 것으로 결론났다. 병원 조사팀이 권고하는 시정조치는 6개월 동안 이 제공자를 감독된 임상적 특권에 두는 것이었다.
A 78-year-old woman is discharged from an academic medical center following treatment for a deep-vein thrombosis involving her left leg. Warfarin therapy was initiated while she was receiving bridge anticoagulation with low-molecular-weight heparin. Five days following discharge, she is emergently evaluated for acute right-sided hemiparesis, and a noncontrast computed tomography head scan confirms a left cortical hemorrhagic stroke. The patient’s international normalized ratio on presentation is 18.5, as compared with 1.4 before discharge. A review of the patient’s chart reveals that warfarin therapy (10 mg/day) was started, maintained during hospitalization, and continued on discharge over the previous 7 days, and it is concluded that the inpatient attending physician was at fault for inadequately monitoring and administering too high a dose of warfarin, leading to an adverse drug event. Corrective action recommended by the hospital investigative team was to place this provider on supervised clinical privileges for a period of 6 months. 

 

이 좁게 초점을 맞춘 귀인 오류의 결과는 [좋지 않은 결과에 기여한 더 큰 시스템 문제]를 식별하지 못한 것이다. 예는 다음과 같습니다.
The consequence of this narrowly focused attribution error is the failure to identify larger systemic problems that contributed to the poor outcome. Examples include the following:

1. 야간 플로트 허용 의사는 처음에 중단 날짜 없이 10mg의 와파린을 매일 투여하기 시작했다(고위험 약물 개시, 의사 계수). 
1. The night-float admitting physician initially started the 10-mg-daily dose of warfarin without a stop date (high-risk medication initiation; physician factor). 

2. 전자진료기록은 와파린을 매일 10mg씩 외래진료제로 포착하고 퇴원요약에 "약물화합"기능(실천인자)의 일부로 동일한 약물과 선량을 기입하였다. 
2. The electronic medical record captured warfarin, 10 mg daily, as an outpatient medication and populated the discharge summary with the same drug and dose as part of a “medication reconciliation” function (practice factor). 

3. 입원 시 와파린 투여량을 매일 10mg에서 5mg으로 감소시키라는 입원 명령에도 불구하고 퇴원 시 환자에게 10mg을 투여하였다(실습계수).  
3. The 10-mg dose was administered to the patient upon discharge despite an inpatient order to decrease warfarin dosing from 10 mg to 5 mg daily during the hospital stay (practice factor).  

4. 환자는 기관지염(환자 및 시술 요인)을 위해 14일 동안 트리메토프림-술파메토호사졸(sulfametoxazole) 과정을 밟고 있었다. 이는 외부 약국(실습인자)에서 종이 처방으로 처방전이 채워져 있기 때문에 무심코 환자(환자 인자)가 보고하지 않고 전자 진료기록(실습인자)에 포착되지 않았다. 이것은 약물 상호작용으로 이어져 와파린 혈중 농도를 더욱 증가시켰다.  
4. The patient was taking a 14-day course of trimethoprim– sulfamethoxazole for “bronchitis” (patient and practice factor). This was inadvertently not reported by the patient (patient factor) and was not captured by the electronic medical record (practice factor), because the prescription was filled by paper prescription at an outside pharmacy (practice factor). This led to a drug–drug interaction, further increasing warfarin blood concentrations.  

5. 이 환자가 입원한 주말(팀 적용범위가 부족한 고위험 기간, 연습 요인) 동안에는 라운딩 병원 약국 서비스를 이용할 수 없었다.
5. A rounding hospital pharmacy service was not available during the weekend of this patient’s admission (a high-risk period with lack of team coverage; practice factor).

6. 환자에게 약물 유전자 검사를 실시했으며, VKORC1A/A 및 CYP2C9*3/*3 변형이 발견되었으며, 이는 주간 와파린 복용량이 약 5~10mg(트리메토프림-술파메토호사졸, 환자 및 내과의사 인자)임을 나타낸다. 그러나 이러한 데이터는 (악성 사건 발생 당시, 실무 인자) 시험 후 1주가 지나서야 해석할 수 있었다.

6. Pharmacogenomic testing was done on the patient, and she was found to have VKORC1 A/A and CYP2C9*3/*3 variants, which indicate that her weekly warfarin dose would be approximately 5–10 mg (notwithstanding the trimethoprim–sulfamethoxazole; patient and physician factor). However, these data were not available for interpretation until 1 week after testing (at the time of the adverse event; practice factor). 



 

 

 


Clin Pharmacol Ther. 2012 Feb;91(2):167-9.

 doi: 10.1038/clpt.2011.229.

Broadening our understanding of clinical quality: from attribution error to situated cognition

A R Artino Jr 1S J DurningD M WaechterK L LearyW R Gilliland

Affiliations collapse

Affiliation

  • 1Department of Preventive Medicine and Biometrics, Uniformed Services University of the Health Sciences, Bethesda, Maryland, USA.

    • PMID: 22261684

 

Abstract

The tendency to overestimate the influence of personal characteristics on outcomes, and to underestimate the influence of situational factors, is known as the fundamental attribution error. We argue that medical-education researchers and policy makers may be guilty of this error in their quest to understand clinical quality. We suggest that to truly understand clinical quality, they must examine situational factors, which often have a strong influence on the quality of clinical encounters.

프로그램 평가: 시작하기 그리고 기준(J Grad Med Educ, 2020)

Program Evaluation: Getting Started and Standards
Dorene F. Balmer, PhD (@dorenebalmer)
Janet M. Riddle, MD (@JanetRiddleDME)
Deborah Simpson, PhD (@debsimpson3)

 

 

 

더 챌린지

The Challenge

 

PD 및 기타 대학원 의학 교육(GME)1 교육자는 정기적으로 교육 프로그램을 평가한 후 유지, 개선 또는 중단해야 할 사항에 대한 판단을 내린다. 일부는 마치 연구처럼 프로그램 평가에 참여할 수 있다. 이는 놀랄 일이 아니다. 교수진은 품질 개선이나 연구 활동에 초점을 맞춘 체계적인 질의 훈련을 받으며, 이는 다른 목적에 기여하며 프로그램 평가와 비교하여 다양한 가정과 의도된 결과를 가지고 있다. 결과적으로, 프로그램 평가의 기본 가정, 목표/의도 결과, 방법 및 보고에 대한 교수진의 이해는 종종 제한적이며 어려운 논의로 이어진다.
PDs and other graduate medical education (GME)1 educators routinely evaluate their educational programs and then make judgments about what to keep, improve, or discontinue. Some may engage in program evaluation as if it were research. This is not surprising: faculty are trained in systematic inquiry focused on quality improvement or research activities, which serve different purposes and have varying assumptions and intended outcomes as compared with program evaluation. As a result, the faculty’s grasp of program evaluation’s underlying assumptions, aims/intended outcomes, methods, and reporting is often limited and leads to difficult discussions. 

 

알려진 것
What Is Known


20세기 중반에 프로그램 평가는 그 분야로 발전했다. 오늘날 프로그램 평가의 목적은 대체로 다음의 두 가지 중 하나이다.

  • (1) 교육 프로그램의 전체 가치 또는 가치를 결정하기 위한 데이터 사용(프로그램의 총괄적 판단) 또는 
  • (2) 프로그램 개선 계획(프로그램, 프로젝트 또는 활동의 형성적 개선)

오리엔테이션에 관계없이 프로그램 평가는 GME의 품질을 향상시킬 수 있으며, 궁극적으로는 더 나은 관리 품질을 통해 일반인에 대한 책임을 개선할 수 있다. 
In the mid-20th century, programevaluation evolved into its own field. Today, the purpose of program evaluation typically falls in 1 of 2 orientations in using data to

  • (1) determine the overall value or worth of an education program (summative judgements of a program) or
  • (2) plan program improvement (formative improvements to a program, project, or activity).

Regardless of orientation, program evaluation can enhance the quality of GME and may ultimately improve accountability to the public through better quality of care. 

프로그램 평가 표준은 평가 품질을 보장하는 데 도움이 된다.2 PD와 GME 교육자는 정확성accuracy 하나에만 집중하는 경향이 있다. 그들은 프로그램 평가와 관련된 다른 표준, 즉 효용, 무결성(다양한 이해관계자에 대한 공정성) 및 실현 가능성을 고려하는 경우가 적다.

Program evaluation standards help to ensure the quality of evaluations.2 PDs and GME educators tend to focus on only one of these standards: accuracy. Less often, they consider the other standards associated with program evaluation: utility, integrity (fairness to diverse stakeholders), and feasibility.


지금 바로 시작하는 방법
How You Can Start TODAY


1. 평가 기준을 적용합니다. 이 표준은 평가에 대한 모든 논의에 적용되어야 하며, 진행 상황, 프로세스 및 결과의 무결성을 보장해야 합니다. 
1. Apply the evaluation standards.
The standards should be applied to every evaluation discussion—to assure the integrity of your progress, process, and outcomes. 

2. 평가의 목적을 명확히 한다. 당신이 무엇을 평가하고 있고 왜 그런지 분명히 하세요. 

  • 교육 프로그램의 명시된 목표가 지역사회의 요구와 일치하는지 아니면 후원 기관의 임무와 일치하는지 평가하고 있는가? 
  • 당신은 외래 환경에서 학습 환경을 개선하는 것을 목표로 하고 있습니까? 

2. Clarify the purpose of the evaluation.Be clear on what you are evaluating and why.

  • Are you evaluating if the stated goals of the educational program are consistent with the needs of the community or the mission of the sponsoring institution?
  • Are you aiming to improve the learning environment in ambulatory settings? 


3. 항상 실행 가능성과 유용성에 대해 조기에 논의합니다. 그것은 멋진 접근법이 될 수 있지만 불가능할 수 있다! 평가 비용과 정치를 간과하지 마십시오. 데이터 수집을 시작하기 전에 실제로 정보를 어떻게 사용할 것인지, 그리고 누가 이 결과에 액세스할 수 있는지 확실히 알아야 합니다.  
3. Always discuss feasibility and utility early on.
It can be an awesome approach but impossible to do! Donot overlook the cost and politics of evaluation. Before you begin to collect your data, be clear abouthow you will actually use the information and who will have access to the findings.  

4. 여러 이해 관계자를 고려하십시오. 대부분의 평가에서 교육생과 교직원은 핵심 이해 관계자이다. 환자, 커뮤니티 구성원, 병원, 의료 기관 및 품질 및 안전 위원회의 리더십도 교육 프로그램에 참여할 수 있습니다.

4. Consider multiple stakeholders. For most evaluations, trainees and faculty members are key stake-holders. Patients, community members, and leadership from your hospitals, clinics, and quality andsafety committees may also have a stake ineducational programs.

 



장기적으로 할 수 있는 일
What You Can Do LONG TERM

 

1. 작업 그룹을 소집합니다. 연례 프로그램 평가 위원회(또는 유사한 그룹)를 소집하고 우선 순위가 높은 결정을 검토합니다. 평가 표준을 적용하고 모든 기여자의 정보에 입각한 결정을 내릴 수 있는 정보가 충분하고 정확한지 판단합니다.
1. Convene your workgroup. Convene your Annual Program Evaluation committee (or similar group)and review high-priority decisions. Apply the evaluation standards and determine if you havesufficient and accurate information to make in-formed decisions from all contributors.

2. 채택, 적용, 작성. 자신의 평가 도구를 작성하기 전에 목표에 맞는 기존 평가 도구를 채택하거나 조정할 수 있다. 이상적인 상황에서, 이러한 도구는 이미 검사되었으므로, 비교 데이터를 제공할 수 있습니다. 
2. Adopt, adapt, author. Adopt or adapt existing evaluation tools that align with your aim before authoring your own. Optimally, these tools have been vetted and can provide comparison data. 

3. 익숙해지세요. 평가 및 평가 자원 분야(예: 미국 평가 협회)와 건강 전문가 교육의 프로그램 평가 리소스에 대해 알아봅니다.2,3

3. Familiarize yourself. Learn about the field of evaluation and evaluation resources (eg, American Evaluation Association) as well as program evaluation resources in health professions education.2,3

 

 

 

 

 


J Grad Med Educ. 2020 Jun;12(3):345-346.

 doi: 10.4300/JGME-D-20-00265.1.

Program Evaluation: Getting Started and Standards

Dorene F BalmerJanet M RiddleDeborah Simpson

PMID: 32595857

PMCID: PMC7301948 (available on 2021-06-01)

DOI: 10.4300/JGME-D-20-00265.1

저의 멘토가 되어주실래요? 네 가지 원형(JAMA Intern Med, 2018)

Will You Be My Mentor?—Four Archetypes to Help Mentees Succeed in Academic Medicine

 

멘토링의 기원은 오디세우스가 트로이 전쟁을 시작할 때 그의 아들을 멘토에게 맡겼던 것으로 거슬러 올라간다. 멘토는 Telemachus의 신뢰할 수 있는 조언자, 선생님, 친구가 되었고, 멘토에 대해 논의할 때 오늘날에도 우리가 찾는 속성을 잘 표현했습니다. 여러 분야의 많은 교과서와 글들이 멘토링의 예술에 대해 쓰여졌다. 예를 들어, 의료 교육에서, 조언 프로그램과 서기 과정 동안의 전문적 개발은 멘토링을 제공한다.2 증거 기반 의학의 선구자인 Straus와 Sackett은 멘티와 멘토의 협력에서, 학문적 임상의사가 멘토링으로부터 혜택을 받는 (근거에 기초한 다음과 같은) 이유를 강조했습니다: 그들은 더 많은 논문을 출판하고, 더 많은 연구비를 받고, 더 빨리 승진하며, 더 높은 직업 만족을 가지고 그들의 학계에 머물 가능성이 더 높습니다.이온과 자립 최근에는 최고의 멘토가 하는 일을 증류하려는 노력도 빠른 속도로 진행되는 경영의 세계에 대한 특별한 관심의 문제로 대두되고 있다.
The origins of mentoring date back to Odysseus, who entrusted care of his son to Mentor when he set off to fight the Trojan wars. Mentor became a trusted advisor, teacher, and friend to Telemachus, epitomizing the attributes thatwe look for even today when discussing a mentor. Many textbooks and articles in multiple disciplines have been written about the art of mentorship.1 For example, in medical education, advising programs and professional development during clerkships provide mentoring.2 In a collaboration of mentee and mentor, Straus and Sackett,3 a pioneer in evidence-based medicine, highlighted the following evidence-based reasons why academic clinicians benefit from mentoring: they publish more papers, get more grants, are promoted faster, and are more likely to stay at their academic institutions with greater career satisfaction and self-reliance. More recently, an effort to distill what the best mentors do has also emerged as a question of particular interest in the fast-paced world of management.4


우리 멘티들은 종종 우리가 "좋은 멘토를 찾고 싶다면 바쁜 사람을 찾으세요"라고 말하는 것을 듣습니다. 이상적인 멘토들은 어떤 이유로든지 바쁘다: 그들은 종종 그들의 분야에서 매우 성공한 사람이며, 멘토링이 상당한 노력을 보장한다는 것을 인정한다. 집단적으로, 그들은 멘티가 되고 싶어하는 타입의 사람을 구현한다.
Our mentees often hear us say, “If you want to find a good mentor, find someone who is busy.” Ideal mentors are busy for a reason: they are often highly successful in their field and recognize that mentoring warrants substantial commitment. Collectively, they embody the type of person who a mentee wishes to become.

멘토링은 일반적으로 후배와 노련한 교수진 사이의 종단적 관계로 여겨지지만, 항상 이런 형태를 취하지는 않을 수 있다. 

Although mentoring is commonly viewed as a longitudinal relationship between a junior colleague and seasoned faculty, it may not always take this form. 

 

원형 1: 전통적인 멘토
Archetype 1: The Traditional Mentor

 

전통적 멘토"양자의 진로성장을 촉진하기 위한 자신과 초보(멘티)의 업무환경에서 형식적이고 역동적이며 상호호혜적인 관계"로 정의된다.1(p17)전통적 멘토란 통상 멘토가 서류, 프로젝트, 학술활동, 커리어 마일스톤 등에 대한 피드백을 제공하는 1시간짜리 모임을 자주 갖는다. 최고의 멘토-멘티 관계는 상호 존중, 신뢰, 공유 가치, 효과적인 의사소통에 의해 특징지어집니다. 성공한 멘토는 다음과 같은 핵심적 활동을 한다.
The traditional mentor is defined by a “formal, dynamic and reciprocal relationship in a work environment between themselves and a novice (mentee) aimed at promoting the career growthof both.”1(p17)Traditional mentoring usually takes the form of frequent hour-long meetings in which mentors provide feedback on papers, projects, scholarship, and career milestones. The best mentor-mentee relationships are characterized by mutual respect, trust, shared values, and effective communication. Successful mentors use a core set of practices,6 including the following:

1. 반응성 평가를 위해 일련의 소규모 테스트(예: 기사 검토, 연구 결과 요약 또는 논문 개요)를 사용하여 멘티 선택
1. Choosing mentees using a series of small tests (eg, review an article, summarize findings froma study, or outline a paper) to assess responsiveness;

2. 멘토 배임 예방 접종 및 성장을 지원하는 멘토단 조성(즉, 멘토의 성공을 저해하는 행동에 대한 참여)5
2. Creating a mentorship team to support growth while inoculating against mentor malpractice (ie, engagement in behaviors that hinder mentee success)5;

3. 커뮤니케이션 및 생산성에 대한 기대치 설정
3. Setting expectations about communication and productivity; and

4. 급류를 다루다.
4. Dealing with rifts.

따라서 좋은 멘토링은 상사-직원 관계보다는 [전문적인 육아적 유대감parenting bond]을 더 많이 닮습니다.
Good mentoring thus more often resembles a professional parenting bond rather than a boss-employee relationship.

원형 2: 코치
Archetype 2: The Coach


코치는 사람들에게 특정한 기술이나 과목에서 발전하는 방법을 가르친다. 일부는 코치와 멘토라는 용어를 서로 바꾸어 사용하기도 하지만, 코치는 다차원적인 성장보다는 [특정 이슈와 관련된 성과에 중점]을 두기 때문에 구별됩니다. 멘토와 달리 코치는 멘티와 보내는 시간이 적어 더 많은 개인에게 피드백을 제공할 수 있다.
A coach teaches people howto improve in a particular skill or subject. Although some use the terms coachand mentor interchangeably, coaches are distinct because they focus on performance related to a specific issue rather than growth in multiple dimensions. Unlike mentors, coaches spend less time with mentees and can thus provide feedback to a larger number of individuals.

코치와 함께 일하는 멘티들은

  • (1) 전통적인 멘토보다 코치로부터 더 적은 시간을 받을 것이며,
  • (2) 성공을 위해서는 초점이 명확한 질문(들)이 중요하며,
  • (3) 코치의 전략적 조언은 단일 이슈에 가장 적합하다는 것

...을 이해해야 한다. 여러 멘티가 모여 조언자와 특정 문제를 토론하는 그룹 세션에서도 코칭이 이루어질 수 있습니다. 코치는 멘티 성장에 중요한 역할을 하지만, 주요primary 멘토 역할을 하는 경우는 거의 없습니다. 코치는 멘티 경력 동안 일시적인 것일 수도 있지만 종종 성공에 필수적입니다.

Mentees who work with coaches should understand that

  • (1) they will receive less time from a coach than a traditional mentor,
  • (2) a focused question or set of questions are critical for success, and
  • (3) the strategic advice from a coach is best suited to a single issue.

Coaching can also occur in group sessions in which multiple mentees may converge to discuss specific issues with an advisor. Although coaches playcritical roles in mentee growth, they rarely serveas a primary mentor. They may be transient during a mentee’s career but are often vital to their success.


원형 3: 후원자
Archetype 3: The Sponsor


후원자는 프로그램, 프로젝트 또는 개인의 개발에 헌신하는 개인이다. 멘토링과 관련하여, 스폰서들은 몇 가지 면에서 구별된다. 

  • 첫째로, 후원자들은 멘티를 더 잘 보이게visible 하기 위해 그 분야에서 그들의 영향력을 사용한다. 학술 의학에서 가시성(visibility)은 국가 패널에서 서비스하거나, 스터디 섹션에서 시청자로 서비스하거나, 중요한 회의에서 프레젠테이션을 제공하는 권장사항을 포함할 수 있다. 
  • 둘째, 후원자들은 후배들을 추천할 때 자신의 평판을 걸고risk 한다. 따라서 이런저런 이슈에 멘티를 자주 맡는 코치와 달리 스폰서들은 기회가 주어졌을 때 실망시키지 않을 [잠재력이 높은 개인]을 추구한다. 
  • 셋째, 스폰서는 멘티에게 직접 보이지 않을 수 있다. 즉, 멘티는 스폰서가 언제 그들을 지원support했는지 모를 수 있다. 따라서, 후원자들은 멘티의 성공으로부터 직접적인 이익을 얻는 경우가 거의 없기 때문에 다른 멘토 타입들보다 더 이기적이지 않을 수도 있다. 대신, 그들은 그들의 지위를 이용하여 인재들의 분야와 파이프라인을 성장시킨다. 

A sponsor is an individual who is committed to the development of aprogram, project, or individual. With regard to mentorship, sponsors are distinct inseveral ways.

  • First, sponsors usetheir influence in a field to make mentees more visible. In academic medicine, visibility may include recommendations to serve on national panels, toserveas are viewer in study sections, or to deliver presentations at important meetings.
  • Second, sponsors risk their reputations when recommending junior colleagues. Thus, unlike coaches who often take on mentees working on one issue or another, sponsors pursue high-potential individuals that will not disappoint when given the opportunity.
  • Third, sponsors may not be directly visible to the mentee; that is, mentees may not know when sponsors have supported them. Thus, sponsors are perhaps more selfless than other mentor types because they rarely directly benefit froma mentee’s success. Instead, they use their position to grow the field and pipeline of talent. 

결과적으로, 멘티들은 스폰서에 대해서 다음을 알아야 한다.
(1) 스폰서는 유망한 기회가 스스로 나타날 때 가장 유용하다.
(2) 스폰서는 멘티 분야에는 반드시 있을 수 없지만, 멘티 분야 내에서 영향력 있는 개인을 알 수 있다.
(3) 스폰서는 재능을 발휘하기 위해 영향력을 행사함으로써 동기를 부여한다.
(4) 스폰서는 성공을 기대한다.
Consequently, mentees should know that sponsors

  • (1) are most useful when a promising opportunity presents itself,
  • (2) may not necessarily be in a mentee’s field but know influential individuals within it,
  • (3) are motivated by wielding their influence to showcase talent, and
  • (4) expect success.

(후원은 후원자의 역할을 할 수 있거나, 후원 기회가 있을 때 간과될 수 있는) 멘토를 가질 가능성이 적은 여성 멘티들에게 특히 중요한 원형이다.9 따라서 여성 멘티들은 학과장, 학과장, 학장, 학장 등 개인에게 적극적으로 후원을 구해야 한다. 더구나 제도권institutional 지도자들은 또한 여성 및 URM 멘티를 위한 형평성과 다양성을 보장하기 위해 동원되어야 한다.

Sponsorship is an especially important archetype for female mentees who may be less likely to have mentors who can act as sponsors or be overlooked when sponsorship opportunities exist.9 Thus, female mentees should actively seek sponsorship from individuals such as a division chief, a department chair, or a dean early in their academic career. Moreover, institutional leaders should also mobilize sponsors for women and underrepresented minority mentees to ensure equity and diversity.

원형 4: 커넥터
Archetype 4: The Connector


커넥터는 멘토, 코치 및 후원자를 멘티와 짝을 이룹니다. Gladwell10(p62)은 커넥터를 "우리와 세계를 연결하는 멀티플라이어"라고 설명합니다. 커넥터는 수년간의 학문적 성공으로 인해 축적된 광범위한 사회적, 정치적 자본을 가진 주요 네트워커이다. 멘토나 코치, 스폰서와 달리 커넥터는 개인 멘티에게 투자하지 않는다. 대신, 그들의 주된 관심은 그 분야가 [모든 발전 단계에서] 유망한 교수진을 끌어들이고, 유지하고, 성장시키는 데 있다. 커넥터는 보통 부장이나 부서 의장과 같은 고위 간부이며 결과적으로 전문 사회, 정부, 민간 부문 및 국제 기관에 걸친 제휴 관계를 가지고 있다. 커넥터는 레거시로부터 동기를 부여받습니다. 즉, 전문 분야 내에서나 전문 분야 전반에 걸쳐 주니어 교직원의 성장을 촉진하기 위해 광범위한 네트워크를 사용하려고 합니다.
Connectors pair mentors, coaches, and sponsors with mentees. Gladwell10(p62) describes connectors as “multipliers that link us up with the world.” Connectors are master networkers who have extensive social and political capital accrued fromyears of academic success. Unlike mentors, coaches, or sponsors, connectors are less invested in individual mentees. Instead, their main interest lies in ensuring that the field attracts, retains, and grows promising faculty at all stages of development. Connectors are usually senior leaders such as deans or departmental chairs and consequently have affiliations that span professional societies, government, the private sector, and international entities. Connectors are motivated by legacy; that is, they seek to use their extensive network to promote growth of junior faculty within and across their specialty.


결론

Conclusions


간단히 말하면, 멘토는 지도하고, 코치는 개선하며, 스폰서는 지명하고, 커넥터는 힘을 실어주지만, 멘티는 항상 이익을 얻는다.

To put it simply, the mentor guides, the coach improves, the sponsor nominates, and the connector empowers, but always the mentee benefits.

 

 

 


Review

 

JAMA Intern Med. 2018 Feb 1;178(2):175-176.

 doi: 10.1001/jamainternmed.2017.6537.

Will You Be My Mentor?-Four Archetypes to Help Mentees Succeed in Academic Medicine

Vineet Chopra 1 2Vineet M Arora 3Sanjay Saint 1 2

Affiliations collapse

Affiliations

  • 1Patient Safety Enhancement Program, Veterans Affairs Ann Arbor Healthcare System and University of Michigan Health System, Ann Arbor.

  • 2Division of Hospital Medicine, University of Michigan Health System, Ann Arbor.

  • 3Department of Medicine, University of Chicago Medical Center, Chicago, Illinois.

    • PMID: 29181497

 

임상교육자에서 교육적 학자, 그리고 리더: HPE분야에서 커리어 개발(Clin Teach, 2020)

From clinical educators to educational scholars and leaders: strategies for developing and advancing a career in health professions education
Subha Ramani1 , Judy McKimm2 , Harish Thampy3 , Patricia S. O’Sullivan4, Gary D Rogers5 , Teri Lee Turner6, Margaret S Chisolm7, Rashmi A Kusurkar8, Richard Hays9 , Alice Fornari10 , Elizabeth K Kachur11, Keith W Wilson12, Helena P Filipe13 and Daniel J Schumacher14

 

 

 

 

도입

INTRODUCTION

 

다만 보건직의 교육자 역할이 범위, 책임, 명명법(표 1)에 따라 다르듯이, 다른 추진위원회의 학력진행 및 해석 기준도 다르다.1–4
however, just as health professions educator roles vary in scope, responsibilities and nomenclature (Table 1), so do the criteria for academic progression and interpretation by different promotion committees.1–4

 

 



권장 사항은 4가지 범주(그림 1),

The recommendations, listed under four categories (Figure 1),

 

 

 

HPE의 학자로서의 경력 시작
BEGIN A CAREER AS A SCHOLAR IN HPE

 

모든 교육자가 학술활동scholarship과 리더십을 추구하는 것은 아니지만, 학술활동에 참여하는 초보 교육자의 경우, 관심분야를 파악하고, 연구자와 학자로 구성된 팀에 합류하고, 자신의 작품이 적절한 독창적인지를 인식하고, 첫 발표나 논문을 완성하는 것을 포함한다. 이것은 압도적으로 느낄 수 있지만, 인내심, 멘토쉽 그리고 초기 실패로부터 배우는 것은 성공적인 학술활동으로 이끌 수 있다. 4,5 우리는 교육 발전의 인식을 높이기 위해, 우리는 관심있는 주제에 관한 문헌을 읽고, 저널의 이메일 알림에 가입하고, 전문 협회나 온라인 커뮤니티에 가입하고, 그리고 자신이 속한 교육 환경에서 연구가능한 잠재적인 영역을 성찰할 것을 제안한다. 이를 통해 학부, 대학원 및 지속적인 전문 개발 교육에서 해결해야 할 격차를 파악할 수 있습니다.

Not every educator wants to pursue scholarship and leadership; however, for novice educators who wish to engage in scholarship, strategies that can help you get started include identifying areas of interest, joining a team of researchers and scholars, recognising whether your work is adequately original and completing that first presentation or paper. This can feel overwhelming, but perseverance, mentorship and learning from initial failures can guide successful scholarship.4,5 To raise awareness of educational developments, we suggest reading literature on topics of interest, subscribing to e-mail alerts from journals, joining professional associations or online communities and reflecting on potential areas for inquiry in one’s educational setting. This helps to identify gaps that need to be addressed in undergraduate, postgraduate and continuing professional development education. 

 

여러 아이디어를 추구하는 것이 유혹적이지만 관심의 Niche(예: 평가, 전문적 정체성 형성, 시뮬레이션)를 찾는 것은 전문지식의 개발을 가속화할 수 있다. 만약 여러분이 교육자나 연구자로서 자신을 더 발전시키고 싶다면, 공식적인 학습은 매우 가치 있을 수 있습니다. 이를 통해 HPE에서 사용되는 전문 용어, 이론 및 개념(실용 전략)을 활용할 수 있습니다. 도서관 관리자와 함께 작업하는 방법을 배우거나 온라인 리포지토리를 사용하여 관심 영역에서 최신 정보를 유지하기 위해 문헌 검색을 실행하는 것이 유용합니다.4
Although it is tempting to pursue multiple ideas, finding a niche of interest (e.g. assessment, professional identity formation, simulation) can accelerate the development of expertise. If you are keen to develop yourself further as an educator or researcher, then formal learning can be invaluable. This will equip you with the jargon, theories and concepts (as well as practical strategies) used in HPE. It is useful to learn how to work with a librarian or use an online repository to run literature searches to stay updated in your area of interest.4


중견 교육 학자로서의 지속적인 발전
CONTINUE TO ADVANCE AS MIDCAREER EDUCATIONAL SCHOLARS


문헌을 읽고, 회의에 참석하고, 연구결과를 발표 및 출판함으로써 교육학자들의 공동체에 가입한 후, 여러분의 학문적 관심사를 공고히 하는 것에 대해 생각해 보세요. 주변으로부터 학계의 중심으로 나아가고 학문적 생산의 모멘텀을 유지하려고 노력하라. 만약 여러분이 임상적 의무와 교육적 의무를 모두 가진 교육자라면, 여러분의 교육적인 일을 두 번 세어 보도록 노력하세요.

  • 즉, 여러분이 디자인하고 있는 교육 자원을 출판하고
  • 그 결과 여러분의 직업 (당신이 돈을 받고 하는 일)을 여러분의 전문직업적 천직 (당신이 어떻게 영향을 주고 싶은가)과 맞추려고 노력하세요.

After joining a community of educational scholars by reading the literature, attending meetings and presenting and/ or publishing your work, think about consolidating your scholarly interests. Seek to move from the periphery towards the centre of a scholarly community and sustain the momentum of scholarly outputs. If you are an educator with both clinical and educational obligations, try to make your educational work count twice, i.e. 

  • try to publish the educational resources that you are designing and thus 
  • align your occupation (what you are paid to do) with your professional vocation (how you want to make an impact).8 

 

단지 독창적인 연구만이 학술활동은 아니다.

Scholarship is not just original research.

 


상자 1. Glassick의 교육 학술활동 우수성 기준 9
Box 1. Glassick’s standards of excellence in educational scholarship9

• 명확한 목표: 현장에서 중요한 질문을 식별하고, 작업의 목적을 명확히 설명하며, 현실적이고 달성 가능한 목표를 설정한다.
• Clear goals: identify important questions in the field, clearly state the purpose of the work, and establish objectives that are realistic and achievable

• 적절한 준비: 현장에서의 기존 연구에 대한 이해도를 보여주고, 프로젝트 수행에 필요한 기술과 자원을 개발한다.
• Adequate preparation: show an understanding of existing scholarship in the field, and develop the necessary skills and resources to conduct the project

• 적절한 방법: 목표에 적합한 방법을 사용하고, 이를 효과적으로 적용하며, 상황 변화에 대응하여 수정
• Appropriate methods: use methods appropriate to the goals, apply them effectively and modify them in response to changing circumstances

• 유의미한 결과(이 단계는 교육 목표의 달성을 의미하며, 통계적 유의성을 의미하지 않음): 목표를 적절히 달성해야 하며, 현장에 추가해야 하며, 추가 탐사를 위해 영역을 개방해야 한다.
• Significant results (this step refers to the achievement of educational goals and not to statistical significance): goals should be achieved adequately, should add to the field and should open areas for further exploration

• 효과적인 프레젠테이션: 효과적인 스타일, 조직, 명확성과 무결성으로 작업 제시
• Effective presentation: present work using effective style, organisation, and with clarity and integrity

• 성찰적 비평: 자신의 작업을 비판적으로 평가하고, 향후 작업의 품질을 개선하기 위해 성찰 사용

• Reflective critique: critically evaluate your own work, and use reflections to improve the quality of future work

 

 

교육 기관의 교육 승진 기준을 숙지하고(가능한 경우 위원회에 봉사), 장학금/학업 활동 선택에 대해 전략적으로 행동하고, 활동을 문서화하고, 영향을 미치는 증거를 수집하십시오. 많은 기관에서는 교육 포트폴리오를 유지 관리해야 합니다. 예는 https://www.mededportal.org/publication/626/ 에서 확인할 수 있습니다. 멘토와 동료는 경력 개발에 대한 조언과 CV 및 교육 포트폴리오에 대한 피드백을 제공할 수 있습니다. 많은 교육자들은 그들의 시간과 충고에 관대하다; 여러분이 이미 알고 있는 학자들과 지도자들에게 연락하는 것이나 여러분이 알지 못하는 사람들에게 이메일을 보내 지도를 받는 것을 주저하지 마시오

 

Try to familiarise yourself with your institution’s educational promotion criteria (serve on the committee if possible), and be strategic about your choice of scholarship/academic activities, document your activities and gather evidence of their impact. Many institutions require staff to maintain a teaching portfolio: an example can be found at https://www.mededportal.org/publication/626/. Mentors and colleagues can provide advice on career development and feedback on your CV and educational portfolio. Many educators are generous with their time and advice; do not hesitate to reach out to scholars and leaders you already know and to e-mail people you don’t know for guidance. 

 

교육 회의에 참석하고 자원봉사를 하며, 교육 기관 외부의 교육자들과 워크숍을 지원하고, 소셜 미디어에 참여하면 국내외 협력자 및 조직과 연계하는 데 도움이 될 수 있습니다. 네트워크를 구축할 수 있는 기회에는 워크샵에 일찍 도착하고, 모르는 사람과 나란히 앉아 공통 관심사와 프로젝트를 탐색하는 것이 포함됩니다. 여러분의 작업과 전문 지식을 간결하게 설명할 수 있는 설득력 있는 요약인 '엘리베이터 피치'를 준비하는 것을 고려해보세요.10

Attending and volunteering at educational meetings, facilitating workshops with educators outside your institution and engaging in social media can help you to connect with national and international collaborators and organisations. Opportunities to network include arriving early at workshops, sitting next to someone you do not know and exploring common interests and projects. Consider preparing an ‘elevator pitch’, a persuasive summary of your work and expertise that can be described succinctly.10

 


HPE의 리더십 역할 모색
SEEK LEADERSHIP ROLES IN HPE


리더십은 독특한 기술, 조직적 사명감, 그리고 여러분이 일하는 맥락과 시스템에 대한 이해를 필요로 한다.3 임상적 역할에서 교육적 리더십 역할로 옮기기 위해서는 정체성의 전환과 여러분 자신의 강점과 약점을 재평가해야 한다. 달성하고자 하는 직책이나 자격, 교육 철학과 비전, 그리고 이를 추진하는 방법이 포함된 5년 계획은 어떤 이니셔티브와 프로젝트에 참여할지, 어떤 프로젝트를 연기할지 결정하는 것을 더 쉽게 할 수 있습니다.
Leadership requires a unique set of skills, a sense of organisational mission, and an understanding of the context and systems within which you work.3 Moving to an educational leadership role from a clinical role requires an identity shift and a reappraisal of your own strengths and weaknesses. A 5year plan that includes positions or qualifications you would like to achieve, your educational philosophy and vision, and how to pursue it can make it easier for you to decide which initiatives and projects to engage in and which to defer.


효과적인 리더십은 교육 및 리더십, 관리 및 팔로어십(리더와 긴밀히 협력하고 정의된 목표 달성을 위해 적극적으로 기여하는 높은 효과의 팀 구성원)에 대한 문헌을 연구하고 새로운 아이디어를 발견하여 적용하려는 의지를 포함한다.3 효과적인 리더는 또한 기술도 있다. 심리적으로 안전한 환경, 관계 구축, 팀 전체의 제안을 존중하고 초대합니다. 전문적 개발 활동은 

  • 학문적 리더십, 
  • 변화 관리, 
  • 회의 주재하기,
  • 위임 및 권한 부여,
  • 협상,
  • 공개 연설,
  • 재무 관리,
  • 프로젝트 계획 및 관리,
  • 감성 지능

...등의 특정 기술을 개발하는 데 도움이 될 수 있습니다.11
Effective leadership involves studying the body of literature on education and leadership, management and followership (highly effective team members who work closely with leaders and actively contribute towards the accomplishment of defined goals), and a willingness to discover and apply new ideas.3 Effective leaders are also skilled at creating a psychologically safe environment, relationship building, and respecting and inviting suggestions from the whole team. Professional development activities can help to develop specific skills in: academic leadership, change management, leading meetings, delegation and empowerment, negotiation, public speaking, financial management, planning and project management, and emotional intelligence.11

지역 및 국가 교육 위원회와 태스크포스(TF)에 참여할 수 있도록 지원 또는 추천을 요청합니다. 지역 및 지역 사회에 참여하고, 지역 지도자들과 네트워킹하며, 서서히 국가 및 국제 사회 위원회로 여러분의 시야를 넓힐 것을 권합니다. 소규모 프로젝트를 관리하거나 집중적인 평가 방법을 개발 및 구현하는 등 작은 리더십 역할을 기꺼이 맡으십시오. 열정, 마감 시간, 편안한 영역의 여백에 있는 업무를 포함하여 기꺼이 업무를 맡으려는 의지는 다른 사람들이 여러분의 리더십 잠재력을 인식하고 미래의 기회에 대해 생각해 볼 수 있도록 도와줄 수 있습니다.
Volunteer or solicit nominations to serve on local and national education committees and task forces. We recommend getting involved with local and regional societies, networking with regional leaders, and slowly expanding your horizon to national and international society committees. Be willing to take on small leadership roles, such as managing small projects or developing and implementing a focused assessment method. Enthusiasm, meeting deadlines and a willingness to take on tasks, including those at the margins of your comfort zone, can help others to recognise your leadership potential and think about you for future opportunities.

리더십 역할을 하는 코치, 멘토, 동료, 친구들을 관찰하는 것은 풍부한 경험이 될 수 있다. 그들과 가까운 동료들에게 여러분이 다른 사람들에게 어떻게 영향을 미치는지, 여러분의 강점과 발전을 위한 영역, 그리고 여러분의 리더쉽 스타일을 어떻게 기를 수 있는지에 대해 정직하고 건설적인 피드백을 줄 것을 요청하세요. 상사와 효과적인 관계를 유지하고(관리) 성공과 과제에 대해 상사와 계속 연락하는 것은 중요하며, 심지어 어떤 계층에서든 최고에 근접해 있을 때도 마찬가지입니다. 문제 해결 기술을 입증하고 더 나은 결과를 얻을 수 있도록 돕는다면 더 큰 리더십 자리에 적합한 후보자로 간주될 수 있습니다.
Observing coaches, mentors, colleagues and friends in their leadership roles can be a rich experience. Ask them as well as near peers to give you honest, constructive feedback on how you impact others, your strengths and areas for development, and how you can cultivate your leadership style. Maintaining an effective relationship with your supervisors (‘managing up’) and keeping them informed about your successes and challenges are important, even when one is near the top of any hierarchy. You may be regarded as a sound candidate for larger leadership positions if you demonstrate problemsolving skills and help to deliver better outcomes.

 

 

업무 관계를 종료해야 할 때는 갈등 없이 종료하는 것이 중요하다. 리더십 역할을 맡은 후에도 경력 개발은 계속되며, 한 번 관리했던 동료와 함께 일하거나 이전에 업무 관계를 맺었던 동료에게 보고하는 자신을 발견할 수 있습니다.

When working relationships need to be terminated, it is important to do so without conflict. Career development continues even after taking on leadership roles, and you may find yourself working alongside or reporting to colleagues you once managed or with whom you had a prior working relationship.

 

보건 전문가 교육자로서 성찰적 실천에 참여
ENGAGE IN REFLECTIVE PRACTICE AS A HEALTH PROFESSIONS EDUCATOR


모든 직업 단계에서 자기 인식, 긍정적인 사고방식, 그리고 성찰적 실천은 성장에 매우 중요하다. 성찰적 관행은 다음의 능력을 포함한다.

  • (활동 중, 즉각적인 행동 변화를 초래하는), 
  • (활동 후, 행동 계획의 미래 변화를 위한) 그리고 
  • (개인적, 전문적 및 제도적 성장을 위한) 

At all career stages, self-awareness, a positive mindset and reflective practice are critical for growth. Reflective practice includes the ability to reflect

  • in (during an activity, resulting in immediate change in action),
  • on (after an activity, for future change in action plans) and
  • for (towards goals for personal, professional and institutional growth) action.12


호기심, 협업, 진정성, 창의성, 일관성, 겸손함, 자신의 가치를 기관의 가치관과 일치시키는 능력은 성찰적 실천에 필수적인 자질이다. 이러한 특성은 조직적/제도적 차원에서 의미 있고 지속 가능한 변화를 위한 길을 닦으며, 효과적인 학자이자 리더가 되는 것의 일부입니다. 다른 사람들에게 영감을 주고 멘토링하는 능력, 동료, 후배, 선배들과 기꺼이 협력하려는 의지, 그리고 그들의 전문지식과 경험에 대한 인정 등이 다른 중요한 자질이다.
Curiosity, collaboration, authenticity, creativity, consistency, humility and the ability to align your own values with those of the institution are essential qualities for reflective practice. These characteristics pave the way for meaningful and sustainable change at the organisational/institutional level, and are part of being an effective scholar and leader. Other important qualities include the ability to inspire and mentor others, the willingness to collaborate with peers, juniors and seniors, and the acknowledgement of their expertise and experience.

경험이 풍부한 학자와 리더는 새로운 실무 영역을 탐색하고 새로운 기술을 개발하기 위한 활동을 지속적으로 모색합니다. 이러한 활동을 통해 조직 외부에 피어 멘토링 그룹을 구축할 수 있습니다. 중후반 경력 교직원의 경우 컨퍼런스 프레젠테이션, 오디오북, 웨비나, 워크샵, 팟캐스트 및 문학 독서의 선택을 통한 자기정리는 최신 상태를 유지하고 새로운 아이디어를 발견하는 데 적절한 수단이다. 이는 단순히 편견이 될 수 있는 기존의 신념을 강화시키는 것이 아니라 개방적이고 호기심을 갖는 것을 요구한다.
Experienced scholars and leaders continually seek out activities to explore new areas of practice and to develop new skills. Such activities can build a peer-mentoring group outside your own organisation. For the midto latecareer faculty member, selfcuration through the selection of conference presentations, audiobooks, webinars, workshops, podcasts and literature reading is an appropriate means for staying current and discovering new ideas. This requires staying open and curious, rather than merely reinforcing existing beliefs that could become prejudices.

가능할 때마다 전문적 발전을 위해 실천 공동체(CoP; 관심, 열정, 약속을 공유하는 그룹)에 참여하라.13 초보 교육자로서 여러분은 CoP의 주변부에서 시작할 수 있지만, 여러분이 경력을 쌓으면서, 커뮤니티와 더 많이 참여하고 중앙으로 더 가까워질 것이다. 리더로서 공동의 가치와 공유된 약속과 자원에 이상적으로 고정된 CoP의 개발을 육성하고, 커뮤니티에 새로운 구성원이 들어오는 것을 환영하며, 모든 사람이 커뮤니티 내에서 지속적인 학습과 성장에 기여할 수 있도록 한다.
Whenever feasible, engage in a community of practice (CoP; a group with shared interests, passion and commitment who learn from each other) for professional development.13 As a novice educator, you may start at the periphery of a CoP; however, as you advance in your career, you will engage more with the community and will move closer to the centre. As a leader, nurture the development of CoPs, ideally anchored in common values and shared commitments and resources, welcome new members into the community, and allow everyone to contribute to continuing learning and growth within the community.

긍정탐구는 프로그램 개발 및 구현에 도움이 되는 프레임워크이다.14 문제 해결에 초점을 맞추는 것과 대조적으로, 긍정탐구는 고장난 것을 고치려고 하기보다는 긍정적인 결과를 파악하고 미래에 잘 될 수 있는 것을 상상함으로써 스스로 결정한 변화에 관여한다. 마지막으로 멘티와 멘토에게 혜택을 극대화하기 위해 멘토링 스킬 개발에 힘써야 합니다.15 이러한 능력은 연공서열만으로 자동으로 개발되는 것이 아니며, 이를 위해서는 전문적 개발에 대한 협업적인 휴머니즘적 접근법이 필요합니다.

Appreciative inquiry is a helpful framework for programme development and implementation.14 In contrast to a focus on problem solving, appreciative inquiry engages in selfdetermined change by identifying the positive outcomes and envisioning what might work well in the future, rather than trying to fix what is broken. Finally, work on mentorship skill development in order to maximise the benefits to the mentee and the mentor.15 You do not automatically develop these capabilities just by seniority, and this requires a collaborative humanistic approach to professional development.


 

 

 

 

 

 


Clin Teach

  •  
  •  
  •  

. 2020 Oct;17(5):477-482.

 doi: 10.1111/tct.13144. Epub 2020 Feb 19.

From clinical educators to educational scholars and leaders: strategies for developing and advancing a career in health professions education

Subha Ramani 1Judy McKimm 2Harish Thampy 3Patricia S O'Sullivan 4Gary D Rogers 5Teri Lee Turner 6Margaret S Chisolm 7Rashmi A Kusurkar 8Richard Hays 9Alice Fornari 10Elizabeth K Kachur 11Keith W Wilson 12Helena P Filipe 13Daniel J Schumacher 14

Affiliations collapse

Affiliations

  • 1Harvard Medical School, Boston, Massachusetts, USA.

  • 2Swansea University Medical School, Swansea, UK.

  • 3University of Manchester, Manchester, UK.

  • 4University of California San Francisco School of Medicine, San Francisco, California, USA.

  • 5Griffith University School of Medicine, Gold Coast Campus, Queensland, Australia.

  • 6Baylor College of Medicine, Texas Medical Center, Houston, Texas, USA.

  • 7Johns Hopkins University School of Medicine, Baltimore, Maryland, USA.

  • 8Faculty of Medicine, Vrije Universiteit Amsterdam, Amsterdam, the Netherlands.

  • 9James Cook University, Townsville, Queensland, Australia.

  • 10Donald and Barbara Zucker School of Medicine at Hofstra/Northwell, Hempstead, New York, USA.

  • 11Medical Education Development, Global Consulting, New York, USA.

  • 12Dalhousie University, Halifax, Nova Scotia, Canada.

  • 13Department of Medical Education, University of Lisbon, Lisbon, Portugal.

  • 14University of Cincinnati College of Medicine, Cincinnati, Ohio, USA.

    • PMID: 32072757

 

보건전문직 교육에서 성장형 마음가짐 이론을 특징짓는 것에 대한 고찰(Med Educ, 2020)

A review to characterise and map the growth mindset theory in health professions education
Michael D. Wolcott1,2 | Jacqueline E. McLaughlin1,3 | Alice Hann3 | Amelia Miklavec3 | Gary L. Beck Dallaghan4 | Denise H. Rhoney1 | Meg Zomorodi5

 

 

 

1 도입

1 | INTRODUCTION

 

보건 전문가에서 학습하려면 학생과 임상의가 복잡하고 어려운 환경에서 효과적으로 기능해야 합니다. 우리는 종종 어떤 개인이 번창하는thrive 반면 다른 사람들은 비틀거리는stumble 것을 관찰합니다. 이러한 관찰된 변동성을 설명하고 이해하기 위해, 많은 사람들이 목표를 달성하거나 도전을 극복하려는 동기 부여에 영향을 미치는 요인을 가정했다.1-3
Learning in the health professions requires students and clinicians to function effectively in complex and challenging environments — we often observe some individuals thrive while others stumble. To describe and understand this observed variability, many have hypothesised the factors that influence our motivation to achieve a goal or overcome a challenge.1-3

동기적 영향을 설명하는 한 그룹의 이론은 목표 지향에 초점을 맞춘다. 

동기적 영향을 설명하는 한 그룹의 이론은 목표 지향성에 초점을 맞추는데, 여기에는 우리가 성취에 초점을 맞추는지 아니면 학습에 초점을 맞추는지의 여부가 포함된다.

  • 성과 지향적인 개인은 종종 다른 사람보다 저조한 수행을 보이지 않는 것(예: performance-avoidance) 또는 다른 사람들보다 더 뛰어난 성과를 내는 노력(예: performance-approach)에 집중한다.
  • 대조적으로, 학습 지향적인 개인들은 다른 사람들과의 비교보다는 새로운 지식이나 기술을 배우고 개발하는 가치에 초점을 맞춘다.

지능의 암묵적 이론은 (일반적으로 성장형 마음가짐 이론으로 알려져 있는) 목표 지향성이 종종 그들의 [지능이나 능력(즉, 사고방식)의 통제 가능성에 대한 개인의 신념]에 의해 영향을 받는다고 주장한다.
One group of theories that describe motivational influences focus on goal orientation, which include whether our focus is on performance or learning.3, 7, 8 A performance-oriented individual is often highly focused on not performing more poorly than others (eg performance-avoidance) or trying to outperform others (eg performance-approach).9-11 In contrast, learning-oriented individuals are focused on the value of learning and developing new knowledge or skills rather than the comparison to others.1,2 The implicit theory of intelligence—more commonly known as growth mindset theory— posits that goal orientation is often influenced by an individuals’ belief about the controllability of their intelligence or abilities (ie mindset).7,12,13

 

 

성장 사고방식 이론의 요약본은 암묵적 사고방식이 고정과 성장의 두 극단적 스펙트럼에 따라 달라진다는 것을 제안한다. 

  • 좀 더 고정된 사고방식(즉, 실체적 사고방식)을 가진 개인들은 지성과 능력이 정적이고 성공이 재능에서 나온다고 믿는 반면, 
  • 성장 사고방식(즉, 증분적 사고방식)을 가진 개인들은 이러한 특성이 악랄하고 성공이 노력에서 나온다고 믿는다. 7,12,13

The abridged version of the growth mindset theory proposes that implicit mindsets vary along a spectrum of two extremes: fixed and growth. Individuals with a more fixed mindset (ie entity mindset) believe intelligence and ability are static and success comes from talent, whereas individuals with a more growth mindset (ie incremental mindset) believe these traits are malleable and success comes from effort.7,12,13



우리의 사고 방식은 상황에 따라 다르며, 나이에 따라 변할 수 있으며, 우리가 어떻게 도전에 접근하고 지속하는지에 영향을 미친다(표 1). 물론, 우리의 동기는 [목표 지향성]과 [사고방식]의 복잡한 상호작용을 포함하며, 이는 다른 행동에 의해 드러난다. 여기서 설명하는 과정은 다른 사람들에 의해 상세히 설명되는 단순화된 접근 방식을 제공한다.

Our mindsets appear to be situation specific, can change with age and have implications for how we approach challenges and persist (Table 1).14 Of note, our motivation involves a complex interaction of our goal orientation and mindset that manifests in different behaviours—the process described here offers a simplified approach that has been elaborated by others.1-3


초등학교와 중학교 환경에서 성장 마인드 이론의 광범위한 사용에도 불구하고, 건강 직업 교육에서의 적용은 불완전하게 이해된다.
Despite widespread use of growth mindset theory in primary and secondary school settings, the application in health professions education is incompletely understood.

[성장형 마음가짐 개입]의 예는 대부분 초등학교와 중학교 환경에서 발견된다. 성장형 마음가짐 개입은 종종 교육자와 학습자에게 이론에 대해 가르치고, 지능은 목적적 노력을 통해 변형될 수 있다는 것에 초점을 맞춘다. 이러한 개입을 통한 훈련은 종종 성장 사고방식이 어떻게 탄력성과 지속성을 촉진하는지 설명하는 연구를 통합하는데, 이는 고차원의 기술과 지식을 얻는 데 중요하다. 성장 마인드를 뒷받침하기 위해, 전략은 자기 대화를 개선하고 성취 대신 진보를 보상하며 동료와 교육자 사이의 보다 효과적인 관계를 촉진함으로써 개인들을 도울 수 있다.

Examples of growth mindset interventions are mostly found in primary and secondary school settings.15-18 Growth mindset interventions often focus on teaching educators and learners about the theory and that intelligence is malleable via purposeful effort; training through these interventions often incorporates research describing how a growth mindset promotes resilience and persistence, which are important for acquiring higher-order skills and knowledge.19 To support a growth mindset, strategies can assist individuals by improving selftalk, rewarding progress instead of achievement and promoting more effective relationships between peers and educators.7,12,13

 

 




2 | 방법

2 | METHODS

 

보건직업 교육에서 성장 마인드 기사를 파악하기 위한 체계적인 검토가 진행됐다.
A systematic review was conducted to identify growth mindset articles in health professions education.


팀 구성원은 개요들을 상황별 또는 의도된 청중(예: 건강직업 내 또는 외부 교육)과 유형별(해설, 독창적인 연구 또는 기타 출판 유형)으로 분류했다.
The team members classified the abstracts by context or intended audience (eg either within or outside health professions education) and by type (eg either commentary, original research or other publication type).

  • 주요 이론 토크 기사(n = 14)는 설계, 데이터 분석 또는 이론과 관련된 이론 또는 도구를 테스트하는 등 성장 사고방식을 연구의 중요한 특징으로 사용했습니다.
  • 중등도 이론 토크 기사(n = 13)는 Dweck의 성장 사고 방식 이론을 [참조하거나 기술]한 반면,
  • 사소한 이론 토크 기사(n = 32)는 성장 사고 방식 또는 관련 구성 요소에 대한 [언급이 거의 없거나 전혀 없었다]. 사소한 이론 토크 기사들은 이론이나 그 적용 가능성에 대해 자세히 설명하지 않았기 때문에 제외되었다.
  • Major theory talk articles (n = 14) used growth mindset as a significant feature of the study, such as informing the design, the data analysis or to test the theory or instrument related to the theory. 
  • Moderate theory talk articles (n = 13) referenced or described Dweck's growth mindset theory, whereas 
  • minor theory talk articles (n = 32) had little or no reference to growth mindset or related components. Minor theory talk articles were excluded because they did not elaborate on the theory or its potential application.

 

 

3 | 결과

3 | RESULTS

 

3.1 | 건강 직업 교육에서 성장 사고방식의 어떤 측면이 연구되고 있는가?
3.1 | What aspects of growth mindset are being researched in health professions education?

 

 

연구 논문의 서술적 요약은 표 2에 제시되어 있다. 연구 기사에는 의학(n = 4; 29%), 수의학(n = 4; 29%), 간호(n = 2; 14%), 물리치료(n = 1; 7%), 약국(n = 1; 7%), 다중직업(n = 2; 14%)의 참가자가 있었다. 연구는 미국(n = 6; 43%), 영국(n = 3; 21%), 캐나다(n = 3; 21%), 스웨덴(n = 1; 7%), 호주(n = 1; 7%)를 포함한 여러 국가에서 수행되었습니다. 대부분의 연구 참가자는 학생(n = 11; 79%)이었고, 나머지 연구에는 면허를 받은 의사(n = 2; 14%)와 교수(n = 1; 7%)가 포함되었다.
A descriptive summary of the research articles is provided in Table 2. Research articles had participants from medicine (n = 4; 29%), veterinary medicine (n = 4; 29%), nursing (n = 2; 14%), physical therapy (n = 1; 7%), pharmacy (n = 1; 7%) and multiple professions (n = 2; 14%). Research has been conducted in multiple countries including the United States (n = 6; 43%), United Kingdom (n = 3; 21%), Canada (n = 3; 21%), Sweden (n = 1; 7%) and Australia (n = 1; 7%). Most research study participants included students (n = 11; 79%), and the remaining studies included licensed practitioners (n = 2; 14%) and faculty (n = 1; 7%).

연구의 86%(n = 12)는 참가자의 사고방식을 측정하고 자가 진단 의료 오류 및 척도의 근성, 회복력, 불안 및 성과와 같은 다른 변수와의 상관관계를 평가했다. 대부분의 연구(n = 7, 50%)는 참가자들에게 일반 지능과 변경 능력에 대한 진술에 대한 동의를 평가하도록 요구하는 인텔리전스 인벤토리 이론 또는 Dweck의 사고방식 계측기를 통합했습니다. 8,12 연구는 계측기에서 사용한 질문의 수가 2개에서 20개 항목까지 다양했습니다.,33,35

Eighty-six percent of the research studies (n = 12) measured participant mindset and evaluated its correlation with other variables, such as self-reported medical errors and scales measuring grit, resilience, anxiety and performance. Most studies (n = 7, 50%) incorporated the Theories of Intelligence Inventory or Dweck's Mindset Instrument, which asks participants to rate their agreement with statements about their general intelligence and the ability to change it.8,12 Studies varied in the number of questions they used from the instrument ranging from 2 to 20 items.24-26,28,32,33,35


세 가지 연구는 임상 추론, 전문적 추론, 커뮤니케이션, 재능, 도덕적 성격 및 공감을 포함한 영역별 능력의 사고방식을 측정하기 위한 [수정된 도구]를 설명하였다.
이러한 연구는 사고방식에 대한 교육, 문화 및 기타 배경의 차이가 미치는 영향에 초점을 맞췄다. 영역에 기초한 사고방식에 상당한 차이가 있었다. 그러나 사고방식의 차이는 교육이나 인구통계학과는 상관관계가 없었다.
두 개 연구는 사고방식과 학습 전략 및 행동의 척도를 포함하는 학습 전략의 윌리엄스 인벤토리를 사용했다. 성장 사고방식과 증거 기반 학습 전략의 사용 사이에는 상관관계가 있었다.

Three studies described modified instruments for measuring mindset of domain-specific abilities, including clinical reasoning, professional reasoning, communication, talent, moral character and empathy.29,31,34 These studies focused on the impact of educational, cultural and other background differences on mindset measures— there were significant differences in mindset based on the domain; however, mindset differences were not correlated with education or demographics.31 Two studies used the Williams Inventory of Learning Strategies, which includes a measure of mindset and measures of learning strategies and behaviours—there were correlations between growth mindset and the use of evidence-based learning strategies.36,37

연구 결과는 측정된 영역에 따라 30%-90% 범위의 값을 갖는 참가자의 성장 및 고정 마인드셋의 변동성을 보여주었지만, 한 연구에서는 성장 마인드 측정치를 보고하지 않았다. [고정된 사고방식]과 스트레스와 불안의 척도가 상관관계가 있는 반면, [성장 사고방식]은 심리적 행복과 상관관계가 있었다. 반대로, 몇 가지 연구는 자가 보고한 의료 오류, 성적 평균, 의사소통 및 정신 건강 측면과의 상관관계가 없거나 거의 없었다. 프로그램 구현 후 사고방식에 미치는 영향을 평가한 연구는 단 한 개뿐이다. 이 연구는 간호학과 학생들과 한 시간 동안 교육적으로 개입하는 것을 포함했고, 자기계발적인 성장 사고방식의 증가라는 것을 통계적으로 입증했다.

The study results showed variability in growth and fixed mindsets across participants with values ranging from 30%-90% depending on the domain measured; however, one study did not report the growth mindset measures.35 There were some correlations of fixed mindsets with measures of stress and anxiety, while a growth mindset was correlated with psychological well-being.25, 29, 33 Conversely, several studies showed no to minimal correlation with self-reported medical errors, grade point average, communication and mental health aspects.24,26,32,35 Only one research study evaluated the impact on mindset measures following a programme implementation—this study included a one-hour educational intervention with 35 nursing students and demonstrated a statistically significant increase in the self-reported growth mindset measures.36


 


3.2 | 성장 마인드 이론의 잠재적인 이득은 무엇인가?
3.2 | What potential benefits of growth mindset theory are being discussed?


모든 논평과 연구 기사들은 성장 사고방식의 접근법이 다른 분야에서 발표된 연구로부터 적어도 한 가지 이점을 갖는다고 주장했다. 그림 2A에는 설명된 편익의 포괄적인 목록이 나와 있습니다.
All commentaries and research articles advocated that the growth mindset approach had at least one benefit from published research in other disciplines. A comprehensive list of described benefits is mapped in Figure 2A.

학습자의 이익에 대해 가장 일반적으로 설명한 것은 성장 사고방식은 다음을 돕는다.

  • 회복력과 인내력을 높이고자 하는 욕구를 강화한다.
  • 피드백을 구하고 수용한다.  
  • 배움의 기회로서 실패에 개방적이다.
  • 프로세스에 초점을 맞추어 보다 목표 지향적인 동기를 제공한다   
  • 심리적 행복, 자존감, 자신감을 향상시킨다.

The most commonly  described  learner  benefits  were  that  a  growth  mindset  can

  • reinforce a desire to increase resiliency and perseverance,
  • seek and be  receptive  to  feedback,  
  • offer  an  openness  to  failure  as  a  learn-ing  opportunity,  
  • provide  a  more  goal-oriented  motivation  focused on  process  and  
  • improve  psychological  well-being,  self-esteem  and confidence. 



교육자를 위한 성장 마인드 접근 방식은 협력적이고 신뢰할 수 있는 관계를 구축하고 안전한 학습 환경을 조성하는 것은 물론, 실패를 학습 기회로 보는 교직원의 자존감, 자신감, 자아 인식 및 개방성을 향상시키도록 장려되었다.

A growth mindset approach for educators was encouraged to build collaborative and trusting relationships and create a safe learning environment as well as improving faculty self-esteem, confidence, self-awareness and openness to viewing failure as a learning opportunity.

 

 

 

 

3.3 | 건강 직업 교육에서 성장 사고방식을 촉진하기 위한 전략은 무엇인가?
3.3 | What are the strategies for promoting growth mindset in health professions education?


모든 논평과 연구 기사들은 다른 분야의 출판된 연구로부터 성장 마인드를 증진시키기 위해 사용될 수 있는 적어도 하나의 전략을 제공했다. 성장 마인드를 촉진할 수 있는 포괄적인 전략 또는 개입 목록은 그림 2B에 나와 있습니다. 결과는 전략이 구현되어야 하는 수준(학습자, 교육자 또는 조직 수준)에 따라 분류됩니다.
All commentaries and research articles offered at least one strategy that could be used to promote growth mindset from published research in other disciplines. A comprehensive list of strategies or interventions that can promote a growth mindset is mapped in Figure 2B; the results are categorised according to the level the strategy should be implemented—the learner, educator or organisational level.

가장 자주 기술되는 [학습자 수준 전략]은 학습자 마인드셋이 시간에 따라 어떻게 변화할 수 있는지를 평가 및 추적하고, 학생들에게 성장과 고정 마인드셋에 대해 가르치고, 학습자가 수행 목표나 문자 점수 대신 진도에 초점을 맞춘 학습 목표를 만들 수 있도록 돕는 개입이었다.
The most frequently described learner-level strategies were interventions that assess and track how learner mindsets may shift over time, teach students about growth and fixed mindsets and help learners create learning goals focused on progress instead of performance goals or letter grades.

[교육자 수준의 개입]으로는 학습자에 대한 칭찬과 건설적인 피드백의 전달을 개선하는 것이 포함되었다. 특히, 권고안은 피드백이 성격 특성이나 재능 대신 노력과 관찰 가능한 행동에 초점을 맞춘다는 것이다. 다른 전략으로는 성장 사고방식 행동 모델링, 성장 사고방식 학습, 학습자 성찰 유도, 공개 토론을 통한 심리적으로 안전한 학습 환경 조성 등이 있었다.
Articles included educator-level interventions that improved delivery of praise and constructive feedback to learners; specifically, the recommendations are that feedback focuses on effort and observable behaviours instead of personality traits or talents. Other strategies included educators modelling growth mindset behaviours, learning about growth mindset, prompting learner reflection and creating psychologically safe learning environments through open discussions.

[조직 수준 전략]으로는 모든 수준에서 피드백을 우선시하고, 안전하고 정의로운 학습 문화를 확립하며, 성장 사고방식에 대한 체계적인 교육을 제공하고, 조직 구성원에게 퍼져있을 수 있는 편견과 고정관념을 식별하는 데 도움을 주는 것 등이 있다.

Organisation-level strategies described prioritising feedback at all levels of the organisation, establishing a safe and just learning culture, providing systemic training on growth mindset and helping organisation members identify their biases and stereotypes they may propagate.

 



4 | 토론
4 | DISCUSSION


[성장 사고방식 지향]의 이점에는 학습자가 피드백에 더 잘 수용하도록 돕고, 학습자와 교육자 간의 협업 관계를 지원하며, 조직 전체에 걸쳐 안전한 학습 환경을 조성하는 복원력, 인내력 및 심리적 행복에 긍정적인 영향을 주는 것이 있다. 대부분의 기사는 학습자, 교육자 및 조직 차원의 피드백 전달 및 수신을 촉진하고 실패를 정상화하기 위한 성장 사고방식 접근방식을 옹호했다.
Proposed benefits of the growth mindset orientation included helping learners be more receptive to feedback, supporting collaborative relationships between learners and educators and positive impacts on resiliency, perseverance and psychological well-being that foster safer learning environments across organisations. Most articles advocated for growth mindset approaches to facilitate feedback delivery and receipt and normalise failure at the learner, educator and organisational level.

중요한 관찰은 [사고방식을 측정하는 것] 이상으로 확장된 연구의 부족과, 성장 마인드 이론이 건강직업 교육에 혜택을 줄 수 있다는 가정이었다. 보건 전문가 교육에 대해 실시된 대부분의 연구는 학습자, 실무자 및 교수진의 사고방식을 평가했으며 종종 이러한 가치관을 다른 변수와 연관시켰다.
An important observation was the scarcity of research that extended beyond measuring mindsets and the assumption that growth mindset theory can have benefits for health professions education. Most of the research conducted in health professions education evaluated learner, practitioner and faculty mindsets and often correlated these values with other variables.


또한, 연구는 주로 학습자 사고방식에 초점을 맞추고 있으며, 사고방식을 지원하거나 줄일 수 있는 외부 요인(예: 교육자 및 조직 차원 전략)에 초점을 맞추지 않았다. 사고방식과 관련하여 조직 차원의 측면을 평가한 연구는 없으며, 단 하나의 연구만이 교수 사고방식을 측정했으며, 이는 교육자가 학습 능력을 고정된 것으로 인식하는 경우 학습자 결과에 영향을 미치는 다른 환경에서 보여졌다.51, 52
Moreover, research has focused predominantly on learner mindset and not external factors that can support or diminish their mindset (eg educatorand organisational-level strategies). No research study has evaluated organisational-level aspects in relation to mindsets, and only one research study measured faculty mindset, which has been shown in other settings to influence learner outcomes if an educator perceives learner ability as fixed.51, 52


이 검토 과정에서 관찰된 성장 마인드 연구를 수행하는 데 있어 한 가지 과제는 마인드 평가와 관련이 있습니다. 성장 사고방식 이론과 사용되는 도구들은 종종 일반적인 지능에 대한 인식에 초점을 맞추는 반면, 우리의 사고방식은 영역에 따라 달라질 수 있다는 것이 이미 입증되었다. 예를 들어, 개인은 [임상 추론]에서는 더 성장 지향적이더라도, [의사소통 능력]에서는 더 고정 지향적일 수 있다. 이러한 영역별 능력을 탐구하기 위해, 연구자들은 결과의 신뢰성과 타당성을 추가로 검증해야 할 수 있는 자체 도구를 개발해야 할 수 있다. 또한 성장, 고정 또는 혼합된 사고방식을 나타낼 수 있는 기기에서 [적절한 컷 점수]를 결정하는 것이 연구에 영향을 미칠 수 있습니다. 사고방식은 이분법 대신 연속체를 나타낸다. 따라서 이러한 차이에 민감할 수 있는 척도를 갖는 것이 중요하다.

One challenge of conducting growth mindset research observed during this review is related to mindset assessment. The growth mindset theory and instruments used often focus on perceptions of general intelligence, whereas it has been demonstrated our mindset can vary based on the domain.34,56 For example, an individual can be more growth-oriented in clinical reasoning and more fixed-oriented in communication ability. To explore these domain-specific abilities, researchers may need to develop their own instruments, which can require additional vetting of the reliability and validity of the results. In addition, identifying the appropriate cut-scores on an instrument that may indicate a growth, fixed or mixed mindset can have implications for research. Mindset represents a continuum instead of a dichotomy; therefore, having scales that can be sensitive to those differences is important.12,13

성장 사고방식 연구의 또 다른 과제는 이론의 적용 가능성의 광범위한 범위를 간과하는 것입니다. 종종 성장 사고방식은 칭찬과 피드백에만 관련된 접근법으로 권장됩니다. 

이런 일이 너무 많이 일어나 드웩은 [칭찬이 잘못된 방향이거나 평가 대상 업무와 관련이 없는] '거짓 사고방식false mindset'의 출현에 주목했다. 예를 들어, 수준 이하의 작업에 대해 (성장을 지향하는 피드백을 주면 긍정적 효과가 있을 것이라고 생각해서) 칭찬을 하는 것이다. 피드백이 이익을 주려면 진정성authentic이 있어야 한다.

Another challenge with growth mindset research is overlooking the broad scope of the theory's applicability—often growth mindset is touted as an approach that exclusively relates to praise and feedback. This has occurred so much that Dweck has noted the emergence of a “false mindset” in which praise is misdirected or does not relate to the task being evaluated.57 For example, individuals giving praise for work that was subpar under the assumption that any feedback oriented towards growth can have a positive impact; the goal is that feedback is authentic to have a benefit.

연구의 다음 단계는 의료 기관 내의 학습자, 교육자 및 다른 사람들의 사고방식을 고정된 것에서 성장으로 전환하는 것을 목표로 하는 개입을 설계하고 실행하는 데 초점을 맞추어야 한다. 또한, 연구는 성장 사고방식의 관점이 전문가 팀 간에 어떤 영향을 미치는지 살펴보고 전문가 간 교육 기회를 강화할 수 있습니다. 이러한 개입의 영향을 평가하는 것은 학업 및 직장 성과에 대한 변화에 초점을 맞출 수 있으며, 목표 지향성과 교육에 대한 우리의 접근 방식은 효과적인 학습 환경을 설계하는 데 추가적인 통찰력을 제공할 수 있다. 오스만과 동료들이 설명한 바와 같이, "아직 [성장 사고방식]의 큰 이점을 극대화하지 못한다는 데 동의합시다."(695쪽).
Next steps in research should focus on design and implementing interventions aimed to shift mindsets from fixed to growth for learners, educators and others within health care organisations. In addition, research can explore how growth mindset perspectives influence interprofessional teams and enhance interprofessional education opportunities. Evaluating the impact of these interventions could focus on changes to academic and workplace performance, goal orientations and our approaches to educational can offer additional insights in designing effective learning environments. As Osman and colleagues described it, “let's agree that we don't quite maximize [growth mindset's] great benefit…yet.” (p. 695).50




 

 

5 | CONCLUSION

 

 

 

 

 

 

 



 


Review

 

Med Educ

  •  
  •  
  •  

. 2020 Sep 21.

 doi: 10.1111/medu.14381. Online ahead of print.

A review to characterise and map the growth mindset theory in health professions education

Michael D Wolcott 1 2Jacqueline E McLaughlin 1 3Alice Hann 3Amelia Miklavec 3Gary L Beck Dallaghan 4Denise H Rhoney 1Meg Zomorodi 5

Affiliations collapse

Affiliations

  • 1University of North Carolina Eshelman School of Pharmacy, Chapel Hill, NC, USA.

  • 2University of North Carolina Adams School of Dentistry, Chapel Hill, NC, USA.

  • 3Monash University, Clayton, VIC, Australia.

  • 4University of North Carolina School of Medicine, Chapel Hill, NC, USA.

  • 5Office of the Provost, Interprofessional Education and Practice, University of North Carolina at Chapel Hill, Chapel Hill, NC, USA.

    • PMID: 32955728

 

Abstract

Introduction: Growth mindset is a motivation theory proposed by Carol Dweck that posits our beliefs about intelligence, and the ability to change mindsets can have impacts on how we approach challenges, respond to criticism challenges and orient our goals. This study characterised articles on growth mindset theory in health professions education to: summarise the aspects of growth mindset being researched, describe the discussed benefits of growth mindset theory and outline strategies discussed that may promote a growth mindset.

Methods: A systematic review of the literature yielded 4927 articles-articles were reviewed and excluded if they were outside of health professions education and did not discuss Dweck's growth mindset theory. The final review yielded 14 research articles and 13 commentaries, which were characterised and analysed using content analysis.

Results: The included articles were published in 2016 and beyond; the articles represented a diverse context, participant type and approach. Most research studies measured participant mindsets and evaluated the correlation with other variables (eg grit, well-being, anxiety). Articles often highlighted benefits and strategies to promote a growth mindset at the learner, educator and organisation level. The most common learner benefits were to help them be more receptive to feedback as well as increased resiliency and perseverance, educator benefits focused on supporting collaborative relationships and safe learning environments. The most prevalent strategies discussed were teaching learners about growth mindset theory, shifting faculty feedback to emphasise effort and to prioritise feedback across the organisation.

Conclusion: The growth mindset framework has been shown in other fields to help others manage educational challenges and enhance learning environments. Researchers are encouraged to explore how interventions such as teaching about and prioritising a growth mindset can support learners, health care professionals, educators and organisations.

 

+ Recent posts