의사소통 (스킬) 교육의 센스와 넌센스 (Patient Educ Couns. 2021)
The sense and nonsense of communication (skills) teaching - reflections from a parent and educator 

Anne de la Croix1

병원의 소아과 병동. 저는 심각한 발달 지연을 겪고 있는 제 1살짜리 아들을 진찰해 줄 신경과 의사를 초조하게 기다리고 있습니다. 신경과 의사가 5~6명의 수련생을 옆에 두고 들어옵니다. 그는 나에게 작은 인사말을 건네고, 연습생들에게 자신의 연구 결과를 보고하며 내 아이에게 집중한다. 신체검사 후 신경과 의사가 아들의 이름을 불러달라고 합니다. 저는 방구석에서 순종적으로 그렇게 합니다. 아이가 제 목소리에 반응하지 않았다. 이럴 줄 알았어. 제 아들과 저 사이의 연락과 유대감이 부족해서 매우 화가 났습니다. 아직도 나를 등지고 있는 신경과 의사는 그의 훈련생들에게 말한다: '봐, 엄마의 목소리에 전혀 반응이 없어. 이거 적어놨어? 그는 나를 쳐다보지 않는다. 공감대도, 연결도, 소통도, 공감도 없다. 얼마 지나지 않아 그가 내게 작별인사를 건네자 수련 중인 젊은 의사단이 방을 떠난다. 그들 중 한 명이 동정 어린 눈빛으로 나를 바라본다. 나는 아들을 안고 슬퍼요.
A pediatric ward of a hospital. I am nervously waiting for a neurologist who will examine my 1-year-old baby boy who has severe developmental delays. The neurologist walks in, with 5 or 6 trainees by his side. He nods a small greeting to me, and focuses on my child, reporting his findings to the group of trainees. The neurologist, after a physical examination, asks me to call out my son’s name. I obediently do so, from the corner of the room. My child does not respond to my voice. I knew this would happen. The lack of contact and bonding between my son and me has been extremely upsetting. The neurologist, still with his back towards me, says to his trainees: ‘See, no response to mother’s voice at all. Did you write this down?’. He does not look at me. There is no rapport, no connection, no communication, no empathy. Shortly after that, he gives me a nod goodbye and the troupe of young doctors in training leaves the room. One of them looks at me with sympathy. I pick up my son and feel sad.

이틀 뒤에. 의과대학 교습실. 저는 12명의 어린 의대생들에게 의사소통과 직업적 행동에 대해 가르치고 있습니다. 저는 이 중요한 주제들에 대해 그들과 대화해야 한다는 새로운 긴박감을 느낍니다. 그들은 관절염과 우울증을 모두 가진 환자를 연기하는 배우와 함께 역사를 연습한다. 공감, 환자의 관점, 연결고리에 대해 이야기하는 좋은 세션입니다. 

수업이 끝날 때, 저는 이렇게 묻습니다: '이 세션을 마치기 전에 할 말이나 질문이 있나요?' '

몇 명이 손을 든다: 공감이 되는 문장을 다시 한 번 말씀해 주시겠어요, 검사에 유용할 것입니다.' '환자 자신의 생각과 인식에 대한 질문은 건너뛰어도 괜찮을까요? 그것은 너무 많은 시간이 걸리고, 우리는 시험에서 8분밖에 받지 못합니다.' 그들은 

Two days later. A teaching room at a medical school. I am teaching twelve young medical students about communication and professional behavior. I feel a renewed sense of urgency to talk with them about these important topics. They practice history taking on an actor who portrays a patient with both arthritis and depression. It is a good session in which we talk about empathy, the patient’s perspective, and making a connection.

At the end of class, I ask: ‘Do you have anything to say or ask before we close this session?’

A few hands go up: ‘Could you repeat the sentence that shows empathy, it will be useful for the exam,’ ‘Is it ok to skip the question about the patient’s own ideas and perceptions? It takes so much time, and we only get 8 minutes in the exam.’

배우고 싶어하고 의사가 되기를 열망하지만, 무엇보다도, 학생은 다음 시험에 합격하기를 열망한다. 나는 세션을 닫고 슬픕니다.

They are eager to learn, eager to become doctors, but most of all: eager to pass their next exam. I close the session and feel sad.

이 두 가지 상호작용은 모두 8년 전에 일어났으며, 제 사생활과 직장 생활 사이의 불협화음의 시기를 나타냅니다.
Both these interactions took place eight years ago and represent a period of dissonance between my private life and professional life.

엄마로서 신경과 의사와의 상호 작용에 대한 기억이 아직도 아픕니다. 그때 내가 원했던 것은 그들이 나를 경청하고 나를 바라봐주는 것이었다. 저는 올바른 진단과 치료를 찾는 의사의 팀메이트가 되고 싶었습니다. 저는 제 아들에 대한 생각과 관찰을 공유하고 싶었습니다. 그리고 의사가 내가 걱정하거나 겁먹거나 슬퍼해도 괜찮다고 말해주길 바랐어 위에서 만난 신경과 의사는 감정, 두려움, 걱정, 혹은 나와 함께 할 수 있는 파트너쉽에 대해 잊어버린 것 같았다.
As a mother, the memory of the interaction with the neurologist still stings. What I wanted at the time was to be heard and seen. I wanted to be the physician’s team-mate in the search for the right diagnosis and care. I wanted to share my ideas and observations about my son. And I wanted the doctor to say it was okay for me to be worried, scared, or sad. The neurologist in the encounter above seemed to have forgotten about emotions, about fears and worries, or about a possible partnership with me.

전문직으로서, 저는 의과대학에서 젊고 의욕적인 학생들과 함께 일했습니다. 의대생들에게 의사소통 기술을 가르치는 교사가 되고 의료 분야에서 공감을 이끌어내는 것은 가치 있는 직업처럼 느껴졌습니다. 저는 학생들이 의사-환자 상호 작용의 핵심이 무엇인지 알게 되기를 바랐습니다: 인정, 접촉, 존중, 호기심, 이해, 동반자 관계. 하지만 나는 나의 의사소통 능력이 의대생들의 정서적 예민한 면을 발전시키는데 늘 기여하지는 못함을 것을 알게 되었습니다.
As a professional, I worked at a medical school, with young and driven medical students. Being a communication skills teacher to medical students and encouraging empathy in healthcare felt like a valuable career. I hoped to make the students aware of what lies at the core of doctor-patient interaction: acknowledgment, contact, respect, curiosity, understanding, a sense of partnership. But I noticed that my communication skills teaching did not always manage to contribute to the development of the emotionally sensitive side of medical students.

위에서 설명한 사건들을 겪으면서, 저는 의사소통의 일반적인 방식에 대해 의구심을 품기 시작했습니다. 나는 내가 가르친 학생들에게 진급progress에 필요한 행동을 보여주는데 집중했고, 나는 종종 임상 실습의 인간적인 측면을 잊어버렸다. 마치 위에서 설명한 신경과 의사처럼 말이다. 나는 학생들이 시험에 합격하기 위해 '올바른 말'을 할 줄 안다는 것을 발견했다. 나는 '공감'이 다면적인 인간 경험에서 얕은 체크박스 운동으로 변화된 교육문화를 경험했다. 오해하지 마세요: 구체적인 행동을 배우는 것은 상담을 관리하는 데 매우 유용할 수 있습니다. 그러나 의사소통 교육이 근본적인 도덕성을 가지고 있지 않고 행동 대본의 범위로 '숙련'되면, 그것은 의미를 잃는다. 행동에 지나치게 집중하는 것은 근본적인 생각과 감정을 다루지 않고 '트릭'을 수행하는 것으로 이어진다.
During the events described above, I started doubting the way communication is generally taught. Students I taught were focused on showing desired behavior in order to progress successfully, during which they sometimes forgot the humane side of clinical practice – much like the neurologist described above. I discovered that students knew how to say ‘the right things’ to pass the test. I experienced an educational culture in which ‘empathy’ was transformed from multifaceted meaningful human experience into a shallow tick-box exercise. Don’t get me wrong: learning specific behaviors can be very useful for managing a consultation. But when communication teaching has no underlying morality and is ‘skillified’ into a range of behavioral scripts, it loses its meaning. An overfocus on behavior leads to performing ‘tricks’ without addressing underlying thoughts and feelings.

제가 겪었던 또 다른 문제는 저의 가르침이 주로 임상 전 교육과정에, 교실 중심의 가르침으로 둘러싸인 매우 '학교 같은' 환경에서 이루어졌다는 것입니다. 그러나 학생들은 모두 진정한 배움이 시작되는 장소인 병원과 의사들을 학수고대하는 것 같았다. 학생들이 사무원이 되어 미래의 직장에서 배우고 있을 때, 나는 그들이 클리닉의 문화에 몰입하고 사회화되는 것을 보았다. 저는 그들이 직장에서 배운 교훈이 제가 학교 같은 환경에서 비임상사로서 가르치던 것보다 더 영향력이 있다는 것을 알게 되었습니다. 실습 의사인 그들의 선생님은 의사 소통에서 훌륭한 역할 모델이 될 수 있고 학생들이 소통하고 공감하는 의사가 되도록 이끌 수 있다. 반대로 롤모델이 위에서 설명한 신경과 의사와 유사하다면, 인간적 접촉은 부차적이라고 학생들에게 가르칠 수 있다.

Another issue I had was that my teaching mainly took place in the pre-clinical curriculum, in a very ‘school-like’ surrounding with classroom based teaching. But the students all seemed to look forward to the place where the real learning would start: in hospital, with doctors. Once students became clerks and were learning in their future workplace, I saw them being immersed and socialized in the culture of the clinic. I noticed that the lessons they learnt in the workplace were more impactful than those that I used to teach, as a non-clinician in a school-like environment. Their teachers, practicing physicians, could be excellent role models in communication and could steer students towards becoming communicative and empathic doctors. Alternatively, the role models could be similar to the neurologist described above and implictly teach students that human contact is of secondary importance.

한마디로, 나는 미래의 의료 전문인력 양성에 의미 있는 영향을 미치지 못하고 있다고 느꼈고, 그래서 의과대학 교육에서 벗어나기로 결심했다.
In short: it felt as if I was unable to make a meaningful impact on the development of future health care professionals and decided to move away from teaching at medical school.

내 아들은 나이를 먹었다. 그는 희귀한 증후군이라는 진단을 받았다. 복잡한 보살핌을 필요로 하는 아이를 갖는 것에 수반되는 감정들을 처리했습니다. 나는 지지와 보살핌을 받았다. 둘째를 낳아 축복받았다 저는 '특별한 도움이 필요한 엄마'로서의 제 역할을 찾았고, 제 아들을 둘러싼 보호자들과 의료 전문가들의 증가하는 네트워크를 탐색하는 방법을 배웠습니다. 그리고 저는 교육연구가, 교사 트레이너, 교육과정 혁신 자문가라는 새로운 학문적 역할을 찾았습니다. 그러다가, 저는 전혀 원활하게 실행되지 않는 '소통 능력' 모듈을 개편해달라는 요청을 받았습니다. 학생들은 시험에 합격하는 데만 집중했는데, 이것은 그들이 '쓸모가 없다'고 여기는 성찰적인 논술이었다. 수업에서는 서로에 대한 의사소통 연습을 했는데, 이는 '무익하다'와 '지루하다'는 평가를 받았다. 그래서 저는 오래된 딜레마에 봉착했습니다. 의미있는 의사소통 교육을 어떻게 하면 학생들이 공감하고 소통하는 전문가로 성장하는데 영향을 미칠 수 있을까?
My son grew older. He got a diagnosis – a rare syndrome. I processed the emotions that come with having a child with complex care needs. I received support and care. I was blessed with a second (healthy) child. I found my role as a ‘special needs mother’ and learnt how to navigate the growing network of carers and health care professionals around my son. And I found a new academic role as educational researcher, teacher trainer, and advisor for curriculum innovations. In this role, I was asked to revise a ‘Communication Skills’ module, which did not run smoothly at all, with problems that I remembered from my time as a teacher. Students were only focused on passing the test, which was a reflective essay they considered to be ‘useless’. In the classes, they practiced communication on each other, which was evaluated as ‘pointless’ and ‘boring’. So there I was, confronted with an old dilemma: how to create meaningful communication education, that has an impact on the students’ development into empathic and communicative professionals?

그때가 제가 저의 직업적인 역할과 저의 개인적인 역사를 결합하기로 결심한 때입니다. 복잡한 돌봄을 필요로하는 가족의 여정을 들을 수 있다면, 복잡한 돌봄 네트워크 관리에 수반되는 정서적 롤러코스터를 학생들이 느낄 수 있다면 얼마나 값질까. 복잡한 돌봄이 필요한 아이들의 부모들에게 다가가 보니 엄청난 추진력과 열정이 느껴졌다. 그 모듈은 큰 성공을 거두었고 현재 다른 커리큘럼에서 시행되고 있다. 저는 환자의 의료 교육 참여가 미래라고 믿게 되었습니다. 학생들이 실제의, 살아 있는 경험에 귀를 기울이게 하고, 환자와 유대감을 형성하고, 환자의 여정을 따르도록 하는 것입니다. 학생들에게 감정에 대해 가르치려고 할 때, 우리는 분명히 순수하게 인지적이고 기술에 기반을 둔 경험보다는 변화적이고 중요한 학습 경험을 제공할 필요가 있다.
That is when I decided to combine my professional role and my personal history. How valuable would it be for students to listen to the journey of a family with complex care needs, to feel the emotional rollercoaster that comes with managing a complex network of care? I approached parents of children with complex care needs, and was met with an enormous drive and enthusiasm. The module was a great success and is currently being implemented in different curricula. I have come to believe that patient participation in medical education is the future: getting students to listen to real, lived experiences, to form bonds with patients, to follow the patient journey. When trying to teach students about emotions, surely we need to offer transformative and significant learning experiences rather than purely cognitive and skills-based ones.

사람들이 만나서 서로의 이야기를 진실로 들어줄 때 배움이 이루어진다는 것을 믿자. 의대생들에게 딱 붙어서 떨어지지 않으며, 젊은 의사로서의 모습을 갖추게 해줄 풍부한 학습 경험을 제공함으로써, 의대생들의 자연스러운 호기심을 키워주자. 다음 검사가 무엇인지보다 무엇이 옳은 일일지를 더 신경을 쓰는 젊은 의사 말이다. 신경과 과장과 달리, 구석에 있는 걱정스러운 부모에게 말을 걸 수 있는 젊은 의사들 말이다.
Let us trust that learning will take place when people meet and truly listen to each other’s stories. Let us nourish the natural curiosity of medical students by offering them rich learning experiences that are likely to stick with them and shape them as they develop into young doctors. Young doctors who care less about what will be asked at the next test and more about doing the right thing. Young doctors who might talk to the worried parent in the corner when their neurologist supervisor does not.

8년 후. 큰 대학의 교무실. 저는 열두 명의 학생들에게 의사소통에 대해 가르치고 있습니다. 교실에 손님이 오셨습니다: 제 아들과 같은 탁아소에 다니는 심각한 특수 장애를 가진 아이의 부모입니다. 학생들은 실제 인물과 상호작용하는 것에 대해 긴장하고, 평가를 받지 않더라도 잘하고 싶어한다. 그들은 그들이 원하는 모든 것을 물어보고 임신과 출생, 진단으로의 여정, 아이의 발달, 형제자매에게 미치는 영향, 진단을 받아들이는 데 관련된 감정, 아이를 둘러싼 돌봄 네트워크, 다양한 치료 및 치료 등에 대해 질문하도록 초대되었다. 그들은 철저하고 호기심 있게 부모의 인생 세계를 탐험합니다. 한 학생이 학부모를 울리는 질문을 해 그룹 내에서 눈에 보이는 불편함을 유발한다. 저는 학생들이 왜 감정이 우리를 불편하게 만드는지 탐구하도록 초대합니다. 학생들은 부모들에게 감정적인 순간 후에 무엇을 말하거나 했어야 했는지 묻습니다. 우리는 공감이라고 부르지 않고 공감에 대해 토론하고, 우리 모두는 상호작용의 영향을 느낍니다. 나중에 모든 학생들이 부모님께 감사드리고, 부모님들도 감사 드려요. 나는 세션을 닫고 만족감을 느낀다.

Eight years later. A teaching room at a big university. I am teaching twelve students about communication. We have a guest in the classroom: the parent of a child with severe special needs who goes to the same day care center as my son. The students are nervous about interacting with a real person, and want to do well, even though they won’t be assessed. They were invited to ask anything they want and ask questions about pregnancy and birth, the journey towards diagnosis, the development of the child, the impact on the siblings, the emotions involved in accepting the diagnosis, the network of care around the child, the different types of therapy and treatment, etc. They thoroughly and curiously explore the lifeworld of the parent. One student asks a question that makes the parent tear up, causing visible discomfort in the group. I invite students to explore why emotion makes us uncomfortable. The students ask the parent what they should have said or done after the emotional moment. We discuss empathy without calling it empathy, and we all feel the impact of the interaction. All students thank the parent afterwards, and the parent thanks them. I close the session and feel fulfilled.

 doi: 10.1016/j.pec.2021.12.004. Online ahead of print.

The sense and nonsense of communication (skills) teaching - Reflections from a patient and educator

• PMID: 34895960
• DOI: 10.1016/j.pec.2021.12.004

Carle Illinois College of Medicine (Acad Med, 2020)
Jennifer R. Amos, PhD, William J. Pluta, PhD, Sol Roberts-Lieb, EdD, Judith L. Rowen, MD,
Lexi Shurilla, MS, Robert C. Wallon, and Heather Wright

의료 교육 프로그램의 주요 내용
Medical Education Program Highlights

• 공학 통합: 일리노이 대학교 어바나-샴페인(Urbana-Champaign)과 칼 재단(CIMED)의 공공-민간 파트너십인 칼 일리노이 의과대학(Carle Illlinois Medicine of Medicine)은 의사-혁신가 졸업하는 것을 목표로 한다. CIMED는 이 재설계된 의과대학의 중추로서 4년 3단계 교육과정의 모든 부분에 공학을 구축했다.
  • 1시기 임상전 과정에서는 공학 개념이 주간 문제 기반 학습(PBL) 사례와 의료 엔지니어링 발견 및 혁신(MEDI) 실험실 세션을 통해 짜여진다.
  • 2시기 임상실습은 "엔지니어링 파트너" 교직원이 매주 학생들과 회진하여 잠재적 엔지니어링/기술/설계 솔루션의 문제를 파악하고, 이를 혁신, 설계, 엔지니어링 및 분석(IDEA) 과정에서 개발하고 해결합니다.
  • Capstone 및 Data Science Project 과정은 3단계의 일부이다.

• Engineering integration: Carle Illinois College of Medicine (CIMED), a public–private partnership between the University of Illinois at Urbana–Champaign and the Carle Foundation, aims to graduate physician–innovators. As the backbone of this reenvisioned medical school, CIMED built engineering into every part of its 4-year, 3-phase curriculum.
  • In Phase 1 preclinical courses, engineering concepts weave through weekly problem-based learning (PBL) cases and Medical Engineering Discovery and Innovation (MEDI) laboratory sessions.
  • In Phase 2 clinical clerkships, an “engineering partner” faculty member rounds with students weekly to identify problems with potential engineering/technology/design solutions, which students then develop and address in the Innovation, Design, Engineering and Analysis (IDEA) course.
  • Capstone and Data Science Project courses are part of Phase 3.

• 초기 임상노출: 학생들이 의과대학 1학년 동안 지역사회 기반 강사와 매주 세션에 참석함에 따라 임상노출이 즉시 시작됩니다. 종단적 가정의학 임상실습은 2학년을 시작하는 7월에 시작한다. 임상실습 기간 동안, 학생들은 저녁 진료소에서 교수진의 감독을 받는 주요 제공자이다. 학생들은 18개월 동안 매주 클리닉 세션을 진행하며 전화 앱을 통해 임상 기술을 직접 관찰함으로써 매주 피드백을 받는다.
  Early clinical exposure: Clinical exposure begins immediately as students attend weekly sessions with a community-based preceptor for the first year of medical school. A longitudinal family medicine clerkship begins in July to start year 2. During the clerkship, students are the primary providers with faculty oversight in an evening clinic. The students have clinic sessions weekly for 18 months and receive weekly feedback from direct observation of clinical skills via a phone app.

• 혁신적인 입학 절차: 양적 역량은 성적증명서나 직장 경험으로부터 분명해야 합니다. 입학을 위해 캠퍼스 내 면접은 필요하지 않습니다. 학생들은 CIMED의 "4C"를 반영한 포트폴리오를 만듭니다: 역량, 호기심, 동정심, 창의성. 화상 인터뷰는 협업과 다양성을 포함한 다른 CIMED 가치를 조사합니다. 2018년 7월 칼리 일리노이 대학교 1학년에 입학했다.
  Innovative admissions process: Quantitative competencies must be evident from transcripts or workplace experiences. No on-campus interview is required for admission. Students produce a portfolio reflecting CIMED’s “4Cs”: competence, curiosity, compassion, and creativity. A video interview probes other CIMED values including collaboration and diversity. Carle Illinois’ first class matriculated in July 2018.

• 빈번하고 다양한 평가: CIMED의 의학 교육 프로그램은 빈번한 인출연습의 기회를 제공한다.
  • 1시기 전반에 걸쳐 학생들은 매주 자신의 의학 지식을 평가하고 즉각적인 피드백을 받는 퀴즈를 치른다.
  • 팀 기반 학습(TBL)은 개별 인출과 팀 토론의 기회를 제공하는 1단계 과정 전반에 걸쳐 사용된다.
  • 또한 1시기 평가에는 42개의 OSCE 스테이션, 4개의 해부학 실습 및 간격을 둔 인출을 지원하도록 설계된 5개의 발달시험progress test가 포함됩니다.
  • 2시기에서는 '위탁 가능한 전문 활동'과 연계된 학생의 역량을 평가하기 위한 진도 OSCE 프로그램이 사용된다.
• Frequent and varied assessment: The medical education program at CIMED provides frequent opportunities for student retrieval practice.
  • Throughout Phase 1 of the curriculum, students take weekly quizzes that assess their medical knowledge and receive immediate feedback.
  • Team-based learning (TBL) is used in courses throughout Phase 1, which provides opportunities for individual retrieval and team discussion.
  • Phase 1 assessment also includes 42 OSCE stations, 4 anatomy lab practicals, and a series of 5 progress exams that are designed to support spaced retrieval.
  • In Phase 2 of the curriculum, a progress OSCE program is used to assess student competencies that are linked to Entrustable Professional Activities.

커리큘럼
Curriculum

커리큘럼 설명
Curriculum description

CIMED 커리큘럼은 4년 동안 3단계로 구성되어 있다: 18개월 전 임상 1상, 12개월 임상 사무직 2상, 캡스톤 및 데이터 과학 프로젝트, 임상 선택, 경력 개발 3상.
The CIMED curriculum consists of 3 phases in 4 years: an 18-month preclinical Phase 1; a 12-month clinical clerkship Phase 2; and Capstone and Data Science Projects, clinical electives, and career development in Phase 3.

https://links.lww.com/ACADMED/A831에서 보충 디지털 부록 1—교육과정 설명—을 참조하십시오.
See Supplemental Digital Appendix 1—Curriculum Description—at https://links.lww.com/ACADMED/A831.

평가
Assessment

https://links.lww.com/ACADMED/A831에서 보충 디지털 부록 2—프로그램 목표—를 참조하십시오.
See Supplemental Digital Appendix 2—Program Objectives—at https://links.lww.com/ACADMED/A831.

의료교육 프로그램 목표
Medical education program objectives

칼 일리노이는 의대생 교육을 위한 AAMC 학습 목표, ABET, Inc.의 세 가지 프레임워크를 결합한 목표를 채택하기로 결정했다. 학생 학습 결과 및 KEEN(Kern Entrepreneural Engineering Network) 교육 결과. 이 프레임워크는 대학의 미션과 핵심 역량에 부합하는 목표를 채택하기 위해 결합되었다.
Carle Illinois chose to adopt objectives combining 3 different frameworks:

• the AAMC Learning Objectives for Medical Student Education,
• ABET, Inc. Student Learning Outcomes, and
• KEEN (Kern Entrepreneurial Engineering Network) educational outcomes.

It combined these frameworks to adopt objectives that aligned with the college’s mission and core competencies.

특히, 이 대학은 의사-혁신자를 위한 공학 및 혁신 학습 목표를 반영하는 목표를 추가했다. ABET는 공학, 컴퓨팅, 기술 및 응용 과학 학위를 인가하는 인증 기관입니다. ABET 학생 성과는 모든 공학 학위 및 엔지니어로서의 전문 자격증 취득에 필요합니다. KEEN 교육 성과는 또한 엔지니어링 교육 프로그램에 널리 사용되며 ABET 목표에 도입된 엔지니어링 및 설계 기술의 적용을 강화하고 혁신을 촉진하는 데 도움이 된다.
In particular, the college added objectives that reflected engineering and innovation learning goals for physician–innovators. ABET is an accreditation agency that accredits engineering, computing, technology, and applied science degrees. ABET student outcomes are required for all engineering degrees and professional licensure as an engineer. KEEN educational outcomes are also widely used in engineering educational programs and help reinforce application of engineering and design skills introduced in the ABET objectives, as well as foster innovation.

교육학
Pedagogy

• PBL: Carle Illinois 학생들은 1단계 동안 일주일에 세 번의 2시간 PBL 세션에 참여합니다. 이 세션은 기초 과학, 임상 실습 및 엔지니어링 기술을 통합하는 사례에 초점을 맞춥니다. CIMED만의 독특한 점은 "혁신가" 역할의 추가이다; 한 학생은 사례에서 임상적으로 관련된 요구를 확인하고 가능한 새로운 해결책에 대한 토론을 이끈다. CIMED의 자랑거리는 PBL 세션을 촉진하고 1단계 전반에서 연속성을 제공하는 전임 교수진을 보유한 것입니다.
  PBL: Carle Illinois students participate in three 2-hour PBL sessions per week during Phase 1. These sessions focus on cases that integrate foundational science, clinical practice, and engineering skills. Unique to CIMED is the addition of an “innovator” role; one student identifies a clinically relevant need from the case and leads a discussion of possible novel solutions. A point of pride at CIMED is having full-time faculty who facilitate the PBL sessions, providing continuity across Phase 1.
• TBL: CIMED의 주요 교육학은 PBL이지만, 컨텐츠와 기술 지식을 구축하고 굳히기 위해 추가적인 실습이 사용됩니다. 이러한 실습은 저널 클럽, TBL, 사례 검토, 강의의 형태를 취합니다. 첫 번째 과정에서는 TBL이 자주 사용되며 나머지 1단계에서는 과정당 평균 1~2 TBL 세션을 사용합니다.
  TBL: While the primary pedagogy at CIMED is PBL, additional practices are used to build and solidify content and skill knowledge. These practices take the form of journal clubs, TBL, case review, and lecture. TBL is used often in the first course and then averages 1 to 2 TBL sessions per course for the remainder of Phase 1.
• 실습: 학생들은 기존의 시신 기반 해부 실습 외에도, 의학적으로 관련된 환경에서 공학적 원칙의 적용을 입증하는 MEDI 실험실 세션을 경험한다. 예를 들어, 천식 생리를 복제하는 폐 모델의 설정에서 에어로졸 입자 크기와 분포 패턴을 검토했다.
  Laboratory: In addition to traditional cadaver-based anatomy laboratories, students experience MEDI laboratory sessions demonstrating the application of engineering principles in medically relevant settings. For example, aerosol particle size and distribution patterns were reviewed in the setting of a lung model replicating asthma physiology.
• 몰입형 프로젝트:
  • 1단계의 후반부에서 MEDI 세션은 그룹 프로젝트를 포함한다.
  • 2단계 IDEA 프로젝트 과정에서는 학생들이 환자 및 의료 시스템 문제를 파악하고 기술적 해결책을 제안합니다.
  • 3단계에서는 IDEA 프로젝트 중 하나가 학생의 캡스톤 프로젝트로 선택되며, 개발의 프로토타이핑 단계를 통해 학제 간 팀이 이를 추구합니다. 학생들은 또한 3단계에서 대규모 데이터 세트를 분석하여 인간의 건강 문제에 적용할 수 있는 데이터 과학 프로젝트를 완료합니다.
• Immersive projects:
  • In the latter portion of Phase 1, the MEDI sessions include group projects.
  • In the Phase 2 IDEA Projects course, students identify patient and health care system problems and propose technological solutions.
  • In Phase 3, one of the IDEA projects is selected as the student’s capstone project; this is pursued in an interdisciplinary team through the prototyping stage of development. The students also complete a data science project in Phase 3, analyzing large data sets for application to human health concerns.
• 시뮬레이션 및 가상 현실:
  • 표준화된 환자, 작업 트레이너, 충실도가 높은 마네킹 및 가상/증강 현실 활동이 과정 작업에 엮여 있다. 초음파 훈련에는 공학적 원리에 대한 탐구뿐만 아니라 영상의 획득과 해석을 포함한다. 학생들은 초음파 및 기타 시술 기술에 대한 능력을 시험 받는다.
• Simulation and virtual reality:
  • Standardized patients, task trainers, high-fidelity manikins, and virtual/augmented reality activities are woven into coursework. Ultrasound training includes exploration of the engineering principles as well as the acquisition and interpretation of images. Students are tested to competence in ultrasound and other procedural skills.

임상 경험
Clinical experiences

Carle Illinois 학생들은 대부분의 훈련을 지역사회 기반 돌봄 환경에서 한다. 학생들이 훈련하는 주요 병원은 433병상 1레벨 외상센터인 칼 파운데이션 병원이다. 칼병원과 연관된 22개의 외래 환자 시설 외에도 학생들은 210병상 규모의 개인 병원뿐만 아니라 지역 내과의사가 소유한 클리닉 시스템을 통해 돌아가며 진료한다.
Carle Illinois students do most of their training in community-based care settings. The primary hospital where students train is Carle Foundation Hospital, a 433-bed, Level I Trauma Center. In addition to the 22 outpatient facilities that are associated with Carle Hospital, students rotate through a local physician-owned clinic system, as well as a 210-bed private hospital.

첫 해에 학생들은 임상 통합에 초점을 맞춘 1년 과정의 혜택을 받는다. 강의와 시뮬레이션을 통해 학생들은 임상 환경에 참여하는 데 필요한 기술을 점진적으로 개발한다. 학생들은 지역사회의 전담 교사를 찾아가 학습자의 주간 스킬 개발 정도를 평가한다. Carle Illinois 학생들은 직접적인 관찰과 시기적절하고 집중적인 피드백으로부터 이익을 얻는다.
In the first year, students benefit from a yearlong course focused on clinical integration. Through didactics and simulation, students progressively develop the skills necessary to engage in the clinical environment. Students visit a dedicated preceptor in the community who assesses the learner’s development of their weekly skill. Carle Illinois students benefit from direct observation and timely, focused feedback.

필요한 종적 경험
Required longitudinal experiences

CIMED에서 종적 경험은 3개의 시기 중 2개에 짜여져 있다.

• 1단계 중 1단계에서는 임상 실습 입문 과정에 등록하며, 임상 기술을 개발하는 데 초점을 맞춘 1년 과정이다.
• 1단계 2학년부터 학생들은 6개월 간의 가정의학 임상실습을 시작한다. 이 사무직은 매주 학생 클리닉뿐만 아니라, 걸어다니는 가정의학과 로테이션를 포함한다.
• 학생 클리닉은 2단계 3학년까지 계속됩니다.

Longitudinal experiences are woven into 2 of the 3 curricular phases at CIMED.

• In year 1 of Phase 1, students are enrolled in the Introduction to Clinical Practice course, a yearlong course that focuses on the development of clinical skills; the course includes weekly sessions in a community physician’s practice.
• Starting in year 2 of Phase 1, students begin a 6-month family medicine clerkship. This clerkship includes ambulatory family medicine rotations, as well as a weekly student clinic.
• The student clinic continues through year 3 of Phase 2.

커뮤니티 기반 필수 및 선택 순환
Required and elective community-based rotations

1단계는 "디스커버리"라는 제목의 6주 선택 기간을 포함하고 있으며, 학생들은 다양한 선택권을 가지고 있으며, 많은 글로벌 경험을 선택한다. 칼리 일리노이주 학생들은 가정의학과, 내과, 외과, 정신과, 신경과, 산부인과, 소아과 등 7개의 필수 임상실습을 가지고 있다. 가정의학은 지역사회에 기반을 두고 있으며, 정신의학, 내과, 산부인과 사무직은 칼 재단 병원 밖의 지역사회에서 발생할 수 있는 부분을 가지고 있다. 졸업을 위해서는 총 28주간의 선택elective 경험이 필요하다; 대부분은 지역사회에 기반을 두거나 지역사회 현장에서 발생하는 부분을 가지고 있다.
Phase 1 includes a 6-week elective period titled “Discovery,” where students have multiple options, with many selecting global experiences. Carle Illinois students have 7 required clerkships: family medicine, internal medicine, surgery, psychiatry, neurology, obstetrics–gynecology, and pediatrics. Family medicine is community based, and the psychiatry, internal medicine, and obstetrics–gynecology clerkships have portions that may occur in community locations outside of Carle Foundation Hospital. A total of 28 weeks of elective experience is required for graduation; many are community based or have portions that occur at community sites.

의대생 임상 경험을 설계하고 구현하는 데 있어 어려움
Challenges in designing and implementing clinical experiences for medical students

다른 새로운 의과대학들과 마찬가지로 CIMED는 임상경험의 발전에 있어서 몇 가지 장애물에 직면했다. 1년차 임상몰입 프로그램이 탄탄한데다 연중 운영되는 종적 학생클리닉까지 있어 새로운 임상교수를 모집하고 승선시키는 것은 쉽지 않은 과제였다. 또한 Urbana-Champaign은 2022년까지 일리노이 대학교 의과대학의 지역 캠퍼스이며, 두 기관의 학습자들의 요구가 균형을 이루어야 한다.
Similar to other new medical schools, CIMED faced some hurdles in the development of its clinical experiences. With a robust clinical immersion program in the first year, as well as a longitudinal student clinic that runs year-round, recruiting and onboarding new clinical faculty was a challenge. Additionally, Urbana–Champaign is a regional campus for the University of Illinois College of Medicine through 2022 and the needs of learners from both institutions must be balanced.

커리큘럼 거버넌스
Curricular Governance

• 커리큘럼 거버넌스 위원회: 교육과정 감독위원회는 CIMED 미션에 충실하며, 공학도 3분의 1과 기초과학도 3분의 1 그리고 임상 경력이 있는 3분의 1이 있다. 위원회는 3단계에 걸쳐 모든 과정의 검토와 승인을 보고 참여한다. 위원회는 효율적인 심사가 가능하도록 사전심사분과위원회, 사무분과위원회, 엔지니어링분과위원회, 프로그램평가분과위원회 등 4개 분과위원회로 나뉜다. 각 소위원회는 제안서를 상세히 검토한 후 더 큰 위원회의 승인을 위해 검토서를 제출한다. 또한 대학 내 직원, 교수, 학생, 교직원이라면 누구나 위원회 의견을 위한 자료를 제출하거나 공개 회의에 참석할 수 있습니다. 이 과정을 통해 교수진이 행정처의 영향력 없이 교육과정을 통제하고 모든 이해관계자가 위원회에 동등한 접근 권한을 부여해 제안서를 제출할 수 있다.
  Curriculum governance committees: The Curriculum Oversight Committee is true to the CIMED mission with one-third of members from engineering; one-third of members from basic science; and one-third of members with clinical backgrounds, none of which hold an administrative title in the college. The committee sees and participates in review and approval of all courses throughout the 3 phases. To facilitate efficient review, the committee is split into 4 subcommittees: the Preclerkship Subcommittee, Clerkship Subcommittee, Engineering Subcommittee, and Program Evaluation Subcommittee. Each subcommittee does detailed review of proposals and then presents its review for endorsement of the larger committee. In addition, any administrator, faculty, student, or staff member in the college is welcome to submit materials for committee input or attend any of the public meetings. This process ensures that faculty control the curriculum without influence from the administration and that all stakeholders have equal access to the committee to submit proposals.
• 부서 주도 거버넌스: 공공-민간 파트너십으로서 CIMED는 독특한 교수 모델을 가지고 있다. 많은 학교와 마찬가지로, 임상 교수진들은 보건 시스템(칼 재단 또는 다른 지역사회 파트너)에 의해 고용되고 CIMED에 임명된다. 칼리 일리노이는 기초 이공계 교수들에게도 비슷한 제도를 따르고 있다. 이 대학은 일리노이 대학 캠퍼스의 풍부한 콘텐츠 전문 지식을 활용한다. CIMED에는 임상 과학, 생의학 및 중개과학 두 개의 학과가 있다. 각 학과는 임명, 승진 및 종신 재직권 위원회를 유지하며 대학 수준에서 공유 지원 서비스에 액세스합니다.
  
  Department-led governance: As a public–private partnership, CIMED has a unique faculty model. As in many schools, the clinical faculty are employed by the health system (Carle Foundation or other community partners) and have appointments at CIMED; key personnel such as clerkship directors and course directors have designated FTE contributions to the school. Carle Illinois follows a similar system for its foundational science and engineering faculty; the faculty retain appointments in their home college, and course directors have designated effort in CIMED. The college draws on the wealth of content expertise on the University of Illinois campus. There are two departments within CIMED: Clinical Sciences, and Biomedical and Translational Sciences; the department chairs oversee faculty efforts dedicated to CIMED and report to the dean. Each of the departments maintains an Appointment, Promotions, and Tenure Committee and accesses shared support services at the college level.

교육 담당자
Education Staff

• 과정 설계: 모든 1단계 과정은 기초과학자, 임상의, 엔지니어 등 최소 3명의 교수진이 설계한다. 교육 담당 직원은 지원 소프트웨어 관리, 테스트 프로그램 및 과정 전달을 포함하여 커리큘럼 개발 및 전달의 모든 측면을 지원합니다. 각 과정 위원회에는 교수진 또는 직원이 임명됩니다.
  Course design: All Phase 1 courses are designed by a minimum of 3 faculty: a basic scientist, clinician, and engineer. Academic affairs staff support all facets of curriculum development and delivery, including management of the supporting software, testing programs, and course delivery. An academic affairs faculty or staff member is appointed to each course committee.
• Academic staff의 역할: Carle Illinois는 교육과정을 완전히 지원하기 위한 다양한 역할을 합니다. 여기에는
  • 의료 교육 촉진자(PBL);
  • 교육과정, 교수진 개발 및 평가 및 품질 향상을 위한 디렉터;
  • 학무 조정자,
  • 의료 교육 조정자(임상, 기초 과학),
  • 의료 사서,
  • 시뮬레이션 센터 직원(관리자, 장비 기술자, 시뮬레이션 환자 조정자),
  • 엔지니어링/IDEA/데이터 과학/캡스톤 조정자
  • 임상실습 조정자
• 이 직원들은 CIMED의 가치와 사명에 따라 커리큘럼이 생성, 개발, 전달될 수 있도록 교수진과 협력합니다.
• Roles of academic staff: Carle Illinois has various roles to fully support the curriculum. These include:
  • medical education facilitators (PBL);
  • directors for curriculum, faculty development, and assessment and quality improvement;
  • academic affairs coordinator;
  • medical education coordinators (clinical, basic science);
  • medical librarians;
  • simulation center staff (manager, equipment technician, simulated patient coordinator);
  • engineering/IDEA/data science/capstone coordinator; and
  • clerkship coordinators.
• These staff work with the faculty to ensure the curriculum is created, developed, and delivered according to the values and mission of CIMED.

교육분야 교수진 육성 및 지원
Faculty Development and Support in Education

• 교육자로서 교수진을 위한 전문성 개발: CIMED에는 교수진의 전문성 개발을 위한 다양한 옵션이 있습니다. 진행자, 임상 강사, 엔지니어 및 관리 직원과 같은 모든 역할에 대한 특정 교육이 제공됩니다. "칼 일리노이 소개 - 무엇이 CIMED를 독특하게 만드는가.""라는 제목의 소개 프레젠테이션이 있습니다. 매년 열리는 교육과정 리트리트는 교육과정 업데이트, 새로운 기술 학습, 네트워크 구축에 초점을 맞춘다. 프레젠테이션, 활발한 학습 세션 및 워크샵이 혼합된 것이 특징이다. 또 다른 연례 행사인 PBL 워크숍에서는 모든 교직원이 학생이자 촉진자로서 PBL을 경험할 수 있습니다. 교수진은 학습목표 작성, 마이크로 강의 녹음, 활발한 학습활동 등과 같은 작업에 대한 도움을 받기 위해 일대일 세션을 요청할 수 있습니다. 또한 일리노이 대학교 어바나 샴페인에는 광범위한 교수개발 서비스가 있다.
  Professional development for faculty as educators: There are a variety of options at CIMED for faculty professional development. Specific training is available for all roles: facilitators, clinical instructors, engineers, and administrative staff. There is an introductory presentation titled “Introduction to Carle Illinois—What Makes CIMED Unique.” An annual curriculum retreat focuses on curricular updates, learning new skills, and network building. It features a mix of presentations, active learning sessions, and workshops. Another annual event, the Problem-Based Learning Workshop, allows all faculty and staff to experience PBL as both a student and facilitator. Faculty may request one-on-one sessions for assistance with tasks such as creating learning objectives, micro-lecture recordings, active learning activities, and so forth. Additionally, the University of Illinois at Urbana–Champaign has extensive faculty development offerings.
• 승진 및 테뉴어: 임상의와 캠퍼스 교직원 모두를 지원하기 위해, FTE 역할이 정의된 교수진 외에도 임명, 승진, 종신 재직에 대한 다양한 트랙이 있습니다. 여기에는 교육, 임상 및 재직권 기록이 포함됩니다. 이들 각 트랙에는 승진을 고려한 학생 평가와 장학금이 포함돼 있다.
  Promotion and tenure: To support both the clinicians and campus faculty, in addition to the faculty with defined FTE roles, there are various tracks for appointment, promotion, and tenure. These include teaching, clinical, and tenure tracks. In each of these tracks, student evaluation and scholarship are included in consideration for promotion.

Carle Illinois College of Medicine

PMID: 33626667

DOI: 10.1097/ACM.0000000000003295

맥락 속의 자기조절학습: 자기-, 공동-, 사회적으로 공유된 학습의 조절(Med Educ, 2021)
Putting self-regulated learning in context: Integrating self-, co-, and socially shared regulation of learning
Derk Bransen1 | Marjan J. B. Govaerts2 | Ernesto Panadero3,4 | Dominique M. A. Sluijsmans5 | Erik W. Driessen2 

1 소개 및 문제 설명
1 INTRODUCTION AND PROBLEM STATEMENT

양질의 의료 및 평생 학습과의 긍정적인 연관성 때문에 의료 전문가들이 학습을 조절regulate할 필요성이 널리 인정되고 있다. 예를 들어, 의료 분야에서 높은 표준을 보호하려면 의사가 지속적으로 빠르게 변화하는 의료 관행에서 이뤄지는 발전을 모니터링하고, 적절한 학습 기회를 개인 학습 요구 및 학습 목표에 맞춰야 합니다.3 따라서 의사는 역량을 개발하고 유지하기 위해 자기조절학습(SRL)에 참여해야 한다. 일반적으로, 자기 조절 학습자는 "자신의 학습에 메타인지적, 동기 부여적, 행동적으로 적극적인 참여자"로 간주된다. 목표를 추구하며 목표를 달성하기 위해 이러한 목표에 부합하는 전략을 설계 및 실행하고, 목표를 향한 진행을 모니터링하며, 성찰과 (해당되는 경우) 새로운 학습 목표를 수립합니다.
The necessity for healthcare professionals to regulate their learning is widely acknowledged due to positive associations with high-quality healthcare and lifelong learning.1, 2 For example, safeguarding high standards in healthcare requires physicians to monitor relevant developments in continuously and rapidly changing healthcare practices and to align appropriate learning opportunities with personal learning needs and learning goals.3 Hence, physicians have to engage in self-regulated learning (SRL) to develop and maintain competence.4 Generally, self-regulated learners are considered to be “meta-cognitively, motivationally, and behaviourally active participants in their own learning”.5 In pursuit of and committed to their goals, they design and implement strategies aligned with these goals, monitor progression towards these goals, followed by reflection and – when applicable – formulation of new learning goals.6, 7

교육 및 실습과의 관련성 때문에, 그리고 SRL 기술은 가르치고 배울 수 있기 때문에, 보건의료전문직 커리큘럼은 학생들의 SRL 개발을 지원하고 촉진하기 위한 요소를 구축한다. 예를 들어 많은 커리큘럼이 진도를 성찰하거나 개인 학습 계획을 수립하도록 자극하거나 요구하는 포트폴리오 시스템을 구현하거나, 학생의 자기주도성을 자극하기 위해 문제 기반 학습 원리를 포함한다. 연구 결과는 꾸준히 개인의 학습과 전문성 개발을 조절하는 능력이 긍정적인 결과와 연관되어 있다는 것을 보여준다. 예를 들어, SRL은 의대생들의 임상 기술 성과, 그들의 전반적인 학업 성취도, 그리고 학생들의 안녕과 긍정적으로 연관되어 있다. 다만 보건직 교육·연구가 학생들을 적절히 실습준비를 시키고, 전문직 종사자들이 역량을 유지·개발할 수 있도록 돕기 위해 자신을 뛰어넘을 필요와 책임이 있다고 주장한다.
Because of its relevance for education and practice, and as SRL skills can be learnt and therefore taught, health professions curricula build in elements to support and facilitate the development of students’ SRL.8-10 For example, many curricula implement portfolio systems that stimulate or require students to reflect on progress and formulate personal learning plans,11 or include problem-based learning principles to stimulate students’ self-directedness.12, 13 Research findings consistently show that the ability to regulate one's learning and professional development is associated with positive outcomes.14 For example, SRL has been related positively to medical students’ clinical skill performance,15, 16 their overall academic achievement,17 and student well-being.18 However, we argue that there is a need and responsibility for health professions education and research to look beyond the self in order to adequately prepare students for practice, and to help professionals maintain and develop competence.

보건 직업 교육(및 보건의료 실습)은 전통적으로 [개인]에 초점을 맞추고 있다. 교육은 광범위한 개인 평가 후 개별적으로 자격을 부여하고, 개인 수준에서 학습 과정과 활동을 규제하도록 가르치는 [개인 학습자]에게 초점을 맞추고 있다. 보건직 교육은 교육과정과 평가 틀에 '협업'과 같은 역량 영역을 포함시킴으로써 개인을 뛰어넘는 것을 목표로 한다고 주장할 수 있다. 그러나 '협력자collaborator' 역할을 '최적의 환자 진료를 달성하기 위해 의료 팀 내에서 효과적으로 일하는 것'으로 설명하면서도, 그 숙련도는 (비록 협력 상황에서 평가되더라도) 여전히 개인의 성과에 기초한다. 
Health professions education (and healthcare practice, for that matter) has traditionally been characterised by a focus on the individual; education focuses on individual learners whom we licence individually after extensive individual assessment, and whom we teach to regulate their learning processes and activities on an individual level.19 One might argue that health professions education aims to move beyond the individual by including competency domains such as “Collaboration” in curriculum and assessment frameworks.20 However, while described as ‘effectively working within a healthcare team to achieve optimal patient care’, learners’ proficiency as collaborators is still primarily based on their individual performance, even when evaluated in collaborative situations.21 

그러나 오늘날의 의료 서비스는 점점 더 팀 기반화되어 의료 팀에 의해 제공되고 있으며, 종종 전문 분야와 전문 분야를 넘나들며 협업하는 의료 전문가들로 구성됩니다. 보건 직업 교육의 주요 목적은 학생들이 이러한 협력적 실습을 할 수 있도록 준비하는 것이기 때문에, '학습의 조절'이라는 개념이 의료 팀에서 학습하고 일하는 조직의 요구와 일치하도록 하는 것이 필수적이다.

Notwithstanding, present-day healthcare is increasingly team-based, delivered by healthcare teams, often consisting of healthcare professionals collaborating across specialities and professions.22, 23 As the main purpose of health professions education is to prepare students for this collaborative practice, it is essential that conceptualisations of regulation of learning align with the organisation and demands of learning and working in healthcare teams.

양질의 의료 서비스를 제공하는 데 있어, [헬스케어 팀]에 대한 의존도가 높아짐에 따라, HPE 연구는 '집단 역량'의 개념을 탐구하기 시작했다. 집단적 역량의 본질은 [전체는 그 부분의 합보다 더 많을 수 있고(또는 덜할 수 있다)]는 것에 있다. 또한 집단적 역량이란 '역동적, 상황-의존적, 분산적 역량으로서, 특정한 한 명의 구성원의 기여를 역추적하기 어렵다'는 것과도 관련이 있다. 다시 말해, '팀원 한 명이 무능하더라도 팀은 유능할 수 있고, 유능한 개인을 모아서 무능한 팀을 구성할 수 있다'는 것이다. 개별 의사의 역량을 보장하는 것이 필수적이며 여전히 중요하지만, 고품질의 의료 서비스를 제공하기 위해서는 의료 팀의 [집단적 역량]에 대한 보장이 필요합니다. 
Geared to the growing reliance on healthcare teams for high-quality healthcare delivery, health professions education research has started to explore the concept of collective competence.22-24 The essence of collective competence is that the whole can be more (or less, for that matter) than the sum of its parts, and relates to the ‘dynamic, context-dependent, distributed capacity of a team, which is difficult to trace back to any one individual team member’.25 In other words, ‘teams can be competent when one team member is incompetent, and competent individuals can form an incompetent team’.19 Although ensuring an individual physician's competence is and remains essential, providing high-quality healthcare thus requires assurance of the healthcare team's collective competence.

집단 역량을 유지하고 발전시키기 위해서는 의료 팀이 지속적인 [협력적 학습]에 참여할 수 있어야 합니다. [협력적 학습collaborative learning]은 [공동의 목표를 가진 팀원들이, 목표를 달성하기 위해, 그리고 일련의 통합된 실천을 발전시키기 위해, 공유된 과제의 특징에 대해 상호작용할 때 발생하는 학습]을 말한다. 이와 같이, 협력 학습은 개인을 넘어 팀 구성원들 간의 [상호 의존성]을 강조한다. 예를 들어, 협업 학습은 외상 팀의 의료 제공 평가 중, 외과 팀이 새로운 기술을 구현하기 시작할 때, 또는 학생이 학습 과제를 수행하는 데 협업할 때 발생할 수 있다. 협력적 학습이 필수적이라고 여겨질 때마다, 팀이 스스로 학습을 조절하는 능력도 마찬가지로 중요해진다. 양질의 돌봄이 의료팀의 협력적 학습에 달려 있음에 동의한다면, [집단적 역량을 개발하고 유지하는 데 효과적인 학습의 조절을 어떻게 촉진할 것인가]에도 초점을 맞춰야 한다는 얘기다. 

To maintain and develop collective competence, it is essential that healthcare teams are able to engage in ongoing collaborative learning. Collaborative learning refers to learning that occurs when team members who have a collective goal interact about features of their shared tasks in order to attain their goals and by means of which they develop a set of integrated practices.26, 27 As such, collaborative learning stretches beyond the individual and emphasises the interdependence among team members.28 Collaborative learning may, for example, occur during trauma teams’ evaluation of healthcare delivery, when surgical teams start implementing new technology, or when students collaborate in performing learning tasks. Whenever collaborative learning is considered essential, the team's ability to regulate their learning becomes of equal importance. In other words, if we agree that high-quality care hinges upon collaborative learning in healthcare teams, we should also focus on how to foster effective regulation of learning in order to develop and maintain collective competence. 

2 학습조절의 개념화
2 CONCEPTUALISATIONS OF REGULATION OF LEARNING

2.1 자기조절학습: 개인에 집중하기
2.1 Self-regulated learning: Focus on the individual

연대순으로, 학습의 조절에 대한 이론에서 처음 등장한 개념은 자기 자신, 즉 개별 학생이나 전문가가 개인 학습을 어떻게 규제하는가에 초점을 맞췄다. 학습의 조절을 개념화하려는 초기 시도들 중 일부는 1980년대 후반 짐머만과 Boekaerts에 의해 이루어졌으며, 그 이후로 SRL 모델이 적용, 확장 및 추가 연구에 사용되었다. 첫 번째 SRL 모델은 (메타)인지적, 동기부여적, 감정적 측면을 강조하는 개인 내의 과정을 학습 규제의 운영양식modus operandi으로 분류했다. 결과적으로, 자기조절학습에 관심이 있는 연구자들은 [개인 내에서 일어나는 과정을 분석 단위로] 초점을 맞췄다. 마찬가지로, SRL에 대한 연구의 대부분은 (의료 교육의 맥락 내외 모두에서) 자가 보고 데이터 수집을 통해 수행된다. [개인에 초점]을 맞춘 의료(교육) 환경에서 학습조절에 대한 연구는 개별화된 학습 계획 및 성과 자체 모니터링과 같은 SRL의 하위 구성요소에 초점을 맞춘 연구에 반영된다. 
Chronologically, the first conceptualisations in the regulation of learning theory focussed on the self, that is, on how an individual student or professional regulates his or her individual learning. Some of the earliest attempts to conceptualise the regulation of learning were made in the late 1980s by Zimmerman5, 29 and by Boekaerts,30, 31 with their SRL models having been adapted, expanded, and used for further research ever since.10 The first SRL models labelled processes within the individual – varying in their emphasis on either (meta)cognitive, motivational, or emotional aspects – as modus operandi of regulation of learning. Consequently, researchers interested in self-regulation of learning focussed on processes within the individual as the unit of analysis.32 Likewise, the majority of research (both within and outside the context of healthcare education) into SRL is conducted through collecting self-reported data.33 Research on regulation of learning within healthcare (educational) settings with a strong focus on the individual is reflected in studies focussing on sub-components of SRL such as individualised learning plans,34-37 and self-monitoring of performance.38-40

2.2 공동 조절 학습: 개인과 컨텍스트 간의 상호 작용에 초점을 맞춥니다.
2.2 Co-regulated learning: Focus on interaction between individual and context

학습 조절의 초기 개념화(즉, "자기"조절학습)는 개별 학습자 내에서의 과정을 강조했지만, 1990년대 말, 공동조절학습(CRL)이라는 용어가 [학습 조절에 대한 사회적, 맥락적 영향]을 포착하기 위해 만들어졌다. CRL의 개념은 학습자의 인식, 정서, 학습 동기가 환경에서 타인과의 사회적 상호작용을 통해 어떻게 매개되는지에 초점을 맞춘 사회문화학습이론에서 나왔다. 따라서 CRL은 [학습조절을 제대로 설명하려면, 개인 내부의 조절 과정을 넘어서야 한다는 개념]을 기반으로 하며, CRL의 분석 단위는 항상 개인과 (다른) 맥락 사이의 상호작용이다. 보다 구체적으로, CRL은 '공동조절자co-regulator'가 '피-공동조절자co-regulated'의 조절를 안내하는 조절과정과 활동에 대한 비호혜적non-reciprocal 참여를 의미한다. 
While early conceptualisations of regulation of learning (ie self-regulation of learning) emphasise processes within the individual learner, the term co-regulated learning (CRL) was coined in the late 1990s to capture the social and contextual influences on the regulation of learning.41-43 The concept of CRL emerged from sociocultural learning theories that focus on how learners’ cognitions, emotions, and motivation for learning are mediated through social interactions with others in the environment.41 CRL thus builds on the notion that we need to go beyond regulatory processes within the individual in order to describe the regulation of learning satisfactorily, and the unit of analysis in CRL always is the interaction between the individual and (others in) the context.32 More specifically, CRL refers to non-reciprocal engagement in regulatory processes and activities, with the ‘co-regulator’ guiding the regulation of the ‘co-regulated’.

따라서 개념적으로 CRL은 [한 명 또는 여러 명의 집단 구성원이 집단 내 다른 개인의 학습 활동을 조절]한다는 점에서 ['불균등하게 퍼져있는unevenly distributed' 형태의 사회적 조절]로 간주된다. CRL의 필수 요소는 학습자 또는 전문가 간의 사회적 상호 작용입니다. 이 상호작용은 (학습의 조절과 관련된 과정을 포함하여) 학습 프로세스를 매개한다. 즉, '공동조절자co-regulator'는 타인의 조절활동(목표 설정, 성과 모니터링, 성찰 등)에 관여함으로써 '피공동조절자co-regulated'의 메타인지 및 인지활동을 매개mediates(즉, 공동조절)하고, 그 결과 학습 프로세스의 조절에 영향을 미칩니다. 공동조절자가 CRL을 촉발하는 방법으로는, 요약을 해주거나, 정보를 요청하거나, 설명을 하거나, 패러프레이징을 하거나, 학습에 대한 판단을 요구하거나, 사고와 성찰에 대한 자극을 주는 것 등이 있다. 상자 1은 예를 제공합니다.

Conceptually, CRL is therefore considered an ‘unevenly distributed’ form of social regulation, in that a single or multiple group member(s) regulate(s) the learning activities of other individuals in the group.44 Essential to CRL are social interactions between learners or professionals through which their learning processes, including processes relevant for the regulation of their learning, are mediated.45, 46 Thus, through engaging in others’ regulatory activities – such as goal setting, performance monitoring, and reflection – the ‘co-regulator’ mediates (ie co-regulates) the metacognitive and cognitive activities of the ‘co-regulated’, thereby influencing the regulation of his or her learning processes.41, 45 Students or professionals can trigger CRL by summarising, requesting information, or giving explanations,47 or through paraphrasing, requesting judgements of learning, giving prompts for thinking and reflection.41 Box 1 provides an example.

==================================================

==================================================

중요한 점은, CRL은 학습 과제, 설정, 공동조절자와 학습자 사이의 관계에 따라 형태가 달라질 수 있다는 것이다. 예를 들어, 위계적 관계에서의 권력 역학 또는 전문 지식 수준의 (인식된) 차이는 CRL의 특성 및 잠재적으로 효과에 영향을 미칠 수 있다. 따라서 친구/동료에 의한 공동조절은, 목표 및 결과 측면에서 상급감독자와의 CRL과 상당히 다를 수 있다. 보건 직업 교육에서 학습의 공동 규제에 대한 새로운 연구는 CRL 참여의 다양한 징후와 초점에 대한 통찰력을 제공하고 있다. 
Importantly, CRL can take different forms, depending on the learning task, setting and/or relationships between co-regulator and learner. For example, power dynamics in hierarchical relationships or (perceived) differences in the level of expertise may influence the nature – and potentially effectiveness – of CRL. Co-regulation by peers may therefore differ substantially from supervisors’ CRL in terms of goals and outcomes. Within health professions education, emergent research on co-regulation of learning is providing insight into the different manifestations and foci of CRL engagement.

연구 결과에 따르면 의대생들은 다른 사람의 CRL에 참여하려는 목적뿐만 아니라 참여 대상도 다르다. 예를 들어, 초보 학생들은 학습 목표를 토론하기 위해 [동료를 선호]하는 반면, 경험이 많은 학생들은 전문적인 정체성 형성에 반영하기 위해 [경험이 많은 의료 전문가를 선호]하는 것으로 보인다.48 CRL에 대한 다른 연구는 소셜 네트워크 관점을 채택하고, 조절에서의 네트워크 구축의 특성을 검토했다. 그들의 학문. 특히 CRL에 참여하는 다른 사람들과의 상호작용 빈도는 학생들이 스스로 보고하는 학습능력 조절과 긍정적으로 관련이 있다는 사실이 연구결과 밝혀졌다.49

Research findings suggest that medical students differ in whom they engage as well as the purpose of engaging others’ CRL. For instance, novice students seem to favour peers to discuss their learning goals, whereas experienced students favour more experienced healthcare professionals to reflect on professional identity formation.48 Other studies into CRL adopted a social network perspective, and examined characteristics of the networks students’ deploy when regulating their learning. Findings revealed that, in particular, the interaction frequency with which others are engaged in CRL positively relates to students’ self-reported regulation of learning proficiency.49

2.3 사회적으로 공유되는 학습 규정: 상황에 맞게 팀에 집중
2.3 Socially shared regulation of learning: Focus on the team within context

21세기 초에 협력 학습의 중요성과 필요성에 힘입어, 집단들이 어떻게 [집단적 학습과 성과를 분산적으로distributed 조절]하는지 탐구하기 시작했다. 사회적 공유 학습 조절(SSRL)라는 용어는 그러한 규제 조치를 설명하기 위해 만들어졌다. 일반적으로 SSRL은 팀이 협력적 학습을 조절하는 방법을 설명하고, 팀 구성원 간의 상호 의존성을 강조한다. SSRL은 팀원들이 [공동으로 구성된 목표를 추구하기 위하여 집단적 학습 활동의 조절을 공유하는 과정]에 초점을 맞추고 있다. CRL과 유사하게, SSRL은 [학습의 조절이 여러 개인 사이에서 공유되는 조절방식]을 반영한다. 그러나 주요 차이점은

• CRL은 한 명 이상의 집단 구성원이 개별 학습자의 조절을 가이드guide하는 데 관여한다는 것이다('불평등한unevenly distributed' 형태의 사회적 조절로 만든다).
• 반면, SSRL은 그룹 구성원의 규제 활동 및 과정에 상호 관여reciprocal engagement하는 것이 특징이다. 따라서 SSRL은 '고르게 분포된evenly distributed' 형태의 사회적 조절로 간주되며, 이러한 조절은 집단 구성원 간의 상호작용을 통해 형성된다. 따라서 SSRL의 분석 단위는 집단, 시스템 및 시스템 내의 개인입니다. 

At the start of the 21st century, fuelled by the increasing importance and need for collaborative learning, research started exploring how groups regulate their collective learning and performance in a distributed fashion. The term socially shared regulation of learning (SSRL) was coined to explain such regulatory actions. Generally, SSRL describes how teams regulate their collaborative learning and emphasises interdependency among members of a group or team. SSRL focuses on processes through which team members share the regulation of their collective learning activities, directed towards the pursuit of their jointly constructed goals.41, 50 Similar to CRL, SSRL reflects a mode of regulatory learning in which the regulation is shared between individuals. The main difference, however, is that

• CRL involves one (or more) group members to guide the regulation of an individual learner (making it an ‘unevenly distributed’ form of social regulation), whereas
• SSRL is characterised by group members’ reciprocal engagement in regulatory activities and processes. SSRL is therefore considered an ‘evenly distributed’ form of social regulation in which the regulation is shaped by and arises through the interactions between members of the group.44 Therefore, the units of analysis in SSRL are the collective, the system, as well as the individual within the system.32, 51

의료 실무에서의 협력적 학습은 어려움을 겪을 수 있다. 예를 들어, 팀 구성원의 지속적으로 변동, 시간 제약, 의료 팀 내의 위계적 구조 등의 요인이 협력적 학습의 구현 정도에 영향을 미칠 수 있습니다. 이러한 학습에 대한 협력적 조절은 나중에 훨씬 더 어려울 수 있다. 해드윈, 예르벨레, 밀러는 SSRL 이론 모델을 최초로 기술하였다. 이들이 개념화한 [협력적 학습 조절collaborative regulation of learning]에는 SSRL의 작동 방식을 네 가지 단계로 설명한다. 특히, 이러한 단계는 Winne 및 Hadwin의 SRL 모델의 네 가지 단계에 대략 일치한다.

• 1단계: 팀이 당면한 (학습) 과제에 대한 공통된 이해 또는 인식의 공동 구성 및 협상에 참여합니다.
• 2단계: 팀들이 공동의 목표를 구성하여, 효과적으로 과제를 완료하고 공동으로 과제를 해결하는 방법을 계획합니다.
• 3단계: 팀은 목표를 향해 나아가는 과정을 감시한다. 이 때 협력은 전략적으로 잘 조정coordinated되어야 한다. 과제, 목표, 전략 또는 계획에 대한 인식과 이해는 목표 진행에 대한 집단 모니터링을 기반으로 조정될 수 있다.
• 4단계: 팀은 프로세스를 평가한다. 평가의 결과는 후속 조절, 학습, 수행을 적응adaptation하는 데 필요한 투입이 된다.

Collaborative learning in medical practice may be prone to challenges. For example, fluid healthcare teams in which team members reshuffle constantly, time constraints, or hierarchy within healthcare teams may influence the extent to which collaborative learning is actually taking place. Collaborative regulation of such learning may subsequently be even more difficult. Hadwin, Järvelä, and Miller52 were among the first to describe a theoretical model SSRL. Their conceptualisation of collaborative regulation of learning includes four phases that jointly describe the modus operandi of SSRL.52 Notably, these phases roughly correspond to the four phases in Winne and Hadwin's SRL model.53 

• In phase one, teams engage in the co-construction and negotiation of a shared understanding or perception of the (learning) task at hand.
• In phase two, teams co-construct shared goals to effectively complete the task and design a plan for how to tackle the task collectively.
• In phase three, the team monitors their progression towards the goal, to which collaboration is strategically coordinated. Perceptions and understanding of the task, their goal(s), strategies, or plans might be adjusted based on their collective monitoring of goal progression.
• Lastly, in phase four, teams evaluate the process, which might provide input for adaptation of future regulation, learning and performance.

박스 2는 신기술 도입이 팀워크에 어떤 영향을 미치는지에 대한 Edmondson의 연구를 바탕으로 헬스케어 팀이 [사회적으로 공유되는 학습조절SSRL]에 어떻게 참여할 수 있는지를 보여주는 예를 제공합니다. 우리는 박스 2의 예제가 일상적인 실천을 반영하지 않을 수 있다는 것을 인정한다. 그러나, 이 예제가 기반으로 하는 연구는 SSRL이 임상 작업장에서 어떻게 발생할 수 있는지를 잘 설명해준다. SSRL은 어떤 의료 팀이 여태껏 해왔던 학습 노력의 방향을 전환하게 만드는 파괴적인 사건의 경우에 특히 중요하지만(박스 2의 예와 같이), 그러한 사건에만 필요한 것은 아니다. SSRL 또는 SSRL 구성 요소에 대한 팀들의 참여에 호소할 수 있는 건강 직업 교육 및 실습의 다른 예로는 기업 훈련 시스템의 평가, 실무 협력 커뮤니티 구축, 팀 성찰 또는 학습 과제에 대한 공유된 인식을 구축하는 데 의대생이 협력하는 것이 포함된다.

Drawing on Edmondson's work about how introducing new technology influences teamwork, Box 2 provides an example of how healthcare teams may engage in socially shared regulation of learning.54 We acknowledge that the example in Box 2 may not reflect common, day-to-day practice. However, the research the example is based on, lends itself well to explain how SSRL may occur in clinical workplaces. Although SSRL may be particularly relevant in cases of disruptive events that force healthcare teams to re-direct their learning endeavours (such as in the example in Box 2), SSRL is not exclusive to such events. Other examples in health professions education and practice that may appeal to teams’ engagement in SSRL or components of SSRL include evaluation of corporate training systems, the building of collaborative communities of practice,55 team reflection, or medical students’ collaborating in co-constructing a shared perception of their learning tasks.

SSRL을 딱 구별되는distinct 단계로 구분하는 것은 이론적으로 이상적인 상황이다. 하지만 실무에서, 특히 의료 서비스의 예측 불가능하고 역동적인 맥락에서, 의료팀은 위의 네 단계를 순서대로 단계를 거치지 않거나, 일부 단계를 병합할 수 있다(박스 2의 예). 하지만, 연구결과에 따르면, 이러한 단계를 거치는 팀들이 새로운 상황에서 배우고 적응하는데 더 성공적인 경향이 있다는 것을 시사한다. SSRL에 대한 의료 교육 연구는 팀 학습에 대한 연구(예: 팀 성찰성)에서 유사한 개념이 등장했지만 제한적이다. 의료 서비스의 질이 의료 팀의 학습 및 작업 품질과 관련이 있다는 점을 고려할 때 SSRL이라는 개념은 [조절 프로세스가 어떻게 협력적 학습을 서포트하는지]를 더 잘 이해할 수 있는 귀중한 렌즈를 제공합니다.
It is important to note that describing SSRL in terms of distinct phases refers to a theoretically ideal situation. In practice – especially in the unpredictable and dynamic context of healthcare practice – teams might not go through the phases in the abovementioned order, or might merge phases (as in the example in Box 2). However, research suggests that teams that go through these phases tend to be more successful in learning in and adapting to new situations.54 Healthcare education research into SSRL is limited, although seemingly similar concepts emerged from research on team learning (eg team reflexivity).56-58 Given that healthcare quality is associated with the quality of learning and working in healthcare teams,19, 59 the conceptualisation of SSRL provides a valuable lens through which we might be better able to examine and understand how regulatory processes support collaborative learning.

==================================================

3 교육 및 의료 분야에서 학습에 대한 자체, 공동 및 사회적 공유 규제 통합
3 INTEGRATING SELF-, CO-, AND SOCIALLY SHARED REGULATION OF LEARNING IN EDUCATION AND HEALTHCARE

협업 학습 상황에서 팀과 팀 구성원은 학습에 대한 사회적으로 공유된 조절 뿐만 아니라 자기조절과 공동조절에 참여할 수 있다. [조절 프로세스 및 활동에 대한 협력 팀 내에서의 균형]은 개별 팀원의 특성, 팀 구성 및 팀 구성원 간의 관계, 사회적 연결성, 업무와 맥락의 특징에 따라, 개인 간에, 시간이 지남에 따라 바뀔 수 있다. 이러한 균형의 이동은 조절참여도가 팀 구성원 전체에 고르게 분포되어 있는지 또는 불균일하게 분포되어 있는지에 따라 SRL, CRL, SSRL의 수준을 변화시킬 수 있다. 예제는 상자 3을 참조하십시오.
During collaborative learning situations, teams and team members may engage in self-, co-, as well as socially shared regulation of learning. The balance within collaborating teams regarding their engagement in regulatory processes and activities may shift across individuals and over time, based on characteristics of individual team members, the team composition and relationships between team members, social connectedness, as well as features of task and context. This shifting balance may subsequently result in varying levels of SRL, CRL or SSRL, depending on whether regulatory engagement is evenly (SSRL) or unevenly (CRL) distributed across team members. See Box 3 for an example.

• 집단이 생산적으로 기능하려면, 개인 수준의 SRL이 집단적 목표를 지향하는 것이 중요하다. 팀이 협력적 학습에 engage할 때, 개별 팀원은 자신의 학습 과정과 활동을 스스로 조절합니다. 심지어 협력적 학습 중에도, 개별 팀 구성원은 개별적으로 전략을 활성화하고 개인의 노력을 모니터링하고 규제합니다.
• 팀 수준의 CRL은 협력적 학습 중에 나타날 수 있으며, [개개의 팀 구성원이 다른 구성원의 조절 과정이나 활동을 통제하거나 자극하는 경우]에 발생한다. 이와 같이 CRL은 [생산적인 자기 조절를 향한 매개적 또는 이행기적 역할]을 할 수 있다. 또한, 만약 CRL이 집단으로서의 팀의 조절(SSRL)에 맞춰져 있다면 shared regulation of learning을 생산적으로 만들 수도 있다. 예를 들어, 박스 3의 팀 구성원은 모든 집단 목표가 적절하게 평가되는지 여부에 대한 우려를 표하고 있다. 이런 우려는 학습조절의 agency가 집단을 지향하는 공동조절 메커니즘의 역할을 한다. 
• 협력 중 SSRL은 [모든 팀 구성원이 목표나 과제 인식의 공동구축과 같은 학습 과정을 집단적으로 규제할 때] 나타날 수 있다. 팀이 SSRL에 참여할 때, 팀 구성원은 자신의 업무 완료 요건에 따라 행동, 인식 및 동기를 조정하여 팀의 업무를 메타인지적으로 통제한다.52
• To function productively as a collective, individual SRL geared towards collective goals is crucial.52 When teams engage in collaborative learning, individual team members will therefore engage in self-regulating their own learning processes and activities; even during collaborative learning, individual team members will activate strategies individually and monitor and regulate their individual efforts.60 
• Team-level CRL may emerge during collaborative learning in cases when an individual team member takes control of or stimulates another team member's regulation processes or activities.60 As such, CRL can play a mediational or transitional role towards productive self-regulation, yet also shared regulation of learning, depending on whether co-regulation is geared towards an individual team member's regulation (SRL) or the regulation of team as a collective (SSRL).52 The team member in Box 3 who expresses concerns about whether all of their collective goals are adequately evaluated, for example, serves as a co-regulatory mechanism through which the agency of regulation of learning shifts towards the collective.
• SSRL during collaboration may emerge when all team members regulate learning processes collectively, such as co-constructing goals or task perceptions. When teams engage in SSRL, team members collectively take metacognitive control of the team's tasks by means of adjusting behaviours, cognitions, and motivations, based on requirements for completion of their tasks.52

==================================================

협력 학습에서, 순간적인 CRL 상호작용은 SSRL과 SRL가 발생하는 순간에도 일어날 수 있다. 따라서 학습자는 동시에 다양한 형태의 조절에 참여할 수 있습니다. 따라서 세 가지 수준의 규제 학습(SRL, CRL, SSRL)은 협력 학습 상황에서 서로 내장된 것으로 가장 잘 간주될 수 있다. 협력 학습 중에 팀은 CRL 또는 SSRL(또는 SRL)에 항상 관여하지 않을 수 있습니다. 팀이 CRL 또는 SSRL(또는 둘 다)에 참여할지 여부는 상황에 따라 달라진다. 예를 들어, 팀 리더(박스 3)가 학습 조절을 완전히 가이드하는 매우 지시적인 사람이라면(즉, CRL), 학습은 SSRL 없이 조절될 가능성이 높다. 따라서 CRL이 다른 조절모드로 전환되는지 여부는, [학습 과제 요건]뿐만 아니라 [팀과 팀 리더십 내의 역학 관계]에 따라 달라진다.
In any collaborative learning, engagement in momentary co-regulatory interactions may occur within episodes of both SSRL and SRL. Thus, learners may concurrently engage in different forms of regulation. The three levels of regulatory learning (SRL, CRL, and SSRL) may therefore best be considered as embedded in one another during collaborative learning situations.41, 44 During collaborative learning, teams may not always engage in either CRL or SSRL (or SRL for that matter). Whether a team will engage in either CRL or SSRL (or both) is context- and situation-specific. For example, if the team leader (Box 3) is highly directive, fully guiding the regulation of learning (ie CRL), learning will likely be regulated without engagement in SSRL. Therefore, whether CRL is transitional towards other modes of regulation depends on dynamics within the team and team leadership as well as requirements of the learning task.

4 나아갈 방향
4 A WAY FORWARD

4.1 연구에 미치는 영향
4.1 Implications for research

중요한 것은 이 글에서 개념화한 학습조절은 이상적이고 이론적인 상황을 의미하며, 실제 작업 환경과 다를 수 있다. 그러나 그러한 모델은 협력적 환경에서 학습의 조절이 어떻게 발생할 수 있는지를 분리하기 위한 향후 연구에 유용한 프레임워크를 제공할 수 있다. 건강 직업 교육 연구에서 다양한 수준의 조절적 학습regulatory learning이 점점 더 연구되고 있지만, [주로 개인 또는 개인 내의 과정]에 초점을 맞추고 있으며, 상대적으로 [팀 수준에서 어떻게 협력 학습을 조절하는가]는 덜 다룬다. 현재 의료 분야의 협력에 대한 요구를 고려할 때 규제 학습에 대한 우리의 시각을 넓히는 것이 중요하다.
Importantly, conceptualisations of regulation of learning in the present article refer to an idealised and theoretical situation, which may differ from actual work settings. However, such models may provide useful frameworks for future research to disentangle how regulation of learning may occur in collaborative settings. While various levels of regulatory learning are increasingly explored in health professions education research,45, 48, 61-63 studies predominantly focus on processes within the individual or the individual in interaction and less on how teams regulate their collaborative learning. Given the demands for collaboration in current healthcare, it is important to widen our views of regulatory learning.

이는 학습 조절에 관심이 있는 연구자라면, 현재 SRL이 지배하고 있는 방정식에 SSRL을 추가해야 한다는 것을 의미한다. 최근 HPE의 맥락에서, 협력적 학습을 이해하기 위하여 사회적 조절에 집중해야 한다는 점이 강조되고 있다. Team reflexivity과 같은 관련 개념을 기반으로 하는 HPE 연구는 팀 차원 조절프로세스와 활동으로 관심을 전환할 수 있으며, (개별 팀 구성원뿐만 아니라) 팀 수준에서 집단적 목표에 따라 어떻게 학습을 조절하는지를 이해하는 것을 목표로 한다. 또한 후속 연구는, 협력적 학습 중 SRL, CRL 및 SSRL의 상호 관련성을 분해entangle하여 학습 조절에 대한 이해를 개선하는 것을 목표로 할 수 있다. 특히, 연구자들은 생산적인 SRL과 SSRL에 대한 [CRL의 매개 역할], 그리고 조절적 상호작용이 학습과 성과에 어떻게 영향을 미치는지 탐구하고자 할 수 있다. CRL은 다른 방식의 규제에 대한 부담과 제약을 제공할 수 있기 때문에, CRL이 어떻게 영향을 미치는지 그 메커니즘에 대한 철저한 이해가 필수적이다. 

This first and foremost implies that researchers interested in the regulation of learning should add SSRL to the equation that is currently dominated by SRL, and to a lesser extent, by CRL. The importance of focussing on social regulation to understand collaborative learning has recently been underlined in the context of health professions education.64 Building on related concepts, such as team reflexivity,57, 58 health professions education research could shift attention to team-level regulatory processes and activities, aiming to understand how teams – as well as individual team members – shape their regulation towards their collective goals. Furthermore, to improve our understanding of the regulation of learning, future studies could aim to disentangle the interrelatedness of SRL, CRL, and SSRL during collaborative learning. Specifically, researchers may want to explore the mediating role of CRL towards productive SRL and SSRL, and how regulatory interactions affect learning and performance. Because CRL can provide the affordances and constrains for other modes of regulation, a thorough understanding of the mechanisms by which it may exert its influence is essential.

HPE 연구의 SRL 데이터(및 CRL 데이터)는 대부분 주관적인 자기보고서를 통해 수집되며, 참여자의 [조절 활동에 대한 인식]을 탐구한다. 그러나 종종 이러한 인식은 실제 행동과 같지 않다. 이러한 한계를 극복하기 위해 최근의 경향은 기술 발전을 통한 [다중 모드 데이터 수집]을 가리키고 있다. 여기에는 서로 다른 데이터 채널(즉, 양식)에서 데이터(예: 객관적 생리학적 및 주관적 자가 보고 데이터)를 수집하여, 연구자들이 복잡한 협력적 학습 상황에서 조절학습의 특징과 단계를 검토할 수 있게 한다. 객관적 데이터 수집을 통해 SRL, CRL, SSRL의 에피소드 동안 일어나는 (노력 조절, 주의력 증가, 혼란과 같은) 보이지 않는 것들을 보이는 것으로 만들 수 있다.

Much of the SRL data in health professions education research (and CRL data for that matter) is collected through subjective self-reports,33 exploring participants’ perceptions of their regulatory activities. However, these perceptions often differ from their actual behaviour.65 To overcome these limitations, recent trends draw on technological advancements and point to collecting multimodal data.52, 66 This involves collecting data from different data channels (ie modalities),52 for example objective physiological and subjective self-report data, allowing researchers to examine features and phases of regulatory learning in complex collaborative learning situations.67 Through collecting objective data, we are able to make visible what otherwise remains invisible, such as effort regulation, increased attention, and confusion that may take place during episodes of SRL, CRL, and/or SSRL.

예를 들어, 최근의 연구는 360도 카메라와 전피 측정과 같은 데이터 소스를 사용하여 그룹 구성원의 협업 학습에 대한 공유 모니터링을 검사하거나, 협업 학습 상황에서 심박수 및 피부 전도 측정과 같은 생리학적 데이터(예: 감정 반응 측정)를 수집한다. 서로 다른 출처의 데이터(객관적 데이터와 주관적 데이터 모두)를 삼각측량하면 다양한 환경에서 학습 규제의 수준과 결과를 더 잘 설명하는 데 도움이 될 수 있다. 협업 중 학습 규제에 대한 이해를 높이기 위해 시뮬레이션 기반 연구를 할 수 있으며, 테크놀로지로 쉽게 통합할 수 있다. 따라서 시뮬레이션 기반 연구 환경은 규제 학습 과정과 같이 밝혀내기 어려운 복잡한 현상을 분석하고 분리하는 데 학자들이 매우 적합한 것으로 보인다.

For example, recent studies use data sources such as 360-degree cameras and electro-dermal measures to examine group members’ shared monitoring of collaborative learning,68 or collect physiological data such as heart rate and skin conductance measures (eg to measure emotional reactions) during collaborative learning situations.66 Triangulating data from different sources (both objective and subjective data), may help us to better describe levels and outcomes of regulation of learning in various settings. To improve our understanding of the regulation of learning during collaboration, we can draw on simulation-based research, in particular,69 as this more easily allows incorporation of technology. Simulation-based research settings seem therefore eminently suitable for helping scholars analyse and disentangle complex phenomena that are difficult to uncover,70 such as regulatory learning processes.

민족지학 연구는 규제 학습 과정에 대한 우리의 이해를 증진시킬 수 있는 독특하고 새로운 기회를 제공할 수 있다. 실제 환경이나 시뮬레이션 환경에서 의료팀을 직접 관찰하면, 실제 작업을 수행하는 동안 발생하는 조절행동과 서로 다른 조절형태가 어떻게 내재될 수 있는지에 대한 탐구를 가능하게 할 수 있다. 또한, 조절행동을 관찰하면 unevenly distributed CRL과 evenly distributed SSRL의 차이를 조사할 수 있다. 
Ethnographic research might offer unique and new opportunities to further our understanding of regulatory learning processes. Direct observation of healthcare teams, either in real-life settings or in simulation settings, may enable exploration of regulatory behaviour as it occurs during the performance of authentic tasks and how different regulatory forms may be embedded in one another. Additionally, observing regulatory behaviour allows for examination of the distinction of unevenly distributed CRL and evenly distributed SSRL. 

4.2 보건직 교육에 대한 시사점
4.2 Implications for health professions education

의료 전문가들에게 [협력적 학습]이 중요하다면, [협력적 학습의 조절]은 마찬가지로 중요해진다. 따라서 [협력적 학습의 조절을 지원하고 자극하며 촉진하는 요소]가 HPE 커리큘럼에 스며들어야 한다. 무엇보다 다양한 조절수준에 대한 인식 제고가 필수다. 현재 대부분의 HPE 커리큘럼은 CRL과 SSRL보다 SRL에 더 관심을 갖는 것으로 보인다. 팀원들이 서로의 지식, 활동, 감정, 동기, 집단으로서의 기능에 대한 관점을 높이는 것은 CRL과 SSRL의 발전을 지원하기 위한 중요한 출발점이다. 예를 들어 시뮬레이션 기반 팀 훈련 세션의 보고 세션에서 팀 구성원의 자체 및 기타 규제 학습 프로세스에 대한 인식에 초점을 맞춘 논의를 촉진할 수 있다. 

When collaborative learning is considered important for healthcare professionals, regulation of collaborative learning becomes equally important. Therefore, elements that support, stimulate, and facilitate the regulation of collaborative learning should permeate healthcare professions curricula. First and foremost, increasing awareness of different regulatory levels is vital. Currently, most healthcare professions curricula seem to pay more attention to SRL than to CRL and SSRL. Increasing team members’ awareness of each other's knowledge, activities, emotions, motivation, and views of the group's functioning as a collective is a crucial starting point to support development of CRL and SSRL.50 To help make explicit what often remains implicit, discussions that focus on team members’ awareness of own and other regulatory learning processes could be stimulated during debriefing sessions of simulation-based team training sessions, for example.71, 72

만약 HPE의 목표 중 하나가 [협력적 학습을 촉진하는 것]이라면, 커리큘럼은 [협력적 학습] 뿐만 아니라 [협력적 학습의 조절]을 요구하는 과제까지도 포함해야 한다. 이러한 학습 과제는 학생들에게 그러한 기술을 개발하는 것과 관련된 정보를 제공해야 한다. 그런 다음 특정 자체, 공동 및 공유 규제 학습 프로세스와 활동을 명시적으로 목표로 하는 피드백 제공에 주의를 기울여야 한다. 

If one of the aims of healthcare professions education is to promote collaborative learning, curricula must include learning tasks that require collaborative learning as well as regulation of that learning. These learning tasks should provide students with information that is relevant for developing such skills. It is then crucial that attention is paid to the provision of feedback that is explicitly aimed at specific self-, co-, and shared regulatory learning processes and activities.73

5 결론
5 CONCLUSION

건강 직업 영역 내에서 학습(따라서 학습의 조절)은 서로 다른 수준의 학습과 함께 서로 다른 수준에서 이루어진다. 의료 전문가를 위한 협업 및 집단 역량의 중요성은 점점 더 인식되고 있지만, 의료 팀이 협업 학습을 규제하는 방법에 대한 관심은 아직 탄력을 받지 못하고 있다. 그러므로 우리는 [자기조절학습을 최적화하는 방법]에만 배타적으로 초점을 두는 것에서, [학습이 일어나는 수준에 맞춘 가장 효과적인 조절]이라는 더 넓은 관점으로 전환해야 한다. 따라서 의료 영역 내에서 학습의 규제를 진정으로 완화한다는 것은 학습의 자체, 공동 및 사회적으로 공유되는 규제 수준을 완화한다는 것을 의미한다. 그래야 미래의 의료 전문가들이 복잡하고 예측 불가능하며 협업적인 의료 제공 환경에서 생산적으로 작동하는 데 필요한 기술을 개발할 수 있습니다.

Learning – and therefore regulation of learning – within the health professions domain takes place at different levels, with different levels of regulation of learning being embedded in one another. While the importance of collaboration and collective competence for healthcare professionals is increasingly recognised, attention to how healthcare teams regulate their collaborative learning has yet to gain momentum. We, therefore, may want to shift from an exclusive focus on how to optimise self-regulation of learning, to the broader perspective of how to most effectively regulate learning, depending on the level at which it takes place. Truly unravelling regulation of learning within the healthcare domain therefore means unravelling the levels of self-, co-, and socially shared regulation of learning. Only then are we able to help future healthcare professionals to develop the skills that are necessary to function productively within the complex, unpredictable, and collaborative context of healthcare delivery.

© 2021 The Authors. Medical Education published by Association for the Study of Medical Education John Wiley & Sons Ltd.

무엇을 생각하고 있었나요? 의과대학생의 자기조절학습에 대한 메타인지와 인식 (Teach Learn Med, 2021)
What Were You Thinking? Medical Students’ Metacognition and Perceptions of Self-Regulated Learning
Marjolein Versteega,b , Guusje Bressersc , Marjo Wijnen-Meijerd , Belinda W. C. Ommeringa , Arnout Jan de Beauforta , and Paul Steendijka,b 

자기자신을 넘어: 의과대학생의 자기조절학습에서 공동조절의 역할 (Med Educ, 2020)
Beyond the self: The role of co-regulation in medical students’ self-regulated learning
Derk Bransen1 | Marjan J. B. Govaerts2 | Dominique M. A. Sluijsmans3 | Erik W. Driessen2

1 소개
1 INTRODUCTION

자기조절학습(SRL)은 의사의 핵심 역량이자 환자 진료 보호에 필수적인 역량으로 간주된다. 1, 2 따라서 많은 의료 커리큘럼은 SRL 기술을 개발하는 의대생들을 지원한다. 자기 조절 학습은 일반적으로 주기적인cyclic 과정으로 설명되며, 종종 목표를 설정하고 그 목표를 향한 발전을 모니터하기 위한 전략의 후속적 채택에 의해 촉발되며, 성찰과 새로운 학습 목표의 공식화에 관여한다.2, 3 그러나 연구 결과에 따르면 학생들은 종종 임상 작업장 환경의 예측 불가능하고 역동적이며 지저분한 성격의 결과로 임상 학습 환경에서 학습을 규제하기 위해 고군분투한다.4, 5
Self-regulated learning (SRL) is considered a core competence of physicians and one that is essential to the safeguarding of patient care.1, 2 Many medical curricula therefore support medical students in developing SRL skills. Self-regulated learning is generally described as a cyclical process, often triggered by the formulating of goals and the subsequent employment of strategies to achieve and monitor advancement towards those goals, followed by engagement in reflection and the formulation of new learning goals.2, 3 Research findings, however, indicate that students often struggle to regulate their learning in clinical learning environments as a result of the unpredictable, dynamic and messy nature of clinical workplace settings.4, 5

일찍이 1989년부터, SRL에 대한 환경 제약 및 지원의 중요성이 문서화되었다.6 그 이후로 의대생의 SRL이 상황에 따라 달라지고, 사회적으로 파생된다socially derived는 개념은 꾸준히 힘을 얻고 있다. [병원 부서의 학습 분위기, 이용 가능한 학습 기회, 다른 사람들과의 사회적 상호 작용]은 학생들의 SRL에 영향을 미친다. 또한 의료 교육생은 사회적 및 맥락적 요인에 따라 다양하게 SRL 전략을 사용한다.
As early as 1989, the importance of environmental constraints and affordances to SRL was documented.6 Since then, the notion that medical students’ SRL is context-dependent and socially derived has steadily gained momentum.7, 8 Learning climates of hospital departments, available learning opportunities and social interactions with others seem to influence students’ SRL,9 and medical trainees variably use SRL strategies, depending on social and contextual factors.10 

의대생의 SRL에 대한 사회적 상호작용의 잠재적 영향은 공동조절학습(CRL)의 개념으로 구체화된다. CRL에서 학습자는 환경에 있는 다른 개인들과 함께 자신의 인식, 동기, 행동을 조절한다.14 CRL에는 [네트워크 속 학생들과 다른 사람들 사이의 사회적 상호작용]이 필수적인데, 이를 통해서 SRL 개발과 같은 학습 과정이 매개 또는 분배되기 때문이다. CRL의 개념은 [사회문화적 학습이론]을 반영한다. 사회문화적 학습이론은 학습자가 환경에 의해서 지속적으로 영향을 받는다는 것을 강조하며, 동시에 맥락적 주변환경을 공동-생산하고 공동-창조함을 강조한다.
The potential impact of social interactions on medical students’ SRL is embodied in the concept of co-regulated learning (CRL). In CRL, learners regulate their cognitions, motivation and behaviour together with other individuals in the environment.14 Essential to CRL are social interactions between students and others in their networks, through which learning processes, such as SRL development, are mediated or distributed.15 The concept of CRL reflects sociocultural learning theories that emphasise that learners are continuously influenced by their environment when simultaneously co-producing and co-creating the contextual surroundings in which they learn and work.16 

학습 활동에 공동으로 참여함으로써, 의료 환경에서 학생과 동료는 서로의 메타인지 및 인지 활동을 중재하고, 개인의 독립적인 SRL 행동의 개발 및 표시를 촉진하거나 제한한다.17 최근 연구에서 밝혀진 바에 따르면 SRL에 대한 의대생의 참여는 시간이 지남에 따라 변화하며, 직장 환경에서 다른 학생들의 역할과 상호 작용에 대한 인식에 영향을 받는다. 이것은 CRL의 과정이 학생들의 자기조절 능력의 발달에 영향을 미칠 수 있다는 것을 보여준다.

By jointly engaging in learning activities, students and co-workers in health care settings mediate one another's metacognitive and cognitive activities, facilitating or constraining individuals’ development and display of independent SRL behaviours.17 Findings from a recent study show that medical students’ engagement in SRL changes over time and is influenced by their perceptions of the roles of, and interactions with, others in the workplace setting.11 This illustrates that processes of CRL may influence the development of students’ ability to self-regulate.

사회적 상호작용을 주요 요소로 하는 CRL이 직장 기반 학습 환경에서 SRL 발전에 어떻게 영향을 미치는지 조사하면 학생들이 임상 환경에서 SRL을 실제로 어떻게 개발하는지 더 깊이 이해하는 데 기여할 것이다. 
Examining how CRL, with social interactions as its main element, influences SRL development in workplace-based learning environments will contribute to a deeper understanding of how students actually develop SRL in clinical settings. 

2 방법
2 METHODS

2.1 방법론
2.1 Methodology

우리는 임상실습의 CRL과 SRL 사이의 관계에 대한 의대생의 인식을 탐구하기 위해 정성적 접근법을 사용했다. 데이터 수집과 데이터 분석은 구성주의 근거이론의 원리에 의해 반복적으로 수행되었다.18, 19 구성주의 기반 이론을 사용하메 있어서, 우리는 연구진이 SRL과 CRL에 이론적, 그리고 실무적인 배경이 있음을 인정한다. 또한 자료 수집 및 분석은 SRL과 CRL의 주요 개념에 informed되었다.
We used a qualitative approach to explore medical students’ perceptions of relationships between CRL and SRL in clinical clerkships. Data collection and data analysis were conducted iteratively, informed by principles of constructivist grounded theory.18, 19 Using constructivist grounded theory, we acknowledged the research team's theoretical (DB, EWD, DMAS, MJBG) and practical (DB, EWD, DMAS, MJBG) backgrounds in SRL and CRL, and data collection and data analysis were informed by key concepts in SRL and CRL.

2.2 설정
2.2 Setting

우리는 네덜란드 마스트리히트 대학의 의학 학부 프로그램(마스터 학위)에서 이 연구를 수행했다. 마스터스 프로그램은 학술 병원 및 부속 교육 병원의 다양한 병원 부서에서 12주에서 22주 사이의 임상 실습으로 3년 동안 이루어진다. Masters 프로그램은 역량 기반 의료 교육의 원칙에 따라 설계되었으며, 캐나다의 전문가를 위한 의료 교육 지침(CanMED)의 역할을 가장 중요한 프레임워크로 사용한다. 20 학생의 SRL은 프로그램 전체에 걸쳐 포트폴리오와 멘토에 의하여 supported된다. 일상직장감독관이 배치돼 다양한 직장 환경에서 학생들의 학습을 지원하고 지도한다. 
We conducted this study in the undergraduate programme (Masters degree) in medicine at Maastricht University, the Netherlands. The Masters programme comprises 3 years of clinical clerkships lasting between 12 and 22 weeks, in various hospital departments in an academic hospital and affiliated teaching hospitals. The Masters programme is designed according to the principles of competency-based medical education, using the roles of the Canadian Medical Education Directives for Specialists (CanMEDS) as its overarching framework.20 Students’ SRL is supported throughout the programme by a portfolio and a mentor. Daily workplace supervisors are assigned to support and guide student learning in various workplace settings.

각 임상실습 시작 전에, 학생들은 그들의 개인적인 학습 목표를 설명하는 학습 계획을 세우고 그들의 멘토와 사무직에 배정된 지도자들과 이것에 대해 논의합니다. 각 임상실습의 마지막에 학생들은 멘토와 협업하여 자신의 경험과 포트폴리오에 업로드된 피드백을 되새기고 다음 단계의 훈련을 위한 새로운 학습 목표를 수립한다. 학습 계획은 학생의 포트폴리오에 포함되며, 이 외에도 포트폴리오에는 평가 데이터(예: 피드백 양식 및 테스트 결과), 경험에 대한 성찰, 학생이 자신의 개인적 및 전문적 개발을 모니터링하는 데 중요하다고 생각하는 모든 정보 등이 들어간다.

Before the start of each clerkship, students formulate a learning plan that describes their personal learning goals and discuss this with their mentor and the supervisors assigned for that clerkship. At the end of each clerkship, students collaborate with their mentors to reflect on their experiences and the feedback uploaded to the portfolio and formulate new learning goals for the next phase of training. Learning plans are included in students’ portfolios, as are assessment data (eg feedback forms and test results), reflections on experiences, and any information students deem valuable for monitoring their personal and professional development.21

2.3 참가자 및 샘플링
2.3 Participants and sampling

전체적으로 석사과정 학생의 79%가 여학생이다. 임상 훈련의 해와 성별의 다양성을 보장하기 위해 Masters 프로그램에 등록한 의대생들을 의도적으로 표본으로 추출했다(표 1). 학생들은 이메일을 통해 참여하도록 초대되었다. 최초 초대 후 2주 후에 리마인더가 발송되었습니다. 10번의 인터뷰 후, 우리는 데이터 포화도를 달성했고 구성된 주제와 그들의 관계에 대한 적절한 이해를 얻었다고 판단했다. 참가자들은 10유로의 상품권을 받았습니다.
Overall, 79% of students in the Masters programme are female. We purposively sampled medical students enrolled in the Masters programme to ensure variety in year of clinical training and gender (Table 1). Students were invited to participate via e-mail. Reminders were sent 2 weeks after the initial invitation. After 10 interviews, we considered that we had achieved data saturation and had gained an adequate understanding of the constructed themes and their relationships. Participants received a gift voucher for €10.

2.4 데이터 수집
2.4 Data collection

2018년 2월과 6월 사이에, 제1저자(DB)는 50분에서 75분 사이의 반구조적 인터뷰를 실시했다. 연구팀은 목표수립과 전략설계원리, 모니터링, 자기성찰 과정, CRL(학생들이 참여하는 관련 사항, 상호작용의 성격) 등 SRL의 핵심 개념을 반영한 인터뷰 가이드를 개발했다. 사전 동의를 얻은 후, 제1저자(DB)는 학생들에게 SRL에 대한 설명을 제공했다. 인터뷰의

• 첫 번째 부분은 임상 환경에서 [SRL에 참여하는 방법에 대한 관점]을 얻는 것을 목표로 했고,
• 두 번째 부분은 [SRL 기술의 발달에 대한 사회적 상호작용의 영향]에 대한 학생의 인식에 초점을 맞췄다.
• 마지막 부분은 [SRL과 CRL의 개발 측면]에 초점을 맞췄다.

Between February and June 2018, the first author (DB) conducted semi-structured interviews that lasted between 50 and 75 minutes. The research team developed an interview guide informed by key concepts of SRL, such as goal formulation and strategy design principles, monitoring and self-reflection processes, as well as CRL (relevant others with whom students engaged, as well as the nature of their interactions). After obtaining informed consent, first author (DB) provided students with a description of SRL.

• The first part of the interview then aimed to obtain the student's perspectives on how he or she engaged in SRL in the clinical setting;
• the second part focused on the student's perceptions of the impact of social interactions on the development of SRL skills.
• The final part of the interview focused on developmental aspects of SRL and CRL (Appendix S1).

인터뷰 동안, 인터뷰 진행자는 학생들이 묘사한 행동에 대한 상세한 예시와 설명을 제공하도록 유도했다. 인터뷰 가이드는 동시 데이터 분석을 통해 인터뷰 사이에 반복적으로 업데이트되었습니다. 모든 인터뷰는 테이프에 녹음되어 그대로 옮겨졌다.

During interviews, the interviewer prompted students to provide detailed examples and explanations of behaviours they described. The interview guide was updated iteratively between interviews, informed by concurrent data analysis. All interviews were tape-recorded and transcribed verbatim.

2.5 데이터 분석
2.5 Data analysis

데이터 수집과 분석은 반복적인 과정을 따랐고, 데이터 수집과 데이터 분석이 서로 정보를 제공할 수 있도록 했다. 제1저자(DB)와 연구보조자(CN)는 CRL 및 학생들의 SRL 발달과 관련된 개념을 포착하기 위해 독립적으로 1-3번 대본을 읽고 코드화했다.
Data collection and analysis followed an iterative process, allowing data collection and data analysis to inform each other. The first author (DB) and a research assistant (CN) independently read and coded transcripts 1-3 line by line to capture concepts related to CRL and students’ development of SRL.

초기 코딩 스킴에서 코드는 학습 목표의 공식화, 피드백 및 피드백 수신 요청, 학생들이 CRL 과정에 참여하는 중요한 다른 사람들의 세부 사항과 같은 다양한 SRL 및 CRL 행동을 기술했다. 또한 임상 훈련 단계와 같은 SRL 개발과 관련된 요소들과 영향을 미치는 요소들도 포함되었다.

• 코딩 프레임워크는 합의에 도달할 때까지 비교되고 논의되었다.
• DB는 4-11번 대본을 코딩하는 데 코딩 스킴을 활용, 연구팀과 지속적인 비교와 논의를 통해 코딩 프레임워크를 지속적으로 다듬었다.
• 연구팀은 이후 코드를 분류하고 축 코딩을 통해 주제 간 관계를 파악했다.
• 연구팀은 분석 마지막 단계에서 선택적 코딩을 활용해 [CRL이 학생들의 SRL 발달에 미치는 영향에 대한 이론]을 개발했다.
• 이 과정을 용이하게 하기 위해 DB는 주제, 하위 주제 및 관계를 제시하는 개념 맵을 만들었고, 연구팀 회의 때 이것을 이론 개발을 가이드하는 데 사용했다
• 또한 DB는 데이터 분석 전반에 걸쳐 메모에 성찰, 아이디어, 해석을 담았다.
• 데이터 분석은 질적 연구 소프트웨어 atlas.ti의 지원을 받았다.

In the initial coding scheme, codes described various SRL and CRL behaviours such as the formulation of learning goals, asking for feedback and feedback reception, and details of the significant others with whom students engaged in CRL processes. Also included were factors related to and influencing the development of SRL such as the phase of clinical training.

• Coding frameworks were compared and discussed until consensus was reached.
• DB used the coding scheme to code transcripts 4-11, continuously refining the coding framework through constant comparison and discussion of findings with the research team.
• The research team subsequently categorised codes and identified relationships between themes through axial coding.
• During the final stage of analysis, the research team used selective coding to develop theory about the influence of CRL on students’ SRL development.
• To facilitate this process, DB constructed concept maps, presenting themes, sub-themes and their relationships, which were used during research team meetings to guide theory development.
• DB furthermore captured reflections, ideas and interpretations in memos throughout the data analysis.
• Data analysis was supported by the qualitative research software atlas.ti (ATLAS.ti Scientific Software Development GmbH, Berlin, Germany).

2.6 반사율
2.6 Reflexivity

우리의 방법론적 접근법에서 의미는 연구 참가자, 생성된 데이터 및 연구팀의 해석을 통해 구성된다. DB는 업무와 조직심리학을 전공한 학력이 있는 박사후보자다. MJBG와 EWD는 Maastricht 대학교에서 Masters 프로그램의 평가 측면 개발에 참여하는 의학 교육자 및 연구원이다. DMAS는 전문적인 평가, 커리큘럼 설계, 학생의 평가 실무 참여 등이 주요 분야인 교육 연구원이다. 마스트리히트 대학교는 협력적이고 자기주도적인 학습이 중추적인 역할을 하는 문제 기반 학습(PBL) 철학으로 특징지어진다. EWD와 MJBG는 상당한 시간 동안 이 설정 내에서 작동해 왔으며 DB는 PBL 원칙에 따라 공식적인 교육을 받았다. DB는 메모와 필드 노트를 사용하여 데이터 수집 및 분석 전반에 걸쳐 보기와 해석을 캡처했습니다.
Within our methodological approach, meaning is constructed through interactions with research participants, the data generated, and their interpretation by the research team. DB is a PhD candidate with an educational background in work and organisational psychology. MJBG and EWD are medical educators and researchers involved in the development of the assessment aspect of the Masters programme at Maastricht University. DMAS is an education researcher whose main areas of expertise are professional assessment, curriculum design and student involvement in assessment practices. Maastricht University is characterised by its problem-based learning (PBL) philosophy, in which collaborative and self-directed learning play pivotal roles. EWD and MJBG have worked within this setting for substantial lengths of time and DB has had formal education according to PBL principles; these backgrounds may have influenced their views on CRL and SRL and how these may be related. DB used memos and field notes to capture views and interpretations throughout data collection and analysis.

3 결과 
3 RESULTS

데이터로부터, 우리는 학생들의 SRL의 세 가지 주요 변화를 구성할 수 있었고, 이는 학생들이 사무직을 통해 진행됨에 따라 CRL에 대한 학생들의 참여에 동시에 영향을 미치고 영향을 미쳤다.

• 첫째, 학생들은 [CRL에 참여하는 사람]에 대한 변화를 표현하였다. 임상실습 [시작 시에는 동료]들에게 중요한 역할을 부여하고, 프로그램이 끝날 때 [임상의 롤 모델]에 대한 선호도를 높였다.
• 둘째, 초보 학생의 SRL은 주로 [외부적인 환경적 단서]에 의해 추동되는 반면, 경험이 쌓인 학생의 SRL은 [내재적 단서와 자기 동기 부여]에 의해 점점 더 추진되었다.
• 마지막으로, 조절행동은 [업무 지향적 접근법]에서 [전문적인 역량과 정체성 형성]에 초점을 맞춘 보다 [포괄적인 접근법]으로 전환되었다.

From the data, we were able to construct three major shifts in students’ SRL, which were simultaneously influenced by and exerted influence on students’ engagement in CRL as they progressed through clerkships.

• Firstly, students expressed a shift with regard to whom they involved in CRL, bestowing an important role on peers at the start of clerkships and increasing their preferences for clinician role models towards the end of the programme.
• Secondly, novice students’ SRL was mainly externally driven by cues in the environment, whereas experienced students’ SRL was increasingly driven by intrinsic cues and self-motivation.
• Finally, regulatory behaviours shifted from a task-oriented approach towards a more comprehensive approach that focuses on professional competence and identity formation. 

3.1 동료와의 상호 작용에서 임상의사의 역할 모델과의 상호 작용
3.1 From interacting with peers to interacting with clinician role models

따라서 또래와의 상호작용은 학생들의 지식이나 기술 숙련도의 격차를 노출시켰고, 그들이 이러한 [격차를 해소]하기 위한 목표와 전략을 수립하는 데 도움을 주었다.
Interactions with peers thus exposed gaps in students’ knowledge or skill proficiency, helping them to formulate goals and strategies to address these gaps.

비록 초보 학생들에게는 또래간의 상호작용이 새로운 학습 환경에서 길을 찾고 더 편안하게 느끼도록 도와주었지만, 학생들은 각각의 새로운 임상실습에서 새로운 환경에 적응하며 경험을 쌓았다. 시간이 지나면서, 그들은 의료업무에 점점 더 많이 참여했고, 이것은 그들이 무엇을 배우길 원하거나 배워야 할 필요가 있는지를 더 확고하게 이해하는 데 도움을 주었다. 경험이 쌓인 학생들은 학습의 조절을 위해 다른 source에 의존한다고 보고했고, 주치의나 레지던트 같은 임상의사 롤모델을 언급했다. 이러한 역할 모델은 피드백 제공을 통해 학생들의 SRL 행동에 영향을 주었지만, 특히 의사들과의 [상호 작용과 관찰에 기초한 자기 성찰]을 자극함으로써 영향을 미쳤다.
Although peer interactions helped novice students to navigate and feel more comfortable in the new learning environment, students gained experience in adapting to new environments with each new clerkship. Over time, they participated increasingly in health care tasks, which helped them to develop a firmer grasp of what they wanted or needed to learn. Experienced students reported that they then relied on other sources to help regulate their learning, referring to clinician role models such as attending physicians and residents. These role models influenced students’ SRL behaviour through the provision of feedback, but especially through the stimulation of self-reflection based on interactions with and observations of these physicians:

3.2 외적 조절동인에서 내적 조절동인으로
3.2 From external regulatory drivers to internal regulatory drivers

따라서 초보 학생들의 SRL은 [학습 환경 속 다른 사람들]에 의해 주로 시작되는 것처럼 보였다.
Novice students’ SRL thus seemed to be predominantly initiated by others in the learning environment.

3.3 특정업무에서 전문역량 및 전문성 개발까지
3.3 From specific tasks to professional competence and professional development

4 논의
4 DISCUSSION

이 연구는 임상 작업 공간 환경에서 CRL에 대한 의대생의 인식을 탐색하고 학습 환경에서 다른 사람과의 상호작용이 학생의 SRL 발달에 어떤 영향을 미치는지 조사하는 것을 목표로 했다. 우리의 연구 결과는 시간이 지남에 따라 CRL과 SRL에 대한 학생들의 참여가 변화하고 학습 환경에 대한 인식과 경험의 변화와 직업적 정체성 개발에 영향을 받는다는 것을 보여준다. 우리의 연구 결과는 세 가지 주요 변화가 시간 경과에 따른 학생들의 발전에 핵심임을 시사한다. 

• (a) CRL 파트너 선정의 변화: 동료에서 임상의 롤모델로 이동
  
• (b) SRL 행동의 변화: 초보 학생은 외부적으로 주도되나, 경험이 풍부한 학생은 내부적으로 주도되며 타인에게 신중하고 proactive하게 참여를 유도하는 경향이 있음
  
• (c) 조절 초점의 변화: 학습자가 [잘 정의된 과제와 과제 요구 사항]에서 [전문직 정체성 발달과 관련된 전문 역량에 대한 광범위한 관점]으로 이동

This study aimed to explore medical students’ perceptions of CRL in clinical workplace settings and to investigate how interactions with others in the learning environment affect the development of students’ SRL. Our findings show that students’ engagement in CRL and SRL changes over time, and is influenced by changing perceptions and experiences of the learning environment and the development of a professional identity. Our findings suggest that three major shifts are key to students’ development over time:

• (a) a shift in the selection of CRL partners, which moves from peers to clinician role models;
• (b) a shift in SRL behaviours, which tend to be externally driven in novice students and become internally driven and involving of the deliberate, proactive engagement of others in more experienced students; and
• (c) a shift in regulatory focus as learners move from well-defined tasks and task requirements to a broader view of professional competence in relation to the developing of a professional identity.

본 연구의 연구 결과는 이전 연구의 결과를 입증하고 의대생의 SRL 개발에는 임상 환경에서 사회적 상호 작용의 중요함을 강조한다. 이는 Berkhout와 동료들의 연구 결과와 일치하여, 현재의 연구 결과는 학생들의 SRL에 대한 다른 사람들의 영향이 초보 학생들과 경험 많은 학생들 사이에 다르다는 것을 시사한다.

• 초보 학생들이 주로 동료들에 의존하여 학습 환경을 탐색하는 데 도움이 되는 frame of reference을 공동-생성하는 반면,
• 경험이 많은 학생들은 통제력을 얻고, 경험이 많은 다른 임상의 롤 모델과 상호 작용하며, 점점 더 자신의 학습을 서포트하기 위한 목적의 공동 조절 활동에 이들을 참여시킨다.

The findings of our study corroborate those of previous research and stress the importance of social interactions in clinical settings for the development of medical students’ SRL. Aligned with findings from the study by Berkhout and colleagues,11 the current findings suggest that the influence of others on students’ SRL differs between novice and experienced students.

• Whereas novice students mainly rely on peers to co-create a frame of reference to help them navigate the learning environment,
• experienced students learn to take control, to interact with clinician role models as more experienced others and to increasingly engage these in co-regulatory activities to support their own learning.

또한 참가자들은 자신이 배우고자 하는 것과 이러한 목표의 달성이 전문적인 역량 개발에 어떻게 기여할지에 대한 명확한 견해를 갖게 된다면 다른 사람들을 학습에 더 쉽게 참여시킬 수 있을 것이라고 보고했다. 이러한 결과는 SRL과 CRL 사이의 관계가 상호적이라는 것을 시사한다. 

• SRL 기술은 다른 사람과의 상호작용을 통해 개발되는 반면 
• SRL 기술의 숙달mastery은 학생들이 학습과 역량 개발을 위해 의미 있는 CRL에 능동적으로 참여할 수 있도록 한다. 

Participants furthermore reported that they could more readily engage others in their learning if they had developed a clear view about what they wanted to learn and how the achievement of these goals would contribute to the development of professional competence. These findings suggest relationships between SRL and CRL are reciprocal:

• SRL skills develop through interactions with others,
• whereas the mastery of SRL skills increasingly enables students to proactively engage in meaningful CRL to enhance their learning and competence development.

[개인이 되고자 하는 의사 유형에 대한 성찰]뿐만 아니라, [의료 업무에 대한 적극적인 참여]는 학생들이 일과 학습 환경에서 다른 사람들과의 상호작용을 통해, [학습을 점점 더 잘 조절하고 기꺼이 조절하는 학습자]로 발전하는 데 영향을 미치는 중요한 촉진 요인으로 보인다.

Active participation in health care tasks, as well as reflection on the type of physician the individual wants to become, seem to be important facilitating factors, influencing students’ development into learners who are increasingly able and willing to regulate their learning through interactions with others in the work and learning environments.

본 연구의 참가자들은 [(학습과 일이 얽혀 있는 학습 환경으로서의) 임상 환경]에 대한 깊은 이해에 [자신의 학습을 조절할 수 있는 능력]이 달려있음을 분명히 나타냈다. 학생들은 임상실습 내에서 학습 기회에 대한 이해가 부족할 경우, 학습 목표를 설정해야 할 때 도전과 좌절이 반복된다고 보고했다. 그 결과, 학생들은 [실제 진행되는 학습과 업무 경험]뿐만 아니라 [레지던트, 의사, 동료들과의 관찰과 협상]을 바탕으로 [목표를 지속적으로 조정하고 다듬어야 한다]고 느꼈다. 이러한 발견은 [임상적 맥락에서 목표를 설정]할 때, 목표가 현실적이고 달성가능하려면, [학생과 감독자 사이의 협상과 감독자의 참여]를 필요로 한다는 이전 연구의 결과와 일치한다.22, 23
Participants in our study clearly indicated that the ability to regulate their own learning depended on their having a deep understanding of the clinical setting as a learning environment in which learning and work are intertwined. Students repeatedly reported being challenged as well as frustrated when tasked with setting learning goals if their understanding of the learning opportunities within clerkships was insufficient. In consequence, students felt they were then forced to continuously adjust and refine their goals based on observation of and negotiation with residents, physicians and peers, as well as on actual learning and work experiences. These findings are in line with those of previous studies which showed that goal setting in clinical contexts requires negotiation between students and supervisors and engagement from supervisors if goals are to be realistic and attainable.22, 23

우리의 연구 결과는 또한 학생들이 임상실습 환경에서 [팀에 포함되는 정도와 속도]가 [피드백을 요청하거나 의료 업무에 대한 자신의 적극적인 참여를 협상함]으로써, 다른 사람들을 학습 조절에 능동적으로proactive하게 참여engage시키는 능력에 영향을 미친다는 것을 보여주었다. 이는 특정 업무 환경에서는 CRL 기회를 활용하기 위해 학생을 CoP(실천 공동체)에 장기간 포함하도록 촉진해야 함을 시사할 수 있다. 
Our findings also showed that the extent to which and the pace at which students are embedded in teams in clerkship environments influenced their ability to proactively engage others in the regulation of their learning through the solicitation of feedback or by negotiating their own active participation in health care tasks. This may suggest that we need to facilitate the prolonged inclusion of students into communities of practice (CoPs) to capitalise on the opportunities for CRL in specific work settings.24 

CoP에서 개인은 일반적으로 목표를 공유하고, 이러한 목표를 달성할 수 있는 최선의 방법에 대한 대화를 함으로써, 서로로부터 배우고, 이에 따라 서로의 지식과 기술을 지속적으로 심화시킨다. CoP는 동료들과 더 경험이 많은 다른 사람들을 학습 조절에 참여시킬 수 있는 기회를 만들 뿐만 아니라, 직무과 의료의 질에 대한 토론에 참여할 수 있는 기회를 제공하고, 학생들이 의사가 되기 위해 무엇이 필요한지에 대한 성찰을 자극하여, 전문직 정체성 형성과 SRL의 발달을 지원한다.

In CoPs, individuals typically engage in learning from and with each other by sharing goals and having conversations about how best to achieve these goals, and thereby continuously deepening one another's knowledge and skills.25 Not only do CoPs create opportunities to engage peers and more experienced others in the regulation of learning, but they also offer opportunities to engage in discussions about the quality of work and health care, stimulating students’ reflections on what it takes to be and become a medical doctor and thereby supporting their professional identity formation and subsequent development of SRL.

본 연구의 발견뿐만 아니라 이전 연구에 근거하자면, 동료들은 목표 설정에서 학생들을 지원하고 학습 환경의 기회와 기대에 익숙해질 수 있기 때문에, 초보 학생들의 SRL 개발에 중요한 역할을 수행하는 것으로 보인다. 동료 지원 학습(PAL)은 또한 학생들의 전문직 정체성 형성에 기여하는 것으로 나타났다. 따라서 우리는 예를 들어, [초보 학생과 더 경험이 많은 학생들 사이에 학습과 협력 관계를 형성]함으로써 CoP 내에서 PAL을 자극하는 데 더 많은 주의를 기울여야 할 수 있다. PAL에는 양방향의 서포트가 수반되기 때문에, CoP 내에서 PAL을 자극하면 학습자의 코칭과 교수 능력을 키우는 추가적인 이점이 있다.29

Based on the findings of our study, as well as findings from previous research,11 peers seem to fulfil important roles in novice students’ development of SRL because they can support students in goal setting and familiarise newcomers to opportunities within and expectations of the learning environment. Peer-assisted learning (PAL) has furthermore been shown to contribute to students’ professional identity formation.26, 27 We therefore may need to pay more attention to stimulating PAL within CoPs, by, for example, forming learning and working partnerships between novice and more experienced students. As PAL entails bidirectional support,28 stimulating PAL within CoPs will deliver the added benefit of developing learners’ coaching and teaching skills.29

전반적으로, 우리의 연구 결과는 SRL이 CRL에 내장되어 있다는 개념을 뒷받침하며, 이러한 생각은 탄력을 받고 있다. 현재 연구는 학생들의 SRL 발달에 있어 '자신을 넘어서beyond the self'를 바라볼 필요성을 강조한다. 우리의 발견은 SRL 개발을 포함한 직장 학습workplace learning이 항상 다른 사람과의 상호 작용에서 발생하며, 학생들의 SRL은 항상 CRL에 대한 참여를 수반한다는 것을 나타내는 [사회 문화 학습 이론] 내의 필수 개념을 반영한다. 학생들은 타인으로부터 '자율적으로' '독립적으로' 배우는 학생으로 발전한다기보다는, 자기 조절 학습자로의 변화하면서 [CRL에 참여하는 방식과 타인을 학습에 의도적이고 의미 있게 참여시키는 능력]이 증가하였다.
Overall, our findings support the notion of SRL as being embedded in CRL, an idea gaining momentum.30 The current study highlights the need to look ‘beyond the self’ when examining and facilitating students’ SRL development. Our findings reflect essential notions within sociocultural learning theories, indicating that workplace learning, including the development of SRL, always occurs in interactions with others, and that students’ SRL always involves engagement in CRL. Rather than developing into students who learn ‘autonomously’ and ‘independently’ from others, students’ transformation into self-regulated learners is reflected through significant changes in the way that they engage in CRL and their increasing ability to purposively and meaningfully engage others in their learning to support their development of competence.

능력 SRL이 상황에 따라 다르다는 것이 점점 더 인정되고 있지만, 종종 여전히 학습자의 독립성과 자율성을 강조하고 강조한다.31, 32 본 연구는 이러한 아이디어에 문제를 제기하며, SRL 발달뿐만 아니라, 임상 작업 공간 환경에서 사회적 상호작용에 내재된 SRL 발달을 고려할 것을 지지한다. 학생들의 [SRL 개발]을 [CoP에서 CRL에 참여하는 능력의 개발]로 개념화하는 것은 [임상실습을 조직하고 의대생들에게 학습을 조절하도록 교육하는 방법]에 중요한 함의를 갖는다. 예를 들어, 우리는 학생들이 여러 개의 짧은 블록식 로테이션을 통해 순환하는 현재의 의료 훈련 모델을 재고해야 할 수도 있다. 

Although it is increasingly acknowledged that SRL is context-dependent, research often still emphasises and underscores learner independency and autonomy.31, 32 The present study challenges this idea and instead advocates for considering SRL, as well as SRL development, as being embedded in social interactions in clinical workplace settings. Conceptualising the development of students’ SRL as the development of students’ ability to engage in CRL in CoPs has important implications for how we organise clinical clerkships and how we educate medical students to regulate their learning. For instance, we may need to reconsider current models of medical training in which students rotate through multiple short-block rotations.

오히려, 우리는 학생들이 CoP의 중심으로 이동하고 CRL의 기회를 완전히 이용할 수 있도록 하기 위해 종단적 통합임상실습에서 건강 관리 팀 내에서, 안전하고 신뢰할 수 있는 종단적 관계의 개발을 촉진해야 한다. 나아가 학생들이 [직무환경에서 학습을 조절할 수 있는 학습자]로 발전할 수 있게 하려면, 목표 설정, 자기 평가, 성찰과 같은 스킬에 대한 훈련과 코칭뿐만 아니라, 무엇보다 [피드백 탐색 및 타인을 학습 대화에 관여시키는 것]과 같이 [CRL에 참여할 수 있는 스킬]에 주의를 기울여야 할 수 있다. 의학교육의 시작부터 SRL이 CRL에 내재되어 있다는 것을 인정하면, 학생들이 직무환경에서 학습을 최적화하도록 더 잘 준비하는 데 도움이 될 수 있으며 의료 교육 및 연구가 진정으로 'self'의 수준을 넘어설 수 있도록 도울 수 있습니다.

Rather, we should facilitate the development of safe and trusting longitudinal relationships within health care teams in longitudinal integrated clerkships,33 for example33 to allow students to move towards the centre of the CoP and to fully capitalise on opportunities for CRL. Furthermore, in order to help students develop into learners who are able to regulate their learning in workplace settings, we may not only need to offer training and coaching in skills such as goal setting, self-assessment and reflection, but first and foremost to pay attention to the skills that enable students to engage in CRL, such as feedback seeking and engaging others in learning conversations. Acknowledging from the outset of medical training that SRL is embedded in CRL may assist us in better preparing students to optimise their learning in workplace settings, and may help medical education and research to truly move beyond the self.

4.1 제한사항
4.1 Limitations

이 연구는 참가자 11명의 제한된 샘플로 수행되었습니다. 대부분의 학생(9명)은 임상 2년차 또는 마지막 해에 등록되었다. 이는 이러한 학생들이 임상 훈련을 시작할 때 자신의 행동과 생각을 소급적으로만 설명할 수 있었다는 것을 의미하며, 이는 그들을 기억 편향에 취약하게 만들었을 수 있다. 공동규제학습과 SRL은 추상적인 이론적 구성인데, 학생들이 실용적으로 이야기하기 어려웠을 수 있다. 면접 가이드를 구성하면서, 연구팀은 질문들을 최대한 구체적으로 공식화하려고 시도했다. CRL은 학생들이 깨닫는 것보다 더 널리 퍼져 있을 수 있으며, CRL의 많은 부분이 숨겨져 있거나 암시적일 수 있다. 예를 들어, 면접이 끝난 후 몇몇 학생들은 [보통은 면접에서 논의된 개념에 대해 그다지 많은 생각을 하지 않는다]고 언급했다. 비슷한 맥락에서 참가자들이 자발적으로 참여했기 때문에, 이는 자신의 학습에 대해 적극적으로 생각한 학생들만이 참가에 동의했다는 의미일 수 있다.

This study was conducted with a limited sample of 11 participants. Most (nine students) were enrolled in the second or final years of clinical training. This means that these students were able to describe their behaviour and thoughts at the start of clinical training only retrospectively, which may have made them susceptible to memory bias. Co-regulated learning and SRL are abstract theoretical constructs, which students may have found difficult to talk about in practical terms. In constructing the interview guide, the research team attempted to formulate the questions as concretely as possible. It may be that CRL is more prevalent than students realise, and much of CRL may be hidden or implicit. For example, some students indicated after the interview had finished that they did not usually give very much thought to the concepts discussed in the interview. In a similar vein, participants were self-selected volunteers, which may imply that only students who actively thought about their learning agreed to participate.

5 결론
5 CONCLUSIONS

본 연구는 SRL과 SRL 개발이 [임상 직무 공간 환경의 사회적 상호작용과 CRL]에 내재되어 있다는 아이디어를 강조한다. 우리는 CRL이 구조적으로 임상실습에 내장embed되어 있음을 인정하고, [자기조절능력]이 [학습 프로세스를 지원하기 위해 다른 사람들과 의미 있는 상호작용을 할 수 있는 능력]을 의미한다는 것을 인정할 때, 비로소 의대 학부생의 SRL 개발을 지원할 수 있을 것이다. 의대생들의 평생학습자 전환을 촉진하기 위해서는 학습자들의 CRL 참여를 지원하고 조직해야 합니다. 역량 기반 의료 교육의 경우, 초보 학생과 더 경험이 많은 학생과 의료 전문가 사이의 직장 파트너십을 장려하기 위해 의대생들을 CoP에 포함시키는 방법을 재고해야 한다는 것을 의미한다. 임상 환경에서 CRL의 기회를 활용함으로써, 우리는 학생들이 전문 경력 동안 급변하는 의료 시스템에서 학습을 최적화하고 고품질 관리를 제공할 수 있는 의료 전문가로 발전하는 데 필요한 학습 기술을 더 잘 준비할 수 있을 것이다.

Our study emphasises the idea that SRL and SRL development are embedded in social interactions and CRL in clinical workplace settings. We can support medical undergraduates’ development of SRL when CRL is structurally embedded in clerkships, acknowledging that the ability to self-regulate implies the ability to engage in meaningful interactions with others to support learning processes. In order to facilitate medical students’ transformation into lifelong learners, we therefore need to support and organise learners’ engagement in CRL. For competency-based medical education, this means that we should reconsider the ways by which we include medical students in CoPs in order to encourage workplace partnerships between novice students and more experienced students and health care professionals. By capitalising on the opportunities for CRL in clinical settings, we may be able to better equip students with the learning skills they need to develop into health care professionals who are able to optimise their learning and provide high-quality care in rapidly changing health care systems throughout their professional careers.

 doi: 10.1111/medu.14018. Epub 2019 Dec 1.

Beyond the self: The role of co-regulation in medical students' self-regulated learning

PMID: 31788840

PMCID: PMC7065189

DOI: 10.1111/medu.14018

© 2019 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

질적연구인터뷰 수행의 열두 가지 팁 (Med Teach, 2018)
Twelve tips for conducting qualitative research interviews
Cormac McGratha,b , Per J. Palmgrena and Matilda Liljedahla,c

포화라는 위장 뒤에 숨은 것: 질적 인터뷰 자료와 견고함 (J Grad Med Educ, 2021)
Beyond the Guise of Saturation: Rigor and Qualitative Interview Data
Kori A. LaDonna, PhD . Anthony R. Artino Jr, PhD . Dorene F. Balmer, PhD

대학원 의학교육(GME)을 연구하는 이들을 포함한 보건직업 교육 연구자들이 교육 실천을 지도할 수 있는 근거 기반을 구축하고 있다. 지난 20년 동안 질적 연구자들은 수많은 경험적 발견을 해냈다. 그러나 좋은 질적 증거의 특징은 무엇인가? 
Health professions education researchers, including those who study graduate medical education (GME), are building an evidence base to guide educational practice. Over the last 2 decades, qualitative researchers have generated a plethora of empirical findings. However, what are the features of good qualitative evidence? 

엄격함 및 포화도
Rigor and Saturation

포화상태에서 충분상태로
Shifting From Saturation to Sufficiency

정성적 발견의 충분성 평가
Evaluating the Sufficiency of Qualitative Findings

명확한 증거 가치 전달
Clearly Conveying Evidentiary Value

우리는 연구자들에게 학술적 글쓰기가 비효율적인 경우, 가장 강력한 질적 발견조차도 설득력이 없어 보이게 할 수 있다고 경고한다. 정보력은 정성 표본의 충분성을 평가하거나 정당화하는 데 유용하지만, [정성적 발견의 증거적 가치evidentiary value]는 풍부한 데이터와 엄격한 분석 그 이상이다. 여기에는 반드시 좋은 글쓰기가 필요하다. 출판을 위한 연구의 초안을 작성할 때, 연구 절차와 의사결정 과정을 투명하고 설득력 있게 만드는 책임은 저자에게 있다.8,22 연구자들은 [데이터가 충분한 이유]뿐만 아니라, [데이터가 어떻게 해석]되고, [어떻게 GME에 기여하는지]도 명확하고 설득력 있게 전달해야 한다. 주제가 연결되어 새로운 이해를 창출하는 것을 보여주지 못하고, 그저 이질적인 주제만 단순히 열거하는 것은 리뷰어와 독자에게 연구 결과가 의미 있다는 것을 납득시키지 못할 가능성이 높다. 결국, 검토자와 독자는 엄격한 질적 연구의 뉘앙스를 포착하지 못하는 정량적 기준의 부적절한 적용으로 인해 강력한 원고가 시들해질 수 있다는 것을 유념해야 한다.
We warn researchers that ineffective scholarly writing can make even the most powerful qualitative findings appear unconvincing. While information power is useful for appraising or justifying the sufficiency of a qualitative sample, the evidentiary value of qualitative findings depends on more than rich data and rigorous analysis. It requires good writing. When drafting research for publication, the onus is on the authors to make their research procedures and decision-making processes transparent and convincing.8,22  Researchers need to clearly and compellingly convey not only why a dataset is sufficient, but also how data were interpreted and what they contribute to GME. Enumerating a list of disparate themes, rather than demonstrating how themes connect to generate new understanding, will likely fail to convince reviewers and readers that the findings are meaningful. In turn, reviewers and readers must be mindful that strong manuscripts may wilt under the inappropriate application of quantitative criteria that fail to capture the nuances of rigorous qualitative research.

GME에서 질적 증거 기반을 강화하는 것은 [충분성을 입증]하고, [충분성을 적절하게 평가하는 것]에 달려 있다. 이 표에서 우리는 정성적 면접 결과의 증거 가치를 평가하거나 보고할 때 고려해야 할 일련의 안내 질문을 제공한다.
Boosting the qualitative evidence base in GME depends on both demonstrating sufficiency and evaluating it appropriately. In the Table we provide a set of guiding questions to consider when evaluating or reporting the evidentiary value of qualitative interview findings.

 

요약 Summary

 doi: 10.4300/JGME-D-21-00752.1. Epub 2021 Oct 15.

Beyond the Guise of Saturation: Rigor and Qualitative Interview Data

PMID: 34721785

PMCID: PMC8527935 (available on 2022-10-01)

DOI: 10.4300/JGME-D-21-00752.1

효과적으로 질적연구 결과 섹션을 쓰는 세 가지 원칙 (Focus on Health Professional Education, 2021)
Three principles for writing an effective qualitative results section
S. Cristancho, C. J. Watling & L. A. Lingard

도입 Introduction

우리의 글쓰기와 학문적 글쓰기에 대한 가르침은 중요한 전제에 달려 있다. 괜찮은decent 연구 논문은 [연구study]를 보고하지만, 훌륭한great 연구 논문은 [이야기story]를 들려준다. 명확하게 하기 위해, 우리는 연구와 이야기가 더 두드러지는 연구 논문의 부분을 구분했습니다. 우리는 [이야기가 크게 도입/고찰]이고 [연구는 방법/결과]라고 말해왔다. 그러나 이러한 구분을 너무 엄격하게 적용하지 않는 것이 중요합니다. 좋은 결과 섹션은 결과를 보고할 뿐만 아니라 독자가 결과에 참여할 수 있도록 도와줍니다. 좋은 결과 섹션은 스토리와 공부의 요소가 모두 필요하고, 그것들을 공존시키는 것은 결과 섹션을 쓰기가 어려운 이유일 것이다. 본 논문에서, 우리는 질적 논문의 저자들이 결과 부분에서 연구/이야기 난제와 씨름하는 데 도움이 되는 세 가지 원칙인 과학적 스토리텔링, 진정성 및 주장을 논의한다. 
Our writing, and our teaching about academic writing, hinges on a key premise—a decent research paper reports a study, but a great research paper tells a story (Lingard & Watling, 2016). For the sake of clarity, we have distinguished the sections of a research paper where study and story are more prominent. We have said that story is largely introduction/discussion and study is methods/results. It’s important, however, not to apply this distinction too rigidly—a good results section not only reports findings but also helps the reader to engage with them. A good results section needs elements of both story and study, and making them coexist is, likely, why a results section is so difficult to write. In this paper, we discuss three principles—scientific storytelling, authenticity and argument—to help writers of qualitative papers grapple with the study/story conundrum in their results sections. 

원칙들
The principles

1. 과학적 스토리텔링
1. Scientific storytelling

"이야기"라는 단어는 과학과 함께 놓이기 불편한 단어이다. 과학은 그 자체로 설득력이 있다는 믿음 때문에 불편함을 만듭니다. 따라서, 연구 보고를 윤색하는 것처럼 보이는 것은 무엇이든 잘못인 것처럼 느껴집니다. 우리가 "이야기"라는 단어를 사용하는 것은 과학의 장식을 선호하기 위한 것이 아니라, 독자들이 [연구의 결과를 설득력 있게 만드는 것]이 무엇인지 쉽게 인식하도록 하기 위함이다. 과학적 스토리텔링의 원리는 그러한 목표를 향한 몇 가지 지침을 제공할 수 있습니다.
The word “story” sits uneasily alongside science (“Should scientists tell stories?,” 2013). It creates discomfort because of the belief that science is persuasive on its own. Therefore, anything that seems like embellishing the reporting of a study feels wrong. Our use of the word “story” is not to favor embellishment of science but, rather, to ensure that readers readily recognise what makes the results of a study compelling. The principle of scientific storytelling can offer some guidance towards such a goal.

많은 작가들이 직면하는 어려운 점은 [무엇이 당신의 결과를 구성하는지]를 결정하는 것이다. 만약 독자들이 여러분의 연구에 참여하도록 강요하는 것이 목표라면, 여러분의 결과 섹션은 여러분이 그 구성 요소의 목록보다 더 많이 연구하고 있는 문제에 대한 개념적인 이해를 그들에게 제공해야 합니다. 훌륭한 연구자들은 독자들에게 의미를 부여하기 위해 해석하고 맥락화하며, 그러한 맥락화는 과학적 스토리텔링의 기초가 된다.
A struggle many writers face is deciding what constitutes your results. If the goal is to compel readers to engage with your study, then your results section should offer them a conceptual understanding of the issue that you’re studying more than an inventory of its components. Good researchers interpret and contextualise to make meaning for their readers, and such contextualisation is the basis of scientific storytelling.

일반적으로 좋은 이야기는 환기시키고evocative, 참신하며 기억에 남아야 한다(Simmons, 2019).

• 과학적 스토리텔링에서, 환기시킨다는 것은 글이 감정을 자극한다는 것을 의미하지 않는다; 대신, 그것은 마음을 사로잡고 울려 퍼지게 하는 결과를 의미한다.
• 마찬가지로, 새롭다는 것이 항상 획기적인 발견을 제시하는 것은 아니다. 그것은 또한 알려진 현상에 대해 다른 관점을 제공하는 것에 관한 것이다.
• 그리고 기억에 남는다는 것은 독자들이 신문의 모든 세부사항을 기억할 것이라는 것을 의미하는 것이 아니라, 오히려 중요한 발견이 그들을 돋보이게 할 것이라는 것을 의미한다. 

As a general rule, a good story should be evocative, novel and memorable (Simmons, 2019).

- In scientific storytelling, evocative doesn’t mean the writing stirs emotion (although it might); instead, it refers to results that captivate and resonate.

- Similarly, novel is not always about presenting a groundbreaking discovery. It is also about offering a different perspective on a known phenomenon.

- And memorable doesn’t mean that your readers will remember every single detail of the paper but, rather, that the key findings will stand out for them. How do you organise your story with these features in mind?

여기서부터 시작하는 것은 시작 단락입니다. 대부분의 질적 연구가 주제를 식별하는 것을 포함하기 때문에, 흔히 다음과 같이 시작하는 단락을 쓰는 경향이 있을 것이다: "우리는 다섯 가지 주제를 발견했다: 테마 1, 테마 2, … 테마 5. 주제 1은 … 주제 5는 … 각 주제는 참가자들의 인용문을 사용하여 아래에 설명되어 있습니다." 이러한 유형의 문단은 결과에 대한 큰 그림 설명을 제공하는 것으로 생각할 수 있지만 그렇지 않습니다. 이것은 테마의 목록입니다. 그리고 틀린 것은 아니지만, 할 이야기가 있는 것 같지는 않다. 대신 수치 경험에 대한 바이넘 외 연구진(2021)의 논문의 이 첫 단락을 생각해 보자.
A place to start is the opening paragraph. As most qualitative studies involve identifying themes, we might be inclined to write an opening paragraph that reads like: “We found five themes: theme 1, theme 2, … theme 5. Theme 1 refers to … theme 5 refers to … Each theme will be described below using quotes from participants”. You might think of this type of paragraph as providing a big picture description of the results, but it does not. That’s an inventory of themes. And while it is not wrong, it doesn’t feel like there is a story to be told. Consider instead this opening paragraph from Bynum et al.’s (2021) paper on experiences of shame.

참가자들이 묘사한 수치 경험은 개인과 그들의 환경 사이의 동시적이고 다층적인 상호작용으로 구성되었다. 이러한 상호작용의 의미를 모색하면서, 우리는 '불의 은유'를 통해 참가자들의 수치심을 이해하게 되었습니다. 불이 기질에 미치는 잠재적인 영향처럼, 수치심은 우리의 참가자들에게 깊은 영향을 미칠 수 있다: 대부분의 보고는 세계적으로 부정적인 자기 평가로 구성된 강렬하고, 음흉하고, 그리고/또는 매우 골치 아픈 수치 반응을 경험한다. 학생들은 스스로를 '좋지 않다'(P10), '전혀 가치가 없다'(P12), '부적절한 의대생'(P15), '작다'(P8, P11), '멍청하다'(P6)고 생각한다고 보고했다. "이름도 없는 이 부정적인 감정에 빠져드는 것 같았다"(P15)는 수치심의 감정적 경험이 종종 압도적이었다. 참가자가 겪어낸 수치심 경험의 기원에 대한 두 가지 광범위한 구조, 즉 수치심 유발자와 수치심 촉진자를 식별했다. (188쪽)
The shame experiences described by participants consisted of simultaneous, multi-layered interactions between the individual and their environment. In seeking the meaning of these interactions, we came to understand participants’ shame experiences through the metaphor of fire. Like the potential impact of fire on a substrate, shame could profoundly affect our participants: most reported experiencing intense, insidious and/or deeply troublesome shame reactions that consisted of globally negative self-assessments. Students reported viewing themselves as “no good” (P10), “completely worthless” (P12), “an inadequate medical student” (P15), feeling “small” (P8, P11) and feeling “stupid” (P6). The emotional experience of shame was often overwhelming: “I felt like I was drowning in this negative emotion that I didn’t have a name for” (P15). We identified two broad structures of the origins of participants’ lived experiences of shame: shame triggers and shame promoters. (p. 188)

이 단락을 읽으면, 여러분은 결과 파트에서 [수치심을 유발하고 촉진하는 것]을 다룰 것이라는 느낌을 받게 됩니다. 하지만, 그것이 다가 아닙니다. 저자들은 이 단락에 이야기 풍미를 불어넣기 위해 [두 가지 추가 전략]을 사용했다. 주제 간 관계가 [메타포의 형태로 묘사될 것이라는 기대]를 독자들에게 준비시키고, [메타포를 엿볼 수 있는 짧은 인용구]를 주입하는 동시에 독자들의 시선을 사로잡았다.
In reading this paragraph, you get a sense that the results will be about triggers and promoters of shame. However, that’s not all. The authors used two additional strategies to instill a story flavor in the paragraph. They prepared readers to expect that the relationships among themes will be described in the form of a metaphor, and they infused evocative short quotes to provide a glimpse of the metaphor, while at the same time, capturing readers’ attention.

문단을 여는 것만이 당신의 결과의 스토리를 묘사하는 유일한 방법은 아니다. [시각 지향적인 도표]를 사용하여 독자가 아이디어 간의 연결을 볼 수 있습니다. 다음은 예입니다.
Opening paragraphs are not the only way to portray the story of your results. In the event that you are more visually oriented, you could also use diagrams to help readers see the connections between your ideas. Here is an example:

임상 학습 과정은 도표를 사용하여 표현되었다(Watling 등, 2012). 저자들은 모델의 각 핵심 요소를 입증하고자 했기 때문에 결과 섹션의 시작 부분에 도표를 포함하기로 명시했다. 그렇게 함으로써, 그 다이어그램은 독자들이 앞으로 다가올 것과 각각의 요소들이 어떻게 연결되어 있는지에 대한 방향을 제시하는데 도움을 주었다. 
The process of clinical learning was represented using a diagram (Watling et al., 2012). Since the authors intended to evidence each key element of the model, they made the explicit decision to include the diagram at the beginning of the results section. By doing so, the diagram helped orient readers to what was to come and to how each element was connected. 

시작 문단 및 도표는 [이야기의 큰 그림]을 그리는데 도움이 된다. 결과 섹션의 나머지 부분에서는 의도한 스토리가 스터디와 어떤 관련이 있는지 설명합니다. 시작하기 전에, 모든 주제가 과학 이야기에서 동등하게 표현되어야 하는 것은 아니라는 것을 기억하라. 모든 주제 간의 관계를 설명할 수 있지만, 때때로 하나의 핵심 주제를 중심으로 이야기를 진행하기로 결정할 수도 있습니다. 이것은 임의적인 결정이 아닙니다. 테마가 이야기를 의미 있게 진전시키는지, 그리고 그것을 뒷받침할 충분한 자료가 있는지 여부에 달려 있다. 이는 전통적인 결과 표시가 아니므로, 작성자들은 이 사례에서 예시된 바와 같이 의사결정을 명시적으로 표현하는 것을 고려해야 한다.
Opening paragraphs or diagrams help lay out the big picture of the story. The rest of the results section is about describing how your intended story relates to your study. To start, remember that not all themes must figure equally in a scientific story. While you could describe all the relationships among all your themes, sometimes you might decide to center your story around one key theme. This is not a random decision. It hinges on whether the theme(s) advances the story in a meaningful way and on whether you have enough data to support it. As this is not a traditional presentation of results, writers should consider explicitly articulating their decision making, as illustrated in this example.

우리는 두 가지 주요 발견을 확인했다. 첫 번째 범주는 아래에 설명된 원칙과 선호도의 한계인 핵심 범주입니다. 두 번째는 참가자들이 이러한 문턱에 직면했을 때 어떻게 반응했는지에 대한 이론적 프레임워크입니다. 연구 결과를 더 강력하게 표현해야 한다는 최근의 요구에 따라(26–28) 우리는 그 구축을 이끈 모든 범주와 코드를 요약하는 대신 [핵심적 이론 구조]를 환기하는 핵심 내러티브를 사용하기로 결정했다. (Apramian 등, 2015, 페이지 S71)
We identified two key findings. The first is the core category—thresholds of principle and preference—as described below. The second is a grounded theoretical framework of how our participants responded to encountering these thresholds. Following recent calls to represent research findings more powerfully (26–28) we have elected to use core narratives that evoke the central theoretical constructs rather than outlining all categories and codes that led to their construction. (Apramian et al., 2015, p. S71)

저자들은 결과 이야기를 '문턱 원칙과 선호'라는 핵심 주제에 집중하기로 했을 뿐만 아니라 그 구성 요소를 짧은 인용구가 아닌 내러티브의 형태로 설명하기로 했다. 아래의 주장의 원칙이 이 전략에서 확장될 것입니다.
Not only did the authors decide to focus the story of the results on the key theme of “thresholds of principle and preference”, but they also chose to illustrate its components in the form of narratives, not short quotes. The principle of argument, below, will expand on this strategy.

문단이나 도표를 여는 용도, 주제 간 관계를 어떻게 탐구할 것인지 등을 고려하는 것 외에도, [결과 부분을 어떻게 마무리할지]에 대해서도 어느 정도 고민해야 한다. 요약 단락, 기억할 만한 인용문 또는 간단한 전환 문장을 사용할 수 있습니다. 자신의 선호도와 단어 수 제한과 상관없이, 중요한 것은 가장 취약한 지점weakest point으로 끝나지 않는 것입니다. 첫 번째 초안 후에 이야기의 흐름을 다시 돌아보는 습관을 들이고 수사적인 목적을 위해 재정렬하세요.
In addition to considering the use of opening paragraphs or diagrams and how you will explore the relationships among your themes, some thought should be given to the ending of the results section. You may use a summary paragraph, a memorable quote or simply a transition sentence. Regardless of your preference and word count limit, what’s important is that you don’t end with your weakest point. Make a habit of revisiting the flow of the story after your first draft, rearranging for rhetorical purposes.

과학적 스토리텔링의 원리를 이용하면서, 작가들이 마주치는 또 다른 어려움은 [결과와 토론 사이의 연결성]에 대해 결정하는 것이다. 저자는 잘못이 없다. 이런 어려움을 만드는 것은 질적 연구의 비선형성 때문이다. 질적 연구는 반복적이고 진화하는 것이다; 연구자들은 그들의 데이터를 읽고 해석하는 것 사이를 왔다 갔다 한다. 그리고 그것들을 작성하는 것도 마찬가지입니다. 이렇게 하면, 때때로 검토자로부터 해당 문장이 토론 섹션에 속하는지 궁금하거나 질문을 받을 수 있습니다. 보건전문교육(HPE) 논문의 전통적인 IMRD(서론, 방법, 결과, 토론) 구조에서 [결과 섹션]은 참가자들이 어떻게 경험했는가라는 질문에 답하고, [토론 섹션]은 참가자들의 경험을 알게 되었으니, 우리는 이 지식으로 무엇을 할 수 있는가라는 질문에 답한다.
In using the principle of scientific storytelling, another struggle writers encounter is deciding about the connection between the results and the discussion. The writer is not at fault here. What creates this struggle is the non-linear nature of qualitative studies. Qualitative studies are iterative and evolving; researchers go back and forth between reading and interpreting their data. And the same applies to writing them up. In doing so, you might sometimes wonder or get asked by a reviewer whether a statement belongs to the discussion section. In the traditional IMRD (Introduction, Methods, Results, and Discussion) structure for health professional education (HPE) papers, while

• a results section answers the question How did participants experience this?,
• a discussion section answers the question Now that we know about their experiences, what can we do with this knowledge?

결과 중 한 조각이 토론에 속하는지를 빠르게 점검해보는 요령은 [문장의 시제]를 확인하는 것입니다. 우리는 참가자들의 관점을 설명할 때 과거형을 사용하고, 우리의 해석을 제공할 때 현재형을 사용하는 경향이 있습니다. 만약 그러한 해석이 [참가자들이 말한 것을 어떻게 해야 하는지에 대한 권고]로 넘어가게 된다면, 당신은 경계를 넘은 것이다. 예를 들어, 아래 첫 번째 문장은 참가자들이 조정된 치료 계획을 해결책으로 식별했음을 암시한다. 두 번째 문장은 현재 시제로 인해 권고와 혼동될 수 있다.
A quick test to identify if a piece of the results belongs to the discussion is to check the tense of your sentences. We tend to use past tense when describing participants’ perspectives and present tense when providing our interpretation. If such interpretation slips into recommendations of what to do with what participants said, then you have crossed the boundary. For instance, the first sentence below implied that participants had identified the coordinated care plan as a solution. The second sentence, by virtue of its present tense, can be confused with a recommendation.

많은 참가자들이 환자의 의료 필요성의 반복적인 문제에 대한 "정밀한 해결책"으로서 조정된 진료 계획을 언급했다. 따라서 그러한 계획의 일상적인 채택은 전문가 간 의사소통을 개선하고 환자와 가족[작업의 시사점]의 관리에 있어 차질을 줄이기 위한 전략을 나타낼 수 있다.
Many participants spoke of coordinated care planning as a “sophisticated solution” to the recurring problem of patients’ healthcare needs “falling through the cracks” [participants’ experiences]. The routine adoption of such plans may, thus, represent a strategy to improve interprofessional communication and reduce disruptions in care for patients and families [implications of the work].

마찬가지로, 레퍼런스가 필요할 수도 있다고 생각되는 문장이나, 독자들이 그들의 실천에서 (적용)할 수 있는 것과 관련된 진술은 아마도 결과 섹션에 속하지 않을 것이다.
Similarly, if you write a statement that you think may need a reference, or a statement that has to do with what readers might do in their practice, those statements probably don’t belong in the results section.

이러한 빠른 테스트가 [결과 대 고찰]의 딜레마를 반드시 해결하는 것은 아니지만, 특히 결과와 토론이 관례적으로 혼합된 분야에서 온 경우 HPE 분야에서 글을 쓰는 연습에 자신을 적응시키는 데 도움이 될 것입니다. 최소한, 이 테스트들은 발견에 대한 묘사가 추천이나 함축적인 향을 가지고 있는지 자신에게 물어보거나 피드백을 요청하도록 유도해야 한다. 그런 경우 데이터로 돌아가서 소견으로 확인하거나 토론으로 이동해야 합니다.
While these quick tests will not necessarily solve the results versus discussion dilemma, it should help you orient yourself into the practices of writing in the HPE field, particularly if you come from a discipline where results and discussion are conventionally blended. At a minimum, these tests should prompt you to ask yourself or ask for feedback on whether a description of a finding has a recommendation or implication flavour. If so, then you should either go back to your data to confirm it as a finding or move it to the discussion.

2. 진실성—이야기에 가장 적합한 인용문 선택
2. Authenticity—selecting the best quotes for the story

연구에서 코딩하고 분석한 내용 중에서 가장 좋은 인용문을 선택하는 것은 보기보다 어렵습니다. 당신에게는 아마 선택지가 아주 많을 것이고, 그 중 일부는 당신이 꽤 좋아하는 것이다. [진실성의 원칙]은 각 인용문이 독자들에게 데이터의 지배적인 패턴에 대한 직접적인 접근을 제공하도록 당신의 선택을 안내할 수 있다. 진실성을 확보하려면 데이터에 대한 요점을 설명해주면서, 데이터 패턴을 나타내는 인용문을 선택하십시오.
Selecting the best quotes from among all those you’ve coded and analysed in your study is harder than it looks. You likely have a wealth to choose from, some of which you’re quite fond of. The principle of authenticity can guide your selection to ensure that each quote offers readers firsthand access to dominant patterns in the data. To achieve authenticity, select quotes that are illustrative of the point you’re making about the data, reasonably succinct and representative of the patterns in data.

인용문이 설명이 되는가?
Is the quote illustrative?

독자들은 여러분의 주장의 요점과 여러분이 증거로 제시한 인용문을 연결하기 위해 노력할 필요가 없습니다. 가장 좋은 인용구는 암묵적인 설명보다는 [명시적인 설명]입니다. 다음 예를 생각해 보십시오.
Readers should not have to work to connect the point in your argument and the quote you’ve offered as evidence. The best quote is an explicit illustration rather than an implicit one. Consider the following examples:

훈련 프로그램을 마친 뒤 참가자들은 "내가 내린 결정 중 가장 어려운 결정이었고, 하고 나니 기분이 나아지지 않았다"며 깊은 혼란과 방향감각을 드러냈다. (P5)
After leaving their training program, participants expressed profound confusion and disorientation: “It was the most difficult decision I’ d ever made, and I didn’t feel any better after making it”. (P5)

훈련 프로그램을 마친 뒤 참가자들은 자신들이 바라던 안도감이 바로 드러나지 않았다고 표현했다. "내가 내린 결정 중 가장 어려웠고, 하고 나니 기분이 나아지지 않았다." (P5)
After leaving their training program, participants expressed that the relief they’ d hoped for wasn’t immediately apparent: “It was the most difficult decision I’ d ever made, and I didn’t feel any better after making it”. (P5)

첫 번째 예에서, 인용문은 "혼란과 방향 상실"의 요점을 명시적으로 증명하지 않는다. 두 번째 예시는 인용문과의 연결을 타이트하게 만들고 있다.
In the first example, the quote doesn’t explicitly evidence the point of “confusion and disorientation”. The second example alters the lead up to the quote to tighten the connection.

때로는 작가로서 스스로가 할 수 없는 말을 인용구를 이용해 하고 싶을 때가 있다. 이 경우, 인용문은 당신의 주장을 입증하는 것이 아니라 당신을 대신해서 주장을 하는 것입니다. 다음 예를 들어 다음과 같습니다.
Sometimes, you may also want to use a quotation to say something that you, as the writer, can’t say yourself. In this case, the quote isn’t so much evidencing your point, it’s making a point on your behalf. Consider this example:

워크숍과 초청 연사와 같은 형평성 및 다양성 이니셔티브는 소수 교수진에 의해 "립 서비스"(P7)로 간주되었으며, 특히 기관의 더 큰 구조가 변경되지 않은 경우 더욱 그러했다.
Equity and diversity initiatives such as workshops and invited speakers were often viewed as “ lip service” (P7) by minority faculty, particularly if larger structures in the institution remained unchanged.

"립 서비스"라는 용어는 특히 소수 교수진 참가자의 입에서 나온 강력한 비판이다. 이것은 번역이 같은 영향을 미치지 않았을 때입니다. 독자들은 이러한 강한 입장이 참가자들로부터 직접 나온다는 것을 알아야 합니다.
The term “lip service” is a powerful critique, particularly coming from the mouth of a minority faculty participant. This is a moment where paraphrasing would not have had the same impact—readers need to know that this strong position comes directly from participants.

그 인용문은 간결합니까?
Is the quote succinct?

인터뷰 녹취록을 읽어본 사람이라면 그들이 구불구불하고 재귀적이며 타원과 갑작스러운 전환으로 가득 차 있다는 것을 안다. 이 때문에 요점을 설명하기 위한 짧은 인용문을 찾는 것이 어려울 수 있으며, 더 긴 인용문을 타이트하게 줄여야 합니다. 한 가지 조임tightening 기법은 주요 문구를 추출하여 인용문의 도입 문장에 통합하는 것이다.
Anyone who has ever read an interview transcript knows that they are meandering and recursive, full of ellipses and abrupt transitions. Because of this, it can be difficult to find a short quote to illustrate a point, and you need to tighten up a longer one. One tightening technique is to extract key phrases and integrate them into your own introductory sentence to the quote.

훈련 프로그램을 떠난 참가자들은 "어려운 결정"이었다고 반성을 했고, 직후에는 "기분이 나아지지 않았다."고 밝혔다 (P5)
Participants who had left their training program reflected that it was a “difficult decision”, immediately after which they “didn’t feel any better”. (P5)

또 다른 해결책은 줄임표를 사용하여 인용문의 일부를 오려냈다는 신호를 보내는 것입니다.
Another solution is to use the ellipsis to signal that you have cut part of the quote out:

대학원 훈련 경로는 "컨베이어 벨트처럼 단단하고 자동적이다. … 뛰어내릴 수는 있지만, 그 후에 다시 타는 것은 정말 쉽지 않습니다." (P13)
Postgraduate training pathways were described as “rigid and automatic, like … a conveyor belt. … You can jump off, but getting back on afterwards is really not easy”. (P13)

• 첫 번째 줄임표는 문장 중간에 무언가가 제거되었다는 신호입니다. 이 경우 이 누락된 자료는 내용을 추가하지 않았습니다. "그러니까, 알잖아요, 그 단어가, 내가 하려던 말은..." 
• 두 번째 줄임표는 완전한 정지를 따르며, 따라서 적어도 한 문장이 제거되었거나 그 이상이 될 수 있다는 신호를 보낸다. 
• The first ellipsis signals that something mid-sentence has been removed. In this case, this missing material did not add content: “like, you know, um, what’s the word I’m looking for, like you’re on a”.
• The second ellipsis follows a full stop, and therefore signals that at least one sentence has been removed and perhaps more.

줄임표를 사용할 때, 인용구의 의미에 중요한 뉘앙스를 가진 물질을 제거하지 않도록 주의하세요. 참가자가 원하는 바를 말할 때까지 단편적인 내용을 담아내는 것이 목적이 아니며, 목표는 전체 인용문의 요지에 충실한 표현입니다.
When using an ellipsis, be careful not to remove material that importantly nuances the meaning of the quote. The goal is not to snip bits and pieces until participants say what you want them to; it is a representation that remains faithful to the gist of the full quote.

앞의 예에서 알 수 있듯이, 여러분은 간결함을 돕기 위해 구술을 정돈하기를 원할지도 모릅니다. 인용문의 문구를 바꾸는 것은 항상 진실성 원칙에 위배될 위험이 있기 때문에 신중해야 한다. 인터뷰 전사본은 언어학자들이 "필러" 또는 "후회 표시자"라고 부르는 것, 소리 및 단어, 예를 들어 "아/어/음/좋아요/당신이 알고 있는/맞아요"(Tottie, 2016)로 가득 차 있다. 만약 당신이 담론과 서술적 분석을 한다면, 당신은 반드시 그러한 [망설임의 표현]조차도 의미의 일부로 분석하게 될 것입니다. 그러나 다른 연구 방법론에서는 언어적 특성이 참가자를 식별할 수 있게 한다는 우려와 같은 가독성 또는 윤리적 이유로 일부 "라이트 정리"를 선택할 수 있습니다(Corden & Sainsbury, 2006).
As the previous example shows, you may wish to tidy up oral speech to help with succinctness. Changing the wording of a quotation always risks violating the authenticity principle, so writers must do it thoughtfully. Interview transcripts are replete with what linguists refer to as “fillers” or “hesitation markers”, sounds and words such as “ah/uh/ um/like/you know/right” (Tottie, 2016). If you’re conducting discourse and narrative analysis, you will necessarily analyse such hesitations as part of the meaning. However, in other research methodologies, you may opt to do some “light tidying up” for readability or ethical reasons, such as the concern that linguistic features might make participants identifiable (Corden & Sainsbury, 2006).

마지막으로, 문장의 문법적 무결성을 유지하기 위해 인용구의 문구를 변경할 필요가 있을 수 있습니다. 작가들은 일반적으로 일관된 시제나, 동사와 주어 또는 대명사와 선행의 합치성을 위해 인용부호를 변경할 필요가 있다. 적절한 문법 흐름을 보장하기 위해 동사 시제를 과거에서 현재로 변경한 예에서와 같이 대괄호를 사용하여 이러한 변화를 나타냅니다.
Finally, you may need to alter the wording of a quote to maintain the grammatical integrity of your sentence. Writers commonly need to alter quotes for consistent tense or for agreement of verb and subject or pronoun and antecedent. Use square brackets to signal such changes, as in this example in which verb tenses were changed from past to present to ensure appropriate grammatical flow:

임상 감독관들은 "직접 관찰이 항상 가능한 것은 아니다.", 특히 "우리는 훈련생과 함께 일하지 않는다"와 "선배가 학생들의 직접적인 감독 중 일부를 하고 있다." (P2)
Clinical supervisors understood that “direct observation [isn’t] always feasible”, particularly in settings where “we [don’t] work side by side with the trainee” and “seniors [are doing] some of the direct supervision of the students. (P2)

간결함을 위한 또 다른 전략은 인용문을 표에 넣는 것이다. 질적 연구자들은 표 형식이 주는 제약(그리고 '표'라는 것의 실승주의적 뿌리)에 대해 불평할 수 있지만, 복잡한 결과를 한눈에 보여주기 위해 전략적으로 사용될 수 있다. 이 예에서 긴즈버그 외 연구진(2015)은 참가자가 교육 중 평가 보고서에 대한 의견을 해석할 때 고려한 요소를 정의하고 설명한다(그림 2 참조).
Another strategy for succinctness is to put the quotes into a table. While qualitative researchers may chafe at the constraints (and positivist roots) of the table format, it can be used strategically to present complex results at a glance. In this example, Ginsburg et al. (2015) name, define and illustrate the factors their participants considered when interpreting comments on in-training evaluation reports (see Figure 2).

정성 분석의 주요 결과를 스냅샷하는 데 표를 사용할 수 있지만, 결과 본문에서 서술적 설명을 대체하거나 중복되어서는 안 됩니다. 이것은 의문을 제기한다: 어떤 인용구가 본문에 속하고 어떤 인용구가 표에 속할까? 결정하는 한 가지 방법은 "힘power"과 "증명proof" 인용구를 구별하는 것입니다.

• 파워 인용문은 가장 설득력 있는 인용문이며,
• 입증 인용문은 해당 인용문이 반복되었거나 다소 다면적이라는 추가 증거입니다(Pratt, 2008, 2009).

While tables can be used to snapshot the key findings from a qualitative analysis, they should not replace your narrative explanation in the body of the results, nor should they be duplicated. This begs the question: which quotes belong in the body and which belong in a table? One way to decide is to distinguish between “power” and “proof” quotes.

• Power quotes are the most compelling ones, the quotes that most effectively illustrate your points, while
• proof quotes are additional evidence that the point was recurrent or, perhaps, somewhat multifaceted (Pratt, 2008, 2009).

그 인용문이 대표적이니?
Is the quote representative?

모든 질적 연구자들은 그들이 빨리 논문을 작성하고 싶은 환상적인 인용문을 찾아냈다. 그러나 초안을 수정하다 보면 데이터가 잘못 전달되어 삭제되어야 하는 경우가 있습니다. 선택한 인용문은 데이터의 강력한 패턴을 반영해야 합니다. 모순되는 예는 중요한 목적을 수행하지만, 그 사용은 전략적이고 명확해야 합니다. 또한, 인용문 선택은 한 두 명의 매우 명확한 참가자로부터 나와서는 안 됩니다. 경우에 따라 차선의 또는 차차선의 모범적 예시문을 사용하더라도 여러 참가자에게 분산시킴으로써 데이터 집합 전체를 더 잘 표현할 수 있습니다.
Every qualitative researcher has identified a fantastic quote they just can’t wait to put into a paper. Sometimes, however, you discover as you revise the draft that it misrepresents the data, and it has to be removed. The quotes you choose should reflect strong patterns in the data. Discrepant examples serve an important purpose, but their use should be strategic and explicit. Furthermore, your quote selection shouldn’t come from the same one or two highly articulate participants. Distributing your choices across participants better represents the dataset as a whole, even if it means using the second- or third-best example in some instances.

주요 결과를 나타낼 인용문을 선택할 때 독자가 의미를 정확하게 추론할 수 있도록 충분한 맥락을 유지해야 합니다. 때때로 이것은 [참가자의 답변]뿐만 아니라, [면접관의 질문]도 포함한다는 것을 의미합니다. 그룹 토론에 중점을 두는 포커스 그룹 연구에서는 개별 의견을 추출하는 것보다 참가자 간의 교류를 인용하는 것이 필요할 수 있다. 다음의 공개된 예(Greenhalgh 등, 2004)는 이 기술을 설명한다.
As you select quotes to represent main findings, be sure that you retain sufficient context so that readers can accurately infer their meaning. Sometimes this means including the interviewer’s question as well as the participant’s answer. In focus group research, where the emphasis is on the group discussion, it might be necessary to quote an exchange among participants rather than extracting individual comments. The following published example (Greenhalgh et al., 2004) illustrates this technique.

그러나 부유하지 못한 학생들 사이에서는 높은 사회 계층과 특권 교육이 입학 과정에 유리하다는 인식이 강했다.
However, there was a strong perception among less affluent pupils that high social class and a privileged education would confer an advantage in the admissions process:

[왜 학생이 의대에 입학하는 것을 쉽게 느낄 수 있는지에 대한 질문에 대한 답변]
[in response to a question about why a pupil might find it easy to get into medical school]

"그녀의 자기 자신과 성적은... ...잘하면 면접을 보는 것처럼요."
“The way she carries herself and her grades . . . like at interview if she does well.”

"어떻게 스스로를 감당하겠어?"
[facilitator] “How would she carry herself?”

"각각, 제대로 말하고, 적절한 옷을 입고, 자신감이 넘친다."
“Respectively [sic], talking properly, and dressing appropriately, alot of confidence.”

"일반적인 억양이 아니라 제대로 말하세요."
“Not saying it in a common accent, say it properly.”

말을 잘하면 더 교육받은 것처럼 보일 것이다.(B학교 남학생들)
“If they speak well, then they’ ll look more well-educated.” (Boys from school B)

이 발췌문은 단일 참가자의 답변보다는 질문에 대한 그룹 참여를 효과적으로 나타냅니다.
This excerpt effectively represents the group engagement with the question rather than a single participant response.

3. 논쟁
3. Argument

예를 들어, 가장 대표적인 인용문조차도 스스로 설명하지는 않습니다. 글쓴이는 문법적으로나 수사적으로나 [인용문을 자신의 텍스트에 포함]해야 합니다. 문법 통합의 경우 인용된 자료는 인용되지 않은 자료와 동일한 문법 및 구두점 규정을 적용한다는 것만 기억하면 됩니다. 이 예제를 큰 소리로 읽어보십시오.
Even an illustrative, representative quote does not speak for itself—writers must incorporate the quote, both grammatically and rhetorically, into their own text. For grammatical incorporation, you need only remember that quoted material is subject to the same sentence-level conventions for grammar and punctuation as non-quoted material. Read this example aloud:

사무국장들은 "전문성 문제가 반복될 때 아마 그 역할에서 가장 어려운 부분일 것"이라며 비전문적인 행동을 바로잡기 위해 고군분투했다(P8)
Clerkship directors struggled to remediate unprofessional behavior, “ it’s probably the most difficult part of the role, when you come across a recurring professionalism problem.” (P8)

쉼표를 사용하여 인용구를 작가의 문장에 결합하면 쉼표 스플라이스와 런온 문장이 생성되는데, 이는 눈이 즉시 인식하지 못하더라도 귀가 들을 가능성이 높다. 인용구를 삽입한 문장을 큰 소리로 읽어서 문법적 편입을 확인하세요. 간단한 수정은 [쉼표를 콜론으로] 바꾸는 것입니다.
Using a comma to join the quote to the writer’s sentence creates a comma splice and a run-on sentence, which your ear likely hears even if your eye doesn’t instantly recognise it. Read aloud sentences where you’ve inserted a quote to check grammatical incorporation. A simple correction is to replace the comma with a colon.

사무국장들은 비전문적인 행동을 바로잡기 위해 고군분투했다. "전문성 문제가 반복되는 것이 그 역할에서 가장 어려운 부분일 것이다." (P8)
Clerkship directors struggled to remediate unprofessional behavior: “ it’s probably the most difficult part of the role, when you come across a recurring professionalism problem.” (P8)

[콜론]은 인용된 물질을 통합하기 위한 기본 메커니즘입니다. 그리고 그것은 문법적으로 많은 시간을 충분합니다. 그러나, 그것이 항상 수사적으로 충분한 것은 아니다. 왜냐하면 독자에게 [연구자가 하려는 말]과 [인용된 말] 사이의 관계를 유추하게 남겨두기 때문이다. 인용문이 글쓴이의 논점을 완벽하게 전달할 때, 콜론은 충분할 뿐만 아니라 인용문을 산만하게 집중 조명한다. 하지만, 인용문은 당신의 논점을 완벽하게 만드는 경우는 거의 없다; (인용문을 이해하는 데에는) 보통 약간의 추론이 필요하며, 독자들은 작가가 의도하는 바를 추론하지 못할 수도 있다. 독자들이 자신만의 해석을 하도록 내버려둘 것이 아니라, 작가들은 그들의 해석을 분명하게 해야 한다. 이러한 맥락화는 모로(2005)가 해석과 인용의 "균형balance"이라고 부르는 것을 달성하기 위한 요건이다.
The colon is a default mechanism for integrating quoted material. And it suffices grammatically much of the time. However, it doesn’t always suffice rhetorically, because it leaves the reader to infer the relationship between the point being made and the quoted illustration. When the quote perfectly makes the writer’s point, the colon not only suffices, it spotlights the quote without distraction. However, only rarely do quotes perfectly make your point; usually some inference is required, and readers might not infer what the writer intends. Instead of leaving readers to come to their own interpretations, writers should make explicit their interpretation. Such contextualising is a requirement for achieving what Morrow (2005) calls the “balance” of interpretation and quotation.

연구자들의 해석과 인용문 사이에 이러한 균형을 이루기 위한 많은 기술들이 있다. 다음 예에서 콜론 앞의 자료가 견적서에 대해 점진적으로 더 많은 맥락화를 제공하는 방법에 주목하십시오.
There are many techniques for achieving this balance between researcher interpretations and supporting quotations. Note in the following examples how the material before the colon provides progressively more contextualisation for the quote:

한 주민은 "표준 훈련 경로에서 벗어날 수 있지만, 다시 타는 것은 보장되지 않습니다."라고 말했다. (P21)
One resident said: “You can get off the standard training pathway, but getting back on isn’t guaranteed”. (P21)

한 주민은 "표준적인 훈련 경로에서 벗어날 수 있지만, 다시 승선하는 것은 보장되지 않는다."라고 단언했다. (P21)
One resident asserted: “You can get off the standard training pathway, but getting back on isn’t guaranteed”. (P21)

포커스 그룹의 한 주민은 훈련 경로가 CBME[역량 기반 의료 교육]의 맥락에서 개별화되고 유연하다는 생각에 동의하지 않았다. "표준 훈련 경로에서 벗어날 수 있지만, 다시 복귀하는 것은 보장되지 않습니다." (P21)
One resident in the focus group disagreed with the idea that training pathways were individualised and flexible in the context of CBME [competency-based medical education]: “You can get off the standard training pathway, but getting back on isn’t guaranteed”. (P21)

포커스 그룹 참가자들은 CBME의 맥락에서 훈련 경로의 유연성에 대해 토론했다. 일부는 훈련이 "더디게 갈 필요가 있거나 더 빨리 갈 수 있거나, 거주자의 길에서 조금 벗어나고 싶은 경우" (P19) 반면 다른 이들은 "표준 훈련 경로에서 벗어날 수 있다"고 주장했다. 하지만 다시 탈 수 있다는 보장은 없습니다." (21)
Focus group participants debated the flexibility of training pathways in the context of CBME. Some anticipated that training “can be adjusted, for if you need to go slower or you’re able to go faster or you want to do something a bit off the beaten path of residency” (P19), while others contested that “you can get off the standard training pathway, but getting back on isn’t guaranteed”. (P21)

증가하는 문맥화는 중립적인 "말한said"을 사용하는 첫 번째 예와 참가자의 어조를 감지하기 위해 "주장된asserted"을 사용하는 두 번째 예 사이의 동사 변화에서 시작된다. 세 번째는 [포커스 그룹 토론의 맥락]에 그것을 배치함으로써 인용문의 의미를 더욱 해석한다. 네 번째 예시는 두 개의 인용구를 [문장의 서술 구조에 직접 통합]하여 참여자들 사이에서 일어나고 있는 토론을 보여준다. 그리고 콜론을 사용하지 않음으로써, 마지막 예는 작가가 인용문을 그들의 논증에 엮기 위해 더 열심히 일하도록 강요한다. 이러한 직조는 [인용문의 의미를 수사적으로 강하게 통제]한다.
The increasing contextualisation begins with a shift in verb between the first example, which uses the neutral “said”, and the second example, which uses “asserted” to give a sense of the participant’s tone. The third interprets the meaning of the quote even more by situating it in the context of a focus group debate. The fourth example integrates two quotes directly into the narrative structure of the sentence to show the debate that was occurring among participants. And by not using a colon, the last example forces the writer to work harder to weave the quotes into their argument. Such weaving exerts strong rhetorical control over the quote’s meaning.

초안을 쓸 때는 때는 기본적으로 콜론을 사용하는 편이 낫다. 각각의 조각을 어떤 자리에 고정하는 데 이상적이다. 하지만 수정할 때는 더 다양하고 스타일을 지향하세요. 이렇게 하면 결과 섹션이 점-콜론-인용, 점-콜론-인용, 점-콜론-인용 등의 로봇적 운율을 넘어 향상되고 인용문이 여러분이 주장하는 요점을 뒷받침하고 발전시킬 수 있습니다.
Use the default colon when you’re drafting—it’s perfect for just getting the pieces into place. But when you revise, aim for more variety and style. This will elevate your results sections beyond a robotic cadence of point-colon-quote, point-colon-quote, point-colon-… . And it will ensure that the quotes support and develop the points you’re making.

때때로 당신은 자신의 문장에 통합할 수 없는 더 긴 인용구를 포함하기를 원할 것이다. 이러한 인용문은 독자들에게 인터뷰의 분위기를 느낄 수 있게 하거나 아이디어들 사이의 복잡한 상호관계를 엿볼 수 있게 할 수 있으며, 당신은 이러한 차원을 잃어버릴 정도로 그것들을 자르고 싶어하지 않을 것이다. 하지만, 인용문이 길어질수록 독자의 관심이 당신이 의도한 것과는 다른 무언가에 걸릴 가능성이 더 커진다는 것을 명심하라. 결과 작성에 있어 이러한 모순을 방지하기 위해 인용 샌드위치 기법(인용문 앞의 문맥에 적용하고 그 뒤의 해석을 요약하는 것)을 고려하십시오. 다음 그림(Emerton-Coughlin et al., 2017)에서 비디오 발췌문 필사본은 3번 박스에서 설명되는 내용과 포인트에 대한 자세한 분석을 제공하는 요약 텍스트로 구성된다.
Sometimes you will want to include a longer quote that cannot be integrated into your own sentence. Such quotes can offer readers a sense of the mood of the interview, or a glimpse of the complex interrelationship among ideas, and you don’t want to cut them back to the point that this dimension is lost. Keep in mind, though, that the longer the quote, the greater the chance that the reader’s attention will snag on something other than what you intend. To guard against this source of incoherence in your results writing, consider applying the “quotation sandwich” technique (Graff & Birkenstein, 2018) to contextualise before the quotation and summarise your interpretation after it. In the following illustration (Emmerton-Coughlin et al., 2017), the transcription of a video excerpt is set off in Box 3, sandwiched by introductory text that sets up what’s being illustrated and summary text that provides detailed analysis of the point:

다음 예는 통제 역학의 양방향 특성을 보여줍니다. 의사가 수술 기법을 수정하라는 지침을 시작합니다(상자 3 참조).
The next example typifies the bidirectional nature of control dynamics. The surgeon initiates an instruction to modify the surgical technique (see Box 3).

외과의사의 지침을 올바르게 이행하려면 훈련생이 올바른 표현을 해석해야 합니다. "상단 부분"과 "하단 부분"이 있습니다. 훈련생은 다시 데히스를 사용하여 "이것이 바로 여기입니까?"라고 응답하고 주어진 지침에 대한 자신의 해석을 확인하기 위해 현지화 기동을 합니다. 외과의는 명령을 승인한 다음 추가 정보와 추가 지시로 자신의 신체적 제스처 동작을 추가하며 더 정교하게 다듬는다. 이는 핵심 구조물인 담관을 식별하고 보호하는 것과 관련된 고난도의 순간 동안 교육생이 강사에게 준 엄격한 수준의 통제를 강조합니다.
Correct implementation of the surgeon’s instruction relies on the trainee’s correct interpretation of the deictic expressions: “the top part” and “the bottom part”. The trainee responds, again using deixis, “This right here?” and pairs with it a physical localising manoeuvre in order to confirm her interpretation of the instruction given. The surgeon ratifies and then goes on to further refine the instruction with additional information and additional deictic instruction, adding his own physical gesturing manoeuvre. This back and forth highlights a concession by the trainee of a tight degree of control to the instructor during this high-stakes moment involving the identification and protection of a key structure, the bile duct.

이 예제는 또한 인용문의 내용을 단순히 반복하지 않고 요약하는 방법을 보여줍니다. 독자는 이미 인용문을 읽었는데, 인용문은 지시적인 표현들을 강조하기 위해 주석을 달았다. 그 뒤의 텍스트는 이 교환의 "양방향성"에 대한 시작점을 예시하며, 예제의 진행 상황에 대한 설명에서 "대응", "확인", "뒤로"와 같은 용어를 사용한다.
This example also demonstrates how to summarise the quote without simply repeating what it says. The reader has already read the quote, which is annotated to highlight the deictic expressions. The text after it exemplifies the opening point about “the bidirectional nature” of this exchange, by using terms such as “responds”, “confirms”, “ratifies” and “back and forth” in the explanation of what’s going on in the example.

한 요점을 뒷받침하기 위해 여러 개의 인용문을 사용하는 것은 피해야 합니다. 여러 인용구를 사용하는 편이 더 좋은 경우는 단 하나의 인용구만으로는 정당하지 않은 층위나 뉘앙스가 있을 때 뿐이다
Using multiple quotations to support a single point should be avoided. More is only better when there are layers or nuances that a single quote doesn’t do justice to.

웰니스(Wellness)는 참가자들에게는 미묘한 아이디어였습니다.
Wellness was a nuanced idea for our participants:

"걸어다니는 좀비가 되지 않기 위해 규칙적으로 먹고, 잠을 자는 것." (P2)
“Eating regularly, getting some sleep, so that you’re not a walking zombie.” (P2)

"건강하지 않을 때, 불안하거나 우울할 때, 인간관계가 고통받고 있을 때, 곁에 있을 수 없다는 것을 깨닫는다."(P11)
“Recognising when you’re not well, you’re anxious or depressed, your relationships are suffering, you’re impossible to be around.” (P11)

"기본적인 행복이요, 제게 더 이상 기쁨이 없는 것처럼요? '나는 임상적으로 우울하다'가 아니라 '나는 내 작품에 더 이상 없을 뿐이다.' (P12)
“Basic happiness, like is there any joy in this anymore for me? Not, ‘I’m clinically depressed’ but sort of, ‘I’m just not present in my work anymore.’” (P12)

"미묘한 아이디어"라는 표현이 독자에게 여러 인용문이 이러한 뉘앙스를 보여주기 위한 것임을 경고하지만, 이 예는 독자로 하여금 [인용문 사이의 (비어있는) 공간을 스케치를 하도록] 만든다. 다음과 같이 바꾸는 것이 수사적으로 더 효과적이다.
While “nuanced idea” alerts the reader that the multiple quotes are intended to demonstrate this nuance, this example makes the reader do the work of sketching in the space between the quotes. The following revision is more rhetorically effective.

웰니스(Wellness)는 우리의 참가자들에게는 미묘한 아이디어였다. 많은 이들이 "걸어다니는 좀비가 되지 않기 위해 규칙적으로 먹고, 잠을 자는 것"의 중요성을 인정하는 가운데, 참가자들의 설명에서 신체 건강의 차원이 두드러졌다(P2). 정신건강도 특히 "건강이 좋지 않을 때, 불안하거나 우울할 때, 인간관계가 고통받고 있을 때, 곁에 있을 수 없을 때" (P11)에 대해 논의했습니다. 건강은 또한 신체적, 정신적 건강에 대한 전통적인 개념을 넘어 "기본적인 행복, 나에게 더 이상 기쁨이 없는가?"라는 질문으로까지 확장됩니다. '나는 임상적으로 우울하다'가 아니라 '나는 더 이상 내 일에 있지 않을 뿐이다' (P12).
Wellness was a nuanced idea for our participants. Dimensions of physical health were prominent in participants’ explanations, with many acknowledging the importance of “eating regularly, getting some sleep, so that you’re not a walking zombie” (P2). Mental health was also discussed, in particular “recognising when you’re not well, you’re anxious or depressed, your relationships are suffering, you’re impossible to be around” (P11). And wellness was also understood to extend beyond the conventional notions of physical and mental health, into questions of “basic happiness, like is there any joy in this anymore for me? Not, ‘I’m clinically depressed’ but sort of, ‘I’m just not present in my work anymore’” (P12).

이 버전에서 작가는 독자를 위한 이 세 인용구 사이의 관계를 설정하면서 '물리적', '정신적', '그 너머'를 명시적으로 명명한다.
In this version, the writer explicitly names “physical”, “mental” and “beyond” as they establish the relations between these three quotes for the reader.

우리가 논의할 마지막 예는 결과를 설명하기 위해 복합 내러티브를 사용하는 것입니다. 복합 서술은 여러 인터뷰나 관찰로부터 얻은 데이터를 사용하여 하나의 상세한 이야기를 들려준다. 복합 내러티브는 인용구가 아니다; 그것들은 구성이고, 따라서 작가들에게 상당한 수준의 수사적 통제를 제공한다. 그것들을 효과적으로 사용하기 위해서, 작가들은 그 구성 요소들이 무엇을 나타내는지 그리고 발견을 설명하기 위해 어떻게 사용되는지를 설명하면서 독자들의 방향을 잡아야 한다. 다음 단락은 그러한 지향성이 어떻게 보일 수 있는지를 보여준다.
The final example we will discuss is the use of composite narratives to illustrate your results. A composite narrative uses data from multiple interviews or observations to tell a single, elaborated story. Composite narratives are not quotations; they are constructions and, thus, offer writers a significant degree of rhetorical control. To use them effectively, writers must orient readers, explaining what the composites represent and how they are used to illustrate findings. The following paragraph illustrates how such orienting might look.

데이터 분석 결과를 바탕으로 3가지 복합 내러티브가 생성되었는데, 참가자들의 3가지 구분된 그룹 각각에 대해, GP 교육을 마친 직후 학문적 역할에 입문한 GP들이 전임 임상을 원하지 않는다고 결정한 경험의 복합체인 '내러티브 1, '알렉스'l post; 교육이나 연구에 관심을 가지고 학문적 역할에 입문한 GP의 경험을 종합한 서사 2, '로빈', 그리고 경력 중후반에 학계에 입문한 GP의 경험을 종합한 서사 3, '조'로, 임상 실습에 대한 대안을 모색하고 있다.무식한 일 경험이 스스로 식별된 성별 범주를 넘나들었다는 것을 반영하여, 이러한 서술에 성 중립적인 이름이 할당되었다. 연구 결과는 복합 서술에서 발췌한 것으로 설명된다. (McElhinney & Kennedy, 2021, 페이지 3) 
Based on the findings of the data analysis, three composite narratives were produced, one for each of the three distinct groups of participants identified: Narrative 1, ‘Alex’, a composite of the experiences of GPs who had entered an academic role immediately after completion of GP training, having decided that they did not want a full-time clinical post; Narrative 2, ‘Robin’, a synthesis of the experiences of GPs who entered an academic role mid-career, having been a GP partner, with an interest in education or research; and Narrative 3, ‘Jo’, synthesising the experiences of GPs who entered academia mid to late career, looking for an alternative to clinical practice to run in parallel to clinical work. Gender-neutral names were assigned to these narratives, reflecting that the experiences crossed self-identified gender categories. The findings are illustrated with excerpts from the composite narratives. (McElhinney & Kennedy, 2021, p. 3)

Willis (2019)에 따르면, 복합 내러티브은 세 가지 주요 이점을 제공한다: 

• 원자적인 범주나 주제보다 복잡하고, 위치된 설명을 제공한다;
• 익명성을 보장한다;
• 효용성과 접근성을 극대화할 수 있다. 특히 학계 밖의 독자들을 위한 질적 연구 결과.

필자는 복합물이 주요 데이터의 톤과 내용에 충실하도록 보장해야 하며 복합 서사를 작성하기 위한 적절한 절차를 따라야 한다. 그들의 결과를 설명하기 위해 복합 사례를 시도하는 데 관심이 있는 저자들의 경우, 아파르미안 외 연구진(2015)과 팩 외 연구진(2020)은 이 접근방식을 사용하는 두 가지 다른 방법을 보여준다.

According to Willis (2019), composite narratives offer three main advantages:

• they present complex, situated accounts rather than atomistic categories or themes;
• they ensure anonymity; and
• they may maximise the utility and accessibility of qualitative findings, particularly for readers outside academia.

Their main limitation relates to authenticity—the writer must ensure that the composite is faithful to the tone and content of the primary data and should follow appropriate procedures for creating their composite narrative. For writers interested in trying a composite case to illustrate their results, Apramian et al. (2015) and Pack et al. (2020) demonstrate two different ways of employing this approach.

복잡성의 인정
An acknowledgement of complexity

우리는 효과적인 질적 결과 섹션의 작성을 안내하는 데 도움이 되는 세 가지 원칙을 제시했습니다: 스토리텔링, 진실성 및 논쟁. 이러한 원칙들을 고정된 규칙으로 보아서는 안 된다. 많은 요인들이 이러한 요인들이 어떻게 적용될 수 있는지에 영향을 미칩니다. 연구 방법론은 중요하다. 예를 들어, 서술적 탐구, 구성주의 기반 이론 및 비판적 담론 분석은 각자 바람직한 방식이 다를 것이다. 저널도 중요합니다. 많은 경우 이러한 원칙을 성공적으로 적용하는 방법을 이해하려면 반드시 참조해야 할 저자 지침이 있습니다. 

We have offered three principles to help guide the writing of an effective qualitative results section: storytelling, authenticity and argument. These principles should not be viewed as static rules. A number of factors influence how they might be applied. Research methodology matters; for example, narrative inquiry, constructivist grounded theory and critical discourse analysis will look—and sound—distinct. The journal also matters. Many have author guidelines you should consult to understand how to adapt these principles successfully.

마지막으로, 역사는 중요합니다. 질적 연구가 정당성을 얻으면서 우리 분야의 관습이 변화하고 있다. 방법론적 용어가 변화하고 있는 것처럼(Varpio 등, 2017) 결과를 제시하는 관례도 변화하고 있다. 이 원고를 작성하면서 우리의 논문을 되돌아보면서, 우리는 우리의 접근 방식의 변화를 깨달았다. 예를 들어, 우리는 각 주제 범주의 인스턴스 수를 열거하는 테이블을 더 이상 거의 사용하지 않는다(Lingard, 2004). 그러나 20년 전에는 데이터 코딩에 관련된 여러 연구자에 대한 평가자 간 신뢰도 계수를 포함시키는 것이 흔한 일이었다. 따라서 이러한 원칙을 지침으로 사용하고, 설득력 있는 질적 결과 섹션을 만들 때 수사적 상황에 주의를 기울이십시오.

Finally, history matters. Conventions in our field are changing over time as qualitative research gains legitimacy. Just as methodological terms are shifting (Varpio et al., 2017), so too are conventions for presenting results. Looking back at our papers in the writing of this manuscript, we realised shifts in our own approaches. For instance, we rarely use tables enumerating the number of instances of each thematic category (Lingard, 2004) anymore, but that was commonplace 20 years ago, as were inter-rater reliability coefficients for multiple researchers involved in coding data. So use these principles as a guide, and stay attentive to your rhetorical situation as you work to craft a compelling qualitative results section.

Abstract

효과적인 문헌고찰 쓰기 파트2: 인용 테크닉(Perspect Med Educ, 2018)
Writing an effective literature review Part II: Citation technique
Lorelei Lingard1

 

• 첫 번째 동사 'describes'는 중립적이다: 앤더슨이 이 분야에 기여한 지식에 대한 작가의 입장을 확인할 수 없다.
• 두 번째 동사 'discovered'은 작가 내에서의 소속감이나 긍정적인 입장을 표현한다
• 세 번째 동사 'claims'에서 작가는 앤더슨의 저술과 거리를 둔다.
• The first verb, ‘describes’, is neutral: it is not possible to ascertain the writer’s stance on the knowledge Anderson has contributed to the field.
• The second verb, ‘discovered’, expresses an affiliation or positive stance in the writer, while
• the third verb, ‘claims’, distances the writer from Anderson’s work.

이처럼, 이렇게 간단한 요약 문장에도 [비판적 요약]의 풍미가 담겨 있다. 이것은 흠이 아니다. 오히려, 연구자가 자신과 논문을 포지셔닝 하게끔 [기존의 지식을 대화로 그려내는portraying 중요한 방법]이다. 하지만 그것은 의식적이고 전략적으로 이루어져야 합니다. 표 1은 작가들이 자신의 문헌에서 검토한 동사들이 그 분야의 기존 지식과 관련하여 어떻게 위치를 잡을 수 있는지를 생각할 수 있도록 예시를 제시한다. 의미는 문맥에 따라 달라지기에, 이러한 예는 지침으로만 채택되어야 한다. 예를 들어, 'suggests'은 중립적인 것 또는 거리를 두는 것으로 사용될 수 있다.

Even these brief summary sentences contain a flavour of critical summary. This is not a flaw; in fact, it is an important method of portraying existing knowledge as a conversation in which the writer is positioning herself and her work. But it should be done consciously and strategically. Tab. 1 offers examples to help writers think about how the verbs in their literature review position them in relation to existing knowledge in the field. Meaning is subject to context and these examples should only be taken as a guide: e. g., ‘suggests’ can be used to signal neutrality or distancing.

 

 

보통 글을 쓸 때, 우리는 거의 무의식적으로 기본적으로 사용하는 좋아하는 동사(보고, 주장, 서술, 연구, 설명, 주장)가 있다. 하지만 이 동사들이 모두 대등한 것은 아니다. 그들은 [저자의 입장]뿐만 아니라, 지식을 창조한 [연구자의 입장]을 포함하여 [지식에 대한 조금씩 다른 입장]을 새긴다inscribe. [비판적 요약]에서 [원 저자의 입장]을 바르게 이해하는 것이 중요하다. 다른 사람의 문헌검토에서 나의 입장이 잘못 표현된 것을 보는 것만큼 짜증나는 것은 없다. 예를 들어, 만약 내가 새로운 아이디어에 대한 잠정적인 성찰을 제공하는 단락을 썼다면, 나는 '링가드가 제안했다'나 '링가드가 탐구했다'라고 기술되길 바라지, '링거드가 언쟁했다argue'라고 쓰여지길 원하지 않는다.
Most of us have favourite verbs that we default to almost unconsciously when we are writing—reports, argues, describes, studies, explains, asserts—but these verbs are not interchangeable. They each inscribe a slightly different stance towards the knowledge—not only the writer’s stance, but also the stance of the researcher who created the knowledge. It is critical to get the original stance right in your critical summary. Nothing irritates me more than seeing my stance mispresented in someone else’s literature review. For example, if I wrote a paragraph offering tentative reflections on a new idea, I don’t want to see that summarized in someone’s literature review as ‘Lingard argues’, when more accurate would be ‘Lingard suggests’ or ‘Lingard explored’.

작가들은 [인용동사 라이브러리]를 확장해 자신이 속한 분야의 저자들이 발표한 지식 주장을 정확하고 설득력 있게 포지셔닝할 수 있도록 해야 한다. 어휘를 확장하는 데 도움이 되는 많은 온라인 리소스를 찾을 수 있습니다. [4]의 온라인 출처에서 가져온 표 2는 몇 가지 제안을 제공합니다. 이와 같은 표는 규칙이 아닌 도구로 간주해야 하며, 단어가 문맥과 목적에 따라 유연한 의미를 갖는다는 것을 명심해야 한다. 제안했다suggest이나 결론지었다conclude과 같은 단어가 하나 이상의 목록에 나타날 수 있는 이유다.
Writers need to extend their library of citation verbs to allow themselves to accurately and persuasively position knowledge claims published by authors in their field. You can find many online resources to help extend your vocabulary: Tab. 2, adapted from one such online source [4], provides some suggestions. Tables like these should be thought of as tools, not rules—keep in mind that words have flexible meanings depending on context and purpose. This is why one word, such as suggest or conclude, can appear in more than one list.

지식은 사회적 구성이며, 연구자들이 서로의 기여에 대해 토론하고, 확장하고, 다듬으면서 축적된다. 문헌 검토가 [단절된 '사실'의 세탁물 목록]처럼 읽히는 것을 피하려면, 어떤 동사를 사용하는지가 중요하다. 표 3은 검토되고 있는 지식 분야의 저자들 사이의 다른 관계를 반영하기 위해 구성된 동사 선택을 제공한다.
Knowledge is a social construction and it accumulates as researchers debate, extend and refine one another’s contributions. To avoid your literature review reading like a laundry list of disconnected ‘facts’, reporting verbs are an important resource. Tab. 3 offers a selection of verbs organized to reflect different relationships among authors in the field of knowledge being reviewed.

 doi: 10.1007/s40037-018-0407-z.

Writing an effective literature review : Part II: Citation technique

PMID: 29500746

PMCID: PMC5889378

DOI: 10.1007/s40037-018-0407-z

효과적인 문헌고찰 쓰기 파트1: 매핑 더 갭 (Perspect Med Educ, 2018)
Writing an effective literature review Part I: Mapping the gap
Lorelei Lingard1

 doi: 10.1007/s40037-017-0401-x.

Writing an effective literature review : Part I: Mapping the gap

Affiliations collapse

PMID: 29260402

PMCID: PMC5807267

DOI: 10.1007/s40037-017-0401-x

시스템 기반 의료 다시 생각하기: 졸업후교육의 구조적 역량, 건강 형평성, 사회적 책임(Acad Med, 2020)
Reconsidering Systems-Based Practice: Advancing Structural Competency, Health Equity, and Social Responsibility in Graduate Medical Education 
Enrico G. Castillo, MD, MSHPM, Jessica Isom, MD, MPH, Katrina L. DeBonis, MD, Ayana Jordan, MD, PhD, Joel T. Braslow, MD, PhD, and Robert Rohrbaugh, MD 

대학원 의학교육인증협의회(ACGME) 핵심역량 6개 중 불평등, 정의, 공동체, 소외, 취약, 소수라는 용어가 단 한 차례도 등장하지 않은 점은 충격적이다. 그럼에도 불구하고, [건강에 대한 사회적, 구조적 결정 요인(인종, 성별, 문화, 소득, 교육, 이민, 이웃 환경, 집단 효능, 제도적 관행, 경제력 및 공공 정책을 포함하되 이에 국한되지 않음)]은 모든 보건 서비스보다도 총체적으로 건강과 복지에 더 많이 기여한다.2-8 따라서 ACGME 역량은 이러한 사회적, 구조적 결정 요인을 이해하고, [인종, 계층, 성별, 기타 소외된 특성]에 따른 [체계적 불평등systemic inequalities]에 뿌리를 둔 건강 불평등을 근절하기 위해 지역사회 및 비건강관리 부문과 협력하는 의사의 교육에 우선순위를 두어야 한다.
It is striking that among the 6 Accreditation Council for Graduate Medical Education (ACGME) core competencies, the terms disparities, inequities, justice, community, underserved, vulnerable, and minority do not appear once.1 Nevertheless, social and structural determinants of health—including but not limited to race, gender, culture, income, education, immigration, neighborhood environment, collective efficacy, institutional practices, economic forces, and public policies—collectively contribute more to health and well-being than the totality of health care services.2–8 Thus, the ACGME competencies should prioritize the training of physicians to understand these social and structural determinants and to work with communities and non-health care sectors to eradicate health inequities, which have their roots in systemic inequalities by race, class, gender, sexuality, and other marginalized characteristics.

시스템 기반 관행(SBP)은 ACGME 핵심 역량으로, 복잡한 시스템과 그 안에서 의사의 역할에 초점을 맞춘다. 우리는 다른 사람들과 마찬가지로 SBP 역량이 건강 불평등에 가장 많이 기여하는 근본적인 시스템 요소를 다루지 못한다고 주장한다.9 ACGME는 SBP를 "건강의 사회적 결정요인 및 최적의 건강관리를 제공하기 위해 다른 자원을 효과적으로 호출할 수 있는 능력을 포함한 더 큰 맥락과 의료 시스템에 대한 인식과 대응"으로 정의한다. 1 SBP는 환자 안전, 비용 억제, 생애 종료 목표, 기타 여러 주요 주제를 포함한다.10 그러나 [불평등한 미국 의료 환경에 대해서는 침묵]하고, 의사가 (이러한 환경을) 적극적으로 재구성하기 보다는, 이러한 환경 내에서 작동하게끔 준비시킨다. 따라서 SBP는 [자원이 부족하고 취약한 환자]보다는, [의료 시스템의 이익을 위해 일할 새로운 세대의 의사]를 준비할 위험이 있다.
Systems-based practice (SBP) is the ACGME core competency that focuses on complex systems and physicians’ roles within them (see Table 1). We contend, as have others, that the SBP competency falls short of addressing the fundamental systemic factors that most contribute to health inequities.9 The ACGME defines SBP as “an awareness of and responsiveness to the larger context and system of health care, including the social determinants of health, as well as the ability to call effectively on other resources to provide optimal health care.”1 SBP encompasses multiple other major topics—patient safety, cost containment, end-of-life goals, and health care quality and quality improvement.10 However, it is silent regarding the inequitable U.S. health care landscape and prepares physicians to operate within this landscape rather than to actively reshape it. As a competency, then, SBP risks preparing a new generation of physicians to work for the benefit of health care systems rather than for underresourced and vulnerable patients.

ACGME가 마일스톤 2.0을 향해 작동함에 따라, 지금이 우리 직업에서 이러한 교육 체계를 재방문하고 의사가 의료 형평성을 개선하기 위해 계몽된 주체가 되도록 더 잘 훈련할 수 있는 방법을 고려할 수 있는 적절한 시기입니다. 이 관점에서는 ACGME SBP 역량의 역사와 오늘날의 사회 및 의료 현실에서의 단점을 설명하고, 구조적인 역량, 건강 형평성 및 사회적 책임으로 대학원 의료 교육 시스템을 재편할 수 있는 새로운 역량을 제안한다.
As the ACGME works toward Milestones 2.0, this is an opportune time for our profession to revisit this educational rubric and consider how a new competency can better train physicians to be enlightened actors to improve health equity. In this Perspective, we describe the history of the ACGME SBP competency and its shortcomings in today’s social and health care realities, and we propose a new competency to reorient our graduate medical education system toward structural competency, health equity, and social responsibility.

SBP의 역사
A History of SBP

[1997-98년에 ACGME 성과 프로젝트]는 졸업후의학교육을 위한 6가지 핵심 교육 역량을 창출했다.
In 1997–1998, the ACGME Outcomes Project generated 6 core educational competencies for graduate medical education:

• (1) 실습 기반 학습 및 개선,
  
• (2) 환자 치료,
  
• (3) 의학적 지식,
  
• (4) 대인관계와 의사소통 기술,
  
• (5) 전문직업성
  
• (6) SBP.1 
• (1) practice-based learning and improvement,
• (2) patient care,
• (3) medical knowledge,
• (4) interpersonal and communication skills,
• (5) professionalism, and
• (6) SBP.1 

문헌 검토는 일련의 구조화된 인터뷰, 포커스 그룹 및 의료 교육자(예: 프로그램 책임자, ACGME 위원회, 자문 그룹)와의 심의를 통해 13개의 초기 교육 영역을 개발하였고, 최종적으로는 6가지 역량으로 좁혀졌다. 이렇게 만들어진 역량은 1999년에 ACGME에 의해 채택되었다.
Literature reviews informed the development of 13 initial educational domains, which were narrowed to these 6 competencies through a series of structured interviews, focus groups, and deliberations with medical educators (e.g., program directors, ACGME committees, advisory groups).11 The resulting competencies were adopted by the ACGME in 1999.

이러한 핵심 역량은 전문적 발달의 중요한 시점에 전공의를 위한 훈련을 정의하여, 장기간 지속되는 기술과 의료행위의 패턴에 informing한다. Swing은 "일반 역량General Competencies은 의사 역량 및 훈련에서 의사의 교육을 위한 조직 원칙을 정의하기 위한 [공통 언어]가 되었다."라고 썼다. 이 핵심역량 작업을 주도한 Batalden and Leach는 더 나아가서 [SBP는 가치와 이데올로기를 형성하는 것]이라고 주장했다.

These core competencies define training for residents at a critical point in their professional development, informing long-lasting skills and practice patterns. Swing wrote, “The General Competencies have become the common language for defining physician competence and the organizing principles for [the] education of physicians in training.”11 Batalden and Leach, leaders in shaping these core competencies, went further in describing SBP as creating values or ideology:

[공유된 가정]은 다양하고 느슨하게 결합된 문화를 하나로 묶어주는 [접착제]이다. 즉, 공동체가 스스로를 정의하고, 가치를 채택하고, 그것에 충실할 수 있게 한다. [시스템 언어]는 우리가 익숙한 가정 중 일부의 한계에 대해 새로운 대화와 주의를 환기시킨다.12
Shared assumptions are the glue that holds a diverse and loosely coupled culture together; they enable communities to define themselves, to adopt values, and to become faithful to them.… Systems language invites new conversations and attention to some of the limits of some of our familiar assumptions.12

SBP의 하위 역량은 크게 3가지로 나뉜다.
Within SBP, subcompetencies fall into 3 major themes:

• (1) 다학제적 건강 관리 팀 및 시스템 내에서 작업해야 한다.
  
• (2) 의료 시스템 개선을 지지한다.
  
• (3) 비용, 지불, 가치 고려사항을 환자 치료에 반영한다(표 1 참조).
• (1) to work within multidisciplinary health care teams and systems;
• (2) to advocate for health care system improvements; and
• (3) to incorporate cost, payment, and value considerations into patient care (see Table 1).

ACGME는 [단독 진료의solo practitioner]라는 의료전문직에 대한 오래 된 이미지에서 벗어나, [점점 더 복잡해지는 시스템의 관리자steward라는 이미지]로 전환하고자 SBP를 역량으로 포함시켰다. 목표는 의사들이 다분야 의료 시스템을 이끌 수 있도록 "시스템의 언어"를 제공하는 것이었다. ACGME는 다음을 예상하였다. "미래의 전공의들은 그들이 환자를 대하는 것처럼, [시스템을 진단하고 치료]하며, 그들이 환자를 돌보는 시스템에 대처하고 싸우기 보다는, [시스템을 숙달하고 설계할 수 있도록] 사회화될 것입니다." 우리가 보기에, 이러한 "시스템 언어"와 SBP의 정의는 의사를 기존의 불평등 의료 환경으로 사회화시켰으며, 반대로 다른 대화는 소외시켰다. 그리고 소외된 주제로는 [건강 형평성]과 [의사의 사회적 책임]에 관한 것들이 있다.
The ACGME included SBP as a competency explicitly to push the profession away from its long-held image of the solo practitioner toward that of a steward of the increasingly complex systems in which physicians were working.12 The goal was to endow physicians with the “language of systems” to help them lead multidisciplinary health care systems.12 The ACGME envisioned that: “residents of the future will diagnose and treat systems as they do patients and will be socialized to master and design rather than cope with and fight the systems in which they care for patients.”12 This “language of systems” and the definition of SBP, we contend, socialize physicians into an existing inequitable health care landscape and marginalize other conversations—like those about health equity and physicians’ social responsibility.

의료 시스템의 경우, 의료 시스템별
For Health Care Systems, By Health Care Systems

SBP 역량이 답을 주지 않는 질문들이 있다(표 1 참조). 예를 들어

• "양질의 환자 진료와 최적의 환자 진료 시스템"1의 목표가 상충될 경우 의사는 어떻게 해야 하는가?
  
• "최적의 의료 시스템"1을 옹호하는 것이 건강 불평등을 악화시킨다면 어떻게 될까요?
  
• "가치, 비용 인식, 제공 및 지불에 대한 고려사항"1이 취약한 인구에게 피해를 입힐 경우 어떻게 해야 합니까?
  
• 의료 분야 외부의 시스템 행위자로서 의사의 역할은 무엇입니까?
  
• 우리는 어떤 목적으로 그리고 누구의 이익을 위하여 의료 시스템을 최적화하고, 의사를 그들의 책임자로 세우는가?

The SBP competency invites questions that it does not answer (see Table 1). For example,

• what should physicians do if the goals of “quality patient care and optimal patient care systems”1 are in conflict?
• What if advocacy for “optimal health care systems”1 worsens health inequities?
• What if “considerations of value, cost awareness, delivery and payment”1 harm vulnerable populations?
• What are physicians’ roles as systems actors outside the health care sector?
• For what purpose and in whose interests are we in medicine optimizing systems and installing physicians as their stewards?

전공의와 전임의 단계의 SBP 커리큘럼은 [이러한 질문에 암묵적으로만 대답하는 방식으로] 구축되었으며, 이를 "윈-윈 상황"이라고 불렀다. 출판된 SBP 커리큘럼의 예시로는 다음과 같은 것이 있다.

• 병원 비용 절감을 위해 의사를 훈련시키고,
• 레지던트에게 환자에 대한 체크인, 코딩, 청구 작업 과제를 주고
• 비용절감에 대한 고려사항을 이환율 및 사망률 회의에 포함시킨다.16

Implicitly answering these questions, residencies and fellowships have created SBP curricula that generate financial gains for the health care systems in which they are embedded, termed a “win-win situation.”13 Examples from published SBP curricula

• train physicians to reduce hospital costs13,14;
• task residents with checking in patients, coding, and billing for patient encounters15; and
• incorporate cost cutting considerations into morbidity and mortality conferences.16 

SBP 역량 내의 "비용 억제"라는 주제를 고려할 때, 일부에서는 의사가 환자의 재정적 고통을 유발할 수 있는 검사, 절차, 약물을 보류함으로써 "해치지 않아야 한다do no harm"고 옹호한다.17,18 현재의 SBP 커리큘럼은 의사에게 "최적의 의료 시스템"이란 [비용 절감] 및 [청구 가능한 단위의 생성]과 동의어라고 가르친다.

Considering the cost containment theme within the SBP competency, some advocate that physicians should “do no harm” by withholding tests, procedures, and medications that could cause patients financial distress.17,18 These SBP curricula teach physicians that “optimal health care systems”1 are synonymous with cost cutting and the generation of billable units.

지금과 같은 SBP 커리큘럼은 병원 시스템에 대한 [비용 억제]를 고려하지 않으며, [병원 시스템의 재정적 이득financial win]이 취약한 사람에게(그리고 심지어 그렇게 취약하지 않은 집단에게조차), 그리고 보험에 가입하지 못했거나 보험 수준이 낮은 집단에게 [돌봄에 대한 구조적 장벽]을 세울 수 있다는 것을 고려하지 않는다. 뿐만 아니라, 지금과 같은 SBP 커리큘럼은 환자의 재정적인 고통에 대한 [보다 실질적인 구조적 원인]들을 회피한다. 여기에는 불공정한 처방 의약품 가격 책정, 보편적 의료 서비스의 부재, 사회 서비스에 대한 불균형한 국가 지출, 보험 계획 및 지역에 따른 현금 부족 비용의 차이, 미국 시스템의 가격 투명성 결여로 인한 의료 경제의 계층적 복잡성 등이 있다.

Such curricula fail to consider that cost containment and financial wins for hospital systems can erect structural barriers to care for vulnerable (and even not so vulnerable) populations and for those who are uninsured or underinsured. Such lessons also avoid the more substantial structural causes of patients’ financial distress, like unfair prescription drug pricing, the absence of universal health care, disproportionate national expenditures on health care relative to social services, variations in out-of-pocket costs depending on insurance plans and geography, and the layered complexities of health care economics due to the absence of price transparency in the U.S. system. 

캐나다, 영국 및 호주의 교육 역량과 달리, 미국의 SBP 커리큘럼은 건강 불평등의 근본적인 원인을 해결하기 위하여 [환자 및 정책 수준 advocacy에 관한 의사의 역할]을 다루지 않는다. Stammen과 동료들은 [비용을 민감하게 고려하는 진료cost-conscious care]에 대한 의사 교육 문헌을 체계적으로 검토하면서 다음과 같이 진술했다. "진료가치를 측정하는 것은 매우 복잡하지만, 진료의 양이나 비용에만 초점을 맞춘 결과 측정은 [저렴한 것이 더 좋은 것이다]라는 잘못된 가정을 조장할 수 있다." 의사들을 [건강과 보건의료에 영향을 미치는 사회적, 구조적 맥락]에 대하여 교육하지 않은 채로 [자원 관리인]이 되도록 훈련시킴으로써, 취약한 인구의 돌봄에 관한 제도적 장벽을 당연한 것으로 만들고, 의도치 않게 불평등을 악화시킬 가능성이 있다.
Unlike educational competencies in Canada, the United Kingdom, and Australia, SBP curricula in the United States do not address physicians’ roles in patient- and policy-level advocacy to address these fundamental root causes of health inequities.19,20 In their systematic review of the literature on physician trainings on cost-conscious care, Stammen and colleagues state that: “Although measuring the value of care is extremely complex, outcome measures that focus solely on volume or costs might promote the incorrect assumption that cheaper is better.”21 By training physicians to be resource stewards without educating them in the social and structural contexts affecting health and health care, there is the potential for normalizing institutional barriers to care for vulnerable populations and inadvertently worsening inequities.

SBP에 관하여, 일부 전공과 또는 프로그램 및 교육자들은 취약계층에 초점을 맞추고 있다. 그러나 [비용 억제]와 [의료 중심 옹호healthcare centric advocacy]라는 하위 주제는 [소수자와 취약계층의 요구]와 상충할 수 있다. 의사들에게는 이러한 [자원의 한계에 도전]하고, [사회적 방치의 영향을 상쇄]할 수 있도록 의사들에게 옹호 기술advocacy skills을 가르칠 필요가 있다. Braveman은 건강 형평성을 추구하는 문제에 대해 썼다. 그는 "더 뿌리깊고 중차대한 과제는 윤리적 가치와 인권에 대한 냉소주의 및 이를 존중하지 않는 태도"라고 강조했다. 그녀는 계속해서 이렇게 말한다.
Some specialties, programs, and educators have integrated a focus on vulnerable populations within SBP.22,23 However, the subthemes of cost containment and health care–centric advocacy may be at odds with the needs of minority and vulnerable populations. Using the example of a program’s financial constraints affecting its ability to deliver services for underresourced populations, there is the need to teach physicians advocacy skills so they can challenge these resource limitations and counteract the effects of societal neglect. Braveman writes about the challenges of pursuing health equity, highlighting that “a more deeply rooted and daunting challenge is cynicism and lack of respect for ethical values and for human rights.”24 She goes on to say that:

학문적 의학은 [건강 형평성]을 추구하는 데 중요한 역할을 할 수 있다. 그것은 규범을 설정하고 출판물이 널리 퍼질 수 있는 의대생, 그들의 담당의사, 연구 교수진의 가치와 태도를 형성하는 데 강력한 힘이다.24
Academic medicine can play an important role in pursuing health equity. It is a powerful force in setting norms and shaping the values and attitudes of medical students, their attending physicians, and research faculty whose publications may reach far and wide.24

현재는 의료 교육에서 우리에게 건강 형평성, 사회적 책임, 그리고 구조적 역량을 중심으로 역량을 키울 수 있는 기회를 제공합니다.
The present affords us in medical education an opportunity to build competencies around health equity, social responsibility, and structural competency.

새로운 역량을 향하여: 구조적 역량, 건강 형평성 및 사회적 책임
Toward a New Competency: Structural Competency, Health Equity, and Social Responsibility

여기서는 구조적 역량(지식), 구조적 행동(기술), 사회적 책임(태도)의 세 가지 하위 주제로 대학원 의료 교육에 대한 새로운 역량을 제시한다(표 2 참조). [정책 구조]와 [의료 시스템]은 [공정한equitable 의료]를 제공하는 의사의 능력을 제한할 수 있다. 건강 형평성의 과정과 목표에 대한 헌신은 [건강 악화의 가장 큰 위험에 처한 사람들의 요구]를 우선하는 것을 수반한다.25 이러한 역량은 의사에게 [지역사회와 협력하고, 건강 및 사회적 불평등을 유발하는 제도 구조를 변화시키는 데 필요한 창의성]의 훈련을 장려할 것이다. 이러한 창의성은 다음 하위 역량에 기초할 것이다. 

• 건강과 사회적 불평등,
• 지역사회 참여,
• 건강의 사회적 결정 요인, 그리고
• 건강에 영향을 미치는 경제, 정책 및 제도 구조

Here, we present a new competency for graduate medical education with 3 subthemes: structural competency (knowledge), structural action (skills), and social responsibility (attitudes) (see Table 2). Policy structures and health care systems can limit physicians’ abilities to provide equitable care. A commitment to a process and goal of health equity entails prioritizing the needs of those at greatest risk of poor health.25 This competency would encourage creativity in training physicians to partner with communities and to change institutional structures that drive health and social inequities. This creativity would be grounded in subcompetencies on the topics of

• health and social inequities;
• community engagement;
• social determinants of health; and
• the economic, policy, and institutional structures that influence health.

제안된 새로운 역량은 우리 전문직을 위하여 [건강 형평성]의 언어를 우선시한다.25 이것의 내용에 필요한 정보는 기존의 혁신적인 학부 및 대학원 의료 교육 교육학 및 공공 보건, 보건 서비스 연구 및 사회 의학 프레임워크로부터 얻어졌다. 하위 역량은 전공의가 직면하는 [일상적 과제]와 유사성을 가지고 있으며(Box 1), 프로그램 책임자가 이러한 새로운 역량을 커리큘럼에 통합하는 데 도움이 되도록, 최근 등장하는 교육적 이니셔티브 및 교육자원이 될 수 있는 문헌에 토대를 두고 있다.
Our proposed new competency prioritizes the language of health equity for our profession.25 Its content is informed by existing, innovative undergraduate and graduate medical education pedagogy and public health, health services research, and social medicine frameworks.4,19,26–48 The subcompetencies have real-life analogues to the daily challenges that residents face (see Box 1) and are grounded in emerging educational initiatives (see Table 2), a growing literature that could serve as a resource to help program directors incorporate this new competency into their curricula.4,19,26–48

Box 1

현재 6개의 ACGME 핵심역량 목록에 새로운 역량이 추가되면 이미 복잡해진 졸업후의학교육을 더 복잡하게 만들 것이 분명하다. 따라서 우리는 이 새로운 역량이 [확장된 SBP 역량]으로 실질적으로 통합될 수 있는지를 고려했습니다. SBP는 팀 기반 진료, 환자 안전, 비용 억제, 생애 종료 목표, 의료 품질 및 품질 개선과 같은 중요한 교육 주제를 포함한다. 현재의 SBP에다가 [구조적 역량]과 [건강 형평성]의 목표를 포함하도록 확장하면, 종종 자신과 상충되는 구조가 생성되어 ,효율화하기 보다는 혼란을 야기할 수 있다. 새로운 역량을 생성하는 것이 [SBP 역량의 기존 목표]와 구별되는 동시에, 필요한 균형을 제공하는 목표에 집중할 수 있게 한다.
To be sure, adding a new competency to the current list of 6 ACGME core competencies would increase the already complex landscape of graduate medical education. We have considered whether this new competency could feasibly be incorporated into an expanded SBP competency. SBP encompasses important educational topics, such as team-based care, patient safety, cost containment, end-of-life goals, and health care quality and quality improvement. Expanding it to include the goals of structural competency and health equity would create a construct that would, at times, be at odds with itself, potentially causing confusion rather than streamlining efforts. Creating a new competency allows for a focus on the goals that are both distinct from and provide necessary balance to the existing goals of the SBP competency.

다양하고 포괄적인 인력의 채용과 유지를 강조하는 새로운 [ACGME 프로그램 공통 요구 사항]을 고려할 때, 지금이 이러한 새로운 역량을 만들 적기입니다.1 [다양성, 건강 격차, 건강 형평성, 사회 정의]라는 주제에 대한 전공의-주도 교육은 [전통적인 커리큘럼 내에서 충족되지 않아온 요구unmet need]를 드러낸다. 우리의 새로운 역량은 레지던트들과 동료들이 다양한 환자들과 지역사회에 더 잘 봉사할 수 있도록 준비시키는 것 외에도, 지금까지 역사적으로 의학계에서 과소대표되어온 소수 집단 훈련생들의 채용과 업무 만족도를 높일 수 있는 잠재력을 가지고 있다. 그리고 이는 암묵적 편견, 인종차별, 개인 이력, 특권과 같은 주제를 보다 비판적으로 반영하는 교육 환경을 조성함으로써 이룰 수 있다.
Given the new ACGME Common Program Requirements emphasizing the recruitment and retention of a diverse and inclusive workforce, the time is right for this new competency.1 Resident-led education on topics of diversity, health disparities, health equity, and social justice reveal an unmet need within traditional curricula. In addition to preparing residents and fellows to better serve diverse patients and communities, our new competency has the potential to enhance the recruitment and work satisfaction of trainees from minority groups historically underrepresented in medicine by creating educational environments that are more critically reflective of topics like implicit bias, racism, personal histories, and privilege, among others.49,50

현대 의료 서비스의 복잡성이 증가한다는 것을 인식하면서, SBP 역량을 개발한 초기 의도는 의사를 [단독 의사]의 사고방식에서 벗어나, [시스템이라는 공유된 언어]로 이동시키는 것이었다. 그러나, 우리의 의료 시스템이 사회와의 관계를 계산하고, 의사들은 건강과 사회적 불평등의 곡선을 구부리는 것bending the curves을 잘 해내지 못했으며, 우리는 우리의 교육 우선순위를 다시 전환해야 한다. 이 관점에서는, 우리의 대학원 의료 교육 시스템을 건강 형평성 쪽으로 재편하기 위한 중요한 구조적 변화를 나타내는 새로운 역량을 제안했다.

Recognizing the increasing complexity of modern health care, the original intention of the SBP competency was to move physicians away from the mentality of the solo practitioner and toward a shared language of systems. Now, however, as our health care system reckons with its relationship to society and physicians grapple with their roles in bending the curves of health and social inequities, we must shift our educational priorities again. In this Perspective, we proposed a new competency that would represent a critical structural change to realign our graduate medical education system toward health equity.

 doi: 10.1097/ACM.0000000000003559.

Reconsidering Systems-Based Practice: Advancing Structural Competency, Health Equity, and Social Responsibility in Graduate Medical Education

PMID: 32590465

PMCID: PMC8279228

DOI: 10.1097/ACM.0000000000003559

Free PMC article

의학교육에서 학술연구경험에 대한 실재주의적 리뷰 (Med Educ, 2020)
A realist review of scholarly experiences in medical education
Marian Cornett1 | Claire Palermo1 | Megan J. Wallace2,3 | Basia Diug4 | Bernadette Ward5

1 소개
1 INTRODUCTION

지난 10년 동안 의과대학은 핵심 교육의 일부로 [연구 방법]과 [증거 기반 의학]을 점점 더 많이 통합해 왔다.1 수업을 통해 연구 방법을 가르치는 것 외에도, 수많은 기관들이 [학문적 경험]을 수용하고embrace 있다. 세계적으로, 학문적 경험은 기관마다 다르며 종종 학문적 위치, 학문적 프로젝트, 학문적 집중 또는 학문적 집중이라고 불린다. 우리는 '학술 경험scholarly experience'이라는 용어를 여러 의과대학에서 사용하는 다양한 용어를 포괄하기 위해 매우 중요한 용어로 사용해 왔다. 이러한 경험은 [독립적인 학습]을 육성하고, [핵심 연구 스킬을 개발하는 것]을 목표로 한다.1 연구 방법 훈련은 증거 기반 의학의 평생 실습을 가능하게 하고 학문적 또는 연구 활동적 임상의의 비율을 증가시키기 위한 의료진의 준비에 매우 중요한 것으로 인식되어 왔다. 
Over the last decade, medical schools have been increasingly incorporating research methods and evidence-based medicine as part of their core teaching.1 In addition to teaching research methods via coursework, numerous institutions have embraced scholarly experiences.1, 2 Globally, scholarly experiences differ between institutions and are often termed, scholarly placements, scholarly projects, scholarly intensives or scholarly concentrations.1 We have used the term ‘scholarly experiences’, as an over-arching term to encompass the various terminologies used by different medical schools. These experiences aim to foster independent learning and develop key research skills.1 Research methods training has been recognised as critical for the preparation of the medical workforce to enable the lifelong practice of evidence-based medicine and to increase the proportion of scholarly or research-active clinicians.1, 3

[학문 활동Scholarly activity]은 [특정 주제에 대한 상세하고 사려 깊은 조사]로 정의된다. [학문적 경험]은 학생들이 학문적 기술을 개발할 수 있도록 지원하는 광범위한 단기 및 장기 경험이다. 예를 들어, 여기에 포함되는 기술에는 한 분야에서 더 깊은 지식을 얻고, 새로운 지식을 창조하며, 학습 평가를 하고, 자기 주도 학습과 구술 및 문서 커뮤니케이션 기술을 습득 등이 있다.

Scholarly activity is defined as a detailed and a thoughtful examination of a subject.4 Scholarly experiences describe a range of short- and long-term experiences that support students to develop scholarly skills, for example, gaining a greater depth of knowledge in a field, creating new knowledge, learning evaluation and, self-directed learning and oral and written communication skills.5 

[학문적 경험]대한 접근법은 단일하지 않다. 이들은 내용 및 학습 성과와 감독 상호작용이 다양하며 기간(몇 주에서 몇 년)을 포함한 다양한 특성을 가지고 있다.

• 일부 경험은 선택적 또는 자발적 경험에 비해 커리큘럼에 전념하는 시간이 필수적입니다.1 이러한 특성은 필요한 인프라 수준, 경험의 내용과 집중, 감독 준비 및 책임뿐만 아니라 커리큘럼 내의 위치에도 영향을 미칩니다. 예를 들어,
  • 어떤 학생들은 그들의 학문적 경험을 위해 주제를 선택하고, 개별적으로 또는 그룹의 일부로서 경험에 참여한다.
• 일부 학문적 경험은 연구 (실험실 또는 임상)에만 초점을 맞춘다;
  • 반면 어떤 학문적 경험의 범위는 더 넓어서, 공공 보건, 의료 교육, 문헌 검토, 커뮤니티 프로그램 등에 초점을 맞춘 경험을 포함한다.
• Supervision arrangement에는 학술 연구 스텝, 멘토 또는 임상 감독관이 포함되며, 학생 지도감독에 대한 시간은 할당되기도 하고, 그렇지 않기도 한다.

There is no one singular approach to these experiences. They have varying characteristics, including duration (from a few weeks to several years),6, 7 with varying content and learning outcomes and supervisory interactions.8, 9 

• Some experiences are compulsory with dedicated time in the curriculum versus elective or voluntary experiences.1 These characteristics affect the level of infrastructure required, the content and focus of the experience, supervision arrangements and responsibility, as well as the position within the curriculum. For example,
  • some students can choose the topic for their scholarly experience8, 9 and work individually or as part of a group.10 
• Some scholarly experiences remain solely focused on research (laboratory or clinical);
  • however, others have a broader scope and include experiences focussed on quality improvement, public health and medical education, literature reviews and community programmes.11 
• Supervision arrangements include academic research staff, mentors or clinical supervisors.12-14 with time allocated (or not) for student supervision.15, 16

의학에 대한 학문적 경험이 광범위한 활동을 포함하는 것으로 인정되지만, 현재까지 의대생 학문적 경험에 대한 연구는 주로 다음에 초점을 두고 있다.

• 연구 성과물(예: 동료 검토 출판물, 포스터, 컨퍼런스 프레젠테이션), 
• 연구에 대한 관심/참여(예: 박사 등록)
• 학생들의 학술적 경험에 대한 만족감

While scholarly experiences in medicine are acknowledged as encompassing a broad range of activities,5 to date, the research about medical student scholarly experiences has largely focused on

• research outputs (eg peer-reviewed publications, posters, conference presentations),
• subsequent interest/participation in research (eg PhD enrolments) or
• student satisfaction with their scholarly experience.

2017년 학술적 경험에 대한 체계적인 검토는 내부 프로젝트 보고서를 완료하거나 공동저자/첫 번째 저자의 동료 검토 출판물, 교수진 및 국가 또는 국제 컨퍼런스에서 포스터 및 구두 프레젠테이션을 수행한 학생의 비율 측면에서 결과를 보고했다.1 학문적 경험이 [어떻게 학문적 기술을 쌓는지]에 대한 복잡성을 탐구하는 연구는 없었고, 학문적 경험이 어떻게 다양한 결과를 가져오고, 어떤 상황에서 어떤 결과로 이어지는지를 탐구하는 어떠한 증거도 없었다.

A 2017 systematic review of scholarly experiences reported outcomes in terms of the proportion of students who completed internal project reports or had co-authored/first-authored peer-reviewed publications, undertaken poster and oral presentations to faculty and at national or international conferences.1 There has been no research exploring the complexities of how the scholarly experiences build scholarly skills nor has there been any evidence syntheses that explores how scholarly experiences lead to a range of outcomes and under what circumstances.

교육은 평가하기가 어렵기로 악명높다. [학문적 경험] 역시 그것이 구현되는 [다양한 설정과 구조와 결합되며, 시간의 경과에 따라 지속적으로 변화]하기 때문에, 본질적으로 [학습 목표 및 관련 학술적 성과물 달성과 관련된 특성]을 식별하기 어렵게 만들었다. Havnaer 등에 의해 개발된 로직 모델에 따르면

• 입력(시간, 돈, 시설, 장비 및 기술)이
• 활동(학생 학술 작업, 감독, 학사 감독, 관리자 지원)과 연관되어
• 산출물(학생 수, 시간 및 직원 시간)을 내고, 궁극적으로는
• 결과물(연구 지식, 기술, 태도, 행동과 학술적 결과물)을 만들어낸다.

Education is notoriously difficult to evaluate, and combined with the diverse settings and structures in which scholarly experiences are implemented, changes over time17 have made it inherently difficult to rigorously identify the characteristics that are associated with achieving learning objectives and associated scholarly outputs. The logic model, developed by Havnaer et al,1 suggests

• inputs (time, money, facilities, equipment and technology) are associated with
• activities (student scholarly work, supervision, academic oversight, administrator support) to achieve
• outputs (student numbers, hours and staff time) and ultimately
• outcomes (research knowledge, skills, attitudes, behaviours and scholarly outputs).

[학문적 경험]이 어떻게 [학문적 산출물]로 이어지는지를 설명하는 다른 문헌과 결합한다면, 이 로직 모델은 [학문적 경험의 평가에 정보를 제공하고, 이러한 요소들이 경험에서 어떻게 운영되는지, 그리고 학문적 경험 결과 달성에 미치는 영향을 탐구하기 위한] 예비 이론preliminary theory 이다. 중요한 다음 단계는, 로직 모델을 하나의 이론으로 검증하는 것이다.

Combined with other literature that describes scholarly experiences leading to scholarly outputs,2, 5, 18 this logic model is a preliminary theory to inform evaluations of scholarly experiences, explore how these factors are operationalised across experiences and their influence on achieving scholarly experience outcomes. Testing the logic model as a theory is an important next step.

이 리뷰는 의대생들의 학문적 경험이 어떻게, 왜, 어떤 상황에서 결과를 도출하는지 이해하기 위해 현실주의 접근법을 사용하여 기존 문헌을 종합하는 것을 목표로 한다. 보다 구체적으로, 다음과 같은 질문에 답하고자 하였다. 

의대생들의 학문적 경험은 왜, 어떻게, 어떤 상황에서 다양한 결과를 낳는가?

This review aims to synthesise existing literature using a realist approach to understand how, why and in what circumstances medical student scholarly experiences produce outcomes. More specifically, the review sought to answer the question:

‘Why, how and under which circumstances do medical student scholarly experiences produce a range of different outcomes?’

2 방법
2 METHODS

2.1 연구 설계
2.1 Study design

현실주의 검토인 연구 설계는 Pawson's five stages of realist review를 따랐다.

• (a) 범위 명확화(개념 마이닝 및 이론 개발),
• (b) 증거 검색,
• (c) 연구 선택,
• (d) 데이터 추출,
• (e) 데이터 합성

보고는 RAMESES를 따랐다.  
The study design, a realist review, was guided by Pawson's five stages of realist review:

• (a) clarifying scope (concept mining and theory development);
• (b) searching for evidence;
• (c) study selection;
• (d) data extraction; and
• (e) data synthesis,

19, 20 and was reported following the Realist and Meta-narrative Evidence Synthesis: Evolving Standards (RAMESES) for realist syntheses.21 

검토에 대한 현실주의 접근법은 [복잡한 개입이 왜 작동하고 왜 작동하지 않는지 이해]하기 위해 문헌을 검토하는 체계적인 접근 방식을 취한다. 19 현실주의 접근법은 이론 주도적theory-driven이어서, 이론의 개발이 이 과정을 시작부분부터 가이드한다.

• 개입Intervention은 [메커니즘의 작용을 통해 결과를 이끌어내기 위해 제안된 프로그램 또는 실험]이며, 현실주의 접근 이론은 이러한 기본 메커니즘을 식별하고 설명하는 것을 목표로 한다. 개입과 기본 메커니즘 사이의 관계와 개입의 결과는 복잡하고 미묘한데 맥락적 변화에 민감하다.19
• 맥락Contexts은 물질적 자원과 사회적 구조 또는 특정 환경 내의 요소일 수 있다. 맥락은 또한 개입, 이해관계자 상호 관계, 제도적 준비 또는 더 넓은 문화적, 경제적 및 사회적 환경에 참여하는 개인을 지칭할 수 있다.
• 메커니즘Mechanism은 일반적으로 숨어있으며, 맥락적 변화에 민감하며, 특정 결과를 산출한다.22 성과와의 관계에 있어서 메커니즘은 성과를 일으킬 수도 있고, 그렇지 않을 수도 있다. 

Realist approaches to reviews take a systematic approach to reviewing the literature to unpack and understand why complex interventions do or do not work.19 Realist approaches are theory-driven with theory development guiding the process from the outset, with data extraction and synthesis key aspects of theory refinement.

• Interventions are the programme or experiment proposed to lead to outcomes through the action of mechanisms and theory of realist approaches aims to identify and explain these underlying mechanisms. The relationship between interventions and the underlying mechanisms and the outcomes of the intervention are complex, nuanced and sensitive to contextual variations.19 
• Contexts may be material resources and social structures or the elements within a particular setting.22 Context can also refer to individuals participating in an intervention, stakeholder interrelationships, institutional arrangements or wider cultural, economic and/or societal settings.23 
• Mechanisms are typically hidden, sensitive to contextual variations and produce certain outcomes.22 In their relationship to outcomes, mechanisms can either cause, or not, the outcome.24 

결국, 현실주의 검토자들이 일차적으로 관심을 갖는 것은 [상황 (C), 메커니즘 (M), 결과 (O) 구성으로 알려진 개입, 맥락, 메커니즘 및 결과 사이의 관계]이다. 19 현실주의 합성은 이론을 다듬기 위해 CMO 구성 전반에 걸쳐 [데미-규칙성]이라고 불리는 패턴을 식별하는 것을 목표로 한다.

In the end, it is the relationships between interventions, context, mechanism and outcomes, otherwise known as Context (C), Mechanism (M), Outcome (O) configuration, that is of primary interest to realist reviewers.19 Realist syntheses aim to identify patterns, termed demi-regularities, across CMO configurations to refine the theory.

2.2 범위 명확화
2.2 Clarifying scope

인턴(1학년) 의사로 이어지는 의무compulsory 의대생 학구적 경험에 초점을 맞춘 연구만 포함됐다. [비필수Optional 연구 프로그램](예: 명예, 석사 또는 박사) MBBS/PhD, MBChB/PhD, MD/PhD 또는 대학원 의료교육(전공 수련 과정)은 자발적 프로젝트(의과대학 교육과정 바깥에서 진행되는 것)과 마찬가지로 제외되었다. [비필수이고 자발적인 학문적 기회에 참여하기로 선택한 학생]들은 의대생 전체 코호트와 다른 특성을 가질 가능성이 높으며, 이는 우리의 현실주의적 합성으로부터 결과를 편향시키거나 결과의 일반성을 제한할 수 있다. 학부(학교가 직접 운영)와 의학전문대학원(학사 학위 이후)의 연구가 포함되었다.

Only studies focusing on compulsory medical student scholarly experiences that lead to an internship (1st year) doctor were included. Optional research programmes (eg Honours, Masters or PhD (eg. MBBS/PhD, MBChB/PhD, MD/PhD) or post-graduate medical education (ie medical speciality training) were excluded, as were voluntary projects (outside of the medical curriculum). Students who select to participate in optional and voluntary scholarly opportunities are likely to have different characteristics from the entire cohort of medical students, which could bias the outcomes, or limit the generalisability of the outcomes, from our realist synthesis. Studies of both undergraduate (direct from school) and graduate (after initial degree) entry medical schools were included.

현실주의 접근법의 중심인 것처럼, 우리는 합성을 테스트하기 위해 문헌의 예비 분석에 기초한 초기 프로그램 이론initial programme theory을 개발했다. 이 이론은 Havnaer 등에 의해 개발된 논리 모델을 기반으로 개발되었으며 학문적 경험의 효과에 대한 다른 기존 리뷰에 의해 칭찬받았다. 이러한 리뷰를 바탕으로, 우리의 [초기 프로그램 이론]은 

• 성과: 경험의 결과로 달성된 학문적/연구적 지식, 기술, 태도, 행동 및 프로젝트 성과물(포스터, 출판물, 프리젠테이션)의 개발로 정의했다.

이러한 검토를 바탕으로, 우리의 [초기 프로그램 이론]은 성과는 다음의 경우에 달성된다는 것이다.

• 맥락: 시간, 돈, 시설, 장비 및 기술 측면에서 연구 지원이 제공되고,
• 메카니즘: 학생들이 학술 활동에 참여하고, 양질의 감독, 교육 관리oversight, 관리자 지원 등이 있을 때,

As is central to realist approaches, we developed an initial programme theory based on preliminary analysis of the literature to test our synthesis. This theory was developed based on the logic model developed by Havnaer et al1 and complimented by the other existing reviews of the effectiveness of scholarly experiences .2, 18 Based on these reviews, our initial programme theory defined

• outcomes as the development of scholarly/research knowledge, skills, attitudes, behaviours and project outputs (eg posters, publications, presentations) that were achieved as a result of the experience.

Based on these reviews, our initial programme theory was that these outcomes were achieved

• when research support is provided in terms of time, money, facilities, equipment and technology, proposed as contexts,
• through students engaging in scholarly work, with quality supervision, academic oversight, administrator support, proposed as mechanisms.

2.3 증거검색
2.3 Searching for evidence

2.4 스터디 선택
2.4 Study selection

2.5 데이터 추출
2.5 Data extraction

세 명의 저자가 데이터 추출에 참여했다. 데이터 추출 표를 만들었고, 여기에는 다음을 포함하였다.

• 연구 특성(예: 저자, 출판 연도, 연구 방법론),
• 맥락,
• 학문적 경험 또는 개입의 세부 사항: 이론, 메커니즘, 결과 및 CMO 구성을 포함한 

Three authors were involved in data extraction. A data extraction table whereby

• study characteristics (eg author, publication year, study methodology),
• contexts,
• details of scholarly experiences or intervention including any theory, mechanisms, outcomes and any CMO configurations

처음에는 데이터가 풍부한 5개 연구에서 데이터를 추출하여 이 추출 표를 시험해 본 후 경미한 수정이 이루어졌고 나머지 연구가 완료되었다. 그런 다음 나머지 연구의 데이터를 이 표를 사용하여 중복 추출했다.

...was created. Initially, data from five data-rich studies were extracted to trial this extraction table after which minor modifications were made and the remaining studies completed. Data from the remaining studies were then extracted in duplicate using this table.

2.6 데이터 합성
2.6 Data synthesis

28개 연구와 22개 학문적 경험의 데이터는 36개의 CMO 구성뿐만 아니라 C, M, O에 걸친 패턴에 대해 조사되었다. 우리는 더 빈번한 패턴을 식별하기 위해 CMO 구성에 걸쳐 C-M과 M-O의 일관성을 찾았다. 또한 초기 프로그램 이론과 구성이 어떻게 관련되는지도 고려했습니다. 흔하게 사용되지 않는 CMO 구성은 수정된 프로그램 이론의 개발을 지원하기 위해 사용되지 않았다. [CMO 구성 패턴]을 식별하고 초안을 작성하였다. 이러한 구성 패턴은 [초기 프로그램 이론]과 비교하였고, 차이가 무엇인지 검토하였고(예: 상황 또는 메커니즘으로서의 돈), 현실주의 방법에 기반한 토론을 하여, [최종 CMO 구성 패턴]으로 합의되었다. 수정된 프로그램 이론에 inform하기 위하여, 학문적 경험에 대해 설명하거나 발견을 설명하는 데 사용되는 모든 이론(중간 범위 이론)을 식별하였다.
The data from all 28 studies and 22 scholarly experiences were then examined for patterns across C, M and O as well as the 36 CMO configurations. We looked for consistency of C-M and M-O across the CMO configurations with the aim of identifying more frequent patterns. We also considered how the configurations related to our initial programme theory. CMO configurations that were not common were not used to support the development of the modified programme theory. The identified CMO configuration patterns were drafted. These configuration patterns were then compared to the initial programme theory, differences noted (eg money as context or mechanism), debated based on realist methods, and final CMO configurations patterns agreed. Any theories used to inform the scholarly experience or explain the findings (mid-range theories) were identified for potential use to inform the modified programme theory.

3 결과
3 RESULTS

총 6294개의 레코드가 4개의 데이터베이스에 걸쳐 검색되었으며 중복이 제거되면 4590개의 레코드가 다운로드되었다. 참조 목록이나 Google Scholar 검색에서 식별된 추가 스터디는 없습니다. 초기 심사 후 75개 레코드의 전체 텍스트 검토가 완료되었고 47개 추가 논문이 제외되었다(그림 1).
A total of 6294 records were retrieved across four databases, and once duplicates were removed, 4590 records were downloaded. No additional studies were identified from reference lists or from the Google Scholar search. After initial screening, full-text review of 75 records was completed and 47 additional papers excluded (Figure 1).

28개 연구의 22개 학문적 경험이 현실주의 검토에 포함되었다(표 S2). 10개(12개 논문)가 미국에서 왔고, 호주와 터키에서 각각 2개, 사우디 아라비아, 인도, 캐나다, 일본, 남아프리카, 스웨덴, 수단12, 네덜란드에서 각각 1개 논문이었다. 나머지 6개 연구는 혼합 방법, 감사, 35 사전 사후, 예비 코호트 또는 정성 설계를 포함한 다양한 접근방식을 적용했다.

Twenty-two scholarly experiences from 28 studies were included in the realist review (Table S2). Ten (12 articles) were from the USA,7, 30 two from each of Australia31, 32 and Turkey6, 13 and one from each of Saudi Arabia,15 India,10, 33 Canada,9, 34 Japan,35 South Africa,36 Sweden,37-40 Sudan12 and the Netherlands.41 Sixteen programmes (20 studies) used a cross-sectional study design.7, 9-12, 29-31, 33, 34, 36-41 The other six studies applied a variety of approaches including mixed methods,6, 13 audit,35 pre-post,32 prospective cohort14 or qualitative35 designs.

코호트 규모는 오클랜드 대학교 윌리엄 보몬트 의과대학의 47명에서 마스트리히트 대학교의 320명까지 다양하였으며, 학문적 경험의 역사는 1년에서 40년 이상이었다. 모든 학문적 경험은 학문적 경험의 이전이나 도중에 학문적 경험 내에서 가르치는 연구 방법을 통합했고, 모든 것은 학문적 경험으로서 연구 프로젝트를 포함했다.
Cohort sizes ranging from 47 at Oakland University William Beaumont School of Medicine27 to 320 at Maastricht University,41 and the history of scholarly experiences ranged from 1 to 40+ years. All scholarly experiences integrated research methods teaching within the scholarly experiences, either before or during the scholarly experiences, and all involved a research project as the scholarly experience.

학문적 경험의 구성요소에 대한 만족도는 설문조사, 성찰적 비평, 인터뷰로 측정되었다.35 연구 지식과 기술의 발전은 자기 보고서 조사, 인터뷰, 성찰 또는 시험을 통해 측정되었다.10 데이터의 초점은 (감독관이나 의과대학이 아닌) 학생 경험에 있었다. 경험적 학습, 40 사회문화적 학습37, 38, 위치적 학습을 포함한 세 가지 학문적 경험만이 이론을 기술했다.32
Satisfaction with components of the scholarly experiences was measured by survey6, 41 and reflective critique8, 40 or interview.35 The development of research knowledge and skills was measured by self-report survey, interviews, reflections7, 9, 17, 27, 32-35 or by tests.10 The focus of data was on student experiences, not supervisors or the medical school. Only three scholarly experiences described theories including experiential learning,40 socio-cultural learning37, 38 and situated learning.32

학술적 경험의 주요 성과는 다음으로 일관되게 보고되었다. 

• 학술적 성과물(학술지에 원고를 출판하거나 컨퍼런스에서 발표)
• 미래 진로로서 연구에 대한 흥미
• 지식 및 기술 향상 

어떤 연구도 학생 경험과 관련된 시스템 변화, 환자 또는 커뮤니티 결과를 보고하지 않았다. 핵심 메커니즘은 지원, 구조 및 감독에 대한 '자원resources'과 자기 효능감 및 연구를 관련있고 가치있게 여기는 '추론reasoning'이었다.

The key outcomes of the scholarly experiences were consistently reported as

• scholarly outputs (publishing manuscripts in journals, or presenting at conferences),6, 38 
• interest in pursuing research in their future career8, 13, 14, 16, 17, 25-27, 29 and
• increased research knowledge and skills.6, 32-34, 36, 39, 40 

No studies reported any system change, patient or community outcomes linked to the student experience. The key mechanisms were ‘resources’ of support, structure and supervision and ‘reasoning’ being self-efficacy and seeing research as relevant and of value.

[맥락-기계 관계C-M relationship]에서, 세 가지 주요 특징은 지속적으로 긍정적인 결과로 이어졌다. 여기에는

• 보호된 시간,
• 양질의 슈퍼비전
• 학술경험 수행을 어떻게 할지에 대한 자율성 정도.

Across the range of contexts-mechanism relationships, three key features consistently led to positive outcomes. These included

• protected time,6, 31, 33, 34 
• quality supervision6-14, 17, 25, 26, 28, 29, 31-34, 37-41 and
• the degree of autonomy in how the experience was carried out.9, 13, 15-17, 27, 31, 32, 34 

양질의 슈퍼비전에는 독립적인 작업을 지도하고 감독하며 진행 상황을 모니터링하고 품질 피드백을 제공하는 똑똑한 지도교수knowledgeable supervisors가 포함되어 있다. 학생들이 다른 학위로부터의 연구 경험을 가지고 있거나 프로젝트를 수행하기에 시간이 충분하지 않아 연구 기술을 얻지 못하는 부정적인 결과를 가져온 연구는 단 한 가지뿐이었다.9

Quality supervision included having knowledgeable supervisors who guided and oversaw independent work, monitored progress and provided quality feedback. Only one study resulted negative outcomes where students did not gain research skills due to having previous experience in research from another degree or inadequate time to undertake the project.9

초기 프로그램 이론을 바탕으로, 우리는 다음과 같은 수정된 프로그램 이론을 우리의 발견을 종합하여 제안한다(그림 2).
Building on our initial programme theory, we propose the following modified programme theory as a synthesis of our findings (Figure 2).

4 논의
4 DISCUSSION

이 연구는 의대생들의 학문적 경험이 다양한 결과를 낳는 이유, 방법, 상황에 대한 수정된 이론을 설명한다. 우리의 연구 결과는 학문적 경험이 연구별 기술, 연구 산출물 및 미래 연구 경력 관심사를 개발하는 수단으로 작용할 수 있다는 이전의 리뷰의 보고서와 일치한다. 이번 현실주의 검토는 [결과를 달성하기 위한 메커니즘]으로, 학생들이 [연구의 가치를 깨달아야 하며], [연구 자기효능감을 구축해야 할 필요성]을 강조하였고, 이는 학문적 경험이 효과적인 이유에 대한 [초기 프로그램 이론]에 추가되었다. 연구 문화를 조성하고, 학문적 경험을 중시하며, 학생들이 경험을 통해 어느 정도의 선택권을 행사할 수 있는 조직의 맥락에서 성과를 달성했다. 학문적 경험이 어떻게 작용하는지에 대한 이 수정된 이론은 의대생들을 위한 학문적 경험을 디자인하기를 원하는 사람들에게 중요한 학습을 제공한다.

This study describes a modified theory as to why, how and under which circumstances medical student scholarly experiences produce a range of different outcomes. Our finding are consistent with reports from earlier reviews1, 2, 18 that scholarly experiences can act as a means to develop research-specific skills, research outputs and future research career interests. This realist review adds to our initial programme theory of why scholarly experiences are effective by highlighting the need for students to see the value of research and build research self-efficacy as mechanisms for achieving outcomes. Outcomes were achieved in contexts of organisations that foster a research culture, that value the scholarly experience and where students were able to exert some choice over the experience. This revised theory of how scholarly experiences work provides important learnings for those wishing to design scholarly experiences for medical students.

이러한 학문적 경험의 목표 범위를 고려할 때, '올바른' 커리큘럼 모델은 없는 것이 분명하다. 다양한 규모와 역사를 가진 국제 의과대학에 걸친 이러한 문헌을 종합하면, 학술적 경험은 [시간을 들여야]하며, 동시에 [학문적 경험과 양질의 지도감독을 위한 적절한 지원]이 필요함을 시사한다. 학생들의 일과 통합 학습 경험의 리뷰에서도 [시간]이 학습 성공의 핵심 요소인 것으로 나타났다.42
Given the range of objectives of these scholarly experiences, it is clear there is no ‘right’ curriculum model. This synthesis of literature across international medical schools of varied size and history1, 2, 18 has shown that experiences must dedicate time together with adequate support for the scholarly experience and quality supervision. Time has also been shown to be a key factor in learning success in reviews of student work-integrated learning experiences.42

[양질의 지도감독quality supervision]이 연구 성공의 열쇠로 인정되지만, 우리의 연구 결과는 이전에 연구 감독에 대한 열쇠로 식별된 '문화화enculturation'와 '해방emancipation'의 역할을 강조한다.44 다른 맥락에서 양질의 지도감독자의 속성이 식별되었다.45 그러나, 성과를 더욱 향상시키기 위해서, 학문경험의 지도교수자들이 이 메커니즘을 어떻게 촉진할 수 있는가에 대한 추가 연구가 필요하다

While quality supervision is acknowledged as key to research success,43 our findings highlight the role of ‘enculturation’ and ‘emancipation’ previously identified as key to research supervision.44 The attributes of quality supervisors in other contexts have been identified.45 However, how supervisors of scholarly experience curricula can foster these mechanisms to further enhance outcomes warrants further exploration.

현재까지 이 분야의 많은 연구는 [연구 출판물]과 [학생 만족도]를 포함한 학문적 경험의 결과에 초점을 맞추고 있다. 실제로, 이 합성에 포함된 대부분의 학술적 경험은 출판물과 같은 [전통적인 연구 성과]에 초점을 맞췄다. 출판물은 보조금을 신청하고 국제적인 인정을 받기 위해, 그리고 대학들이 국제 대학 순위를 높이기 위해 필요로 하는 높은 가치의 산출물이며, 이는 결국 양질의 직원과 학생들을 끌어들인다. 그러나 의료진의 관점에서는 [비판적, 분석적, 그리고 학문적 기술을 전문직업적 실천professional skill으로 번역translate할 수 있는 졸업생]을 양성하는 것 또한 중요하다.

To date, much of the research in this area has focused on the outcomes of scholarly experiences including research publications and student satisfaction. Indeed, most of the scholarly experiences included in this synthesis focussed on traditional research outputs such as publications. Publications are highly valued outputs required by researchers applying for grants and to gain international recognition and by universities to increase their international university rankings, which in turn attracts high-quality staff and students. However, from a medical workforce perspective, it is also important to develop graduates who can translate critical, analytical and scholarly skills into professional practice.46 

전 세계적으로 [학문적 경험]을 포함하는 의과대학이 늘어나고 있고, 이는 의과대학생들이 의학 연구 환경에 노출될 기회를 제공한다. 이를 통해서 학생들의 연구 기술 능력과 자신감을 향상시키고, 연구에 대한 관심이 높아지며, 궁극적으로는 의사-과학자의 부족을 해결할 수 있는 잠재력을 가지고 있다. 다만, 이미 과밀화된 의과대학 커리큘럼에서 무엇을 우선순위에 둘 것인지를 놓고 긴장이 존재한다. 학문적 경험을 이수하는 것이 임상 술기 연습과 같은 다른 콘텐츠에 전념할 수 있는 능력을 축소시키기 때문이다. 개념-기반 커리큘럼은 나아가야 할 방법이 될 수 있다.47

The inclusion of scholarly experiences globally provides the opportunity for medical students to have exposure to the medical research environment, to increase students ability and confidence in research skills and interest in research, which in turn, has the potential to address the shortage of clinician-scientists.1, 2 Tensions exist for priorities in already overcrowded medical school curricula regarding completing a scholarly experience as it reduces the ability to devote to other content such as practicing clinical skills. A concept-based curriculum approach may be a way forward.47

이 합성에서 검토된 모든 학문적 경험 프로그램은 [연구research]에 초점을 맞췄다.

• 두 개의 경험은 지역사회 건강 요구에 기반한 연구 관련 프로젝트였지만 여전히 연구에 초점을 맞추고 있었다.
• 이러한 지역사회 기반 경험의 성과는 연구 기술과 컨퍼런스 프레젠테이션 또는 간행물 개발에 초점이 맞춰져 있었지만, 정책 및 관행의 변화와 같은 임상적으로 중요한 다른 결과도 도출할 수 있었다. 그러나 이들은 보고되지 않았다. 

All the scholarly experience programmes reviewed in this synthesis were focussed on research.

• Two experiences11, 32 were research-related projects based on community health needs but still had a research focus. While the focus of outcomes of these community-based experiences was on developing research skills and conference presentations or publications, they could have also resulted in other clinically important outcomes such as changes to policy and practice; however, these were not reported.

많은 의료 전문분야에서, [지속적인 등록]은 의료인이 [자신의 의료행위 및 근무중인 시스템]의 [질 보증 및 질 개선 활동]을 수행하는 것에 달려 있다. 따라서 의료 훈련의 관점에서, 학생들을 [임상적 실천의 개선으로 이어지는 질 보증이나 질 개선 방법론에 대해 훈련]시키고, [교육 개선으로 이어지는 활동]을 다루는 [학술적 경험]은 전통적인 연구 결과만큼 높게 평가되어야 한다. 이러한 종류의 경험에 참여하는 것이 연구 경험이 미래 연구에 대한 참여 욕구를 증가시키는 것과 유사한 방식으로 질 향상/교육 활동에 참여하고 싶은 욕구를 증가시켰는지도 명확하지 않다. 우리는 학문적 경험에 대한 향후 평가가 그러한 활동의 결과에 대한 별도의 분석을 포함할 것을 권고한다. 우리의 리뷰에서 주목할 만한 또 다른 gap은, 학생들이 이러한 경험을 수행하는 과정에서 발생하는 [부정적인 결과] 및 [감독관, 의과대학, 보건의료서비스 관점에서의 성과 측정]이 부족하다는 점이었다. 의대생 학문적 경험이 [다른 이해관계자들에게 미치는 영향]과 [어떤 메커니즘이 부정적인 결과를 유발하는지]를 탐구하기 위해 추가 연구가 필요하다.

In many medical specialties, continuing registration is dependent upon the clinician undertaking quality assurance and improvement activities of their own practice and of the system within which they work.48 From a medical training perspective therefore, scholarly experiences that train students in quality assurance or improvement methodologies and lead to improvements in clinical practice, or activities that lead to educational improvements, should be valued just as highly as traditional research outputs. It was also not clear whether participation in those sorts of experiences created an increased desire to be involved in quality improvement/educational activities in a similar way that the research experiences increased the desire for engagement in future research. We recommend that future evaluations of scholarly experiences include a separate analysis of the outcomes from those activities. The other notable gap in the literature that would have been valuable in our review was a lack of negative outcomes and measurement of outcomes for supervisors, medical schools and the health services where the students are undertaking these experiences. Further research is needed to explore the impact of medical student scholarly experiences on these other stakeholders and what mechanism trigger negative outcomes.

이 연구의 강점은 체계적인 문헌 탐색입니다. 포함된 연구는 대부분 단면적이고, 편의성 샘플링을 사용하고, 결과를 자체 보고했으며, 맥락과 메커니즘에 대한 제한된 설명 깊이를 포함하고, 중간 범위 이론이 부족하여 잠재적으로 학문적 결과를 산출하기 위한 인과 경로에 대한 더 깊은 이해를 방해했다. 중간 범위 이론(예: 경험 학습 이론 또는 변혁 학습 이론)의 사용은 이러한 [초기 프로그램 이론]을 강화하고, 합성을 더욱 뒷받침했을 수 있다. 학문적 경험과 관련된 부정적인 결과에 대한 데이터가 제한적이거나 없는 연구에서 긍정적인 결과에 초점을 맞추는 것도 한계이다. 이 검토에서 개발된 프로그램 이론을 테스트하기 위해서는 [의대생 학문적 경험에 대한 현실주의적 평가]가 필요하다.
The strengths of this study include the systematic literature search. The included studies were mostly cross-sectional, used convenience sampling, self-reported outcomes, contained limited depth of description about the contexts and mechanisms, and lacked mid-range theory, potentially preventing a more in-depth understanding of the causal pathways to produce scholarly outcomes. The use of mid-range theory (for example, experiential learning theory or transformative learning theory) may have strengthened this initial programme theory and supported the synthesis further. The focus on positive outcomes in the studies, with limited or no data on negative outcomes associated with scholarly experiences, is also a limitation. A realist evaluation of medical student scholarly experiences is needed to test the programme theory developed in this review.

5 결론
5 CONCLUSIONS

의대생들을 위한 학문적 경험이 깊이 있는 지식과 연구능력을 키우고, 연구성과를 내고, 향후 연구진로에 대한 관심을 지원하는 수단으로 작용할 수 있다. 학생들이 경험을 중시하는 연구 문화를 가진 조직 내에서 경험에 참여할 자율성과 보호된 시간을 가질 때, 이러한 결과는 실현된다. 학생들이 연구를 관련성 있고 가치 있는 것으로 간주하고 학생의 자기 효능을 기르는 양질의 감독, 구조 및 지원에 대한 접근은 이러한 결과의 성취를 창출한다. 학문적 경험의 성과를 평가하는 향후 연구는 부정적인 성과와 긍정적인 성과에 대해 보고해야 하며, 비전통적인 연구 경험의 성과(예: 그것이 제공되는 품질 개선 경험)와 임상적 실천과 교육에 미치는 영향을 평가해야 한다. 감독관, 의과대학 및 보건 서비스 기관에 대한 성과도 평가되어야 합니다. 이것이 실현된다면, 학문적 경험에 의해 달성되는 결과에 대한 훨씬 더 전체적인 이해가 이루어질 것입니다.

Scholarly experiences for medical students can act as a means to develop in-depth knowledge and research skills, research outputs and support future research career interests. When students have autonomy and protected time to engage in the experience within an organisation with research culture that values the experience, these outcomes are realised. Access to quality supervision, structure and support where students see research as relevant and valuable and build student's self-efficacy generate achievement of these outcomes. Future research evaluating the outcomes of scholarly experiences should report on negative and positive outcomes, evaluate the outcomes from non-traditional research experiences (like quality improvement experiences, where they are offered) and the impact on clinical practice and education. The outcomes for supervisors, medical schools and health services should also be evaluated. If this is realised, a much more holistic understanding of the outcomes that are achieved by scholarly experiences will be achieved.

© 2020 Association for the Study of Medical Education and John Wiley & Sons Ltd.

WBA 시스템을 위한 타당도 지도 만들기: Messick과 Kane의 상호교차 (Acad Med, 2021)
Constructing a Validity Map for a Workplace-Based Assessment System: Cross-Walking Messick and Kane
Benjamin Kinnear, MD, MEd, Matthew Kelleher, MD, MEd, Brian May, MD, MEd, Dana Sall, MD, MEd, Daniel P. Schauer, MD, MSc, Daniel J. Schumacher, MD, PhD, MEd, and Eric J. Warm, MD 

보건 직업 교육은 [의료 제공자를 훈련시키는 데 사용되는 프로세스]가 [복무할 인구의 요구]에 따라 추진되는 접근 방식인 [역량 기반 패러다임]으로 전환되었다. 역량 측정의 필요성으로 인해 평가는 역량 기반 의료 교육(CBME) 구현에서 특히 중요하지만 어려운 측면이 되었다. 직장 기반 평가(WBA)는 실제 임상 과제를 수행하는 학습자 평가의 이점을 제공하는 평가 프로그램에 필수 요소가 되었다. 그러나 WBA는 상대적으로 낮은 심리측정적 성능으로 인해 총괄적 목적을 위한 타당성 증거가 부족하다는 비판을 종종 받는다. 우리는 타당성이 심리측정학 그 이상을 포함해야 한다고 믿는다.

Health professions education has shifted to a competency-based paradigm, 1–4 an approach in which the processes used to train health care providers are driven by the needs of the populations they serve. 5–7 The need for competency measurement has made assessment a particularly crucial, yet challenging, aspect of competency-based medical education (CBME) implementation. 8–11 Workplace-based assessment (WBA) has become integral to programs of assessment, 8 carrying the advantage of assessing learners performing real-world clinical tasks. However, WBAs are often criticized for lacking validity evidence for summative purposes due to relatively poor psychometric performance. 12 We believe validity should include more than psychometrics alone.

타당도는 good assessment의 필수불가결한 요소이므로 CBME 프로그램의 핵심입니다. 타당도에 대한 여러 가지 설명이 존재하지만, 현대의 프레임워크는 타당도를 [데이터를 미리 정의된 해석이나 사용에 대해 지지하는 해석적 주장interpretive argument]으로 개념화한다. 두 개의 현대적 프레임워크는 비록 강조점이 다르지만 타당성 증거를 구성하기 위해 일반적으로 사용된다(표 1). 메식(Messick)의 프레임워크는 타당성 [증거의 출처]를 강조하고, 케인의 프레임워크는 [증거 사슬의 추론]에 초점을 맞춘다. 이러한 프레임워크가 상호 배타적이지는 않지만, 종종 증거를 구성하기 위해 둘 중 하나가 사용된다. 그러나 우리는 그것들이 상호 보완적이라고 믿는다. 
Validity is the sine qua non of good assessment, 13 and therefore is central to CBME programs. While multiple descriptions of validity exist, 14 modern frameworks conceptualize it as an interpretive argument that supports a predefined interpretation or use of data. 15 Two contemporary frameworks are commonly used to organize validity evidence, though they differ in emphasis (Table 1). Messick’s framework stresses sources of validity evidence, 16 and Kane’s focuses on inferences in an evidentiary chain. 17 While these frameworks are not mutually exclusive, often one or the other is used to organize evidence. However, we believe they are complementary. 

접근
Approach

신시내티 대학(UC) 내과 레지던트 프로그램은 UC 메디컬 센터, 보훈 의료 센터 및 여러 외래 클리닉에서 돌아가며 약 89명의 레지던트들로 구성되어 있다. 2012년에는 대학원 의학교육 하위역량 인증협의회를 통합한 위탁기반 WBA 제도를 시행하였으며, 이후 이 데이터를 레지던트 역량 판단에 활용하기 위한 타당성 근거를 수집하고 있습니다. 

The University of Cincinnati (UC) Internal Medicine (IM) residency program, based in an urban, tertiary referral medical center, consists of approximately 89 categorical residents who rotate at UC Medical Center, Veterans Affairs Medical Center, and multiple ambulatory clinics. In 2012, we implemented an entrustment-based WBA system that integrated the Accreditation Council for Graduate Medical Education subcompetencies, and we have been collecting validity evidence for using these data for determination of resident competence since that time. 18,19

우리는 다음 4단계를 포함한 수사적 주장을 반영하는 다단계 프로세스를 사용하여 타당도 맵을 구성했다. 

• (1) 명시된 해석과 사용에 대한 비판적인 질문을 할 때, 
  
• (2) 그에 대한 대응으로 타당성 증거를 찾고, 
  
• (3) 증거 분류, 그리고 
  
• (4) 증거를 시각화

We constructed our validity map using a multistep process that mirrored a rhetorical argument including the following 4 steps:

• (1) Asking critical questions about the stated interpretation and use,
• (2) Seeking validity evidence as a response,
• (3) Categorizing evidence, and
• (4) Visualizing evidence.

1. 서술된 해석과 사용에 대한 중요한 질문
1. Asking critical questions about the stated interpretation and use

우리 팀은 먼저 우리만의 WBA 시스템에 [비판적인 대화자 역할]을 하는 방식을 택했습니다. 우리는 개별적으로 WBA 데이터를 사용하여 내린 결정이 역량 평가에 타당한지 여부에 이의를 제기할 수 있는 질문을 작성했다. 예제는 다음과 같습니다. 

• "위임entrustment은 왜 일선 평가를 위한 구성물로 사용되는가?" 
  
• "위임 평정entrustment rating의 신뢰도는 어느 정도인가?" 및 
  
• "위임entrustment 점수는 임상 치료 품질 척도와 관련이 있는가?" 

이 질문들은 우리가 찾는 타당성 증거에 대한 가이드 역할을 했습니다.

Our team first took the approach of acting as an interlocutor who is critical of our own WBA system. We individually wrote questions that might challenge whether decisions made using the WBA data were valid for assessment of competence. Example questions included,

• “Why is entrustment used as a construct for frontline assessment?”,
• “What is the reliability of entrustment ratings?”, and
• “Do entrustment scores correlate with measures of clinical care quality?”.

These questions then served as a guide for the validity evidence we sought.

2. 대응책으로서 타당성 입증 모색
2. Seeking validity evidence as a response

우리는 각각의 질문에 답변하고 뒷받침되는 증거를 제공하려고 시도했습니다. 우리는 먼저 우리의 대응을 지지하거나 반박할 수 있는 증거를 위해 기존 문헌을 검토했다. 증거가 없다면, 이전 작업을 통해 생성한 증거를 사용했습니다. 
We attempted to respond to each question and provide supportive evidence. We first reviewed existing literature for evidence that would support or refute our response. Other times we used evidence that we had generated through previous work. 

이 작업은 마이크로소프트 엑셀(마이크로소프트, 워싱턴 레드몬드) 스프레드시트를 사용하여 구성되었으며 열 제목은 다음과 같습니다. 질문, 응답, 근거, 인용문, 격차.
This work was organized using a Microsoft Excel (Microsoft Corporation, Redmond, Washington) spreadsheet with the following column headings: Question, Response, Supporting Evidence, Citations, Gaps.

3. 증거 분류
3. Categorizing evidence

우리는 우리의 주장에서 추론(Kane)을 뒷받침하는 증거 출처(메식)를 기준으로 증거를 구성했다(그림 1). 이 프로세스는 토론을 통해 범주 분류에 대한 그룹 합의를 형성했습니다. 예를 들어,

• 일선 WBA 기기에 대한 위탁 프레임워크의 사용은 점수 추론(Kane)을 뒷받침하기 위한 응답 프로세스 증거(Messick)로 고려되었다.
• 일반화 가능성 연구는 일반화 추론(Kane)을 뒷받침하는 내부 구조 증거(Messick)로 간주되었다. 

We organized our evidence by the source of evidence (Messick) supporting an inference (Kane) in our argument (Figure 1). This process was done using discussion to form group consensus around categorizations. For example,

• the use of an entrustment framework for frontline WBA instruments was considered response process evidence (Messick) to support the scoring inference (Kane).
• The generalizability study was deemed internal structure evidence (Messick) to support the generalization inference (Kane).

4. 증거 시각화: 지도 작성
4. Visualizing evidence: Map building

엑셀은 증거를 분류하는 기능적인 수단이었지만, 우리는 두 가지 이유로 좀 더 시각적인 형식을 원했습니다.

• 첫째, 우리는 우리의 논쟁에 남아 있는 차이를 식별하기 위해 수집된 증거에 대해 이해할 수 있는 높은 수준의 검토를 추구했다. 이 시각 자료는 증거에 대한 심층 분석에 사용되는 Excel 문서와 함께 빠른 참조를 위한 타당도의 "맵" 역할을 할 수 있다.
• 둘째, 지도는 우리가 이미 수집한 증거, 진행 중인 검증 작업, 향후 연구로 정리할 수 있게 해주었습니다. 

Excel was a functional means of cataloguing evidence, but we wanted a more visual format for 2 reasons.

• First, we sought an understandable, high-level review of collected evidence to identify remaining gaps in our argument. This visual could serve as a validity “map” for quick reference, with the Excel document used for deeper dives into the evidence.
• Second, the map allowed us to organize evidence into that which was already collected, ongoing validation work, and future studies.

We used Microsoft Visio (Microsoft Corporation, Redmond, Washington) to create the map and organize the information using spatial orientation and color/shading (Figure 2). Inferences from Kane’s framework were placed in 4 rows that crossed 3 columns labeled “Evidence obtained,” “Work in progress,” and “Gaps/future studies.” Each critical question from the Excel sheet was placed in a box that represented the corresponding response/evidence. Boxes were color coded based on which source of evidence they represented from Messick’s framework and placed in the appropriate row and column on the map.

성과
Outcomes

우리의 타당도 맵의 첫 번째 초안은 메식(Messick)이 상세히 설명한 5가지 근거 출처를 모두 포함하고 케인이 설명한 4가지 추론 모두에 걸쳐 확산된 25개의 증거 상자를 생성했다(그림 2a). 우리 팀은 지도 제작 과정과 지도 자체에서 가치를 발견했어요. 수사적 질문-응답 과정을 통해 WBA 시스템을 신중하게 비판적으로 평가할 수 있었다.

The first draft of our validity map produced 25 boxes of evidence that included all 5 sources of evidence detailed by Messick and spread across all 4 inferences described by Kane (Figure 2a). Our team found value in both the process of map construction and in the map itself. The rhetorical question–response process allowed us to critically appraise our WBA system in a deliberate fashion. 

우리는 메식 프레임워크와 케인의 프레임워크를 모두 지도에 통합하는 것이 유익하다는 것을 알았다. 케인의 틀은 증거 사슬에서 "가장 약한 고리"를 식별할 수 있다는 장점을 가지고 있어, 우리의 작업의 우선순위를 정하는 데 도움을 준다. 15 앞서 언급했듯이, 지도에는 외삽 추론을 뒷받침할 증거가 부족함을 보여주었다. 따라서, 우리는 우리의 WBA 데이터가 성과에 대한 다른 측정 또는 임상 치료 결과와 관련이 있는지를 연구하여 증거를 구축하는 데 최근의 노력을 집중해 왔다. 메식(Messick)의 프레임워크는 주어진 추론을 뒷받침할 수 있는 증거의 출처를 통해 우리가 체계적으로 생각하도록 도왔다.

We found it beneficial to integrate both Messick’s and Kane’s frameworks into our map. Kane’s framework carries the advantage of allowing for the identification of the “weakest link” in the evidentiary chain, helping us to prioritize our work. 15 As previously mentioned, the map showed our argument was lacking in evidence to support the extrapolation inference. Thus, we have focused our recent efforts on building evidence by researching if our WBA data are associated with other measures of performance or with clinical care outcomes. Messick’s framework has helped us think systematically through sources of evidence that might be sought to support a given inference.

우리의 타당도 맵은 역동적이며, 새로운 질문이 발생하고 새로운 증거가 수집됨에 따라 변화한다. 전자 형식을 사용하면 시간이 지남에 따라 지도를 쉽게 편집, 업데이트 및 공유할 수 있습니다. 그림 2b는 타당성 연구가 완료되거나 증거가 발견됨에 따라 박스가 오른쪽(미래 작업)에서 왼쪽(증거 누적)으로 이동하는 방법을 보여주는 업데이트된 지도이다. 

Our validity map is dynamic, and changes as new questions arise and new evidence is collected. Using an electronic format allows us to easily edit, update, and share the map over time. Figure 2b is an updated map, showing how boxes move from right (future work) to left (accrued evidence) as validity studies are completed or evidence is discovered. 

다음 단계
Next Steps

현재 타당도 맵의 한계는 각 상자의 질문을 뒷받침하는 증거를 쉽게 심층 분석할 수 없다는 것이다. 위에서 언급한 바와 같이 증거의 초기 분류에 Excel을 사용했으며, 이 스프레드시트에는 관련 증거에 대한 보다 심층적인 설명과 인용이 포함되어 있습니다. 향후 반복 작업에는 대화형 플랫폼과 심층 다이빙을 허용하는 플랫폼을 기반으로 타당도 맵을 구축하는 것이 포함될 것이다. 
A limitation of our current validity map is that it does not allow for an easy deep dive into the evidence undergirding each box’s question. As noted above, we used Excel for the initial categorization of evidence, and these spreadsheets contain more in-depth explanations and citations for relevant evidence. Future iterations will involve building our validity map on a platform that is interactive and allows for deep dives. 

우리는 WBA 시스템에 대한 타당성 증거를 수집, 분류 및 구성하는 데 가치를 발견했지만, 가장 높은 가치는 평가 시스템의 이해관계자와 이 작업을 공유하는 데 있다. 우리는 우리의 과정과 제공된 증거의 수용 가능성에 대한 피드백을 얻기 위해 의학 교육계의 다른 사람들과 우리의 타당성 맵을 예비적으로 공유했습니다. 26 다음 단계에는 타당성 맵이 프로그램의 타당성 주장을 평가하는 데 가치를 추가하는지 이해하기 위해 이해관계자(예: 인가자, 기관 지도자, 학습자, 환자)의 의견을 수집하는 것이 포함된다. 이해관계자들은 증거의 우선순위를 다르게 정하거나 우리에게 처음에 분명하지 않은 새로운 gap을 강조할 수 있다. 
We found value in collating, categorizing, and organizing validity evidence for our WBA system, but the highest value lies in sharing this work with the stakeholders of our assessment system. We have preliminarily shared our validity map with others in the medical education community to obtain feedback on our process and the acceptability of the evidence provided. 26 Next steps include collecting stakeholders’ (e.g., accreditors, institutional leaders, learners, patients) input to understand if our validity map adds value for evaluating our program’s validity argument. Stakeholders may prioritize evidence differently or highlight new gaps not initially evident to us. 

결론
Conclusion

WBA 시스템에 대한 타당도 맵을 구축하는 것이 증거 격차를 식별하고 향후 연구 및 프로그램 개선 노력을 계획하는 데 도움이 된다는 것을 발견했습니다. 다른 프로그램도 WBA 시스템의 의도된 사용을 정의하고, 중요한 질문을 생성하고 관련 증거를 수집하기 위한 수사적 질의응답 접근법을 사용하며, 증거를 구성하고 중요한 차이를 식별하기 위해 Messick과 Kane의 프레임워크를 사용하여 유사한 접근방식을 취할 수 있다. 

We found that constructing a validity map for our WBA system helped identify evidentiary gaps and plan future research and program improvement efforts. Other programs could take a similar approach by defining the intended use of their WBA system, using a rhetorical question–answer approach to generate critical questions and collect relevant evidence, and using the frameworks from Messick and Kane to organize evidence and identify critical gaps.

 doi: 10.1097/ACM.0000000000004112.

Constructing a Validity Map for a Workplace-Based Assessment System: Cross-Walking Messick and Kane

Affiliations collapse

PMID: 34183604

DOI: 10.1097/ACM.0000000000004112

의학교육의 프로그램적 평가가 헬스케어에서 배울 수 있는 것(Perspect Med Educ, 2017)
What programmatic assessment in medical education can learn from healthcare
L. Schuwirth1,2 · C. van der Vleuten2 · S. J. Durning1,3

 doi: 10.1007/s40037-017-0345-1.

What programmatic assessment in medical education can learn from healthcare