Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

임상추론 교육을 위한 세 가지 지식-지향 교수전략: 자기설명, 개념매핑연습, 의도적 성찰: AMEE Guide No. 150 (Med Teach, 2022)
Implementation of three knowledge-oriented instructional strategies to teach clinical reasoning: Self-explanation, a concept mapping exercise, and deliberate reflection: AMEE Guide No. 150
Dario Torrea , Martine Chamberlandb and Silvia Mamedec

자기 설명
Self-explanation

SE란 무엇인가요?
What is it?

자기 설명은 학습 자료에 대한 이해를 심화시키고 자신의 지식을 모니터링할 목적으로 각 학생이 학습 자료를 사용하는 동안 스스로 설명을 제공하도록 요구하는 교육 기법입니다(Chi 외. 1994; Chi 2000). '

• '자기'라는 용어는 중요하며 SE의 두 가지 중요한 특징을 나타냅니다. 첫째, 설명은 학생에 의해 생성되고 둘째, 이러한 설명은 이 학생을 위해 제공됩니다. 이는 다른 사람을 가르치기 위해 설명을 제공하는 것과는 상당히 다릅니다(Renkl 및 Eitel 2019). 따라서 SE는 선험적으로 개별 학습 활동입니다. 
• 설명이라는 용어를 명확히 하는 것도 중요합니다. 설명의 개념은 다양한 의미를 가질 수 있지만, SE 문헌에서는 일반적으로 학생이 기본 원리(원리 기반 SE)를 참조하여 문제의 요소를 설명하는 진술을 의미합니다(Renkl and Eitel 2019; Chi 2000).  

SE is an instructional technique that requires each student to provide explanations for him/herself while engaging with a learning material in the purpose of deepening his/her understanding and monitoring his/her knowledge (Chi et al. 1994; Chi 2000).

• The term Self is important and refers to two critical features of SE. Firstly, the explanations are generated by the student and, secondly, these explanations are provided for this student. It is quite different from giving explanations to teach others (Renkl and Eitel 2019). SE is then, a priori, an individual learning activity.
• The term explanation is also important to clarify. Although the concept of explanation can have a variety of meanings, in the SE literature, it usually refers to statements expressed by the student that explains an element of the problem in reference to an underlying principle (principle-based SE) (Renkl and Eitel 2019; Chi 2000). 

따라서 자기 설명은 단순히 thinking aloud 또는 텍스트의 일부를 반복하거나 의역하는 것이 아닙니다. SE가 학습에 미치는 이점은 학생들이 더 많은 SE를 생성할 때 증가하지만, 더 중요한 것은 문제의 요소와 기본 원리 또는 메커니즘을 연결하는 데 참여할 때 더욱 커집니다(Renkl 및 Eitel 2019).
So self-explaining is not simply thinking aloud, repeating or paraphrasing a segment of the text. The benefits of SE on learning are increased when students produce more SE but more importantly, when they engage in making links between the elements of the problem and underlying principles or mechanisms (Renkl and Eitel 2019).

SE는 학생의 지식이 여전히 심화 및 수정이 필요한 복잡한 문제나 덜 익숙한 문제에 유용한 것으로 보입니다(Chi 외. 1994; Wong 외. 2002; Chamberland 외. 2013). 학생이 문제를 완벽하게 이해하고 더 이상 학습할 여지가 없는 경우, 자기 설명에 참여해도 아무런 이점이 없습니다. SE는 지식을 구축하는 데 도움이 되며 지식을 자동화하지는 않습니다. 학생이 상호 연결되고 일관된 심층 지식을 개발할 수 있도록 지원하는 등 SE가 학습에 미치는 이점은 여러 영역에서 입증되었습니다(Chi 2000; Richey와 Nokes-Malach 2015). SE는 컴퓨터 기반 교육과 텍스트, 도표, 연습 문제, 풀어야 할 문제 등 다양한 학습 자료와 함께 사용되어 왔습니다. 
SE appears to be useful for complex problems or less familiar, when the student’s knowledge still needs deepening and revision (Chi et al. 1994; Wong et al. 2002; Chamberland et al. 2013). If the student understands perfectly the problem and there is no room for more learning, there is no benefit of engaging in self-explaining. SE helps build knowledge and does not automatize it. The benefits of SE on learning such as supporting student’s development of deep interconnected and coherent knowledge, has been shown in several domains (Chi 2000; Richey and Nokes-Malach 2015). SE has been used in computer-based instruction and with different learning materials such as text, diagrams, worked-examples, and problems to solve.

의학에서 SE는 진단적 추론을 기르기 위한 교육 기법으로 학부생을 대상으로 실험적으로 연구되었습니다. 익숙하지 않은 사례를 풀면서 SE를 사용한 학생들은 추가 지시 없이 조용히 사례를 풀었던 학생들에 비해 더 나은 진단 성과를 보였습니다(Chamberland 외. 2011). 학생들이 생성한 SE의 내용 분석에 따르면 익숙한 사례에 비해 덜 익숙한 사례를 접할 때 더 많은 생의학 지식 또는 기본 메커니즘(원리 기반 SE)을 재활성화하여 질병 스크립트의 일관성을 높여 더 나은 진단을 내리는 데 도움이 될 수 있는 것으로 나타났습니다(Chamberland 외. 2013). 이는 진단 추론을 향상시키기 위해 학습하는 동안 생물 의학 지식을 임상 지식과 제공/연결하는 것이 중요하다는 이전 연구와 일치합니다(Wood et al. 2007). 
In medicine, SE has been studied experimentally in undergraduate students as an instructional technique to foster diagnostic reasoning. Students who used SE while solving lesser familiar cases showed better diagnostic performance when compared to students who had solved cases in silence without further instructions (Chamberland et al. 2011). Content analysis of SE generated by students indicated that when facing lesser familiar cases in comparison with familiar cases, they reactivated more biomedical knowledge or underlying mechanisms (principle-based SE), which could help them increase coherence of their illness scripts thus leading to better diagnosis (Chamberland et al. 2013). This is in line with previous studies showing the importance of providing/linking biomedical knowledge with clinical knowledge while learning to increase diagnostic reasoning (Wood et al. 2007).

진단적 추론을 키우기 위해 SE를 잘 설계한 활동은 학생들이 학습 자료를 사용하는 동안 다음을 요구할 것입니다.

• 사전 지식을 재활성화하고,
• 현재 지식을 정교화하고 설명을 제공하며,
• 문제의 임상 요소와 관련 기본 메커니즘 또는 원리를 연결하도록 

결과적으로 학생은 질병에 대한 자신의 표현을 수정할 수 있을 뿐만 아니라 후속 학습을 안내하기 위해 지식의 모호성과 격차를 인식할 수 있습니다(Chamberland 외. 2015, 2020; 예시는 부록 1 참조). 
A well-designed activity using SE to foster diagnostic reasoning will require students, while working with the learning material, to reactivate prior knowledge, to elaborate on current knowledge and provide explanations, making links between the clinical elements of the problem and relevant underlying mechanisms or principles. Consequently, it will allow the student to revise his/her representation of diseases as well as to recognize ambiguities and gaps in knowledge to guide subsequent learning (Chamberland et al. 2015, 2020; see Appendix 1 for an example).

SE를 준비하고 도입하는 방법은?
How to prepare and introduce SE?

SE는 독립적인 기법이 아니라 학습을 지원하기 위해 다양한 방식으로 통합될 수 있는 일반적인 지식 구축 전략입니다. 지금까지 학생들의 임상 추론 발달을 촉진하기 위한 SE 연구는 주로 학생들이 해결해야 하는 임상 사례를 학습 자료로 사용했습니다.
SE is not a stand-alone technique but rather a general knowledge building strategy that could probably be incorporated in many ways to support learning. So far, studies on SE to promote development of clinical reasoning among students have mainly used clinical cases that students were required to solve as learning materials.

학습 자료
Learning material

임상 사례
Clinical cases

• 학부생의 경우, 모든 임상 정보(전체 증례)를 제공하는 임상 증례를 통해 인지 부하를 관리하면서 SE에 참여할 수 있습니다.
  
• 자료를 설계할 때 학습자의 수준과 주어진 임상 문제에 대한 사전 지식을 고려합니다. 학생들은 문제와 관련된 질병에 대한 충분한 사전 지식이 있어야 하며, 일관된 질병 스크립트를 작성하고 이러한 질병에 대한 생의학 지식을 통합하는 초기 단계에 있을 것으로 예상됩니다.
  
• 임상 사례는 학생에게 적절한 수준의 난이도를 가져야 하며, 이를 통해 학생의 이해를 심화시키고 지식을 구축/수정할 수 있는 충분한 여지가 있어야 합니다(Chamberland 외. 2011, 2013).
  
• 케이스를 준비하려면 현재 활동을 담당하는 교사와 커리큘럼의 이전 관련 섹션을 담당하는 교사 간의 협력이 필요하며, 가능하면 비슷한 수준의 교육을 받은 학생을 대상으로 난이도를 테스트하거나 처음 사용한 후 체계적으로 모니터링하여 난이도를 검증할 수 있습니다.
  
• 사례는 종이 기반 형식 또는 전자 플랫폼에서 사용할 수 있습니다.
• For undergraduate students, clinical cases providing all the clinical information (whole case) allow them to engage in SE while managing cognitive load.
• Consider the level of the learners and their prior knowledge for a given clinical problem in designing the material: students should have sufficient prior knowledge on diseases relevant to the problem and expected to be at the early stage of building coherent illness scripts and integrating biomedical knowledge for these diseases.
• Clinical cases should be of appropriate level of difficulty for students so that there is enough room for deepening their understanding and build/revise their knowledge (Chamberland et al. 2011, 2013).
• Cases preparation then requires collaboration between teachers responsible of the current activity and of previous relevant sections of the curriculum; validation of the level of difficulty might be tested with students of similar level of training if possible or systematically monitored once first used.
• Cases can be used with a paper-based format or on an electronic platform.

SE에 대한 일반적 연구와 다른 영역의 연구를 고려할 때, 실습 사례(Dyer 외. 2015), 개념도, 컴퓨터 멀티미디어(텍스트 및 도표) 임상 사례, 라이브 또는 녹화된 강의 섹션 등 다양한 자료와 함께 SE를 사용하면 학생들에게 도움이 될 것으로 기대할 수 있습니다. 
Considering the research on SE in general and in other domains, we could expect that students would benefit from using SE with a variety of materials such as worked examples (Dyer et al. 2015), concept maps, computer multi-media (texts and diagrams) serial-cues clinical cases, and sections of a live or recorded lecture.

학생에게 SE 소개하기
Introducing SE to students

SE는 학생들에게 어려운 과제이며 자발적으로 사용하지 않습니다. 학생들에게 SE에 대해 교육하는 것은 유익한 것으로 보입니다. 교육은 짧을 수 있지만 다음 등을 제공해야 합니다.

• SE의 정의와 사용 근거(학생들이 임상 추론과 관련된 지식을 쌓고 심화시키는 데 어떻게 도움이 되는지),
• 제안된 학습 자료로 학생이 직접 설명하는 예시, 학생들이 연습할 수 있는 기회 

경험상 SE가 학습에 미치는 이점을 최적화하려면 학생은 SE가 평가 도구가 아닌 학습 전략이라는 점을 이해해야 합니다. SE는 정답을 제공하는 것이 아니며 구두 시험도 아닙니다. 학생은 '안전한 공간'에서 자신의 지식의 한계를 탐구하고 부족한 부분을 파악할 수 있도록 스스로 설명하면서 '학습하는 자세'를 취해야 합니다. 교사는 학생들의 참여를 극대화하기 위해 요구 사항을 명확히 해야 합니다. 선택 사항이 아닌 필수 사항으로 지정하고, 자기 설명에 소요할 최소한의 시간을 요구해야 합니다. 
SE is a challenging task for students, and they do not use it spontaneously. Training students on SE appears beneficial. Training may be short but should provide:

• a definition of SE and rationale for using it (how it helps students build and deepen knowledge relevant to clinical reasoning);
• an example of a student self-explaining with the proposed learning material and opportunity for students to practice.

In our experience, in order to optimize the benefit of SE on learning, students must understand that SE is a learning strategy and not an assessment tool. SE is not about providing the right answer, nor it is an oral examination. Students must adopt a ‘learning position’ while self-explaining allowing them to explore the limits of their own knowledge and identify gaps in a ‘safe space’. Teachers should make the requirements clear to maximize students’ engagement: do not make it optional but mandatory and ask for a minimum time spent self-explaining.

과제를 어떻게 수행하나요?
How to perform the task?

SE는 선험적으로 개별 학습 활동입니다. 모든 학생이 새로운 학습 자료를 접할 때 자연스럽게 SE를 하는 것은 아닙니다. 활동 중에 프롬프트를 통합하면 더 많은 SE, 특히 원리 기반 SE를 생성하도록 장려할 수 있습니다. 예를 들어,

• 선택한 학습 자료가 해결해야 할 임상 사례인 경우, 학생에게 먼저 조용히 사례를 읽도록 하여 적절한 사전 지식을 다시 활성화할 수 있도록 도울 수 있습니다.
• 그런 다음 자료에 포함된 프롬프트에 따라 사례를 다시 살펴보면서 사례에 제시된 임상 결과를 체계적으로 스스로 설명하도록 초대합니다.

SE is a priori an individual learning activity. All students do not naturally self-explain when engaging with new learning materials. Incorporating prompts during the activity encourage them to generate more SE and in particular principle-based SE. For instance,

• if the learning material chosen is a to-be-solved clinical case, the student may be first invited to read the case in silence to help him begin reactivating appropriate prior knowledge.
• Then, going again through the case, guided by prompts included in the material, he is invited to self-explain systematically the clinical findings presented in the case.

다양한 유형의 프롬프트는 구조 또는 지시성의 정도가 다릅니다(Wylie and Chi 2014; Renkl and Eitel 2019): 개방형 프롬프트는 학생이 생성된 SE의 유형을 제한하지 않고 사전 지식과 새로 제시된 정보를 연결하도록 장려합니다. 임상 사례에 사용할 수 있는 개방형 프롬프트의 예는 표 1에 나와 있습니다. 활동 중 또는 활동 후에 학생에게 다른 학생의 SE 사례 또는 문제 해결 방법과 같은 추가 리소스가 제공되는 경우, 학생이 이 새로운 정보에 참여하도록 유도하는 프롬프트가 도움이 될 수 있습니다(Nokes 외. 2011). 이러한 프롬프트의 예는 표 1에 나와 있습니다.
Different types of prompts provide different degrees of structure or directedness (Wylie and Chi 2014; Renkl and Eitel 2019): open-ended prompts encourage students to make connections between prior knowledge and the new presented information without constraining the type of SE generated. Examples of open-ended prompts that could be used with clinical cases are provided in Table 1. If the student is provided with additional resource during or after the activity, such as an example of SE from another student or solution of the problem, prompts that invite students to engage with this new information may be helpful (Nokes et al. 2011). Examples of such prompts are provided in Table 1.

학생들은 SE를 어떻게 표현할까요?

• 임상 추론에 대한 SE는 학생들이 자신의 설명을 말로 표현하는 방식으로 가장 많이 연구되었습니다. 이는 구현에 추가적인 어려움이 될 수 있지만, 언어화는 학생에게 자연스러운 것으로 인식되며(Chebbihi 외., 2019), 학생의 추가적인 인지적 참여를 요구함으로써 침묵 속에서 스스로 설명하는 것과 비교할 때 학습을 향상시키는 것으로 보입니다(De Bruin 외., 2007).
• 또는 학생에게 SE를 작성하도록 요청할 수도 있습니다. SE 및 임상 추론에 대한 많은 연구에서 SE 과정에 대한 피드백이 제공되지 않았습니다. 이 문제는 실질적인 도전이 될 수 있습니다. 2년에 걸쳐 종단적 활동으로 SE를 구현한 경험에서 학생들은 SE 활동을 반복함으로써 SE를 연습하고 이 전략에 익숙해질 수 있었다고 보고했습니다.
• (교수자는) 학생들이 SE한 콘텐츠 지식에 대한 피드백을 제공할 수 있습니다. 연습 후 정확한 진단만 제공한 연구에서는 매우 유사한 후속 사례를 해결하는 데는 유용했지만 다른 사례에는 유용하지 않았습니다(Chamberland 외. 2019). SE에서 피드백의 역할에 대한 이 문제는 추가 연구가 필요합니다.

How will students express their SE?

• SE for clinical reasoning has been most studied with students verbalizing their explanations. Even though this might represent an additional challenge for implementation, verbalization is perceived as natural for students ( Chebbihi et al., 2019) and appears to improve learning when compared to self-explaining in silence (De Bruin et al. 2007) by requiring further cognitive engagement from the student.
• Alternatively, students may be asked to write their SE. No feedback on the process of SE has been provided in many studies on SE and clinical reasoning. This issue would represent a practical challenge. In our experience implementing SE with a longitudinal activity over 2 years, students reported that the recurrence of the SE activity allowed them to practice SE and get familiar with this strategy.
• Feedback on the content knowledge on which students self-explain may be provided. A study providing only the correct diagnosis after the exercise was useful to solve subsequent very similar cases but not for different cases (Chamberland et al. 2019). This issue of the role of feedback in SE needs further research.

SE를 커리큘럼에 통합하는 방법은 무엇인가요?
How to integrate SE into the curriculum?

SE와 임상 추론에 대한 연구는 주로 4년제 커리큘럼을 갖춘 의과대학에서 이루어졌으며, 3학년 의대생이 개별적으로 종이 증례 책자를 가지고 실습을 하는 방식으로 진행되었습니다. 그러나 학습자의 수준에 맞게 학습 자료가 조정된다면 현지 커리큘럼 설계에 따라 SE를 더 일찍 도입할 수도 있습니다. 5년 또는 6년 커리큘럼의 학교에서는 이미 강의 수업을 통해 질병에 대한 지식을 접했지만 임상 경험이 많지 않은 학생들을 참여시키는 것이 적절할 것입니다. 실제로 학부 수준에서 임상 추론을 가르치는 것에 대한 서술적 검토를 마무리하는 슈미트와 마메데의 제안은 SE가 초보 학생들에게 적합할 수 있다고 제안했습니다(슈미트 및 마메데 2015). 지금까지 실제 교육 상황에서 SE를 구현한 데이터는 아직 제한적입니다(Chamberland 외. 2020; Kelekar와 Afonso 2020). 
Research on SE and clinical reasoning have mainly occurred in medical schools with a 4-year curriculum and involved third-year medical students in clerkship working individually with booklets of paper cases. However, SE may be introduced earlier depending on the local curriculum design as long as the learning material is adapted to the level of the learners. In schools with 5-or 6-year curricula, it would be appropriate to engage students who have already been exposed to knowledge of diseases through didactic activities but do not have much clinical experience with them. Indeed, Schmidt and Mamede’s proposal concluding their narrative review on teaching clinical reasoning at undergraduate level, suggested that SE could suit well novice students (Schmidt and Mamede 2015). So far, data on implementation of SE in authentical educational context are still limited (Chamberland et al. 2020; Kelekar and Afonso 2020).

SE는 선험적으로 개인의 건설적인 학습 활동이지만, 학생이 먼저 자신의 사전 지식을 가지고 작업하고 스스로 설명을 생성 할 수있는 충분한 공간이 제공된다면 다른 사람 (예 : 가까운 동료)과의 상호 작용을 추가하는 것이 유익 할 수 있습니다 (Chamberland et al. 2015, 2020). 실험 조건에서 동일한 사례에 대해 또래에 가까운 SE의 설명을 들었을 때 학생들의 진단 성능이 더욱 향상되었습니다(Chamberland 외. 2015). 후속 질적 연구에서 3학년 학생들은 후배 레지던트의 SE를 추가적인 외부 자원으로 사용했다고 보고했습니다. 짝지은 상호작용도 학습에 도움이 될 수 있습니다(Rotgans and Cleland 2021). 
While SE is a priori an individual constructive learning activity, the addition of interactions with others (e.g. near-peers) (Chamberland et al. 2015, 2020) might be beneficial (Chi 2018) if the student is provided with enough space to work first with his/her own prior knowledge and generate for himself explanations. Under experimental conditions, diagnostic performance of students was further increased by listening to a near-peer SE on the same case (Chamberland et al. 2015). In a subsequent qualitative study, third-year students reported that they used the junior resident’s SE as an additional external resource. Interactions in dyads could also be beneficial for learning (Rotgans and Cleland 2021).

임상 추론 매핑 연습
Clinical reasoning mapping exercise

개념 지도란 무엇인가요?
What is it?

[개념 지도]는 의미를 만드는 단어 또는 명제로 연결된 상호 연관된 개념 집합을 그래픽으로 표현한 것으로, 개념 집합의 의미에 대한 학습자의 이해를 나타냅니다(Novak and Cañas 2006). 개념 맵을 사용한 연습은 지식 조직화와 비판적 사고를 촉진합니다(West 외. 2000; Torre 외. 2007; Daley와 Torre 2010). 교수자가 제공하는 지시성의 정도에 따라 두 가지 주요 매핑 전략이 개념 맵을 사용한 교수 및 학습에 사용될 수 있습니다(Ruiz-Primo 및 Shavelson 1996). 개념 지도의 지시성은 지도를 구성하기 위해 학습자에게 제공되는 정보의 양을 의미합니다.

• 저-지시성 맵(학습자 주도형)은 개념, 연결어, 맵의 구조가 학습자에 의해 구성되는 학습자에 의해 전적으로 생성되는 개념 맵이 특징입니다(Novak and Gowin 1984).
• 고-지시성 맵(교사 주도형)은 교사가 지도의 구성 요소(노드 또는 링크)를 개발한 다음 학생에게 노드의 내용을 채우고, 노드를 연결 단어로 연결하거나 두 가지를 조합하는 과제를 제공하는 기법입니다. (Schau와 Mattern 1997).

A concept map is a graphic representation of a set of interrelated concepts linked by meaning-making words or propositions that depicts the learner’s understanding of the meaning of a set of concepts (Novak and Cañas 2006). Exercises with concept maps foster knowledge organization and critical thinking (West et al. 2000; Torre et al. 2007; Daley and Torre 2010). Two main different mapping strategies, based on the degree of directedness provided by the instructor, can be used in teaching and learning with concepts maps (Ruiz‐Primo and Shavelson 1996). Directedness of a concept map refers to the amount of information that is provided to the learners for the construction of the map.

• A low degree of directedness (learner driven) map is characterized by a concept map that is entirely created by the learner in which concepts, linking words and structure of the map are constructed by the learner (Novak and Gowin 1984).
• A high degree of directedness map (teacher driven) is a technique in which components of the map (either nodes or links) are developed by the teacher and then provided to the student who has the task of filling in content of the nodes, connecting the nodes with linking words or a combination of both. (Schau and Mattern 1997).

CReSME는 높은 수준의 지시성을 가진 개념 지도입니다(Torre et al., 2019). CResME는 임상 및/또는 기초 과학 정보를 포함하는 노드를 사용하므로 학습자는 이러한 정보 노드를 정확하고 의미 있는 방식으로 연결하여 여러 영역에서 동일한 증상으로 나타나는 여러 질병의 주요 특징(예는 부록 2 참조)을 비교 및 대조할 수 있습니다. 
The CReSME is a concept map with high degree of directedness (Torre et al., 2019). The CResME uses nodes that contain clinical and/or basic sciences information, requiring learners to connect these nodes of information in an accurate and meaningful way, allowing to compare and contrast, across multiple domains, key features of different diseases (see Appendix 2 for an example) presenting with the same complaint.

CReSME를 준비하고 도입하는 방법은 무엇인가요?
How to prepare and introduce the CReSME?

그 근거는 학생들에게 유사한 증상을 보이는 여러 질병의 전형적인 임상 특징을 비교하고 대조할 수 있도록 미리 구성된 스캐폴딩 구조를 제공하여 궁극적으로 동일한 증상을 보이는 질병에 대한 질병 스크립트 개발을 촉진하기 위한 것입니다.
The rationale is to provide students with a pre-constructed scaffolding structure to facilitate the comparing and contrasting of typical clinical features of different disease with a similar presentation, to ultimately foster the development of illness scripts for disease entities presenting with the same complaint.

학습 자료
Learning materials

• 사례 발표는 의도적으로 환자의 주요 불만 사항만 포함합니다. 예를 들어 55세 남성 환자가 급성 흉통을 호소한다고 가정해 보겠습니다.
  
• 맵 콘텐츠는 동일한 주호소(급성 흉통)를 가진 질병에 대한 주요 정보가 포함된 미리 구성된 노드 집합으로 시각적으로 표시됩니다.
  
• 학습자는 연습의 맨 아래에 있는 빈 노드를 완성하여, 스크립트의 일부를 포함하는 노드 간의 일련의 정확한 연결과 일치하는 진단을 제공해야 합니다.
  
• 해결해야 할 완전한 임상 사례는 존재하지 않으므로, 환자의 주요 증상에 대한 감별 진단을 구성할 수 있는 3~5개의 질병 실체의 원형 구성 요소를 정확하게 식별하고 연결하는 것 외에는 하나의 정답이 존재하지 않습니다. 강사 CREsME 기법 설계의 단계는 표 2에 나와 있습니다. 
• The case presentation purposefully entails only the chief complaint of a patient. For example, a 55-year-old male patient presenting with acute chest pain.
• The map content is displayed visually as a preconstructed set of nodes with key information about the diseases that all present with the same chief complaint (acute chest pain).
• The learner needs to provide a diagnosis consistent with a series of accurate connections among the nodes containing parts of the script, by completing the empty nodes at the bottom of the exercise.
• Since there is no complete clinical case-to-be-solved, there is not a single best answer but the accurate identification and connections of prototypical components of three to five disease entities that may constitute a differential diagnosis for the patient’s chief complaint. Instructor Steps in the design of the CREsME technique are provided in Table 2.

CReSME와 같이 지시성이 높은 개념 지도는 교사의 세심한 준비가 필요합니다.

• 실제로 개발하는 데 몇 시간이 걸릴 수 있으며, 콘텐츠의 정확성과 관련성 및 노드 간의 연결성을 보장하기 위해 교수진 그룹이 검토해야 합니다.
• 교수진은 가능한 모든 연결 고리를 파악하고, 적절한 난이도를 측정하고, 토론을 통해 합의에 도달해야 합니다.
• CReSME 기법을 학생들에게 소개해야 하며, 강사는 연습을 개발하거나 완료하는 목적, 코스 또는 학습할 자료에 어떻게 부합하는지 설명하고 화이트보드 또는 컴퓨터 매핑 시스템을 사용하여 해결하는 방법을 시연해야 합니다.
• 이전에 개발한 CReSME의 예시를 학생들에게 제시하여 학생들이 검토하고 질문하며 과제를 완료하는 방법을 이해할 수 있도록 하는 것이 도움이 됩니다. 그런 다음 학생에게 종이 또는 전자 방식으로 샘플 연습을 할 수 있는 기회를 제공해야 합니다. 이러한 입문 세션은 1~2시간 정도 소요될 수 있으며 필요한 경우 반복할 수 있습니다.

A high directedness concept map like the CReSME requires careful preparation by the teacher.

• Indeed, it may take a few hours to develop and should be reviewed by a group of faculty to ensure accuracy and relevance of the content and the connections among nodes.
• The faculty should identify all possible connections, gage the appropriate level of difficulty, and come to a consensus through discussion.
• the CReSME technique needs to be introduced to students and the instructor should explain the purpose of developing or completing the exercise, how it fits into the course or material to be learned, and demonstrate how to solve it on a whiteboard or using a computer mapping system (http://cmap.ihmc.us/).
• It is helpful to present the students with an example of a CReSME previously developed, so that they can review, ask questions, and understand how to complete the task. Subsequently, students should be given the opportunity to practice on a sample exercise, on paper or electronically. Such an introductory session may last 1–2 h and can be repeated if needed.

CReSME는 어떻게 수행하나요?
How to perform a CReSME?

학생들은 다양한 콘텐츠에 대한 CReSME를 이수하도록 배정될 수 있습니다. 콘텐츠는 기초 과학에서 임상 과학에 이르기까지 다양합니다. 대부분의 경우 기초 과학과 임상 과학 콘텐츠가 동일한 연습에 통합되어 있습니다(예: 미생물학, 약리학, 병태생리학, 임상적 특징 및 발열을 보이는 질병 개체의 진단 워크업을 통합한 연습). 경험상 20~30분은 학생이 하나의 CReSME를 완료하는 데 적당한 시간입니다. 그러나 이는 복잡성 수준, 연결해야 하는 노드 및 연결의 수, 학생이 비교하고 검토해야 하는 질병 엔티티의 수에 따라 달라질 수 있습니다. CReSME를 완성하는 것은 개별적으로 또는 소규모 학습자 그룹(그룹당 5~6명의 학생)이 공동으로 작업하여 수행할 수 있습니다. 마찬가지로, 그룹 개념 매핑(Torre 외. 2017; Peñuela-Epalza 및 De la Hoz 2019)과 마찬가지로, 각 그룹은 연습을 완료하고 다른 그룹과 그 근거를 공유할 수 있습니다. 그룹 환경에서 학생들은 서로 질문하고, 구체적이거나 더 어려운 연결고리에 대한 설명을 제공하고, 의미와 상호 이해를 공동으로 구성하는 과정에 참여할 수 있습니다. 
The students can be assigned to complete a CReSME on a variety of contents Content may range from basic sciences to clinical sciences. Most often, basic and clinical sciences content are integrated within the same exercise (e.g. an exercise integrating microbiology, pharmacology, pathophysiology, clinical features, and diagnostic workup of disease entities presenting with fever). In our experience, 20–30 min is a reasonable amount of time for a student to complete one CReSME. But this will depend on its level of complexity, the number of nodes and connections that need to be made and the number of disease entities that will have to be compared and reviewed by students. The completion of a CReSME may be accomplished individually or by a small group of learners working collaboratively (five to six students per group). Similarly, to group concept mapping (Torre et al. 2017; Peñuela-Epalza and De la Hoz 2019), each group can complete the exercise and share their rationale with other groups. In a group setting, the students can ask questions to each other, provide explanations for specific or more challenging links and engage in a process of co-construction of meaning and mutual understanding.

이 교육 기법은 피드백의 기회를 제공합니다. 다음은 몇 가지 제안 사항입니다:
This instructional technique offers opportunities for feedback. Here are some suggestions:

1. 교사는 학생들이 CReSME 결과를 공유하고 비교할 수 있는 세션을 계획하고, 제안된 근거와 정당성의 차이에 대해 토론하고 반성하며, 교사가 큰 소리로 생각하고 자신의 사고 과정을 모델링하여 정보 노드 간의 각 연결 집합에 대한 근거와 정당성을 설명할 수 있습니다. 이 과정을 녹화한 다음 학습자와 전자적으로 공유하면 학습자는 자신의 속도와 시간에 맞춰 액세스하여 들을 수 있습니다.
   The teacher may plan a session where students can share and compare their CReSME results; discuss and reflect on differences in rationale and justifications proposed; the teacher can think aloud and model his or her thinking process, explaining the rationale and the justification for each set of connections among nodes of information. This process can be recorded and then shared electronically with the learners who can access it and listen to it at their own pace and time.
2. 교사는 학습자의 연습 문제를 검토한 후 일반적인 오해나 지식 격차를 파악하고 전체 학급을 대상으로 한 후속 교육 세션에서 해당 개념을 명확히 설명할 수 있습니다.
   The teacher, after reviewing exercises from learners, may identify common misconceptions or knowledge gaps and clarify those concepts in a subsequent teaching session for the whole class.
3. 교사는 어려움을 겪고 있는 학생을 개별적으로 만나 특정 연결 또는 잘못된 링크의 근거에 대해 문의하고 구체적인 피드백을 제공할 수 있습니다.
   The teachers can meet individually with struggling students, inquire about the rationale for specific connections or invalid links and provide specific feedback.
4. 교사는 '참조' CReSME를 개발하여 학생들과 공유하고 동기식 또는 비동기식 방식으로 완료한 연습과 비교하여 검토하도록 권장할 수 있습니다.
   The teacher can develop and share with students a ‘reference’ CReSME and encourage them to review and compare it with their completed exercise in a synchronous or asynchronous manner.

커리큘럼에 CReSME를 통합하는 방법은 무엇인가요?
How to integrate the CReSME into the curriculum?

CReSME는 코스, 모듈 및 임상 실습 로테이션 전반에 걸쳐 기초 및 임상 과학을 통합하는 데 사용할 수 있습니다. 콘텐츠를 통합할 뿐만 아니라 시간이 지남에 따라 학생의 지식 구조 발달을 모니터링하는 데에도 종단적으로 사용할 수 있습니다. 다양한 콘텐츠로 임상 추론 매핑 연습을 구성하고 난이도를 높이면 시간이 지남에 따라 학습자의 성장과 궤적을 추적할 수 있습니다. 
The CReSME could be used to integrate basic and clinical sciences, across courses, modules and clerkship rotations. It can be used longitudinally not only to integrate content but also to monitor the student development of knowledge structures over time. The construction of clinical reasoning mapping exercises with different content, and increasing level of difficulty may allow to follow the growth and trajectory of the learner over time.

의도적인 성찰
Deliberate reflection

DR이란 무엇인가요?
What is it?

원래 의사의 진단 능력을 향상시키기 위한 도구로 개발 및 테스트된 DR은 임상 추론을 가르치기 위한 교육적 접근 방식으로도 활용되고 있습니다. 이 접근 방식은 임상 사례를 진단하는 동안 반성을 장려하고 안내하며, 학생들이 사례에 대한 대체 진단을 체계적으로 비교하고 대조하도록 요구합니다. DR의 목적은 임상 사례에 제시된(또는 관련된) 질병에 대한 정신적 표현의 발달을 촉진하여 향후 새로운 사례에서 질병을 접할 때 이를 더 쉽게 인식할 수 있도록 하는 것입니다. 
DR, originally developed and tested as a tool to improve physicians’ diagnostic performance, has also been employed as an instructional approach for the teaching of clinical reasoning. The approach encourages and guides reflection during the diagnosis of clinical cases, requiring students to compare and contrast alternative diagnoses for the case in a systematic way. The purpose of DR is to foster the development of the mental representations of the diseases presented in (or related to) the clinical cases, making it easier to recognize them when they are encountered in new cases in the future.

DR을 교육 기법으로 사용할 경우, DR은 학생들에게 임상 사례를 하나씩 제시하고 표 3에 설명된 일련의 단계에 따라 사례를 진단하도록 요구합니다. 일반적으로 학생들은 단계를 제시하는 표를 작성하여 사례를 되돌아봅니다. 이는 고려 중인 각 진단에 대한 찬성과 반대의 전체 증거를 동시에 시각화하는 데 중요한 역할을 합니다(예는 부록 3 참조). 
When employed as instructional technique, DR presents students with clinical cases, one by one, and requires them to diagnose the case by following the series of steps outlined in Table 3. Usually, students reflect upon the case by filling in a table which presents the steps. This seems important to help visualize the whole evidence in favor and against each diagnosis under consideration simultaneously (see Appendix 3 for an example).

DR은 다음을 포함하는 의학에서의 5차원 반성적 진료 모델을 기반으로 합니다(Mamede and Schmidt 2004).

• (i) 의도적 귀납,
• (ii) 의도적 연역,
• (iii) 테스트 및 종합,
• (iv) 성찰을 위한 개방성,
• (v) 메타추론(메타추론)

DR 절차는 임상의가 사례에 대해 고려한 초기 진단의 근거를 비판적으로 조사하고, 가능한 대안을 검토하도록 안내함으로써 이러한 차원을 진단 프로세스에 '적용'합니다. 의사를 대상으로 한 연구에서 DR은 진단 오류를 줄이고, 추론의 편견에 대응하며, 성과를 개선하는 것으로 반복적으로 나타났습니다(Mamede 외. 2008, 2010). 여러 연구에서도 임상 추론 교육에 DR을 사용하는 것을 뒷받침하는 증거를 제시했습니다(Mamede 외. 2012, 2019, 2020; Myung 외. 2013; Ibiapina 외. 2014) 이러한 실험 연구에서 임상 사례로 실습하는 동안 DR을 사용한 학생들은 향후 진단 과제에서 감별 진단을 내리는 등 보다 전통적인 접근 방식을 사용하여 실습한 학생들보다 더 나은 성과를 냈습니다. DR의 이러한 긍정적인 효과는 질병 스크립트 개발에서 임상 문제에 대한 노출이 핵심적인 역할을 한다는 의료 전문성의 단계 이론(Schmidt 외. 1990)과 스키마 구성에 있어 사례 비교 및 대조가 이점을 제공한다는 심리학 연구(Gentner 외. 2009)와도 일치합니다. 그러나 기존의 거의 모든 경험적 증거는 실험실 조건에서 수행된 연구에서 나온 것이며, 실제 커리큘럼에서의 구현과 관련하여 검토해야 할 사항이 많이 남아 있습니다. 
DR is based on a five-dimension model of reflective practice in medicine that involves:

• (i) deliberate induction,
• (ii) deliberate deduction,
• (iii) testing and synthesizing,
• (iv) openness for reflection, and
• (v) meta-reasoning (Mamede and Schmidt 2004).

The DR procedure ‘applies’ these dimensions to the diagnostic process by guiding clinicians through critical scrutiny of the grounds of the initial diagnosis considered for a case and the examination of possible alternatives. In studies with physicians, DR has repeatedly shown to reduce diagnostic errors, counteract bias in reasoning and improve performance (Mamede et al. 2008, 2010). Several studies have also provided evidence supporting the use of DR for the teaching of clinical reasoning (Mamede et al. 2012, 2019, 2020; Myung et al. 2013; Ibiapina et al. 2014) In these experimental studies, students who employed DR while practicing with clinical cases outperformed, in future diagnostic tasks, students who practiced by using more conventional approaches such as producing a differential diagnosis. This positive effect of DR is consistent with the stage theory of medical expertise (Schmidt et al. 1990), which attributes a key role to exposure to clinical problems in the development of illness scripts, and with psychological research showing the benefits of comparing and contrasting examples for the construction of schemas (Gentner et al. 2009). However, almost all existing empirical evidence comes from research conducted under laboratory conditions, and much remains to be examined regarding implementation in actual curricula.

DR을 준비하고 도입하는 방법은?
How to prepare and introduce DR?

DR은 학생들에게 다양한 임상 문제를 접하고 이러한 문제에 대한 대체 진단을 체계적으로 비교하고 대조할 수 있는 기회를 제공하기 위한 실습에 사용해야 합니다.
DR is to be used in exercises aimed at offering students the opportunity to encounter a variety of clinical problems and to systematically compare and contrast alternative diagnoses for these problems.

학습 자료
Learning materials

• 임상 양상은 비슷하지만 진단명이 다른 질병을 나타내는 3~5개의 임상 사례 세트(예: 흉통을 주요 증상으로 하는 서로 다른 질병). 유사한 질병을 나란히 배치하여 학생들이 유사점과 차이점을 식별하고 대체 진단을 구별하는 데 도움이 되는 소견에 대한 지식을 습득할 수 있습니다.
  Sets of three to five clinical cases presenting diseases with similar clinical presentation but different diagnoses (e.g. different diseases with chest pain as chief complaint). Juxtaposing lookalike diseases allows students to identify similarities and differences between them and acquire knowledge of findings that help distinguish between alternative diagnoses.
• 학생들은 이미 교육 활동을 통해 사례에 제시된 질병에 대한 지식에 노출되었지만 임상 경험이 많지 않아야 합니다. DR은 학생들이 이미 기억에 저장해 둔 지식을 동원하고 재구성하도록 촉진하는 방식으로 작동하기 때문입니다. 학생들이 반성 과제에 가져올 사전 지식이 충분하지 않으면 이 과제의 이점을 얻지 못합니다(Mamede et al). 반면에 학습자에게 사례가 너무 쉽거나 임상에서 이미 유사한 임상 증상을 보이는 환자를 많이 접한 경우, 질병 스크립트를 다듬을 여지가 없어 과제가 그다지 도전적이고 동기 부여가 되지 않을 수 있습니다. 
  Students should already have been exposed to knowledge of the diseases presented in the cases through didactic activities but do not have much clinical experience with them. This is so because DR works by mobilizing and fostering reorganization of knowledge that students already have stored in memory. When students do not have sufficient prior knowledge to bring to the reflection task, they do not benefit from it (Mamede et al). On the other hand, if cases are too easy for the learners and/or they have already encountered many patients with similar clinical presentation in clinical years, there is possibly no room for refining their illness scripts, and the task may be not so challenging and motivating.
• DR에 대한 기존 연구는 학생들에게 진단에 도달하는 데 필요한 모든 정보를 제공하는 임상 사례를 사용했습니다. DR에는 상당한 정신적 노력이 필요하므로(Ibiapina 2014; Mamede 외. 2020), 합리적인 수준으로 유지되어야 합니다. DR 연습의 목표는 실제 사례의 복잡성을 재현하는 것이 아니라, 학생이 학습해야 하는 핵심 정보에 집중하는 것임을 명심하는 것이 중요합니다. 학생들이 커리큘럼을 진행함에 따라 사례 형식의 복잡성은 점차 증가할 수 있습니다. 그러나 예를 들어 학생이 진단에 도달하기 위해 필요한 정보를 독립적으로 수집해야 하는 사례에서 DR이 어떻게 작동할지는 아직 결정되지 않았습니다. 
  Existing research with DR has used clinical cases that provide students with all the information required to reach a diagnosis. DR involves considerable mental effort (Ibiapina 2014; Mamede et al. 2020), which should be kept at reasonable level. It is important to keep in mind that the goal of the DR exercise is not to replicate the complexity of real cases but rather focus on key information that the student is expected to learn. As students progress through the curriculum, complexity of the cases’ format may gradually increase. However, how DR would work, for example, with cases that require the student to independently gather the necessary information to reach the diagnosis, is still to be determined.
• DR의 형식(아래 참조)에 따라 임상 사례는 반성 시 고려해야 할 대체 진단에 대한 단서와 함께 제시되어야 합니다.
  Depending on the format of DR (see below), the clinical cases should be presented together with cues on the alternative diagnoses to be considered during reflection or not.

종이 기반 또는 가상 임상 사례의 사용 가능성, 임상 사례 준비 과정 및 교사의 역할과 관련하여 SE에 적용되는 사항은 DR 학습 자료에도 적합합니다. 
What applies to SE regarding the possibility to use paper-based or virtual clinical cases, the process for the preparation of the clinical cases and the role of the teacher, is also pertinent for the learning materials for DR.

학생들에게 DR 소개
Introducing DR to students

DR은 많은 노력이 필요하며(Ibiapina 외. 2014; Mamede 외. 2019), 학생들이 과제에 완전히 참여할 수 있는 기회를 극대화하려면 DR이 임상 추론에 미치는 잠재적 이점에 대해 알려주고 DR 테이블을 완성한 예를 보여줘야 합니다.
DR is effortful (Ibiapina et al. 2014; Mamede et al. 2019) and to maximize the chance that students engage fully in the task, they should be informed about the potential benefits from DR to clinical reasoning and shown examples of the completion of DR tables.

DR은 어떻게 수행하나요?
How to perform DR?

DR은 지금까지 학생들이 개별적으로 절차를 사용하여 연구해 왔지만 그룹으로 진행하지 못할 이유가 없으며 공동 학습의 이점도 얻을 수 있습니다. 
DR has so far been studied with students using the procedure individually but there is no reason why it should not work in groups and even gain from the benefits of collaborate learning.

학생에게 제공되는 지침의 양이 다른 세 가지 형식의 DR 절차가 테스트되었습니다.

• 자유 성찰에서는 학생이 사례에 대해 고려해야 할 대체 진단을 스스로 생성해야 합니다(Mamede 외. 2012).
• 단서 성찰에서는 성찰 표에 그럴듯한 대안 진단이 제공되며, 학생은 그 결과를 기입하고 가장 가능성이 높은 진단을 최종 결정해야 합니다(Ibiapina 2014; Mamede 외. 2019, 2020).
• 마지막으로, 모델 성찰에서는 교사가 모든 요소를 채운 전체 반성표를 제시하고 학생이 이를 학습해야 합니다(Ibiapina 외. 2014; Mamede 외. 2019).

Three different formats of the DR procedure which vary in the amount of guidance provided to students have been tested.

• In free-reflection, students are required to generate by themselves the alternative diagnoses to be considered for the case (Mamede et al. 2012).
• In cued-reflection, the reflection table provides the plausible alternative diagnoses and the students are required to fill in the findings and make the final decision on the most likely diagnosis (Ibiapina 2014; Mamede et al. 2019, 2020).
• Finally, in modeled-reflection, the whole reflection table is presented, with all its elements filled in by teachers, and students are required to study it (Ibiapina et al. 2014; Mamede et al. 2019).

모델 반사에 필요한 정신적 노력은 단서 반사에 비해 낮지만, 전자는 교사의 준비 작업이 훨씬 덜 필요한 후자보다 학습에 더 유리하지 않습니다. 그러나 단서 반사가 자유 반사보다 더 유리한 것으로 보이지만, 이러한 연구에서 관찰 된 이점은 이전에 연구 된 질병 만 테스트에 포함되었다는 사실에서 비롯된 것일 수 있습니다. 아직 조사해야 할 부분이 많이 남아 있습니다. 
Although the mental effort required by modelled-reflection is lower than that of cued-reflection, the former is not more advantageous for learning than the latter, which requires much less preparatory work from teachers. Cued-reflection seems, however, to be more beneficious than free-reflection, but the advantage observed in these studies may derive from the fact that only previous studied diseases were included in the tests. There is much to be investigated here yet.

DR에 대한 많은 연구에서 학생들에게 피드백이 제공되지 않았으며, 이는 새로운 지식이 제공되지 않더라도 지식 재구성을 통해 작용할 수 있음을 시사합니다. 그러나 레지던트들이 자신의 반성표와 전문가가 작성한 반성표를 비교하도록 한 최근 연구에서는 추론의 편향을 유도하는 것으로 알려진 조건에서 수행 능력을 향상시키는 절차를 보여주었습니다(Mamede 외. 2020). 이는 피드백을 통합하고 피드백에 대한 적극적인 반영을 통해 DR의 효과를 높일 수 있는 잠재력을 보여주는 신호일 수 있습니다. 다시 말하지만, 조사의 여지는 열려 있습니다. 
No feedback has been provided to students in many studies on DR, suggesting that it may act through knowledge restructuring, even when new knowledge is not made available. However, a recent study in which residents were required to compare their own reflection tables with those filled in by experts showed the procedure to improve performance under conditions that are known to induce bias in reasoning (Mamede et al. 2020). This may be a sign of a potential to enhance the effect of DR by incorporating feedback and active reflection on the feedback. Again, open avenue for investigation.

DR을 커리큘럼에 통합하는 방법은 무엇인가요?
How to integrate DR into the curriculum?

원래의 형식에서 DR은 다른 활동과 독립적으로 수행되는 연습에 사용되었습니다. 그러나 임상 사례 실습을 기반으로 한 다른 교육적 접근 방식과 결합하여 지식 재구성 및 질병 스크립트 개선을 촉진할 수도 있습니다.

• 예를 들어, 셔브룩 대학교의 경험에서 SE와 DR이 함께 사용되었습니다.
• 또한 DR 연습에서 진단된 임상 문제와 관련된 지식 습득에 초점을 맞춘 학습 과제(예: 개인 또는 자율 학습, 소그룹 학습, 강의)와 함께 DR을 사용할 수 있습니다(예: 흉통의 감별 진단에 대한 강의를 시작할 때 흉통과 관련된 질환 사례 1~2개를 진단하는 데 DR을 활용).
• 최근 연구에 따르면 다른 학습 활동과 함께 DR을 사용하는 것을 지지하며, 문제의 감별 진단에 관한 텍스트를 학습하기 전에 임상 문제를 진단하기 위해 DR에 참여하는 것이 학습 참여를 촉진하고 학습 결과를 개선하는 것으로 나타났습니다(Ribeiro 외. 2019, 2021).

In its original format, DR has been used in exercises performed independently of other activities. However, it can also be combined with other instructional approaches based on practice with clinical cases to fostering knowledge restructuring and refinement of illness scripts.

• For example, SE and DR have been used in combination in the experience of the Sherbrooke University.
• Additionally, DR can be used in combination with a learning task (e.g. individual or self-study, small-group learning, lectures) focused on acquisition of knowledge relevant to the clinical problems diagnosed in the DR exercise (e.g. employing DR to diagnose one to two cases of diseases associated with chest pain in the beginning of a lecture on the differential diagnosis of chest pain).
• Recent research has supported the use of DR in combination with other learning activities, showing that engaging in DR to diagnose a clinical problem before studying a text on the differential diagnosis of the problem fosters engagement in learning and improves learning outcomes (Ribeiro et al. 2019, 2021).

 

• 보건 전문가를 위한 교육학으로서의 변혁적 학습: 스코핑 리뷰(Med Educ, 2019)
  Transformative learning as pedagogy for the health professions: a scoping review
  Susan C Van Schalkwyk,1 Janet Hafler,2 Timothy F Brewer,3 Moira A Maley,4 Carmi Margolis,5 Lakshini McNamee,1 Ilse Meyer,1 Michael J Peluso,6 Ana MS Schmutz,1 Judy M Spak7 & David Davies8 On behalf of the Bellagio Global Health Education Initiative 

소개
Introduction

변혁적 학습(TL)은 의료 및 보건 전문직을 포함한 고등 교육의 여러 분야에서 확립된 이론으로 자리 잡았습니다.1 Taylor1는 그의 비판적 리뷰에서 TL에서 성찰의 역할을 강조하고 보건 전문직 교육(HPE)에서 이를 촉진할 수 있는 방법을 설명했습니다. 21세기를 위한 보건 전문직 교육에 관한 중요한 란셋 위원회 논문2이 발표되면서 TL은 보건 전문직 교육을 위한 중요한 교육적 구성 요소로 더욱 확고히 자리 잡았습니다. 프랭크 외2는 TL이 '깨달은 변화 에이전트를 배출하는' 리더십 속성의 개발에 초점을 맞춘다고 설명했습니다. 이들은 세 가지 근본적인 변화를 강조하면서 정의를 구체화했습니다.

• '사실 암기에서 의사 결정을 위한 정보 검색, 분석 및 종합으로,
• 전문 자격증 취득에서 보건 시스템에서 효과적인 팀워크를 위한 핵심 역량 달성으로,
• 교육 모델의 무비판적 채택에서 지역 우선순위를 해결하기 위한 글로벌 자원의 창의적 적용으로'

이러한 이해는 TL이 HPE에게 바람직한 결과라는 점을 분명히 합니다. 

Transformative learning (TL) has become an established theory across numerous disciplines in higher education, including the medical and health professions.1 In his critical review, Taylor1 highlighted the role of reflection in TL and described ways in which it might be fostered in health professions education (HPE). The publication of the seminal Lancet Commission article on HPE for the 21st century2 further entrenched TL as an important pedagogical construct for HPE. Frenk et al.2 described TL as focusing on the development of leadership attributes that ‘produce enlightened change agents’. They further qualified their definition, highlighting

• ‘three fundamental shifts:
  • from fact memorisation to searching, analysis, and synthesis of information for decision making;
  • from seeking professional credentials to achieving core competencies for effective teamwork in health systems; and
  • from non-critical adoption of educational models to creative adaptation of global resources to address local priorities’.

This understanding clearly positions TL as a desirable outcome for HPE.

이론적 구성체로서의 변혁적 학습은 1991년 메지로우의 형성적 연구를 통해 소개되었습니다.3 기존 교육 이론가들(쿤의 패러다임 개념, 프레이리의 의식화 연구, 하버마스의 학습 영역)의 영향을 받은 메지로우의 초기 입장은 

• '학습이란 미래의 행동을 안내하기 위해 경험의 의미에 대한 새로운 또는 수정된 해석을 구성하기 위해 이전 해석을 사용하는 과정으로 이해된다'

...는 것이었습니다. 5 이러한 이해는

• TL을 '고정된 가정과 기대(마음의 습관, 의미, 관점, 사고방식)로 이루어진 문제적 기준틀을 보다 포용적이고, 분별력있고, 개방적이고, 성찰적이며, 정서적으로 변화할 수 있도록 변화시키는 학습'

...이라고 설명하는 것으로 발전했습니다.6 다른 사람들은

• TL을 '우리가 세상에 존재하는 방식을 극적이고 영구적으로 변화시키는 깊은 구조적 변화'를 수반한다고 설명했습니다.7

Transformative learning as a theoretical construct was introduced through the formative work of Mezirow in 1991.3 Influenced by established educational theorists (Kuhn's conception of paradigms, Freire's work around conscientisation, and Habermas's domains of learning)4 Mezirow's early position on TL was

• ‘learning [that] is understood as the process of using a prior interpretation to construe a new or revised interpretation of the meaning of one's experience in order to guide future action’.5 

This understanding evolved to describing

• TL as ‘learning that transforms problematic frames of reference—sets of fixed assumptions and expectations (habits of mind, meaning, perspectives, mindsets)—to make them more inclusive, discriminating, open, reflective, and emotionally able to change’.6 

Others have described

• TL as involving a ‘deep structural shift … that dramatically and permanently alters our ways of being in the world’.7

TL을 가능하게 할 수 있는 기회를 창출하려면 의도적인 커리큘럼 변화가 필요합니다. 우리는 벨라지오 글로벌 보건 교육 이니셔티브(BGHEI) 내 커리큘럼 개발 작업의 일환으로 이러한 기회를 창출하는 것을 목표로 했습니다. 그러나 논의 과정에서 바로 드러난 것은 구조에 대한 이해가 서로 다르고 이론적으로 명확한 근거가 부족하다는 것이었습니다. 따라서 다음과 같은 연구 질문에 대한 범위 검토에 착수했습니다: HPE 문헌에서 TL은 어떻게 이해되고 있는가? 현재의 경험적 연구는 TL을 어떻게 설명하는가? 검토 팀에는 BGHEI 회원 외에도 HPE 배경 지식을 갖춘 연구원 3명과 사서 1명이 추가되었습니다. 우리의 의도는 커리큘럼 활동에서 TL이 어떻게 활용되는지를 포함하여 TL에 대한 포괄적인 종합 정보를 HPE 커뮤니티에 제공하여 향후 현장에서의 적용에 대한 정보를 제공하고자 하는 것이었습니다. 
Creating opportunities that might enable TL requires intentional curriculum change. As part of our curriculum development work within the Bellagio Global Health Education Initiative (BGHEI), we aimed to create such opportunities. Immediately evident from our deliberations, however, was the extent to which our understanding of the construct differed amongst us and lacked a clear theoretically grounded comprehension. We therefore embarked on a scoping review of the following research questions: How is TL understood in the HPE literature? How does current empirical work describe TL? Apart from the BGHEI members, our review team was augmented by the inclusion of three researchers with an HPE background and a librarian. Our intention was to provide the HPE community with a comprehensive synthesis of TL, including how it is taken up in curricular activities, with a view to informing its future application in the field.

방법
Methods

이 범위 검토는 '연구 영역에 포함된 핵심 개념을 매핑하여 ... 현재 문헌의 범위에 대한 신속하고 서술적이며 설명적인 설명을 생성하는 것'을 목표로 합니다.8 Arksey와 O'Malley의9 6단계 프레임워크를 사용했습니다. 연구 질문은 모든 그룹 구성원을 포함한 협의 과정을 통해 개발되었으며(1단계), 그 후 일련의 포함 및 제외 기준에 따라 광범위한 문헌 검색을 수행하여 잠재적으로 관련성이 있는 연구를 식별했습니다(2단계). 먼저, 알려진 주요 논문을 사용하여 Yale MeSH 분석기10를 사용하여 관련 통제 어휘(MeSH [의학 주제 제목] 용어, 엠트리 및 기타)와 사용할 키워드 용어를 식별했습니다. 그런 다음 각 개념은 데이터베이스에서 사용할 수 있도록 번역되었습니다. 검색된 주요 개념에는 학부 의학교육, 간호 교육, 보건 전문직 교육, 학습 및 변형(변형, 변형 등 포함; 부록 1)과 같은 변형이 있는 통제 어휘와 키워드의 조합이 포함되었습니다. 학부 의학교육은 면허 취득 전 단계의 프로그램으로 정의되었고, 대학원은 대학원 의학교육을 포함한 면허 취득 후 프로그램을 의미했습니다. 
This scoping review aims ‘to map the key concepts contained in a research domain … to produce a quick, narrative, descriptive account of the scope of current literature’.8 We used Arksey and O'Malley's9 six-step framework. The research question was developed through a consultative process including all group members (Step 1), after which potentially relevant studies were identified by conducting an extensive search of the literature based on a set of inclusion and exclusion criteria (Step 2). We began with the Yale MeSH Analyzer10 using key known articles to identify relevant controlled vocabulary (MeSH [Medical Subject Headings] terms, Emtree and others) and keyword terms to be used. Each concept was then translated for use in databases. Major concepts searched included a combination of controlled vocabulary and keywords with variations such as undergraduate medical education, nursing education, health profession education, learning and transformative (including transforming, transform, etc.; Appendix 1). Undergraduate medical education was defined as programmes at the pre-licencing level, whereas postgraduate referred to post-licencing programmes, including graduate medical education.

2017년 2월 27일과 2018년 5월 31일에 숙련된 의학 사서가 다음을 포함한 10개의 서지 데이터베이스를 검색했습니다: Ovid MEDLINE, Ovid Embase, Ovid PsycINFO, Scopus 및 교육자원정보센터(ERIC)(부록 2). 검색 결과는 EndNote X7(클래리베이트 애널리틱스, 미국 펜실베이니아주 필라델피아)에 다운로드하고 중복을 제거했습니다. 검색된 1080개의 초록은 코비던스(코크란 기술 플랫폼)를 사용하여 두 명의 팀원(CM, LM, TB, MP, MM, SvS, DD, JH)이 독립적으로 검토했으며, 충돌이 있는 경우 세 번째 팀원(DD, JH, SvS)이 해결했습니다. 초록은 해당 범위에 속하지 않는 경우, 특히 TL 및 학부 HPE에 관한 것이 아니거나 학회 초록, 편집자에게 보내는 편지 또는 논문 초록인 경우 제외되었습니다. 이 시점에서 검토 대상 기간은 2006년 1월부터 2018년 5월까지로 제한하여 266개의 전체 텍스트를 검토했습니다(3단계, 그림 1). 
On 27 February 2017 and 31 May 2018, an experienced medical librarian searched 10 bibliographic databases, including: Ovid MEDLINE, Ovid Embase, Ovid PsycINFO, Scopus and Education Resources Information Center (ERIC) (Appendix 2). Search results were downloaded to EndNote X7 (Clarivate Analytics, Philadelphia, PA, USA) and duplicates removed. The 1080 retrieved abstracts were independently reviewed by two team members (CM, LM, TB, MP, MM, SvS, DD, JH) using Covidence (a Cochrane technology platform); conflicts were resolved by a third team member (DD, JH, SvS). Abstracts were excluded if they were not within the scope, specifically if they were not about TL and undergraduate HPE, or if they were conference abstracts, letters to the editor or abstracts from dissertations. At this point, the period under review was limited to January 2006 to May 2018, resulting in 266 full texts being considered (Step 3; Fig. 1).

연구 질문에 따라 협의하여 데이터 추출 시트를 개발했습니다(4단계). 각 연구는 다시 두 명의 검토자가 독립적으로 검토하고 세 번째 검토자(SvS)가 갈등을 해결했습니다. 논문에 대한 설명적 데이터 외에도 TL이 어떻게 정의되었는지, 어떤 이론가가 등장했는지, 연구에서 TL이 어떻게 적용되었는지, 학습 개입이 설명되었는지, TL이 평가되었는지 여부 및 방법과 관련된 데이터도 수집되었습니다. 이러한 데이터는 '구조화' 접근법을 분석 프레임으로 사용하여 데이터 전반에서 패턴, 유사성 및 모순을 찾아내는 내용 분석11을 거쳤습니다.12 구조화 이론은 모든 맥락에 존재하는 구조적 차원과 행위자적 차원을 인정합니다. 이러한 차원은 TL이 구조화되는 방식과 경험되는 방식을 이해하고자 할 때 데이터의 범주화에 영향을 미쳤습니다. 이 분석 결과는 아래 섹션에 제시되어 있습니다(5단계). 
A data extraction sheet was developed consultatively, guided by the research question (Step 4). Each study was again reviewed independently by two reviewers and conflicts resolved by a third (SvS). Apart from descriptive data about the articles, data relating to

• how TL was defined,
• which theorists were featured,
• how TL was applied in the study,
• whether a learning intervention was described, and
• whether and how TL was assessed, were also captured.

These data were subjected to content analysis11 using a ‘structuration’ approach as an analytical frame, as we searched for patterns, similarities and contradictions across the data.12 Structuration theory acknowledges the structural and agentic dimensions present in all contexts. These dimensions informed the categorisation of our data as we sought to understand the way in which TL is structured as well as how it is experienced. The results of this analysis are presented in the section below (Step 5).

결과
Results

포함된 연구에 대한 설명
Description of the included studies

99개의 연구 중 총 42개(42%)는 개념적 연구였으며, 57개(58%)의 논문은 경험적 연구를 참조했습니다. 총 50개의 연구가 질적 방법론을 사용했으며, 혼합 방법 접근법을 사용한 연구가 균형을 이루었습니다. 순수하게 정량적 접근법을 사용한 연구는 한 편에 불과했습니다. 
A total of 42 (42%) of the 99 studies were conceptual in nature, whereas 57 (58%) papers referred to empirical work. A total of 50 studies used qualitative methodologies with the balance using a mixed methods approach. Only one study used a purely quantitative approach.

데이터 수집 방법은 심층적이고 반구조화된 포커스 그룹 및 개별 인터뷰(18%), 반성 에세이(9%), 저널 및 내러티브(6%), 설문조사 및 설문지(5%) 등 다양했습니다. 데이터를 생성하는 다른 접근 방식으로는 오디오 일기, 참가자 관찰, 중요 사건 보고서 및 디브리핑 세션 등이 있었습니다. 정량적 연구에는 성찰 설문지의 수정된 버전이 사용되었습니다.13 
The data collection methods varied between in-depth, semi-structured focus groups and individual interviews (18%), written reflection essays (9%), journals and narratives (6%), and surveys and questionnaires (5%). Other approaches to generate data included audio-diaries, participant observations, critical incidence reports and debrief sessions. A modified version of the Reflection Questionnaire was used in the quantitative study.13

포함된 연구에서 가장 많이 등장한 보건 전문직은 간호(52%)였으며, 의학교육 프로그램은 24개(24%) 논문에서 설명되었습니다. 4개의 논문에서는 여러 보건 전문직이 단일 연구에 포함되었습니다. 다른 보건 전문직으로는 치과, 약학, 사회학, 작업 치료 및 물리 치료가 포함되었습니다. 한 논문의 경우 직업이 확인되지 않았습니다. 총 68건(67%)의 논문에서 학부 프로그램을 언급했으며, 31건(31%)의 논문에서는 학부 및 대학원 수련생을 모두 포함했습니다. 실증 연구 중(37%) 참여자의 연령대는 학부 1학년에서 4학년까지 다양했습니다. 한 논문에는 대학원생도 포함되었습니다. 17편(17%)의 논문에서는 참가자의 연구 연도가 확인되지 않았습니다. 개입은 호주(n = 19), 캐나다(n = 8), 에콰도르(n = 2), 가나(n = 1), 일본(n = 1), 멕시코(n = 2), 남아프리카공화국(n = 6), 스웨덴(n = 4), 대만(n = 1), 영국(n = 12), 미국(n = 31), 잠비아(n = 1) 등 다양한 국가에서 농촌 및 도시 환경 모두에서 진행되었습니다. 약 44%의 논문이 글로벌 보건 맥락에서 적용된 것으로 확인되었습니다. 
Nursing was the health profession that featured most in the included studies (52%), whereas programmes in medical education were described in 24 (24%) articles. In four articles, multiple health professions were included in a single study. Other health professions included dentistry, pharmacy, sociology, occupational therapy and physical therapy. In the case of one article, the profession was not identified. A total of 68 (67%) articles referenced undergraduate programmes; 31 (31%) articles included both undergraduate and postgraduate trainees. Amongst the empirical studies (37%) participants ranged from first-year to final-year undergraduate students. One article also included postgraduate students. In 17 (17%) of the articles, the study year of participants was not identified. The interventions took place in various countries, including Australia (n = 19), Canada (n = 8), Ecuador (n = 2), Ghana (n = 1), Japan (n = 1), Mexico (n = 2), South Africa (n = 6), Sweden (n = 4), Taiwan (n = 1), UK (n = 12), USA (n = 31) and Zambia (n = 1), and in both rural and urban settings. Around 44% of articles were identified as having been applied in a global health context.

리뷰에서 확인된 변혁적 학습
Transformative learning in review

이 섹션에서는 TL 이론의 원칙이 포함된 연구에서 개념적으로나 실제적으로 어떻게 나타나는지 종합적으로 설명합니다. 총 69개 연구(70%)가 메지로우의 연구를 참조했으며, 많은 경우 브룩필드, 보이드, 크랜튼, 마이어와 랜드, 프레이레와 같은 다른 이론가들과 함께 인용했습니다. 검토한 HPE 문헌에서 TL을 정의하는 다양한 방식을 분석한 결과, 구성 요소는

• '입력' 영역(또는 TL을 촉진하는 조건), 학습 과정 자체에 대한 설명,
• '출력' 영역(또는 TL의 바람직한, 관찰되거나 이론화된 결과)을 중심으로 정리되었습니다.

In this section, we offer a synthesis of how the tenets of TL theory manifest in the included studies, both conceptually and practically. A total of 69 studies (70%) referenced the work of Mezirow, in many instances in tandem with other theorists such as Brookfield, Boyd, Cranton, Meyer and Land, and Freire. Based upon our analysis of the various ways in which TL is defined in the HPE literature reviewed, constituent elements were organised around

• ‘input’ spaces (or the conditions that foster TL), descriptions of the learning process itself, and
• ‘output’ spaces, or the desired, observed or theorised outcomes of TL.

변혁적 학습이 일어나는 방식
How transformative learning occurs

학습 이론으로서 TL은 자신에 대한 신념,14 타인에 대한 신념, 실천 등에 대한 신념의 변화 등 변화를 특징으로 합니다. 학습은 자신이 경험한 것에 비추어 자신이 믿고 알고 있는 것에 비판적으로 관여함으로써 발생하며,15,16 이전 학습을 넘어서고 이를 기반으로 한다는 점에서 구성주의 원칙을 기반으로 합니다.17-19 또한 실수로부터 배우는 것을 의미할 수도 있습니다.20 포함 된 많은 연구에서 지배적 인 주제는 TL이 발생하려면 기존의 참조 프레임에 의문을 제기하고 이러한 신념과 편견의 기반이되는 지식과 가치에 의문을 제기 할 수있는 덜 알려진 환경에 들어가기 전에 자신의 신념, 마음의 습관 및 편견을 재평가 할 수있는 기회가 있어야한다는 점을 강조했습니다 .16, 18, 21-37 따라서 TL을 가능하게 하는 것은 자신의 기존 가정을 인식하고 자신의 세계관에 도전을 받는 것입니다.38-53 또한 '자유로운 학습 환경' 또는 '자율적 사고와 자기 권한 개발에 도움이 되는 환경'54, 55은 경험을 재해석하는 데 필요한 것으로 설명되었습니다. TL은 인지 영역17, 27, 40, 56 및 정서 영역23, 27, 54, 57 모두에서 의도적이고 의식적인 행위가 필요하며, 비판적 사고를 수반합니다.17, 31, 58
As a theory of learning, TL is characterised by change: change in one's beliefs about oneself,14 about others, about practices, etc. Conceptualisations draw on constructivist principles in that learning occurs through critically engaging with what one believes and knows in light of what one experiences,15, 16 going beyond and building on prior learning.17-19 It may also mean learning from one's mistakes.20 A dominant theme across a large number of the included studies emphasised that for TL to occur there has to be an opportunity for questioning existing frames of reference, and for reassessing one's beliefs, habits of mind and prejudices before entering a less-known environment where the knowledge and values upon which these beliefs and prejudices are founded might be questioned.16, 18, 21-37 Enablers for TL are therefore becoming aware of one's prior assumptions and having one's world view challenged.38-53 In addition, ‘liberating learning environments’ or ‘those conducive to developing autonomous thinking and self-empowerment’54, 55 were described as necessary for reinterpreting experiences. TL requires an intentional, conscious act that occurs within both the cognitive17, 27, 40, 56 and affective domains,23, 27, 54, 57 and involves critical thinking.17, 31, 58

많은 연구에 따르면 TL은 다른 맥락, 특히 교실 밖에서 몰입을 통해 가장 잘 촉진된다고 합니다.59 이는 학습에서 장소와 맥락의 역할을 인정하는 '장소의 교육학'을 말합니다.29, 60 교수 학습에 대한 일반적인 교육학 및 접근 방식은 학생들이 알고 있는 것과 다른 커뮤니티에 적극적으로 참여해야 하는 것이었습니다.61, 62 덜 친숙한 지역사회에서의 이러한 참여에는

• 농촌 또는 소외된 지역사회에서 일하기,53, 59-61, 63-68
• 해외 여행,36, 69
• 정신건강 기관에서의 봉사 학습,45, 70
• 소외되고 불우한 사람들을 위한 가정 방문,52, 71, 72 또는
• 임종 환자 돌보기가 포함되었습니다.73

Many of the studies suggested that TL is often best facilitated through immersion in a different context, specifically outside of the classroom.59 It speaks to a ‘pedagogy of place’ that acknowledges the role of locale and context in learning.29, 60 Common pedagogies and approaches to teaching and learning were those that required active engagement with communities that appeared to be different to what the students knew.61, 62 These engagements in less familiar communities included

• working in rural or underserved communities,53, 59-61, 63-68 
• travelling abroad,36, 69 
• service learning at mental health institutions,45, 70 
• visiting homes for marginalised and otherwise disadvantaged persons,52, 71, 72 or
• caring for patients at the end of their lives.73

임상 활동(29%)과 워크숍을 통한 대화형 교육(13%)에 중점을 두는 것으로 나타났습니다. 온라인 과정30, 74-76 디지털 스토리텔링21, 77 및 영화78, 시뮬레이션20, 25, 32, 48, 50, 51이 사용되었습니다. 중재에는 협력 또는 동료 주도 학습, 그룹 또는 팀워크37, 57, 79-81, 멘토링82, 대화 기회 및 내러티브 사용 등이 포함되었습니다.17, 39, 62 마찬가지로 '체험적' 학습25, 57, 68 및 자연 환경에서의 진정한 경험을 제공하는 학습19, 33, 41, 59, 83은 자원 또는 사회 경제적 관점에서 종종 도전적인 것으로 보였습니다.35, 52
There was a clear focus on clinical activities (29%) and interactive teaching through workshops (13%). Online courses,30, 74-76 digital storytelling21, 77 and film,78 as well as simulation,20, 25, 32, 48, 50, 51 were used. Interventions included collaborative or peer-led learning, group or teamwork37, 57, 79-81 and mentorship,82 with opportunities for dialogue and the use of narrative.17, 39, 62 Similarly, what was described as ‘experiential’ learning25, 57, 68 and learning that provided for authentic experiences19, 33, 41, 59, 83 in natural settings were seen to be challenging often from a resource or socio-economic perspective.35, 52

99개 논문 중 총 64개 논문에서 TL을 촉진하고 평가하는 과정으로서 성찰을 언급했으며, 한 논문에서는 '총체적 성찰 모델'을 제시했습니다.84 성찰을 장려하는 구체적인 방법으로는 인터뷰69, 83 및 디브리핑,32, 85 토론,41, 86 핵심 가치에 집중,29 및 저널 사용을 포함한 성찰적 글쓰기 등이 있습니다.13, 27, 30, 45, 52, 87 성찰은 '개방형',40 '자기 성찰'28 및 '비판적',38, 55, 63, 88-90으로 묘사되었으며, 한 연구에서는 이러한 '비판적 성찰'이 이론과 실무 사이의 간극을 최소화할 수 있다고 제안했습니다.90
A total of 64 of the 99 articles made reference to reflection as a process to both facilitate and assess TL, with one article offering a ‘Model of Holistic Reflection’.84 Specific ways in which reflection was encouraged included interviewing69, 83 and debriefing,32, 85 discussions,41, 86 focusing on core values,29 and reflective writing, including using journals.13, 27, 30, 45, 52, 87 Reflection was described as ‘open-ended’,40 ‘self-reflection’28 and ‘critical’,38, 55, 63, 88-90 with one study suggesting that such ‘critical reflection’ could minimise the gap between theory and practice.90

TL에는 강력한 사회적 의무도 있습니다. 이는 학생과 다른 사고방식과 행동방식을 가진 커뮤니티를 포함한 다른 사람들과의 참여를 전제로 합니다.23, 36, 42, 88, 91 여러 저자가 TL의 사회적 차원을 언급하고 있습니다. 변혁적 학습은 비판적 성찰을 통한 성찰의 과정으로 새로운 사고방식 또는 조명으로 이어질 뿐만 아니라,86 '공감적 경청'37 합리적 담화,30 반성적 담화26 및 타인의 가정에 대한 인식 등 높은 수준의 의사소통 기술을 강조합니다.92
There is also a strong social imperative for TL. It presupposes engagement with others, including communities, who may well have different ways of thinking and doing to those of the student.23, 36, 42, 88, 91 Several authors refer to the social dimensions of TL. Transformative learning is not just the process of introspection through critical reflection that leads to new ways of thinking, or illumination,86 but it also emphasises high-level communication skills, including ‘empathic listening’,37 rational discourse,30 reflective discourse26 and an awareness of the assumptions of others.92

여러 연구41에서는 TL의 '트리거' 역할을 하는 특정 사건이나 조건을 설명했습니다. 메지로우의 변형적 학습의 10단계 중 첫 번째 단계인 '방향성 상실 딜레마'에 대한 개념이 강하게 등장했습니다.23, 36, 40, 51, 93 종종 이것은 특정 사건이나 경험, 일반적으로 위에서 언급한 '진정한' 경험과 연결되며 죄책감 및 두려움과 연관될 수 있습니다.40, 59 어떤 경우에는 TL이 마이어와 랜드의 '역치 개념':41, 43, 47, 77, 94 '어떤 것을 이해하거나 해석하거나 보는 변화된 방식'과 직접적으로 연결되기도 했습니다.95
Several studies41 described specific events or conditions that acted as ‘triggers’ for TL. Mezirow's notion of a ‘disorienting dilemma’, the first of his 10 phases of transformative learning, featured strongly.23, 36, 40, 51, 93 Often this was linked to a particular event or experience, typically the ‘authentic’ experiences mentioned above, and could be associated with feelings of guilt and fear.40, 59 In some instances, TL was directly linked to Meyer and Land's idea of ‘threshold concepts’:41, 43, 47, 77, 94 ‘a transformed way of understanding, or interpreting, or viewing something’.95

변혁적 학습의 결과
Outcomes of transformative learning

연구에 기술된 바와 같이, 변혁적 학습은 학생들의 직업적 정체성 형성에 영향을 미치는 것으로 나타났습니다.45, 47, 62 학생들이 더 차별적인 관점을 개발함에 따라 그들의 세계관이 변화했습니다.47, 53, 58, 66, 96-98 따라서 TL은 가치, 태도 및 행동에 영향을 미쳤으며,30, 37, 57, 61, 72, 99 그리고 자신을 보고 이해하는 방식에 영향을 미쳤습니다.14, 33, 69, 80 학생들은 의료 영역 내의 조건을 포함하여 사물에 대한 새로운 해석을 개발했습니다.22, 93 문화와 사회경제적 지위에 관계없이 타인에 대한 인식이 높아졌고,17, 28, 64 다양한 관점을 고려하는 '다양성'으로 나아감에 따라 서로 다른 의견과 관점23 에 대한 인식이 높아졌습니다.17 연구들은 이러한 인식이 겸손과 성실성,24, 55, 57 및 공감과 배려를 특징으로 하는 환자 중심주의와 같은 인문학적 가치를 어떻게 향상시키는지에 대해 이야기했습니다.17, 22, 45 학생들은 또한 사회적, 전문적, 치료적, 호혜적인 관계를 구축하고 협상할 진정한 기회를 가진 것으로 묘사되었습니다.24, 33, 64, 78, 93, 100, 101.
Transformative learning, as described in the studies, was seen to influence the formation of students’ professional identity.45, 47, 62 As they developed more discriminating perspectives, their worldviews shifted.47, 53, 58, 66, 96-98 Accordingly, TL influenced their values, attitudes and behaviours,30, 37, 57, 61, 72, 99 and how they saw and understood themselves.14, 33, 69, 80 Students developed new interpretations of how things were, including conditions within the realm of health care.22, 93 There was a heightened awareness of others,17, 28, 64 regardless of culture and socio-economic standing,69 and of differing opinions and perspectives23 as they progressed towards ‘multiplicity’ considering multiple viewpoints.17 Studies spoke of how this awareness enhanced humanistic values, such as humility and integrity,24, 55, 57 and patient-centredness, characterised by empathy and caring.17, 22, 45 Students were also described as having authentic opportunities to build and negotiate social, professional, therapeutic and reciprocal relationships.24, 33, 64, 78, 93, 100, 101

TL은 인지적 차원이 강한 것이 특징이지만, 그 영향은 행동 변화로 나타나야 합니다. 학생들은 변화의 주체가 되는 것으로 묘사되었는데,44, 64, 67 이는 사회적 책임과 사회 정의의 문제를 모두 다루는 변화를 주장한 메지로우 이론의 중요한 특징입니다. 변화된 세계관은 개인이 사회적 불공정,58, 74, 102 보건 맥락에서 건강 불평등으로 이어지는 사회적 불공정을 살펴볼 수 있게 해줍니다.31 
Although TL is characterised as having a strong cognitive dimension, its impact should manifest in behavioural change. Students were described as becoming agents for change,44, 64, 67 an important feature of Mezirow's theory, which argued for change that spoke to issues of both social accountability and social justice. The transformed view of the world allows individuals to examine social injustice,58, 74, 102 which in a health context leads to health inequalities.31

학생들의 성찰력 향상은 자아실현 과정을 촉진하여 자신감과 그에 따른 역량70 및 권한 부여를 구축하는 것으로 보입니다.54, 85 학생들은 문화적 역량감의 결과로 다른 문화권의 환자를 돌보는 데 더 자신감이 있다고 주장했습니다66, 85, 93 일부 연구에서는 위에서 언급한 몰입의 결과로 학생들이 환자, 다른 의료 전문가 및 지역사회 구성원과의 소속감 또는 유대감을 발전시켰다고 제안했습니다.19, 83 
Students’ increased reflectiveness encourages a process of self-actualisation, which is seen to build self-confidence and the resulting competence70 and empowerment.54, 85 Students claimed to be more confident in caring for patients from different cultures66, 85, 93 as a result of a sense of cultural competency.87 Some studies suggested that as a result of the immersion that was mentioned above, students developed a sense of belonging or connectedness with patients, other health care professionals and members of the community.19, 83

학생, 그리고 궁극적으로 환자 치료, 의료 서비스 제공, 심지어 사회에 대한 TL의 가치에 대해 포함된 연구들 전반에 걸쳐 많은 일관성이 있었지만, 논의가 필요한 몇 가지 덜 일반적인 지표도 있었습니다. 예를 들어, 개인적 및 사회적 차원이 설명된 결과에서 강하게 나타났지만, 한 연구에서는 학생들이 여전히 '학문적 지식'을 습득했지만 이전에 경험했던 것과는 '다른 방식'으로 습득했다고 제안했습니다.68 
Although there was much coherence across the included studies as to the value of TL for students, and indeed ultimately for patient care, health care delivery and even society, there were also some less-common indicators that warrant discussion. For example, although personal and social dimensions featured strongly in the described outcomes, one study suggested that students still acquired ‘academic knowledge’ but did so ‘in a different way’ from what they felt they had experienced previously.68

변혁적 학습 경험
Experience of transformative learning

대부분의 연구에서 TL이 개인의 커리어에 상당한 긍정적인 영향을 미칠 수 있는 것으로 나타났지만, 학생들이 불안한 경험을 할 수도 있음도 분명했습니다. 위에서 언급한 죄책감과 두려움 외에도 연구들은 학생들이 학습 경험을 '변혁적', '격렬함',72 '불편함'93, '불확실성'을 특징으로 하는 것으로 묘사했습니다.47 경험은 또한 '지적'71, '감정적'63, 71, 101뿐만 아니라 '다름'34, 60 또는 '여정'으로 묘사되기도 했습니다.63
Although most studies framed TL as potentially having a significant positive effect on an individual's career, it was evident that students could also have some unsettling experiences. Apart from the guilt and fear mentioned above, studies also described how students experienced learning events as being ‘transformative’, ‘intense’,72 ‘uncomfortable’93 and characterised by ‘uncertainty’.47 Experiences also were described as ‘intellectual’71 and ‘emotional’,63, 71, 101 but also ‘different’34, 60 or as a ‘journey’.63

학생들은 자신의 입장과 기준이 도전받을 때 다양한 관점을 고려할 수 있는 수용성과 역량49 을 갖추어야 합니다. 그들은 어느 정도의 취약성을 경험하는 데 개방적이어야 하며, 환자나 상황으로부터 거리를 두기보다는 '방향 감각을 잃는 딜레마'를 받아들여야 합니다.94 TL 이론에 내포된 사회적 선으로 이어질 수 있는 이해의 공통 기반37을 모색하려는 의도가 있어야 합니다. 필연적으로, 너무 자기중심적이거나 정서적으로 단절되어 혜택을 받지 못하는 학생들이 있을 수 있습니다.63 휴가 마인드는 '해외 유학' 연구에서 인정된 위험입니다.63 마지막으로, 포함된 연구 중 단 한 건만이 수행된 연구가 TL의 증거를 제공하지 않았으며 특히 윤리적 문제와 관련하여 학생들이 직면하는 불확실성과 도전에 어려움을 겪는 경험을 기술했다는 점에 유의해야 합니다.103 이 저자들과 다른 사람들104 은 학생들이 그러한 학습 계획에 미리 준비할 수 있도록 커리큘럼을 갱신할 것을 촉구합니다. 
Students need to be receptive and have the capacity49 to consider multiple viewpoints when their own positions and frames of reference are being challenged. They need to be open to experiencing a level of vulnerability and take the ‘disorienting dilemmas’ on board rather than opting to distance themselves from either the patients or the context.94 There needs to be an intent to seek common ground for understanding37 that will lead to the social good that is implicit in TL theory. Inevitably, there are students who may be too egocentric and/or emotionally disconnected to benefit.63 A vacation mindset was an acknowledged danger in ‘study abroad’ studies.63 Finally, it should be noted that only one included study indicated that the work conducted had provided no evidence of TL and described the experience of students struggling with the uncertainty and challenges that they are presented with, specifically with regards to ethical issues.103 These authors and others104 call for curriculum renewal to prepare students in advance for such learning initiatives.

토론
Discussion

저희가 아는 한, 이 리뷰는 HPE 문헌에서 최초로 작성된 것입니다. 이 검토를 통해 HPE에서 TL이 무엇으로 인식되는지, TL이 어떻게 육성되는지, 학생들이 어떻게 경험하는지에 대해 광범위한 합의가 이루어지고 있음을 알 수 있었습니다. [변혁적 학습]은 성찰을 장려하는 경험이나 사건을 통해 세상을 보는 방식을 변화시키는 학습으로, 일반적으로 선입견에 도전하여 미래의 긍정적인 행동과 의미 있는 관계를 가능하게 합니다.1 기존 교실 밖에서 학습이 이루어지고 학생들이 덜 익숙한 상황에 노출되며 공식 강의 이외의 전달 및 참여 방식이 채택될 때 더 일반적인 것으로 나타났습니다. TL이 이루어지려면 학생들이 이러한 낯선 상황에 대응하고 참여할 수 있는 역량이 있어야 합니다. 이러한 역량이 부족하면 TL이 이루어지지 않을 수 있습니다. 
To the best of our knowledge, this review represents the first of its kind in HPE literature. The review showed that there is broad consensus as to what TL in HPE is perceived to be, how TL is fostered, and how students experience it. Transformative learning is described as learning that changes the way we see the world through an experience or event that encourages reflection, typically challenging preconceived understandings, which enables positive future action and meaningful relationships.1 It appears to be more common when learning takes place outside of the conventional classroom, when students are exposed to less familiar contexts, and when modes of delivery and engagement other than formal lectures are adopted. For TL to occur, students must have the capacity to respond to and engage in these unfamiliar contexts. A lack of such capacity can preclude TL.

TL 이론이 학습 이론 담론에 동화되는 방식에 대한 비판이 제기되었습니다.105, 106 예를 들어, 뉴먼은 변화가 TL의 핵심이라고 주장하며 모든 학습이 어떤 식으로든 변화에 관한 것이 아닌지, 그리고 TL을 뚜렷한 현상으로 식별할 수 있는지 의문을 제기합니다.106 아마도 TL 이론은 본질적으로 특정 목적을 위한 학습이지만, 우리가 학습을 더 잘 이해할 수 있는 틀을 제공하는 것일 수 있습니다. 따라서 우리는 TL이 실제로 식별 가능하고 뚜렷한 현상이라고 주장할 수 있습니다. 최근의 한 리뷰에서는 이러한 뚜렷한 특징을 강조하면서 '세계관', 우리가 경험을 이해하는 방식에 영향을 미치는 가정, 신념, 태도 및 보다 복잡한 관점의 발달로 구성된 TL 결과의 유형학을 설명하며 다섯 가지 측면으로 구성된다고 설명합니다:

• (i) '자아', 책임감, 타인과의 관계에서 자신을 아는 것, 자신의 정체성,
• (ii) '인식론', 지식이 무엇인지에 대한 변별력을 키우고 다양한 앎의 방식을 인정하는 것,
• (iii) '존재론', 세상에 존재하는 방식,
• (iv) '행동', 변화된 관점과 새로운 기술 및 스킬의 영향을 받는 행동,
• (v) '역량', 인지적 및 정서적 능력으로 구성됩니다. 107

Criticism has been lodged against the way in which TL theory has been assimilated into learning theory discourse.105, 106 For example, Newman argues that change appears to be key to TL and questions whether all learning is not about change in some way and whether it is even possible to identify TL as a distinct phenomenon.106 Perhaps it is that TL theory essentially provides a frame within which we are better able to understand learning, although in this instance it is learning to a particular end. We would therefore argue that TL is indeed identifiable and distinct. A recent review emphasises these distinct features, describing a typology of TL outcomes comprising ‘worldview’, the assumptions, beliefs, attitudes that influence how we make sense of an experience and the development of a more complex perspective, consisting of five aspects:

• (i) ‘self’, taking responsibility, knowing oneself, also in relation to others, and one's identity;
• (ii) ‘epistemology’, becoming more discriminating about what knowledge is and acknowledging multiple ways of knowing;
• (iii) ‘ontology’, ways of being in the world;
• (iv) ‘behaviour’, action influenced by changed perspectives and even new skills; skills, and
• (v) ‘capacity’, cognitive and affective ability.107 

이러한 각 영역은 각 연구에 모두 포함되지는 않았지만, 본 검토에서 어느 정도는 존재합니다. 그렇다면 학습 경험은 언제 변혁적이라고 할 수 있을까요? 일반적으로 개입을 설명하는 포함된 연구들은 모두 정보제공적 및 형성적 접근 방식을 넘어서는 학습 유형에 대해 이야기하지만, 이러한 유형론을 포함 기준으로 적용하면 이러한 출판물 중 상당수가 제외될 수 있습니다. 따라서 TL을 촉진하는 측면에서 이러한 출판물의 입지는 비판받을 수 있습니다.
Each of these domains is present in our review to a greater or lesser extent, although they are not all present in each of the studies. This prompts the question: when does a learning experience qualify as transformative? Although in general the included studies that describe an intervention all speak to a type of learning that goes beyond informative and formative approaches, the application of such a typology as inclusion criteria would have resulted in excluding many of these publications. Their standing in terms of facilitating TL could therefore be critiqued.

호건은 [깊이 있고 폭넓은 경험과 변화가 일시적이지 않다는 증거]가 TL의 중요한 기준이라고 주장합니다.107 이러한 기준은 메지로의 10단계 TL과도 공감을 불러일으킵니다.

• 방향을 잃은 딜레마에 직면하는 것에서부터
• 자신과 자신의 가정에 대한 비판적 성찰,
• 새로운 역할과 다른 행동 방침에 대한 고려,
• 이러한 새로운 역할의 채택,
• 마지막으로 새로운 존재 방식을 기반으로 한 삶에 재통합

메지로우의 연구는 포함된 연구에서 지배적이었으며, 특히 경험적 연구를 설명하는 연구들에서 이러한 단계가 많이 등장합니다. 
Hoggan argues that depth and breadth of experience and evidence that change is not temporary are important criteria for TL.107 These criteria also resonate with Mezirow's 10 phases of TL, which move

• from being confronted with a disorienting dilemma,
• to critical reflection of self and of one's assumptions,
• to consideration of new roles and a different course of action,
• to the adoption of these new roles, and
• finally, reintegration into one's life based on one's new way of being.

Mezirow's work was dominant in the included studies, and many of these phases are featured, particularly in those studies that describe empirical work.

그러나 일반적으로 표현의 빈도는 단계가 올라갈수록 감소하며, 대부분의 연구에서 학생들이 자신의 가정을 반성하도록 도전을 받고, 이를 통해 새로운 관점을 갖게 된다는 점을 인정하지만, 변화된 행동을 강조하는 경우는 적었습니다. 이는 언제 TL을 주장할 수 있는지, 그리고 모든 단계를 거쳐야 하는지에 대한 의문을 다시 제기합니다. TL 이론은 새로운 존재 방식이 통합적이고 되돌릴 수 없다고 주장하지만, 변화가 지속되는 정도에 대한 관점을 제공할 수 있는 종단 연구는 부족하며, 한 가지 예외로 Greenhill 등의 연구(108)가 있습니다. 또한 지속적인 변화를 특정 사건에 기인하는 것은 불가능하다고 주장할 수도 있습니다.
Generally, however, the frequency of representation diminishes the further one moves through the phases, with most studies acknowledging students being challenged to reflect on their assumptions, and suggesting that this leads to new perspectives, but with fewer emphasising changed action. This again raises the question about when a claim for TL can be made, and whether movement through all phases is required. Although TL theory claims that the new ways of being are both integrated and irreversible, there is a dearth of longitudinal studies, one exception being a study by Greenhill et al.,108 that could offer perspectives on the extent to which change is sustained. In addition, one might argue that it is not possible to attribute sustained change to a particular event.

이 연구가 HPE에 주는 시사점은 무엇일까요?

• 첫째, 맥락이 중요합니다. 의료 전문가 교육이 진료에 적극적으로 참여하는 환경으로 계속 이동함에 따라,109 종종 낯선 환경(병원에서 처음 배우거나 외국에서의 선택 과목 등)에서 잠재적으로 변화를 일으킬 수 있는 학습 경험에 노출될 기회가 늘어날 것입니다. 기존의 교실에서 벗어나면 학생과 교육자 모두 사회 정의와 같이 해당 분야의 원조 이론가들의 연구에 내포된 공식 커리큘럼을 넘어서는 문제를 자유롭게 탐구할 수 있습니다.
• 둘째, 맥락의 영향에도 불구하고 TL은 개인, 즉 개인의 여정에 관한 것입니다. 이 여정은 인지적 차원과 정서적 차원, 인식론적 입장과 존재론적 입장이 모두 특징이며, 이러한 입장은 서로 얽혀 있어 위에서 언급한 학습의 깊이와 폭을 잠재적으로 제공합니다.
• 셋째, HPE의 맥락에서 사회적, 관계적, 정서적 구성 요소는 돌봄 직업의 전문가가 되는 것과 특별한 관련성이 있습니다. 앞서 언급했듯이 메지로우는 TL이 궁극적으로 사회 변화를 이끌고 사회 정의를 증진할 수 있다고 생각했습니다. 현재 전 세계 보건 불평등의 맥락에서 볼 때, 미래의 의료 전문가들이 어떤 학습에 노출되기를 바라는지를 고려할 때 이러한 의무는 다른 어떤 것보다도 강력하게 다가옵니다.

What are the implications of this study for HPE?

• First, context is critical. As the training of health professionals continues to move towards settings where they are active participants in care,109 often in unfamiliar surroundings (whether learning for the first time in a hospital or on an elective in a foreign country), increased opportunities for exposure to learning experiences that are potentially transformative will become available. Moving outside of the conventional classroom offers both students and educators the freedom to explore issues beyond the formal curriculum, such as social justice, that are implicit in the work of the original theorists in the field.
• Second, despite the influence of context, TL is about the individual – his or her journey. This journey is characterised by both a cognitive and an affective dimension, an epistemological and ontological position, and these are intertwined, potentially providing for the depth and breadth of learning alluded to above.
• Third, in the context of HPE, the social, relational and emotional components have specific relevance to becoming a professional in any of the caring professions. As mentioned earlier, Mezirow's sense was that TL would ultimately lead to social change and promote social justice. In the context of current global health inequity this imperative strikes a chord more strongly than any other when considering the learning that we would wish future health professionals to be exposed to.

마지막으로, 이 연구 결과는 임상 교육자를 포함한 교사, 커리큘럼 개발자, 위에서 설명한 것과 같이 학습 기회를 창출하고 학습 환경을 조성하는 프로그램 관리자에게도 시사점을 줍니다. 이러한 과제를 수행하려면 교육자 스스로가 자신의 신념과 이것이 자신의 실무에 어떤 의미를 가질 수 있는지에 대해 비판적으로 참여할 준비가 되어 있어야 합니다. 커리큘럼 리뉴얼 활동에는 학생들이 비판적 자기 성찰에 참여할 수 있는 교수 전략이 포함되도록 설계할 수 있습니다. 그러나 그에 못지않게 중요한 것은 보건 전문직에 종사하는 교육자가 인지적, 정서적으로 긍정적이든 부정적이든 학생들의 잠재적 반응에 민감하게 반응하는 것입니다. 보건 전문직 교육자에게 TL을 촉진하기 위한 세부적이고 실용적인 지침을 제공하는 것이 이 검토에서 나온 중요한 다음 단계가 될 것입니다. 
Finally, the findings of this study also carry implications for teachers, including clinical educators, for curriculum developers and for programme administrators responsible for creating learning opportunities and establishing enabling learning environments, such as those described above. To fulfil these tasks would require a preparedness on the part of these educators to themselves critically engage with what they believe and what this might mean for their own practice. Curriculum renewal activities can be designed to include teaching strategies that engage students in critical self-reflection. Equally important, however, is for educators in the health professions to be sensitive to students’ potential responses, whether positive or negative, both cognitively and emotionally. Providing detailed and practical guidelines for educators in the health professions about facilitating TL would be an important next step to emerge from this review.

이 검토는 TL에 대한 현재 이해와 기존 HPE 문헌에 표현된 방식 사이의 간극을 해결하고자 했지만, 이 작업에는 한계가 있습니다. 문헌의 범위를 정할 때 깊이보다는 폭을 넓히는 접근 방식을 채택했습니다. 종합 과정에서 고유한 세부 정보가 누락되었을 수 있습니다. 범위 검토의 관례에 따라 포함된 연구의 근거의 질을 공식적으로 검토하지 않았습니다.9 체계적 문헌고찰을 통해 이러한 격차를 해결할 수 있습니다. 또한, 간호 전문직이 포함된 연구에서 가장 많이 대표되는 프로그램이었기 때문에 모든 보건 전문직 학부 프로그램에 대한 이 검토의 관련성에 의문이 제기될 수 있습니다. 그럼에도 불구하고 이 연구는 TL을 육성하고 평가하려는 향후 연구에 정보를 제공할 수 있는 통찰력을 제공한다고 믿습니다. 더 주목해야 할 또 다른 측면은 TL을 촉진하고 평가하는 데 있어 자기 성찰의 역할입니다. 마지막으로, 검토팀은 임상의, 관리자, 교육자 등 다양한 전문가 그룹으로 구성되었으며, 이들은 각기 다른 관점에서 검토 및 분석 과정에 접근했습니다. 합의에 도달하기 위해서는 격렬한 토론이 필요했지만, 그 덕분에 최종 결과물이 향상되었다고 생각합니다.
Although this review has sought to address a gap in our current understanding of TL and how it is represented in the existing HPE literature, there are limitations to this work. In seeking to scope the literature we adopted an approach that pushed for breadth rather than depth. In the process of synthesis, unique details may have been lost. Following the conventions of scoping reviews, we did not formally review the quality of the evidence in the included studies.9 A systematic review might address this gap. Furthermore, because the nursing profession was the most represented programme in the included studies, the relevance of this review for all health professions’ undergraduate programmes may be questioned. Nevertheless, we believe that the work provides insights that can inform future studies that seek to foster and assess TL. Another aspect that warrants further attention is the role of self-reflection in facilitating and assessing TL. Finally, the review team comprised a diverse group of professionals that includes clinicians, administrators and educationalists, who approached the process of review and analysis from quite different perspectives. Reaching consensus required vigorous debate, but we believe this enhanced the final product.

결론
Conclusions

변혁적 학습 이론은 '가장 진보된 종류의 인간 학습으로 인식될 수 있는 것을 이해하는 데 국제적으로 잘 알려져 있고 인정받는 공헌'이 되었습니다.110 '복잡하고 다면적인',4 '고등교육의 상징적인 교육 철학'1, '분석적 메타이론'107 으로 교육자들에게 학생들의 학습을 바라볼 수 있는 이론적 렌즈를 제공하는 것으로 묘사되어 왔습니다. TL에 대한 비판에도 불구하고 우리가 주목할 가치가 있다는 것은 의심할 여지가 없으며, 이 검토에서 제기된 문제를 탐구하는 추가 작업이 필요합니다. 
Transformative learning theory has become ‘an internationally well known and recognised contribution to the understanding of what may be perceived as the most advanced kind of human learning’.110 It has been described as ‘complex and multifaceted’,4 ‘the iconic education philosophy’1 in higher education, and an ‘analytic metatheory’107 providing educators with a theoretical lens through which to view students’ learning. Notwithstanding critiques levelled at TL, there can be no doubt that it warrants our attention and further work that will explore the issues raised in this review is required.

BGHEI의 주요 목표 중 하나는 글로벌 보건 교육을 위한 커리큘럼 권고안을 제공하는 것과 관련이 있습니다.111 특히 학생들을 준비시키고, 비판적 성찰과 담론을 위한 시간과 공간을 확보하고, 불편함을 허용하고 '안전한' 공간에서 벗어날 수 있도록 학습 이벤트 또는 경험을 구성하는 측면에서 글로벌 보건 교육 개입에 관여하거나 착수하려는 사람들이 이 검토에서 많은 것을 배울 수 있습니다. 그러나 우리는 이 검토가 더 넓은 관점을 제공하며 21세기 보건 전문직 교육이 직면한 과제를 해결하려면 우리가 살고 있는 세계의 복잡성을 인정하고 우리가 알고 있다고 믿는 것에 의문을 제기하는 '인간 번영'을 가능하게 하는 불확실성의 교육학이 필요하다고 주장합니다.112 변혁적 학습 이론은 그러한 교육학을 제공합니다.
One of the main goals of the BGHEI relates to offering curriculum recommendations for global health education.111 Much can be learned from this review by those who are involved in, or intend to embark on, a global health educational intervention, particularly in terms of preparing students, ensuring time and space for critical reflection and discourse, structuring learning events or experiences to allow for discomfort and a move away from ‘safe’ spaces. However, we would argue that the review offers a broader perspective and that addressing the challenges facing health professions education in the 21st century requires a pedagogy of uncertainty that allows for ‘human flourishing’, acknowledging the complexity of the world we live in and questioning what we believe we know about it.112 Transformative learning theory offers such a pedagogy.

© 2019 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

의학교육의 문턱개념: 스코핑 리뷰(Med Educ, 2022)
Threshold concepts in medical education: A scoping review
Helen Jones | Lucy Hammond

1 배경
1 BACKGROUND

문턱 개념(TC)은 20031년에 처음 설명되었으며, '이전에는 접근할 수 없었던 새로운 사고 방식을 열어주는 포털과 비슷하다'고 묘사됩니다.1(p1) 따라서 TC를 파악하면 학습자의 주제 또는 학문에 대한 이해와 인식이 변화하여 학습이 진전될 수 있습니다.1 마이어와 랜드(2003)는 열전달을 예로 들었는데, 온도 구배에 따라 무언가가 식는 속도가 결정된다는 것을 이해하면 요리에 대해 생각하는 방식이 달라지고 그 과정을 가장 잘 돕기 위해 사용하는 냄비가 달라질 수 있습니다.1 임계치 개념 프레임워크(TCF)가 발전하면서 학생들이 다양한 정도로 경험할 수 있는 몇 가지 가능한 특징이 제안되었습니다. 이러한 특성은 표 1에 설명되어 있습니다.  
Threshold concepts (TCs) were first described in 20031 and are depicted as ‘akin to a portal opening up a new and previously inaccessible way of thinking about something’.1(p1) Grasping a TC therefore enables transformation of the learner's understanding and perception of a subject or discipline which allows them to progress.1 Meyer and Land (2003) used heat transfer as an example: understanding that the temperature gradient determines the rate at which something cools, which transforms how someone thinks about cooking and may change what pots they use to best aid the process.1 As the threshold concept framework (TCF) has developed, several possible characteristics have been proposed, which students may experience to varying degrees. These are described in Table 1.

따라서 TC는 지식의 기본 구성 요소 그 이상을 나타냅니다. 여기에는 학습자가 새로운 이해와 씨름하는 동안 한계 공간을 점유하는 숙달을 향한 여정이 포함됩니다.2, 3, 5 이러한 투쟁은 모방으로 나타날 수 있으며, 학습자는 이 공간을 성공적으로 탐색하기 위해 지원이 필요할 수 있습니다.2, 5 문턱을 넘으면 '앎, 수행, 존재, 미래 학습 가능성'에 변화가 생깁니다.6(263쪽) 이는 인식론적 또는 존재론적 전환을 의미하며,7 학생들이 학문의 특정 방식으로 사고할 수 있게 하고, 학문의 일부가 될 때 학습자의 정체성1-4 의 변화와 관련이 있습니다.6 
TCs, therefore, represent more than basic building blocks of knowledge. They involve a journey towards mastery in which the learner occupies a liminal space while they grapple with new understandings.2, 3, 5 This struggle can present as mimicry and the learner may need support to successfully navigate this space.2, 5 Crossing a threshold subsequently leads to a change in ‘knowing, doing, being, and future learning possibilities’.6(p263) This represents a transformative epistemological or ontological shift,7 enabling students to think in a discipline specific way, and is associated with a transfiguration of the learner's identity1-4 as they become part of the discipline.6

따라서 TC는 보건 전문직 교육에서 사고와 실천 방식을 탐구하는 데 활용되어 왔습니다.6, 8 이러한 맥락에서 TCF는 커리큘럼이 학생들이 실제 실무에 가장 잘 대비할 수 있게 하고, 전문직 정체성 형성을 방해하는 문제를 해결할 수 있는 방법을 탐색하는 렌즈를 제공합니다.8, 9 또한 학생들이 단절된 학습 경험을 통합하는 데 도움이 되고9 교육자가 주제 영역5, 9에 대한 이해를 높이는 중요한 개념에 집중할 수 있어 내용이 많은 의료 교과 과정에서 유용한 도구로 활용될 수 있습니다. 그러나 브라운 등은 TCF가 하나의 지식 체계를 암시하고 정체성에 대한 인지적 개념에 초점을 맞춘다는 점에서 [구성주의 패러다임과 상충]되는 것처럼 보이기 때문에, 보건 전문직 커리큘럼에서 TCF의 적합성에 이의를 제기했습니다.10 그들은 TC를 커리큘럼을 구성하는 데 사용해서는 안 되며 학생과 교육자 간의 토론을 돕기 위한 성찰적 자극으로 사용해야 한다고 주장합니다.10
TCs have therefore been utilised in health professions education to explore ways of thinking and practising.6, 8 In this context, the TCF provides a lens for exploring how curricula can best prepare students for real-world practice and address issues which hinder professional identity formation.8, 9 In addition, it could aid students in integrating disjointed learning experiences9 and help educators focus on crucial concepts that open up greater understanding of the subject area5, 9—a useful tool in content-heavy medical curricula. However, Brown et al. have challenged the suitability of the TCF in health professions curricula as it appears at odds with a constructivist paradigm by implying one body of knowledge and focusing on cognitive conceptions of identity.10 They argue TCs should not be used to structure curricular and instead as a reflective prompt to aid discussions between students and educators.10

지난 10년 동안 의학교육에서 TC에 대한 관심이 증가하고 있습니다. 2017년에 보건 과학 TC 문헌에 대한 질적 종합이 수행되었지만,8 우리가 아는 한 의학교육에서 TC만을 주제로 한 체계적 또는 포괄적 검토는 수행되지 않았습니다. 서로 상충되는 관점을 고려할 때, 문헌을 탐색하는 것은 현재 논의의 본질을 확립하는 데 필수적입니다. 또한 증거 기반 교육 실습 및 커리큘럼 설계를 안내하는 중요한 통찰력을 제공할 수 있습니다. 따라서 이 연구의 목적은 의학교육 연속체(학부, 대학원 및 평생 의학교육) 전반에 걸쳐 TC에 관한 현재 연구를 탐색하고 설명하며, 의학교육의 실무에 정보를 제공하기 위해 TC가 어떻게 사용되고 있는지 고려하고, 연구 격차를 식별하는 것입니다. 근거의 새롭고 이질적인 특성을 감안하여 현재 문헌의 범위를 매핑하기 위해 범위 검토를 선택했습니다.11 
There has been a growing interest in TCs in medical education in the last decade. While a qualitative synthesis of the health sciences TC literature was conducted in 2017,8 to the best of our knowledge, no systematic or scoping reviews have been conducted on the topic of TCs in medical education exclusively. Given the competing viewpoints, exploration of the literature is essential to establish the nature of the current discussion. It could also provide important insights to guide evidence-based teaching practice and curriculum design. Therefore, the aim of this study is to explore and describe the current research regarding TCs across the medical education continuum (undergraduate, postgraduate and continuing medical education), consider how TCs are being used to inform practice in medical education, and to identify research gaps. Given the emerging and heterogeneous nature of the evidence, a scoping review was selected to map the extent of the current literature.11

2 방법
2 METHODS

본 문헌고찰은 근거 종합을 위한 JBI 매뉴얼12 에 제시된 프레임워크를 따랐으며, 체계적 문헌고찰 및 범위선정 문헌고찰을 위한 메타분석 확장(PRISMA-ScR)에 대한 우선 보고 항목을 준수했습니다.13 PRISMA-ScR 체크리스트는 부록 S1 에서 확인할 수 있습니다. 연구 질문, 연구 선정 기준 및 방법은 프로토콜에 게시되었습니다.14 
The review followed the framework presented in the JBI Manual for Evidence Synthesis12 and adhered to Preferred Reporting Items for Systematic reviews and Meta-Analyses extension for Scoping Reviews (PRISMA-ScR).13 The PRISMA-ScR checklist can be found in Appendix S1. The research questions, study selection criteria and methods were published in a protocol.14

검색 전략
Search strategy

2021년 7월 29일에 Medline(Ovid), Embase(Ovid), Scopus(Elsevier), Education Research Complete(EBSCO)를 검색했습니다. 프로토콜에 제시된 검색 전략에 약간의 변경이 있었습니다: 원래 전략의 8번째 줄은 너무 광범위하여 삭제되었고, '제한적'과 '변형적'은 용어의 반복을 포착하기 위해 잘라냈습니다. 검색은 TCF가 처음 설명된 2003년 이후 발표된 논문1과 영어로 된 논문으로 제한되었습니다. Medline 검색 전략은 표 S1에 나와 있습니다. 
Medline (Ovid), Embase (Ovid), Scopus (Elsevier) and Education Research Complete (EBSCO) were searched on 29 July 2021. Minor changes were made to the search strategy presented in the protocol: Line 8 of the of the original strategy was removed as it was too broad, and ‘liminal’ and ‘transformative’ were truncated to capture iterations of the terms. The search was limited to papers published since 2003, when the TCF was first described,1 and to papers in the English language. The Medline search strategy is shown in Table S1.

2003년부터 2018년까지의 다양한 출판물이 수록된 온라인 Threshold Concepts Bibliography에서 추가 논문을 확인했습니다.15 출판 후 동료 검토 프로세스를 갖춘 오픈 액세스 플랫폼인 MedEdPublish를 수작업으로 검색하여16 회색 문헌을 식별했습니다. 전체 텍스트 검토를 위해 포함된 논문의 참조 목록도 수작업으로 검색했습니다. 
Additional papers were identified from the online Threshold Concepts Bibliography which lists a range of publications from 2003 to 2018.15 Hand-searching of MedEdPublish, an open access platform with a post-publication peer review process,16 was undertaken to identify grey literature. The reference lists of the articles included for full text review were also hand-searched.

논문 선별
Screening articles

식별된 논문의 참고문헌은 Covidence에 업로드되었습니다.17 중복 제거 후, 저자 HJ와 LH는 연구 선택 기준에 따라 제목과 초록을 독립적으로 선별했습니다. 포괄적인 접근 방식을 취했으며, 전문에서 관련 데이터를 추출할 수 있는지 확인하기 위해 의료 전문가를 언급하는 초록을 포함했습니다. 그런 다음 선정된 논문의 전문을 포함 및 제외 기준에 따라 독립적으로 검토하여 최종적으로 논문을 선정했습니다. 심사 과정의 시작, 중간, 마지막에 회의를 열어 연구 포함 여부에 대한 이견이 있을 경우 토론을 통해 해결했습니다.  
The references for the identified papers were uploaded to Covidence.17 Following de-duplication, authors HJ and LH independently screened the title and abstracts against the study selection criteria. An inclusive approach was taken, and abstracts that referenced health professions were included to establish whether relevant data could be extracted from the full text. Full texts of the selected articles were then reviewed against the inclusion and exclusion criteria independently, to obtain a final selection of papers. We met at the beginning, midpoint and end of the screening process and resolved any disagreements about study inclusion via discussion.

연구 선정 기준
Study selection criteria

포함 및 제외 기준은 인구, 개념, 맥락(PCC) 형식12을 사용하여 개발되었습니다(표 2). 현재 사고에 대한 전체적인 그림을 얻기 위해 모든 유형의 출판물을 포함했습니다. 논문이 첨부되지 않은 초록은 제외되었습니다. 차트 작성과 분석을 돕기 위해 보건 전문직 교육 맥락에서 Barradell과 Peseta가 개발한 분류법8을 포함 기준에 통합했습니다.
The inclusion and exclusion criteria were developed using the population, concept, context (PCC) format12 (Table 2). To ensure that a thorough picture of current thinking was obtained, all types of publications were included. Abstracts without an accompanying paper were excluded. A taxonomy developed by Barradell and Peseta in the context of health professions education8 was incorporated into the inclusion criteria to aid charting and analysis.

데이터 차트 작성
Data charting

프로토콜을 발표하기 전에 데이터 차트 양식을 개발하여 시범적으로 사용했습니다.14 이 양식은 분류체계 및 연구 결과와의 관계를 포함하여 검토 질문과 관련된 주요 세부 사항을 캡처하는 것을 목표로 했습니다.8 HJ가 포함된 연구에 대한 데이터를 차트로 작성하고 LH가 그 정확성을 검증했습니다. 이견이 있는 부분은 토론을 통해 해결했습니다. 일부 저자가 임계 기술 및 직업 임계값과 같은 다른 용어를 사용한다는 것이 분명해졌고, 데이터 손실을 방지하기 위해 이러한 논문에도 비슷한 방식으로 분류법을 적용하기로 결정했습니다. 
A data charting form was developed and piloted prior to publication of the protocol.14 The form aimed to capture key details relevant to the review questions,12 including the relationship to the taxonomy and our findings.8 HJ charted the data for the included studies, and LH verified it for accuracy. Any disagreements were resolved by discussion. It became apparent that some authors used different terminology, such as threshold skills and vocational thresholds, and the decision was made to apply the taxonomy to these papers in a comparable way to ensure no data loss.

분석
Analysis

설명적 정량 분석을 사용하여 논문의 맥락과 접근 방식에 대한 주요 세부 사항을 조사하고, 문헌의 범위를 수치로 표현하고, 질적 종합을 위한 맥락을 제공했습니다. 
We used a descriptive quantitative analysis to examine key details about the context and approach of the papers, to present a numerical representation of the extent of the literature and to provide context for the qualitative synthesis.

질적 분석은 귀납적 접근 방식을 따랐으며 추출된 데이터에서 코드를 개발했습니다. 코딩은 반복적인 과정이었으며 새로운 발견이 나오면 논문을 다시 분석하는 과정을 거쳤습니다. 이후 데이비스와 망간이 경제학 연구에서 개발한 개념 변화 프레임워크 내에서 주제를 식별하기 위해 유사한 코드를 그룹화했습니다.18 바라델과 페세타는 이 프레임워크가 물리치료 교육에서 전문적인 사고 및 실무 개발과 관련된 TC에 적용 가능하다고 설명했습니다6: 
Qualitative analysis followed an inductive approach and codes were developed from the extracted data. The coding was an iterative process and involved reanalysing the papers as new findings emerged. We subsequently grouped similar codes to identify themes within a framework of conceptual change, developed by Davies and Mangan in their work in economics.18 Barradell and Peseta described the applicability of this framework to TCs associated with the development of professional thinking and practice in physiotherapy education6:

• 기본 개념 변화는 해당 분야 내에서 지식의 의미와 언어와 관련하여 지식을 개혁하는 것을 포함합니다.18 의학교육에서는 기본 과학 및 의학 지식이 여기에 포함됩니다.
  
• 학문 분야 개념 변화는 학습자가 습득한 지식을 사용하고 개념 간의 관계를 이해하는 것을 포함합니다.18 이는 의학 분야의 사고 방식에 비유할 수 있습니다.6
  
• 모델링 개념 변화는 해당 분야에 뿌리를 둔 추론과 논증 구성을 포함합니다.18 이는 의사로서의 진료 방식과 유사합니다.6

질적 분석은 주관적 인식론에 뿌리를 두고 있으며 저자의 해석에 기반한 증거의 종합을 나타냅니다.19 범위 검토 접근법에 따라 포함된 논문의 질 또는 편향 위험에 대한 공식적인 검토는 수행되지 않았습니다.20 그러나 데이터 차트 작성 시 비판적 렌즈를 적용하고 포함된 연구의 실험적 엄격성을 고려했습니다. 이는 부록 S2의 '우리의 연구 결과'에 통합되어 있으며, 논의의 초점과 후속 권고에 영향을 미쳤습니다. 
The qualitative analysis was rooted in subjective epistemology and represents a synthesis of the evidence based on author interpretation.19 Consistent with a scoping review approach, a formal review of the quality or risk of bias of the included papers was not undertaken.20 However, a critical lens was applied during data charting, and we considered the experimental rigour of the included studies. This is incorporated under ‘Our findings’ in Appendix S2 and informed the focus of discussion and subsequent recommendations.

3 결과
3 RESULTS

포함된 연구 요약
Summary of included studies

2012년부터 2021년 사이에 발표된 36편의 논문이 최종 분석에 포함되었습니다(그림 1은 PRISMA 흐름도 참조). 대부분의 논문은 영국(n = 15 21-35), 북미(n = 11 36-46) 및 오세아니아(n = 7 47-53)에서 작성되었습니다. 일부 논문은 외과(n = 521, 23, 47, 41, 54), 의학 생리학 및 의생명과학(n = 451, 55, 42, 43), 노인의학 및 치매 치료(n = 326, 27, 29) 등 특정 의료 전문 분야 및 주제에 초점을 맞췄습니다, 정신과(n = 224, 35), 일반 진료(n = 250, 34), 군의학(n = 236, 37), 마취과,46 내과,39 신경과,40 소아과,38 완화 치료,48 인구 보건,28 류마티스학52 및 이식 과학. 30 다양한 유형의 논문이 확인되었으며(표 3), 그 중 대부분은 질적 연구였습니다. 논문에 대한 자세한 요약은 부록 S2에 포함되어 있습니다. 
Thirty-six papers published between 2012 and 2021 were included in the final analysis (see Figure 1 for PRISMA flow diagram). Most papers originated in the United Kingdom (n = 1521-35), North America (n = 1136-46) and Australasia (n = 747-53). Some papers focused on particular medical specialities and subject areas, including surgery (n = 521, 23, 47, 41, 54), medical physiology and biomedical science (n = 451, 55, 42, 43), geriatric medicine and dementia care (n = 326, 27, 29), psychiatry (n = 224, 35), general practice (n = 250, 34), military medicine (n = 236, 37), anaesthetics,46 internal medicine,39 neurology,40 paediatrics,38 palliative care,48 population health,28 rheumatology52 and transplant science.30 A wide range of article types were identified (Table 3), the majority of which were qualitative research studies. A detailed summary of the papers is included in the Appendix S2.

확인된 TC
TCs identified

의학교육에서 TCF를 가장 빈번하게 적용한 분야는 TC를 식별하는 것이었습니다. 10편의 논문은 학부 의학교육에서 TC를 식별하는 데 중점을 두었습니다.22, 24, 25, 36-38, 49, 28, 42, 53 주니어 대학원 의학교육(인턴, 전공의 또는 핵심 수련의의 다양한 의료 시스템에서의 역할 포함) 또는 시니어 대학원 의학교육(시니어 레지던트, 전문의 수련의, 레지던트 또는 펠로우)에서 TC를 조사한 논문이 4편, 21, 23, 26, 48 학부 및 주니어 대학원 의학교육을 모두 조사한 논문 1편,39 선임 임상의가 참여하는 계속 의학 교육에 중점을 둔 논문 1편이 있었습니다.47 
The most frequent application of the TCF in medical education was in the identification of TCs. Ten papers focused on identifying TCs in undergraduate medical education.22, 24, 25, 36-38, 49, 28, 42, 53 Four papers examined TCs in junior postgraduate medical education (encompassing the roles in different health care systems of interns, foundation year doctors or core trainees) or senior postgraduate medical education (senior residents, specialist trainees, registrars or fellows).21, 23, 26, 48 One paper looked at both undergraduate and junior postgraduate medical education,39 and one paper focused on continuing medical education involving senior clinicians.47

일차 연구자들은 인터뷰,21, 23, 24, 26, 39, 40, 47, 49 포커스 그룹 및 토론,25, 48, 28, 42 서면 반성문,36-38 오디오 일기 녹음22, 25 및 설문지를 포함한 다양한 데이터 수집 방법을 사용하여 잠재적 TC를 식별했습니다.26, 28 관심 집단,21, 22, 36-38, 47-49, 42 교육자 또는 전문가40, 28 또는 학습자와 트레이너 모두로부터 데이터를 수집하여 가능한 TC를 중심으로 삼각 측량을했습니다.23-26, 39 
A variety of data collection methods were used by the primary researchers to identify potential TCs including interviews,21, 23, 24, 26, 39, 40, 47, 49 focus groups and discussion,25, 48, 28, 42 written reflections,36-38 audio-diary recordings22, 25 and questionnaires.26, 28 Data were gathered from the population of interest,21, 22, 36-38, 47-49, 42 educators or experts40, 28 or from both learners and trainers to triangulate the data around possible TCs.23-26, 39

기본 개념 변화
Basic conceptual change

이 분야의 TC를 조사하기 위해 경험적 방법을 사용한 논문은 2편에 불과합니다.40, 42 2차 전달자 시스템, 압력 구배, 예압 및 후압, 세포막 전위 및 극성 등 생리학 및 생의학 과학과 관련하여 잠재적 TC가 확인되었습니다.40, 42 환기-관류(V/Q) 불일치46 및 3D 구조의 2D 표현인 X-선32 은 전문적인 경험을 바탕으로 TC로 제안되었습니다. 이러한 유형의 TC에 대한 평가는 다른 어려운 개념의 후속 숙달과 술기 개발에 도움이 될 수 있기 때문에 근본적으로 중요합니다.40 
Only two papers used empirical methods to examine TCs in this area.40, 42 Potential TCs were identified in relation to physiology and biomedical science, including secondary messenger systems, pressure gradients, preload and afterload, cell membrane potential and polarity.40, 42 Ventilation-perfusion (V/Q) mismatch46 and an X-ray being a 2D representation of a 3D structure32 were proposed as TCs based on professional experience. Evaluation of this type of TC is of fundamental importance because grasping them may help in the subsequent mastery of other difficult concepts and development of skills.40

사고 방식(훈련 개념 변화)
Ways of thinking (discipline conceptual change)

불확실성, 환자 치료, 의사의 역할 및 전문가 정체성 개발이라는 세 가지 주제가 학문 내 사고 방식과 관련하여 나타났습니다. 
Three themes emerged relating to ways of thinking within a discipline:

• uncertainty,
• care of patients and
• the doctor's role and development of professional identity.

불확실성이 의학의 본질적인 부분이라는 인식이 여러 논문에서 나타났습니다.22, 25, 38, 39, 28 의학은 흑백이 아니라는 인식과 밀접한 관련이 있습니다.22, 38 이러한 문턱을 넘으면서 환자 진단과 관리에 '단 하나의 해결책'25(p100)이 없다는 것을 이해하게 되었습니다. 그러나 처음에는 모호함으로 어려움을 겪던 학생들은 '여러 가지 가능성을 동시에 머릿속에 담아두는 것에 익숙해졌습니다'37(p7) 의료 현장의 현실은 교과서 그림보다 더 복잡하고 배움은 평생 지속되며 모든 것을 다 알 필요는 없다는 것을 인식하게 되었습니다.25, 38 
Recognising that uncertainty is an inherent part of medicine emerged in several papers.22, 25, 38, 39, 28 Closely related was the realisation that medicine is not black and white.22, 38 Crossing these thresholds led to an understanding that there was ‘no single solution’25(p100) in the diagnosis and management of patients. After initially struggling with ambiguity, however, ‘students became comfortable with holding multiple possibilities simultaneously in their heads’.37(p7) They recognised that the reality of medical practice is more complex than the textbook picture and that learning is lifelong and it is not necessary to know everything.25, 38

TC로서의 사람 중심 진료는 환자를 전체적으로 보는 맥락에서26, 39 설명되었으며, '의술에는 생의학 과학의 임상적 적용보다 더 많은 것이 있다'고 했습니다.25(p98) 이는 학생들이 건강을 보는 방식에 변화를 가져왔습니다.25 환자의 관점과 목표를 탐구하는 것의 중요성을 인식하는 것 또한 환자 중심주의의 필수적인 특징으로 지적되었습니다.39 또한 다학제 팀에서 의사의 역할26 과 다른 의료 전문가와의 협력의 중요성39 은 효과적인 치료를 제공하는 데 핵심적인 것으로 여겨졌으며 수련의들이 팀에서 다른 사람들의 역할을 바라보는 방식을 변화시켰습니다.
Person-centred care as a TC was described in context of seeing the patient as a whole26, 39 and that there was ‘more to the practice of medicine than just the clinical application of biomedical science’.25(p98) This led to a transformation in how students saw health.25 Recognising the importance of exploring patients' perspectives and goals was also noted to be an essential feature of patient-centredness.39 In addition, the doctor's role in the multidisciplinary team26 and the importance of collaboration with other health professionals39 was seen as key in providing effective care and transformed how trainees viewed the role of others in the team.

전문직 정체성의 발달은 검토에 참여한 여러 TC의 공통된 특징이었습니다.25, 36-39, 47, 28 '나는 치료자다'37(p16) 라는 깨달음과 수련생들이 진입하고 있는 직업 문화에 대한 인식이 있었습니다.25 이러한 변화는 다른 사람의 건강에 대한 책임을 인식하면서 학생들의 개인 정체성25 에 불편함과 도전이 되었습니다.37 군의학의 맥락에서 독특한 전문직 정체성이 형성되었습니다.36, 37 그러나 의사가 수행하는 더 넓은 역할25, 39 과 그들의 책임은 개별 환자를 넘어 확장된다는 인식도 있었습니다.28
The development of professional identity was common feature of several TCs in the review.25, 36-39, 47, 28 There was a realisation that ‘I am a healer’37(p16) and an awareness of the professional culture students were entering into.25 This transformation was uncomfortable and challenged students' personal identity25 as they recognised their responsibility for others' health.37 The formation of a unique professional identity was noted in the context of military medicine.36, 37 However, there was also a recognition of the multiple wider roles that doctors play25, 39 and that their responsibility extends beyond the individual patient.28

진료 방식(개념 변화 모델링)
Ways of practising (modelling conceptual change)

실무 기술 개발, 임상적 판단 및 의사 결정, 불확실성 용인, 환자 중심주의 확립, 전인적 치료 제공 등 네 가지 주제가 진료 방식과 관련하여 등장했습니다.
Four themes emerged relating to ways of practising:

• development of practical skills,
• clinical judgement and decision making,
• tolerance of uncertainty and
• enactment of patient-centredness and the provision of holistic care.

임상의로서 실습하려면 고유한 실무 기술을 개발해야 합니다. 자격을 갖춘 외과의사들 사이에서 기술적 복잡성과 수술 속도가 TC로 확인되었습니다.47 그러나 팀 역학 등 비기술적 요인이 절차적 복잡성에 영향을 미칠 수 있으며,47 다른 TC가 수술 관리의 근간이 될 수 있음을 시사합니다. 마찬가지로 외과 수련의들이 수술이 어렵다고 느끼는 주요 요인은 연습 기회 부족이었습니다.21, 23, 41 따라서 일부 술기는 충분한 시간과 연습을 통해 습득할 수 있으므로 TC를 대표하지 않는다는 주장도 있습니다.23, 45 
Practising as a clinician involves the development of unique practical skills. Technical complexity and speed of operating were identified as TCs amongst qualified surgeons.47 However, non-technical factors such as team dynamics can influence procedural complexity,47 suggesting other TCs may underlie surgical management. Similarly, a key factor in why surgical trainees found procedures troublesome was lack of opportunities to practice.21, 23, 41 It has therefore been argued that some skills can be learnt with sufficient time and practice and so do not represent TCs.23, 45

이와 대조적으로 에브게니우 등은 환자 치료의 수술 전, 수술 중, 수술 후 단계에서 의사 결정과 관련된 잠재적 TC를 확인했습니다.23 임상 추론은 의대생들에게도 임계 기술로 인식되어 정보 수집 및 분석 방식에 변화를 가져왔습니다.49 불확실성을 견디고 적절하게 대응하는 능력은 임상적 판단과 의사 결정 기술을 개발하는 데 있어 근본적인 특징이자 가능한 TC입니다21,47 그리고 학생들이 진단에 접근하는 방식을 변화시켰습니다.24 마찬가지로, 질병 경과와 기대 수명에 대한 불확실성은 수련의들이 환자와 소통하는 새로운 방법을 개발하는 데 영향을 미쳤습니다.48
In contrast, Evgeniou et al. identified potential TCs related to decision making during the pre-operative, intra-operative and post-operative stages of a patient's treatment.23 Clinical reasoning was also recognised as a threshold skill in medical students, transforming how they gathered and analysed information.49 The ability to tolerate and respond appropriately to uncertainty is an underlying feature, and a possible TC, in the development of clinical judgement and decision-making skills21, 47 and changed how students approached diagnoses.24 Similarly, uncertainty about illness trajectory and life expectancy shaped trainees' development of new ways of communicating with patients.48

마지막으로, 여러 논문에서 환자 중심주의 및 전인적 치료와 관련된 TC를 확인했는데,24, 26, 37, 48 이는 '립 서비스'48(p425)가 전문 실무에서 이러한 원칙의 구체화로 전환되면서 학문 개념 변화와는 달랐습니다. 환자의 평가와 치료에서 심리사회적 측면을 고려하는 것은 이 주제의 핵심적인 측면이었습니다.24, 26 또한 공감 능력과 감정 관리 능력의 발달은 수련의가 환자와 상호작용하는 방식을 변화시켰습니다.25, 26, 48 노인의학에서 진료 제공은 적극적이고 실습적인 과정으로 간주되었으며, 수련의가 노인의사가 되면서 양육하는 실무자의 개념을 구체화했습니다.26 
Finally, several papers identified TCs related to patient-centredness and holistic care,24, 26, 37, 48 which differed from discipline conceptual change, as ‘lip-service’48(p425) was transformed to the embodiment of these principles in professional practice. Considering psychosocial aspects in the assessment and treatment of patients was a key aspect of this theme.24, 26 In addition, the development of empathy and the ability to manage emotions changed how trainees interacted with patients.25, 26, 48 In geriatrics, providing care was seen as an active, hands-on process, and as trainees become geriatricians, they embody the concepts of a nurturing practitioner.26

확인된 TC와 수련 단계 간의 관계
Relationship between TCs identified and stage of training

학습자가 경험하는 개념 변화의 유형은 그림 2에서 보는 바와 같이 의료 수련의 단계와 관련이 있는 것으로 나타났습니다. 과학적 지식과 관련된 TC는 의대생에게서 확인된 반면, 진료 방식과 관련된 TC는 의학교육의 연속체에 걸쳐 있었습니다. 불확실성 및 환자 관리와 같은 일부 TC는 모든 수련 단계에 걸쳐 나타났지만, 전문적 책임과 관련하여 발전했습니다. 의학이 발전함에 따라 TC도 발전한다는 인식도 있었습니다.54 
The types of conceptual changes learners encounter appeared to relate to the stage of medical training, as shown in Figure 2. TCs related to scientific knowledge were identified in medical students, whereas TCs related ways of practising spanned the medical education continuum. Some TCs, such as uncertainty and patient care, featured at all stages of training, but developed in relation to professional responsibilities. There was also a recognition that as medicine advances TCs also evolve.54

교육에서 TC 프레임워크 사용
Use of the TCs framework in teaching

여러 논문에서 TCF41, 51, 54, 55, 43의 맥락에서 교육 개입을 평가했으며, 한 논문에서는 TCF를 새로운 과정의 커리큘럼 설계에 통합했습니다.30 다른 저자는 다른 접근 방식을 취하여 문턱을 넘는 것과 관련된 학습 경험을 조사했습니다.27, 50 학생들은 치매 치료에 대한 시뮬레이션 세션 후 언어, 지식 및 행동의 변화를 보였지만, 학생들이 넘었을 수 있는 TC는 논의되지 않았습니다.27 본은 GP 개발 중 강력한 학습 경험에 대한 서면 설명을 검토하여 수련의의 성향 태도를 변화시키는 데 환자 및 동료와의 상호작용이 중요함을 확인했습니다.50 
Several papers evaluated teaching interventions in the context of the TCF41, 51, 54, 55, 43 and one paper incorporated the TCF into curriculum design of a new course.30 Other authors took a different approach and examined learning experiences associated with threshold crossing.27, 50 Students demonstrated a change in language, knowledge and behaviour following a simulation session about dementia care, although the TCs students may have crossed were not discussed.27 By examining written accounts of powerful learning experiences during GPs' development, Vaughan identified the importance of interactions with patients and colleagues in transforming trainees' dispositional attitudes.50

다른 많은 논문에서도 TC를 가르치는 방법을 제안했습니다. 예를 들어, 시뮬레이션은 학습자가 불확실성을 관리하는 데 도움을 줌으로써 임상 실습과 직접적으로 관련된 방식으로 변화를 도울 수 있다고 제안되었습니다.46 또는 소규모 성찰 그룹과 발린트 그룹은 학생들이 직업적 정체성 형성과 관련된 문제를 탐색하는 데 도움을 줄 수 있습니다.22, 24, 25 강사가 개별 학습자를 지원하기 위해 사용할 수 있는 전략에는 사례 및 도전적인 상황에 대한 토론,23, 39, 45 명시적 진단 추론,24, 49 및 공식 멘토링 프로그램이 포함되었습니다.21, 47 저자들은 또한 학생을 TCF에 적극적으로 참여시키고,22, 38, 28, 33 학생들이 자신의 TC를 식별할 수 있도록 하고,42, 32 반복적이고 비선형적이며 잠재적으로 문제가 될 수 있는 학습 과정을 인식할 것을 주장했습니다.40, 45 코스 수준에서 여러 저자들은 TC를 교육과정 설계에 통합할 것을 주장했습니다.23, 25, 47, 48, 28 
Many other papers suggested methods to teach the TCs they had identified. It was proposed that simulation could aid transformation in ways that are directly related to clinical practice,46 for example, by helping learners manage uncertainty.47 Alternatively, small reflective groups and Balint groups could help students navigate the challenges associated with professional identity formation.22, 24, 25 Strategies that trainers could use to support individual learners included discussion of cases and challenging situations,23, 39, 45 explicit diagnostic reasoning,24, 49 and formal mentoring programmes.21, 47 Authors also advocated for actively engaging students with the TCF,22, 38, 28, 33 enabling them to identifying their own TCs,42, 32 and recognise the repetitive, non-linear and potentially troublesome learning process.40, 45 At a course level, several authors argued for the incorporation of TCs into curriculum design.23, 25, 47, 48, 28

4 토론
4 DISCUSSION

이 리뷰는 의학교육에서 현재 TC 문헌을 체계적으로 검토한 최초의 리뷰입니다. 포함된 논문의 3분의 2 이상이 2018년 이후에 발표된 것으로, 최근 몇 년간 관심이 크게 증가했음을 보여줍니다. 따라서 이 리뷰는 현재 교육 환경에서 매우 적절하며 다양한 증거 기반을 통합합니다.
This is the first review to take a systematic approach in examining the current TCF literature in medical education. Over two thirds of the papers included were published from 2018 onwards, demonstrating a significant growth in interest in recent years. This review is therefore highly pertinent in the current educational landscape and brings together a diverse evidence base.

재귀적 TC와 커리큘럼 설계에 대한 시사점
Recursive TCs and implications for curriculum design

이러한 종합을 통해 의학교육 연속체 전반에 걸쳐 TC의 재귀적 특성에 대한 독특한 관점이 드러났습니다. 재귀는 Land 등(2005)에 의해 학생들이 '개념적 자료에 대해 다른 "테이크"를 시도하는' 한계 공간을 여행하면서 학습을 재방문하는 것으로 설명되었습니다.3(p59) 의학교육 연속체도 마찬가지로 학습자가 새로운 상황에 직면했을 때 학습을 재방문하고 적응 또는 발전시키는 지속적인 학습 여정입니다.48

• 예를 들어 불확실성은 수련 및 전문성 개발의 모든 단계에서 나타나는 개념으로, 학문적 개념 변화22, 25, 38, 39, 28 및 모델링 개념 변화21, 24, 47, 48, 34 와 연결되며 새로운 역할 및 책임과 함께 다시 등장합니다.
• 의대생과 주니어 대학원 수련의는 의학의 복잡하고 모호한 특성을 먼저 인식했습니다.25, 38 그런 다음 이를 의사 결정에 반영하기 시작했고24, 34 불확실성에도 불구하고 환자 치료에 대한 책임을 졌습니다.25, 38
• 그러나 시니어 임상의도 독립 전문 진료로 전환한 후 의사 결정, 임상 판단 및 부작용 관리와 관련하여 불확실성을 경험했습니다.47

This synthesis has revealed a unique perspective on the recursive nature of TCs across the medical education continuum. Recursion was described by Land et al. (2005) as a revisiting of learning as students journey through the liminal space ‘attempting different “takes” on the conceptual material’.3(p59) The medical education continuum is likewise an ongoing learning journey, in which learners revisit learning and adapt or advance it when faced with new situations.48 

• Uncertainty, for example, was a concept that featured at all stages of training and professional development, linked to both discipline conceptual change22, 25, 38, 39, 28 and modelling conceptual change,21, 24, 47, 48, 34 and re-emerged with new roles and responsibilities.
• Medical students and junior postgraduate trainees first recognised the complex and ambiguous nature of medicine.25, 38 They then began to incorporate this into their decision making24, 34 and take responsibility for patients' care despite uncertainty.25, 38 
• However, senior clinicians also experienced uncertainty following their transition to independent specialty practice, related to decision-making, clinical judgement and managing adverse events.47

따라서 TC 자체는 전문가 경력의 다양한 시점에서 반복될 수 있으며, 보다 정교한 이해 또는 구체화가 필요합니다. 이는 [문턱을 넘는 것]이 학습 여정의 종착점이 아니며, Liminality란 전문가가 지속적으로 점유하는 상태이면서, 새로운 상황에 노출되면 덜 편안해지는 상태로 생각하는 것이 더 낫다는 개념을 뒷받침합니다.4, 47 이는 그림 3에서 확인할 수 있습니다. 이러한 방식으로 TC를 바라보는 것은 커리큘럼 설계에 도움이 될 수 있는 귀중한 통찰력입니다. 여러 교육 단계 간의 통합을 강화하면 학습의 연속성을 개선하고 수련의가 어려운 전환기를 헤쳐나가는 데 도움이 된다는 주장이 제기되어 왔기 때문에 의료 교육 연속체를 아우르는 총체적인 접근 방식을 지원합니다.58
TCs themselves may therefore recur at various points in a professional's career, requiring a more sophisticated understanding or embodiment. This supports the notion that crossing a threshold is not the endpoint of the learning journey and that liminality may be better thought of as a state continually occupied by professionals, but which becomes less comfortable with exposure to new situations.4, 47 This is demonstrated in Figure 3. Viewing TCs in this way is a valuable insight which could help guide curricula design. It supports a holistic approach that spans the medical education continuum, as it has been argued that better integration between different stages of training would improve continuity in learning and help trainees navigate challenging transitions.58

TC의 재귀적 특성은 또한 많은 의과대학에서 사용하는 나선형 커리큘럼 접근법을 뒷받침하는 것처럼 보일 수 있습니다.59 이 접근법에서는 복잡성이 증가하고 고급 적용이 요구되는 주제가 코스 전반에 걸쳐 재검토됩니다.60 그러나 이 접근법은 새로운 학습이 이전 학습을 기반으로 하는 선형적이고 점진적인 과정을 제안합니다.59, 60

• 반면에 TC 습득은 예측 가능한 간격으로 진행되는 과정을 따르지 않습니다: 이해와 결과의 편차와 수정이 있는 지저분하고 앞뒤를 오가는 여정입니다.3, 5
• 또한 TC와 관련된 학습 경험은 개인에게 고유하며 학습자마다 훈련의 서로 다른 지점에서 이를 통과할 수 있습니다.26, 39, 50

결과적으로 나선형 교육과정은 학습자의 학습 요구와 일치하지 않을 수 있으며 특정 문턱을 넘지 않고 훈련을 진행할 수 있습니다.25, 39 
The recursive nature of TCs would also, on face value, seem to support the spiral curriculum approach employed by many medical schools,59 in which topics are revisited throughout the course with increasing complexity and requiring more advanced application.60 However, this approach suggests a linear and progressive process, in which new learning builds on previous learning.59, 60 

• TC acquisition, in contrast, does not follow a predictably spaced process: It is a messy and back-and-forth journey, with deviations and revisions of understanding and outcomes.3, 5 
• Furthermore, the learning experience associated with TCs is unique to individuals and learners may pass through them at different points in their training.26, 39, 50 

As a result, the spiral curriculum may not align with their learning needs, and they may progress in training without having crossed certain thresholds.25, 39

대조적으로, 본 검토에서 TCF의 개념화는 대학원 의학교육에서 점점 더 많이 적용되고 있는 역량 기반 의학교육(CBME)과 더 밀접하게 일치합니다.61 CBME에서는 학습자의 진전이 수련 시간 대신 의료 실무와 관련된 역량을 달성하는 것으로 결정되며,61 종종 수련생이 감독 없이 수행할 수 있는 업무 또는 책임인 위탁 전문 활동(EPA)으로 실질적으로 측정됩니다.62 이 검토에서 확인된 많은 TC는 임상 경험에 기반한 학습으로 존재론적 변화와 전문적 실천의 발전을 나타냅니다. 따라서 TCF는 이러한 핵심 역량 또는 EPA39 를 식별하는 렌즈로 사용될 수 있으며, 모방과 숙달을 구분하는 데 도움이 됩니다.46 TC의 재귀적 특성은 또한 의학교육 연속체 전반에 걸쳐 일관성을 보장하는 것을 목표로 하는 CBME의 수직적 통합을 지원합니다.61 TCF와 CBME를 연계하면 단일 지식 체계의 촉진과 교육에서 전통적인 권력 불균형의 영속화와 관련하여 브라운 등이 제기한 몇 가지 우려를 해결할 수 있습니다.10 CBME의 핵심 구성 요소는 학습자 중심 접근법61 으로, 이는 TC의 경험에 대한 개별적 차이를 설명할 수 있습니다. 실제로 브라운 등은 교육과정 설계에서 EPA가 TC보다 더 바람직한 구성 요소라고 주장하지만,10 우리는 이 두 가지를 반드시 배타적으로 볼 필요는 없다고 주장합니다.
In contrast, the conceptualisation of the TCF in this review aligns more closely with competency-based medical education (CBME), which is increasingly being applied in postgraduate medical education.61 In CBME, progression of the learner is determined by achieving competencies related to practicing medicine instead of time in training,61 often measured practically as Entrustable Professional Activities (EPAs) which are tasks or responsibilities trainees can undertake without supervision.62 Many of the TCs identified in this review represent ontological transformations and the development of professional practice, with learning rooted in clinical experience. The TCF could therefore be used as a lens for identifying these critical competencies or EPAs39 and help differentiate between mimicry and mastery.46 The recursive nature of TCs also supports the vertical integration of CBME which aims to ensure coherence across the medical education continuum.61 Aligning the TCF with CBME addresses some of the concerns raised by Brown et al. with regard to the promotion of a single body of knowledge and perpetuation of traditional power imbalances in education.10 A key component of CBME is a learner-centred approach61 which can account for the individual variation in the experience of TCs. Indeed, Brown et al. argue that EPAs are a preferable component of curriculum design to TCs,10 but we contend that the two do not necessarily need to be viewed exclusively.

의학교육에서 임계 '개념'의 의미
The meaning of threshold ‘concepts’ in medical education

이 검토는 의학교육에서 문턱 개념이라는 용어의 사용에 대한 일부 비판을 해결하는 데도 도움이 됩니다. 많은 저자들이 지적했듯이, 개념이라는 용어는 실용적 차원이 아닌 이론적 차원6,10 의 의미를 가지며, 따라서 종종 '지식에 대한 내용 중심적 관점'과 연관됩니다.4(p235) 이러한 맥락에서 브라운 등은 인지적 변화(지식의 변화가 정체성의 변화로 이어지는)에 초점을 맞추고 기초 과학 지식과 관련된 일부 TC와 전문가 정체성 사이의 단절로 인해 TCF가 전문가 정체성 발달에 적용하기 어렵다고 주장해왔습니다.10 그러나 이 리뷰는 TC을 [개념 변화의 단계]라는 맥락에서 바라봄으로써, [한계를 넘는 것]이 의학 분야 내에서 어떻게 [사고와 실천 방식의 변화]로 이어지고, 이는 본질적으로 학습자의 [정체성 재형성]과 연결되는지를 명확히 합니다.18
This review also helps to address some of the criticisms around the use of the term threshold concept in medical education. As many authors have noted, the term concept has connotations of a theoretical, rather than practical, dimension6, 10 and so is often associated with ‘a content-focused view of knowledge’.4(p235) In this vein, Brown et al. have argued that the TCF is not applicable to professional identity development due to the focus on cognitive transformation—a change in knowledge leading to change in identity—and the disconnection between some TCs, such as those related to basic scientific knowledge, and professional identity.10 However, by viewing TCs in the context of stages of conceptual change, this review clarifies how crossing thresholds leads to changes in ways of thinking and practising within the discipline of medicine, and this is intrinsically linked to reshaping of a learner's identity.18

TC에 대한 이러한 지식 중심의 해석은 대체 용어의 등장으로 이어지기도 했습니다. 이 검토에서 확인된 두 연구에서는 각각 임계 기술49 및 직업 임계치50라는 용어를 사용했습니다. 이러한 개념은 지식의 습득 및 활용 방법을 나타내며49 의사가 되는 것과 관련된 변화를 나타낸다는 것이 그 근거였습니다.50, 63 그러나 원래 TC에 대한 설명은 가치, 태도, 기술, 사고 및 존재 방식을 포괄하는 광범위한 개념이었습니다.1, 2, 4 이 설명은 역치 기술과 직업 역치를 포괄합니다. 따라서 의학교육자 및 연구자는 의학교육의 맥락에서 TCF와 관련된 해석 및 용어의 새로운 변화를 인지하여 예를 들어 문헌 검색 전략에 이러한 용어를 포함할 수 있어야 합니다.
This knowledge-focused interpretation of the TCF has also led to the emergence of alternative terminology. Two studies identified in this review used the terms threshold skills49 and vocational thresholds,50 respectively. The justification was that these ideas represent how knowledge is acquired and utilised49 and represent transformations related to being a practitioner.50, 63 However, the original description of TCs was broad and inclusive of values, attitudes, skills and ways of thinking and being.1, 2, 4 This explanation encompasses threshold skills and vocational thresholds. Therefore, medical educators and researchers should be cognisant of the emergent variations in interpretation and terminology associated with the TCF in the context of medical education so they can, for example, include these terms in literature search strategies.

방법론적 고려 사항
Methodological considerations

이 범위 검토를 통해 의학교육에서 TC을 탐구하는 현재 연구의 방대한 범위를 확인할 수 있었습니다. 그러나 문헌의 이질성으로 인해 종합하는 데 어려움이 있었으며 대략적인 결론만 도출할 수 있었습니다. 가능한 TC를 식별하는 데 사용된 특성에는 상당한 차이가 있었으며, 이는 더 광범위한 문헌의 결과와 일치하며,8, 64 TCF에 대한 비판 중 하나입니다.10 논의 주제를 뒷받침하기 위해 TCF를 사용했지만 포함을 정당화할 증거가 없는 논문도 여러 편 있었습니다.29, 52, 31 이 범위 검토의 일환으로 공식적인 품질 평가는 수행되지 않았지만 여러 논문, 특히 교육에서 TCF 사용에 중점을 둔 논문에서 실험적 엄격성이 부족하다는 점이 지적되었습니다. 광범위한 문헌과 일관되게,64 개념 선택을 정당화하거나 개입 후 임계값을 넘었음을 입증하는 증거가 부족한 경우가 많았습니다.41, 51, 54, 55, 30, 43 따라서 이러한 논문의 결과는 신중하게 해석해야 합니다.  
This scoping review has demonstrated the vast extent of the current work exploring the TCF in medical education. However, the heterogeneity of the literature presented challenges for synthesis and only broad conclusions can be drawn. There was significant variation in characteristics used to identify possible TCs, which is consistent with findings in the wider literature,8, 64 and is one of the criticisms of the TCF.10 There were also several papers in which the TCF was used to support the topic of discussion but with no evidence to justify its inclusion.29, 52, 31 Although no formal assessment of quality was carried out as part of this scoping review, a lack of experimental rigour was noted in several papers, particularly those focused on the use of the TCF in teaching. Consistent with the wider literature,64 there was frequently a lack of evidence to justify the selection of concepts or demonstrate threshold crossing post-intervention.41, 51, 54, 55, 30, 43 Therefore, the results of these papers should be interpreted with caution.

TC에 대한 지속적인 연구가 의학교육에 의미 있는 영향을 미치려면 연구자는 프레임워크의 적용과 연구 설계에 높은 수준의 엄격함과 투명성을 적용해야 합니다. 여기에는 TC 프레임워크 적용에 대한 명확한 정당성, 특정 TC의 식별 또는 활용에 대한 근거 기반 접근법, 복제 가능한 방법론이 포함되어야 합니다. 
It is imperative that if ongoing research into TCs is to have a meaningful impact in medical education, researchers must apply high degrees of rigour and transparency in the application of the framework and the design of their studies. This needs to involve clear justification for applying the TCF, an evidence-based approach to identification or utilisation of specific TCs and replicable methodology.

이 검토의 또 다른 한계는 일반적으로 의료 전문가에 초점을 맞춘 논문이 제외되었고, 예를 들어 전문가 간 업무와 관련된 의학교육에 적용 가능한 일부 연구 결과가 누락되었을 수 있다는 점입니다. 또한 이번 검토는 의료 실무와 관련된 교육에 중점을 두었기 때문에 교수진 개발과 같은 다른 논문은 제외되었습니다. 그러나 의사의 역할은 환자 치료를 제공하는 것 이상의 의미를 가지며, 이러한 다른 전문적 의무는 포함되지 않았습니다. 
Further limitations to this review are that papers focusing on health care professionals in general were excluded and some findings applicable to medical education, for example, related to interprofessional working, could have been missed. Additionally, the review focused on education around practicing medicine, and other papers, such as those addressing faculty development, were excluded. However, the role of the doctor goes beyond delivering patient care, and these other professional duties were not captured.

의학교육 및 연구에 대한 시사점
Implications for medical education and research

이 검토는 의과대학과 임상 실습 과정에서 학습자가 겪는 중요한 변화를 검토하는 데 TCF가 어떤 렌즈를 제공할 수 있는지 보여줍니다. 검토 결과를 바탕으로 의학교육자를 위한 몇 가지 광범위한 권장사항이 확인되었으며 표 4에 요약되어 있습니다. 그러나 의대생과 의사의 발달 과정에서 발생하는 광범위한 학습에 대해 TCF를 설명하고 적용하기 위한 일관된 접근법을 개발하기 위해서는 추가 연구가 필요합니다. 이는 근거 기반의 진화하는 특성과 의학의 발전과 함께 새로운 TC가 계속 등장할 것이라는 사실을 고려할 때 특히 적절합니다.54 또한 TCF를 교육에 사용할 수 있는 방법과 역치 통과를 측정할 수 있는 방법은 현재 근거에 상당한 격차가 있으므로 추가 연구가 필요합니다. 
This review demonstrates how the TCF can provide a lens for examining important transformations learners undergo in their developmental journey at medical school and during clinical practice. Several broad recommendations for medical educators have been identified based on the review findings and are summarised in Table 4. However, further research is needed to develop a consistent approach for describing and applying the TCF to the broad range of learning that occurs during the developmental journey of medical students and doctors. This is especially pertinent given the evolving nature of the evidence base and the fact that new TCs will continue to emerge with advancing medicine.54 In addition, how the TCF can be used in teaching and how threshold crossing can be measured are significant gaps in the current evidence and require further research.

5 결론
5 CONCLUSION

최근 몇 년 동안 의학교육계에서 TCF에 대한 관심이 높아지고 있습니다. 많은 초점이 수련의 다양한 지점에서 학문적 사고방식과 실습의 기초가 되는 TC를 식별하는 데 맞춰져 있습니다. 의학교육의 연속체 전반에 걸쳐 불확실성, 환자 치료, 임상적 추론 및 전문적 정체성 TC에 대한 이해와 구현이 점점 더 복잡해졌으며, 이는 지식, 사고 및 실천의 개념적 변화를 나타냅니다. TC는 임상 환경과 책임의 변화와 함께 반복되어 평생 학습 커리큘럼에 대한 총체적인 접근 방식을 지지했습니다. 
The TCF has garnered increasing attention in the medical education community in recent years. Much of the focus has been on identifying TCs which underlie the development of disciplinary ways of thinking and practising at various points in training. There was an increasing complexity to the understanding and embodiment of uncertainty, patient care, clinical reasoning and professional identity TCs across the medical education continuum, representing the conceptual changes of knowing, thinking and practising. TCs recurred with changes in clinical environment and responsibilities, endorsing a holistic approach to the curriculum of lifelong learning.

의대생과 의사의 발달 학습 여정, 특히 의학이 발전함에 따라 새로운 TC가 등장하는 상황에서 TCF를 설명하고 적용하기 위한 일관된 접근법을 개발하기 위해서는 더 많은 연구가 필요합니다. 또한 TCF를 교육에 활용하는 방법과 역치 통과를 측정하는 방법은 현재 증거에 상당한 공백이 있어 추가 연구가 필요합니다.
Further research is needed to develop a consistent approach for describing and applying the TCF to the developmental learning journey of medical students and doctors, particularly where new TCs emerge as medicine advances. In addition, how the TCF can be used in teaching and how threshold crossing can be measured are significant gaps in the current evidence and require further research.

Threshold concepts in medical education: A scoping review

PMID: 35775904

PMCID: PMC9543879

DOI: 10.1111/medu.14864

Free PMC article

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

상아탑 대 실천-지향 연구의 미신: 의학교육 무작위 연구의 체계적 문헌고찰(Med Educ, 2020)
The myth of ivory tower versus practice-oriented research: A systematic review of randomised studies in medical education 
Martin G. Tolsgaard1,2 | Kulamakan Mahan Kulasegaram3,4 | Nicole N. Woods3,4 | Ryan Brydges3,5,6 | Charlotte Ringsted7 | Liv Dyre1,2 

1 서론
1 INTRODUCTION

의학교육 연구의 질과 관련하여 반복되는 주제는 실용적 목적이 결여된 이론적 연구1와 이론적 기반이 결여된 응용 연구 사이의 긴장에서 비롯됩니다.2-4 이 주제에 대한 영향력 있는 논문에서 Albert 등4,5 은 의학교육 분야에서 사용자를 위한 생산과 생산자를 위한 생산이라는 두 가지 유형의 연구에 대한 개념적 모델을 제안했습니다.

• 사용자를 위한 생산은, 임상의와 교육자가 구체적인 문제를 해결하고 대학과 임상 부서에 서비스를 제공하는 것을 목표로 합니다. 이러한 유형의 연구에는 이론적 프레임워크가 부족한 경우가 많으며5 주로 임상의가 임상 저널에 발표하는 것으로 알려져 있습니다.6 임상의와 교육자가 연구에 이론을 포함하지 않는 이유에 대해서는 몇 가지 제안된 이유가 있습니다. Albert 등은 의학교육 분야에서 영향력 있는 인사들을 인터뷰했는데, 그 중 한 명은 '의사들은 당신의 이론을 듣는 데 관심이 없다 [...] 그들이 알고 싶은 것은 어떻게 하면 더 효과적이고 비용이 적게 드는 것을 만들 수 있는가'라고 말했습니다.5
• 사용자를 위한 생산자는 자신의 연구를 이론적 틀 안에 위치시키는 데 실패할 수 있지만5,6 프로그램 평가에 엄격한 실험 방법론을 적용함으로써(예: 무작위 설계에서 강력한 실험 통제 사용) 보완합니다.3 그러나 이론적 틀이 없으면 이론적 문제를 발전시키는 것은 물론 실제 문제를 해결하는 데도 실패할 수 있습니다.7 

A recurring theme related to medical education research quality results from the proposed tension between theoretical work lacking a practical purpose1 and applied research lacking a theoretical foundation.2-4 In an influential paper on the topic, Albert et al4, 5 proposed a conceptual model for two types of research within the field of medical education—Production for Users and Production for Producers.

• At one pole, Production for Users, clinicians and educators aim to solve concrete problems and provide service to universities and clinical departments. This type of research often lacks theoretical frameworks5 and is thought to be published mostly by clinicians in clinical journals.6 There are several proposed reasons for why clinicians and educators may fail to include theory in their research. Albert et al interviewed a number of influential figures in medical education, one of which stated that ‘doctors are not interested in listening to your theory[…] What they want to know is how they can make something more effective and cost less’.5 
• Although Producers for Users may fail to situate their research within a theoretical framework,5, 6 they (supposedly) compensate by applying strict experimental methodologies to programme evaluations—for example, by using strong experimental controls in a randomised design.3 However, without theoretical frameworks they may fail in solving practical problems as well as in advancing theoretical issues.7

• 다른 극인 생산자를 위한 생산에서 알버트 등은 지식 구축과 이론 개발을 통해 과학적 정당성을 획득하는 학문적 연구자들을 설명합니다.4 이러한 연구자들은 이론을 학습의 일반적인 현상을 이해하는 렌즈로 사용하고,8 국지적 관찰을 기존 지식 기반에 맥락화하는 방법으로 사용합니다.9 적어도 20년 동안 교육 과학자들은 의학교육 연구에서 이론을 더 많이 사용할 것을 요구해 왔습니다.5, 10-14 의학교육 연구에서 이론의 부족은 의학교육 저널에 제출된 논문이 거부되는 주요 원인으로 남아 있습니다.7, 15-17 반면에 고도로 이론적인 연구에 대한 비판자들은 그것이 교육 실무 및 정책 개발에 실질적인 영향을 미치는지 의문을 제기합니다.6, 7, 18 

At the other pole, Production for Producers, Albert et al describe disciplinary researchers, who acquire their scientific legitimacy through knowledge building and theory development.4 These researchers use theory as the lens through which they understand the general phenomena of learning,8 and as a way to contextualise local observations into an existing knowledge base.9 For at least two decades, education scientists have called for an increased use of theory in medical education research.5, 10-14 The lack of theory in medical education research remains a major cause of rejection of papers submitted to medical education journals.7, 15-17 On the other hand, critics of highly theoretical research question whether it has any real impact on educational practice and policy development.6, 7, 18

이러한 사고방식에 따르면, 일반적으로 받아들여지는 통념은 의학교육 연구가 교육자와 임상의에게 도움을 주는 것을 목표로 하는 실용 지향적 연구와 이론을 발전시키는 데 중점을 두지 않고 실제 적용에 중점을 두지 않는 이론 발전 연구라는 두 가지 극으로 나뉜다는 것을 암시한다고 볼 수 있습니다. 이 신화에서 발생하는 잠재적 문제는 각 극의 연구가 목표, 이론 또는 의제를 공유하지 않아 분야 전체를 발전시키지 못하는 사일로 효과입니다.6, 7 
Following this line of thinking, we suggest that a commonly accepted myth implies that medical education research is perennially divided between two singular poles: practically oriented research aiming to serve educators and clinicians with little focus on advancing theory and research aiming to advance theory with little focus on practical applications. A potential problem arising from this myth is silo effects, where research at each pole does not share goals, theories or agendas; thereby failing to advance the field as a whole.6, 7

파스퇴르의 사분면
Pasteur's quadrant

알버트 등의 분석 이후 15년 이상이 지났습니다. 그 사이 이 분야는 전 세계적으로는 물론 학문적으로도 성숙하고 다양해졌습니다. '상아탑' 이론가와 '현장' 실무자 사이의 격차는 여전히 의학교육 연구의 정당성에 관한 논쟁의 대상이지만,1,7 연구자들이 실용적인 문제 해결과 지식 발전이라는 목표가 상호 배타적이기보다는 상호 보완적일 수 있다는 것을 깨닫게 되면서 그 격차는 좁혀지고 있습니다.7, 19 스토크스는 '[이론적] 이해의 지평을 넓히려는 동시에 활용을 위한 고려에 영감을 받는' '활용 영감 기초 연구'(파스퇴르의 4분면)의 잠재력을 강조하는 연구 분류의 틀을 제시합니다. 나머지 사분면에는 실용적 응용에 대한 고려 없이 오로지 지식의 발전을 추구하는 이론 지향적 기초 연구(보어의 사분면), 이론의 발전에는 관심이 없고 실용적인 문제 해결만을 목적으로 하는 순수 응용 연구(에디슨의 사분면), 비이론적, 비실용적 연구를 대표하는 희귀 연구로 추정되는 무사용, 무이론 사분면이 포함됩니다(그림 1). 따라서 스토크스의 프레임워크는 과학적 사일로의 형성, 과학적 전통이 연구 목표, 과학적 엄격성 및 보고 표준에 미치는 영향 등 의학교육의 연구와 그 과제를 이해하는 데 보다 미묘한 관점을 제공할 수 있습니다. 
Over 15 years have passed since Albert et al’s analysis. The field has matured and has diversified globally as well as disciplinarily. Although the gap between ‘ivory tower’ theorists and ‘in-the-trenches’ practitioners is still a subject of debate regarding the legitimacy of medical education research,1, 7 the gap may be closing as researchers realise that the goals of solving practical problems and advancing knowledge may be complementary rather than mutually exclusive.7, 19 Stokes provides a framework for classifying research emphasising the potential of ‘use-inspired basic research’ (Pasteur's quadrant) that ‘seeks to extend the frontiers of [theoretical] understanding but is also inspired by considerations for use’. The remaining quadrants include theory-oriented basic research that is guided exclusively by its quest for advancing knowledge with no thought for practical application (Bohr's quadrant), pure applied research (Edison's quadrant) that is driven only with the purpose of solving practical problems with no interest for the development of theory, and a no-use, no-theory quadrant for presumably rare research representing non-theoretical and non-practical studies (Figure 1). As such, Stokes’ framework may offer a more nuanced perspective for understanding research in medical education and its challenges, including the formation of scientific silos and the impact of scientific traditions on research goals, scientific rigour and reporting standards.

이 리뷰에서는 의학교육 연구가 사용자 대 생산자라는 두 극으로 나뉘어져 있다는 통념에 대해 살펴보기로 했습니다. 의학교육에는 다양한 연구 접근법이 있습니다. 가용성 측면에서 우리는 임상 학술지뿐만 아니라 교육 학술지에서도 무작위 배정 연구를 찾을 수 있을 것으로 예상했고, 이를 통해 서로 다른 과학적 전통을 가진 영역에서 비교를 할 수 있을 것으로 기대했습니다. 무작위 배정 연구는 임상 연구자뿐만 아니라 분야별 과학자 모두에게 널리 사용되고 이해되는 접근 방식이라는 점을 고려하여 무작위 배정 연구에 초점을 맞추기로 결정했습니다. 예를 들어, 무작위 연구는 의학 및 심리학 연구 모두에서 이론 구축뿐만 아니라 효능 연구 및 실제 임상시험에도 사용됩니다.20 특히 의학교육에서는 이론 구축에 기여하는 무작위 연구의 여러 예가 있지만,21-24 비이론적 연구에 대한 우려도 제기되고 있습니다.3, 5, 25, 26 이러한 이유로 우리는 이론과 실제 적용에 따라 의학교육에 연구 사일로가 존재하는지에 대한 이해를 높이기 위한 출발점으로 무작위 디자인을 사용한 특정 연구 선택에 검토의 초점을 맞췄습니다. 
In this review, we set out to examine the myth that medical education research remains divided between the two poles of production for users vs producers. There are a lot of different research approaches in medical education. In terms of availability, we expected to find randomised studies in both clinical journals as well as in education journals, which would allow us to make comparisons across domains with different scientific traditions. We chose to focus on randomised studies, given the approach is popular and understood on both sides of the aisle—by clinician researchers as well as by disciplinary scientists. For example, randomised studies are used in both medical and psychological research for theory building but also for efficacy studies and practical trials.20 In medical education specifically, there are several examples of randomised studies contributing to theory building,21-24 though there are also concerns raised about non-theoretical research.3, 5, 25, 26 For these reasons, we focused our review on a specific selection of studies using a randomised design as a starting point for building a better understanding of whether research silos exist in medical education according to the use of theory and applications for practice.

우리는 다음과 같은 가설을 세웠습니다:

• (a) 의학교육 연구는 두 개의 극으로 나뉘기보다는 보어의 사분면에서 파스퇴르의 사분면을 거쳐 에디슨의 사분면에 걸쳐 있다.
• (b) 의학교육 저널에 발표된 연구는 주로 보어의 사분면에 속하는 반면, 임상 저널에 발표된 연구는 주로 에디슨의 사분면에 속한다,
• (c) 파스퇴르의 사분면에 속하는 연구는 다른 세 사분면에 비해 인용률이 높고,
• (d) 무사용, 무이론 사분면은 소수의 저품질 연구로 구성되며,
• (e) 이 사분면은 다양한 연구 품질 지표와 관련이 있습니다.

We hypothesised that:

• (a) rather than being divided between two different poles, medical education research spans from Bohr's quadrant across Pasteur's quadrant and to Edison's quadrant,
• (b) research published in medical education journals predominantly falls into Bohr's quadrant, whereas research published in clinical journals predominately falls into Edison's quadrant,
• (c) research that falls into Pasteur's quadrant achieves higher rates of citation compared with the other three quadrants,
• (d) that the no-use, no-theory quadrant would comprise a small number of low-quality studies and
• (e) that quadrant would be related to various indicators of research quality.

2 방법
2 METHODS

우리는 2018년에 발표된 무작위 의학교육 연구를 체계적으로 검토하여 Stokes의 프레임워크에 따라 분류하고 방법론적 엄격성, 보고 기준 및 저널 특성을 조사하여 신화적 분열을 조사했습니다. 
We conducted a systematic review of randomised medical education studies published in 2018 to classify them according to Stokes’ framework and explore their methodological rigour, reporting standards and journal characteristics in order to examine the mythic divide.

이 검토는 의학교육에서 검토를 수행하기 위한 권고사항27 에 따라 설계되었으며 PRISMA 가이드라인에 따라 보고되었습니다.28 우리는 다음과 같은 검토 질문에 답하는 것을 목표로 했습니다: 2018년에 발표된 무작위 의학교육 연구 표본에서, 연구는 스토크스 4분면에 어떻게 분포되어 있으며 방법론적 엄격성, 보고 기준 및 저널 특성은 어떻게 비교되는가?
The review was designed according to the recommendations for conducting reviews in medical education27 and reported according to the PRISMA guideline.28 We aimed to answer the following review question: In a sample of randomised medical education studies published in 2018, how are studies distributed across Stokes’ quadrants and how do their methodological rigour, reporting standards and journal characteristics compare?

연구 참여 자격
Eligibility

광범위한 의학교육 무작위 연구의 완전성을 보장하기 위해 광범위한 포함 기준을 사용했습니다. 2018년 1월 1일부터 2018년 12월 31일 사이에 출판된 연구를 포함시켰으며, 이를 통해 분석 전에 출판된 논문의 인용이 축적될 수 있는 기간을 조사했습니다. 의학교육과 관련된 모든 무작위 배정 연구를 포함했습니다. 의학교육 연구는 '의대생, 레지던트, 펠로우, 교수진 개발 또는 의사를 위한 평생 의학 교육과 관련된 모든 독창적인 연구'로 정의했습니다.29 이 정의에 따라 수의학, 간호학, 약학 및 치의학 교육 연구는 제외했습니다. 우월성 설계, 비열등성/동등성 설계, 평행군 연구, 교차 및 요인 설계 연구를 포함한 모든 유형의 설계를 포함했습니다. 의사 무작위 배정 연구는 제외되었지만 단순, 블록, 클러스터 무작위 배정 연구와 같은 모든 유형의 진정한 무작위 배정 연구는 포함되었습니다.  
We used broad inclusion criteria to ensure completeness of a wide range of randomised studies in medical education. We included studies published between 1 January 2018 and 31 December 2018, thereby examining a window within which citations of published papers would have had time to accumulate prior to our analysis. We included all randomised studies involving medical education. Medical education research was defined as ‘any original research study pertaining to medical students, residents, fellows, faculty development or continuing medical education for physicians’.29 Using this definition, veterinary, nursing, pharmacist and dental education studies were excluded. We included all types of designs, including superiority designs, non-inferiority/equivalence designs, parallel-group studies, cross-over and factorial design studies. Pseudo-randomised studies were excluded, whereas all types of true randomisation such as simple, block and cluster randomised studies were included.

검색 전략
Search strategy

검색 전략은 전문 사서의 도움을 받아 MEDLINE, Embase, CINAHL, PsychINFO, ERIC, Web of Science 및 Scopus에서 주요 용어를 검색하기 위해 개발되었습니다. 이러한 용어에는 의학교육과 관련된 무작위* 및 MeSH 용어(예: 교육, 전문가)에 대한 절단 검색이 포함되었습니다. 의학교육으로 분류되지 않은 연구(예: 보건 전문직 교육, 시뮬레이션, 학부 의학교육, 기술 강화 교육, 임상 추론, 기술 평가, 교육 전문가, 학생 보건 직업, 인턴십 및 레지던트, 교육과정 계획, 교육 방법, 자기 주도적 학습 등)도 검색에 포함되었습니다. 시뮬레이션 기반 의학 교육에 대한 최근 리뷰와 관심 기간에 발표된 연구의 저자 기록에 대한 참조 목록을 검색에 추가했습니다. 저자의 기록과 의학교육 연구를 자주 게재하는 학술지(Acad Med, Med Educ, AHSE, Med Teach, JAMA, Ann Surg, JGIM)를 직접 검색하여 온라인 검색에 가능한 한 많은 관련 무작위 연구를 포함시키기 위해 반복적인 방식으로 검색 전략을 구체화했습니다. 각 카테고리에 해당하는 연구 목록은 요청 시 제공됩니다. 
The search strategy was developed with the help of expert librarians to search MEDLINE, Embase, CINAHL, PsychINFO, ERIC, Web of Science and Scopus for key terms. These terms included truncated search on random* and MeSH terms relating to medical education (eg Education, Professional). Related domains were also included in the search to account for research not categorised under medical education (eg health profession education, simulation, undergraduate medical education, technology-enhanced education, clinical reasoning, skills assessment, education professional, student health occupation, internship and residency, curriculum planning, instructional method, self-directed learning, etc). We added reference lists of recent reviews in simulation-based medical education and authors’ records of studies published in the period of interest to the search. The authors’ own records and a hand-search through journals that often publish medical education research (Acad Med, Med Educ, AHSE, Med Teach, JAMA, Ann Surg, JGIM) were used to refine the search strategy in an iterative way to include as many relevant randomised studies as possible in the online search. A list of the studies falling into each category is available on request.

선정
Selection

확인된 모든 연구는 제목과 초록을 기준으로 저자 MGT와 LD가 개별적으로 심사하고, 점수를 쌍으로 비교하여 적격성을 결정했습니다. 제목이나 초록만으로는 적격성을 판단하기에 불충분한 경우 전문을 검토했습니다. 이견이 있는 경우 합의에 도달할 때까지 토론을 통해 해결했습니다. 
All identified studies were screened individually by the authors MGT and LD based on titles and abstracts and scores were compared in pairs to determine eligibility. The full text was reviewed when the title or abstract was insufficient for determining eligibility. Disagreement was solved by discussion until consensus was reached.

주요 개념의 운영 및 데이터 추출
Operationalisation of key concepts and data extraction

저자 MGT와 LD는 사전 정의된 코드북에 따라 포함된 모든 연구를 독립적으로 그리고 중복해서 검토했습니다. 
Authors MGT and LD worked independently and in duplicate to review all included studies based on a predefined codebook.

(가) 이론 (나) 교육 개념 및 (다) 교육 도구의 사용을 코딩했습니다.

• 이론은 '세상을 이해하는 데 도움이 되는 개념 간의 관계에 대한 추상적인 설명'30으로 정의했습니다(예: 인지 부하 이론 또는 자기조절 학습 이론).
• 교육 개념은 이론에서 파생된 아이디어 또는 원리(예: 숙달 학습 또는 분산 연습)로 정의했습니다.
• 마지막으로 교육 도구는 특정 과제에 사용되는 도구 또는 장치(예: 시뮬레이션 또는 e-러닝)로 정의했습니다.

We coded the use of (a) theory (b) educational concepts and (c) educational instruments.

• We defined theory as ‘an abstract description of the relationship between concepts that help us to understand the world’ 30; for example cognitive load theory or self-regulated learning theory.
• Educational concepts were defined as ideas or principles derived from theory; for example mastery learning or distributed practice.
• Finally, educational instruments were defined as tools or devices used for a particular task; for example simulation or e-learning.

포함된 연구를 수행하기 위한 실질적인 교육적 및 임상적 근거를 조사했습니다. 

• 교육적 근거는 저자가 연구에서 특정 교육적 개입을 사용한 이유를 정당화할 수 있는 경우 존재하는 것으로 점수가 매겨졌습니다. 
• 임상적 근거의 존재는 저자가 연구가 필요한 이유를 설명하는 데 도움이 되는 임상적 배경 섹션을 포함하면 있는 것으로 점수가 매겨졌습니다. 

이러한 조작을 사용하여 Stokes의 프레임워크에서 두 가지 축(임상 및 교육적 활용에 대한 고려 사항 대 지식의 발전)을 따라 연구를 코딩했습니다. 

• 임상적 또는 교육적 근거가 포함된 연구는 오른쪽에 있는 두 사분면(에디슨 사분면 또는 파스퇴르 사분면) 중 하나로 분류되었습니다.
• 교육적 개념이나 이론을 사용한 연구는 두 개의 위쪽 사분면(보어 사분면 또는 파스퇴르 사분면)으로 분류되었습니다.

We examined the practical educational and clinical rationale for conducting the included studies. The educational rationale was scored as present if authors justified why they used the specific educational intervention(s) in their study. The presence of a clinical rationale was scored as present if the authors included a clinical background section to help explain why the study was needed. Using these operationalisations, we coded studies along two axes (considerations for clinical and educational use vs advancement of knowledge) in Stokes’ framework.

• Studies that included a clinical or educational rationale were classified in one of the two right-sided quadrants (Edison's or Pasteur's Quadrants).
• Studies that used educational concepts or theory were classified in the two upper quadrants (Bohr's or Pasteur's Quadrants).

보고의 질과 방법론적 엄격성은 타당성 근거가 확립된 세 가지 도구를 사용하여 평가되었습니다: 임상시험 보고 통합 표준(CONSORT) 성명서,31 Jadad 척도,32 의학교육 연구 품질 도구(MERSQI) 척도.29 이 중 두 가지 도구는 무작위 임상시험을 위해 설계되었으며 생의학 연구 영역에서 유래한 반면(CONSORT 성명서 및 Jadad 척도), MERSQI는 의학교육 연구 방법을 평가하기 위해 설계되었습니다. 
Reporting quality and methodological rigour was assessed using three instruments with established validity evidence: The Consolidated Standards of Reporting Trials (CONSORT) statement,31 the Jadad scale,32 and the Medical Education Research Study Quality Instrument (MERSQI) scale.29 Two of these instruments were designed for randomised clinical trials and originated from within the biomedical research domain (CONSORT statement and the Jadad scale), whereas MERSQI was designed for evaluating medical education research methods.

• CONSORT 성명서는 무작위 대조 연구의 불완전한 보고 문제를 완화하기 위해 1996년에 고안되어 2010년에 개정된 보고 지침입니다. 현재 대부분의 임상 저널에서 CONSORT 성명서를 지지하고 있으며, 제출된 모든 무작위 배정 연구에 대해 CONSORT 준수를 요구하고 있습니다. CONSORT 항목은 있음(점수 = 1점) 또는 없음(점수 = 0점)으로 채점되었습니다. 

The CONSORT statement is a reporting guideline designed in 1996 and revised in 2010 aimed at alleviating problems with incomplete reporting of randomised controlled studies. The CONSORT statement is now supported by the majority of clinical journals, in which adherence to CONSORT is a requirement for all submitted randomised studies. The CONSORT items were scored as present (score = 1) or absent (score = 0).

• Jadad 척도는 무작위배정의 적절성, 맹검의 효과성, 연구 참여자 감소에 중점을 두고 임상시험의 방법론적 품질을 평가하기 위해 고안되었습니다. Jadad 척도의 최대 점수는 5점입니다.

The Jadad scale is designed for the assessment of methodological quality of clinical trials focusing on adequacy of randomisation, effectiveness of blinding and attrition of study participants. The maximum score on the Jadad scale is five.

• MERSQI 척도는 의학교육 연구의 방법론적 강점을 평가하기 위해 특별히 개발되었습니다. 여기에는 사용된 평가 도구의 타당성 증거, 연구 유형, 응답률, 통계 분석의 적절성 및 사용된 결과의 분류와 관련된 항목이 포함됩니다.

The MERSQI scale is developed specifically for evaluating methodological strength of medical education research. It includes items relating to validity evidence of assessment instruments used as well as type of study, response rate, adequacy of statistical analyses and classification of outcomes used.

마지막으로 학술지 유형에 따라 학술지 특성을 코딩했습니다. 의학교육 연구만을 전문으로 하는 저널은 의학교육 저널로, 의학교육이 아닌 주제를 주로 다루는 저널은 임상 저널로 코딩했습니다. 예를 들어, 외과 교육 저널은 의학교육 저널로 코딩되었고 일반 내과학 저널은 임상 저널로 코딩되었습니다. 인용은 포함된 연구에 대해 기록되었으며 2020년 8월 5일에 업데이트되었습니다. 
Finally, journal characteristics were coded in terms of journal type. Journals specifically dedicated to medical education research were coded as such, whereas journals primarily focused on non-medical education topics were coded as a clinical journal. For example, the Journal of Surgical Education was coded as a medical education journal whereas Journal of General Internal Medicine was coded as a clinical journal. Citations were recorded for included studies and updated 5 August 2020.

저자 그룹은 5개의 무작위 의학교육 연구를 시범적으로 검토하고 코드북의 각 주요 용어와 도구를 사용하는 방법에 대한 합의에 도달할 때까지 평가에 대해 논의했습니다. 저자는 각 적격 연구에 독립적으로 점수를 매겼으며 점수를 쌍으로 비교했습니다. 의견 불일치는 토론을 통해 해결했습니다. 
The author group piloted five randomised medical education studies and discussed their ratings until reaching consensus on how to use each of the key terms and instruments in the codebook. Authors scored each eligible study independently and scores were compared in pairs. Disagreement was resolved by discussion.

데이터 분석
Data analyses

연구는 지식의 발전과 실제 사용에 따라 스톡스의 사분면으로 플롯되었습니다.
Studies were plotted into Stokes’ quadrants based on advancement of knowledge and practical use.

CONSORT 문항, 자다드 척도, MERSQI에 대한 합산 점수를 계산했습니다. (a) 저널 유형(임상/의학교육 저널), (b) 개념 또는 이론 포함 여부(예/아니오), (c) 임상/교육적 근거 사용 여부(예/아니오)의 주효과와 상호작용 효과를 세 가지 도구 각각에 대한 점수와 비교하기 위해 2x2x2 ANOVA를 실시했습니다.
Sum scores were calculated for the CONSORT statement, the Jadad Scale and the MERSQI. A 2x2x2 ANOVA was conducted to compare the main effects and interaction effects of (a) journal type (clinical/medical education journal), (b) inclusion of concepts or theory (yes/no) and (c) the use of a clinical/educational rationale (yes/no) on scores for each of the three instruments.

대조군 사용은 (a) 무중재 대조군 (b) A + B 대 A(무언가 + 무언가 대 무언가), (c) 활성 비교군 사용으로 분류했습니다.17 이 분류는 기존 중재에 '무언가'를 추가하는 변형을 포함한 무중재 대조군이 학습자의 학습 방법에 대한 일반적인 이해를 증진시키는 데 거의 도움이 되지 않는다는 기존 문헌의 합의에 근거했습니다.17 (a) 저널 유형(임상/의학교육 저널), (b) 개념 또는 이론 포함 여부(예/아니오), (c) 인용 횟수에 대한 임상/교육적 근거 사용 여부(예/아니오)의 주 효과와 상호작용 효과를 비교하기 위해 2 × 2 × 2 ANOVA를 실시했습니다.
The use of control groups was categorised into (a) no-intervention control group (b) A + B vs A (something + something vs something) and (c) use of active comparison groups.17 This categorisation was based on existing agreements in the literature that no-intervention control groups, including the variant of adding ‘something’ to existing interventions, often do little to advance our general understanding of how learners learn.17 A 2 × 2 × 2 ANOVA was conducted to compare the main effects and interaction effects of (a) journal type (clinical/medical education journal), (b) inclusion of concepts or theory (yes/no) and (c) the use of a clinical/educational rationale (yes/no) on number of citations.

평가자 간 일치도는 카파 통계를 사용하여 결정했습니다.
Inter-rater agreement was determined using kappa statistics.

3 결과
3 RESULTS

연구 흐름 및 기준 데이터
Study flow and baseline data

초기 검색에서 총 3224개의 잠재적 연구가 확인되었습니다. 중복을 제거한 후 2672개의 연구가 선별되었고, 이 중 150개의 연구가 포함 기준을 충족하여 분석되었습니다. 연구 선별 및 선정의 흐름도는 그림 2에 나와 있습니다.
A total of 3224 potential studies were identified from the initial search. After removing duplicates, 2672 studies were screened and of these, 150 met the inclusion criteria and were analysed. Flowchart of study screening and selection is shown in Figure 2.

주요 결과
Main findings

• 가장 많은 수의 연구인 70건/150건(46.7%)이 실용적 기초 연구(파스퇴르 사분면)로 분류되었고,
• 순수 응용 연구가 61건/150건(40.7%)으로 그 뒤를 이었습니다(에디슨 사분면).
• 실제 교육이나 임상 적용을 염두에 두지 않고 지식을 발전시키는 것을 목표로 한 연구는 3건(150건/150(2.0%), 보어의 사분면)에 불과했습니다.
• 나머지 16/150(10.7%)의 연구는 사용 없음, 이론 없음 사분면으로 분류되었습니다(표 1).

개념 및 이론 사용에 대한 카파값은 상당히 높았고(각각 κ = 0.71 및 0.69), 교육 및 임상적 근거에 대한 카파값은 보통이었습니다(각각 κ = 0.63 및 0.52). 
The highest number of studies, 70/150 (46.7%), were categorised as use-inspired basic research (Pasteur's Quadrant), closely followed by pure applied research, 61/150 (40.7%), Edison's Quadrant). Only three studies aimed to advance knowledge with no thought for practical educational or clinical application 3/150 (2.0%), Bohr's Quadrant). The remaining studies, 16/150 (10.7%), were categorised into the no-use, no-theory quadrant (Table 1). Kappa values for the use of concepts and theory were substantial (κ = 0.71 and 0.69, respectively) and moderate for educational and clinical rationale (κ = 0.63 and 0.52, respectively).

활성 대조군active control groups의 사용은 사분면에 따라 차이가 있었는데, 보어 사분면 3/3(100%), 파스퇴르 사분면 49/70(70%)으로 분류된 연구에서 가장 높은 비율을 보였고, 무사용, 무이론 사분면 10/16(63%), 에디슨 사분면 30/61(49%)로 가장 낮은 비율을 보였습니다(χ2(3) = 8.93, P = .03). 개념과 이론을 사용한 연구는 개념과 이론을 사용하지 않은 연구에 비해 활성 비교군을 사용할 가능성이 더 높았습니다(49/73(67.1%) 대 39/77(50.6%); χ2(1) = 8.46, P = .04, OR 2.0 (95% CI 1.0-3.9).
The use of active control groups differed across the quadrants with the highest proportion in studies categorised in Bohr's, 3/3 (100%) and Pasteur's quadrants, 49/70 (70%) and lowest in the no-use, no-theory quadrant, 10/16 (63%) and Edison's quadrant, 30/61 (49%); χ2(3) = 8.93, P = .03. Studies that used concepts and theory were more likely to use active comparison groups compared with those that did not use concepts and theory, 49/73 (67.1%) vs 39/77 (50.6%); χ2(1) = 8.46, P = .04, OR 2.0 (95% CI 1.0-3.9).

사분면에 걸친 연구 분포는 의학교육 저널과 임상 저널 간에 각각 유의미한 차이가 있었습니다(χ2(3) = 12.89, P = .005, 표 1). 교육 개념과 이론을 포함하는 연구의 비율은 임상 학술지와 의학교육 학술지 간에 차이가 있었습니다: 각각 45/111(40.5%) vs 28/39(71.8%); χ2(1) = 9.79, P < .001, OR = 3.92 (95% CI 1.61-9.52). 실제 교육적 또는 임상적 근거를 포함하는 연구의 비율은 임상 학술지 97/111(87.4%) 대 의학교육 학술지 34/39(87.2%); χ2(2) = 0.002, P = .99로 학술지 간 차이가 없었으며, χ2(2) = 0.002, P = .99로 나타났습니다. 
The distribution of studies across the quadrants was significantly different between medical education journals and clinical journals, respectively; χ2(3) = 12.89, P = .005, Table 1. The proportion of studies that included educational concepts and theory differed between clinical journals compared with medical education journals: 45/111 (40.5%) vs 28/39 (71.8%) respectively; χ2(1) = 9.79, P < .001, OR = 3.92 (95% CI 1.61-9.52). There were no differences between journals with regard to the proportion of studies that included a practical educational or clinical rationale; clinical journals 97/111 (87.4%) vs medical education journals 34/39 (87.2%); χ2(2) = 0.002, P = .99.

인용 횟수에 대한 저널 유형(F(1,142) = 0.03, P = .86), 이론(F(1,142) = 0.08, P = .78) 또는 실제 사용(F(1,142) = 0.09, P = .78)에 대한 유의미한 주 효과는 없었습니다(표 2). 이러한 변수 간의 상호작용도 통계적으로 유의미하지 않았습니다. 
There were no significant main effects for journal type (F(1,142) = 0.03, P = .86), theory (F(1,142) = 0.08, P = .78) or practical uses (F(1,142) = 0.09, P = .78) on number of citations (Table 2). Nor were any interactions between these variables statistically significant.

이론을 포함할 경우 CONSORT 점수가 약간 높았지만 유의미하게 높았습니다. 그러나 그 외에는 저널 유형, 이론 및 실제 사용 여부가 CONSORT, Jadad 및 MERSQI 점수에 미치는 유의미한 주효과나 상호작용은 없었습니다(표 3). 세 평가 도구의 개별 항목에 대한 카파값은 매우 다양했습니다: CONSORT κ 범위 0.12~1.00, Jadad κ 범위 0.61~0.73, MERSQI κ 범위 0.28~0.79.

• 성과가 단순한 항목은 카파 값이 높았습니다(예: '제목에서 무작위 임상시험으로 식별' κ = 0.92).
• 해석의 여지가 있는 항목의 경우 낮은 카파 값이 일반적이었습니다(예: '각 그룹의 중재에 대한 설명이 복제할 수 있을 만큼 충분히 상세함', κ = 0.12).

The inclusion of theory was associated with slightly but significantly higher CONSORT scores. Otherwise, however, there were no significant main effects or interactions for journal type, theory and practical uses on CONSORT, Jadad and MERSQI scores (Table 3). Kappa values from the individual items on the three assessment instruments varied widely: CONSORT κ range 0.12-1.00; Jadad κ range 0.61-0.73; MERSQI κ range 0.28-0.79.

• Items with simple outcomes had high kappa values (eg ‘identification as randomised trial in title’ κ = 0.92).
• Low kappa values were common for items that were open for interpretation (eg ‘description of interventions in each group with sufficient detail to allow replication’, κ = 0.12).

4 토론
4 DISCUSSION

무작위 연구 표본을 검토한 결과, 의학교육 연구의 두 가지 주요 극으로 나뉜다는 신화를 뒷받침할 만한 증거를 찾지 못했습니다. 초기 가설과는 달리, 표본으로 추출한 무작위 연구의 대부분은 파스퇴르와 에디슨의 사분면에 속했습니다. 따라서 의학교육 연구가 '상아탑 이론가'와 '현장 실무자'로 대표되는 상반된 두 극으로 구성되어 있다는 견해는 의학교육 실험 연구에 대해서는 더 이상 유지될 수 없습니다. 오히려 [이론과 교육 개념의 사용]과 관련하여 임상 학술지와 의학교육 학술지에 게재된 연구 사이에 틈새가 존재하는 것으로 보입니다. 
In reviewing a sample of randomised studies, we found no evidence to support the myth of a divide between two main poles of medical education research. Contrary to our initial hypothesis, the majority of sampled randomised studies fell into Pasteur's and Edison's Quadrants. Thus, the view that medical education research consists of two opposing poles represented by ‘ivory tower theorists’ and ‘in-the-trenches practitioners’ cannot be upheld for experimental research in medical education. Rather, it seems that if any cleft exists, it is between studies published in clinical journals and medical education journals with respect to their use of theory and educational concepts.

[임상 학술지는 대부분 비이론적 연구를 발표한다]는 가정은 의학교육 분야에서 오랫동안 널리 받아들여져 온 생각입니다.4-6, 9, 18, 33 우리의 데이터에 따르면 이 개념에 어느 정도 진실이 있는 것 같습니다. 이는 공식적인 의학교육 교육을 받지 않은 임상의 독자, 연구자 및 편집자에게 교육 이론은 접근하기 어려운 것으로 간주될 수 있다는 점을 반영할 수 있습니다.5 
The assumption that clinical journals publish largely non-theoretical research is a long-standing and widely held idea in medical education.4-6, 9, 18, 33 Based on our data, it seems that there is some truth to this notion. This may reflect that educational theory may be considered inaccessible to clinician readers, researchers and editors who have not received any formal medical education training.5

의학교육 연구가 '열악한 관계the poor relation'라는 주장은 임상 저널에서 여러 번 반복되어 왔습니다.29, 34 종종 임상 영역 내에서 개발된 보고 지침 및 방법에 대한 낮은 준수가 연구 품질이 좋지 않다는 증거로 사용되었습니다.34 본 표본의 CONSORT 성명서 준수는 의학교육 영역 내35 및 외부의 이전 보고서와 유사했습니다.36 확실히 개선의 여지가 있지만, 의학교육의 실험 연구가 임상 영역 내 연구보다 특별히 나쁘다는 징후는 보이지 않습니다. 임상과 의학교육 학술지 간에 CONSORT, Jadad 또는 MERSQI 점수에 차이가 없다는 것은 방법론 및 보고 품질이 특정 학문의 전통에 의해 독점되지 않는다는 것을 시사합니다. 오히려 이론을 포함한 연구는 활성 대조군을 사용할 가능성이 더 높았으며, 이론을 포함하지 않은 연구보다 CONSORT 점수가 약간 더 높았습니다. 따라서 이론의 포함 여부가 실험적 의학 교육 연구의 질을 나타내는 지표가 될 수 있다는 경험적 증거가 있습니다. 
The claim that medical education research is ‘the poor relation’ has been echoed in clinical journals a number of times.29, 34 Often, the low adherence to reporting guidelines and methods developed within the clinical domain has been used as evidence of poor research quality.34 Adherence to the CONSORT statement in our sample was similar to previous reports within35 and outside the domain of medical education.36 Although there is certainly room for improvement, there are no indications that experimental research in medical education is particularly worse than its counterparts within the clinical domain. Finding no differences in CONSORT, Jadad or MERSQI scores between clinical and medical education journals suggests that methodological and reporting quality is not monopolised by any specific disciplinary tradition. If anything, studies including theory were more likely to use active control groups and they received slightly higher CONSORT scores than studies failing to include theory. As such, there is some empirical evidence that the inclusion of theory may be an indicator of quality in experimental medical education research.

표본에 포함된 연구를 이론, 실습 또는 두 가지 모두의 발전을 목표로 하는지 여부에 따라 Stokes의 4사분면에 따라 분류했을 때,19 전체 연구의 약 11%가 [비-활용, 비-이론 사분면]에 속하는 것으로 나타났습니다. 이 사분면은 품질이 낮은 연구 표본을 대표할 것으로 예상했지만 평균 인용 횟수는 다른 세 사분면의 연구와 다르지 않았습니다(표 2). 스토크스는 이 사분면의 존재를 예측하면서 이 사분면이 '일반적인 설명 목적이나 응용 용도를 고려하지 않고 특정 현상을 체계적으로 탐구하는 연구'를 대표할 것이라고 추측했습니다. 스톡스에 따르면, 무사용, 무이론 사분면의 연구는 보어와 에디슨의 사분면 연구의 중요한 선구자가 될 수 있다고 합니다. 
When classifying the studies in our sample according to Stokes’ four quadrants in terms of whether they aim to advance theory, practice, or both,19 we found that about 11% of all studies fell into the no-use, no-theory quadrant. We expected this quadrant to represent a sample of low-quality studies but found an average citation count that was no different from studies in the other three quadrants (Table 2). Stokes predicted the existence of this quadrant and speculated that it would represent research that systematically ‘explores particular phenomena without having in view general explanatory objectives or any applied use’. According to Stokes, studies in the no-use, no-theory quadrant could be important precursors for research in Bohr's and Edison's quadrants.

이렇게 제안된 지식과 아이디어의 확산은 [탐구하는 근본 현상을 설명하는 데 도움이 되는 이론의 필요성을 강조하는 고품질 연구를 수행하는 방법]이라는 기존의 견해와 다릅니다.10, 35 그러나 지식과 아이디어가 학문적 사일로 안에 숨어 있지 않다는 증거가 늘어나고 있으며37, 아이디어의 확산이 미리 정의된 도그마를 따라야 한다고 믿을 이유가 거의 없습니다. 연구의 가치는 [실용적이냐 이론적이냐의 구별]에 있지 않을 수 있으며,19 양극단을 만들고 신화를 강화하려는 이러한 시도는 의학교육의 연구 질에 대한 논의에 역효과를 가져오는 경향이 있기 때문입니다.9 오히려 우리는 연구가 얼마나 새로운 아이디어와 지식을 분야 전체에 잘 전달하는지 고려해야 합니다.7 예를 들어 최근 데이터 과학의 발전이 제공하는 미래의 무사용, 무이론 4분면 연구는 명확한 이론적 틀이나 실용적 근거가 부족하더라도 의학교육 연구 분야에 유용한 통찰을 제공할 수 있습니다.38 

This proposed spread of knowledge and ideas differs from existing views on how to conduct high-quality research, which emphasise the need for theory to help explain the underlying phenomena being explored.10, 35 However, there is growing evidence that knowledge and ideas do not stay hidden inside disciplinary silos37 and there is little reason to believe that spread of ideas need to follow predefined dogmas. The value of research may not lie in the distinction of whether or not it has a practical or a theoretical scope,19 as such attempts to create poles and reinforce myths tend to be counter-productive to the conversation on research quality in medical education.9 Rather, we may need to consider how well studies bring forward new ideas and knowledge to the field as a whole.7 For example, future no-use, no-theory quadrant research provided by recent advances in data science may offer valuable insights to the field of medical education research despite lacking explicit theoretical frameworks or practical rationales.38

이 검토에는 몇 가지 한계가 있음을 인정합니다. 첫째, 표본은 무작위 연구로 제한되었는데, 이는 발표된 의학교육 연구의 일부에 불과하며 '상아탑'에 속한다고 비난받을 가능성이 가장 높은 연구 유형을 반영하지 못할 수 있습니다. 이 리뷰에서는 실험적 의학교육 연구의 관점에서 이론과 실제적 근거의 사용을 검토했으며, 연구 결과가 의학교육 연구의 다양한 스펙트럼을 모두 반영하지 못한다는 점을 충분히 인정합니다. 무작위 배정 연구에 초점을 맞춘 이유는 이러한 연구가 생산자를 위한 생산(Production for Producers) 극과 사용자를 위한 생산(Production for Users) 극의 연구 사이의 긴장을 대표할 가능성이 높기 때문에 의학교육의 연구 품질에 대한 기존의 통념을 면밀히 조사할 수 있기 때문이었습니다. 모든 유형의 연구 방법을 검토에 포함하지는 않았지만, 이는 더 연구할 가치가 있는 경험적 문제입니다. 
We acknowledge some limitations to this review. First, the sample was limited to randomised studies, which only represent a small corner of published medical education research and may not reflect the types of research that are most likely to be accused of belong in the ‘ivory tower’. In this review, we examined the use of theory and practical rationale from the perspective of experimental medical education research, fully acknowledging that our findings do not apply the diverse spectrum of medical education research. The rationale for focusing on randomised studies was that these studies were likely to represent tensions between research at the Production for Producers pole as well as the Production for Users pole and thereby allow us to scrutinise existing myths on research quality in medical education. Although we did not include all types of research methods in our review, this is an empirical issue that is worth studying further.

둘째, 학술지를 의학교육과 임상 학술지로 구분했는데, 이는 일부 의학교육 학술지는 다른 학술지(예: Advances in Health Sciences Education)보다 임상 적용에 더 중점을 두는 반면, 임상 학술지는 의학교육 논문을 많이 게재하는 학술지(예: Journal of General Internal Medicine)부터 그렇지 않은 전문 학술지까지 다양하기 때문에, 단순화했다고 볼 수 있습니다. 또한 인용 횟수를 저널 지표로 사용했는데, 이는 여러 가지 이유로 비판을 받을 수 있으며, 가장 중요한 것은 서로 다른 학문 분야 간에 쉽게 비교할 수 없다는 점입니다.39, 40 그럼에도 불구하고 인용 횟수는 여전히 출판사와 저자 모두에게 관심의 대상이며, 이러한 이유로 그 한계를 고려할 때 여전히 고려할 만한 가치가 있습니다. 
Second, we divided journals into medical education and clinical journals, which is a simplification as some medical education journals are clearly more focused on clinical applications (eg Journal of Surgical Education) than others (eg Advances in Health Sciences Education) whereas clinical journals may range from those publishing large number of medical education papers (eg Journal of General Internal Medicine) to specialty journals that do not. Moreover, we used citations as journal metrics, which may be criticised for a number of reasons, most importantly for not being easily comparable between different academic areas of research.39, 40 Nonetheless, citations are still a matter of interest for both publishers and authors and for these reasons they remain relevant to consider given their limitations.

마지막으로, 이 검토에 사용된 보고 및 품질 체크리스트의 일부 항목에서 평가자 간 신뢰도가 낮았습니다. 가장 낮은 카파 점수를 받은 항목은 해석의 여지가 가장 많은 항목이었으며, 이는 최근의 유사한 검토 결과와 일치합니다.35 
Finally, the inter-rater reliability was low for some items in the reporting and quality checklists used in this review. The items that received the lowest kappa scores were the ones that were most open to interpretation, which is consistent with recent similar reviews.35

5 결론
5 CONCLUSION

무작위 설계를 사용한 대규모 연구 표본에서 '상아탑 연구'와 '현장 실무'로 대표되는 의학교육 연구의 양 극단에 대한 신화를 뒷받침할 증거를 찾지 못했습니다. 임상 학술지에 실린 무작위 연구 중 이론이나 교육 개념을 사용한 연구는 절반도 되지 않아 임상 학술지의 비이론적 의학교육 연구에 관한 일반적인 가정을 확인했습니다. 잘 응용된 의학교육 연구와 이론적 의학교육 연구가 서로에게 얼마나 많은 정보를 제공하는지, 그리고 의학교육 연구를 게재하는 학술지 간의 사일로 효과를 피하는 방법을 명확히 하기 위한 노력이 필요합니다. 
We found no evidence to support the myth of a divide in medical education research between two poles represented by ‘ivory tower research’ and ‘in-the-trenches practice’ in a large sample of studies using randomised designs. We did confirm prevailing assumptions regarding non-theoretical medical education research in clinical journals as less than half of the randomised studies in these journals made any use of theory or educational concepts. Efforts are needed to clarify how well-applied and theoretical medical education research inform each other and how to avoid silo effects between scientific journals publishing medical education research.

Med Educ. 2021 Mar;55(3):328-335. doi: 10.1111/medu.14373. Epub 2020 Oct 19.

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

When I say ... 관여 (Med Educ, 2022)
When I say … engagement
Joshua Jauregui1 | Caitlin Schrepel1 | Adelaide McClintock2

시애틀에는 맛있는 커피를 제공하는 카페가 많지만 뛰어난 에스프레소를 제공하는 시애틀 카페를 찾는 것은 취향의 문제입니다. 완벽한 커피 한 잔의 품질을 진정으로 감상하려면 [커피를 만드는 손]을 자세히 살펴봐야 합니다. 바리스타와 [커피를 만드는 기술에 대한 바리스타의 참여]가 모든 차이를 만듭니다. 
Seattle has an abundance of cafes with good coffee, but discovering the Seattle cafe that serves exceptional espresso is a matter of taste. Truly appreciating the quality of a perfect cup of coffee requires a deeper look at the hand that makes it. The barista, and their engagement in the craft of making coffee, makes all the difference.

마찬가지로 학생 참여도는 학업 성취도의 중요한 예측 변수입니다.1-4 종종 [학생들이 교실과 학습 커뮤니티 내에서 생각하고 느끼고 행동하는 방식]으로 정의되지만, 보건 전문직 교육에서의 [참여의 구인]은 아직 제대로 정의되지 않은 상태입니다. 따라서 학생 참여를 파악하기는 쉽지만 측정하고 효과적으로 연구하기는 어렵습니다. 또한, 최근 의학교육의 범위 검토에서는 참여라는 개념 자체에 대한 이해에 상당한 차이가 있음을 언급하며 이를 반영했습니다.1
Similarly, student engagement is an important predictor of academic performance.1-4 Often defined as how students think, feel and act within their classrooms and learning communities, the construct of engagement in health professions education remains ill defined. This makes recognising student engagement easy, but difficult to measure and effectively study. Furthermore, a recent scoping review in Medical Education echoed this, citing a significant gap in our understanding of engagement as a construct in its own right.1

참여의 의미를 개념화하기 위해 동네 카페로 여행을 떠나 보겠습니다. 커피를 내리는 향기, 에스프레소 머신의 쉭쉭거리는 소리, 손님들의 재잘거림 너머로 두 명의 바리스타가 보입니다. 한 명은 검은색 앞치마를, 다른 한 명은 초록색 앞치마를 입고 있습니다. 줄을 서서 기다리다 보면 완벽한 커피 한 잔을 만들기 위한 두 사람의 노력에 차이가 있다는 것을 알 수 있습니다.
To conceptualise what we mean by engagement, let us take a trip to our local cafe. Beyond the aroma of brewing coffee, the hissing of the espresso machine and the chatter of customers, you will see two baristas. One is wearing a black apron and the other a green apron. As you wait in line, you start to notice that there are differences in how they engage in making that perfect cup of coffee.

1 참여는 동기 부여가 아니다
1 ENGAGEMENT IS NOT MOTIVATION

두 바리스타와의 사전 대화를 통해 두 바리스타 모두 동기 부여가 되어 있다는 것을 알 수 있습니다. 녹색 앞치마를 입은 바리스타는 임대료를 내기 위해 돈을 벌고 싶다는 외적 동기가 있으며, 급여 인상을 통해 보상을 받고 싶어 합니다. 반면 검은색 앞치마를 입은 바리스타는 자신의 직업이 가져다주는 만족감으로 인해 내적 동기를 부여받습니다. 녹색 앞치마를 입은 바리스타는 항상 똑같은 나뭇잎 무늬를 만드는 반면, 검은색 앞치마를 입은 바리스타는 더 복잡한 라떼 아트를 배우기 위해 도전하는 것을 즐깁니다. 이는 성적이나 상사의 칭찬과 같은 외적 요인과 호기심, 열정 같은 내적 요인에 의해 동기를 부여받는 학습자의 경험을 반영합니다. 이런 식으로 동기 부여는 높은 수준의 행동이나 더 깊은 인지적 도전에 대한 욕구를 보장하지 않습니다. 오히려 동기 부여는 이를 위한 촉매제 또는 연료이며, 동기 부여가 궁극적으로 참여로 이어질 수는 있지만 그 자체가 참여는 아닙니다.1
Based on prior conversations with both baristas, you know that both feel motivated. The barista in the green apron is extrinsically motivated to make money to pay rent and is hoping to get rewarded with a raise. The barista in the black apron, on the other hand, is internally motivated by the satisfaction their job brings them. They enjoy the challenge of learning to make more complicated latte art, whereas the barista in the green apron always creates a leaf pattern which, while excellent, is always the same. This mirrors the experience of our learners who might be motivated by external factors such as grades or praise from superiors and internal factors such as curiosity and passion. In this way, motivation does not guarantee a high degree of action or desire for deeper cognitive challenge. Rather, motivation is the catalyst or fuel for these, and while it may ultimately lead to engagement, it is not in and of itself engagement.1

2 참여는 유사하지만 몰입 상태와는 다릅니다.
2 ENGAGEMENT IS SIMILAR, BUT DIFFERENT THAN FLOW STATE

줄의 앞쪽에 가까워질수록 두 바리스타의 행동을 지켜보기 시작합니다. 검은 앞치마를 입은 바리스타는 하트와 나비 모양의 우유로 예술 작품을 만드는 데 집중하고 있는 것을 볼 수 있습니다. 창의력 덕분에 주문이 약간 밀려도 눈치채지 못하는 것 같습니다. 반면 녹색 앞치마를 입은 바리스타는 아침 러시 시간대에 고객을 응대하며 방해 요소를 무시하고 효율적으로 고객을 줄로 이동시키는 등 '제 역할'을 하는 것처럼 보입니다. 두 바리스타는 모두 몰입 상태로 관찰된다. 몰입 상태는 참여과 유사하지만 [지속성 측면]에서 차이가 있습니다.

• 참여와 마찬가지로, 몰입 상태는 한 사람이 활동에 완전히 몰입하여 집중하는 정신 상태입니다.
• 몰입 상태는 엄밀히 말해 단기적인 상태이지만(장기적 상태 아님), 참여는 둘 다일 수 있습니다.
• 몰입은, 지속으로 흡수력있는 참여 상태라기보다는, 시간 감각의 왜곡을 특징으로 하는 최고의 경험입니다.5, 6

As you get closer to the front of the line, you start to watch both baristas act. You notice that the barista in the black apron remains intensely focused on creating art with milk in the form of hearts and butterflies. While their creativity results in a slight backup in orders, they do not seem to notice. On the other hand, the one in the green apron rings up customers during the morning rush and appears to be ‘in the zone’, ignoring distractions and efficiently moving customers through the line. You are observing both baristas in a flow state. While a flow state shares similarities to engagement, it is different in terms of endurance.

• Like engagement, flow is a mental state in which a person is fully immersed and focused on an activity.
• Flow state is strictly short term and not long term, while engagement can be both.
• Flow is a peak experience, characterised by a distortion of one's sense of time, rather than the persistent absorptive state of engagement.5, 6

3 몰입은 자기 조절 학습이 아닙니다.
3 ENGAGEMENT IS NOT SELF-REGULATED LEARNING

카운터에 가서 트리플 아메리카노를 주문합니다. 고객이 두 바리스타에게 피드백을 제시하고, 두 바리스타가 그러한 정보를 다르게 적용하는 것을 지켜봅니다. 

• 검은색 앞치마를 입은 바리스타는 빠르게 적응하고 때때로 고객에게 다시 확인하여 개선 사항을 확인합니다. 
• 녹색 앞치마를 두른 바리스타도 조정하는 것처럼 보이지만, 피드백이 성과 검토에서 나온 경우에만 조정합니다. 

이런 식으로 두 바리스타는 생각과 행동이 함께 어우러져 스스로 학습을 조절하고 있습니다. 그러나 이러한 조절은 학습에 진정으로 관심이 없는 경우에도 발생할 수 있으므로 참여와는 다릅니다.
You make it to the counter and order your triple Americano. You notice customers presenting feedback to both baristas and watch them incorporate such information differently. The barista in the black apron adjusts quickly and will sometimes check back in with the customer to ensure things are improved. The green aproned barista appears to also adjust, but only if the feedback comes from a performance review. In this way, both baristas are regulating their own learning, characterised by thought and action together. However, this is not the same as engagement as it can occur even if the person does not genuinely care about the learning.

두 바리스타의 작업을 모두 지켜보는 것만으로는 두 바리스타의 차이점을 완전히 파악하기 어렵다는 것을 알 수 있습니다. 더 많은 정보가 필요합니다. 다행히도 카페의 슈퍼바이저 중 한 명이 진열대를 정리하고 있고 기꺼이 여러분의 독특한 카페 토론을 즐겁게 해줄 것입니다.
You realise that watching both barista's work is unlikely to give you a full picture of what may be different between them. You need more information. Fortunately for you, one of their supervisors is stocking the shelves and willing to entertain your unique cafe discussion.

두 사람 모두 동기부여가 되어 있고, 일할 때 흐름 상태에 들어갈 수 있으며, 자기 조절이 가능하지만 검은색 앞치마를 입은 바리스타가 업무에 더 몰입한다는 것을 알게 됩니다. 이들은 언젠가 매장을 경영하고 싶을 정도로 자신의 역할에 깊이 투자하고 열정을 느낍니다. 피드백을 통합할 방법을 계획할 때 생각이 깊습니다. 모범적인 고객 서비스를 제공하고 개선 또는 성장을 지원하기 위한 행동을 취합니다. 이런 식으로 검은 앞치마를 두른 바리스타는 '활기, 헌신, 몰입을 특징으로 하는 긍정적이고 성취감 있는 업무 관련 마음의 상태'에 들어선 것입니다.6 이 바리스타는 참여engaged하고 있습니다.
You learn that, while both are motivated, capable of entering a flow state at work, and self-regulated, the barista in the black apron is more engaged with their work. They feel deeply invested and passionate about their role, wanting to manage a shop one day. They are thoughtful as they plan how to incorporate feedback. They take action to provide exemplary customer service and support improvement or growth. In this way, the barista in the black apron has entered a ‘positive, fulfilling, work-related state of mind that is characterized by vigor, dedication and absorption’ in their work.6 This barista is engaged.

Engagement은 외부의 노력에 대해 구체적인 방식으로 생각하고, 느끼고, 행동하는 개인의 주체적인 선택입니다. 이는 행동에 대한 사고, 에너지 및 노력입니다.7 이는 사고, 감정 및 행동 영역의 긍정적 또는 부정적 원자가에 반응하는 적정 가능한 상태이며, 전부 아니면 전무, 오프/온, 반응이 아닙니다.3 이러한 개별 영역이 개별적으로 평가되고 소비됨에 따라 개인의 참여라는 더 큰 구조가 바뀔 수 있습니다. 참여도가 높은 사람은 더 많이 참여하는 경우가 많습니다.8
Engagement is an individual's agentic choice to think, feel and act within, and in response to, an external endeavour in a concrete manner. It is their cogitation, energy and effort in action.7 It is a titratable state in response to the positive or negative valence in the domains of thought, emotion and action, rather than an all or nothing, off/on, reaction.3 As these individual domains are individually appraised and expended, so the larger construct of engagement of an individual may shift. Those who engage often engage even more.8

참여는 내부적인 상태이지만 상황에 따라 달라집니다. 어떤 노력의 일부 측면에서는 더 많이 참여할 수 있고, 다른 측면에서는 덜 참여할 수 있습니다. 컨텍스트는 그 자체로 참여도에 영향을 미칠 수 있습니다. 예를 들어, 학습 환경 내에서 학생의 심리적 안정감과 소속감은 수치심이나 비난에 대한 두려움 없이 참여할 수 있는 인지적, 정서적, 행동적 자원의 가용성에도 영향을 미칩니다.9
While engagement is an internal state, it is context specific. One can be more engaged in some aspects of an endeavour, and less so in others. Context may, in and of itself, influence engagement. For instance, a student's psychological safety and sense of relatedness within a learning environment will also influence the availability of cognitive, emotional and behavioural resources with which to engage without fear of shame or blame.9

검은 앞치마를 두른 바리스타처럼, [참여도가 높은 학생]은 [인지적, 정서적, 행동적] 세 가지 차원의 연속체에서 다른 사람과 상호작용할 때 사용하는 에너지와 노력으로 정의됩니다.1, 3, 7

• [인지적 영역]은 학생이 성찰, 학습, 발전하기 위해 사용할 수 있고 의도적으로 투자한 정신적 자원을 말합니다.
• [정서적 영역]은 학습 과정에 대한 학생의 흥미와 개방성을 의미합니다.
• [행동적 영역]은 학습에 도전하는 학생의 노력과 끈기입니다.2

예를 들어, 임상 실습 평가에 참여하는 학생은 자신의 수행에 대해 적극적으로 자기 성찰하고, 관찰된 수행에 대한 피드백을 진정으로 추구하며, 향후 수행을 개선하기 위해 지속적으로 몰두할 것입니다. Engagement를 정의하는 이러한 헌신과 활력은 지식 기반 평가와 임상 역량에서 긍정적인 결과를 가져오는 것으로 나타났습니다.1, 4
Just like the barista in the black apron, an engaged student is defined by the energy and effort that they employ through interacting with others across a continuum of three dimensions: cognitive, affective and behavioural.1, 3, 7 

• The cognitive domain is the student's available and intentionally invested mental resources to reflect, learn and develop.
• The emotional domain is a student's interest and openness to the process of learning.
• The behavioural domain is a student's effort and persistence in the challenge of learning.2 

For example, a student engaged with their clinical clerkship assessments would be actively self-reflective of their own performance, genuinely pursuant of feedback on their observed performance and persistently absorbed in an effort to improve their future performance. This dedication and vigour that defines engagement has been shown to lead to positive outcomes in knowledge-based assessments and clinical competencies.1, 4

커피의 선구자 피에로 밤비10는 '기술은 배울 수 있지만, 열정은 헌신과 사랑, 자부심과 존중을 통해 길러진다'고 말하며 몰입하는 바리스타를 칭송했습니다. 마찬가지로 학생들이 교육에 어떻게 참여하고, 생각하고, 느끼고, 행동하는지가 모든 차이를 만듭니다. 학습자가 참여하지 않는다면 보건 전문직 교육자가 숙고하고, 명확하게 표현하고, 실행하는 것은 거의 의미가 없습니다. 우리의 노력의 교육적 효과는 학생의 참여도에 달려 있습니다. 따라서 참여라는 말을 할 때 우리가 무엇을 말하는지 아는 것이 필수적입니다.
The coffee visionary Piero Bambi10 celebrated the engaged barista when he said ‘You can learn the technique, but passion is cultivated through dedication, love, pride and respect in your work.’ In the same way, how students engage—think, feel and act—in response to their education makes all the difference. What health professions educators ponder, articulate or implement matters little if their learners do not engage. The educational impact of our efforts is dependent on the student's engagement with them. So knowing what we say, when we say engagement, is requisite.

Med Educ. 2023 Mar;57(3):219-220. doi: 10.1111/medu.15015. Epub 2023 Jan 13.

When I say … engagement

PMID: 36585371

DOI: 10.1111/medu.15015

임상적 의사소통의 생각, 우려, 기대에 대한 비판적 고찰(Med Educ, 2022)
A critical look at ideas, concerns and expectations in clinical communication
Ged M. Murtagh

1 서론
1 INTRODUCTION

의대생이 받는 커뮤니케이션 기술 교육의 핵심에는 두 가지 기본 요구사항이 포함됩니다.

• [관련 의료 정보를 이끌어내는 것]
• [환자의 상황에 대한 관점을 파악하는 것]

이 두 가지 데이터 소스는 통합되어야 문제의 각 '버전'(의사와 환자)이 양 당사자에게 포괄적이고 의미 있는 정보가 될 수 있습니다1, 2 두 데이터 소스는 상호 배타적이지 않습니다.

• [의학적 징후와 증상에 대한 정보를 수집하는 것]은 분명히 중요합니다.
• 그럼에도 불구하고 [환자의 관점과 환자에게 가장 중요한 것]이 무엇인지 알지 못하면 상담은 기껏해야 차선책일 뿐이며 최악의 경우 낭비입니다.1 

A central part of the communication skills teaching medical students receive involves two fundamental requirements:

• to elicit relevant medical information and
• to capture the patient's perspective about their situation.

These two sources of data need to be integrated so that each ‘version’ of the problem (the doctor's and the patient's) is comprehensive and meaningful for both parties1, 2 Both sources of data are not mutually exclusive.

• Gathering information on the medical signs and symptoms is clearly important.
• Nevertheless, without knowledge of the patient's perspective and what matters to them most, the consultation is, at best, suboptimal, at worst, wasteful.1

환자가 생각하는 바를 파악하고 이를 반영하여 이러한 관점을 효과적으로 파악하는 것은 환자 중심 치료를 제공하는 데 필수적이며,3,4 종종 의학적으로 관련된 주제에 대한 논의에 관련 맥락을 제공합니다.1 이러한 주제에는 환자의 증상 경험, 사물을 보는 방식, 가족력 및 사회력과 같은 특정 주제에 대한 기타 보다 실질적인 정보가 포함될 수 있습니다. 일반적으로 의료 정보를 이끌어내는 작업은 비교적 간단합니다. 그러나 환자의 관점을 알아내려고 할 때 어려움이 발생할 수 있습니다.1 이 문제를 해결하는 데 도움이 되는 실용적인 해결책이자 의과대학에서 의사소통 기술 교육의 일환으로 널리 가르치는 것은 환자의 생각, 우려 및 기대 또는 더 일반적으로 언급되는 ICE에 대해 문의하는 것입니다. 
Effectively capturing that perspective by finding out and incorporating what the patient thinks is also integral to the delivery of patient-centred care,3, 4 often providing the relevant context for discussions of medically relevant topics.1 Such topics might include the patient's experience of their symptoms, how they see things and other more substantive information on specific topics such as Family History and Social History. Typically, the task of eliciting medical information is relatively straightforward. Difficulties can arise, however, when trying to find out about the patient's perspective.1 A practical solution to help with this problem, and something that is taught widely in medical schools as part of communication skills training, is to inquire into the patient's ideas, concerns and expectations or ICE as it is more commonly referred to.

상담의 핵심 요소로 ICE를 도입한 것은 1980년대에 데이비드 펜들턴, 피터 테이트 등5이 수행한 일반의 상담에 대한 광범위한 조사 결과에서 비롯되었습니다. 펜들턴 등은 이러한 상담을 조사하는 과정에서 환자와의 상호작용에 대해 다른 접근 방식을 취하는 소수의 GP를 발견했습니다. 이들은 이러한 일반의가 단순히 진단적 조사에 집중하기보다는 환자의 질병 경험에 대해 알아내는 데 훨씬 더 집중하고 있다는 점에 주목했습니다. 환자의 경험에 대한 이러한 초점은 환자의 아이디어, 우려 및 기대를 이끌어내는 것이 특징이며이 하위 그룹과 나머지 그룹 간의 차이는 상당히 뚜렷했습니다 .5

• '이것은 그들이보다 미묘하고 전체적인 진단 공식을 만들 수있게 해줄뿐만 아니라 그들 앞에있는 사람에게 설명과 조언을 맞춤화 할 수있었습니다'. (휘태커 2021: 1).

The introduction of ICE as a key element of the consultation emerged out of extensive examination of GP consultations conducted by David Pendleton, Peter Tate et al.5 back in the 1980s. In the examination of these consultations, Pendleton et al. identified a small number of GPs who were taking a different approach to their interactions with patients. They noted that these GPs were much more focused on finding out about the patient's experience of their illness rather than simply pursuing a diagnostic investigation. This focus on the patient's experience was characterised around eliciting the patient's ideas, their concerns and expectations and the difference between this subgroup and the rest of the group was quite stark.5 

• ‘Not only did this equip them to make more nuanced and holistic diagnostic formulations, they were also able to tailor their explanations and advice to the person in front of them’. (Whitaker 2021: 1).

환자 중심 접근 방식의 일환으로 ICE에 대한 문의의 실질적인 수입은 곧 대서양 양쪽에서 경험적 추진력을 얻기 시작했습니다. 미국에서는 환자의 더 넓은 사회적 맥락에 대한 질문의 중요성과 이것이 건강 결과와의 관계를 강조하는 연구가 시작되었습니다.6 영국에서는 이 주제에 대한 연구를 통해 환자의 우려를 이끌어내는 것의 중요성과 이것이 환자의 이해 수준 및 환자 순응도와의 관계가 밝혀졌습니다.7, 8 의사 소통 기술로서의 ICE 사용은 의사 소통 기술 교육 프로그램의 공식화의 일환으로 GP 상담실에서 의과 대학의 강의실로 천천히 퍼져 나갔습니다.
The practical import of inquiries into ICE as part of a patient-centred approach soon began to gain empirical momentum on both sides of the Atlantic. In the United States, research started to highlight the importance of inquiring into the patient's wider social context and the relation of this to health outcomes.6 In the United Kingdom, studies on this topic revealed the importance of eliciting the patient's concerns and the relation of this to levels of patient understanding and patient adherence.7, 8 The use of ICE, as a communication technique, slowly spread from the GP consulting room to the lecture theatres of medical schools as part of the formalisation of programmes of communication skills teaching.

이제 [환자의 ICE를 다루는 것]은 환자 중심 접근 방식의 일환으로 환자와 상호 작용할 때 새 의대생에게 기대되는 표준의 필수적인 부분입니다.9 매우 중요한 의미에서 ICE 유형의 질문과 그것이 나타내는 것은 단순히 직업 에티켓과 관련된 것이 아니라 의료 거래에 필수적인 환자 관점의 중요성을 실질적으로 인정하는 의료 행위의 패러다임 전환을 형성하는 데 도움을 주었습니다.
Addressing a patient's ICE is now an integral part of the standards expected of new medical graduates when interacting with patients as part of a patient-centred approach.9 In a very important sense, ICE type inquiries and what they represent has helped shape a paradigmatic shift in medical practice not simply one connected to professional etiquette but one that tangibly acknowledges the importance of the patient's perspective as integral to the transaction of medical care.

그러나 상담 시 ICE에 대한 문의의 중요성을 뒷받침하는 증거가 반드시 이 기법을 효과적으로 구현하는 방법에 대한 증거를 뒷받침하는 것은 아닙니다. 그럼에도 불구하고 이 기법을 효과적으로 구현하는 데 어려움이 종종 발생합니다. 이러한 어려움의 주요 원인은 의도하지 않았음에도 불구하고 [ICE에 대한 탐색]을 [의사소통 문제를 해결하기 위한 기술적 장치], 즉 환자의 관점을 파악하는 것으로 취급하기 때문입니다. '기술적 해결'로 활용될 경우, 의사소통 과정10에서 주의를 돌리게 되고, 결과적으로 ICE에 대한 문의가 실제로 환자 중심적인 방식으로 어떻게 사용될 수 있는지에 대한 관심이 멀어집니다.3 
However, evidence to support the importance of inquiries into ICE within the consultation is not necessarily supporting evidence for how to implement this technique effectively. Nevertheless, it is with effectively implementing this technique, where difficulties often arise. The primary driver of these difficulties is the treatment (albeit unintended) of inquiries into ICE as a technical device to fix a communication problem, namely, capturing the patient's perspective. When utilised as a ‘technical fix’ attention is diverted away from the communication process10 and, consequently, how inquiries into ICE can be used in practice in a more patient centred way.3

이 논문은 학생이나 실무자가 환자의 생각, 우려 및 기대에 대해 문의할 때 겪을 수 있는 상호 작용상의 어려움을 명확히 하고 해결하고자 합니다. 이 문제를 해결하기 위해 실용적인 지식과 이론적 지식 간의 시너지 효과를 제안합니다. 일반 대화 및 의사-환자 상호작용에 대한 대화 분석 연구 결과는 덜 공식적인 방식으로 환자의 관점을 이끌어내는 접근법을 알려주는 데 사용됩니다. 마지막으로, 의대생을 위한 의사소통 기술 교육 및 평가와 관련하여 제시된 주장의 함의를 고려합니다. 
This paper attempts to clarify and address the interactional difficulties students or practitioners may find themselves in when inquiring into a patient's ideas, concerns and expectations. A synergy between practical and theoretical knowledge is proposed to address this matter. Findings from Conversation Analytical studies of ordinary and doctor–patient interaction are used to inform approaches to eliciting the patient's perspective in less formulaic ways. Finally, the implications of the argument presented are considered in relation to the teaching and assessment of communication skills for medical students.

2 아이디어, 우려 및 기대에 대한 어려움
2 DIFFICULTIES WITH IDEAS, CONCERNS AND EXPECTATIONS

상담에 환자의 ICE를 통합하는 데는 분명한 잠재력이 있습니다.

• 환자의 ICE에 참여하는 것은 처방,11,12 공동 의사 결정,13 병력 청취 및 환자 이해 수준을 긍정적으로 형성하는 것으로 나타났습니다.7
• 또한 각 구성 요소는 상담 내에서 특정한 의미를 가질 수 있습니다. 예를 들어, 환자의 생각과 기대에 대한 질문은 [질병 경험에 대한 탐색과 이해]보다 [파트너십 구축]과 더 밀접한 관련이 있습니다.8

There are clear potentialities to incorporating the patient's ICE within the consultation.

• Engaging with the patient's ICE has been shown to positively shape levels of prescribing,11, 12 shared decision making,13 history taking and patient understanding.7 
• Moreover, each component part can hold specific implications within the consultation. For example, inquiries into a patient's ideas and expectations have been more closely associated with partnership building than with exploration and understanding of the illness experience.8 

상담 내에서 이 기법의 가치를 고려할 때, 이 기법을 효과적으로 구현하는 방법에 대한 지식은 분명히 중요하지만, 이 부분에서 어려움이 시작됩니다. 엘윈 등13은 이 기법을 효과적으로 구현하는 방법에 대한 몇 가지 지침을 제공합니다. 그들은 '완화 된 문구를 사용하고, 잠시 멈추고, 언어적 및 비언어적 신호에 민감 해짐으로써 ... 환자의 기여에 개방적이되면 질문이 수사적이라는 인상을 주지 않고 이러한 문제를 탐색 할 수 있습니다'(Elwyn 외., 2000: 894)라고 제안합니다. 이 지침은 ICE 유형의 문의에 대한 면밀한 조사를 제공하지만, 다소 불투명합니다. 예를 들어, 이러한 '완화된 문구'가 어떻게 생겼는지 또는 실제로 수사적이라는 인상을 피하는 방법이 무엇인지 불분명합니다.

Given its value within the consultation, knowledge of how to implement this technique effectively is clearly critical, but this is where some of the difficulties begin. Elwyn et al.13 provide some guidance on how to effectively implement this technique. They suggest that by ‘being open to the patient's contributions … by using mitigated phrases, deploying pauses, and becoming sensitive to both verbal and non-verbal signals, it is possible to explore these issues without causing the impression that the enquiries are rhetorical’ (Elwyn et al., 2000: 894). Although offering some closer scrutiny of ICE type inquiries, this guidance is a little opaque. It is unclear, for example, what these ‘mitigated phrases’ look like or indeed how one avoids the impression of being rhetorical.

몇몇 임상 커뮤니케이션 기술 텍스트도 [구체적인 지침이 부족]합니다. 일부 텍스트는 불만 사항을 제시한 병력에 따라 상담 초기에 환자의 ICE에 대한 문의를 해야 한다고 암시합니다.14 일부 텍스트는 환자와의 관계 형성을 다루면서 예시 질문과 문구를 제공합니다.15 다른 텍스트는 해당 주제를 상당히 광범위하게 다루고 있지만 실제로 상담 내에서 이러한 주제를 언제 다루어야 하는지에 대한 명시적인 지침을 제공하지 않습니다.16
Several clinical communication skills texts are also short on specific guidance. Some texts imply that inquiries into the patient's ICE should be made early on in the consultation following the history of the presenting complaint.14 Some texts provide example questions and phrases as they address building a connection with the patient.15 Others, although they cover the topic quite extensively, do not really provide any explicit guidance on when these topics should be addressed within the consultation.16

상담에서 환자의 관점을 파악하는 것이 중요하다는 점을 고려할 때, 정확하고 상세한 지침은 의대생이 배우는 것뿐만 아니라 의사소통 능력에 대한 역량도 평가받는다는 점에서 매우 중요합니다. ICE는 일반적으로 약어로 학습됩니다. 의학의 다른 약어들은 모두 체크리스트의 성격을 띠는 경우가 많은데, 예를 들어 SBAR 또는 SOCRATES는 약어의 순차적인 순서대로 정보를 전달하거나 수집하는 것을 안내하는 데 목적이 있습니다. 이로 인해 의도하지 않은 결과 중 하나는 ICE가 학생의 머릿속에 '기술적 해결책' 상태를 강화하는 체크리스트로 고착화되는 경향이 있다는 것입니다. 

• 여기서 문제는 체크리스트가 일반적으로 친밀감을 형성하도록 설계되지 않았으며, 상호작용에 체크리스트 형식으로 ICE에 대한 질문이 도입되면 환자에게 부정적인 반향을 일으킬 가능성이 높다는 것입니다.10, 17
• 이러한 '기술적 해결책' 상태가 평가 환경으로 넘어가면 역량을 입증하고 임상진료시험의 병력 청취 스테이션을 통과하는 데 너무 쉽게 사용됩니다.3

Given the import of capturing the patient's perspective within the consultation, accurate and detailed guidance is key if only for the fact that medical students learn but are also assessed on their competence with communication skills. ICE is, and is typically learned as, an acronym. All other acronyms in medicine tend to be checklist in nature, e.g. SBAR or SOCRATES, both of which serve the purpose of guiding either the delivery or collection of information in the sequential order of the acronym. One unintended consequence of this is that ICE tends to get fixed in the mind of the student as a checklist reinforcing its ‘technical fix’ status.

• The problem here is that checklists are not typically designed to build rapport, and when inquiries into ICE are introduced in checklist form into the interaction, it is likely to resonate negatively with the patient.10, 17 
• When this ‘technical fix’ status passes over into the assessment environment, it is all too readily used to demonstrate competence and pass the history taking stations of clinical examinations.3 

결과적으로, 의사소통 행동에 대한 상세하고 정확한 지침이 없으면 학생들은 ICE에 대한 탐구를 '모든 상담에서 통과하기 위해 짜 맞춰야 하는 공식적인 행동'으로 간주하기 시작합니다(Neighbour, 2022: 66). 이로 인해 학습된 '부주의성 청각 장애'18가 발생할 수 있는데, 이는 환자의 관점에 대한 질문이 대화 순서에 항상 맞는 것이 아님에도 '짜 맞추기' 위한 것입니다. 때때로 이러한 '끼워 넣기'는 환자에게 의미가 없을 수도 있습니다.10,17 특히 이러한 질문이 환자의 느슨한 '즉흥적' 발언이나 환자가 '시작 발언에서 언급하지 않은 내용'과 연결되지 않는 경우,5 그 결과 ICE 문의의 성공을 이끌 수 있는 중요한 의사소통 행동이 일반적으로 환자의 관점에 대한 전체적인 그림과 함께 시야에서 사라지게 됩니다.
Consequently, without detailed and accurate guidance on communication behaviours, students start to view inquiries into ICE as a ‘formulaic piece of behaviour they have to squeeze into every consultation in order to pass’ (Neighbour, 2022: 66). This can result in a learned ‘inattentional deafness’18 where questions about the patient's perspective do not always fit the sequence of talk, for want of ‘squeezing’ them in. On occasion this ‘squeezing in’ may not even make sense to the patient.10, 17 particularly when these questions are disconnected from a loose ‘off the cuff’ remark by the patient or something the patient mentions ‘unprompted in their opening remarks,’5 The result is that critical communication behaviours, which can drive the success of inquiries into ICE, typically get lost from view along with a fuller picture of the patient's perspective.

3 잠재적 해결책: 질문 유형
3 POTENTIAL SOLUTIONS: TYPES OF QUESTION

'기술적 해결'로만 접근하다 보면 ICE로의 탐색을 유도하는 메커니즘(질문의 유형과 질문의 위치)을 제대로 고려하지 못하는 경우가 너무 많습니다. 이 문제를 해결하려면 학생/연수생에게 질문의 문구, 위치 및 실행에 대한 사고의 방향을 제시하여 환자의 관점을 보다 의미 있게 바라볼 수 있는 방식으로 잘 활용되도록 하는 것이 필요합니다. 이러한 문제와 관련하여 대화 분석(CA)을 사용한 연구에서 중요한 방향을 제시합니다. 여기에서는 이 방법에 대해 간략하게 설명하지만, 보다 자세한 내용은 다른 곳에서 찾아볼 수 있습니다.19 CA는 [순차적으로 조직화된 현상으로서 사회적 상호 작용의 역학]에 대한 [상세하고 미묘한 통찰력]을 제공하는 데 사용되는 방법입니다. 의사와 환자의 만남을 포함한 다양한 맥락에서 사회적 상호작용의 구조적, 순차적 측면을 파악하기 위해 의사가 사회적 상호작용의 사례를 자세히 기록하고 분석한 결과,20,21,22 이 글에서 제시하는 주장과 관련성이 있습니다. 
When treated as a ‘technical fix’, all too often the mechanisms driving inquiries into ICE (types of question and the positioning of those questions) are not really attended to. To address this issue, thought needs to be given to providing students/trainees with some direction in thinking about the phraseology, positioning and execution of those questions to ensure they are put to good work in a way that will encourage a more meaningful view of the patient's perspective. In relation to these matters, important direction is provided by research studies using Conversation Analysis (CA). A brief account of this method is presented here, but a fuller and more detailed account can be found elsewhere.19 CA is a method used to provide detailed and nuanced insights into the dynamics of social interaction as a sequentially organised phenomenon. Detailed transcription and analysis of instances of social interaction by its practitioners has identified structural and sequential aspects of social interaction in different contexts,20 including the doctor-patient encounter,21, 22 which hold relevance for the argument presented here.

질문-응답 시퀀스는 [대화 분석]에서의 핵심 분석 단위이며, 연구에 따르면

• 질문은 특정한 상호작용 제약을 구현합니다.23, 24
• 질문은 의제, 즉 답변이 다루어야 할 주제를 설정합니다.25 또한
• 질문은 수신자의 응답에 영향을 미치고 형성할 수 있는 전제를 구현합니다.26

환자의 생각에 관한 가장 기본적인 질문인 '이 문제의 원인에 대해 어떤 생각이 있으신가요'를 생각해 봅시다. 이 질문은 수신자 응답의 매개변수를 좁히는 양극형 질문입니다.25 양극형 질문은 '예' 또는 '아니오' 중 하나가 응답의 첫 부분으로 나와야 하는 '예'/'아니오' 응답의 틀을 설정하기 때문입니다.23, 27
Question–answer sequences are a core unit of analysis for Conversation Analysts whose studies reveal that

• questions embody specific interactional constraints.23, 24 
• Questions set agendas, i.e. the topic to which the answer should be addressed.25 
• They also embody presuppositions that can influence and shape the recipient's response.26 

Consider the most basic question concerning the patient's ideas, ‘Do you have any ideas as to what might be causing this’? This question is a polar type of question, which narrows the parameters of the recipient's response.25 This is because the polar type of question sets up the frame for a ‘yes’/‘no’ response in which either ‘yes’ or ‘no’ should occur as the first part of the response.23, 27

따라서 이미 이 질문의 설계는 환자가 자신의 관점을 제시할 기회에 잠재적으로 제한적인 영향을 미칩니다. 여기서 위험은 환자가 막연한 생각을 가지고 있더라도 질문 설계가 '아니오'라고 대답할 가능성을 열어두어 학생이 이끌어내려는 정보의 질을 제한할 수 있다는 것입니다. '아니오'의 가능성은 환자가 일반적으로 학생/의사를 지식이 풍부한 전문가로 간주하고 질문에 응답할 때 지식 차이28,29를 예민하게 인식한다는 사실에 의해 강화됩니다. 우려 사항과 기대 사항을 같은 방식으로 문의할 때도 비슷한 문제가 발생합니다. 이러한 질문은 모두 올바른 방향으로 나아가는 유효한 질문이지만, 환자의 관점을 포착하는 데 있어 잠재적으로 제한적인 효과를 낳을 수 있습니다. 
So already the design of this question has a potentially limiting impact on the opportunity for the patient to present their perspective. The danger here is that even if the patient has a vague idea, the question design leaves open the possibility for them to answer ‘no’, thus limiting the quality of information the student is attempting to elicit. The possibility of a ‘no’ is reinforced by the fact that patients typically see the student/doctor as the knowledgeable expert and are acutely aware of the knowledge differential28, 29 when responding to questions. Similar problems remain when concerns and expectations are inquired into in the same way. Although these are all valid questions in the right direction of travel, their design creates a potentially limiting effect capturing the patient's perspective.

'이 증상의 원인에 대한 생각이 있나요?"라는 질문 대신 '이에 대해 어떤 생각을 해보셨나요/이것에 대해 어떻게 생각하십니까?"라는 질문으로 대체하는 것이 더 효과적일 수 있습니다. 그 이유 중 하나는 이 질문이 '말하는 질문'으로 확인된 질문 범주에 속하기 때문입니다.30 '말하는 질문'(대부분 'wh'로 시작)의 설계는 일반적으로 일련의 상호 작용(예: 환자가 증상을 설명하는 것)이 끝난 후 이어지며, 특정 대화 주제에 집중하도록 유도하는 역할을 합니다.31 '어떤 생각을 했습니까'라는 질문은 '있습니까'라는 질문과 마찬가지로 주제 의제(환자의 생각)를 설정하지만 매개변수가 더 넓어졌습니다.26 이는 환자가 어떤 일에 대해 생각을 했다는 질문의 전제 내용이 '예'/'아니오' 대답의 가능성을 없애고 환자의 생각이 가치가 있음을 강력하게 나타내므로 환자의 관점을 파악하고 파트너십을 구축할 수 있는 상호작용 범위를 더 많이 제공하기 때문입니다.8
Replacing the question ‘Do you have any ideas what might be causing this?’ with, for example, the question ‘What thoughts have you had about this/What are your thoughts on this?’ is likely to be more effective. One of the reasons for this is that this question belongs to a category of questions that have been identified as ‘telling questions’.30 The design of telling questions (many of which are ‘wh’-prefaced) usually follow the closure of a sequence of interaction (e.g. the patient describing their symptoms) and work to encourage a particular focus on a topic of talk.31 The telling question ‘what thoughts have you had’ as with the ‘do you have’ question sets the topical agenda (the patient's thoughts) but the parameters are now wider.26 This is because the presuppositional content of the question, that the patient has had thoughts about what has been happening, eliminates the possibility of a ‘yes’/‘no’ answer and strongly indicates that the patient's thoughts are of value, thus providing more interactional scope for capturing the patient's perspective and building partnership.8

엄밀히 말하면 'wh' 유형의 질문에는 환자의 답변을 유도(leading)하는 것이 포함될 수 있는데, 이는 일반적으로 의사소통 기술 교육에서 꺼려하는 질문입니다. 그러나 이러한 유도(leading)은 악의적인 의미보다는 긍정적인 의미가 더 큽니다. 그 이면의 원칙은 포메란츠32가 '후보 답변 제공'으로 규정한 것과 유사합니다. 이는 질문에 내재된 가능한 대답을 제공하는 연습을 말합니다. 이는 정보를 이끌어내는 동시에 수신자에게 필요한 정보에 대한 지침을 제공하는 데 사용할 수 있는 전략입니다. 위의 예에서 '어떤 생각을 했나요'는 환자가 상황에 대해 어떻게 생각하는지에 대한 정보를 제공하도록 안내합니다. 이와 관련하여 후보 답변을 제공하는 것은 '보다 협력적인 방식으로 상황의 본질에 반응하고 형성하는 데 도움이 된다'(Pomerantz 1988: 366)고 할 수 있습니다. 이러한 기본 조사 결과는 '이 증상에 대해 걱정되는 것은 무엇입니까' '상담을 통해 무엇을 얻고자 하나요'와 같은 우려와 기대에 대한 질문을 재설계하는 데에도 활용될 수 있습니다.
Technically the ‘wh’ type of question may involve leading the patient, something which is generally frowned upon within communication skills training. However, this leading has benign rather than malign implications. The principles behind this parallel what Pomerantz32 has identified as ‘offering a candidate answer’. This refers to the practice of providing a possible answer, which is built into the question. It is a strategy that can be used to elicit information whilst at the same time provide the recipient with some guidance as to the information that is required. In the example above ‘What thoughts have you had’ guides the patient to providing information on what they think about the situation. In this regard offering a candidate answer is ‘both responsive to, and helps shape, the nature of the situation’ (Pomerantz 1988: 366) in a way that is more collaborative. These basic findings could also be utilised to re-design questions about concerns and expectations as well, for example, ‘What worries you about these symptoms’ ‘What do you hope to get from the consultation?’

4 포지셔닝 및 순서
4 POSITIONING AND SEQUENCING

학생들이 '기술적 해결' 모드에 빠지지 않도록 하려면 질문의 문구에 대한 인식을 키우는 것이 중요합니다. 그러나 목표는 항상 '반응형 모드' 또는 '적응형 전문 지식'을 반영하는 방식으로 ICE 문의를 통합하는 것이어야 합니다.33, 34 ICE 문의는 보다 [명시적인 직접 문의]가 아닌 보다 [미묘한 간접적인 방식]으로 거의 레이더망 아래에서 진행되어야 합니다. 이러한 문의는 의미 있는 방식으로 상호 작용에 순차적으로 연결되어야 합니다. 이를 위해서는 이러한 [질문의 위치]에 대한 성찰과 함께 자연스러운 호기심을 키우는 것의 중요성이 필요합니다. CA는 언어적 커뮤니케이션과 비언어적 커뮤니케이션 간의 관계를 분석하여 중요한 통찰력을 제시하는 중요한 지침을 제공하지만35,36 덜 기술적이고 효과적인 다른 접근법도 있습니다.

• 예를 들어, 로저 네이보어3는 '받은대로 돌려주기'라는 기법을 말하는데, 이는 환자가 이미 말한 내용에 질문을 연결시키는 것입니다.
• 이 기법은 ICE 유형 또는 '관점 찾기' 질문이 눈에 띄지 않게 하는 동시에 환자가 자신의 생각을 말하도록 유도하는 효과적인 방법입니다.
• 예를 들어, '어머니의 심장 문제를 언급하셨는데(받은대로), 이에 대해 어떤 생각을 해보셨나요?'(돌려주기).

In the effort to avoid students falling into a ‘technical fix’ mode, cultivating an awareness of the wording of questions is important. However, the goal should always be to integrate ICE inquiries in such a way that reflects a ‘responsive mode’ or ‘adaptive expertise’.33, 34 ICE inquiries should almost fly under the radar in a more subtle indirect way as opposed to more explicit direct inquiries. They should be sequentially connected to the interaction in a meaningful way. This requires reflection on the positioning of these questions as well as the importance of cultivating a natural curiosity in finding things out. CA offers important guidance here also where analyses of the relation between verbal and non-verbal communication reveal important insights35, 36 but there are other less technical and just as effective approaches.

• Roger Neighbour,3 for example, refers to the technique of ‘turning a receipt’, which is simply linking your question to something the patient has already told you.
• This is an effective way of ensuring the ICE type or ‘perspective seeking’ question, flies under the radar whilst at the same time encouraging the patient to tell you what they think.
• For example, ‘you mentioned your mother's heart problems (Receipt), what thoughts have you had about that?’ (Turn).

질문 설계, 순서 및 위치, 수신자의 응답 방식에 대한 의미에 대한 주의에도 불구하고 질문을 할 때는 항상 협상적인 요소가 있습니다.37 예를 들어, 다음에 주의하지 않고 'WH' 유형의 질문을 사용하는 경우 '부주의한 청각 장애'의 위험이 여전히 남아있습니다. 1

• 환자가 질문에 저항할 가능성(예: '무슨 뜻이세요?')을 고려하지 않거나
• 언어적 또는 비언어적 단서 또는 환자가 이미 공개한 내용에 주의하지 않거나

그러나 'WH' 유형의 질문을 설계하면 학생과 환자 간의 대화 가능성이 높아져 학생의 높은 수준의 응답을 유도할 수 있기 때문에 이러한 가능성이 줄어든다는 점이 중요합니다. 그러나 궁극적으로 질문 유형과 질문의 위치 및 순서에 주의를 기울이는 것만으로도 학생은 환자와 상호작용 전반에 훨씬 더 많은 주의를 기울이게 되며, 이는 그 자체로 환자의 관점을 파악하는 데 매우 중요합니다. 
Notwithstanding attention to question design, sequencing and positioning and the implications for how the recipient responds, there is always an element of negotiability when questions are asked.37 If, for example, the use of ‘wh’ type questions are used

• without attending to the possibility of the patient resisting the question (e.g. ‘What do you mean?’) or
• without attending to verbal or non-verbal cues or what the patient has already disclosed,

then the risk of ‘inattentional deafness’ still remains. 1 The point is, however, that the design of the ‘wh’ type of question makes this less likely since it creates more possibility for dialogue between student and patient encouraging a higher level of responsiveness from the student. Ultimately, however, attending to question type and the positioning and sequencing of questions is already getting the student to pay much more attention to the patient and the interaction overall, which in itself is critical to capturing the patient's perspective.

5 호기심
5 CURIOSITY

위에서 설명한 방식으로 ICE에 대한 질문에 접근하면 이러한 유형의 질문의 효과를 개선할 뿐만 아니라 학생/임상의가 기본적인 역량을 입증하기 위해서가 아니라 단순히 답을 알고 싶어서34 질문을 하는 자연스러운 호기심에 대한 인식을 키우는 데 도움이 됩니다. 환자의 생각을 알아내기 위해 학생의 호기심34을 활용하도록 장려하면 상호 작용에 도움이 될 뿐만 아니라 현대 의료 행위에서 요구되는 두 가지 핵심 특성인 자기 성찰과 상황 인식을 심화하는 데도 도움이 될 것입니다. 이러한 호기심을 장려하는 것은 거창한 목표로 볼 필요는 없지만, 환자의 말을 경청하는 데 학생의 주의를 환기시킴으로써 아주 초기에 개발할 수 있습니다38 여기서 경청에는 환자가 방출하는 행동, 언어 및 비언어적 신호를 적극적으로 모니터링하여 인정하고 반응하고 참여하는 것이 포함됩니다. 이는 환자의 관점을 파악하는 데 핵심적인 공감적 반응의 토대가 될 것입니다.
Approaching inquiries into ICE in the way described above should not only improve the effectiveness of these types of inquiries but also help students/clinicians cultivate an awareness of their natural curiosity34 where questions are asked simply because the student really wants to know the answer3 not because they want to demonstrate a basic competence. Encouraging the use of the student's curiosity34 to find out what the patient thinks, will not only assist the interaction but will also encourage a deepened sense of self-reflection and situational awareness, both key attributes for the demands of modern medical practice. Encouraging this curiosity needn't be viewed as an aspirational objective but can be developed very early on by drawing the student's attention to listening to the patient38 where listening involves actively monitoring acknowledging, responding and engaging, with behavioural, verbal and non-verbal cues emitted by the patient. This in turn will provide the basis for a greater degree of empathic responsiveness, also key to capturing the patient's perspective.

6 평등, 다양성 및 포용
6 EQUALITY, DIVERSITY AND INCLUSION

질문-답변 순서, 특히 양극형 질문의 기본 구조는 문화에 관계없이 비교적 안정적이며,39 여기에 설명된 질문의 전제 내용에 대한 조정은 다른 문화권의 의사와 환자 간 만남에서도 발견되었습니다.40 그러나 문화적 차이는 잠재적으로 이러한 접근 방식을 이해하는 학생의 능력을 형성하는 실제 요인이 될 수 있습니다. 궁극적으로 이 백서에 제시된 아이디어는 [환자 중심주의]라는 개념에 기반하고 있는데, 이는 그 자체로 [인종 중심적인 개념]이며 다른 문화적 배경을 가진 학생들에게는 배타적인 개념이 될 수 있습니다. 따라서 환자의 관점을 이해하고 탐구해야 한다는 요구사항은 일부 학생 그룹에게는 다른 학생 그룹보다 더 큰 도전이 될 수 있으며, 이는 의과대학 커리큘럼 내에서 추가적인 지원이 필요할 수 있습니다.41
The basic structure of question–answer sequences particularly polar type questions is relatively stable across cultures,39 and adjustments to the presuppositional content of questions (of the kind described here) has also been found in doctor patient encounters in other cultures.40 However, cultural differences can potentially be a real factor shaping students' abilities to grasp these approaches. Ultimately, the ideas presented in this paper are driven by the notion of patient centredness, which itself is an ethnocentric concept and, potentially, an exclusionary one at that for those students from different cultural backgrounds. Consequently, the requirement to grasp and explore the patient's perspective may prove to be a bigger challenge to some groups of students than others, a challenge that may require extra support within medical school curricula.41

7 결론
7 CONCLUSION

교육과 평가의 관점에서 볼 때, ICE에 대한 질문은 [면담의 개별적인 부분]이 아니라 [환자의 말을 효과적으로 경청함으로써 학생/임상의와 환자의 상호작용을 통해 엮어지는 것]으로 보아야 하며,10,17 환자의 생각을 알고자 하는 [진정한 관심]에 의해 형성된 경청입니다.3 앞서 언급했듯이 ICE는 단순히 직업 에티켓과 관련된 것이 아니라 의료 행위의 거래에 필수적인 환자의 관점의 중요성을 실질적으로 인정하는 의료 행위의 패러다임적 변화를 나타냅니다. 좋은 의사소통의 여러 측면과 마찬가지로, 학생들에게 환자의 관점을 파악하는 방법을 가르칠 때 개념적 및 행동적 이해가 뒷받침될 때 학습 효과가 더 커집니다.34
From the point of view of both teaching and assessment, inquiries into ICE should not be seen as a discrete part of the interview, but rather as something that is woven through the patient's interaction with the student/clinician by effectively listening to the patient,10, 17 a listening shaped by a genuine interest in wanting to find out what the patient thinks.3 As mentioned earlier, ICE represented a paradigmatic shift in medical practice not simply one connected to professional etiquette but, one that tangibly acknowledged the importance of the patient's perspective as integral to the transaction of medical care. Like many aspects of good communication, teaching students how to capture the patient's perspective takes greater effect if the learning is underpinned by conceptual and behavioural understandings.34

이러한 심층적인 접근 방식을 취하면 첫째, 상담의 흐름 내에서 환자의 관점을 파악하는 것이 순차적으로 얼마나 중요한지에 대한 인식을 키울 수 있습니다. 둘째, 학생들이 적응적 전문성을 발휘할 수 있는 더 많은 범위를 제공할 것이며, 이는 기본적이고 복잡한 의사소통 문제 모두에 매우 중요한 기술입니다.33 이는 가능하며, 의학교육자는 맥락에 대한 민감성, 상호작용 내 순서와 위치, 질문 유형, 자연스러운 호기심을 특징으로 하는 보다 '반응적인' 의사소통 방식을 개발하는 데 집중할 수 있고, 실제로 그렇게 할 가능성이 높습니다. 그러나 '전문성'이라는 일반적인 기치 아래 의사소통을 평가하는 실제 시험에서 환자의 관점을 파악하는 이러한 사고의 전환이 반영되고 강화되지 않는다면, 작지만 중요한 문화 변화의 시도는 달성하기 어려울 것입니다.

Taking this more in-depth approach will firstly cultivate an appreciation of the sequential relevance of capturing the patient's perspective within the flow of the consultation. Secondly, it will provide students with more scope to exercise adaptive expertise, a skill which is invaluable for both basic and more complex communication challenges.33 This is possible and medical educators can (and most likely do) focus on developing a more ‘responsive mode’ of communication characterised by sensitivity to context, sequencing and positioning within the interaction, types of question and a natural curiosity. However, if this re-thinking of capturing the patient's perspective is not reflected and reinforced in practical examinations where all too often communication is assessed under a general banner of ‘professionalism’, this small but significant attempt at culture change will be difficult to attain.

© 2022 The Author. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

졸업후의학교육에서 피드백 활용을 개선하기 위한 코칭스킬 식별(Med Educ, 2019)
Identifying coaching skills to improve feedback use in postgraduate medical education
Heather Armson,1 Jocelyn M Lockyer,2 Marygrace Zetkulic,3 Karen D K€onings4 & Joan Sargeant5

소개
Introduction

코칭은 특히 역량 기반 의학교육(CBME)의 맥락에서 레지던트 수퍼바이저가 성과 향상을 위한 피드백의 효과를 개선하는 방법을 모색하면서 의학교육에서 각광받고 있습니다.1-4 코칭은 피드백 제공에서 한 걸음 더 나아가 피드백에 대한 응답으로 성과 목표를 파악하고 이를 해결하기 위한 계획을 개발하는 데 중점을 둡니다. 현재까지 코칭은 특히 기술적 술기를 향상시키는 데 효과적이었습니다.5, 6 코칭이 비기술적 술기를 지원하고 의사의 웰빙을 개선한다는 증거도 있습니다.4, 7, 8 이 연구는 의학교육 환경에서 수퍼바이저가 레지던트를 효과적으로 코칭하는 데 필요한 술기에 초점을 맞추고 있습니다. 
Coaching has gained prominence in medical education as residency supervisors seek ways to improve the effectiveness of feedback for performance improvement, particularly in the context of competency-based medical education (CBME).1-4 Coaching moves a step beyond providing feedback and focuses upon identifying performance goals in response to feedback and developing plans to address them. To date, coaching has been particularly effective in improving technical skills.5, 6 There is also evidence that coaching supports non-technical skills and improves physician well-being.4, 7, 8 This study focuses on the skills supervisors need to effectively coach residents in medical education settings.

전문 코칭은 경쟁 스포츠와 음악에 뿌리를 두고 있으며 최근에는 비즈니스 및 기업 세계에서 점점 더 많이 채택되고 있습니다.4 스포츠 및 음악 분야의 코칭은 학습자의 성과를 직접 관찰한 후 잘하고 있는 부분에 대한 개별 피드백 토론, 성과 격차 정의 및 개선 전략 개발을 기반으로 성과 개선 및 개발 모델을 지지합니다.9 의학교육도 유사한 과정과 결과를 창출하고자 하지만 여러 요인에 의해 제약을 받습니다.

• 의학교육 환경에서는 학습자에 대한 정확하고 심층적인 지식을 바탕으로 대화를 촉진하는 신뢰에 기반한 종적 관계가 종종 부족하여 다른 코칭 환경에서 볼 수 있는 보다 지시적이고 건설적인 피드백을 방해합니다.9-12
• 스포츠 또는 음악 환경과 비교할 때 생산적인 코칭 대화를 방해하는 의학교육의 다른 장벽으로는 잠재력을 최대한 발휘하는 데 초점을 맞춘 지속적인 개선 자세의 부족,4, 9, 13, 14 편안한 관계를 유지해야 한다는 인식,12 체면을 살리기 위해 모호한 언어를 사용하는 것 등이 있습니다.15
• 다른 연구에서는 피드백 및 성과 대화에 참여하려는 의지에 부정적인 영향을 미치는 의료 학습자의 내적 요인(예: 과정에 대한 회의, 유능해 보이고자 하는 욕구, 자신의 자기 평가와의 충돌 가능성 등)을 확인했습니다.16-19 

Professional coaching has its roots in competitive sports and music and recently has been adopted increasingly in the business and corporate worlds.4 Coaching in sports and music endorses a model for performance improvement and development based upon direct observation of the learner's performance followed by an individual feedback discussion about what is being done well, defining performance gaps and developing strategies to improve.9 Medical education may aspire to create a similar process and outcome but is constrained by a number of factors. Longitudinal relationships built on trust that facilitate a dialogue based on accurate, in-depth knowledge of the learner are frequently lacking in medical education settings, preventing the more directive and constructive feedback seen in other coaching settings.9-12 Other barriers in medical education, when compared with sport or music settings, that impair productive coaching conversations, including the lack of a continuous improvement stance focused on working towards full potential;4, 9, 13, 14 the perceived need to maintain a comfortable relationship;12 and the use of vague language to save face.15 Other research identifies internal factors within the medical learner that negatively influence their willingness to engage in feedback and performance conversations, such as skepticism about the process, their wish to appear competent and the possible conflict with their own self-assessment.16-19

관찰, 피드백, 레지던트 발전에 중점을 둔 역량 기반 의학교육은 이러한 과제에 주목합니다. 따라서 우리는 장벽을 해결하고 레지던트 개발을 지원하는 생산적인 피드백 대화를 촉진하는 방법을 모색해야 합니다. 따라서 코칭이 유망한 전략으로 채택되고 있습니다. 교육에서 코칭의 정의에 대한 보편적인 합의는 없지만, 반 니우버버그20가 제안한 정의는 중요한 구성 요소를 포착한 것으로 보입니다. 그는 코칭을 다음과 같이 정의합니다.
Competency-based medical education, with its focus on observation, feedback and resident progression, draws attention to these challenges. It obliges us to seek ways to address barriers and promote productive feedback conversations that support resident development. Hence, coaching is being adopted as a promising strategy. Although there is no universal consensus on the definition of coaching in education, the definition suggested by van Nieuwerburgh20 appears to capture the crucial components. He identifies coaching as

목표는 행동이나 사고방식의 지속 가능한 변화를 지원하고 학습과 개발에 집중하는 것입니다.21 특히 피드백은 코칭의 중요한 구성 요소이며 '훈련생의 성과를 개선하려는 의도로 주어집니다'(193페이지).22 피드백은 다음과 같이 정의할 수 있습니다:
The aim is to support sustainable change in behaviours or ways of thinking and focus on learning and development.21 Notably, feedback is an important component of coaching and is ‘given with the intent to improve the trainee's performance’ (p.193).22 Feedback can be defined as:

따라서 코칭은 정확한 피드백을 전제로 하지만, 의도를 넘어 성과 향상을 위한 행동으로까지 대화를 확장합니다. 그러나 교육, 특히 의학교육에서 코칭과 관련된 구체적인 기술은 아직 명확하지 않습니다.
Thus, coaching is predicated on accurate feedback but pushes the conversation beyond intention to action to improve performance. However, the specific skills involved in coaching in education, particularly medical education, remain unclear.

이 연구에 앞서 우리는 교육 코칭 문헌을 철저히 검토하고 다양한 모델을 반복적으로 분석하고 종합하여 포괄적인 코칭 기술 목록을 확인 및 정리했습니다. 팀원들은 문헌을 검토하고 데이터를 반복적으로 분석하면서 코칭 스킬의 범주화에 대해 여러 차례 토론했습니다. 교육에서의 코칭은 일련의 특정 기술 또는 행동으로 설명되지만,20 

• 일부 행동은 구조, 접근 방식 및 기술 개발을 포함하여보다 일반적인 코칭 '프로세스'의 일부로 보이는 반면
• 다른 행동은 명확한 전달을 보장하고 토론에 사용되는 실제 데이터에 대한 공통된 이해를 확립하는 등 코칭 세션의 '내용'또는 주제 관리를 구체적으로 다루고 있습니다. (표 1).

Prior to this study, we undertook a thorough review of the coaching in education literature and identified and compiled a comprehensive list of coaching skills through iterative analysis and synthesis of the various models. The team members had several discussions around the categorisation of the coaching skills as they reviewed the literature and analysed the data iteratively. Although coaching in education is described as a set of specific skills or actions,20 

• some actions appear to be part of a more generic coaching ‘process’, including structure, approaches and skill development
• whereas others specifically address management of the ‘content’ or subject matter of the coaching session including ensuring the clear delivery and establishing a common understanding of the actual data used in the discussion. (Table 1).

이러한 기술이 대학원 의학교육의 맥락에서 어떻게 사용되는지 이해하기 위해, 우리는 레지던트 교육 및 평가에 근거 및 이론에 기반한 피드백 및 코칭 모델인 R2C2(관계, 반응, 내용, 코칭) 모델을 적용한 이전 국제 연구의 데이터를 검토했습니다.24 역량 기반 의학교육은 학습자가 역량을 달성하기 위해 다양한 이정표를 통해 발전할 수 있도록 정기적인 피드백을 받는 데 의존합니다.25-27 그러나 레지던트들은 계속해서 빈번하고 최적의 피드백을 받지 못해 유용성이 감소하고 개선하려는 동기와 능력이 감소한다고 보고하고 있습니다. R2C2 모델은 이러한 문제를 해결하고 제공된 피드백의 수용과 활용을 개선하기 위해 개발되었습니다. 이 모델에는 다음을 포함하여 변화를 위한 코칭의 네 단계로 구성되어 있습니다.

• (i) 관계 구축,
• (ii) 피드백에 대한 반응 탐색,
• (iii) 피드백 내용에 대한 이해 탐색,
• (iv) 학습 변화 계획(LCP) 개발

R2C2의 개발은 R2C2 사용 및 평가에 대한 지침과 민감성 개념을 제공하는 세 가지 이론 및 연구체를 기반으로 합니다. 여기에는 인본주의와 학습자 중심주의, 정보에 입각한 자기 평가, 행동 변화의 과학이 포함됩니다.3 레지던트 교육에 대한 연구 결과24에 따르면 이 모델은 레지던트가 성과 데이터에 대한 반성적이고 목표 지향적인 토론에 참여하고 코칭을 지원하며 변화 계획의 협력적 개발을 가능하게 하는 데 효과적이었습니다. 그러나 당시에는 문헌에서 확인되고 표 1에 강조된 바와 같이 코칭의 특정 기술에 대한 심층 분석을 수행하지 않았습니다.  
To understand how these skills are used in the context of postgraduate medical education, we reviewed data from our earlier international study that applied an evidence- and theory-based feedback and coaching model in residency education and assessment, the R2C2 (relationship, reactions, content, coaching) model.24 Competency-based medical education relies on learners receiving regular feedback to enable them to progress through various milestones to achieve competency.25-27 However, residents continue to report receiving infrequent and suboptimal feedback, which diminishes its usefulness and reduces the resident's motivation and ability to improve. The R2C2 model was developed to address these issues and to enhance acceptance and use of the feedback provided. The model includes four phases:

• (i) relationship building;
• (ii) exploring reactions to feedback;
• (iii) exploring understanding of feedback content, and
• (iv) coaching for change including development of a Learning Change Plan (LCP).

Its development was founded upon three bodies of theory and research, which provide the guidance and sensitising concepts for R2C2 use and its evaluation. These include humanism and learner-centredness, informed self-assessment, and the science of behaviour change.3 Results of the study in residency education24 showed the model was effective in engaging residents in a reflective, goal-oriented discussion about performance data, supporting coaching and enabling collaborative development of a change plan. However, at that time, we did not perform an in-depth analysis for the specific skills of coaching, as identified in the literature and highlighted in Table 1.

본 연구에서는 코칭 단계의 데이터를 재분석하여 문헌 검토에서 확인된 효과적인 코칭을 위한 핵심 기술을 슈퍼바이저가 사용하는지 확인했습니다. 본 연구의 목표는 수퍼바이저가 레지던트와의 피드백 세션에서 확인된 코칭 기술을 어떻게 사용하는지 이해하는 것이었습니다. 구체적인 연구 질문은 다음과 같습니다: 
The current study reanalyses the data from the coaching phase to determine supervisor use of the critical skills for effective coaching identified from the literature review. The goal of our study was to understand supervisors’ use of the identified coaching skills in their feedback sessions with residents. Specific research questions included:

연구 방법
Methods

연구 설계
Study design

이 질적 연구는 Sargeant 등24의 연구 데이터에 대한 2차 분석에 중점을 두었습니다. 모든 저자(HA, JML, MGZ, KDK, JS)는 모집, 분석, 평가 및 해석을 포함하여 원래 연구의 모든 측면에 참여했습니다. 이 연구에서는 캐나다, 미국, 네덜란드의 5개 다양한 대학원 의학 교육 프로그램에서 (i) 마취과, (ii 가정의학과, (iii 내과, (iv 정형외과, (v 정신과)의 수퍼바이저와 레지던트 쌍 그룹이 모집되었습니다. 교수진으로 해당 레지던트와 평가 및 피드백 회의를 진행하는 슈퍼바이저는 프로그램 디렉터를 통해 각 프로그램에서 모집되었습니다. 대부분의 경우 수퍼바이저와 레지던트는 서로 아는 사이였지만, 몇몇 경우 수퍼바이저와 레지던트가 첫 대화 전에 만난 적이 없는 경우도 있었습니다. 레지던트는 정기적인 교육 세션과 회의에서 프레젠테이션을 통해 모집되었습니다. 
This qualitative study focused on secondary analysis of data from the Sargeant et al.24 study. All authors (HA, JML, MGZ, KDK and JS) were involved in all aspects of the original study including recruitment, analysis, assessment and interpretation. In that study, dyads of supervisors and residents were recruited from five diverse postgraduate medical education programmes in Canada, USA and the Netherlands: (i) anesthesia; (ii) family medicine; (iii) internal medicine; (iv) orthopedics, and (v) psychiatry. Supervisors who were faculty members and would normally conduct assessment and feedback meetings with the respective resident were recruited from each programme through the programme directors. In most situations, the supervisor and resident were known to each other, though in a few instances the supervisor and resident had not met prior to the initial conversation. Residents were recruited through presentations at regular teaching sessions and meetings.

각 수퍼바이저는 첫 번째 세션 전에 코칭 접근 방식을 촉진하기 위한 특정 문구의 예를 제공하는 등 모델 사용에 대한 교육을 받았습니다. 세션은 정기 프로그램 평가 회의 중에 진행되었습니다. 피드백 및 코칭 회의 전에 각 수퍼바이저는 피드백 및 코칭을 제공하기 전에 long OSCE를 관찰한 프로그램 중 하나를 제외하고는 레지던트의 성과와 관련된 일반적인 진행 데이터(예: 일일 면담 양식, 훈련 중 평가)를 가지고 있었습니다.
Each supervisor was trained in using the model prior to their first session, including being provided examples of specific phrases to promote a coaching approach. The sessions occurred during the regular programme assessment meetings. Prior to the feedback and coaching meeting, each supervisor had usual progress data related to the residents’ performance (e.g. daily encounter forms, in-training evaluations) except for one of the programmes in which the supervisors observed a long objective structured clinical examination prior to providing feedback and coaching.

각 쌍은 몇 달 간격으로 두 번의 피드백 세션을 위해 만났으며 각 세션이 끝난 후 디브리핑 인터뷰에 별도로 참여했습니다. 세션과 디브리핑 인터뷰는 오디오 녹음 및 필사되었습니다. 총 40명의 레지던트와 17명의 슈퍼바이저가 연구에 참여했습니다.
Each dyad met for two feedback sessions several months apart and participated separately in debrief interviews after each session. Sessions and debrief interviews were audiotaped and transcribed. A total of 40 residents and 17 supervisors participated in the study.

현재 분석을 위해 5개의 프로그램에서 각각 세 쌍을 선정하여 피드백 세션의 데이터를 조사했습니다. 각기 다른 수준의 레지던트를 대표할 수 있도록 의도적으로 선정되었으며, 각자의 교육 단계에 따라 예상되는 수준의 성과를 보이는 레지던트와 하나 이상의 성과 문제로 어려움을 겪고 있는 것으로 보이는 레지던트가 포함되었습니다. 이들을 선정하기 위해 각 현장의 연구팀원들은 피드백 기록을 검토하여 우수한 것으로 보이는 레지던트와 더 어려움을 겪고 있는 것으로 보이는 레지던트를 식별했습니다.
For the current analysis, we selected three dyads from each of the five programmes and examined data from the feedback sessions. The dyads were purposively selected to represent residents at different levels of performance and included those who appeared to be performing at the expected level for their stage of training and those who appeared to be struggling with one or more performance issues. To select them, the feedback transcripts were reviewed by the research team members at each site to identify those residents who appeared to be excelling and those who appeared to be more challenged.

데이터 분석
Data analysis

피드백 세션 기록 데이터를 분석하기 위해 Ritchie와 Spencer28가 처음 설명하고 다른 사람들에 의해 정교화된 프레임워크 분석(FA) 방법을 사용했습니다.29-31 프레임워크 분석은 기존 문헌에서 도출된 프레임워크를 기반으로 데이터를 분석하는 데 적합한 방법으로 선택되었습니다. 프레임워크 분석은 데이터 내 및 데이터 간 비교를 통해 데이터 집합의 주제별 분석에 대한 체계적인 접근 방식을 제공하여 공통점과 차이점을 식별합니다. 데이터의 서로 다른 부분 간의 관계에 초점을 맞추기 전에 데이터의 맥락적 요소를 유지하여 연구 질문에 대한 설명적이고 설명적인 결론을 쉽게 도출할 수 있도록 합니다. 
We analysed the feedback session transcript data using the Framework Analysis (FA) method initially described by Ritchie and Spencer28 and elaborated on by others.29-31 Framework Analysis was chosen as an appropriate method for analysis of data based on a framework derived from the pre-existing literature. Framework Analysis provides a systematic approach to thematic analysis of the data set through comparison within and across the data to identify common and divergent aspects. The contextual elements of the data are maintained before focusing on relationships between different parts of the data thereby facilitating descriptive and explanatory conclusions to shed light on the study questions.

분석 절차 및 결과의 엄격성과 신뢰성을 보장하기 위해 표준 질적 절차를 사용했습니다.32, 33 여기에는 팀원들이 짝을 이루어 각 기록을 분석하고 해석과 결과에 대해 서로 토론한 다음 더 큰 규모의 팀과 토론하는 것이 포함되었습니다. 각 분석 수준에서 토론을 통해 차이점을 파악하고 필요한 경우 데이터로 돌아가 해결했습니다. 팀 전체가 요약본을 공유하고 결과에 대한 비판적인 토론을 진행했습니다. 편견을 최소화하기 위해 각 사이트에서 전공의 평가를 담당한 팀원은 자신의 사이트 기록은 분석하지 않았습니다. 또한, 팀원들이 전체적으로 성찰하고 반성하도록 장려했습니다. 
We used standard qualitative procedures for ensuring the rigour and trustworthiness of analysis procedures and results.32, 33 These included the pairing of team members to analyse each transcript and discussion of their interpretations and findings with each other and then the larger team. At each level of analysis, differences were identified and resolved through discussion and by returning to the data if required. Summaries were shared and critical discussions of findings occurred with the whole team. To minimise bias, team members who were responsible for assessment of residents in their respective site, did not analyse transcripts from their own site. Team members were also encouraged to be reflective and reflexive throughout.

우리는 다음과 같은 5단계 FA 프로세스를 따랐습니다:
We followed the five-stage FA process involving:

익숙해지기
Familiarisation

저자(HA, JML, MGZ, KDK, JS)는 각 피드백 세션의 녹취록을 적어도 한 번 이상, 많게는 여러 번 읽으면서 녹취록 데이터에 익숙해졌습니다. 저자 중 4명(HA, JML, JS, MGZ)은 각각 7~8개의 다이아드에 대한 피드백 세션의 녹취록을 검토하여 문헌에 설명되어 있고 표 1에 제시된 대로 프로세스 및 내용 중심 코칭 기술을 사용한 증거를 찾았습니다.
The authors (HA, JML, MGZ, KDK and JS) were familiar with the transcribed feedback session data, having read through each of the transcripts at least once and often several times. Four of the authors (HA, JML, JS, MGZ) each reviewed the transcribed feedback sessions for seven to eight dyads, looking for examples of evidence of use of process- and content-oriented coaching skills as described in the literature and set out in Table 1.

주제별 프레임워크 파악하기
Identifying a thematic framework

1단계의 데이터를 검토한 후, 추가 논의를 통해 이 분석을 위해 제안된 프로세스 및 내용 중심 코칭 기술 프레임워크의 적합성을 확인했습니다.
After reviewing the data from Stage 1, further discussion affirmed the appropriateness of the proposed framework of process- and content-oriented coaching skills for this analysis.

색인화
Indexing

네 명의 저자(HA, JML, JS, MGZ)가 각각 프레임워크에 데이터를 입력하고 추가 범주가 필요한지 여부를 고려했습니다. 데이터는 Microsoft® Excel 스프레드시트(미국 워싱턴주 레드먼드 소재 Microsoft Corp.)에 컴파일되어 다이애드 내 및 다이애드 간 검토를 위해 사용되었습니다. 매트릭스 전반의 데이터를 검토하기 위해 지속적인 비교 접근 방식을 사용했습니다.
Each of the four authors (HA, JML, JS and MGZ) entered data into the framework and considered whether further categories were needed. The data was compiled into a Microsoft® Excel spreadsheet (Microsoft Corp., Redmond, WA, USA) for review within and across dyads. A constant comparative approach was used to review data across the matrix.

차트 작성
Charting

조를 이루어 각 프로세스 및 콘텐츠 범주에 대한 스프레드시트에서 각 기술이 어떻게 작동하는지를 설명하는 요약과 함께 이러한 기술이 최적으로 사용된 경우와 활용이 제대로 안 된 경우의 예를 작성했습니다.
Working in pairs, we created summaries from the spreadsheets for each of the process and content categories that described how each of the skills appeared to function, along with examples of when these skills were optimally used and when utilisation was less successful.

매핑 및 해석
Mapping and interpretation

확인된 프로세스 및 콘텐츠 중심 기술에 대한 반복적인 토론을 통해 데이터를 더 자세히 탐색하고 새로운 중요한 주제를 파악하고, 합의에 도달하고, 코칭에 대한 다른 설명과 우리의 작업을 비교하고, 의료 환경에서 코칭의 고유한 측면을 식별할 수 있었습니다.
Through iterative discussion of the process- and content-oriented skills identified, we were able to explore the data further and identify new overarching themes, reach consensus, compare our work with other descriptions of coaching and identify unique aspects of coaching in the medical setting.

결과 
Results

결과 발표는 참가자에 대한 설명으로 시작하여 '색인화' 및 '차트화' 단계의 분석 결과, 즉 개별 코칭 기술에 대한 설명과 데이터에서 나타난 중요한 주제를 식별한 '매핑 및 해석' 단계의 결과로 이어집니다.
The presentation of the results begins with a description of the participants followed by the findings of the ‘Indexing’ and ‘Charting’ stages of analysis, i.e. the descriptions of the individual coaching skills, and second, findings of the ‘Mapping and Interpretation’ stage in which we identified overarching themes that emerged from the data.

인구 통계
Demographics

참가자는 15쌍의 수퍼바이저와 레지던트(각 사이트에서 3명씩)로 구성되었습니다. R2(레지던트 2년차)부터 R5까지 남성과 여성 레지던트, 그리고 남성과 여성 수퍼바이저가 모두 섞여 있었습니다. 1982년에서 2001년 사이에 의과대학을 졸업한 수퍼바이저들은 다양한 의료 경험을 가지고 있었으며 레지던트들에게 매년 최소 4회 이상 공식적인 피드백을 제공한 경험이 있었습니다. 
Participants included 15 dyads of supervisors and residents (three from each site). There was a mix of male and female residents from R2 (Second year resident) to R5 and both male and female supervisors. Having graduated from medical school between 1982 and 2001, supervisors had a range of medical experience and were experienced in giving formal feedback to residents, which they provided at least four times each year.

인덱싱 및 차트 작성
Indexing and charting

첫 번째 분석 수준에서는 각 과정 및 내용 중심 범주에 포함된 술기에 초점을 맞추고 추가 술기가 기술되지 않았는지 확인했습니다. 프로세스 및 콘텐츠 중심 스킬은 각각 표 2와 표 3에 나와 있습니다. 이 표에는 문헌과 데이터 분석에서 도출된 각 코칭 스킬에 대한 간략한 설명이 나와 있습니다. 또한 각 스킬에 대한 데이터에서 각 스킬의 효과적인 사용에 대한 예시를 제시하고 덜 효과적인 스킬 사용에 대해 설명하며, 후자는 종종 부재하는 것으로 나타납니다. 다음 단락에서는 스킬이 어떻게 사용되었는지에 대한 개요를 제공합니다. 
The first level of analysis focused on skills included in each of the process- and content-oriented categories and ensuring no additional skills were described. Process- and content-oriented skills are set out in Tables 2 and 3, respectively. The tables provide brief descriptions of each coaching skill derived from both the literature and the data analysis. The tables also provide, from the data for each skill, an exemplar quote of effective use of each skill and describe less effective skill use, the latter often demonstrated by being absent. The following paragraphs provide an overview of how the skills were used.

과정 중심 기술
Process-oriented skills

과정 중심 기술의 경우, 효과적인 수퍼바이저가 [코칭 세션을 위한 준비]를 하는 예로는 레지던트의 평가 보고서 검토와 레지던트의 교육 수준에 대한 기대치 대비 진행 상황 파악이 있었습니다. LCP에 대한 인식과 후속 세션에서의 후속 조치도 중요했지만, 이 측면에 대한 관심은 다양했습니다. 대부분의 수퍼바이저는 평가 데이터에 익숙해 보였지만, 일부 수퍼바이저는 레지던트 상황과 LCP의 중요성에 대해 잘 알지 못하는 것으로 나타났습니다.
For process-oriented skills, examples of effective supervisor preparation for the coaching session included review of the residents’ assessment reports and understanding the residents’ progress relative to expectations for their training level. Awareness of the LCP and follow-up in subsequent sessions were also important; however, there was variable attention to this aspect. Most supervisors appeared familiar with the assessment data, but some were less aware of the resident context and the importance of the LCP.

이러한 맥락의 부족은 [학습자의 준비시키기]를 살펴볼 때 더욱 두드러졌습니다. 레지던트들은 코칭 모델로의 전환과 이에 따른 기대치에 대해 혼란스러워하거나 인식하지 못하는 경우가 많았습니다. 반면에 일부 코치는 코칭 세션의 목적과 과정을 모두 설명하며 LCP의 중요성을 강조했습니다.
This lack of context for the discussion was more marked in examining the preparation of the learner. Residents often seemed confused or unaware of the shift to a coaching model and the expectations this placed on their contribution to the process. On the other hand, some coaches outlined both the purpose and process of the coaching session and stressed the importance of the LCP.

모든 슈퍼바이저는 [긍정적이고 존중하는 학습 관계]를 효과적으로 구축하고 유지하는 것으로 나타났습니다. 일부 슈퍼바이저는 레지던트와 이전에 관계를 맺은 적이 있어 코칭 세션 외부에서 습득한 지식을 바탕으로 토론을 강화하는 것으로 보였습니다. 그러나 이전에 접촉한 적이 없는 다이애드의 경우, 슈퍼바이저들은 지속적인 개선에 초점을 맞춘 성공적인 관계를 구축할 수 있었습니다.
All supervisors demonstrated effective building and maintaining of positive and respectful learning relationships. Some supervisors had previous relationships with residents that appeared to enhance the discussion based on the knowledge acquired outside of the coaching session. However, in dyads without previous contact, supervisors were able to establish a successful relationship focused on continual improvement.

슈퍼바이저들은 학습자 중심의 촉진적 접근법 또는 미시적 기술34 을 효과적으로 사용하는 다양한 사례를 제공했습니다(표 4). 

• 평가 보고서에 대한 레지던트의 반응을 이끌어내고, 
• 레지던트의 말을 주의 깊게 경청하고, 
• 이해를 보장하기 위해 열린 질문을 사용하고, 
• 성찰과 자기 비평을 촉진

일부는 세션의 모든 단계에서 이러한 기법을 효과적으로 사용했으며, 어려움을 겪고 있는 전공의에게 이러한 기법을 계속 효과적으로 사용했습니다.
Supervisors provided numerous examples demonstrating effective use of learner-centered facilitative approaches, or micro skills,34 such as

• eliciting residents’ reactions to their assessment reports,
• listening attentively to the resident,
• using open questions to ensure understanding and
• promoting reflection and self-critique (Table 4).

Some demonstrated effective use of these techniques throughout all phases of the session, and they continued to use these techniques effectively for residents experiencing challenges.

일부 슈퍼바이저는 통찰력이 부족한 것으로 보이는 레지던트에게 보다 지시적인 접근 방식을 사용했습니다. 조력적인 코칭 기법보다는 [지시적인 코칭 기법]에는 다음 것이 포함되었습니다.

• 주로 폐쇄형 질문을 하고,
• 듣기보다 말하는 데 더 많은 시간을 할애하며,
• 조력적이기보다는 지시적인 태도를 취하는 것

또한 레지던트가 서면으로든 구두로든 LCP를 작성할 때 더 많은 리더십을 발휘하는 것을 의미했습니다. 
Some supervisors used more directive approaches for residents who appeared to lack insight. More directive rather than facilitative coaching techniques included

• asking more close-ended questions,
• spending more time speaking than listening and
• being more directive than facilitative.

It also meant taking more leadership in completion of the LCP, whether written or only oral, for the resident.

마지막으로, 유연성은 레지던트의 필요에 따라 소수의 수퍼바이저만이 보여준 프로세스 기술이었습니다. 콘텐츠에 대한 유연성은 예상치 못한 평가로 인해 강한 감정적 반응이 유발되어 보다 집중적이고 집중적인 접근이 필요했던 두 가지 환경에서 입증되었습니다. 두 경우 모두 수퍼바이저는 레지던트의 긴급한 요구에 대응하여 이러한 긴급한 우선순위가 해결될 때까지 다른 잠재적 탐색 목표를 명시적으로 따로 설정했습니다. 또한 역량 격차를 파악하고 해결하기 위해 수퍼바이저가 대화에서 더 지시적인 태도를 취해야 하는지에 대한 결정에 있어서도 유연성을 보였습니다. 특히 레지던트가 토론을 준비할 때 코칭 세션의 목표가 명시적으로 논의되지 않은 경우, 코칭을 유연하게 적용하지 않는 것도 효과에 영향을 미쳤습니다. 

Finally, flexibility was a process skill displayed by only a few supervisors in response to resident needs. Flexibility around content was demonstrated in two settings where unexpected assessments triggered a strong emotional response, which required a more intensive, focused approach. In both cases, the supervisors were responsive to the acute needs of the resident, explicitly setting aside other potential goals for exploration until these emergent priorities had been resolved. Flexibility was also noted around decisions as to whether the supervisor needed to become more directive in the conversation to ensure gaps in competency were identified and addressed. Inflexible application of coaching also impacted effectiveness, especially if the aims of the coaching session were not explicitly discussed as part of preparing the resident for the discussion.

콘텐츠 중심 기술
Content-oriented skills

내용 중심 기술에는 다음이 포함되었습니다. 

• 평가 및 피드백 데이터의 의미에 대한 공통된 이해,
• 개선이 필요한 영역의 공동 우선순위 지정,
• LCP 공동 개발

슈퍼바이저는 제공된 피드백을 탐색하고 레지던트의 이해와 수용에 대한 토론에 참여할 수 있었습니다. 일부 수퍼바이저는 레지던트가 피드백 데이터에 거부감을 보일 때 어려움을 겪었고, 일부 수퍼바이저는 위에서 언급한 것처럼 데이터에 대한 교훈적인 설명으로 되돌아갔습니다.
Content-oriented skills included

• developing a common understanding of the meaning of the assessment and feedback data,
• collaborative prioritisation of areas for improvement and
• co-development of an LCP.

Supervisors were able to explore the feedback provided and engage the resident in a discussion about their understanding and acceptance. Some supervisors struggled when residents appeared resistant to feedback data and some reverted to more didactic explanations of the data, as noted above.

피드백에 대한 토론을 통해 부족한 점과 개선이 필요한 잠재적 영역을 파악한 후 성장을 도모해야 했습니다. 일부 레지던트는 목표를 파악하기 위해 협력적인 토론에 참여할 수 있었습니다. 다른 대화를 통해 감독자가 개선 목표와 접근 방식을 파악하는 경우도 있었는데, 이는 종종 전공의의 의견을 반영할 공간 없이 이루어졌습니다. 이러한 현상은 의사소통의 미세 기술을 사용하는 데 능숙하지 않은 것으로 보이는 소수의 수퍼바이저들에게서 가장 두드러졌습니다. (표 4)
Discussion of the feedback needed to be followed by identifying gaps and potential areas for improvement if growth was to occur. Some residents were able to engage in a collaborative discussion to identify goals. Other conversations led to supervisors identifying goals and approaches for improvement, often without space for resident input. This was most noticeable for the few supervisors who appeared less skilled in using communication micro skills. (Table 4)

[목표 설정에 초점을 맞추는 것]은 협업 토론의 중요한 요소였습니다. 레지던트나 수퍼바이저가 목표 설정의 특정 측면으로 토론을 몰아가는 경우가 많았으며, 이러한 집중은 평가 가능한 목표를 명확하게 표현하기 위해 명시적인 전략을 사용하는 LCP를 사용함으로써 촉진될 수 있었습니다. 그러나 때때로 슈퍼바이저가 LCP를 작성할 때 대화적이고 촉진적인 접근 방식을 취하지 못하고, 목표 설정을 촉진하는 진정성 있고 유용한 전략이 아니라, 연구의 요구 사항을 충족하기 위한 체크리스트로 사용한 것으로 나타났습니다. 구체적이고 정량화 가능한 목표에 대해 논의하지 않았기 때문에 두 번째 피드백 세션에서 평가한 대로 행동 변화가 최소화되었습니다. 목표가 논의되었더라도 서면으로 작성된 LCP가 없으면 검색이 불가능하거나 목표가 잊혀져 후속 조치에 지속적으로 장애가 발생했습니다. 두 번째 세션에서 목표에 대한 후속 조치는 책임감과 성공적인 목표 달성을 향상시키는 것으로 나타났습니다.
Focus on goal setting was a crucial component of the collaborative discussion. Often either the resident or the supervisor pushed the discussion towards specific aspects of goal setting, and this focus was facilitated by using an LCP that employed explicit strategies to articulate an assessable goal or goals. However, occasionally it appeared that supervisors failed to achieve a conversational, facilitative approach to the creation of the LCP and used it as a checklist to meet the requirements of the research study rather than as an authentic, useful strategy to facilitate goal setting. Failing to discuss specific, quantifiable goals minimised behavioural change as assessed in the second feedback session. Even if goals were discussed, the lack of a written LCP consistently impaired follow-up because it was not retrievable or goals were forgotten. Subsequent follow-up of the goals at the second session appeared to enhance accountability and successful goal achievement.

마지막으로, 제안된 목표에 대한 [전공의의 헌신을 보장]하는 것도 도움이 되었습니다. 슈퍼바이저가 일방적으로 격차와 목표를 제안할 때는 이러한 현상이 나타나지 않아 목표 개발의 효과성에 의문이 제기되었습니다.
Finally, ensuring residents’ commitment to the proposed goals was also helpful. This was not seen when supervisors unilaterally suggested gaps and goals, calling into question the effectiveness of goal development.

매핑 및 분석
Mapping and analysis

슈퍼바이저의 개별 코칭 기술 사용을 고려할 때, 이 단계에서 수행된 고차원 분석에서 세 가지 중요한 주제가 나타났습니다. 이는 다음과 같습니다:

• (i) 과정과 내용의 상호 연결성,
• (ii) 자기 주도성 장려와 발전 및 역량 보장 사이의 긴장감,
• (iii) 대화와 독백 사이의 균형.

In considering supervisors’ use of individual coaching skills, three overarching themes emerged from the higher order analysis carried out during this stage. These were:

• (i) the interconnectedness of process and content;
• (ii) tension between encouraging self-direction and ensuring progression and competence; and
• (iii) the balance between a dialogue and a monologue.

과정과 내용의 상호 연결성
Interconnectedness of process and content

변화와 학습을 계획하는 데 필요한 [의미 있는 콘텐츠]를 이끌어내기 위해서는 [우수한 프로세스 기술]이 필요한 것으로 나타났습니다. 예를 들어, 숙련도가 낮은 슈퍼바이저는 [성찰을 촉진하고 전공의의 의견을 구하기 위해 질문]할 가능성이 낮고 조언을 제공할 가능성이 높았습니다. 이로 인해 전공의들의 참여도가 떨어졌고, 결과적으로 목표와 계획을 함께 개발하는 데 참여할 가능성이 낮거나 초대받지 못한 경우도 있었습니다. 이러한 상황에서는 두 번째 피드백 세션에서 평가한 바와 같이 슈퍼바이저가 지시한 목표에 동의하더라도 일반적으로 이를 실행할 가능성이 낮은 것으로 나타났습니다. 마찬가지로, [토론의 근거가 되는 콘텐츠를 활용]하지 않으면 의미 있는 목표와 적절한 실행 계획을 파악하기 어려웠습니다. 프로세스는 콘텐츠를 뒷받침하는 반면, 콘텐츠는 중요하고 구체적인 목표와 그 실행에 관한 의미 있는 토론을 생성하는 데 필요합니다. 
Good process skills appeared to be required to elicit meaningful content needed to plan for change and learning. For example, less skilful supervisors were less likely to ask questions to promote reflection and seek the residents’ views and more likely to provide advice. This led to less engaged residents who in turn were less likely (or sometimes not invited) to participate in co-development of goals and a plan. In this situation, even if they acquiesced to a supervisor-directed goal, they appeared generally less likely to follow through, as assessed in the second feedback session. Similarly, without utilising content to ground the discussion, it was difficult to identify meaningful goals and appropriate action plans. Process underpins content, whereas content is required to generate a meaningful discussion around significant, specific goals and their implementation.

자기 주도성을 장려하면서도 역량으로의 발전을 보장하는 것 사이의 긴장감
Tension between encouraging self-direction yet ensuring progression to competence

[레지던트가 기대 수준 이상의 역량]을 발휘하는 경우, 슈퍼바이저는 여전히 목표 설정의 필요성을 강조하면서도 레지던트의 목표를 확인하고 함께 실행 계획을 수립하는 데 더 많은 노력을 기울이는 것으로 나타났습니다. 그러나 [레지던트가 실적이 저조하거나 목표를 파악하지 못하는 것]처럼 보이면 코치들은 여전히 좋은 프로세스 기술을 사용하더라도 거의 일관되게 대화를 부족한 영역으로 명시적으로 유도했습니다. 이러한 경우, 코치들은 레지던트에게 목표와 실행 계획을 확인하도록 유도하거나, 때로는 여러 번의 프롬프트를 통해 확인하지 못하는 것처럼 보이는 경우 레지던트를 대신하여 확인했습니다. 후자의 경우, 코치는 자신이 파악한 내용에 대해 레지던트의 동의를 구했습니다. 대부분의 코치는 그 순간에 레지던트의 역량 수준을 진단하고 촉진적 접근 방식이 가장 적합한지 지시적 접근 방식이 가장 적합한지 결정할 수 있는 것으로 나타났습니다. 
When residents were performing at or above their expected level of competence, supervisors, although still promoting the necessity of establishing goals, appeared more likely to confirm the resident's goals and work with them to co-develop the action plan. However, when residents appeared to be underperforming or unable to identify a goal, coaches almost uniformly, although still employing good process skills, explicitly directed the conversation towards gap areas. In these cases, they also prompted the resident to identify a goal and action plan, sometimes with multiple prompts, or identified them for the resident if he or she appeared unable. In the latter case, they would ask for the resident's agreement with what they had identified. It appeared that most coaches were able, in the moment, to diagnose the resident's level of competence and decide whether a facilitative or directive approach would be most appropriate.

대화와 독백 사이의 균형 잡기
Balance between a dialogue and a monologue

많은 슈퍼바이저가 커뮤니케이션 미시 기술을 사용하여 성찰을 촉진하고, 레지던트의 내용과 맥락에 대한 이해를 명확히 하고, 후속 토론 및 실행 계획의 초점을 공동 개발하는 협력적 코칭 대화를 구축할 수 있었습니다. 그러나 일부 수퍼바이저는 교육을 받았음에도 불구하고 레지던트에게 필요한 정보만 전달하고, 성과 격차를 파악하고, 광범위한 조언을 제공하는 데만 집착했습니다. 이러한 경우 대화는 레지던트가 제안된 해석에 동의하는지 확인하거나 슈퍼바이저가 설정한 목표에 대한 헌신을 확인하기 위한 [최소한의 확인도 없는 독백]에 가까웠습니다. 레지던트가 어려움을 겪고 있을 때 슈퍼바이저의 지시를 강화해야 하는 것처럼 보였지만, 일부 슈퍼바이저는 예상 역량 수준에 도달한 레지던트에게도 이러한 접근 방식을 고수했습니다. 이러한 경우 후속 피드백 세션에서 레지던트의 목표 및 실행 계획 달성도를 검토할 때 완료도가 낮은 것으로 나타났습니다. 교육생은 표면적으로는 제안에 동의하지만, 역량을 향한 여정에서 자신감과 자기 효능감을 개발할 기회를 제한하는 제안된 목표를 무시하는 것으로 보입니다.
Many supervisors were able to establish a collaborative coaching dialogue using the communication micro skills to promote reflection, clarify the resident's understanding of both the content and context and co-develop the focus of the subsequent discussion and action plan. However, some supervisors, despite training, persisted solely in telling residents what they needed to know, identified performance gaps and provided extensive advice. In these cases, the conversation was essentially a monologue with minimal verification with the resident to ensure agreement with the proposed interpretation or to confirm commitment to the supervisor-established goals. Although increases in supervisor direction seemed to be required when residents were struggling, some supervisors persisted with this approach even with residents at expected competency levels. In these cases, when reviewing resident achievement of the goal and action plan in the follow-up feedback session(s), there appeared to be less completion. It appears that the trainee can ostensibly agree to the suggestions but ignore the suggested goals restricting opportunities for the development of self-confidence and self-efficacy in their path towards competence.

토론
Discussion

우리가 아는 한, 이 연구는 실제로 의학교육 코칭에 사용되는 개별 기술을 조사한 최초의 연구입니다. 이 논문은 3개국의 5개 레지던트 프로그램에서 코칭의 역학 관계에 대한 통찰력을 제공합니다. 이 논문은 문헌에서 도출된 과정 및 내용 코칭 기술의 사용을 확인하고 코칭의 중요한 특징인 과정과 내용의 상호 연결성, 레지던트가 독립을 위해 노력할 때 레지던트와 감독자 사이에 발생할 수 있는 긴장감, 코칭 대화에서 대화와 독백 사이의 균형을 이루는 것의 중요성을 확인했습니다. 
To the best of our knowledge, this is the first study to examine the individual skills used in medical education coaching in practice. This paper provides insights into the dynamics of coaching across five different residency programmes in three countries. It confirms the use of process and content coaching skills derived from the literature and identified overarching features of coaching: the interconnectedness of process and content; the tension that can occur between residents and supervisors as the residents strive for independence, and the importance of achieving a balance between dialogue and monologue in coaching conversations.

프로세스 및 콘텐츠 코칭 기술
Process and content coaching skills

R2C2 모델에는 최종 코칭 단계를 시작하기 전에 [수퍼바이저-레지던트 관계, 성과 피드백에 대한 레지던트의 반응, 피드백 내용에 대한 이해에 초점을 맞추는 활동]이 포함됩니다. 이 세 가지 활동은 성공적인 코칭에 필수적이라고 생각하는 프로세스 지향 코칭 기술을 반영합니다. 그러나 이 연구에서는 이러한 코칭 접근 방식을 구체적으로 뒷받침하는 기술에 대한 설명을 식별하고 확장할 수 있었습니다.
The R2C2 model includes a focus on the supervisor–resident relationship, the resident's reaction to their performance feedback and their understanding of the feedback content prior to initiating the final coaching phase. These three activities reflect process-oriented coaching skills we believe are integral to successful coaching. However, in this study, we were able to identify and expand the description of the skills that specifically underpin this coaching approach.

[코칭을 위한 준비]는 효과적인 토론을 위한 무대를 설정하고 평가 자료뿐만 아니라 레지던트의 현재 경험과 향후 로테이션을 파악하고 이해하는 것을 포함했습니다. 레지던트의 상황에 대한 이해가 명확하지 않은 경우도 있었지만 자료에 대한 인식은 일관되게 관찰되었습니다. [코칭 경험을 위한 레지던트의 준비]는 일관되지 않았으며, 참여를 높이려면 코칭을 지원하는 교육적 기반을 포함한 접근 방식에 대해 레지던트에게 교육하고 자기 주도적 학습, 자기 성찰 및 역량 강화에 대한 개요를 제시하는 것이 중요할 것입니다.24
Preparation for coaching set the stage for effective discussion and included identifying and understanding not only the assessment materials but also the residents’ current experience and future rotations. Awareness of the materials was consistently observed although understanding of the resident context was sometimes not evident. Preparation of the resident for the coaching experience was inconsistent and to enhance participation, it would be important to educate residents about the approach including the educational foundations that support coaching and outline the proposed enhancement of self-directed learning, self-reflection and the journey to competence.24

[관계 개발]은 거의 보편적으로 입증되었습니다. R2C2 연구를 위한 교육과 샘플 촉진 진술서 제공이 이 기술에 도움이 되었을 수 있습니다.24 이 연구에서 좋은 코칭 관계는 이전의 상호작용에 의존하지 않았지만, 일단 코칭 다이아드가 형성되면, 종적 관계의 발전은 성공적인 코칭 경험의 중요한 구성 요소로 확인되었으며, 이는 다른 연구에서 뒷받침되는 결과입니다.11, 35, 36 이것은 의학교육 코칭과 다른 환경에서의 코칭 간에 가장 어려운 차이점 중 하나일 수 있습니다. Watling 등37에 따르면 의학교육과 스포츠 및 의학 코칭에 모두 익숙한 의사들은 이러한 비의료 환경에서 [관계의 기간]이 길수록 [신뢰를 쌓을 수 있는 기회]가 더 많아져 [피드백의 적절성, 정확성, 의도]에 영향을 미쳐 더 [구체적이고 비판적인 피드백이 전달되고 통합]될 수 있다고 언급했습니다. 연구진은 관계의 산발적인 특성으로 인해 현재의 의학교육 환경에서는 이를 달성하기 어렵다고 지적했습니다. 

Relationship development was almost universally demonstrated. Training for the R2C2 study and providing sample facilitative statements may have assisted this skill.24 Although good coaching relationships were not dependent on previous interaction in this study, once within the coaching dyad, the development of a longitudinal relationship was identified as a crucial component of a successful coaching experience, a finding supported by other studies.11, 35, 36 This may be one of the most challenging differences between medical education coaching and coaching in other settings. Watling et al.,37 found that physicians who were familiar with both medical education and sports and medicine coaching noted that the length of the relationship in these non-medical settings provided more opportunities to develop trust which impacted the perceived appropriateness, accuracy and intent of the feedback allowing more specific and critical feedback to be delivered and integrated. They noted that the more sporadic nature of relationships makes this less attainable in the current medical education environment.

또한 코칭 세션에서 원활한 의사소통을 반영하고 성찰과 자기 평가를 촉진하는 [마이크로 스킬]도 확인했습니다.38 이러한 기술은 일부 수퍼바이저에게 더 어려운 것으로 나타났습니다. 또한 수퍼바이저는 다음으로 인해 전공의의 요구를 해결하는 능력이 제한될 수 있습니다.

• 전공의의 감정을 상하게 하거나 자존감을 손상시킬 수 있다는 두려움14
• 전공의에게 잠재적으로 해가 될 수 있는 언어를 사용하지 못하게 하는 기관의 예의와 우수성을 가정하는 문화12 

이러한 미세 기술을 능숙하게 사용하기 위해 보다 집중적인 교육을 제공하는 것이 도움이 될 수 있습니다. 마찬가지로, 이러한 미세 기술에 대한 더 나은 기반을 제공하면 감독자의 유연성이 향상되어 적절한 경우 중요하고 긴급한 문제로 토론의 방향을 전환할 수 있습니다.
We also identified micro skills in the coaching sessions that reflect good communication and promote reflection and self-assessment.38 These skills appeared to be more challenging for some supervisors. Supervisors also may be limited in their ability to address resident needs

• by fears of hurting residents’ feelings or damaging self-esteem14 and
• by institutional cultures of politeness and assumed excellence in which language that is potentially damaging to the resident is discouraged.12 

It may be helpful to provide more intensive training to develop competent use of these micro skills. Similarly, providing a better grounding in these micro skills may enhance supervisor flexibility allowing them to pivot the discussion towards crucial, emergent issues when appropriate.

콘텐츠 중심 기술은 [성과 격차, 목표 설정, 후속 모니터링이 가능한 구체적이고 달성 가능한 목표 개발]에 대한 공동 논의 전에 피드백을 명확하게 제시하고 이해하도록 하는 데에도 중요했습니다. 달성 가능한 구체적인 목표와 실행 계획을 개발하는 것은 확인된 개선 사항을 실현하는 데 중요한 역할을 했습니다.39
Content-oriented skills were also important in ensuring the feedback was clearly presented and understood prior to collaborative discussion of

• performance gaps, goal setting and development of a set of specific, achievable goals that could be subsequently monitored in follow-up.

Developing specific achievable goals and action plans were instrumental in making the identified improvement.39

프로세스와 콘텐츠의 상호 연결성
Interconnectedness of process and content

이 연구에서 강조한 프로세스와 콘텐츠 기술 간의 상호 연결성의 중요성은 다양한 기술을 독립적으로 또는 결합하여 살펴본 이전 연구 결과를 뒷받침합니다. 모든 술기는 중요하며 탱고와 같은 방식으로 서로 연결되어 있다고 설명할 수 있으며,40 레지던트의 특정 요구사항에 따라 술기를 조합할 때 최상의 결과를 얻을 수 있습니다. 신뢰와 믿음에 기반한 관계를 개발 및 육성할 필요성은 나머지 코칭 기술을 성공적으로 구현하는 데 중요한 프로세스 기술입니다.5, 9, 11, 40-43 신뢰 관계는 개발을 지원하고 실행 계획으로 이어지는 열린 토론을 가능하게 합니다. 신뢰가 없으면 레지던트의 발전과 목표 달성을 돕기가 어렵습니다. 이러한 관계, 즉 교육적 동맹10,11은 [교육자로서의 수퍼바이저의 참여, 긍정적이고 지지적인 태도, 레지던트의 성장을 촉진하기 위한 헌신]에 따라 레지던트가 평가합니다. [교육적 동맹]은 피드백 제공 시점에 레지던트가 특정 피드백에 참여하는 데 영향을 미칠 뿐만 아니라 향후 수퍼바이저와의 추가 학습 상호 작용에 참여(또는 회피)하는 데도 영향을 미칩니다.11 
The importance of the interconnectedness between process and content skills, highlighted in this study, supports findings from earlier research that has looked at the various skills as independent or combined. All of the skills are important and can be described as interconnected in a tango-like manner,40 and it is the combination of skills in the context of the particular needs of the resident that yields the best outcomes. The need to develop and foster a relationship based on trust and credibility is a process skill important in underpinning the successful implementation of the remaining coaching skills.5, 9, 11, 40-43 A trusting relationship enables an open discussion that supports development and leads to an action plan. Without trust, it is difficult to help a resident progress and achieve their goals. This relationship, or educational alliance,10, 11 is judged by residents based upon the supervisor's engagement as an educator, a positive and supportive attitude and commitment to promoting residents’ growth. The educational alliance not only affects a resident's engagement with a particular piece of feedback at the moment of delivery, but also has consequences for future engagement with (or avoidance of) further learning interactions with supervisors.11

자기 주도성 대 역량으로의 진전 보장
Self-direction versus ensuring progression to competence

레지던트가 이정표를 달성하고 위탁 전문 활동을 완료하기 위해 노력할 때, [자기 주도성과 진전 사이의 긴장]은 CBME에서 중요한 요소입니다. 이는 아래와 같은 수련 환경에서 당연한 결과입니다. 

• [레지던트는 독립적인 전문의가 되기 위해 노력]하고,
• [수퍼바이저는 레지던트의 독립과 안전한 실습을 향한 진전을 평가]하는

[안전한 실천을 보장해야 할 필요성]은 [타인의 안전이나 복지에 거의 또는 전혀 영향을 미치지 않고 개인 중심의 성취를 추구]하는 스포츠, 음악 및 비즈니스 환경과는 상당한 차이가 있습니다. 이러한 긴장감은 다른 연구14, 17, 44에서도 발견되었으며, 이는 레지던트를 지도하고 점진적인 독립을 지원하는 것이 중요하다는 것을 말해줍니다. 자기 관리 직업의 일부로서 정확한 자기 평가의 중요한 역할에 대한 레지던트의 이해를 키우는 것은 중요한 결과입니다.38 레지던트는 외부 데이터를 사용하여 자신의 성과와 진행 상황을 자체 평가하고, 데이터와 피드백에 대한 자신의 관점을 설명하고, 정보에 입각한 자기 평가의 기회를 제공받을 수 있어야 합니다. 또한 역량 개발을 위해 노력하면서 목표와 실행 계획에 대해 논의할 기회가 필요합니다. 마찬가지로 중요한 것은 레지던트의 관점이 자신의 경험이나 다른 사람을 관찰할 기회 부족으로 인해 제한될 수 있는 경우를 인식하고, 성과 기준에 비추어 외부 성과 데이터를 현실적으로 고려하는 것입니다. 자기 평가와 외부 데이터 간의 불일치를 탐색하려면 커뮤니케이션 기술과 민감성이 필요합니다. 
Tension between self-direction and progression is a critical factor in CBME as residents strive to achieve milestones and complete Entrustable Professional Activities. It is a natural consequence of the environments in which training occurs as

• the resident works towards becoming an independent practitioner and
• the supervisor assesses the progress the resident is making towards independence and safe practice.

The need to ensure safe practice differs in a significant way from the sports, music and business environments where achievements are individually oriented with little or no impact on the safety or well-being of others. Such tension has been found in other studies14, 17, 44 and speaks to the importance of guiding residents as well as also supporting their progressive independence. Cultivating a resident's understanding of the crucial role of accurate self-assessment as part of a self-regulating profession is an important outcome.38 Residents need to have an opportunity to self-assess their performance and progression using external data, describe their own perspectives about their data and feedback and provide opportunities for informed self-assessment. They need opportunities to discuss the development of their goals and action plan as they work towards competency. Equally important is recognising when the resident's perspectives may be limited due to, for example, their own experiences and lack of opportunities to observe others and to realistically consider their external performance data in light of performance standards. Exploring the mismatch between self-assessment and external data requires communication skill and sensitivity.

교육에서 코칭의 [장기적인 목표]는 [자기 평가 기술을 배양]하고 [평생 학습을 촉진]하는 것입니다. 코칭은 전공의가 자신의 진행 상황을 모니터링하고 외부 지도를 구해야 할 시기를 인식할 수 있도록 지원합니다.21, 45
A long-term goal of coaching in education is to cultivate self-assessment skills and promote lifelong learning. Coaching empowers residents to monitor their progression and recognise when to seek external guidance.21, 45

대화 대 독백
Dialogue versus monologue

전공의와의 논의에서 코칭과 전공의와 독립적으로 목표와 행동을 선제적으로 파악하는 것 사이에서 균형을 유지하는 것은 수퍼바이저에게 어려운 일이며 다른 코칭 맥락에서도 지적되었습니다.21, 46 촉진적 피드백 기법과 지시적 피드백 기법이 더 도움이 되는 것으로 밝혀졌지만,47 수퍼바이저는 종종 부정확한 자기 평가로 인한 한계로 인해 적절한 목표를 식별하는 [전공의의 능력을 불신하고 싶은 유혹]을 받을 수 있습니다.14 목표와 다음 단계를 논의하기 전에 외부 데이터를 제공하고 논의하고 이해하면 이러한 제한이 덜 문제가됩니다. 그러나 본 연구에서는 데이터와 데이터를 이해하고 적용할 수 있는 기회를 모두 제공했음에도 불구하고48-51 일부 전공의는 토론을 실행 계획 개발로 전환할 수 없거나 의지가 없는 것으로 나타났습니다. 이 경우 감독자는 보다 지시적인 접근 방식을 취해야 할 수 있습니다. 이 연구에 참여한 몇몇 수퍼바이저는 레지던트의 동의를 희생하지 않으면서도 [자기 주도성]과 [가이드된 목표 설정] 사이의 전환이 필요한 시기를 유연하게 결정할 수 있음을 보여주었습니다. 변화를 위한 피드백과 코칭이 중요하고 기대되는 것으로 인식되는 의료 문화를 조성하는 것은 이 연구에서 매우 중요한 것으로 보입니다.12, 40
Achieving a balance in the discussion with residents between coaching and pre-emptively identifying the goals and actions independent of the resident is challenging for supervisors and has been noted in other coaching contexts.21, 46 Although facilitative versus directive feedback techniques have been found to be more helpful,47 it can be tempting for supervisors to distrust residents’ ability to identify appropriate goals, often based on the limitations posed by inaccurate self-assessment.14 This limitation becomes less problematic when external data is provided, discussed and understood prior to discussing goals and next steps. However, in this study, despite providing both the data and the opportunity to understand and apply the data,48-51 some residents appeared unable or unwilling to translate the discussion into developing an action plan. In this case, supervisors may need to take a more directive approach. Several supervisors in this study demonstrated flexibility in determining when the shift between self-direction and guided goal setting was required without sacrificing resident buy-in. Creating a medical culture where feedback and coaching for change are recognised as important and expected to occur, appears critical in this work.12, 40

요약하면, 이 연구를 통해 코칭에는 문헌에서 확인된 특정 프로세스 중신 기술 및 내용 중심 기술을 사용해야 하며, 레지던트 교육 감독자는 레지던트와의 피드백 및 코칭 세션에서 이러한 기술을 적용할 수 있다는 것을 알게 되었습니다. 이러한 기술을 효과적으로 사용하여

• 학습자 중심의 환경을 조성하고 
• 피드백을 통해 발생하는 학습 및 변화 계획을 레지던트와 함께 개발하면 
• 변화를 위한 명시적인 계획을 수립하고 
• 그 계획을 실행할 수 있습니다. 

이전 논문24에서는 피드백 및 계획 프로세스에 대한 레지던트의 참여가 향상되고, 방어적인 느낌이나 지원받지 못한다는 느낌이 감소하며, 효과적인 피드백을 가로막는 장애물이 전반적으로 감소했다고 보고했습니다.
In summary, we learned from this study that coaching requires using specific process- and content-oriented skills identified in the literature, and that supervisors in residency education can apply these skills in feedback and coaching sessions with residents. Using them effectively

• to develop a respectful learner-centered environment and
• to co-develop with the resident a plan for learning and change arising from the feedback,
• can result in the development of explicit plans for change and
• implementation of those plans.

Our earlier paper24 reported enhanced resident engagement in the feedback and planning processes, reduction of feelings of defensiveness or of feeling unsupported, and general reduction of identified barriers to effective feedback.

이 연구는 이러한 결과를 달성하는 데 필요한 구체적인 코칭 스킬과 그 스킬이 어떻게 사용되는지를 식별하고 설명함으로써 이전의 연구에 추가됩니다. 그러나 이러한 기술을 기존 접근 방식에 통합하는 것은 프로그램, 수퍼바이저 및 레지던트에게 도전 과제를 안겨줍니다.

• 프로그램의 경우, 적절한 개방성과 피드백을 기대하는 문화를 조성하는 데 주의를 기울이는 것이 중요합니다.
• 코칭을 위한 기본 지식과 기술을 확립하기 위해서는 교수 개발이 필요하며, 이러한 기술이 유지될 수 있도록 종단적으로도 교수 개발이 필요합니다.
• 특히 개방적이고 촉진적인 커뮤니케이션 기술을 사용하는 것은 직관적이지 않으며 연습과 강화가 필요하다는 것을 알게 되었습니다. 실행 계획을 개발, 추적 및 검토하는 프로세스를 마련하는 것이 매우 중요한 것으로 나타났습니다.
• 감독자의 과제에는 과정과 내용 중심 기술, 자기 지시와 진행, 코칭과 지시 사이의 긴장을 마스터하는 것이 포함됩니다.
• 레지던트 역시 코칭 전략에 대한 오리엔테이션이 필요하며, 특히 피드백을 받아들이는 데 어려움을 겪고 코칭을 역량 개발을 촉진하는 긍정적인 지원 활동으로 간주하는 데 어려움을 겪을 수 있습니다.

This study adds to that earlier work by identifying and describing the specific coaching skills required to achieve these outcomes, and how the skills are used. However, incorporating these skills into existing approaches also creates challenges for programmes, supervisors and residents.

• For programmes, attention to creating an appropriate culture of openness and expectation of feedback is crucial.
• Faculty development is needed both to establish the baseline knowledge and skills for coaching as well as longitudinally to ensure the skills have been maintained.
• We learned particularly that using open, facilitative communication skills is not intuitive and will require practice and reinforcement. Putting processes in place for developing, tracking and reviewing action plans appeared to be of crucial importance.
• Supervisor challenges include mastering the tensions between process- and content-oriented skills, self-direction and progression and coaching and telling.
• Residents too require orientation to coaching strategies, especially those who may struggle to accept feedback and to view coaching as positive supportive activities, which promotes them developing competence.

이 연구에는 한계가 있습니다. 이 연구에는 15쌍의 부부만 포함되었으며 다른 환경에서의 추가 조사가 도움이 될 것입니다. R2C2 모델 내 코칭에 대한 분석을 통해 슈퍼바이저가 코칭에 접근하는 방식의 다양성을 확인할 수 있었지만, 다른 환경에서 이 모델을 사용하도록 슈퍼바이저를 교육하면 우리가 발견하지 못한 뉘앙스를 발견할 수 있을 것입니다.
This study has limitations. This study included only 15 dyads and further examination in other settings would be helpful. Although we were able to see the variability in how supervisors approached coaching from our analysis of coaching within the R2C2 model, it is possible that training supervisors to use the model in other settings might uncover nuances we did not discover.

향후 연구 및 방향
Future research and directions

이러한 접근법을 수술실이나 응급의학과 교대 근무가 끝날 때 또는 외래 환경에서 환자 방문 후와 같이 레지던트와의 짧은 세션에 적용할 수 있는지 여부는 알려지지 않았습니다. 이 모델은 레지던트가 가장 최근의 직장 경험에 대해 생각하고 다른 접근 방식을 통해 더 나은 결과를 얻을 수 있는 방법을 고려하도록 장려하는 것이 목표인 짧은 만남에서 사용하기 위해 검토할 필요가 있습니다. 마찬가지로, 이러한 환경에서 수퍼바이저는 다음에 레지던트와 함께 일할 때 어떻게 후속 조치를 취할 수 있을지 고려해야 합니다.
It is not known whether these approaches could be adopted for shorter sessions with residents, for example, at the end of a day in the operating room or emergency medicine shift or after a patient visit in an ambulatory setting. The model needs to be examined for use in briefer encounters where the goal is to encourage the resident to think about their most recent workplace experience and consider how they might get better results with a different approach. Similarly, in these settings, supervisors would need to consider how they might follow up when they next work with the resident.

결론
Conclusions

이 연구는 슈퍼바이저가 효과적인 코칭을 위해 사용하는 과정 및 내용 중심 기술에 대한 포괄적인 개요를 제공합니다. 또한 코칭 시 과정과 내용 및 관련 기술에 모두 주의를 기울이는 것이 중요하며, 이 두 가지가 서로 연결되어 있고 최적의 코칭을 보장하기 위해 두 가지 모두 필요하다는 것을 보여줍니다. 또한 자기 주도성을 장려하는 것과 역량 향상을 보장하는 것 사이의 긴장을 마스터하는 것의 중요성도 확인했습니다. 또한, 슈퍼바이저는 코칭 토론이나 대화와 일반적인 교훈적인 교육 방식 사이의 균형과 전환이 필요할 수 있는 상황에 주의를 기울여야 합니다. 
This study provides a comprehensive overview of process- and content-oriented skills supervisors use for effective coaching. Furthermore, it demonstrates the importance of attending to both process and content and related skills when coaching; they are interconnected and both are required to ensure optimal coaching. We also identified the importance of mastering the tension between encouraging self-direction and ensuring progression to competence. Further, supervisors need to attend to the balance between a coaching discussion or dialogue and a more typical didactic teaching approach and the circumstances in which a shift may be required.

© 2019 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

적응적 전문가의 학습경험: 성찰적 주제 분석(Adv Health Sci Educ Theory Pract. 2022)
Learning experiences of adaptive experts: a reflexive thematic analysis
Joanne Kua1 · Winnie Teo2 · Wee Shiong Lim1

결과
Results

싱가포르의 두 주요 병원에서 총 16명의 노인의학 전문의가 연구에 참여했습니다(표 1). 이들 중 대다수(n = 9)는 10년 이상의 노인병 전문의 경력을 가지고 있었지만, 참가자 중 2명은 경력이 상당히 짧은(5년 미만) 노인의사였습니다. 연구팀은 학습 여정에서 적응 전문 지식을 적극적으로 습득하고 있는 임상의의 상호 보완적인 관점을 포착하기 위해 상대적으로 경력이 짧은 두 노인의학 전문의의 통찰력을 포함시켰습니다.
A total of 16 geriatricians from two major hospitals in Singapore participated in our study (Table 1). While majority (n = 9) of them had more than 10 years of experience as geriatricians, two of the participants had considerably less experience (less than 5 years). The study team included the insights of these two relatively junior geriatricians in order to capture the complementary perspectives of clinicians who were actively acquiring adaptive expertise in their learning journey.

주제별 분석 결과, 학습 경험은 적응 전문가가 되기 위한 여정에서 두드러진 사건과 영향력으로 개념화되었습니다. '모르는 것을 안다는 것'의 핵심을 뒷받침하는 세 가지 주요 주제는 다음과 같습니다: 

• (i) 사람 중심의 케어 정신,
• (ii) 호기심을 갖는 자세,
• (iii) 탐구하는 조직 문화의 만들기 (표 2).

Thematic analysis revealed that learning experiences were conceptualised as salient events and influences in the journey towards becoming an adaptive expert. Underpinning the core essence of ‘knowing that you don’t know’ are the 3 main themes of:

• (i) Anchoring ethos of person-centric care,
• (ii) Enabling stance of being curious, and
• (iii) Scaffolding organisational culture of inquiry (Table 2).

노인의학 분야의 적응형 전문가 정의: '자신이 모른다는 것을 아는 것'
Defining the adaptive expert in geriatric medicine: ‘knowing that you don’t know’

참가자들은 노인의학 적응적 전문가의 특징을 자신의 역량 범위를 넘어서는 상황을 인식할 수 있는 통찰력으로 설명했습니다. '자신이 몰랐던 것을 알고 있다'는 인식은 사례에 대한 실질적인 진단 및 치료 계획을 수립하기 위한 문제의 틀을 짜기 위한 서곡이었으며, 이 과정에서 필요한 전문 지식을 가진 다른 사람의 도움을 구하는 일이 종종 포함되었습니다. 중요한 첫 번째 단계는 '일반적인' 사례와 '새로운' 사례 또는 더 복잡한 사례를 구별하는 능력과 관련이 있습니다. 여기에는 일반적으로 일반적인 병력을 따르지 않거나 예측할 수 없고 언뜻 보기에 드러나지 않을 수 있는 모호한 궤적을 가진 사건이 포함됩니다.
The defining feature of an adaptive expert in geriatric medicine was described by participants as the insight to recognise situations which transcend their circle of competence. This awareness that ‘they knew that they didn’t know’ was the prelude towards framing the issues to put together a working diagnosis and treatment plan for the case, which often involved seeking assistance from others with the necessary expertise. A critical first step involved the ability to distinguish between a ‘usual’ vis-a-vis a ‘novel’ or more complex presentation. This typically involves a case that does not follow the usual history, or with an ambiguous trajectory that is unpredictable and may not reveal itself at first glance.

일반적인 것을 많이 본다면 어떤 것이 비정형적인지 바로 알아차릴 수 있겠죠. 프레젠테이션에서 일반적인 범주에 깔끔하게 들어맞지 않는 비정형적인 것은 무엇일까요? 바로 그때 도움이 필요하다는 것을 인식해야 합니다. (I3)
I mean if you see a lot of what's conventional, right, you would straightaway recognise what is unconventional. What is atypical in the presentation that doesn't fit neatly into the usual categories? And that's when you need to recognise that you need help. (I3)

전문가들은 복잡하거나 새로운 케이스로 전문성의 경계에서 수술할 때 진단 및 치료 계획을 수립하기 전에 다양한 관점에서 정보를 수집하고 삼각 측량해야 하며, 그 후에도 새로운 정보에 따라 계획을 지속적으로 검토해야 한다는 것을 인식했습니다. 이렇게 새로운 지식을 기존 계획에 지속적으로 통합하면 전문 지식의 경계가 효과적으로 확장되어 '자신이 모르는' 영역이 줄어들게 됩니다. 
The experts recognised that when they were operating at the boundaries of their expertise with a complicated or novel case, they needed to gather and triangulate information from various perspectives before formulating a diagnosis and treatment plan, following which, they needed to constantly review their plans in accordance with new information. This constant integration of new knowledge into their current plans would then effectively extend their boundaries of expertise, thereby diminishing the areas where ‘they knew they did not know’.

[복잡한 사례를 인식하고 진단을 내리고 치료 계획을 수립하는 능력]을 형성하고 발전시키는 데 도움이 된 경험에 대한 질문에 전문가들은 주제 표에 요약된 다양한 두드러진 경험을 설명했습니다(표 2).
When asked about the experiences that helped shaped and developed their ability to recognize, formulate a diagnosis and initiate a treatment plan for a complex case, the experts articulated a range of salient experiences, which are summarised in the table of themes (Table 2).

주제 1: 사람 중심 치료의 정착 정신
Theme 1: Anchoring ethos of person-centric care

이전 연구에서는 적응 전문가가 자신이 처한 외부 환경과 상호작용할 때 자아에 미치는 영향에 대해 언급했습니다(Regan et al., 2022). 마찬가지로, 한 참가자가 공유한 바와 같이, 환자를 생물의학적 영역을 넘어선 총체적인 방식으로 바라보는 것이 학습 여정의 닻 역할을 했습니다: "환자를 의학적 관점뿐만 아니라 기능적, 사회적 관점에서도 바라보는 것이 전체 임상적 판단의 틀을 형성합니다."(I14). 이러한 사람 중심의 진료 정신은 전문성을 개발하는 학습 경험의 근간이 되며, 학습 여정 전반에 퍼져 있습니다. 
Previous studies allude to the impact on self as the adaptive expert interacted with the external environment in which one is situated (Regan et al., 2022). Similarly, as one participant shared, viewing the patient in a holistic manner beyond the biomedical domain functioned as an anchor of their learning journey: “see(ing) the patient not only from the medical perspective but also the functional and social perspective, and that moulds the entire clinical judgment” (I14). This ethos of person-centric care undergirds and pervades their learning experience of developing expertise.

하위 주제: 가치의 가치
Subtheme: The value of values

환자에 대한 책임감이 학습 과정을 주도하고 따라서 전문성 개발의 토대를 마련한다고 제안되었습니다(Regan 외., 2022). 전문가들은 공감과 같은 가치가 사람 중심 치료의 토대를 마련하는 데 어떻게 도움이 되는지 공유했습니다. 한 참가자는 공감과 같은 가치가 어떻게 환자의 요구를 이해하고, 경쟁적인 정보 출처에 직면하여 의사결정을 촉진하며, 복잡한 환자를 관리할 때 우선순위를 정하는 데 도움이 되었는지 설명했습니다: ""(공감은) 우리 자신과 환자의 필요를 이해하는 것을 바탕으로 환자에 대한 접근 방식을 형성하는 데 도움이 됩니다... 이는 환자를 위해 우리가 가지고 있는 정보의 혼란 속에서 우선순위를 정하고 정리하는 데 도움을 줍니다." (I13). 
It has been suggested that responsibility towards patients drives the learning process and hence sets the foundation for expertise development (Regan et al., 2022). The experts shared how values like empathy helped lay the groundwork for person-centric care. One participant explained how values like empathy enabled him to understand the needs of the patients, facilitated sense-making in the face of competing sources of information and guided prioritisation in the management of complex patients: ““(Empathy) helps us shape our approach to the patients, based on understanding ourselves and the needs of the patients …This helps us prioritise and organise (in) the chaos of information that we have for the patients.” (I13).

공감 능력 외에도 자기 인식과 자기 통제력은 전문가를 차별화하는 특징입니다. 전문가들은 감정의 영향(긍정적이든 부정적이든)을 인식하여 균형을 유지하고 감정이 임상적 판단을 흐리지 않도록 하는 것이 중요하다는 점을 분명히 했습니다. 한 참가자는 공감조차도 때때로 절제해야 하는 상황에 대해 자세히 설명했습니다: "의사도 감정을 가지고 있기 때문에 균형 잡힌 사람이 되는 것이 매우 중요하다고 생각합니다... 공감하고 동정할 수는 있지만... 너무 많이 공감하면 판단이 정확하지 않을 수 있습니다. 너무 적게 공감하면 잘못된 결정을 내릴 것입니다." (I4) 또 다른 참가자는 절제가 얼마나 중요한지 다음과 같이 설명했습니다. "때때로 지나치게 'gung-ho'를 부리면 실제로 환자에게 해를 끼칠 수도 있습니다. 따라서 항상 절제와 자제력을 통해 절제해야 합니다." (I11).
Beyond empathy, self-awareness and self-control are defining features which set the expert apart. The experts articulated the importance of recognising the impact of emotions (both positive and negative) such that one is able to strike a balance and not let emotions cloud one’s clinical judgment. One participant elaborated on how even empathy had to be sometimes kept in check: “I think being a balanced person is very important because doctors have feelings too… we can empathise and sympathise, but … when we empathise too much, our judgment will not be correct. If we empathise too little, we'll make the wrong decision.” (I4) Another participant articulated how temperance was important: “Sometimes if you're too 'gung-ho', then you might actually harm the patient. So it has always got to be tempered by temperance, by self-control.” (I11).

공감과 자제력 외에 전문가들이 꼽은 사람 중심의 치료를 위한 노력으로는 올바른 판단력도 있었습니다. 이는 [숙련된 의학적 지식의 습득이나 다른 동료의 의견을 수렴하는 것]뿐만 아니라, [상식과 실제적인 이해를 통해 깊은 통찰력의 풍부한 관점을 도출]하기 위해, 건전하고 분별력 있는 방식으로 숙고하고 통합하고 행동하는 능력을 말합니다.
In the endeavour for person-centric care, besides empathy and self-control, good judgment was also cited by the experts. It refers to the ability to contemplate, integrate and act in a sound and discerning manner not just through the attainment of consummate medical knowledge or garnering the inputs of other colleagues, but also invoking common sense and practical understanding to yield the rich perspectives of deep insight.

우리는 사람들의 의견에만 의존하지 않고 판단력을 발휘해야 합니다. 네, 항상 판단력을 발휘하고 그것이 우리 자신의 추론과 의사 결정에 부합하는지 확인해야 한다고 생각합니다. (I9)
We need to exercise judgment and not just fall back on the opinion of people. Yeah, I think we always need to exercise judgment and see if it fits with our own line of reasoning and decision-making. (I9)

주제 2: 호기심을 갖는 자세를 갖자
Theme 2: Enabling stance of being curious

전문가들은 지속적인 학습을 위한 핵심 속성으로 호기심을 언급했습니다. 실제로 한 참가자는 "이러한 호기심이 실제로 학습을 훨씬 더 잘하게 만든다"고 말했습니다(I1). 이들에게 호기심은 자신의 업무를 넘어 질문을 하고, 사례를 찾아보고, 배움에 대한 열린 자세를 갖도록 동기를 부여했습니다. 한 참가자는 "아주 '궁금한' 것이 보이면 가서 읽어야 합니다...... 호기심은 매우 중요합니다. 모르면 가서 읽어보는 것이 좋습니다." (I12).
The experts mentioned curiosity as a key attribute for continual learning. In fact, one participant commented that “this curiosity actually makes them learn much better” (I1). For them, curiosity motivated them to go beyond one’s work tasks, asking questions, reading up on cases and thereby being open to learning. As one participant shared, “if I see something very ‘curious’, I have to go and read…. curiosity is very important. If you don't know, better go and read.” (I12).

좋은 태도를 가지고, 평범함에서 벗어날 준비를 하고, 호기심을 가지고 질문하고, 항상 환자를 생각하고, 의학 지식과 임상 지식을 추가하려고 노력해야 합니다. (I2).
You have to have a good attitude, be prepared to go out of the ordinary, be curious to ask questions, always thinking of the patient, and trying to add on to medical knowledge and clinical knowledge. (I2).

이러한 호기심은 "모든 사람이 모든 것을 아는 것은 아니므로 항상 지식이 부족하다"는 것을 인정하는 겸손함에도 바탕을 두고 있습니다(I3). 불확실한 상황을 관리할 때 분야 안팎의 동료와 선배에게 도움을 구할 때 겸손은 특히 중요했습니다: "하지만 막히면 해당 분야의 전문가나 동료에게 도움을 요청하는 것도 중요합니다."(I15) 동료 및 선배와의 상호작용은 학습에 도움이 되는 호기심을 불러일으켰습니다. 
This curiosity was also grounded in humility – acknowledging that “not everyone knows everything, so there is always a lack of knowledge” (I3). In the management of uncertain situations, humility was especially important as they sought help from peers and seniors, both within and outside the discipline: “But if you're stuck, it's also important to ask the specialist of the area or your colleague for help” (I15) The interactions with their peers and seniors generated curiosity which aids in the learning.

전문가들은 일부 학습자들은 타고난 호기심도 있지만 호기심을 키워야 한다고 설명했습니다. 한 참가자는 시니어 노인의학자로서 "호기심을 자극해야 한다"고 느꼈습니다. (I3) 다른 참가자(I15)는 "어떤 사람들은 자연스럽게 개방적이고 호기심이 많으며, (그리고) 무언가를 정리하기로 결심합니다. 다른 사람들은 그것을 보여줘야 하고 연습이 필요합니다."라고 말했습니다. 전문가들은 지속적인 학습을 가능하게 하는 자세로서의 호기심은 [성찰의 연습과 학습자의 성숙과 발전을 위한 시간을 허용함으로써 길러질 수 있다]고 생각했습니다. 
The experts elaborated that while some learners were naturally curious, curiosity should also be nurtured. One participant felt that as senior geriatricians, “we have to stir up the curiosity.” (I3) Another participant (I15) shared that “some people are just naturally open, curious, (and) determined to put things together. Others need to have it demonstrated and they need to practice.” The experts felt that curiosity as a stance enabling continuous learning could be nurtured through the practice of reflection and through allowing time for the maturation and development of learners.

하위 주제: 성찰의 실천
Subtheme: The practice of reflection

호기심을 근간으로 하는 적응 전문가 학습 경험의 핵심 요소는 성찰의 실천입니다(Mahant 외., 2012; Mylopoulos 외., 2011). 참가자들은 개인 진료에 대한 성찰이 환자를 위한 관리 결정을 내리고 개선하는 데 어떻게 도움이 되었는지에 대해 언급했습니다. 한 참가자는 성찰이 다양한 관점의 정보를 통합하고 통합할 수 있는 플랫폼을 제공함으로써 임상 관리에서 측정된 의사결정을 촉진하는 방법을 설명했습니다: "세세하게 관리하면 중요한 것을 놓칠 수 있지만...... 조감도를 찍으면 세부 사항을 놓칠 수 있고, 따라서 관리가 적절하지 않거나 적절하지 않을 수 있으므로 스스로 보정해야 합니다." (I9).
With curiosity as the bedrock, a key element of the learning experience of adaptive experts is the practice of reflection (Mahant et al., 2012; Mylopoulos et al., 2011). Our participants commented on how reflecting on their personal practice helped inform and improve management decisions for their patients. One participant explained how reflection facilitated measured decisions in clinical management by providing a platform to consolidate and integrate inputs from different perspectives: “if I were to micro-manage I might miss important things….yet if I (take a) birds’ eye view, I might miss details and therefore management may not be appropriate or adequate — so I have to calibrate myself.” (I9).

하위 주제: 시간의 이점
Subtheme: The benefit of time

많은 전문가들이 자신의 전문성 개발 여정을 되돌아보고 시간이 전문성 개발에 미친 영향에 대해 공유했습니다. 이들은 시간을 두 가지 측면에서 이야기했습니다. 첫째, 소중한 재화로서의 시간. 한 참가자는 복잡한 케이스를 둘러싼 불확실성을 정보를 수집하고, 반복적으로 처리하고, 생각하기 위해서는 일상적인 업무에서 시간을 따로 떼어내야 한다고 설명했습니다."특정 시점에 전체 그림을 다시 봐야 한다는 것을 알게 되었습니다......심지어 전체 그림을 다시 보기 위해 몇 번씩 돌아가야 할 수도 있습니다."(I5).
Many of the experts reflected on their journey of expertise development and shared the impact that time had in their development. They spoke of time in two ways: firstly, time as a precious commodity. As one participant elaborated, setting aside time within the daily grind was necessary to gather information, iteratively process and think through the uncertainties surrounding a complex case, “I find myself having to relook the whole picture at certain points in time….I may even have to go back a few times to look at the whole picture again “ (I5).

하지만 바쁜 임상 일정 속에서 시간을 내는 것은 어려운 일이었습니다. 한 참가자는 시간 부족이 학습에 얼마나 큰 제약이 되는지 언급하며 "병동 회진은 비즈니스 회진과 같습니다. 3시간까지 모든 환자를 끝내야 하고 그 이후에는 다른 일을 해야 합니다. 따라서 이 일을 제대로 하려면 시니어 레지던트들을 데리고 복잡한 케이스들을 하나하나 살펴보고 함께 앉아서 진행해야 합니다. 시간이 없습니다." (I10).
However, finding time within the busy clinical schedule was a challenge. One participant commented how the lack of time was a critical constraint when learning, “The ward round is like a business round. We need to finish all the patients by three hours, after that we have other things to do. So, if you really want to do this properly, you need to bring the senior residents through those complex cases, sit down and go through each case with them. And we don't have time.” (I10).

전문가들이 시간에 대해 이야기한 두 번째 방식은 임상 성숙 과정과 관련된 것으로, 임상의가 임상 경험을 점진적으로 축적하여 성숙하기 위해서는 시간이 필요하다는 것이었습니다. 한 참가자는 다년간 다양한 케이스에 노출되며 쌓은 임상 경험을 통해 보다 총체적이고 환자 중심적인 방식으로 진료할 수 있었다고 회고했습니다: "처음 시작했을 때는 많은 지식과 과학에 대한 교육을 받았지만... 시간이 지남에 따라 인생 여정이 진행되고 더 많은 경험을 쌓기 시작하면서 과학 중심에서 사람 중심으로 바뀌었습니다." (I13).
The second way in which the experts spoke about time was in relation to the process of developing clinical maturity: the passage of time was needed for clinicians to mature through gradual accumulation of their clinical experience. A participant reflected that clinical experiences, accumulated through many years of exposure to a wide variability of cases, enabled him to practice in a more holistic and patient-centred manner: “when we first started, we were trained with a lot of knowledge and a lot of science…But over time as our life journey progresses and we start to accumulate more experience, then I adjusted away from (being) science-focused to person-focused.” (I13).

주제 3: 탐구하는 조직 문화 발판 마련하기
Theme 3: Scaffolding organisational culture of inquiry

참가자 중 일부는 임상 전문가일 뿐만 아니라 행정 리더이기도 했습니다(표 1). 이들은 행정 경험을 바탕으로 적응형 전문가가 되기 위해서는 호기심, 질문하기 등 개인 차원의 특성과 습관뿐만 아니라 탐구와 학습을 촉진하는 조직 문화가 뒷받침되어야 한다고 강조했습니다. 특히 심리적 안정과 멘토링의 역할이 중요하다고 언급했습니다.
Some of the participants were administrative leaders, in addition to being clinical experts (Table 1). Drawing on their administrative experience, they highlighted that the learning experience of an adaptive expert required not only individual-level attributes and habits (such as curiosity, asking questions) but also a supportive organisational culture which fostered inquiry and learning. In particular, they mentioned the critical roles played by psychological safety and mentoring.

하위 주제: 심리적 안전의 문화
Subtheme: The culture of psychological safety

조직의 탐구 문화는 신뢰와 심리적 안전이 유지되는 환경에서 의미 있는 상호작용을 촉진함으로써 적응형 전문가의 학습 경험에 중요한 역할을 합니다. 심리적 안전이란 대인 관계에서 위험을 감수하기에 주변 환경이 안전하다고 느끼는 것을 말합니다(Edmonson, 1999). 한 참가자는 복잡한 사례에 대한 토론을 장려하기 위해서는 심리적 안전감이 중요하다고 강조했습니다: "심리적으로 안전한 환경을 조성하는 것은 정말 큰 도움이 됩니다. 토론할 수 있는 개방성, 확실하지 않은 사례에 대해 안심하고 토론할 수 있다는 느낌, 이 모든 것이 동시에 자신감을 키울 수 있습니다." (I8) 또 다른 참가자는 그렇게 하는 것이 어려웠지만, 비난이 아닌 배움에 중점을 두는 것이 전문가가 취약한 부분을 드러내고 판단받지 않는 안전한 대화 환경을 조성하는 데 중요하다고 말했습니다: "처벌적이지 않은 환경이 필요합니다... 처벌적 문화는 방어적인 문화를 만들 것입니다. 토론은 비판을 위한 것이 아니라 학습을 위한 것임을 이해해야 합니다. ... 때때로 우리는 그 사람을 비판하는 것처럼 보이기 때문에 매우 어렵지만, 사건에 대해 안전하게 토론할 수 있는 환경이 정말 필요합니다." (I11). 
An organisational culture of inquiry plays a critical role in the learning experience of adaptive experts by facilitating meaningful interactions in an environment which maintains trust and psychological safety. Psychological safety refers to a person’s sense that the immediate environment is safe for interpersonal risk-taking (Edmonson, 1999). A participant highlighted that a sense of psychological safety is important to encourage discussions about complex cases: “Having an environment of psychological safety – that really helps a lot. Openness to discuss, feeling safe to discuss cases that you're not sure of – all these can build up confidence at the same time.” (I8) Another participant commented that while it was challenging to do so, placing emphasis on learning and not blame was critical to creating a safe environment for conversations whereby the expert could be vulnerable and not be judged: “You need an environment that is not punitive…a punitive culture will create a defensive culture. Understanding that discussion is for learning and not for criticising. …sometimes we find it very difficult because it seems that we are criticising the person, but we really need an environment that we feel safe to discuss a case.” (I11).

하위 주제: 멘토링 문화
Subtheme: The culture of mentoring

전문가들은 전문성을 개발하는 데 도움이 되는 임상적 통찰력을 공유하고 전문성 개발에 필요한 기대되는 규범과 행동을 역할 모델링하는 측면에서 멘토가 학습 경험에 중요한 역할을 한다고 언급했습니다. 한 참가자는 선배 임상의가 자신의 관점을 공유함으로써 임상적 결정의 이면에 있는 이유를 이해할 수 있었다고 설명했습니다: "(저는) 선배들을 관찰하고 (사례) 관리에 대한 그들의 생각을 공유하면서 배웠습니다..... 누군가가 공유하면 그들이 생각하는 방식이 이런 것이구나, 왜 특정 일을 하는지 알게 되거든요....... 그래서 선배들이 자신의 경험을 공유하면 도움이 됩니다." (I9). 
The experts mentioned that mentors play a crucial role in their learning experiences, both in terms of sharing clinical insights to help develop expertise and in role modelling expected norms and behaviour needed for expertise development. A participant elaborated that having senior clinicians share their perspectives allowed him to understand the reasons behind their clinical decisions: “(I learnt) from observing my seniors and having them share their thoughts about (case) management…. Because when someone shares, then you realise this is the way they're thinking, why they are doing certain things…. So it helps when seniors share their experience.” (I9).

또 다른 참가자는 지속적인 학습과 개발에 중요한 행동을 모범적으로 보여준 선배 임상의가 어떻게 자신이 전문가가 되는 길에 들어섰는지 공유했습니다: "선배들이 같은 일을 했기 때문에 제가 하는 일을 하고 있습니다. XXX 박사님이나 YYY 교수님처럼... 네, 아주 선배 임상의사분들인데, 그분들은 저에게 '매일 특정 교과서의 한 장을 읽는다'고 말씀하시거나 그런 식으로... 그분들이 발전시켜온 습관이고, 저를 포함한 수많은 후배들에게 전수해 주셨어요. 그래서 이 모든 것이 역할 모델링입니다. 컨설턴트가 이런 일을 할 수 있고 가족까지 있다면 우리도 변명의 여지가 없습니다." (I10). 
Another participant shared how senior clinicians who had exemplified behaviours crucial to continual learning and development had set him on the path to becoming an expert himself: “I do what I do because my seniors did the same thing. It's not something that is new… Like Dr. XXX and Prof YYY… Yeah, these are very, very senior clinicians, and they tell me, 'Oh, you know, every day I read… I study one chapter of a particular textbook’, or something like that …It's a habit that they have developed, and they have passed it on to countless other juniors including myself. So, it's all role modelling. If your consultant can do this, and he's got a family and all that, there’s no excuse for us.” (I10).

전문가들은 개별 멘토를 확보하는 것 외에도 멘토링 문화를 조성하는 것도 중요하다고 강조했습니다. 학습자에게 '발판'이 되어줄 수 있는 선배 의사 풀이 있다면 다양한 전문 지식의 원천으로부터 배울 수 있을 것입니다: "부서 직원들은 이 사람이 업무를 진행함에 따라 모든 사각지대를 커버하기 위해 그 사람을 '감싸 안아야' 할 것입니다." (I8). 또 다른 참가자는 복잡한 사례에 대한 결정을 내리기 전에 다양한 선임 임상의로부터 다양한 관점을 수집하는 것이 중요하다고 설명했습니다: "(저는) 여러 컨설턴트에게 이 복잡한 케이스를 어떻게 진행할 것인지에 대한 그들의 관점과 제안을 구합니다. 그래서 항상 의지할 수 있는 사람들이 있고 합의에 도달할 수 있습니다." (I14).
In addition to having individual mentors, the experts also stressed that fostering a culture of mentoring was equally important. Having a pool of senior doctors who were able to provide support to ‘scaffold’ the learner would enable learning from various sources of expertise: “The department staff will have to “wrap” themselves around this person to cover all their blind spots… as they progress in their work.” (I8). Another participant elaborated that it was important to gather different perspectives from various senior clinicians before reaching a decision on a complex case: “(I ask) different consultants to get their perspectives and suggestions on how to move forward with this complex case. So there's always people that we can turn to and a consensus can be reached.” (I14).

Learning experiences of adaptive experts: a reflexive thematic analysis

PMID: 36626011

PMCID: PMC9859887

DOI: 10.1007/s10459-022-10166-y

Free PMC article

© 2023. The Author(s).

매듭 묶기: 임상교육에서 학생의 학습목적에 관한 활동이론분석(Med Educ, 2017)
Tying knots: an activity theory analysis of student learning goals in clinical education
Douglas P Larsen,1 Austin Wesevich,2 Jana Lichtenfeld,3 Antony R Artino Jr,4 Ryan Brydges5 & Lara Varpio4

소개
Introduction

학습 목표는 종종 자기조절 학습(SRL) 프로그램의 맥락에서 개발됩니다. 예를 들어, 한 순환적 SRL 모델에서 학습자는

• (i) 목표를 개발하고,
• (ii) 성과를 모니터링하고,
• (iii) 결과가 목표와 어떻게 일치하는지 성찰하고,
• (iv) 주기가 다시 시작될 때 오래된 목표를 수정하고 새로운 목표를 만들어야 하는지를 결정합니다.1

학습자들은 비공식적인 학습 목표를 자발적으로 생성하지만,2,3 전문성 개발에서 SRL의 중요성이 강조되면서 다양한 교육 환경에서 공식적인 서면 학습 목표 프로그램이 많이 개발되었습니다.4-9 이러한 프로그램은 성공과 실패가 엇갈렸으며,4-9 서면 학습 목표가 임상 교육 실무에 어떻게 통합되고 그 유용성에 영향을 미치는 요인에 대한 의문이 제기되고 있습니다. 
Learning goals are often developed in the context of programmes of self-regulated learning (SRL). In one cyclical model of SRL, for example, learners:

• (i) develop goals;
• (ii) monitor their performance;
• (iii) reflect on how outcomes align with their goals, and
• (iv) determine how old goals should be modified and new ones created as the cycle begins again.1 

Although learners spontaneously generate informal learning goals,2, 3 emphasis on the importance of SRL in professional development has led to many formal written learning goal programmes in various education settings.4-9 These programmes have had mixed success,4-9 raising questions about how written learning goals are incorporated into clinical education practice and what factors influence their usefulness.

대부분의 학습 목표 프로그램의 이론적 토대는 사회적 지원의 중요성을 인정하고 있으며,10 이러한 프로그램의 분석은 대부분 개인의 내적, 인지적 작업에 대한 지원에 초점을 맞추고 있습니다.4-9 이러한 사회인지적 관점은 본 논문에서 연구하는 고빈도 학습 목표 프로그램의 개발의 토대가 되었지만, 프로그램이 실제로 어떻게 기능하는지 조사하기 위해서는 프로그램에 대한 인적, 물적, 문화적 영향을 설명하는 이론적 프레임워크가 필요했습니다. 문화역사활동이론(CHAT)은 개인과 집단의 활동을 형성하는 데 중요한 역할을 하는 자료로서 학습 목표에 대한 분석을 지원했습니다.11-13 
The theoretical underpinning of most learning goals programmes acknowledges the importance of social supports,10 and the analysis of these programmes mostly focuses on support of the internal, cognitive work of the individual.4-9 Although this social cognitive perspective served as the foundation for the development of the high-frequency learning goals programme we study in this paper, we needed a theoretical framework that accounted for the human, material and cultural influences on the programme to investigate how the programme functioned in practice. Cultural historical activity theory (CHAT) supported our analysis of the learning goals as materials that play a role in shaping the activities of individuals and groups.11-13

이론적 틀: CHAT과 매듭짓기
Theoretical framework: CHAT and knotworking

문화역사적 활동 이론은 사람들이 

• 다면적인 사회적 맥락에서
• 도구(물리적[예: 임상 노트] 및 상징적[예: 언어])를 사용하여
• 예상되는 결과(예: 최적의 환자 치료 제공)로 이어지는
• 특정 목적(예: 역사 기록 기술 개발)을 달성하는 방법에 중점을 둡니다.12-15

목적은 행동의 즉각적인 목적인 반면, 결과는 시스템에서 나오는 결과물입니다. 분업, 규칙 또는 규범, 실무자 커뮤니티도 결과로 이어지는 행동에 영향을 미칩니다. 이러한 시스템을 이해하기 위해 CHAT 정보 기반 분석은 업무 기반 사회적 맥락을 분석 단위로 사용합니다(즉, 활동 시스템 [그림 1]).14 
Cultural historical activity theory focuses on

• how people use tools (physical [e.g. clinical notes] and symbolic [e.g. language])
  in multifaceted social contexts
  to achieve specific objects (e.g. develop history-taking skills)
  that lead to anticipated outcomes (e.g. the delivery of optimal patient care).12-15 

Objects are the immediate purposes of actions, whereas outcomes are the products that emerge from the system. Divisions of labour, rules or norms, and the community of practitioners also influence the actions that lead to outcomes. To understand these systems, CHAT-informed analysis uses the work-based social context as the unit of analysis (i.e. an activity system [Fig. 1]).14

업무 환경에서는 결과outcome가 겹칠 수 있고 일치해야 합니다. 문제는 완전한 일치가 이루어지지 않는 경우가 많다는 것입니다. 이러한 상황은 시스템 내 개인이 객체를 하나 이상의 결과와 어떻게 일치시킬 수 있는지 협상할 때 [서로 경쟁하는 목표]로 이어질 수 있습니다.16-18 [잘못 정렬된 결과]는 종종 활동 시스템 내에서 긴장과 모순을 유발합니다. 예를 들어,

• 의대생은 의사로서의 진단 능력(결과)을 개발하기 위해 특정 신체 검사 기술(목표)을 개발하고 싶지만, 환자(최적의 환자 치료라는 다른 바람직한 결과와 일치하는 경쟁 목표)에게 실습을 함으로써 불편을 주고 싶지 않을 수 있습니다. 동시에, 학생은 주치의에게 자신의 신체 검사 능력을 입증하여 높은 성적(또 다른 바람직한 결과)을 확보할 수 있는 방법을 찾아야 한다는 강박관념을 느낄 수 있습니다.

이러한 모순을 극복하는 과정에는 종종 새로운 행동 방식이나 새로운 대상의 개발이 필요합니다. 예를 이어가자면,

• 주치의는 학생의 술기(대상)를 판단하는 것에서 벗어나 학생의 술기를 연습할 수 있도록 도와줄 수 있는 환자를 찾아내어 그 환자에게 실습을 허락하도록 요청하는 새로운 대상으로 전환할 수 있습니다. 주치의의 새로운 행동(학생의 환자 식별을 돕는 것)은 학생에게 새로운 행동(신체 검사 술기를 연습할 기회 증가)으로 이어집니다.

In work settings, outcomes can and should overlap and be congruent. Problematically, full alignment is often not achieved. This situation can lead to competing objects as individuals in the system negotiate how objects can be aligned with one or more of the outcomes.16-18 Misaligned outcomes often cause tensions and contradictions within the activity system. For instance,

• a medical student may want to develop a specific physical examination skill (object) in order to develop her diagnostic abilities as a physician (outcome), but she does not want to inconvenience patients by practising on them (a competing object aligned with the alternative desired outcome of optimal patient care). At the same time, the student may feel compelled to find ways to demonstrate her physical examination competence to the attending physician so that she can secure a high grade (another desired outcome).

Often the process of overcoming these contradictions requires new ways of acting or the development of new objects. To continue our example,

• the attending physician may shift from judging the student's skills (object) to the new object of helping the student to practise her skills by identifying willing patients and asking their permission for the student to practise with them. The attending physician's new action (helping the student to identify patients) leads to new actions for the student (increased opportunities to practise physical examination skills).

이러한 과정을 확장 학습이라고 하며 새로운 행동 방식을 통해 활동 체계의 긴장을 해소할 수 있습니다.14, 17 우리는 이 학습의 정의를 사용하여 [공식적이고 문서화된 학습 목표]가 학습자와 감독자의 업무에 어떤 영향을 미치는지 이해했습니다.
This process is referred to as expansive learning and allows tensions in the activity system to be resolved through new ways of acting.14, 17 We used this definition of learning to understand how formal, written learning goals affect the work of learners and their supervisors.

복잡한 환경에서 역동적이고 변화하는 긴장을 포착하기 위해 CHAT 연구자들은 사람과 도구가 함께 새로운 방식으로 행동하는 방법을 설명하기 위해 [매듭짓기 은유]를 개발했습니다.17, 18

• 매듭에서 시스템의 각 요소는 [특정 목표]를 달성하기 위해 일시적으로 수렴하여 궁극적으로 [원하는 결과]를 이끌어내는 [실]입니다.
• 매듭의 형성은 종종 도구에 의해 매개됩니다. 경쟁하는 물체의 힘이 매듭을 잡아당기고 긴장시키기 때문에 매듭의 형성은 종종 미약하며 실을 빼거나 추가할 때 풀릴 수 있습니다.

우리는 경쟁하는 물체와 잘못된 결과로 인해 긴장된 약한 매듭이라는 개념을 통해 서면 학습 목표가 실제로 어떻게 사용되는지 살펴볼 수 있다고 제안합니다. 이 조사에서는 CHAT과 매듭짓기를 사용하여

• (i) 학생과 감독자가 서면 학습 목표를 임상 업무에 통합하는 방법과
• (ii) 작업 기반 학습에서 학생의 서면 학습 목표 사용에 영향을 미치는 요인을 탐색합니다.

To capture dynamic and shifting tensions in complex settings, CHAT researchers have developed the knotworking metaphor to describe how people and tools come together to act in new ways.17, 18 

• In the knot, each element of the system is a thread that temporarily converges to accomplish specific objects which ultimately lead to desired outcomes.
• The formation of the knot is often mediated by tools. Because the forces of competing objects pull and strain at the knot, its formation is often tenuous and it may unravel as threads are taken away or added. 

We suggest that the concept of a tenuous knot under strain from competing objects and misaligned outcomes allows us to examine how written learning goals are used in practice. In this investigation, we use CHAT and knotworking to explore:

• (i) how students and their supervisors incorporate written learning goals into their clinical work, and
• (ii) the factors that influence the use of students’ written learning goals in work-based learning.

방법
Methods