학습의 정의를 확장하기: 셀프Self에서 소셜Social에서 시스템System으로(Med Educ, 2019)
Expanding the definition of learning: from self to social to system
Douglas P Larsen
개별 SRL 스킬 개발을 목표로 하는 학습 목표 및 개인화된 학습 계획과 같은 교육 개입이 보편화되었다. 그러나 이러한 학습자와 학습자에 대한 집중이 항상 예상대로 이루어지는 것은 아니다. SRL 기술의 중요성을 선언했음에도 불구하고, 이러한 유형의 개입에 대한 연구는 엇갈린 결과를 보여준다. 비록 일부 조사자들이 학습 목표를 달성한 성공에 대해 보고했지만, 다른 연구들은 대부분의 학습자들이 목표를 기억하는 데 어려움을 겪었고, 목표를 통해 학습에 대한 통찰력을 얻지 못했고, 그들의 목표가 시간과 노력의 가치가 있다고 느끼지 못했다는 것을 발견했다.11,12
Education interventions such as learning goals and individualised learning plans, aimed at individual SRL skill development, have become common. However, this focus on learning and learners does not always play out as anticipated. Despite the proclaimed importance of SRL skills, research on these types of interventions shows mixed results. Although some investigators have reported success with learning goals,9,10 other studies found that most learners had trouble remembering their goals, did not gain insight about learning through their goals, and did not feel that their goals were worth the time and effort.11,12
이러한 연구들의 결과는 우리가 원하는 학습을 이뤄내기 위해서는, 개인 수준의 프로세스에 대한 강조를 넘어서는 것이 필요할지도 모른다는 것을 시사한다. 사회적 상호작용과 시스템 분석을 통한 학습 프레임워크는 이러한 도전에 대한 해결책을 제공할 수 있다.
The results of these studies suggest that to produce the learning we want, we may need to move beyond an emphasis on individual processes. The frameworks of learning through social interactions and systems analysis may offer solutions to these challenges.
Nieboer et al.13은 단순히 학습자의 인지 과정 내에서가 아니라 감독자와 훈련자 사이의 상호작용을 통해 직장에서 학습이 어떻게 자주 발생하는지를 보여준다.
Nieboer et al.13 demonstrate how learning in the workplace often occurs through the interactions between supervisors and trainees rather than simply within the cognitive processes of the learner.
관계적 주체성relational agency은 개개인이 각자의 행동의 대상을 공동 창조하기 위해 서로의 자원을 끌어들이면서 일어난다.14 본 연구에서 레지던트와 감독자가 운영에 관련된 관행을 공동으로 구성함에 따라 피드백과 학습은 대화적인 과정이 된다.15
The exercise of relational agency occurs as individuals draw on the resources of each other to co-create the object of their actions.14 In this study, feedback and learning become a dialogical process as residents and supervisors co- construct the practices involved in the operation.15
본 연구는 '학습은 근무현장에서의 의사소통적 실천에 있다'는 것을 증명하는 기존의 연구와 부합한다. 실제로, 여러 조사 결과, 임상실습 학생 학습 목표든 전공의 개인화 학습 계획이든 간에 SRL 교육 개입을 성공적으로 이행하는 데 협력적 대화가 필수적이라는 사실이 밝혀졌다.16 1818 Berkhout 외 연구진 19는 학습자가 직장 학습에 경험이 많아짐에 따라, 학습자는 SRL을 추구함에 있어서 감독관들과 점점 더 협력적으로 되어간다는 것을 보여주었다.
The present study adds to a growing body of research demonstrating that ‘learning resides in the communicative practices of workplaces’, as expressed by Steven et al.2 in their study of medical student clinical learning. Indeed, several investigations have found collaborative dialogue to be essential for successful implementation of ostensibly SRL educational interventions whether they be clerkship student learning goals or resident individualised learning plans.16–18 Berkhout et al.19 showed that as learners became more experienced in workplace learning, their pursuit of SRL became increasingly collaborative with supervisors.
Nieboer 등은 전공의들은 수술실 작업에 적극적으로 참여함으로써 의사결정에 대한 논의를 쉽게 시작할 수 있다는 것을 발견했다. 반면, 외과 임상실습을 도는 의대생들에 대한 연구는 학생들은 종종 [supervisor에게 그들의 학습 목표에 대한 대화를 시작할 책임이 있다]고 인식한다는 것을 발견했고, 감독관들은 종종 관심을 보이지 않았다고 생각한다는 것을 보여준다.
Nieboer et al. found that residents’ active participation in the work of the operating room easily empowered them to initiate discussions around their decisions, but another study of medical students on a surgical clerkship found that students often perceived supervisors as responsible for initiating conversations about their learning goals and that supervisors often did not express an interest.21
이러한 질문들은 우리에게 단순히 개별적인 학습 과정으로부터 학습을 위한 사회적 상호작용을 강조하는 것 이상으로 추가적인 기회가 존재한다는 것을 상기시킨다. 오히려 우리는 실천과 관련된 모든 시스템이 학습을 창조하기 위해 상호 작용함을 고려해야 한다.(즉 사람, 공간, 계층, 사회적 규범, 노동의 분업, 공식적인 규칙과 규정, 기술, 담론 등)
These questions remind us that additional opportunities exist beyond simply shifting from individual learning processes to an emphasis on social interactions for learning. Rather, we must consider the entire system of practice: people, spaces, hierarchies, social norms, divisions of labour, formal rules and regulations, technologies, as well as discourses, which all interact to create learning.22
많은 학자들이 SRL에 대한 맥락화된 접근법을 요구했지만, 시스템의 요소를 가시화하고 연결의 다양성을 예측하기 위해서는 개념적 프레임워크가 필요하다. 문화-역사 활동 이론(CHAT), 배우-네트워크 이론(ANT), 복잡성 이론 및 시스템 엔지니어링과 같은 프레임워크는 특히 학습으로 이어지는 연결과 상호작용을 인식, 분석 및 최적화하기 위한 렌즈를 제공한다.22,25 이 이론들은 어떻게 상충하는 힘이 학습을 형성하고, 학습자와 감독자의 경험을 결정하는지를 탐구하는 데 사용되었다. 이러한 렌즈를 통해 볼 때, 학습 시스템은 [참가자와 요소가 어떻게 변화하는지] 뿐만 아니라 [시스템 자체가 어떻게 변화하는지]를 포괄한다. 이러한 시스템 수준의 변화과정을 확장적 학습이라고 일컬어 왔다.28
Although many scholars have called for a contextualised approach to SRL,4,23,24 conceptual frameworks are needed to make the elements of the system visible and foreground the multiplicity of their connections. Frameworks such as cultural-historical activity theory (CHAT), actor-network theory (ANT), complexity theory and systems engineering, among others, provide lenses to recognise, analyse and optimise the connections and interactions that lead to learning.22,25 These theories have been used to explore how competing forces shape learning and determine the experiences of both learners and supervisors.26,27 When seen through these lenses, a learning system describes not only how the participants and elements change but also how the system itself changes.22,25 This process of system change has been referred to as expansive learning.28
시스템 관점에서 학습을 보게 되면 많은 것이 달라진다. 학습은 더 이상 시험이나 능력을 통해 측정한 사실이나 기술의 축적이라고 적절히 설명할 수 없다. 오히려 학습은 "실천의 변화"라고 볼 수 있다. 실천의 변화는 시스템의 모든 요소들의 상호 작용에서 창발하고, 실천의 변화가 다시 시스템의 변화를 이끌어낸다.
교육자는 연습생들이 연습 시스템에 완전히 참여할 수 있도록 하는 커리큘럼을 설계하고 학습자가 참여에 의해 자신과 연습이 어떻게 변경되는지 인식할 수 있도록 돕는다.
교직원들은 스스로를 콘텐츠 전달자로 보지 않고, [실천의 공동 창조]를 통해 변화되는 참여자로 보게 될 것이다.
환자들은 교육 및 의료적 실천의 [공동 창조자]가 될 것이다.
규제 기관은 [학습과 역량에 대한 정의]를 확장하며, [실천의 복잡성을 설명할 수 있는 표준]을 설계할 것이다.
연구자들은 시스템 요소들 사이의 복잡한 관계를 풀기 위해 더 미묘한 질문을 할 것이다.
To see learning from a systems perspective has significant consequences. Learning can no longer be adequately described as the accumulation of facts or skills measured on tests or through competencies. Rather, learning will be seen as changes in practice that emerge from the interplay of all of the elements of a system as the system itself changes from those practices.
Educators will design curricula that enable full participation by trainees in the systems of practice and help learners to recognise how they and their practices are changed by that participation.
Faculty members will not see themselves as content deliverers but as participants that are also changed through the co- creation of practice.
Patients will be co-creators of both educational and health care practices.
Regulatory bodies will expand their definitions of learning and competence and design standards that account for the complexities of practice.
Researchers will ask more nuanced questions to untangle the complex relationships between elements of systems.
19 Berkhout JJ, Helmich E, Teunissen PW, van der Vleuten CPM, Jaarsma ADC. How clinical medical students perceive others to influence their self-regulated learning. Med Educ 2017;51:269– 79.
4 Schumacher DJ, Englander R, Carraccio C. Developing the master learner: applying learning theory to the learner, the teacher, and the learning environment. Acad Med 2013;88:1635–45.
24 Berkhout JJ, Helmich E, Teunissen PW, van der Vleuten CPM, Jaarsma ADC. Context matters when striving to promote active and lifelong learning in medical education. Med Educ 2018;52:34–44.
5 Cutrer WB, Miller B, Pusic MV, Mejicano G, Mangrulkar RS, Gruppen LD, Hawkins RE, Skochelak SE, Moore DE. Fostering the development of master adaptive learners. Acad Med 2017;92:70–5.
25 Rojas D, Grierson L, Mylopoulos M, Trbovich P, Bagli D, Brydges R. How can systems engineering inform the methods of programme evaluation in health professions education? Med Educ 2018;52:364–75.
26 Larsen DP, Wesevich A, Lichtenfeld J, Artino AR, Brydges R, Varpio L. Tying knots: an activity theory analysis of student learning goals in clinical education. Med Educ 2017;51:687– 98.
Comment
,53 (6), 539-542
Expanding the Definition of Learning: From Self to Social to System
감독관 경험이 신뢰, 감독, 수련생 학습에 미치는 경향: 질적 연구(Acad Med, 2017)
How Supervisor Experience Influences Trust, Supervision, and Trainee Learning: A Qualitative Study
Leslie Sheu, MD, Jennifer R. Kogan, MD, and Karen E. Hauer, MD, PhD
[적절한 신뢰와 감독]은 훈련생들이 감독받지 않는 practice을 위한 준비로 나아갈 성장을 가능하게 한다.1–5
Appropriate trust and supervision enable trainees’ growth as they progress toward readiness for unsupervised practice.1–5
Goldszmidt 외 연구진17은 [미니멀리스트 철학]에서 직접 환자 치료에 대한 [높은 참여 선호]에 이르는 4가지 감독 스타일을 설명한다. 감독의 변동성은 부분적으로 신뢰에 대한 선천적 성향, 감독자와 임상의사로서의 자신감, 경험 등의 감독자 특성 때문에 발생한다.9,18
Goldszmidt et al17 describe four supervisory styles ranging from a minimalist philosophy to a preference for high involvement in direct patient care. Variability in supervision occurs in part because of supervisor characteristics, such as innate propensity to trust, confidence as a supervisor and clinician, and experience.9,18
"어떤 것이 신뢰할 수 있고, 좋고, 정직하고, 효과적이라는 믿음"으로 정의되는 신뢰는 환자 관리 업무에 대해 훈련생에게 얼마나 많은 자율성을 부여할지를 결정하는 데 있어 중요한 결정 요인이다.9–12 임상 감독에 필요한 능력에는 "환자 안전을 극대화하기 위해 특정 임상 상황에서 의사의 장단점을 예측할 수 있는 능력"이 통합되어 있다.13
필요 이상으로 감독할 경우, 훈련생은 발전하지 못하여, 임상 의사결정에 덜 적극적으로 참여하게 된다.13,14,15
반대로 부적절한 감독은 환자의 안전과 훈련자의 학습 경험을 손상시킬 수 있다.3,16
Trust, defined as the “belief that someone or something is reliable, good, honest, effective,”8 is a key determinant for deciding how much autonomy to grant trainees with patient care tasks.9–12 Clinical supervision incorporates the “ability to anticipate a doctor’s strengths and weaknesses in particular clinical situations in order to maximize patient safety.”13 If supervised more than needed, trainees may not be able to progress toward competence and may participate less actively in clinical decision making.1,3,14,15 Conversely, inadequate supervision can compromise patient safety and trainees’ learning experiences.3,16
Vygotsky의 ZPD를 고려한다면, 이상적인 감독자는 훈련생이 어떤 수준의 감독으로 수행할 수 있는지 파악하고 그에 따라 감독을 조정하여 최적의 학습과 환자 안전을 보장할 것이다. 그러나, 이러한 조정이 항상 일어나는 것은 아니다.22 그리고 감독자의 조정 능력은 그녀나 그의 경험에 따라 달라질 수 있다. 현재의 의학 교육에서는 전공의와 주치의 모두 제한된 공식적인 훈련 과정에서 자연스럽게 개인 경험을 통해 감독을 배우게 된다고 가정한다.23 이러한 "learning on the job" 접근법은 경험학습 도는 구성주의 학습 이론과 일치한다. 관리자들은 경험을 통해 임상 환경에서 자신의 역할에 대한 이해를 심화시키는 것이다.
Considering Vygotsky’s zone of proximal development,21 the ideal supervisor would identify which tasks trainees can perform with what level of supervision and adapt supervision accordingly to ensure optimal learning and patient safety. However, this adaptive style does not always occur,22 and a supervisor’s ability to adapt may vary with her or his experience. Current medical education practice largely assumes that both residents and attendings naturally learn to supervise through personal experience, with limited formal training.20,23 This “learning on the job” approach aligns with experiential and constructivist learning theories, as supervisors deepen their understanding of their roles within the clinical setting through experience.24
Dreyfus의 전문지식 개발을 위한 모델에 따르면, 개개인은 경험을 통해 다음과 같이 발달한다.
맥락을 고려하지 않고 규칙과 원칙을 준수하는 것으로 특징지어지는 초보 단계에서부터
상황 인식을 달성하고,
궁극적으로는 상황이나 연습생들을 통해 무엇을 어떻게 해야 하고 어떻게 해야 하는지 직관적으로 볼 수 있게 된다
Dreyfus’s25 model for expertise development suggests that with experience, individuals mature
from a novice stage characterized by adherence to rules and principles without considering context,
to achieving situational awareness, and
ultimately being able to see intuitively what needs to be done and how, across situations and trainees.25
감독자 성숙의 성숙도 비슷한 발달단계를 밟는다:
초보 감독자는 역할 모호성과 불확실성으로 시작하여
점차적으로 환자 치료 제공자로부터 임상의사 훈련의 감독자로 방향을 전환하여 임상 참여에 있어 더 큰 유연성과 함께 학습자의 요구에 더 초점을 맞춘다.26–28
a similar supervisor maturation through developmental stages:
Novice supervisors start with role ambiguity and uncertainty, and
gradually shift their orientation from patient care provider to supervisor of the clinician-in- training, focusing more on the learners’ needs with greater flexibility in their clinical involvement.26–28
방법
Method
연구 설계
Study design
Sensitizing concept에 의한 유도콘텐츠분석을 이용한 2단계 질적 연구를 설계했다.
첫째, 레지던트들이 인턴에 대한 신뢰를 어떻게 발전시키고 어텐딩이 레지던트에 대한 신뢰를 어떻게 발전시키는지에 대한 이전 두 가지 연구를 위해 수집된 감독관들의 인터뷰를 분석했다. (1년차 인턴을 감독하는 2, 3년차 레지던트, 1~3년차 레지던트) 어느 연구도 신뢰와 감독에 대한 접근방식이 감독자 경험과 어떻게 다른지 탐구하지 않았다.
2단계에서 연습생 포커스 그룹은 초기, 개발 및 숙련된 감독관의 모범 사례가 작업자와 일관성이 있는지 또는 어떻게 다른지에 대한 연습생들의 의견을 탐구했다. 우리는 다른 모범 사례들이 그들의 학습에 미치는 영향에 대한 의견을 초대했다.
We designed a two-phase qualitative study using inductive content analysis guided by sensitizing concepts.32,33
First, we analyzed interviews of supervisors (second- and third-year residents who supervise first-year interns, and attendings who supervise first- through third-year residents) collected for two previous studies on how residents develop trust in their interns and how attendings develop trust in their residents.19,20 Neither study explored how approaches to trust and supervision differwith supervisor experience.
In phase two, our trainee focus groups explored trainee comments about whether and how supervisor exemplars for early, developing, and experienced supervisors were consistent with or differed from supervisors with whom they worked. We invited comments on the implications of different exemplars on their learning.
1단계: 감독관 인터뷰 및 사례 개발
Phase one: Supervisor interviews and development of exemplars
참가자 및 설정.
Participants and setting.
데이터 수집 및 계측기
Data collection and instrument.
2년차 및 3년차 거주자와 인터뷰 참석자 모두 신뢰 형성에 관한 질문, 신뢰에 영향을 미치는 요인 및 감독 접근법(Supplemental Digital 부록 1, 2 , http://links.lww.com/ACADMED/ A417)을 포함했다.19,20 신뢰의 5요소 모델에 근거한 질문을 했다.
Both second- and third-year residents as well as attending interviews included questions about trust formation, factors influencing trust, and approaches to supervision (Supplemental Digital Appendix 1 and 2 , http://links.lww.com/ACADMED/ A417).19,20 We based questions on the five-factor model of trust.9
데이터 분석.
Data analysis.
두 가지 감각적인 개념이 우리의 귀납적 내용 분석을 유도했다.32,33 첫째, 신뢰의 5요소 모델(감독자, 감독자, 관계, 컨텍스트 및 과제)을 사용하여 신뢰를 학습자 감독을 위한 지침으로서 이해하였고, 9 주로 감독자 요소에 초점을 두었다. 둘째, 구성주의 학습 이론에서 도출하여, 우리는 Dreyfus의 전문성 개발 모델을 사용하여 감독자 신뢰를 경험과 실습을 통해 습득한 기술로 이해했다.
Two sensitizing concepts guided our inductive content analysis.32,33 First, we used the five-factor model of trust (supervisor, supervisee, relationship, context, and task) to understand trust as a guide for learner supervision,9 primarily focusing on the supervisor factor. Second, drawing from constructivist learning theory, we used Dreyfus’s25 model of expertise development to understand supervisor trust as a skill acquired with experience and practice.
우리는 경험에 따라 변하는 네 가지 신뢰와 감독 영역을 확인했다. 이를 바탕으로 초기, 개발 및 숙련된 감독자의 행동을 설명하는 세 가지 예제를 생성했다(결과 섹션, 1단계 설명). 모든 감독자는 세 가지 예제 중 하나에서 주로 특징을 설명했지만, 일부 감독자는 스펙트럼을 따라 특징을 나타낸다.
We identified four domains of trust and supervision that changed with experience. Based on this, we generated three exemplars describing behaviors of early, developing, and experienced supervisors (described in the Results section, phase one). Some supervisors manifested features along the spectrum, although all supervisors primarily demonstrated features in one of the three exemplars.
2단계: 교육자 포커스 그룹
Phase two: Trainee focus groups
참가자 및 설정.
Participants and setting.
1단계에서 개발된 예시들의 정확성과 대표성을 검증하기 위해, 우리는 연습생들에게 예시들을 검토하고 감독관들과의 경험과 관련하여 토론해 줄 것을 요청했다. 우리는 또한 다양한 감독 접근법이 그들 자신의 학습에 어떻게 영향을 미치는지에 대한 훈련생들의 인상을 요청했다. 우리는 참가자들이 서로의 반응에 상호작용하고, 반응하며, 서로의 반응에 기반을 둘 수 있도록 하기 위해 포커스 그룹 방법을 선택했다.36
To validate the accuracy and representativeness of the exemplars developed in phase one, we asked trainees to review the exemplars and discuss them in relation to their experiences with supervisors. We also solicited trainees’ impressions of how the different approaches to supervision influence their own learning. We chose focus group methodology to allow participants to interact with, react to, and build on one another’s responses.36
데이터 수집 및 계측기
Data collection and instrument.
참가자들은 학습과 환자 관리에 대한 각 감독관의 예시적 의미와 그들이 받은 감독이 그들이 선호하는 것이 아닌 상황을 어떻게 다루는지 설명하도록 요청 받았다(Supplemental Digital 부록 3, http:// links.lww.com/ACADMED/A417)).
Participants were asked to describe implications of each supervisor exemplar for learning and patient care and how they handled situations in which the supervision they received was not what they preferred (Supplemental Digital Appendix 3, http:// links.lww.com/ACADMED/A417).
데이터 분석.
Data analysis.
우리 중 2명(L.S. K.E.H)은 4개의 녹취록을 모두 검토하여, 연습생들이 그 예문에 동의했는지, 잘못 전달된 것이 있는지, 그리고 추가적인 예문이 누락되었는지 여부를 판단했다. 그 후 우리는 다른 감독 접근방식이 훈련생들의 인식 학습과 환자 치료에 미치는 영향을 설명하는 테마의 사본을 검토했다. 귀납적 내용분석을 사용하여 코드북을 개발한 후 이를 더 큰 범주로 구성했다.32,33
Two of us (L.S., K.E.H.) reviewed all four transcripts to determine if trainees agreed with the exemplars, if anything was misrepresented, and whether additional exemplars were missing. We then reviewed transcripts for themes describing the impact of different supervisory approaches on trainees’ perceived learning and patient care. We used inductive content analysis to develop a codebook and then organized these into larger categories.32,33
결과
Results
1단계: 감독자 인터뷰 분석 및 사례 개발
Phase one: Analysis of supervisor interviews and development of exemplars
초기, 개발 및 경험 많은 감독자의 차이는 신뢰 결정에 사용되는 데이터, 감독 접근 방식, 감독 지침의 관점, 임상 경험의 네 가지 영역에서 발생했다(그림 1). ES, DS, XS의 행동은 연속체를 나타냈고, 감독관, 연습생 또는 상황에 따라 연속체를 따라 움직이는 것이 가능할 것 같았다. "경험 있는" 감독관들의 특징을 주로 보여준 감독관들은 모두 어텐딩이었다. 4개 도메인의 주요 차이점은 그림 1에 설명되어 있으며, 표 1에는 대표적인 인용문이 수록되어 있다.
Differences among early, developing, and experienced supervisors occurred in four domains: data used to determine trust, approach to supervision, perspective to guide supervision, and clinical experience (Figure 1). Behaviors of early, developing, and experienced supervisors represented a continuum, and movement along the continuum seemed possible based on the supervisor, trainee, or context. All supervisors who predominantly demonstrated characteristics of “experienced” supervisors were attendings. The key differences in the four domains are described in Figure 1, with representative quotes in Table 1.
ES 초기 감독관들은 업무 완성에 세밀하게 집중하는 경향이 있었다.
DS 중견 감독관들은 것은 훈련생들의 기술과 능력에 초점을 맞추었다.
XS 숙련 감독관들은 연습생들의 자질과 행동을 총체적으로 강조했다.
Early supervisors tended to granularly focus on task completion, and
developing supervisors focused on trainees’ skills and abilities, whereas
experienced supervisors holistically emphasized trainees’ qualities and behaviors.
ES 초기 감독관들은 더 많은 감독을 하는 실수를 저질렀다.
DS 중견 감독관들은 연수생들의 기량에 맞춰 감독한다
XS 숙련감독관들은 종종 상당한 자율권을 부여했다.
Early supervisors erred toward more supervision,
developing supervisors tailored supervision toward trainees’ skills, and
experienced supervisors often granted significant autonomy.
ES 초기 감독관의 관점은 주로 연습생으로서 자신의 역할에 의해 inform 되었다.
DS 중견 감독관은 자신의 ES 초기 감독관 시절의 경험을 성찰하였다
XS 숙련 감독관들은 제도적인 지식과 전반적 경험을 활용하여 감독하였다.
Early supervisors’ perspective was informed primarily by their role as trainees.
Developing supervisors reflected on their early supervisor experience, while
experienced supervisors drew on institutional knowledge and global experience to inform supervision.
마지막으로, 감독자 자신의 임상적 확실성이 감독에 대한 접근방식을 조정했다.
Finally, supervisors’ own clinical certainty mediated their approach to supervision.
이러한 발견에 기초하여, 우리는 단계 2 포커스 그룹에 대해 3개의 감독자 예시(초기, 개발 및 경험 있는 감독자)를 생성했다(차트 1)
On the basis of these findings, we generated three supervisor exemplars (early, developing, and experienced supervisors) (Chart 1) for the phase two focus groups.
2단계: 교육자 포커스 그룹
Phase two: Trainee focus groups
우리가 개발한 세 가지 모범 사례는 연습생들의 경험과 부합하였다.
The three exemplars we had developed resonated with trainees’ experiences.
훈련생들은 학습에 도움이 되지 않는 네 번째 희귀한 예시를 발견했다. 이는 신뢰에 관계없이 상당한 자율권을 부여하는 감독관 이다. 훈련생들은 이러한 네 번째 접근법을 교육이나 환자 치료에 대한 감독관의 관심 부족이나 시간 부족 탓으로 돌렸다. 그들은 이것이 감독관의 nonclinical obligation 때문이라고 추측했다. 연습생 학습을 위한 각각의 예시들에 대한 인식된 장단점이 그림 2에 설명되어 있다.
Trainees identified a fourth uncommon exemplar that was unhelpful for their learning: the supervisor who grants significant autonomy irrespective of trust. Trainees attributed this fourth approach to supervisors’ lack of interest in or time for education or patient care. They conjectured that this was due to supervisors’ nonclinical obligations. The perceived pros and cons of each exemplar for trainees’ learning are depicted in Figure 2.
시간이 지남에 따라 연습생 선호도 및 학습 요구도 변화.
Shifting trainee preference and learning needs over time.
훈련생들은 감독에 대한 선호도가 [학습 요구에 기반하여, 시간이 지남에 따라 바뀐다]는 데 동의했다.
Trainees agreed that their preferences regarding supervision changed over time based on their learning needs.
훈련 초기에, 많은 이들은 환자 치료의 어떤 측면에 주의를 기울여야 하는지 그리고 다른 시스템을 탐색하는 방법을 그들에게 가르쳐 줄 수 있는 좀 더 세밀한 감독관으로부터 배우기를 선호했다. 연습생들이 자신감을 얻으면서 그들은 더 많은 자율성을 원했다. 1년차 전공의들은 올해 초 약물 복용과 빈도, 어떤 검사를 오더할지 등 세심한 관리를 요구했다고 회상했다. 또한 업무 우선순위화, 메모 작성 시기, 상담 전화 방법, 병원 시스템 내에서 탐색하는 최선의 방법 등 간단한 워크플로우 전략을 익히는 것을 중시했다. 점차 작업에 익숙해지면서, 이러한 과제에 자율성을 원했고, (임상 문제에 접근하고 환자의 치료 계획에 다음 단계를 예상하는 방법 등) 더 많은 임상 의학을 배우는 것을 중요시했다.
Early in training, many preferred to learn from more detail-oriented supervisors who could teach them what aspects of patient care to pay attention to and how to navigate different systems. As trainees gained confidence, they desired more autonomy. First-year residents recalled desiring close supervision of details of care early in the year, such as medication dosing and frequency or which labs to order. They also valued learning simple workflow strategies, such as task prioritization, when to write notes, how to call a consult, and best ways to navigate within the hospital system. As they gained comfort, they desired autonomy in these tasks and valued learning more clinical medicine, such as how to approach clinical problems and anticipate next steps in patients’ care plans.
이와 유사하게 2, 3년차 수련생들은 환자관리결정에 대한 면밀한 감독을 바란다는 것을 일찍부터 표명했고, 임상 의사결정 과정과 환자의 입원목표에 있어서 주치의들의 사고과정을 듣는 것에 감사했다. 임상적 의사결정에 대한 편안함이 증가함에 따라, 이 2, 3년차 수련생들은 환자 치료와 자기 주도적 학습을 지도하는 데 있어 더 많은 독립성을 원했다. 그들은 곧 레지던트를 완료하고 감독 없이 연습할 것이라는 점에 주목하면서 supervisor를 컨설턴트로 사용하는 것을 선호했다. 1, 2, 3학년 수련생들은 모두 신뢰에 기초한 자율성을 부여받고 싶다고 강조했다. 그들은 감독관이라는 "안전망" 안에서 독립적으로 문제를 생각할 기회를 갖고, 뒤에서 이중 점검받는 것에 대해 높이 평가하였다.
Similarly, second- and third- year trainees expressed desire for close supervision of management decisions early on and appreciated hearing their attendings’ thought processes in clinical decision making and goals of patients’ hospitalization. With growing comfort in making clinical decisions, these second- and third-year trainees desired more independence in directing patient care and self-directed learning. They preferred to use their supervisors as consultants, noting that soon, they would complete residency and practice without supervision. First-, second-, and third-year trainees all emphasized wanting to be granted autonomy based on trust. They appreciated the opportunity to think through problems independently with the “safety net” of supervisors double-checking things in the background.
감독관의 훈련된 기대.
Trainee expectations of supervisor.
훈련생들은 감독관들이 [자율성과 감독] 사이에서 올바른 균형을 부여할 것으로 기대했다. 그들은 환자 치료에 투자되어 필요할 때 직접 진료를 할 수 있는 지식과 기술을 가진 관리자들을 원했다. 그들은 감독관들이 미리 기대와 목표를 논의할 시간을 정하고, 그들의 능력과 선호도에 대한 정확한 평가에 맞춰 그들이 제공하는 자율성에 대해 신중해지기를 원했다. 그들은 개방적인 의사소통, 유연성, 그리고 환자에 대한 공동의 책임 의식이 적절한 관리 수준을 달성하는 데 중요하다고 표현했다.
Trainees expected supervisors to grant the right balance of autonomy and supervision. They desired supervisors who were invested in their patients’ care and had the knowledge and skills to direct care when needed. They wanted supervisors to set aside time to discuss expectations and goals up-front, and be deliberate about the autonomy they afforded, adjusted to an accurate assessment of their competence and preferences. They expressed that open communication, flexibility, and a sense of shared responsibility for patients were crucial to achieving the right amount of supervision.
연습생 선호와 감독자 접근방식의 불일치 함의.
Implications of mismatch between trainee preference and supervisor approach.
훈련생들은 대부분 감독관들과 긍정적인 업무 관계를 공유했다. 그러나 감독관과 훈련생들의 자율에 대한 인식의 불일치는, [특히 그들이 과도하게 감독받는 것을 인지했을 때], 훈련생들에게 불안감, 원망, 학습 의욕의 결여, 저평가되는 느낌을 야기시켰다.
Trainees mostly shared positive working relationships with their supervisors. However, discordance between supervision and trainees’ perception of their readiness for autonomy, particularly when they perceived oversupervision, created trainee feelings of insecurity, resentment, lack of motivation for learning, and being undervalued.
세부사항에 대한 감독자가 지나치게 신경쓸 경우, 흔히 회진과 체크인에서 비효율과 불필요한 중복이 발생하고, 근무시간이 더 길어지며, 환자 케어가 딜레이되는 원인이 된다고 강조했다. 연습생들은 더 많이 일하지만 덜 배운다고 느꼈다.
A supervisor’s excessive attention to detail was commonly and emphatically cited as causing inefficiencies and redundancies with rounding and checking in, longer workdays, and delays in patient care; trainees felt they worked more but learned less.
반대로, 감독이 부족하다고 느꼈을 때, 훈련생들은 환자 관리의 모든 측면에 대한 책임감에 압도되었다. 이러한 상황은 졸업 근처의 3년차 레지던트가 감독할 때 인턴십이 시작될 때 발생하는 것으로 여러 명의 1년차 연수생들에 의해 언급되었다.
When they felt undersupervised, trainees became overwhelmed by the responsibility for all aspects of patient care. This situation was mentioned by several first-year trainees as occurring at the start of an internship when supervised by a third-year resident near graduation.
건설적인 피드백을 제공하는 과제
Challenges providing constructive feedback.
감독관이 선호하는 방식과 다르게 감독하는 상황을 어떻게 대처하느냐는 질문에, 훈련생들은 감독을 바꿀 힘이 없다고 느끼는 경우가 많았다. 그들의 상사와 함께 일하는 짧은 시간은 그들의 상사의 스타일에 적응하거나 받아들이기 전에 피드백을 제공할 기회를 찾기가 어렵게 만들었다. 상사를 불쾌하게 하거나 피드백을 너무 개인적인 느낌으로 받을까 두려움이 있는 경우 피드백을 주는 것을 단념하게 되었다. 훈련생들은 감독관의 [변화에 대한 (낮은) 개방성]에 대해서도 우려를 표시했다.
When asked how they dealt with situations where supervisors were supervising differently than how they preferred, trainees often felt powerless to change this supervision. The short amount of time working with their supervisors made it hard to find opportunities to provide feedback before adapting to or accepting their supervisor’s style. Fear of offending their supervisor or having the feedback feel too personal dissuaded them from providing feedback. Trainees also expressed concerns about supervisors’ openness to change.
고찰
Discussion
전공의와 주치의는 신뢰와 감독에 대한 접근방식에서 자연스럽게 진화하는 것 같다. 훈련자는 감독자의 경험과 관련된 감독 접근방식의 차이를 쉽게 인지했다. 감독 접근방식은 역량 자체 평가에 근거한 연습생 자신의 선호도와 항상 일치하지는 않았다. 훈련생들은 [자신의 학습을 촉진하기 위해] Supervision에서의 유연성과 개별화된 접근법을 원했다.
Resident and attending supervisors seem to evolve naturally in their approach to trust and supervision. Trainees readily perceived differences in supervisory approaches related to their supervisors’ experience; supervisory approaches did not always align with trainees’ own preferences based on self-assessment of competence. Trainees desired flexibility and an individualized approach to supervision to promote their learning.
우리의 연구는 다른 사람을 믿을 수 있게 되기 전에, 임상적으로나 감독자로서 경험과 신뢰를 쌓아야 하는 감독관의 중요성을 강조한다. 드레퓌스의 전문성 개발 모델과 다른 분야의 감독자 개발에 관한 문헌에서와 마찬가지로 우리의
초보 임상 감독자들은 신뢰에 대한 체계적이고 규칙적인 접근법에서 출발하는 것 같았다.25–27 초보 감독관은 [연습생의 성향이나 맥락]보다 [자기자신의 편안함과 선향]이 신뢰 결정을 지배했다. 시간이 흐르고 성찰을 해나가면서 감독자들은 엄격한 루틴보다 [패턴 인식과 직관]을 더 따르게 되었고, 그 결과 훈련생 자율성에 더 큰 유연성을 허용했다.
중견 감독관이나 숙련된 감독관은 훈련자 자율성과 환자 안전 사이의 균형을 최적화하기 위해 신뢰에 영향을 미치는 4가지 요인(훈련자, 상황, 관계 및 과제)에 근거하여 신뢰와 감독을 맞춤화하는 것 같았다.9,25
Our study highlights the importance of supervisors needing to gain experience and trust in oneself, both clinically and as supervisors, before being able to trust others. Just as in Dreyfus’s model for expertise development, and in literature on supervisor development in other fields,
our novice clinical supervisors seemed to start with a systematic, rule- based approach to trust.25–27 Their own comfort and preferences dominated trust decisions, rather than trainee preference or context. With time and through reflection, supervisors were guided more by pattern recognition and intuition than rigid routines, allowing greater flexibility in trainee autonomy as appropriate.
Developing and experienced supervisors seemed to tailor their trust and supervision based on the other four factors influencing trust (trainee, context, relationship, and task) to optimize the balance between trainee autonomy and patient safety.9,25
감독관의 발달 궤적과 연습생 역량 수준에 적응하는 능력은 연습생 학습에 큰 영향을 미친다. trainee에서는 반복적으로 [준비가 되기 전에는 그렇지 않다가, 준비가 되었다고 느끼자마자, 자율성을 희망]하는 양상이 나타나는데, 이는 자기결정 이론으로 설명할 수 있다. 훈련생들은 자율성, 역량, 관련성에 대한 열망에 의해 동기 부여된다. 즉, 자율적으로 적절한 임상적 결정을 함으로써 자신감과 역량을 기르고 의료계에서 의사로서 가치가 있다고 느낀다.
Supervisors’ developmental trajectory and ability to adapt to their trainee’s level of competence have significant implications for trainee learning. The recurrent theme of our trainees desiring autonomy as soon as they felt ready, but not before, can be explained by self-determination theory: Trainees are motivated by a desire for autonomy, competence, and relatedness—by making appropriate clinical decisions autonomously, they develop confidence and competence and feel like they are valued as physicians in the medical community.37,38
"좋은" 임상 감독자에 대한 최근 문헌 검토에 따르면, 관계(감독관이 연습생과 parter with 할 수 있는 능력)는 적절한 활동을 할 수 있도록 하고 의료계 실무진 진입을 용이하게 하기 위한 중요한 첫걸음이다.23 이러한 관계를 가능하게 하기 위해, (우리가 상사와 연습생 모두에게 들은 일관된 메시지는) 감독관이 훈련생들의 필요에 맞춰 신뢰와 감독을 조정할 수 있는 유연한 목표를 가지고, (trainee의) 기대expectation에 대해 논의하고 감독에 대한 피드백을 받고자 하는 것이다.
Based on a recent literature review on “good” clinical supervisors, relationship—the ability for the supervisor to partner with their trainee—is a critical first step to allowing trainees opportunities to engage in appropriate activities and facilitating their entry into the medical community of practice.23 To enable this relationship, one consistent message we heard from supervisors and trainees alike is the desire to discuss expectations and receive feedback about supervision, with the goal of supervisor flexibility in tailoring their trust and supervision to trainee needs.
그러나, 훈련생들은 (그들이 더 많은 자율성을 원할수록), 감독관들에게 [감독에 대한 건설적인 피드백]을 제공할 수 있는 empowerment를 느끼지 못했다. 그 이유는 이전에 설명한 현상인 이 피드백의 위계적 및 개인적 특성에 뿌리를 두고 있다. 참가자들은 또한 짧은 감독자 훈련 시간과의 로테이션식 학습 구조가 요인이라고 말했다. trainee와 supervisor가 피드백을 하게 되는 때는, 그것은 그들이 함께 일하는 시간이 끝나는 때였다.
However, trainees did not feel empowered to provide constructive feedback to their supervisors about their supervision, particularly when they desired more autonomy. Reasons cited were rooted in the hierarchical and personal nature of this feedback, a phenomenon previously described.39 Participants also implicated that the rotational learning structure with short supervisor–trainee contact time was a factor40; by the time trainee and supervisor engaged in feedback, it was the end of their time working together.
이전 작업에서 강조된 두 가지 중요한 요소인 맥락과 직무task의 역할은 감독자와 서로 얽혀 있다.19,20 초기 감독자는 상황에 관계없이 모든 연습생에 대한 높은 수준의 감독을 지향하는 경향이 있는 반면, 경험 있는 감독자는 연습생 자신뿐만 아니라 연습생에 기초한 감독을 조정한다. 맥락과 직무에 관하여 훈련생들은 자율성을 위한 기회를 중시했고, 특히 급성도가 낮은 환자에 대한 과잉감독에 부정적인 반응을 보였으며, 반대로 [환자가 바쁘거나 예민하거나 복잡할 때에는] 환자진료에 대한 감독자의 감독과 지침을 높이 평가하였다.
The roles of context and task, two significant factors to trust emphasized in previous work, are intertwined with the supervisor factor.19,20 While early supervisors tend to err toward high levels of supervision for all trainees regardless of context, experienced supervisors tailor their oversight based not only on the trainees themselves but also on context and task. Trainees valued opportunities for autonomy and reacted negatively to oversupervision, particularly with lower-acuity patients, and conversely appreciated greater supervisor oversight and guidance in patient care when they were busy or when patients were high in acuity or complexity.
이러한 발견은 [임상교육현장의 맥락에서, 특정 환자 치료 활동과 해당 활동에서, 훈련자 역량에 기초하여 숙고하여deliberately 의사결정 내려야 하는 교육적 중요성]을 강조함으로써 EPA에 관한 여러 연구들을 보완한다.7 우리의 연구결과는 초기 감독관들이 컨텍스트나 연습생 능력에 근거하여 신뢰와 감독을 적응시킬 준비가 되어 있지 않을 수 있다는 것을 암시한다. 초기 감독자의 감독 적응 능력을 향상시키기 위한 교육을 제공하는 방법에 대한 추가적인 연구가 도움이 될 수 있다.
These findings complement the growing work on EPAs by emphasizing the educational importance for trust decisions to be made deliberately based on specific patient care activities and trainee competency in that activity, all in the context of the clinical workplace.7 Our findings suggest that early supervisors may not be as ready to adapt their trust and supervision based on context or trainee competence. Further exploration of ways to provide training for early supervisors to enhance their ability to adapt their supervision could be helpful.
감독관 체험이 신뢰와 감독뿐 아니라 훈련생들의 학습과 만족도에 어떤 영향을 미치는지에 대한 우리의 연구 결과는 다음의 실용적 함의가 있다.
Our findings on how supervisor experience influences trust and supervision as well as trainees’ learning and satisfaction yield practical implications.
첫째로, supervisor training은 감독자들이 팀 지도자의 역할을 더 의식적으로 성찰하고, 연습생들의 필요에 적합한 신중하고 유연한 감독을 제공하는 데 도움이 될 수 있다. 초기 감독관들은 (자신이) 너무 가까이서 감독하는 잠재적인 경향이 있을 수 있다는 것을 예상도록 배우고, 연습생들의 요구에 더 일찍 그들의 감독을 맞춤화하는 것을 배울 수 있을 것이다. 시니어 감독관들은 임상 전문가가 언제나 감독 전문가는 아니며, 자율성은 모든 사람에게 주어지는 것이 아니라, 스스로 얻어내야 하는 것임을 상기시킬 수 있다.
First, supervisor training could help supervisors engage more consciously in reflecting on their team leadership role and providing deliberate, flexible supervision appropriate for trainees’ needs. Early supervisors could learn to anticipate a potential tendency to supervise too closely and learn to customize their supervision to trainees’ needs earlier. Senior supervisors might benefit from reminders that expert clinicians are not always expert supervisors, and autonomy should be earned, not given to all.27
둘째, 연습생들은 기술 워크샵, 역할 놀이 또는 시뮬레이션을 통해 "상향식 관리manage up" 방법을 학습함으로써 이익을 얻을 수 있다. 훈련생들은 또한 감독관들이 그들의 요구를 해결하는 것을 돕기 위해 처음 함께 일하기 시작할 때 감독관들과 솔직한 자기 평가를 나누는 것을 배울 필요가 있다. 연습생들이 supervision practice에 대해 [[연습생과 감독자의 관계]를 강조하는 건설적인 피드백을 주는 전략]은 연습생들이 이러한 토론에 참여하기를 주저하는 것을 극복하는 데 도움이 될 수 있다.
Second, trainees may benefit from learning how to “manage up,” perhaps through skills workshops, role-playing, or simulation. Trainees also need to learn to share honest self-assessments with their supervisors when they first start working together to help supervisors address their needs. Strategies for trainees to give constructive feedback on supervision practices that emphasize the relationship between trainee and supervisor could help overcome trainees’ hesitance to engage in these discussions.
마지막으로, 의료 교육자는 [선호도나 요구에 근거한 의도적인 감독자 연습생 짝짓기]가 학습을 강화하는지, 아니면 [종단적 감독자 훈련자 관계]가 연습생 성장을 위한 기회를 개선할 수 있는지를 탐구할 수 있다.
Lastly, medical educators can explore
whether deliberate supervisor– trainee pairings based on preferences or needs enhance learning, or
whether more longitudinal supervisor–trainee relationships can improve opportunities for trainee growth.
9 Hauer KE, Ten Cate O, Boscardin C, Irby DM, Iobst W, O’Sullivan PS. Understanding trust as an essential element of trainee supervision and learning in the workplace. Adv Health Sci Educ Theory Pract. 2014;19:435–456.
,92 (9), 1320-1327
How Supervisor Experience Influences Trust, Supervision, and Trainee Learning: A Qualitative Study
1L. Sheu is assistant professor of medicine, Department of Medicine, University of California, San Francisco, School of Medicine, San Francisco, California. J.R. Kogan is professor of medicine, Department of Medicine, Perelman School of Medicine at the University of Pennsylvania, Philadelphia, Pennsylvania. K.E. Hauer is professor of medicine, Department of Medicine, University of California, San Francisco, School of Medicine, San Francisco, California.
Purpose:Appropriate trust and supervision facilitate trainees' growth toward unsupervised practice. The authors investigated how supervisor experience influences trust, supervision, and subsequently trainee learning.
Method:In a two-phase qualitative inductive content analysis, phase one entailed reviewing 44 internal medicine resident and attending supervisor interviews from two institutions (July 2013 to September 2014) for themes on how supervisor experience influences trust and supervision. Three supervisor exemplars (early, developing, experienced) were developed and shared in phase two focus groups at a single institution, wherein 23 trainees validated the exemplars and discussed how each impacted learning (November 2015).
Results:Phase one: Four domains of trust and supervision varying with experience emerged: data, approach, perspective, clinical. Early supervisors were detail oriented and determined trust depending on task completion (data), were rule based (approach), drew on their experiences as trainees to guide supervision (perspective), and felt less confident clinically compared with more experienced supervisors (clinical). Experienced supervisors determined trust holistically (data), checked key aspects of patient care selectively and covertly (approach), reflected on individual experiences supervising (perspective), and felt comfortable managing clinical problems and gauging trainee abilities (clinical). Phase two: Trainees felt the exemplars reflected their experiences, described their preferences and learning needs shifting over time, and emphasized the importance of supervisor flexibility to match their learning needs.
Conclusions:With experience, supervisors differ in their approach to trust and supervision. Supervisors need to trust themselves before being able to trust others. Trainees perceive these differences and seek supervision approaches that align with their learning needs.
PBL: 최선의 결과를 위한 학생의 역할과 책임(AMEE Guide No. 84) (Med Teach, 2014)
Problem-based learning (PBL): Getting the most out of your students – Their roles and responsibilities: AMEE Guide No. 84
EMILY BATE1, JULIETTE HOMMES2, ROBBERT DUVIVIER2 & DAVID C. M. TAYLOR1
1The University of Liverpool, UK, 2Maastricht University, The Netherlands
도입
Introduction
PBL은 학습은 [문제 중심 환경]에서 발생하는 [인지적 및 사회적 상호작용]에서 비롯된다는 믿음을 가지고 있다(그린오 외 1996; 이븐센 & 헬로 2000; 세이버 & 더피 2001). 학생들은 학습에 있어서 적극적인 동반자이며, 수동적인 수혜자가 아니다. PBL에 학생들의 참여는 학습의 목적을 달성하는 데 있어 가장 중요하다. 그것은 그들이 서로의 경험으로부터 배우고, 아이디어를 체로 치고, 분류하고 다듬고, 그들이 알고 있는 것을 통합하고, 그들이 임상 환경과 피할 수 없는 검사를 통과할 때 그들에게 잘 도움이 될 주장을 연습하는 과정에 그들이 관여하는 것이다(Taylor & Hamdy 2013).
PBL encapsulates the beliefs that learning results from cognitive and social interactions in problem-centred environments (Greeno et al. 1996; Evensen & Hmelo 2000; Savery & Duffy 2001). Students are active partners in their learning, and not passive recipients. The involvement of students in PBL is paramount to achieving the objective of learning. It is their involvement in the process that will help them to
learn from each other’s experiences,
sift, sort and refine ideas,
consolidate what they know, and
rehearse the arguments that will serve them well in the clinical environment and in passing the inevitable examinations (Taylor & Hamdy 2013).
PBL이란 무엇이며 왜 그것을 사용하는가?
What is PBL and why use it?
PBL은 1960년대 말 맥매스터 대학의 의학교육에 처음 사용된 소규모 그룹 협업 학습 방식이다. 전통적인 의학 교육과정에서의 PBL로의 전환은 [학생들이 그들의 의학적 교육에 환멸을 느끼고 있으며, 임상 실습에 적용할 수 없을 것 같은 과학적인 정보로 과부하가 걸렸다는 우려]에서 촉발되었다(Barrows & Tamblyn 1980).
PBL is a method of small group collaborative learning that was first used in medical education at McMaster University in the late 1960s. The move to PBL from the traditional medical curriculum was triggered by concerns that students were disenchanted with their medical education and becoming did overloaded with scientific information that not seem applicable to clinical practice (Barrows & Tamblyn 1980).
PBL에서, 일반적으로는 평균 8명인 그룹 학생들에게 임상 시나리오를 제공한다. 7단계 과정(Schmidt 1983)을 안내하기 위한 촉진자가 존재하지만, 촉진자는 학습 과정에서 학생들의 상호작용과 관여에 초점을 맞춘다.
In PBL, students in groups averaging eight in number are typically provided with a clinical scenario to work on. A facilitator is present to guide the seven step process (Schmidt 1983), but the facilitator focuses on the interaction and involvement of the students in the process of learning.
슈미트에 따르면, 임상 시나리오를 사용하면 학생의 본질적인 동기가 증가될 뿐만 아니라, specificity를 가지고 있기 때문에, 미래의 지식 검색을 용이하게 할 수 있다. 왜냐하면 [어떤 내용을 배운 상황]이 [그것을 적용할 맥락]과 유사할 때 지식 회상이 강화되기 때문이다(배움의 맥락-의존성)(Schmidt 1993). 가능한 한 학습과 실천은 분리되어서는 안 되며, 학습의 맥락은 가능한 한 authentic해야 한다(Taylor & Miflin 2008).
According to Schmidt, using clinical scenarios not only increases the intrinsic motivation of the student, but it also facilitates future knowledge retrieval, through encoding specificity, as future knowledge recall is enhanced when the situation in which it was learned resembles the context where it needs to be applied (the contextual dependency of learning) (Schmidt 1993). Wherever possible learning should not be separated from practice, and context of learning should be as authentic as possible (Taylor & Miflin 2008).
학생들은 시나리오의 구성요소에 대한 사전 지식을 활성화한 다음, 임상적 문제를 이해/해결하기 위해 채워야 하는 지식 격차를 파악하여, 임상추론 전략을 강화해야 한다(Norman & Schmidt 1992). 기억의 주요 특징은 [새로운 정보가 기존의 지식 네트워크로 연결]되는 방식이며, [개념들 사이의 연결이 만들어지거나 강화]되는 것이다. 따라서 학생들은 (새로 배운 내용이) 이미 알고 있는 것에 기초하거나, 이미 알고 있는 것과 연결될 때 새로운 지식을 더 잘 구축할 수 있다(Vygotsky 1997.
Students are required to activate their prior knowledge about the constituents of the scenario and then identify knowledge gaps that need to be filled to understand/solve the clinical problems, enhancing their clinical reasoning strategies (Norman & Schmidt 1992). a key feature of memory is the way in which new information is linked into existing knowledge networks, and connections between concepts are made or strengthened. Hence, students are better able to construct new knowledge when it builds upon, or is linked to, what they already know (Vygotsky 1997).
첫 번째 PBL 튜토리얼에 따라 학생들은 다음 PBL 그룹 미팅에 앞서 PBL 세션에 의해 확인된 지식을 얻기 위해 그들 자신의 수단과 전략을 사용한다. 이렇게 하면서 학생은 자기주도적인 학습자가 되는 방법을 배우고 있다.
Following the first PBL tutorial, the students use their own means and strategies to attain the knowledge required as identified by the PBL session, prior to the next PBL group meeting. In doing this, the student is learning howto become a self-directed learner.
다음 PBL 세션에서, 그 그룹은 그들이 배운 정보를 상세히 기술하면서 그들의 협력을 계속한다. PBL을 통한 협업은 사회적 동기와 인지적 관점 모두에서 필수적이다(Hmelo Silver 2004; Schmidt et al. 2006a).
At the next PBL session, the group continue their collaboration elaborating on the information that they have learned. The collaboration through PBL is essential from both a sociobehavioural motivational and a cognitive perspective (HmeloSilver 2004; Schmidt et al. 2006a).
PBL은 그 주제에 대한 지식과 이해를 발전시키는 것 외에도 학생들에게 위협적이지 않은 방식으로 협력하도록 가르친다. 이것은 또한 학생들이 학습 커뮤니티 외부에 있는 것에서부터 그들의 PBL 그룹과 연습 커뮤니티의 일원이 되는 것에 대한 분열을 극복하도록 돕는다. 결국 이것은 의사로서 다학제 팀 내의 일을 위한 중요한 준비로 보인다(박스 1).
In addition to developing their knowledge and understanding of the subject matter, PBL teaches students to collaborate in a non-threatening way. This also helps the students cross the divide from being outside the learning community to being a member of their PBL group and its community of practice (Lave & Wenger 1991). In turn this appears to be an important preparation for work within the multi-disciplinary team as a doctor (Box 1).
Box 1. Research-based conclusions that demonstrate the positive outcomes of problem-based learning.
Students graduating from a PBL programme have similar factual knowledge but better clinical performance than those from traditional schools (Albanese & Mitchell 1993; Thomas 1997; Watmough et al. 2006b), although they may have less confidence in their knowledge (Watmough et al. 2010)
The PBL process, and closer interaction between students and faculty is enjoyable (Vernon & Blake 1993; Vernon & Hosokawa 1996; Taylor & Miflin 2008)
Students from PBL programmes show a greater tendency to use evidence-based medicine (Thomas 1997).
PBL shows positive effects on physician competency, particularly in the social and cognitive domains, most notably with regards to cultural and ethical issues (Koh et al. 2008; Norman 2008).
PBL graduates demonstrate an ability to work more efficiently (Schmidtet al. 2006b)
왜 학생은 문제 기반 학습을 사용하여 공부해야 하는가?
Why should a student study using problem-based learning?
우리의 경험에 따르면, 대부분의 학교들이 PBL을 프로그램의 주요 요소로 사용하고 있지만, 학생들은 PBL이 무엇을 수반하는지에 대해 모호한 생각만을 가지고 있다. 우리는 학생들이 PBL school를 선택할 수 있는 여러 가지 가능한 이유들이 있다고 생각한다. 그들은 PBL 학교 내에서 가능한 학습의 독립성을 선호할 수도 있고, 교육적인 가르침을 싫어할 수도 있고, 초기 임상 접촉에 이끌릴 수도 있고(흔히 PBL 프로그램의 특징), 단순히 자리를 제공받았기 때문에 PBL 학교에 가게 되었을 수도 있다. 아직 발표되지 않은 리버풀에서 자료에 따르면 이 프로그램에 참가한 학생들의 약 4분의 1이 교육 방법에 근거하여 우리 기관을 선택하지 않았다. 학생들이 PBL 프로그램이 요구하는 독립적인 학습 수준에 동등하게 동기가 부여되지 않는다는 것을 받아들이는 것이 중요해 보인다.
In our experience, students only have a hazy idea of what PBL entails, even though most schools using PBL as a main element of their programme are very explicit about what it entails. We think that there are a number of possible reasons that students might opt for a PBL school: They might prefer the independence of study that is possible within a PBL school, they might have a distaste for didactic teaching, they might be attracted by early clinical contact (often a feature of PBL programmes), or they might simply have ended up in a PBL school because they were offered a place. At Liverpool our own, as yet unpublished, data suggest that around a quarter of students on the programme did not choose our institution on the basis of the instructional method. It seems important to accept that students are not equally motivated for the level of independent study called for by a PBL programme.
어떤 학생들은 (때때로 제공되는 것보다) 오히려 더 많은 지원과 격려가 필요할지도 모른다.
Some students may need rather more support and encouragement than is sometimes offered.
졸업생의 퍼포먼스에 대한 PBL 접근방식의 효과는 격렬하게 논의되어 왔고, 앞으로도 계속 논의될 것이다.
The effect of the PBL approach on the performance of graduating students has been fiercely debated, and will no doubt continue to be debated in the future.
경험적 증거는 PBL이 대인관계 및 인지영역의 일반적인 PBL 관련 역량에 영향을 미칠 뿐만 아니라 보다 효율적으로 작업할 수 있는 능력과 같은 보다 일반적인 업무 관련 기술에도 영향을 미친다는 것을 보여준다(Schmidt et al. 2006b).
Empirical evidence shows that PBL not only affects the typical PBL-related competencies in the interpersonal and cognitive domains but also the more general work-related skills such as the ability to work more efficiently (Schmidt et al. 2006b).
여러 연구에서 PBL 커리큘럼의 학생들은 환자와의 의사소통, 다른 보건 전문가와의 협력 및 정신사회적 문제가 있는 환자 관리와 같은 대인관계 기술에 더 잘 준비되어 있다고 느꼈다는 것이 밝혀졌다(Busari et al. 1997; Peters et al. 2000; Antepohl et al. 2003; Watmough et al. 2006a).
Several studies have shown that students from a PBL curriculum felt better prepared in interpersonal skills, such as communicating with patients, co-operating with other health professionals and managing patients with psychosocial problems (Busari et al. 1997; Peters et al. 2000; Antepohl et al. 2003; Watmough et al. 2006a).
인지 영역에서, PBL 졸업생이 더 나은 문제 해결자로 여겨진다. 특히 돌만스와 슈미트는 PBL이 학생 학습에 미치는 여러 가지 인지적 효과, 지식의 보유 증가, 기본적인 과학 개념을 임상적 문제로 통합하는 강화, 자기주도적 학습 능력의 발달, 과목에 대한 학생들의 내재적 관심 강화(Dolmans & Schmidt 1)를 발견했다.996).
In the cognitive domain, PBL-graduates are thought to be better problem solvers. In particular, Dolmans and Schmidt found several cognitive effects of PBL on student learning; increased retention of knowledge, enhancement of integration of basic science concepts into clinical problems, the development of self-directed learning skills and the enhancement of students’ intrinsic interest in the subject matter (Dolmans & Schmidt 1996).
학생들이 기초 과학 시험에서 낮은 점수를 받고 이러한 과목에서 준비가 덜 된 것으로 자신을 보는 두려움(Norman & Schmidt 1992)은 더 최근의 연구에서 근거 없는 것으로 판명되었다(Verhoven 등 1998; Prince et al. 2003). 비록 우리의 경험상 오래된 연구를 계속 인용하는 많은 사람들이 있지만.
The fear that students score lower on basic sciences examination and view themselves as less well prepared in these subjects (Norman & Schmidt 1992) proved unfounded by more recent studies (Verhoeven et al. 1998; Prince et al. 2003), although in our experience there are many people who continue to quote the older study.
PBL 졸업생들은 비 PBL 동료들과 비교했을 때 의대와 직장 간의 연결성, 의료 훈련 및 실습 준비 등에 대해 더 높은 평가를 내렸다(Prince et al. 2003; Watmough et al. 2010).
Compared with their non-PBL colleagues, the PBL graduates gave higher ratings for the connection between medical school and work, their medical training and preparation for practice (Prince et al. 2003; Watmough et al. 2010).
PBL에서 학생들은 어떻게 느끼는가?
How do students feel in PBL?
학습과 학생들이 느끼는 방법의 관계
The relationship between learning and the way students feel
느낌은 복잡한 개념이지만 감정, 동기, 이해의 관계와 관련이 있다. 어떤 교육 관행을 고려할 때 학생이 어떻게 느끼는가는 중요한 측면이다.
Feeling is a complicated concept, but it relates to the relationship between emotion, motivation and understanding. How the student feels is an important aspect when considering any educational practice.
감정은 학습에 필요한 인지(지식과 이해), 의욕(동기부여) 및 어펙트(감정)의 3가지 핵심 요소로 설명되어 왔다(Op 't Eynde & Turner 2006).
Emotion has been described as an integral component of the triad of Cognition (knowledge and understanding), Conation (motivations) and Affect (emotion), required for learning (Op ‘t Eynde & Turner 2006) (Figure 1).
개인의 감정이 복잡함에도 불구하고, 학생들이 경험하는 다양한 종류의 감정은 긍정적인 감정과 부정적인 감정으로 나눌 수 있다. 이것들은 감정을 활성화하고 비활성화하는 것으로 더 분류될 수 있다(Pekrun 1992; Pekrun et al. 2002). 이것은 우리가 학습에 대한 네 가지 주요 감정의 영향을 인식하는데 도움을 준다. 예를 들어, 지루함을 음의 비활성화 효과로 설명할 수 있는 반면, 불안은 학생들이 일하고 배우도록 동기를 부여할 수 있는 반면, 지루함은 그렇지 않을 수 있기 때문에 부정적인 활성화 효과로 간주할 수 있다(그림 2).
Despite the complexity of individuals’ emotions, the different types of emotions experienced by students can be divided into positive and negative emotions. These can be further classified into activating and deactivating emotions (Pekrun 1992; Pekrun et al. 2002). This helps us to recognise the effect of the four main categories of emotion upon learning. For example, boredom could be described as a negative deactivating affect, while anxiety could be regarded as a negative activating affect, as it may motivate the student to work and learn, while boredom may not (Figure 2).
동기는 행동의 방향, 강도, 지속성을 설명하기 위해 사용되는 구성이다.
Motivation is the construct used to explain the direction, intensity and persistence of behaviour.
여러 연구에서 동기부여는 인간 기능에 대한 기본적인 필요성(Locke 1991; Ryan & Deci 2000; Pintrich 2003)에서 시작한다는 것이 밝혀졌다.
자율성의 필요성, 즉 자신의 행동을 통제하는 느낌
환경과의 상호작용에 있어서 역량의 필요성.
연관성의 필요성, 즉 그룹에 소속된 느낌(Baumeister & Leary 1995).
Several studies have shown that motivation starts with the basic needs for human functioning (Locke 1991; Ryan & Deci 2000; Pintrich 2003), consisting of
the need for autonomy, i.e. the feeling to control one’s own behaviour;
the need for competence in the interactions with the environment and
the need for relatedness, i.e. the feeling of belonging to a group (Baumeister & Leary 1995).
학업 동기는 학교 성공과 실패에 대한 정확한 예측 변수인 것으로 나타났다(Deci et al. 1991; Vallerand & Bissonette 1992; Pintrich 2003; Rienties et al. 2009), 학습을 위해 어떻게 감성과 학문적 동기가 필요한지를 보여준다.
Academic motivation has been shown to be an accurate predictor of school success and failure (Deci et al. 1991; Vallerand & Bissonette 1992; Pintrich 2003; Rienties et al. 2009), illustrating how emotion and academic motivation are required for learning.
모든 학습자들은 독특하고 학습 과정에 특별한 지성과 감정적 특이성을 갖고 있기에, 교수는 말할 것도 없고, 학생도 잘 이해하기 쉽지 않다. (테일러 & 미플린 2008)
Every learner is unique and brings to the learning process a special intellect and the emotional idiosyncrasies far too complicated to be well understood by the student, let alone the faculty member. (Taylor & Miflin 2008)
PBL의 개별 학생들은 다른 학습 스타일을 가지고 있다고 믿어진다. 학습 스타일은 다음과 같이 정의될 수 있다.
individual students in PBL are believed to have different learning styles . Learning styles can be defined as:
학생의 정보 습득 능력, 또래 및 교사와의 상호작용 능력에 영향을 미치는 개인적 자질. (그라샤 1996)
personal qualities that influence a student’s ability to acquire information, to interact with peers and teachers. (Grasha 1996)
학생들이 PBL에서 느끼는 방식은 PBL에 대한 개별 학생들과 그들의 반응, 그리고 PBL 그룹 내의 학생들의 감정이라는 두 가지 다른 관점에서 접근할 수 있다.
The way that students feel in PBL can be approached from two different perspectives; the individual students and their response to PBL, and the students’ feelings within the PBL group.
PBL에 대한 학생들의 반응
The students’ response to PBL
새로운 대학생활은 스트레스가 많은 인생 사건이다(Dys & Renk 2006. 랜드 등의 작품 (2008)는 새로운 직업/생활의 문턱에 서 있는 이 상태를 경계 상태liminal state로 식별한다. 그 학생은 사회에서 그들의 새로운 역할을 받아들이고 있으며, 그들의 새로운 공동체의 언어를 이해하고, 방대한 새로운 지식의 접근과 통합을 시도하기 시작하고 있다.
Starting at University is a stressful life-event (Dyson & Renk 2006). The work of Land et al. (2008) identifies this state of standing at the threshold of a newcareer/life, as a liminal state. The student is coming to terms with their new role in society, and is starting to try to understand the language of their new community, as well as access and incorporate a vast body of new knowledge.
협업은 PBL의 학습이론과 동기부여의 토대이지만, 어려운 것일 수도 있다.
Although collaboration is fundamental to the learning theory and motivation for PBL, it can prove challenging.
학생마다 성격이 달라서 제각기 독특하다. 사람의 성격은 또한 집단 속에서 그들의 행동과 연관될 수 있다. 학생마다 서로 다른 성격 유형을 가지고 있기 때문에 여러 학생이 모여서 협업이 기대되는 상황에서 특히 중요하다.
Each student is unique, with a different personality. A person’s personality can also be associated with their behaviour in a group setting. This is particularly important when students are being expected to work together (Pittenger 1993) as different personality types are thought to have different strengths.
이와 더불어, PBL 과정을 지도하고 촉진하기 위해 지도교사가 참석함에도 불구하고, 튜터는 '올바른' 대답과 학습 목표를 전달하기 위해 존재하는 것이 아니기에, 교수가 옳고 그름을 판별해주는 '이중주의dualism' 상태에서 편안함을 느끼는 학생들에게는 답답하게 느껴질 수 있다(Perry, 1999년). 또한 PBL 초보자에게 학습 목표를 생성하기 위해 사전 지식을 사용하는 것은 충격이 될 수 있어, 자신이 놓쳤던 학습 목표와 이후의 지식 격차에 대한 불안감을 느낄 수도 있다(Maudsley et al. 2008).
In addition to this, despite a tutor being present to guide and facilitate the PBL process, the tutor is not present to impart the ‘‘correct’’ answers and learning objectives, which can be seen as frustrating for students, who may be most comfortable in a state of ‘‘dualism’’ (Perry, 1999), relying on the teacher to pronounce between right and wrong. In addition, the use of prior knowledge to direct the formulation of learning objectives may be a shock to the PBL novice, causing anxiety about missed learning objectives and subsequent knowledge gaps (Maudsley et al. 2008).
대입을 위해 수년간 표면적이거나 전략적인 잦은 시험을 거치면서 학습 접근법을 사용해왔던 학생들이, 대학에 오게 되면 이제 심층적인 학습 전략을 사용할 것으로 기대된다.
After many years of frequent examinations required to attain a place at university, where a surface or strategic learning approach has often been required, students are now expected to develop deep learning strategies.
시간과 인내를 가지고, 이러한 자기주도적 학습 방법(다른 사람의 도움 없이 개인이 주도적으로 자신의 학습 욕구를 진단하고, 학습 목표를 수립하고, 학습을 위한 인적자원과 물적 자원을 식별하는 과정(Knowles 1975, p. 18)은 (학생이 상당한 사전 지식을 가지고 있다는) 자신감을 쌓고, 이를 실현할 수 있다.
With time and perseverance, this method of self-directed learning (a process by which individuals take the initiative, with our without the assistance of others, in diagnosing their learning needs, formulating learning goals, identify human and material resources for learning, (Knowles 1975, p. 18)) can build confidence and promote realisation that the student does have a significant degree of prior knowledge.
[학생들 자신]과 [특히 교사]들이 그룹의 다른 구성원들의 감정에 적응하는 것은 중요하다. 이를 통해 자율성, 내재적 동기 및 자율규제의 기회로 인한 긍정적 활성화 감정을 촉진하는 균형에 도달할 수 있다(Sandars & Cleary 2011). 그러나 일부 학생들은 아직 이러한 수준의 자기조절을 달성할 수 없기 때문에, 부정적인 감정을 경험하는 것에 좌절하고 지루해 할 수 있다는 것을 기억한다(Pekrun et al. 2002).
It is important that the students themselves and particularly the tutors are attuned to the feelings of different members of the group. This enables a balance to be reached which facilitates the positive activating emotion resulting from the autonomy, intrinsic motivation and opportunity for self-regulation, (Sandars & Cleary 2011) while remembering that some students may be becoming frustrated and bored experiencing negative deactivating emotion, because they are not yet able to achieve this degree of self-regulation (Pekrun et al. 2002).
후자의 경우, 학생들은 PBL 과정 시간이 "쓸모없다고" 느낄 수 있다. – 왜 목표를 "추측"하기 위해 2시간 자습서에 참석한 다음, 배운 것에 대해 이야기하면서 4시간을 더 소비하는가? 튜터가 '정답'을 제공하지 않는다는 좌절감이 나중에 그룹 내의 다른 학생들이 서로 다른 답을 찾아냈다는 현실화에 의해 더욱 가중될 수 있다. PBL의 초반에는 서로 다른 관점으로 인해서 자신의 지식에 대한 의심과 불안을 야기할 수 있지만, 정확히는 PBL에서 발생하는 이러한 협력적 담론이 학습을 낳는 것으로 입증되어있다(van Meter & Stevens 2000).
If the latter is the case, then these students can feel that their time is ‘‘wasted’’ by the PBL process – why attend a 2h tutorial to ‘‘guess’’ the objectives, and then spend a further 4 h talking about what has been learned? The frustration that the tutor cannot provide the ‘‘correct answers’’ can be later compounded by the realisation that different students within the group have identified different answers. While initially the differing views can cause self-doubt and individual insecurity in knowledge, it is precisely this collaborative discourse in PBL that has been demonstrated to result in learning (van Meter & Stevens 2000).
페리는 지적 발달 단계를 상대주의에서 이원론, 다원성, 상대주의, 헌신 등 4단계 과정으로 설명한다(Perry, 1999).
페리는 많은 학습자들이 어떤 질문에도 옳고 그른 답이 있고, 지식은 syllabus에 의해 제한되며, 교육자의 역할은 학습자가 올바른 답을 배우도록 하는 것이라는 것을 분명히 이해하고, 고등 교육에 들어간다고 인식했다. 이것이 '이원론'로 묘사되는 무대다.
반면, 대부분의 교육자들은 한 syllabus에 의해 제한되어 있는 것보다 더 많은 지식이 '저기 바깥' 있다는 것을 알고 있다. 대부분의 해답은 실제 상황에 따라 다르기 때문에, PBL 조력자는 학습자가 그들 앞에 있는 자료를 이해하도록 돕고, 결과 자체에서 을 숙고하는 역할을 한다고 본다. 이것은 '상대주의에 대한 헌신'이다.
Perry describes the stages of intellectual development as a four stage process; dualism, multiplicity, relativism and commitment in relativism (Perry, 1999).
Perry recognised that many learners enter higher education with an explicit understanding that there are right or wrong answers to any question, that knowledge is bounded by a syllabus, and that the educator’s role is to ensure that the learner is taught the right answers. This is the stage described as ‘‘Dualism’’.
Most educators, in contrast, realise that there is more knowledge ‘‘out there’’ than can reasonably be circumscribed by a syllabus. As most answers depend on the actual context, PBL facilitators see their role as being to help learners understand the material in front of them, and think through the for in consequences themselves. This is a ‘‘commitment relativism’’.
대학 수준 교육의 목적은 이중주의 단계에서부터 상대주의에 대한 헌신을 거쳐 이상적인 세계에서 우리가 모두 지식의 공동 창조자라는 것을 인식하도록 돕는 것이다(Belenky et al. 1997). 아래에서 논의하는 바와 같이, 학생의 발전 단계는 그들이 PBL에서 느끼는 감정과 상관될 수 있다.
이중주의에 빠진 학생은 PBL이 좌절감을 느낄 수 있는데, 이는 튜터가 그들에게 정확한 답을 말해주지 않고 또래들이 같은 주제에 대해 다른 견해를 제시하기 때문이다.
다원성과 상대주의를 향해 나아가고 있는 학생은 다른 생각을 토론하고 다른 사람에게 질문하는 것이 더 편할 수도 있다.
The aim of University level education is to draw learners fromthe stage of dualism through to a commitment to relativism, and in an ideal world, helping them recognise that we are all co-creators of knowledge (Belenky et al. 1997). As we discuss below, the stage of development of a student can be correlated to how they feel in PBL. A student in dualism may find PBL frustrating, as the tutor does not tell them the correct answer and peers express differing views on the same topic. A student that is moving towards multiplicity and relativism may be more comfortable discussing different ideas and questioning others.
그러나 진보와 발전조차도 학생들에게 불확실성과 불안감을 수반하는 감정을 불러올 수 있다(Kloss, 1994). 왜냐하면 학생들은 과거에 성공을 가져다준 학습 스타일을 뒤로 하고, 책임감과 불확실성이 증가하는 세계로 나아가고 있다고 여기기 때문이다.
however, even progress and development can bring concomitant feelings of uncertainty and unease for the student (Kloss, 1994), because they are leaving behind the learning style that brought them success in the past, and they see themselves as moving forward into a world of increasing responsibility and uncertainty.
PBL 그룹 과정에 대한 학생들의 반응
The students’ response to the PBL group process
협업은 PBL에서 학습에 필요한 기본적인 요소 중 하나이지만 학생들이 같은 방same room에 있다고 여길 때에만 일어난다(Roschelle & Teasley 1995; Johnson & Johnson 2002).
Collaboration is one of the fundamental factors required for learning in PBL, yet it does not just occur if students find themselves in the same room (Roschelle & Teasley 1995; Johnson & Johnson 2002),
우리는 먼저 팀 상호 작용(행동)이 어떻게 지식 습득으로 이어지는지에 대해 더 많이 이해해야 한다.
we first have to understand more about how team interaction (behaviour) leads to knowledge acquisition.
상호작용 프로세스에는 두 가지 주요 구성요소가 있다.
There are two main components in the interaction process:
(1) 지식의 구축 및 공동 구성: 학생들이 이미 알고 있는 것에 대해 토론하고 이미 알려진 것과 새로운 사실이나 이해가 연관될 수 있는 방법에 대한 설명을 제안하는 것. 동료 팀원들이 적극적으로 듣고 있으며, 주어진 설명을 파악하거나 이러한 설명을 바탕으로 구축하려고 노력한다. (Bryant 1982; Stahl 1994; Webb et al. 1995; Barron 2000).
(1) Construction and co-construction of knowledge, where students discuss what they already know and suggest explanations for the ways in which new facts or understanding can be linked with what is already known fellow team members are actively listening and trying to grasp the given explanation or build on this given explanation (Bryant 1982; Stahl 1994; Webb et al. 1995; Barron 2000).
(2) 동의 또는 수용: 주제에 대한 추가 세부적인 내용에 도달하기 위해서는 논의, 토론 및 건설적인 인지적 충돌이 필수적인 제안된 해결책과 의미에 대한 동의 또는 수용이 확립되어야 한다(Bryant 1982; Bruke 1984; Clark & Schaeffer 1989; Traum & Dilenbourg 1998; Bossche et al. 2006).
(2) Next, agreement or acceptance needs to be established on the proposed solutions and meanings, in which discussion, debate and constructive cognitive conflict is essential to reach further elaboration on the topic (Bryant 1982; Bruffee 1984; Clark & Schaeffer 1989; Traum & Dillenbourg 1998; Bossche et al. 2006).
공동 구성과 건설적인 인지적 충돌은 지식 습득으로 이어지는 팀 학습 행동이다. 그러나 이러한 프로세스 외에도 그룹 구성원 간 및 환경 내 그룹 간에는 복잡한 역학관계가 존재한다(Forsyth 1983; Sheppard & Gilbert 1991; Argote et al. 2003; Dreu & Weingart 2003; Arrow et al. 2004; 해링턴 & 파인 2006; 라슨 2009)
Co-construction and constructive cognitive conflict are the team learning behaviours that will lead to knowledge acquisition. However, in addition to these processes, there are complex dynamics between group members and between groups within their environments (Forsyth 1983; Sheppard & Gilbert 1991; Argote et al. 2003; Dreu & Weingart 2003; Arrow et al. 2004; Harrington & Fine 2006; Larson 2009),
토론을 지배하거나, 침묵을 지키고, 동기부여를 하거나, 동료의 의욕을 꺾는 요인이 무엇인지 이해하지 못하는 학생들이 있다. 따라서 학생들이 함께 일하도록 하기 위해서는 강력한 조력자가 필요하다.
there are students who dominate discussions, or who remain silent, who do not understand the factors which motivate, or demotivate their colleagues, and a strong facilitator is needed to ensure that students work together.
사회적 응집력은 그룹 구성원들이 상호작용 과정에 적극적으로 기여하도록 자극한다(슬라빈 1995, 1996). 어떤 집단의 구성원들이 함께 일하고, 개별적인 감정적 행동이 안정화되면서, 집단 수준의 정서적 융합이 일어난다(켈리, 2008). 학생들이 다른 학생들과 협력할 때 사용하는 세 가지 감정 규제 과정이 확인되었다. 자율 규제, 공동 규제, 공유 규제. 학생들은 이러한 과정을 사용하여 그룹 내의 개인과 그룹 전체의 감정을 조절하며, 그림 1에서 볼 수 있듯이, 감정과 동기는 그룹으로서 성공적인 협업의 중심이다(Ja ̈rvela ̈ ̈ ̈ ̈ ̈ ̈ ̈ et al et al. 2010).
feelings of social cohesion stimulate group members to contribute actively to the interaction process (Slavin 1995, 1996) and as members of the group work together, and their individual emotional behaviours stabilise, group emotional convergence occurs (Kelly, 2008). Three emotion regulation processes have been identified that students use when collaborating with others; self-regulation, co-regulation and shared-regulation. Students use these processes to regulate the emotions of both the individuals within the group, and the group overall, as seen in Figure 1, emotion and motivation are both central to successful collaboration as a group (Ja¨rvela¨ et al. 2010).
집단 감정이 발달함에 따라, 집단의 동기 또한 발전한다.
As the group emotion develops, so too does the motivation of the group.
상황적 관점에 따르면, 동기부여는 사회적 상황에서 그룹 상호작용을 통해 나타나지만, 협력 그룹에 속한 모든 개별 멤버들의 동기부여는 (총) 그룹의 참여를 예측할 수 없다(Hickey 2003, Ja velrvela et al. 2010).
According to the situative perspective, motivation emerges through the groups interaction in a social situation; yet the motivation of all separate members in a collaborative group cannot predict the engagement of the (total) group (Hickey 2003, Ja¨rvela¨ et al. 2010).
앞에서 언급한 바와 같이, Johnson과 Johnson은 (2002; Johnson 등 2007) 협력을 추진하는 가장 중요한 측면 중 하나로 그룹 구성원들 간의 (사회적) 상호의존성을 이야기한다.
As mentioned before, Johnson and Johnson (2002; Johnson et al. 2007) posit (social) interdependence between group members as one of the most central aspects driving collaboration.
심리적 안전, 즉 팀이 [대인관계적 위험을 감수하기에 안전하다는 공유된 믿음]은 [팀 학습 행동에 대한 대인관계 맥락]을 촉진하며, 이는 복잡한 수술을 수행하는 의료팀들 사이에서 중요하다.(Edmondson 1999, 2003).
Psychological safety, the shared belief that the team is safe for interpersonal risk-taking, is acknowledged to facilitate the interpersonal context for team learning behaviour which was found to be important among medical teams performing complex surgery for example (Edmondson 1999, 2003).
마지막으로, 집단 잠재력, '집단이 효과적일 수 있다는 집단 구성원들의 집단적 믿음'은 집단 성과/효율을 향상시킨다. 다시 말해서, 잘 협력하는 집단은 더 성공적인 결과를 낳는다(반두라 1977; 스타지코비치 등). 2009).
Finally, group potency, ‘‘the collective belief of group members that the group can be effective’’, enhances group performance/effectiveness; in other words, groups that work well together have more successful outcomes (Bandura 1977; Stajkovic et al. 2009).
감정, 동기, 태도 및 신념의 사회적 측면과 학습에 미치는 영향은 PBL이 학생과 교사 모두에게 그룹 역학에 대한 많은 노력과 통찰력을 필요로 한다는 것을 보여준다. 이와 더불어 시간은 집단 동기 부여, 정서적 및 팀 학습 행동의 발전에 중요한 요소다.
The social aspects of emotion, motivation, attitudes and beliefs and their impact on learning, show that PBL requires a lot of effort and insight into group dynamics from both the students and the tutors. In addition to this, time is an important factor for the development of group motivational, affective and team learning behaviours.
(실적) 집단이 개발되고 더 높은 단계의 발전과 함께 집단이 더 나은 성과를 낸다는 일반적인 합의가 있다(Smith 2001; Wheelan et al. 2003; Arrow et al. 2004; Mathieu 등 2008). 불행히도 Wheelan 등은 기대했던 것보다 더 적은 수의 그룹만이 최적의 조건을 달성했다는 것을 발견했다(Wheelan & Lisk 2000; Wheelan et al. 2003).
there is a general consensus that (performance) groups develop and with the higher stage of development, groups perform better (Smith 2001; Wheelan et al. 2003; Arrow et al. 2004; Mathieu et al. 2008). Unfortunately, Wheelan et al. found that fewer groups achieved the optimum conditions than was hoped for (Wheelan & Lisk 2000; Wheelan et al. 2003).
Mpofu 외 연구진(1998)은 학생들이 참여와 의사소통을 가장 중요한 측면으로 평가했다는 것을 발견했다. 우리가 아는 한, 교육에서 그룹 효과를 정의하고 연구하는 연구가 전반적으로 부족하다(개요는 Decuyper 등 2010 참조). 그러나 모델은 조직적 또는 마케팅 분야에 존재하며(개요는 Salas 등 2007 참조), 앞에서 언급한 태도와 신념뿐만 아니라 그룹 효율성을 높이는 다른 변수인 시간, 의사소통, 그룹 프로세스를 강조한다.
Mpofu et al. (1998) found that students rated participation and communication as the most important aspects. To the best of our knowledge, there is a general lack of studies defining and researching group effectiveness in education (see Decuyper et al. 2010 for an overview). However, models do exist in organisational or marketing disciplines (see Salas et al. 2007 for an overview), emphasising not only the aforementioned attitudes and beliefs; but also time, communication and group processing which are other variables that increase group effectiveness.
학생은 무엇을 해야 하는가?
What does the student need to do?
(PBL을 올바르게 적용하기 위해서는) 우선 학생들이 PBL을 사용하는 이유를 이해할 필요가 있다. 많은 연구에서 PBL 관련 문제가 정기적으로 발생한다는 것을 보여준다(개요는 (Dolmans et al. 1998 참조). 이러한 문제들의 대부분은 협력 학습 과정의 어려움과 관련이 있다. 예를 들어, PBL에서 학생들은 소위 7개의 점프 절차를 따르도록 되어 있다(Schmidt 1993). 그러나 Schmidt와 동료(Moust et al. 2005)는 학생들이 브레인스토밍 및 정교화 단계를 건너뛰고 있으며, 이는 그들의 (사전) 지식을 제대로 구조화하지 못하는 결과를 가져온다는 것을 확인했다. 결과적으로 이것은 정보 획득의 효율을 떨어뜨렸다. 이러한 행동의 주된 이유는 학생들이 지식의 구축을 위한 상호작용과 정교함의 필요성을 중시하지 못했기 때문이다(Vischers-Pleiers et al. 2005).
First of all, students need to understand why PBL is used in order to apply this method of learning correctly. Many studies have shown that problems with PBL do occur on a regular basis (see (Dolmans et al. 1998) for an overview). The majority of these problems are related to difficulties in the process of collaborative learning. For example in PBL, students are follow supposed to a so-called seven jump procedure (Schmidt 1993). However, Schmidt and colleagues (Moust et al. 2005) identified that students were skipping the brainstorming and elaboration phases which resulted in a suboptimal structuring of their (prior) knowledge. In turn this led to less efficient information acquisition. The main reason for this behaviour was the failure of students to value the necessity of interaction and elaboration for construction of knowledge (Visschers-Pleijers et al. 2005).
다른 저자들은 또한 학생들의 사회적 동기에서, 주로 익명성의 감정과 '무임승차' 또는 '사회적 빈둥거림' 현상의 발생에 대해 언급하는데, 그 결과 이러한 그룹에서의 협업을 감소시켰다(Latane et al. 1979; Salomon & Globerson 1989; Bornstein 1992; Moustein et al. 2005; Kelly 2008).
Other authors also mention problems in students’ social motivation; mainly feelings of anonymity and the occurrence of ‘‘free riding’’ or ‘‘social loafing’’ phenomena which in turn reduced collaboration in these groups (Latane et al. 1979; Salomon & Globerson 1989; Bornstein 1992; Moust et al. 2005; Kelly 2008).
학생들은 PBL이 왜 사용되는지에 대한 진정한 이해 외에도 [팀 학습 행동에 직접적으로 영향을 미치는 그룹 역학]을 알아야 하며, 자신이 참여하고 있는 그룹의 역학을 어떻게 변화시킬지 알아야 한다.
In addition to a true understanding of why PBL is used, students should also be aware of the group dynamics that directly influence team learning-behaviour, and know how to change the dynamics in the groups in which they are participating.
PBL이 개인 학습에 비해 사회적, 인지적 이점을 얻을 수 있다는 사실 외에도, PBL은 학생들에게 다른 학생들과 협력하는 방법을 배울 수 있는 기회를 제공한다. 이것은 환자 진료가 사실에 입각한 지식과 기술적 기술 이상의 것을 필요로 하기 때문에 의학을 공부하는 모든 사람들에게 필수적이며, 이는 결국 전문적 능력을 정의하는 것으로 이어진다(Lung 2002).
Besides the fact that PBL could lead to social and cognitive advantages compared to individual learning, this teaching method also provides students with the opportunity to learn how to collaborate with others. This is essential for everyone studying medicine as patient care requires much more than factual knowledge and technical skills, which in turn leads to defining the professional competencies (Leung 2002).
마지막으로, PBL은 자연스러운 협력 방법을 제공하기 때문에, 많은 학생들에게 소셜 네트워크를 구축할 기회를 만들어 준다. 이러한 소셜 네트워크는 학습 중에 유익할 수 있다(Baldwin et al. 1997; Jippes et al. 2010; Hommes et al. 2012a). 의료실무에 협력한다(Lurie et al. 2009) 및 일자리 창출(리엔티즈 등 2010).
Finally, because PBL provides a natural way of collaborating, for many students it creates an opportunity to build social networks (see (Cross et al. 2005) for a practical overview and (Lurie et al. 2009) for an overview of its uses in medicine). These social networks can in turn be beneficial while learning, (Baldwin et al. 1997; Jippes et al. 2010; Hommes et al. 2012a) collaborating in medical practice (Lurie et al. 2009) and also create job opportunities (Rienties et al. 2010).
학생은 졸업에 가까워옴에 따라 자기주도적 학습자로 변모해야 한다. 초, 중, 고등학교는 일반 의무 교육을 실시하고, 대학 교육은 학생들의 학습 책임 개발을 목표로 한다. 따라서, 대학 자체는 단지 학습 환경(교사, 멘토, 튜토리얼 그룹, 전문 지식 및 자원)과 학생이 의료 전문가로 변신하는 것을 돕는 틀을 제공한다.
As the student nears the end of an undergraduate programme they should have transformed into a self-directed learner. Elementary, middle and high schools provide the general compulsory education, while university education aims to develop the student’s responsibility for their own learning. Consequently, university itself merely provides the learning environment (tutors, mentors, tutorial groups, expertise, and resources) and a framework to help a student transform into a medical professional.
문제는, 훌륭한 제도적, 전문적인 이유로, 학생이 의사로서 의료행위를 할 수 있을 만큼 충분히 지식이 있는지 여부를 결정해야 할 때 발생한다. 지식 습득 테스트는 의사가 되기에 충분한지를 판단하기 위한 근사치일 뿐이라는 것을 인식하는 것이 중요하다. 심지어 임상 기술에 대한 평가도 예비 의사가 실제로 실제로 무엇을 할 것인가에 근사치일 뿐이다. 왜냐하면 학생들은 언제나 자신이 학습했음을 입증하기 위해서라면 그들이 증명해야 할 것을 항상 보여줄 될 것이기 때문이다.
The problem comes when, for excellent institutional and professional reasons, we have to determine whether a student knows enough to be able to practise as a doctor. It is important to recognise that tests of knowledge acquisition are only a first- or second-degree approximation to actually being a safe an doctor. Even assessments of clinical skills are only approximation to what the prospective doctor will actually do in practice, since the student will always be demonstrating what they need to demonstrate in order to progress with their studies.
따라서 학습은 마음에서 일어나기에, 행동은 인지 프로세스에 대한 선험적 또는 신뢰할 수 있는 지표가 아니며, 만약 그렇게 생각한다면 학습과 수행 사이의 연관성을 너무 단순하게 본 것이다(Adams 2006). 학생들이 전문가가 되기 위해 시험을 통과해야 하기 때문에, 비록 이것이 학생을 '좋은' 전문직으로 만들 가능성은 거의 없지만, 학생들이 시험에 합격하기 위해서 필요한 것이라면 알아서 공부할 것이라고 보는 것이 논리적이다.
Learning occurs in the mind and behaviour is therefore not a priori or a reliable indicator of cognitive processes; which indicates that the current connection between learning and performance is too simplistic (Adams 2006). Since students need to pass tests to become a professional, it’s logical that students learn what is necessary to pass the tests, although it is quite unlikely that this makes a student a ‘‘good’’ professional.
'좋은' 의사가 알아야 할 모든 것은 알려져 있지 않다. 그것은 자신이 어떤 상황에 놓여있느냐에 따라 달라질 것이다. 유일하게 확실한 것은 [모든 것을 알 수 없다]는 것인데, 일부 학생들은 이를 받아들이기 어려워한다. 시험, 튜터, 멘토, 상급생뿐만 아니라 동료까지 모두 활용하여 자신의 한계를 인식해야 한다. 가장 중요한 것은 전문 실무에서 개인 학습이나 평가를 지도하거나 제공하는 교사가 없는 경우가 많기 때문에 평생 학습자가 되도록 동기를 부여할 수 있어야 한다(Schmidt 2000). PBL은 많은 사람들에게 중요한 전략이며, 어떤 요소가 중요하고 즉각적인 리콜이 필요한지, 그리고 그들의 남은 질문에 대한 신뢰할 수 있는 답을 어디서 어떻게 찾을 수 있는지를 개발자가 인식하도록 도와주기 때문에 중요한 전략인 것 같다.
The entirety of what a ‘‘good’’ doctor needs to know is unknown. It will depend upon the circumstances in which they find themselves. The only certainty is that one cannot know everything, which some students find difficult to accept. One needs to find one’s own practical limits; not only by using tests, tutors, mentors, students in more senior years but also classmates. Most importantly one needs be able to motivate oneself to be a life-long learner because in professional practice there is often no group to support individual learning or teacher that guides and/or provides assessments (Schmidt 2000). PBL appears to many to be an important strategy, because it helps the developing practitioner to recognise the limits of their knowledge, which elements are crucial and need immediate recall, and also where and how to find reliable answers to their remaining questions.
자기주도학습이 가능한 의사로 발전하는 과정은 경험과 능력, 책임감이 높아지면서 점차적으로 일어난다.
The process of development into a doctor capable of self-directed learning occurs in gradual stages as experience, competence and responsibility are increased.
학생들은 자신의 PBL 그룹이라는 실천공동체에 들어가 PBL 프로세스를 학습하고 활용하여 자기 주도 학습을 지도한다. 초기 비임상 단계에서 PBL 시나리오는 학생들이 학습 목표를 도출하는 주요 구체적인 경험을 형성한다. 이 PBL 과정은 학생들이 'boundary objects' 중 하나를 형성하면서 임상 장소로 나아갈 때 일정하게 유지된다. 이러한 일관성은 학생들이 새로운 임상 실습을 개발하고 진입함에 따라 중요하다(Wenger, 1998). 그렇다면 '평생 학습 능력이 있는 개인'은 무엇을 의미하는가?
Students enter into the communities of practice within their PBL groups, where they learn and utilise the PBL process to guide their self-directed learning. During the initial non-clinical phase, the PBL scenario forms the main concrete experience upon which the students derive their learning objectives. This PBL process remains constant when students progress to their clinical placements, forming one of the ‘‘boundary objects’’. This consistency is important as students develop, and enter their new clinical communities of practice (Wenger, 1998). So what is meant by ‘‘an individual capable of life-long learning’’?
평생학습의 과정은 Miflin 등에 의해 다음과 같은 사이클을 지속적으로 구현할 수 있는 것으로 기술되었다.
임상 시나리오의 평가,
구성 요소를 식별
현재 지식 격차를 인식
필요한 지식을 습득하기 위해 적절한 자원을 이용
학습한 정보의 평가,
학습의 후속적 적용(Miflin et al. 2000).
The process of lifelong learning was described by Miflin et al. as a being able to continuously implement the cycle of;
evaluation of a clinical scenario,
identifying it’s components,
recognising current knowledge gaps,
utilising an appropriate resource to acquire the necessary knowledge,
followed by appraisal of the information learned and subsequent application of the learning (Miflin et al. 2000).
그럼에도 불구하고, [평생학습능력]은 논쟁의 여지가 있고, 세 가지 관점에서 볼 수 있다(이븐슨 & 흐멜로 2000; 미플린 외). 2000):
Nevertheless, the ability of a student to be a life-long learner could be viewed from three main perspectives each, arguably, equally important (Evensen & Hmelo 2000; Miflin et al. 2000):
(1) [지식의 격차gap를 식별하고, 필요한 새로운 이해를 적극적으로 추구하는 책임]을 지려는 능력과 의지와 능력
(1) The ability and willingness of a person to identify a gap in their knowledge, and take responsibility for actively seeking the new understanding required,
예: 진단 과제를 제공하는 임상 사례에 대한 대응
e.g. in response to a clinical case that provides a diagnostic challenge
(2) 새로운 연구의 맥락에서 [현재의 이해와 실천을 지속적으로 성찰하고 업데이트]하는 능력과 동기 부여.
(2) The ability and motivation to continuously reflect on and update current understanding and practices, in the context of new research.
예를 들어 최신 치료 지침을 최신 상태로 유지하는 것은 새로운 연구에 따라 지속적으로 변화하기 때문이다.
e.g. keeping up-to-date with current treatment guidelines, as these continually change according to new research.
(3) 현재의 이해보다 개념적 프레임워크에 더 도전하여, [새로운 아이디어의 식별과 후속 적용]을 가능하게 하는 능력.
(3) The ability to challenge conceptual frameworks further than current understanding, enabling the subsequent identification of new ideas and their applications.
예: 임상 의학 지식의 응용과 간의 연관성을 식별한다. 연구 진행 중. 의학은 끊임없이 진화하고 발전하고 있다.
e.g. identifying links between and applications of clinical medical knowledge. Conducting research. Medicine is continually evolving and developing.
(Peters et al. 2000)
PBL 졸업생들은 임상(환자) 문제를 연구하고 적극적으로 배우는 경향이 있었고, 전통적인 졸업생들은 과학 연구의 본질을 최신 상태로 유지하는 연구와 학습을 하는 경향이 있었다(Peters et al. 이것은 평생 학습에 대한 다양한 방식의 동기 부여를 의미하며, PBL 커리큘럼이 임상 시나리오에 대응하여 평생 학습 프로세스의 실행을 장려할 수 있음을 시사한다. (2000).
PBL graduates tended to research and actively learn from clinical (patient) problems, while traditional graduates tended to research and learn to stay up-to-date with the body of scientific research (Peters et al. 2000). This suggests different motivations towards life-long learning and that the PBL curriculum may encourage the implementation of the lifelong learning process in response to a clinical scenario, as described by Miflin et al. (2000).
평생 학습에 필요한 기술,
the skills required for life-long learning,
(1) 학생들에게 학습해야 할 사항을 식별하고 사전 지식을 바탕으로 구축할 수 있는 체계적이고 실천된 방법을 제공한다.
(1) Provides students with a structured and practiced method through which they can identify what needs to be learned and build on their prior knowledge.
(2) 학생들은 필요한 지식을 얻기 위해 이용할 수 있는 방대한 자료의 레퍼토리를 찾고 활용하는 것에 익숙해질 수 있다.
(2) Enables students to become familiar with seeking and utilising the vast repertoire of resources available to attain the knowledge required.
(3) 상황으로부터 학습하기 위한 방법으로서 성찰의 사용을 확립하고, 이루어질 수 있는 추가적인 개선을 인식한다.
(3) Establishes the use of reflection as a method to learn from situations and recognise further improvements that can be made.
(4) 배우고 가르칠 때 타인과 협력할 수 있는 능력과 중요성을 확립한다.
(4) Establishes the ability to and importance of collaborating with others when learning and teaching.
교수들이 학생 참여에 대해 알아야 할 것은 무엇인가?
What does faculty need to know about student involvement?
기억해야 할 첫 번째 것은 학생들이 그들의 교육에 열성적이고 기꺼이 협력하고 있고, 그들은 정말로 가능한 최고의 결과를 원한다는 것이다!
The first thing to remember is that students are enthusiastic and willing partners in their education, and they really do want the best possible outcome!
교육과정은 학생과 교육자 모두가 자신들이 앞으로 무엇을 해야 하는지, 이전에 무엇을 했는지를, 그리고 교육과정 후반에 어떤 역량이 있을 것인지(그리고 어떤 역량이 이미 사람들에게 기대되는지)에 대해 명확히 알고 있다는 것을 의미하는 방식으로 설계(그리고 지도화)되어야 한다.
The programme needs to be designed (and mapped) in a way that means that both students and educators are clear about what they are supposed to be doing, what has gone before (and what competencies are expected of people already), and what will come later in the curriculum (and so may be safely left for later).
평가는 모든 사람이 적절한 단계에 도달하고 있으며, 다음 단계부터 이익을 얻을 수 있는 자만이 진전을 이룰 수 있도록 하기 위해 치밀하게 교육과정에 매핑되어야 한다.
Assessment needs to be carefully mapped against the curriculum, so that everyone can be sure that the competencies are being reached at the right stage, and that only those who are able to profit from the next stage are being allowed to progress.
프로그램 관리 팀은 학생들이 프로그램을 진행하면서 도움을 줄 수 있도록 충분한 개인들이 적시에 적절한 기술을 가지고 있는지 확인할 필요가 있다. 세 가지 어려운 전환점에 특히 주의를 기울여야 한다. (의대 입학, 첫 번째 임상 실습, (부분적으로) 독립적인 의사로서 일하기)
The programme management team needs to be certain that there are sufficient individuals, in the right place, at the right time and with the right skills, to help students as they progress through the programme – paying particular attention to the three difficult transition points – the entry to medical school, the first clinical placements and the transition to working as an (partially) independent practitioner.
학문적 통합을 촉진하는 프로그램의 조기에 과제를 포함하는 것이 바람직하다(Krause, 2001). 이것은 부분적으로 학생들이 그들의 새로운 학습 환경에 익숙해지도록 하기 위한 것이므로 PBL과 연습은 학문적 글쓰기에 포함되어야 하며, 부분적으로 문턱 효과를 극복하기 위해 포함되어야 한다(Land 등 2008).
It is desirable to include tasks early in the programme that facilitate academic integration (Krause, 2001). This is partly to familiarise the students with their newlearning environment so should include PBL and exercises in academic writing, and partly to overcome the threshold effect (Land et al. 2008).
Land와 동료들은 새로운 학문 분야에 들어서는 것은 [전문용어의 사용, 습득해야 할 새로운 지식의 어마어마한 양, 규칙을 이해하는 것의 어려움] 때문에 쉽지 않음을 보여주었다. 지지하고 잘 기능하는 PBL 그룹은 어휘를 탐구할 수 있는 안전한 사회적 공간을 제공할 수 있으며, 그들이 미래에 일할 것으로 기대할 수 있는 전문적인 경계를 형성하는 "게임의 법칙"으로 보이는 것을 제공할 수 있다.
Land and co-workers have shown that it is difficult to enter a new academic field, because of; the use of jargon, the bewildering amount of new knowledge one needs to acquire, and because the newcomer does not understand the rules. A supportive and well-functioning PBL group can provide a safe social space to explore vocabulary, and what appear to be the ‘‘rules of the game’’ that form the professional boundaries within which they will expect to work in the future.
훌륭한 PBL 촉진자는 학생들이 의료전문직에 들어서면 무엇을 하게 될지에 대해 어떻게 이해하고 있는지를 명확히 하도록 것을 도와줄 수 있다. 무엇보다 중요한 것은 [행동적 측면에서, 새로운 문제에 직면했을 때 그들 자신의 개인적인 사고 과정을 명확하게 함으로써] 롤모델로서 활동할 수 있다.
A good PBL facilitator can help students to articulate what they understand about what they are doing when they enter the profession, and importantly can act as a role model, both in terms of behaviour and also by articulating their own personal thought processes when facing a new problem.
튜터에게는 훈련이 중요하다. 이 훈련에는 문제 기반 학습을 위한 이론적 배경과 학습 이론, 학습 스타일 및 PBL이 학생들에게 미치는 영향에 대한 통찰력이 포함되어야 한다. 또한 튜터가 커리큘럼에서 PBL의 역할과 다뤄질 특정 자료의 범위와 깊이를 이해하는 것도 필수적이다. 이것은 학생들이 '얼마나 배워야 하는가'라는 공통의 문제를 극복하는데 도움이 될 것이다.
Training is crucial, both for new (Evans & Taylor 1996) and experienced tutors. The training needs to include the supposed theoretical background for problem-based learning, but also insights into learning theories, learning styles and the impact of PBL on students. It is also essential that staff understand the role of problem-based learning in the curriculum, and the extent and depth to which it is expected to cover specific material. This will help students through the common problem of ‘‘how much to learn’’.
PBL 교육에 대한 임상의의 신뢰 증진도 필수적이다. PBL 프로그램의 학생들이 전통적인 프로그램의 학생들보다 나쁘지 않고, 실제로 어떤 분야에서 더 잘 준비되어 있다는 강력한 증거가 있다. 일부 임상의는 증거 없이 PBL로 배운 학생들이 아무것도 모른다고 주장하며(Watmough et al. 2006c) 이는 학생이 대답을 하는 데 신중한 방식으로 질문을 하는 것이 쉽기 때문에 반대하기가 어려울 수 있다. 이 문제를 해결하기 위한 열쇠는 학생과 임상의가 임상(실습)을 시작하기 전에 학생이 알아야 할 것이 무엇이고(사전 지식 활성화), 예상되는 학습 결과가 무엇인지에 대한 매우 명확한 개념을 갖도록 하는 것이다.
Promoting clinician confidence in the PBL education is also essential. There is strong evidence that students from PBL programmes are no worse than those from conventional programmes, and are actually better prepared in some areas. Some clinician, without evidence, assert that students from a PBL programme don’t know anything (Watmough et al. 2006c) and this can be difficult to counter, since it is easy to ask a question in such a way that the student is cautious about giving an answer. The key to solving this problem lies in ensuring that students and clinicians have a very clear concept of what needs to be known by the student before they start the placement (activating prior knowledge), and what the expected learning outcomes are.
한편, 명시적으로 PBL 문제는 아니지만, 대부분의 시니어 의사들은 명백히 PBL 프로그램이 아닌 환경에서 훈련을 받았다는 것과 관련이 있다. PBL 프로그램은 일반적으로 수직통합된다. 즉, 임상 환경에서 학생들이 기초 과학과 사회학, 심리학, 윤리학 등과 같은 의료실무와 관련된 다른 과목 영역에 대해 배우기를 기대하고 있다는 것을 의미한다. 대부분의 시니어 의사들의 경험은 그들이 배치되기 전에 '그것들'을 알 것으로 예상된다는 것이었다. 그래서 교수와 학생들의 기대는 신중하게 관리될 필요가 있다.
This is not explicitly a PBL issue, but relates to the observation that most senior clinicians were trained in an environment that was not explicitly outcomes-based. PBL programmes are typically vertically integrated; this means that in the clinical environment students will be expecting to learn about basic sciences and the other subject areas allied to medical practise, such as sociology, psychology and ethics. The experience of most senior clinicians was that they were expected to ‘‘know those things’’ before they came onto the placement, so the expectations of staff and students need to be carefully managed.
학생을 직장에서 준비시키고, 나아가 미래의 교사와 지도자로 자리매김할 수 있도록 준비하는 한 가지 중요한 방법은 선배 학생들이 PBL 그룹을 운영하는데 책임을 지도록 격려하고 지원하는 것이며, 일반적으로 후배들의 학습을 지원하는 것이다.
One important way of preparing students for the workplace, and even further ahead, preparing them to take their place as future teachers and leaders, is to encourage and support senior students to take responsibility for running PBL groups, and generally supporting the learning of their junior colleagues.
PBL 조력자가 되겠다고 기여할 수 없는 학생들에게도, 다른 사람들이 배울 수 있도록 도와줄 기회가 많다. 이것들은 멘토링 프로그램에서부터 실행 교수 또는 개정 세션에 참여하는 우리에 이르기까지 다양하다. 교육자인 모든 사람들은 가르치는 것이 우리가 한 과목을 얼마나 많이 이해하는지를 발견하는 가장 빠르고 좋은 방법이라는 것을 깨닫는다. 이 때문에 교직원들이 무슨 일이 일어나고 있는지 알고, 비록 비공식적이긴 하지만 후배들이 배우도록 도우려는 사람들에게 지원을 해 주는 것은 가치 있는 일이다.
Even for those students who are not able to commit (for whatever reason) to being a PBL facilitator, there are many opportunities to help others to learn. These range from mentoring programmes, through to running teaching or us involved in revision sessions. All those of who are education realise that teaching is the best and quickest way to discover how much we understand a subject. For this reason, it is worthwhile members of faculty being aware of what is going on, and offering support, even if informal, to those who are trying to help their junior colleagues learn.
마지막으로 의과대학으로의 원활한 transition을 보장하는 것이 중요한 것처럼, 전공의 수련으로의 원활한 transition을 보장하는 것이 필수적이다. 이는 주로 학생들이 프로그램을 진행하면서 가정한 임상 접촉과 추가 책임을 통해 이루어진다. 영국에서는 학부 과정 마지막 해에 학생들이 잠재적으로 연습할 수 있다는 것을 증명할 수 있도록 하기 위해 학생 assistantships를 향한 움직임이 있다.
Finally, just as it is important to ensure a smooth transition into medical school, it is essential to ensure a smooth transition into post-graduate medicine. This is largely through the increasing clinical contact and the additional responsibilities that students assume as they progress through the programme. In the UK there is a move towards student assistantships in the final year of the undergraduate programme, to ensure that students are able to demonstrate that they will potentially be able to practise.
결론
Conclusion
,36 (1), 1-12
Problem-based Learning (PBL): Getting the Most Out of Your Students - Their Roles and Responsibilities: AMEE Guide No. 84
This Guide discusses the considerable literature on the merits or shortcomings of Problem-based learning (PBL), and the factors that promote or inhibit it, when seen through the eyes of the student. It seems to be the case that PBL works best when students and faculty understand the various factors that influence learning and are aware of their roles; this Guide deals with each of the main issues in turn. One of the most important concepts to recognise is that students and Faculty share the responsibility for learning and there are several factors that can influence its success. They include student motivation for PBL and the various ways in which they respond to being immersed in the process. As faculty, we also need to consider the way in which the learning environment supports the students develop the habit of life-long learning, and the skills and attitudes that will help them become competent reflective practitioners. Each of these elements place responsibilities upon the student, but also upon the Faculty and learning community they are joining. Although all of the authors work in a European setting, where PBL is used extensively as a learning strategy in many medical schools, the lessons learned we suggest, apply more widely, and several of the important factors apply to any form of curriculum. This Guide follows on from a previous review in the AMEE Guides in Medical education series, which provided an overview of PBL and attempts to emphasise the key role that students have in mastering their subject through PBL. This should render the business of being a student a little less mystifying, and help faculty to see how they can help their students acquire the independence and mastery that they will need.
Academic Unit of Medical Education, The Medical School, The University of Sheffield, Sheffield, UK
도입
Introduction
어떤 상황에서 "무엇이 잘못되고 있는가"를 묻는 일련의 질문에 근거하여 진단을 내리는 문제해결 접근법이 대표적인 의학의 임상적 실천이다. 이와 유사한 접근법이 새로운 교과과정을 개발하는 것에서부터 어려움에 처한 학생들을 지원하는 것까지 의학의 많은 측면에도 자주 적용되고 있다. 그러나, 대안적인 접근방식은 상황에서의 "무엇이 잘 되어가고 있는가"에 초점을 맞춘 긍정탐구(AI)이다. AI 접근방식은 질문을 하는 사람의 사고방식을 변화시킬 필요가 있으며, 현재 상황을 변화시키기 위해 개인과 집단의 힘을 동원하는 것이 핵심 목표이다. AI 접근법의 본질적인 측면은 새로운 상황을 구상하는 협력적 논의를 통해 발생하는 생성 과정이다.
A problem-solving approach, in which making a diagnosis is based on a series of questions that ask about “what is going wrong” with a situation, is typical of the clinical practice of medicine. A similar approach is also frequently applied to many aspects of medical education, from developing a new curriculum to supporting students in difficulty. However, an alternative approach is Appreciative Inquiry (AI), with a focus on “what is going well” with a situation. The AI approach requires an alteration in the mind-set of the person asking the questions, with the key aim of mobilizing individual and collective strengths to change the current situation. An essential aspect of the AI approach is the generative process, which occurs through collaborative discussion, of envisioning a new situation.
AI 접근법은 지난 수십 년간 조직개발(Watkins et al. 2011)을 위해 열성적으로 사용되어 왔으며, 리더쉽 개발(Hart et al. 2008)과 멘토링(Gordon 2008)을 포함한 개인의 발전을 위한 비즈니스 세계에서도 점차적으로 적용되고 있다. 지난 10년간 AI도 일반 교육에서 중요한 지도원리guiding principle로 적용되기 시작했다.
The AI approach has been enthusiastically used over the last few decades for organizational development (Watkins et al. 2011), and is also increasingly being applied in the world of business for the development of individuals, including leadership development (Hart et al. 2008) and mentoring (Gordon 2008). Over the last decade, AI has also begun to be applied as an important guiding principle within general education.
긍정탐구의 원칙
The principles of appreciative inquiry
AI의 핵심 원칙
The core principles of AI
AI의 관행을 뒷받침하는 5가지 핵심 원칙이 설명되었으며, 조직 개발의 폭넓은 실무 경험에 기초하고 있다(Cooperrider et al. 2003).
Five core principles that underpin the practice of AI have been described and are based on extensive practical experience in organizational development (Cooperrider et al. 2003).
1. 구성주의 원칙: 이 원칙의 근본은 개인이 다른 사람들과의 상호작용과 토론의 적극적인 과정을 통해 그들 세계의 현실을 창조하거나 건설한다는 관점이다. 예를 들어, 결핍–관점은 유리잔이 반만 비었다고 생각하는 것이지만, 이것을 '컵이 반이나 찬 것'으로 간주할 수 있도록 긍정적으로 공동 구성될 수 있다는 것이다.
1. The constructionist principle: Fundamental to this principle is the view that an individual creates, or constructs, the reality of their world through an active process of interaction and discussion with other people. For example, the deficit – view is that a glass is considered to be half-empty but this can be positively co-constructed to be regarded as half-full.
2. 동시성 원칙: 이 원칙은 탐구와 변화는 별도의 과정이 아니라는 것을 고려한다. 어떤 주제에 대한 질문이 있을 때마다, 새로운 통찰력과 이해는 미래의 주제를 보는 방법에 영향을 미칠 것이기 때문에, 변화 과정의 동시 시작이 있다.
2. The simultaneity principle: This principle considers that inquiry and change are not separate processes. Whenever there is inquiry, and questions are asked about a topic, there is a simultaneous beginning of a change process since new insights and understandings will influence how the topic is viewed in the future.
3. 시적 원칙: 시를 읽을 때, 사람들은 단어로부터 의미를 만드는 것에 초점을 맞춘다. AI에서 부족한 점 위주의 단어들은 주제가 어떻게 이해되는지 뿐만 아니라 변화의 가능성에도 제약을 가할 수 있다. AI의 본질적인 측면은 현재 상황을 바라보는 관점을 재정립하는 것이다.
3. The poetic principle: In reading poetry, people focus on making meaning from the words. In AI, the deficit-focused words can constrain not only how the topic is understood but also the possibilities for change. An essential aspect of AI is the reframing of current views of a situation.
4. 기대 원칙: 미래의 잠재적 변화를 상상하는 것은 어려운 상황에 대한 통제감을 만들고 상황을 변화시킬 동기를 강화한다.
4. The anticipatory principle: The envisioning of future potential changes creates a feeling of control over a difficult situation and enhances their motivation to change the situation.
5. 긍정성 원칙: 이 원칙은 다른 모든 AI 원칙과 AI 방법론의 모든 부분을 뒷받침한다. 이 원칙은 강점을 확인하려는 목적의 질문은 사람들을 긍정적인 변화에 끌어들이게 한다는 것이다.
5. The positive principle: This principle underpins all of the other AI principles and also all parts of the AI methodology. The concept is that questions that seek to identify strengths engage people in positive change.
긍정탐구 방법론
The methodology of appreciative inquiry
AI의 원래 방법론은 조직 개발을 위한 것이었으며 "4-D" 사이클을 사용했다(Cooperrider et al. 2003).
The original methodology of AI was for organizational development and used the “4-D” cycle (Cooperrider et al. 2003).
최근에 "5-D 모델"이 도입되었으며(Watkins et al. 2011), 4-D 사이클에서 발견되는 4상 앞에 추가적인 "Definition" 단계가 도입되었다. 이 추가 단계는 본질적으로 "이것이 할 만한 가치가 있는가?"를 정의한다.
recently the “5-D model” has been introduced (Watkins et al. 2011), with an additional “Definition” phase that precedes the four phases that are found in the 4-D cycle. This additional phase essentially defines “is this worth doing”?
그림 1은 4-D 사이클의 주요 단계를 설명한다.
Figure 1 describes the main phases in the 4-D cycle,
교육에서 긍정탐구의 원칙 적용
The application of appreciative inquiry principles to education
긍정교육
Appreciative education
긍정교육은 "개인적으로나 조직적으로나 양질의 교육을 제공하기 위한 틀"이라고 생각할 수 있다. 그것은 개인과 집단이 공동 창조한 목표를 달성하기 위한 강점과 잠재력에 초점을 맞추어 교육 기업을 개선하기 위한 의도적이고 긍정적인 접근법을 제공한다(Bloom et al. 2013, 페이지 5 –6)
Appreciative Education can be considered to be “a framework for delivering high-quality education on both an individual and organizational level. It provides an intentional and positive approach for bettering educational enterprises by focusing on the strengths and potential of individuals and organizations to accomplish co-created goals” (Bloom et al. 2013, pp. 5–6).
긍정 페다고지
Appreciative pedagogy
긍정교육의 개념과 유사하게 AI 원칙이 각색되어 모든 교육 및 학습 활동을 알리는 것으로서, 이러한 활동이 단 20분에서 1시간 정도의 짧은 수업시간, 1시간 동안의 워크숍이든 전체 프로그램(Yballe & O'Connor 2000)이든 모두 긍정 페다고지이다.
Similar to the concept of Appreciative Education is the concept of Appreciative Pedagogy, with the adaptation of AI principles to inform all teaching and learning activities, whether these activities are only a short 20minute one to one session, a one hour workshop or a whole program (Yballe & O’Connor 2000).
긍정 조언
Appreciative advising
AI의 원칙은 다양한 학문적 어려움을 겪고 있는 대학생들을 지원하는 데 중점을 두고 감사 조언에 적용되어 왔다.
The principles of AI have been applied to Appreciative Advising, with a focus on supporting College students who are experiencing a variety of academic difficulties.
의학교육에서 긍정탐구의 현실적 적용
The practical application of appreciative inquiry in medical education
개인 수준
Working with individuals
Roarty와 Toogood(2014년)는 AI 원칙을 사용하여 모든 학습 대화를 구성하는 방법에 대한 유용하고 실용적인 팁을 제공한다.
Roarty and Toogood (2014) offer some useful and practical tips on how AI principles can be used to structure all learning conversations:
1. 초점을 둘 성과를 식별하라. 명확한 결과 초점, 즉 목표는 자신의 원하는 결과를 얻기 위해 자신의 장점을 동원하려는 내부 동기의 증가와 관련이 있다(커빙턴 2000).
1. Identify an outcome focus. A clear outcome focus, or goal, is associated with the increase of internal motivation to mobilize their strengths to achieve their own desired outcome (Covington 2000).
2. 이미 잘 되고 있는 것에 집중하라. AI의 본질적인 측면은 의도된 목표를 달성하기 위해 현재의 강점을 기반으로 하는 것이다.
2. Focus on what is already working well. An essential aspect of AI is to build on current strengths to achieve intended goals.
3. "약점"을 개발해야 할 강점으로 다시 표현한다. 재교육의 행위는 학습자에게 내부적으로 동기를 부여하는 개인의 자존심에 현저한 변화를 가져올 수 있다. 능력에 대한 부적절한 속성은 신속하게 부정적인 감정을 생성하여 동기와 수행을 감소시키는 소용돌이를 초래할 수 있다(와이너 1985).
3. Reframe any “weaknesses” into strengths to be developed. The act of reframing can produce a marked change in an individual’s self-esteem that internally motivates the learner. Inappropriate attributions about ability can quickly produce negative emotions that result in a spiral of decreasing motivation and performance (Weiner 1985).
집단 수준
Working with groups
AI의 4-D 사이클은 경험적 학습 사이클과 문제 기반 학습에 적용되었다.
The 4-D cycle of AI has been applied to the experiential learning cycle and problem-based learning.
경험학습에 대한 적용
Application to Experiential Learning
Experiential Learning의 중요한 측면은 [탐구할 질문의 식별]과 [탐구의 과정]이다. 전통적인 것은 문제 해결에 대한 Experiential Learning의 초점을 가지고 있다. 네빌(2008)은 AI를 솔루션에 초점을 맞춘 경험학습의 보완적 접근방식으로 활용할 수 있다고 제안한다. 예를 들어, 탐구를 위한 질문은 "환자 안전 향상에 있어 가장 큰 문제가 무엇인가?"에서 "환자 안전을 효과적으로 개선하기 위해 어떤 접근법이 사용되었는가?"로 재구성할 수 있다. 전문성을 가르치기 위한 경험적 학습에서 AI를 사용한 사례는 그림 2(온라인에서 보충 자료로 이용 가능)에 나와 있다.
An important aspect of Experiential Learning is the identification of the question for inquiry and the process of inquiry, traditional having a with Experiential Learning focus on problem solving. Neville (2008) proposes that AI can be used as a complementary approach to Experiential Learning, with a focus on solutions. For example, the question for inquiry can be reframed from “What is the biggest problem in improving patient safety?” to “What approaches have been used to effectively improve patient safety?” An illustrative of the use of AI in Experiential Learning to teach professionalism is shown in Figure 2 (available online as Supplemental Material).
PBL에 적용
Application to Problem-Based Learning
전형적으로 PBL은 해결책을 생산하기 위한 문제의 식별에 초점을 맞추고 있으며, 로버츠(2010)는 직업 치료의 맥락에서 PBL의 한계를 논하고 있으며, 특히 무엇이 잘못되었거나 dysfunctional한가에 초점을 맞추고 있다. 그림 3(온라인에서 보충 자료로 이용 가능)은 AI가 어떻게 PBL에 통합되어 클라이언트 중심적이고 강도에 기반한 접근법을 개발할 수 있는지를 설명한다.
Typically, PBL has a focus on the identification of a problem to produce a solution and Roberts (2010) discusses the limitations of PBL in the context of occupational therapy, especially the focus on what is wrong or dysfunctional. Figure 3 (available online on as Supplemental Material) describes how AI can be integrated into PBL in an attempt to a develop more client-centered and strengths-based approach.
긍정 조언
Appreciative advising
학업에서 어려움을 겪고 있는 학습자를 돕기 위한 일반적인 접근방식은 종종 (성공을 강화하는 것이 아니라) 자신의 약점을 식별하고 교정하는 데 초점을 맞춘 "결핍 교정 교육 모델"이다(Kramer & Associates 2007). 그러나 이와는 대조적으로, 어드바이저는 가능한 변화에 대한 학습자의 자기효율성 신념을 높이고 이전 과정 성공이 어떻게 달성되었는지 식별하는 데 도움을 줌으로써 학습자에게 동기를 부여하는 강점 기반 모델을 채택할 수 있다. 전체 AI 접근법(Bloom et al. 2008) 내에서 6단계 모델을 이용한 학술적 조언은 그림 4(온라인에서 보충 자료로 이용 가능)에 설명되어 있다.
The usual approach to help learners who are experiencing difficulties in their academic studies is often a “deficit remedial education model” which has a focus on the identification and remediation of their weaknesses instead of in their successes (Kramer & Associates 2007). However, contrast, the advisor could adopt a strengths based model that increases the learner’s self-efficacy beliefs about possible change and motivates the learner by helping to identify how previous coursework successes were achieved. Academic Advising using a model of six phases within an overall AI approach (Bloom et al. 2008) is illustrated in Figure 4 (available online as Supplemental Material).
교육과정개발에 긍정탐구 적용
Appreciative inquiry for curriculum development
AI는 [현재 강점을 바탕으로 한 평가와 질 향상 등] 의과대학 커리큘럼 개발에 유용한 방법을 제공할 수 있다(차코 2009). 사회적 책무성을 위한 의과대학 교과과정의 개발에 대한 예시는 그림 5(온라인에서 보충 자료로 이용 가능)에 제시되어 있다.
AI can provide a useful method for curriculum development in medical education, including evaluation and quality improvement that builds on current strengths (Chacko 2009). An illustrative example of the development of a socially accountable medical school curriculum is provided in Figure 5 (available online as Supplemental Material).
AI 접근방식은 또한 교과과정의 변화를 위해 부정적인 문화를 다루는데 도움이 된다. 커리큘럼 개발의 중요한 측면은 과정 평가지만, 학생과 직원 모두가 커리큘럼의 장점 대신에 문제에 집중하는 간단한 설문지에 의해 종종 이루어진다. 그림 6(온라인에서 보충 자료로 이용 가능)은 커리큘럼 개발과 문화적 변화를 위한 AI 접근법의 성공적인 사용을 보여준다.
The AI approach also lends itself to tackling a negative culture to change in the curriculum. An important aspect of curriculum development is course evaluation, but often this is by a simple questionnaire, with both students and staff concentrating on problems instead of the strengths of the curriculum. Figure 6 (available online as Supplemental Material) illustrates successful use of an AI approach for curriculum development and cultural change.
교수개발을 위한 긍정탐구
Appreciative inquiry for faculty development
그림 7(온라인에서 보충 자료로 사용 가능)은 모든 의대 학생들이 학술 및 임상 교수진에서 높은 수준의 전문적 행동을 목격할 수 있도록 하기 위해 미국 의대 교직원 및 레지던트 개발을 위한 주요 방법 중 하나로 AI 접근법을 사용한 방법을 설명한다(Fryer-Edwards et a).2007년).
Figure 7 (available online as Supplemental Material) illustrates how an AI approach was used as one of the main methods for the development of faculty and residents in a US medical school were used to ensure that all medical students would witness a high level of professional behaviors in the academic and clinical teaching staff (Fryer-Edwards et al. 2007).
의학교육연구를 위한 긍정탐구
Appreciative inquiry for medical education research
이러한 이해관계자들에게 중요한 질문과 이슈를 다룰 목적으로 학생부터 교사 및 관리자에 이르기까지 다양한 이해관계자들과 협력하여 일하는 데 초점을 맞추어 교육 연구에 참여 연구 방법을 사용하는 것에 대한 관심이 증가하고 있다(Cohen 등 2013). 이 연구 방법의 본질적인 측면은 이해관계자들이 연구 과정에 적극적인 참여자가 되도록 권한을 부여하는 것이다. AI 접근법의 취지는 참여 연구방법의 초점과 유사하며, 일반 교육연구, 특히 구조면접에 AI가 적용됐다.
There has been increasing interest in the use of participatory research methods in educational research, with a focus on collaboratively working with a range of stakeholders, from students to teachers and administrators, with the intention of addressing questions and issues that are significant to these stakeholders (Cohen et al. 2013). An essential aspect of this research method is empowerment of the stakeholders so that they become active participants in the research process. The intentions of the AI approach are similar to the focus of participatory research methods and AI has been applied to general educational research, especially to structure interviews.
일반 교육연구에서 인터뷰를 구조화하기 위해 AI의 원리를 이용한 사례로는 마이클(2005)이 학교 교사로서의 경험에 대해 연구한 것이 있다. "여기서 일하면서 가장 좋아하는 기억은 무엇인가?" "직장에 대해 가장 좋아하는 것은 무엇인가?" "조직 성공의 핵심이 무엇이라고 생각하는가?" "당신의 조직을 특별하게 만들거나 알고 있는 다른 조직과 다른 점은 무엇인가?"와 같은 AI 사이클의 디스커버리 단계와 관련된 질문들이 쏟아졌다. 그는 참가자들이 자신의 이야기를 들려주는데 열심이었고, 경험하고 싶은 긍정적인 경험에 영향을 미치는 요인에 대한 이해를 더 많이 하는 등 알려지지 않은 정보를 공개하는 데 더 개방적이라고 지적했다. 흥미로운 측면은 참가자들이 면접을 진행하는 동안 현재의 교육적 실천을 바꿀 수 있는 힘을 느끼기 시작했으며, 인터뷰가 진행됨에 따라 꿈의 단계를 향해 자발적인 움직임을 보였다.
An illustrative example of the use of the principles of AI to structure interviews in general educational research is the work of Michael (2005) on the experiences of being a school teacher. Questions were asked that were related to the Discovery phase of the AI cycle, such as “What’s your favorite memory of working here?”, “What do you like best about your job?”, “What do you think is at the heart of your organization’s success?” and “What makes your organization special, or different from other organizations that you know?”. He noted that participants were eager to tell their stories and were more open to disclose unrehearsed information, including greater understanding of the factors that impacted on the positive experiences that they wanted to experience. An interesting aspect was that participants began to feel empowered during the interview to change their current teaching practice, with spontaneous movement towards the Dreaming phase as their interviews progressed.
의료 교육에서 소셜 미디어의 전문적인 사용을 이해하기 위한 AI 접근방식은 그림 8(온라인에서 보충 자료로 이용 가능)에 나타나 있다(Pereira et al. 2015).
the AI approach to understand professional use of social media in medical education is shown in Figure 8 (available online as Supplemental Material) (Pereira et al. 2015).
긍정탐구를 사용한 개인 발전
Personal development using appreciative inquiry
주된 변화는 개인의 강점을 파악하는 데 초점을 맞춘 마인드셋으로, 변화에 대한 동기부여와 정서적 에너지를 제공하면서도 탄력성, 만족도, 자존심도 향상시켰다(리브 2014). 이러한 접근방식은 [부정적인 함의와 그에 따른 정서적 에너지의 고갈과 동기의 감소]와 같은 "취약성" 식별에 초점을 맞춘 기존의 방식과는 대조적이다. 강점을 바탕으로 하고 감사하는 마음가짐은 "약점"을 무시하지 않고, 이 상황을 특정한 지식이나 기술을 증가시키는 등 발전이 필요한 강점으로 재구성한다. 또한, 원하는 결과를 얻기 위해 동원되어야 할 기존의 강점에 대한 식별도 있다.
The main change is a mind-set that has a focus on identifying personal strengths, providing increased motivation and emotional energy to change but also enhanced resilience, satisfaction and self-esteem (Reeve 2014). This approach is in contrast to the traditional focus on identifying “weaknesses”, with its negative connotation and subsequent draining of emotional energy and reduced motivation. A strengths-based and appreciative mind-set does not ignore “weaknesses” but reframes this situation as being a strength that needs developing, such as to increase particular knowledge or skills. In addition, there is identification of existing strengths that will be required to be mobilized to achieve the desired outcome.
개인의 장점을 확인하는 실질적인 방법은 두 가지가 있다.
There are two practical methods for the identification of personal strengths:
1. 강의 시간이나 커리큘럼 개발 계획 회의 등 어떤 행사 후에라도 개인의 강점을 반영한다.
1. Reflect on personal strengths after any event, such as a teaching session or a curriculum development-planning meeting.
2. 이용된 강점에 대해 그들이 알아챈 것, 특히 이러한 강점이 다른 사람의 변화나 상황의 변화에 어떻게 영향을 미쳤는지에 대해 다른 사람의 피드백을 구한다.
2. Seek feedback from others about what they notice about the strengths that have been used, and especially how these strengths have influenced change in others or a situation.
결론
Conclusions
AI 접근방식은 개인과 그들이 불가결한 구성원인 조직 모두에게 독특하고 혁신적인 발전 기회를 제공하여 개인과 집단적 강점을 식별하고 동원하여 개인과 조직의 잠재력을 달성한다. AI 접근법의 본질적인 측면은 [새로운 상황을 구상할 수 있고 희망하는 미래 상황을 달성하기 위해 동기부여 에너지가 만들어지는] [생성적 과정]이라는 점이다. 이 과정은 모든 개인적이고 조직적인 발전의 핵심이다.
The AI approach provides a unique and innovative developmental opportunity for both individuals, and the organization in which they are an integral member, to identify and mobilize individual and collective strengths to achieve their individual potential and that of the organization. An essential aspect of the AI approach is the generative process, in which a new situation can be envisioned and motivational energy is created to achieve the desired future situation. This process is at the heart of all personal and organizational development.
The practice of medicine, and also medical education, typically adopts a problem-solving approach to identify "what is going wrong" with a situation. However, an alternative is Appreciative Inquiry (AI), which adopts a positive and strengths-based approach to identify "what is going well" with a situation. The AI approach can be used for the development and enhancement of the potential of both individuals and organizations. An essential aspect of the AI approach is the generative process, in which a new situation is envisioned and both individual and collective strengths are mobilized to make changes to achieve the valued future situation. The AI approach has been widely used in the world of business and general education, but is has an exciting potential for medical education, including curriculum development, faculty development, supporting learners through academic advising and mentoring, but also for enhancing the teaching and learning of both individuals and groups. This AMEE Guide describes the core principles of AI and their practical application in medical education.
의학교육에서 4C/ID: 어떻게 전-과제 학습 기반의 교육프로그램을 설계할 것인가?(AMEE Guide No. 93) (Med Teach, 2015)
4C/ID in medical education: How to design an educational program based on whole-task learning: AMEE Guide No. 93
MIEKE VANDEWAETERE1, DOMINIQUE MANHAEVE1, BERT AERTGEERTS1, GERALDINE CLAREBOUT1, JEROEN J. G. VAN MERRIE¨ NBOER2 & ANN ROEX1
1University of Leuven, Belgium, 2Maastricht University, the Netherlands
도입
Introduction
의학 커리큘럼은 결과 및 역량 기반이어야 한다는 일반적인 합의가 있다(Fernandez et al. 2012). 이는 현대 의학의 일차적인 목표가 학생들이 역량있는 의사가 되도록 훈련시키는 것임을 암시한다(역량 기반 의료 교육 또는 CBME).
There is a general agreement that medical curricula should be outcome- and competency-based (Fernandez et al. 2012). This implies that the primary goal of modern medical education is to train students to become competent physicians (competency-based medical education or CBME).
전문가를 위한 캐나다 의학 교육 지침(CanMEDS; Frank & Danoff 2007), 대학원 의학 교육 인증 위원회(Swing 2007), 던디 성과(Davis 2003),
Canadian Medical Education Directives for Specialists (CanMEDS; Frank & Danoff 2007), Accreditation Council for Graduate Medical Education (Swing 2007) and the Dundee Outcomes (Davis 2003),
현실에서, CanMEDS 프레임워크에 기술된 역할은 [의사들의 일상적인 활동을 반영하여 매끄러운 전체로 통합]되어야 한다. 따라서, 의사(이 경우, 일반 개업의)가 일상에서 성공적인 수행을 하기 위해서는, 예를 들어 당뇨병에 대한 지식과 통찰력을 갖는 것만으로는 충분하지 않다.
In practice, the roles as described in the CanMEDS framework have to be integrated into a seamless whole, reflecting the daily activities of the physician. Hence, for a physician’s (in this case, a general practitioner) successful performance in daily practice, it is not sufficient just to have the knowledge about and insight in, for example, diabetes.
따라서 CanMEDS 프레임워크와 그 구체적 구현은 의학교육이 지식, 기술 및 태도의 통합적 획득을 촉진하는 교육 및 학습 환경에서 이익을 얻을 수 있음을 의미한다. 프랭크(2005)와 반 헤르와든 외 (2009년) 보건 전문가들이 다루어야 할 진짜real, 진짜authentic 업무에 집중하는 것이 그러한 통합 학습을 뒷받침할 것이라고 주장한다. 그렇게 함으로써, 그들은 복잡한 학습 또는 전과제 학습이라고 불리는 것을 가리킨다(박스 1).
Consequently, the CanMEDS framework and its specific implementations imply that medical education may benefit from instruction and learning environments that foster the integrated acquisition of knowledge, skills and attitudes. Frank (2005) and van Herwaarden et al. (2009) argue that focusing on the real, authentic tasks that health professionals need to deal with will support such integrated learning. By doing so, they refer to what is called complex learning or whole-task learning (Box 1).
복잡한 학습
Box 1. Complex learning.
복잡한 학습이란 [지식, 기술 및 태도의 통합적 획득]과 [질적으로 다른 구성 기술의 조정coordination]을 말한다. 더욱이 복잡한 학습은 또한 학교와 훈련 환경에서 배운 것을 일상 생활이나 전문적 환경으로 전이transfer하는 것을 포함한다(반 메리 n nboer & Kirschner 2013).
Complex learning refers to the integrated acquisition of knowledge, skills and attitudes and to the coordination of qualitatively different constituent skills. Moreover, complex learning also involves the transfer of what is learned in school and training settings to daily life or professional settings (van Merrie¨ nboer & Kirschner 2013).
의학교육에서 전과제 학습
Whole-task learning in medical education
의학 교육에서 복잡한 학습이나 전과제 학습의 접근법을 사용하는 데는 두 가지 설득력 있는 이유가 있다.
There are two compelling reasons for using the approach of complex or whole-task learning in medical education.
첫째, 전과제 모델은 가변적이고 복잡한 환경에서 학생들의 기능을 육성하는 학습 활동의 개발을 위한 탄탄한 틀을 제공한다(Yardley et al. 2013). 전과업 접근법을 사용한 결과, 풍부한 정신 모델과 인지 전략의 개발이 촉진되어, 학생들이 다양한 건강 관리 상황에서 효율적인 문제 해결 전략을 사용할 수 있다. 실제의 진실한 과제를 사용함으로써, 복잡한 학습이 지원되고, 따라서 커리큘럼에서 직장으로의 이전이 더욱 실현가능해진다(2010년 시장, 반 메리 ̈nboer & 스위블러 2010).
First, whole-task models provide a solid framework for the development of learning activities that foster students’ functioning in variable and complex settings (Yardley et al. 2013). As a result of using a whole-task approach, the development of a rich set of mental models and cognitive strategies is facilitated, allowing students to use efficient problem solving strategies in various health care situations. By using real-life authentic tasks, complex learning is supported and hence the transfer from the curriculum to the workplace becomes more feasible (Mayer 2010; van Merrie¨nboer & Sweller 2010).
둘째, 전과제 학습 모델은 의학교육에서 근거기반 원칙을 보다 명시적으로 사용해야 한다는 요구를 충족할 수 있다(Gibbs et al. 2011). 역량 기반 커리큘럼CBME의 핵심 측면에 대한 일반적인 합의가 있지만, 그것의 실제 구현은 과학적인 기반이 거의 없었다.
Second, models of whole task learning may meet the call for a more explicit use of evidence-based principles in the practice of medical education (Gibbs et al. 2011). Although there is a general agreement on the key aspects of competency-based curricula, its practical implementation has had little scientific underpinning.
4가지 구성요소의 교육적 설계 모델(4C/ID모델; 상자 2) (반 메리 nnboer & Kirschner 2007, 2013; 반 메리 nnboer & 스웨터 2010)은 전과업 학습 환경의 설계 및 개발 프로세스를 지원하는 증거 기반 교육적 설계 모델이다. 그것은 구체적인 지침과 사용 가능한 설계를 제공함으로써 그렇게 한다(Hogveld et al. 2011). 이 모델은 복잡한 기술을 습득하기 위해 이미 여러 영역에 적용되었다.
The four-component instructional design model (4C/ID model; Box 2) (van Merrie¨nboer & Kirschner 2007, 2013; van Merrie¨nboer & Sweller 2010) is an evidence-based instructional design model that supports the design and development process of whole-task learning environments. It does so by providing concrete guidelines and usable designs (Hoogveld et al. 2011). This model has already been applied in several domains for the acquisition of complex skills
상자 2. 4C/ID 모델
Box 2. The four-component instructional design (4C/ID) model.
4가지 구성 요소 교육 설계(4C/ID) 모델은 [개별 요소와 그 요소들 간의 관계에 대한 시야를 놓치지 않으면서도]실제 업무의 복잡성을 처리함으로써 학습과 교육에 전체론적 접근방식을 적용한다(Ban Merrie n nboer 1997).
이 접근법은 다음과 같은 지속적인 문제를 다룬다.
구획화: 선언적 지식, 절차적 지식 및 태도와 같은 뚜렷한 부분 또는 범주에서 전체 역량의 분리시키는 것
파편화: 부품 간의 상호작용을 고려하지 않고 작은 부품에서 복잡한 기술 또는 역량을 분해하는 것
전이 패러독스: 학생들이 복잡한 과제를 고립된 방식으로 배울 때, 그들이 배운 것을 작업 환경의 현실로 이전하는 것은 더 어려운 것. 왜냐하면 고립되고 구체적인 목표는 통합적인 목표에 도달하는 경우에 종종 효과가 없기 때문이다.
The four-component instructional design (4C/ID) model applies a holistic approach to learning and instruction, hereby dealing with the complexity of real-life tasks without losing sight of the separate elements and the relationships between those elements (van Merrie¨ nboer 1997). This approach deals with persistent problems like:
compartmentalization, separation of a whole competence in distinct parts or categories like declarative knowledge, procedural knowledge and attitudes;
fragmentation, breaking complex skills or competencies in smaller parts without taking into account the interactions between the parts; and
the transfer paradox, when students learn complex tasks in an isolated manner, it will be more difficult for them to transfer what they have learned to the reality of the work settings because what works well for reaching isolated, specific objectives often does not work when it comes to reaching integrated objectives.
4C/ID 모델: 이론에서 실천으로
The 4C/ID model: From theory to practice
모델은 네 가지 주요 구성 요소로 구성된다(그림 1 참조).
the model comprises four major components, (see Figure 1).
4가지 구성요소는
(1) 학습 과제,
(2) 지원 정보(이론),
(3) 절차 정보(how to's) 및
(4) 파트태스크 실습(초점 반복 연습 또는 '드릴')
The four components that are identified are as follows: (1) learning tasks; (2) supportive information (the theory); (3) procedural information (the how to’s) and (4) part-task practice (focused repetitive practice or ‘‘drill’’).
그림 1에서 학습 과제는 원으로 표시된다. 그들은 교육 프로그램의 근간을 제공한다. 직장에서 수행되는 학습 과제를 훈련training 과제라고 한다. 학습자가 학습 과제를 수행할 때 종종 지원 및 안내가 제공되기도 한다. 이는 원을 채우는 것으로 표시된다. 학습자가 더 많은 전문 지식을 습득함에 따라 지원 및 지침support and guidance은 일반적으로 감소할 것이다. 게다가 학습자들은 종종 그들의 과제 수행의 질에 대해 성찰을 요구받게 되는데, 커다란 원과 연결된 다이아몬드로 표시되어있다.
In Figure 1, the learning tasks are indicated by the circles. They provide the backbone of the educational program. Learning tasks that are performed in the workplace are called training tasks. Often, learners will receive support and guidance when they are working on the learning tasks; this is indicated by the filling of the circles. Support and guidance will typically decrease as learners acquire more expertise. Moreover, learners will often be asked to reflect on the quality of their task performance, which is indicated by the diamonds connected to the large circles.
지원 정보는 L자형으로 표시된다. 이 정보는 학습자가 학습 과제, 즉 문제 해결, 추론 및 의사결정이 필요한 측면을 수행하도록 돕는다.
The supportive information is indicated by the L-shaped figure. This information helps learners to perform non-routine aspects of learning tasks, that is, aspects that require problem solving, reasoning and decision making.
절차 정보 또는 적시 정보는 위쪽 화살표가 있는 직사각형으로 표시된다. 이 정보는 과제 레벨에서 제공되며 학습자에게 학습 과제의 '반복적recurrent' 요소를 수행하는 방법을 알려준다. 즉 교육 프로그램이 완료된 후 일상적으로 수행해야 하는 측면에 대해 알려준다.
The procedural information or just-in-time is indicated by the rectangle with upward information pointing arrows. This information is offered at the task-level and informs learners on how to perform ‘‘recurrent’’ aspects of learning tasks, that is, aspects to be performed as routines after the educational program has been completed.
마지막 구성 요소는 직사각형으로 그룹화된 작은 원으로 표시되는 파트 작업 관행이다. 파트-태스크 연습은 많은 반복적인 연습을 포함하며, 작업의 특정 반복적인 측면에 대해 매우 높은 수준의 자동화가 필요할 때 제공된다. 더욱이, 부분과제part-task 연습은 연습 시리즈(다이아몬드로 표시)의 마지막에 성찰 과제를 수반할 수 있다. 목적은 스키마 자동화를 강화하는 것이며, 따라서 일반적으로 연장된 반복 연습이 필요하다.
The last component is the part-task practice, indicated by the small circles grouped in a rectangle. Part-task practice involves a lot of repetitive practice and is provided when a very high level of automaticity is required for a particular recurrent aspect of the task. Furthermore, part-task practice can be accompanied by a reflection task at the end of the practice series (indicated by a diamond). The aim is to strengthen schema automation, and hence it typically involves extended repetitive practice.
그림 1에 표시된 마지막 요소는 테스트(우측 화살표로 표시됨)이다. 이 시험은 학생의 이미 이용할 수 있는 관련 지식을 평가하는 것 이상의 것으로, 학생들에게 수행 기준에 대해 알리고 학습 과제의 주제와 복잡성을 소개한다.
A last element that is represented in Figure 1 is the test (indicated by the right-pointing arrow). More than assessing a students’ already available relevant knowledge, this test informs students about the performance standards and introduces them to the topic and complexity of the learning tasks.
네 가지 구성요소를 확인하는 것은 설계 프로세스의 한 부분일 뿐이다. 4C/ID 기반 학습 환경의 우수한 설계를 지원하는 추가적인 보조 활동이 있다.
identifying the four components is only one part of the design process. There are additional, auxiliary activities that support the good design of a 4C/ID-based learning environment.
이 활동들은 함께 설계 과정을 구성하는 10단계(전 과업 코스 개발로) 또는 10단계(반 메리 nnboer & Kirschner 2013)로 기술된다.
Together, these activities are described as the 10 steps (to whole-task course development) or the 10 activities that make up the design process (van Merrie¨nboer & Kirschner 2013).
전과제 기반 의료 코스의 내용 개발 10단계
Ten steps to develop the content of the whole-task based medical course
구성 요소 1: 학습 태스크
Component 1: Learning tasks
첫 번째 요소(그림의 순서 1에서 큰 원으로 표시됨)는 학습 과제(반 메리 nnboer & 반 데르 벨루텐 2012)로 구성되며, 이는 의사의 전문적인 과제를 더 많이 반영한다. 그것들은 세 단계로 요약될 수 있다.
The first component (indicated with large circles in Figure sequence 1) comprises a of learning tasks (van Merrie¨nboer & van der Vleuten 2012), which more or less mirrors the physician’s professional tasks. They can be concretized in three steps.
1단계: 학습 과제 설계
Step 1: Design learning tasks
학습과제는 의사들이 일하는 것을 대표할represent 수 있는 방법으로 선택된다. 이른바 ‘전체적인 과제’나 복잡한 문제다. 더 높은 학습 전달에 기여하기 위해, 실제 상황에서처럼, 과제마다 서로 다르다.
The learning tasks are chosen in such a way that they are representative for the physicians work. They are so-called ‘‘whole tasks’’ or complex problems. In order to contribute to a higher transfer of learning, the tasks vary from one another as they would in a real-life situation.
예를 들어 당뇨병 환자의 발을 평가하는 법을 배울 때, 과제는 간단하고 복잡한 상황, 신경증이나 궤양이 없거나 없는 발 평가, 환자의 건강 상태에 대한 거의 또는 많은 정보를 갖는 것 등에 초점을 맞출 수 있다. 이 '연습의 가변성'은 지식, 기술 및 태도가 익숙하지 않은 다른 상황에 전이transfer되는 데 크게 기여한다(Norman 2009).
For example, when learning to assess the diabetic patient’s foot, tasks can focus on simple and complex situations; assessing the foot without or with neuropathy or ulcers; having little or much information about a patient’s health condition, and so forth. This ‘‘variability of practice’’ greatly contributes to the transfer of knowledge, skills and attitudes to other, non-familiar situations (Norman 2009).
대부분의 학습 과제에는 일상적 측면과 비 루틴적 측면이 모두 포함된다.
일상적인 측면은 예를 들어, 병력 청취 중 일련의 질문을 하거나 당뇨병 환자의 발을 임상적으로 검사하는 것으로, 학생들이 교육 프로그램을 완료한 후 일상적으로 수행될 것임을 나타내기 위해 '반복적recurrent' 측면이라고도 한다.
비루틴적인 측면은 학생들에게 다소 생소하고, 노력이 필요하며, 특정한 결과를 가지고 있는 행동이다; 그것들은 학생들이 교육 프로그램을 마친 후에도 여전히 문제 해결, 추론 또는 의식적인 의사결정을 요구한다는 것을 나타내기 위해 '비반복적인' 측면이라고도 불린다.
Most learning tasks include both routine and non-routine aspects.
Routine aspects are, for example, asking a sequence of questions during history taking or a clinical examination of the diabetic’s foot; they are also called ‘‘recurrent’’ aspects, in order to indicate that they will be performed as routine after students have completed the educational program.
Non-routine aspects are actions that are rather new to students, require effort and have a problem specific outcome; they are also called ‘‘non-recurrent’’ aspects to indicate that they still require problem solving, reasoning or conscious decision making after students have finished the educational program.
예를 들어, 다양한 출처의 정보(병력 청취, 임상 검사 및 혈액 검사 결과)를 결합하는 것은 문제 해결 행동과 인지 전략의 적용에 참여하기 위해 인지 스키마타의 조합을 필요로 하는 비반복적 기술이다(van Merrie bonboer et al. 2002).
For example, combining information from various sources (history taking, clinical examination and blood test results) is a non-recurrent skill that requires the combination of cognitive schemata in order to engage in problem-solving behavior and the application of cognitive strategies (van Merrie¨nboer et al. 2002).
과제마다 내용과 제시방식에 차이가 있을 뿐 아니라, 과제마다 instruction이 다를 수 있다. 또한, 학생이 프로그램을 진행함에 따라 지원 및 지침이 감소하고(그림 1의 원 채우기 참조), 특정 과제에 대해서는 과제 완료 후 학생들이 성찰이 요구된다(그림 1의 줄무늬 다이아몬드 참조).
Besides varying in their content and presentation, tasks may also vary in their instruction. Moreover, there is a decrease in support and guidance as the student proceeds through the program (see the filling of the circles in Figure 1) and for particular tasks, students are invited to reflect after task completion (see striped diamonds in Figure 1).
제공되는 방법에 대한 표시가 있는 모든 유형의 학습 과제는 부록 A http://informahealthcare.com/journal/mte에서 보충 자료로 제공된다.
All types of learning tasks with indications on how they can be offered are listed in Appendix A, available as Supplemental Material at http://informahealthcare.com/journal/mte.
학습 과제의 또 다른 다양성은 [과정 중에 완료할 수 있는 과제]와 [직장 기반 학습 과제]의 구별이다. 그러한 과제의 예는 다음과 같다: 병력청취를 관찰하고 성찰하는 것, 다원적 팀 회의에 참여하는 것, 처방전을 작성하는 것, 그리고 의사나 인턴십 트레이너로부터 피드백을 요청하는 것.
Another variation in learning tasks is the distinction between tasks that can be completed during the course and workplace-based learning tasks. Examples of such tasks are as follows: observing and reflecting on history taking; participating in a multidisciplinary team meeting, writing prescriptions and asking feedback from the physician or internship trainer.
2단계: 평가 도구 개발
Step 2: Develop assessment instruments
다른 역량 기반 커리큘럼에서와 같이 평가 도구는 복잡한 학습 과정에서 중요한 요소다.
As in any other competency-based curriculum, assessment instruments are crucial elements in the process of complex learning.
4C/ID 모델에서 주요 목표는 지식, 구성 기술 및 태도의 통합과 조정을 필요로 하는 일련의 '전체 과제whole task'를 성공적으로 완료하는 것이다. 모든 구성적 기술이 평가 도구에서 표현되도록 하기 위해, 모든 업무, (구성적) 기술 및 그 기술 사이의 상호 관계를 나타내는 평가 매트릭스를 개발할 수 있다.
In the 4C/ID model, the main objective is the successful completion of a set of ‘‘whole tasks’’, which requires the integration and coordination of knowledge, constituent skills and attitudes. To ensure that all constituent skills are represented in the assessment instruments, one could develop an assessment matrix representing whole tasks, (constituent) skills and interrelations between those skills.
목표의 일부는 [허용 가능한 수행능력에 대한 표준]이다. 이 표준에는 관련 기준(예: 오류 없이 10분 이내), 값(예: 당뇨병 관리에 대한 최근 지침을 고려하고 전자 건강 기록에 따라) 및 (예: 치료에 대한 관련 태도를 제시하고 대화에서 능동적인 청취 기법을 사용하는)이 포함된다.
Parts of the objectives are standards for acceptable performance. These standards include relevant criteria (e.g. without error and within 10 minutes), values (e.g. taking into account the recent guidelines for diabetes management and in accordance with the electronic health record) and (e.g. giving relevant attitudes arguments for treatment and using active listening techniques in a conversation).
학생들에게 성능 기준에 대해 알리기 위해 학습 모듈 시작 시 [자기 평가 퀴즈]를 제공할 수 있다.
To inform students about the performance standards, one could offer a self-assessment quiz at the beginning of a learning module.
이 시험은 학생들의 선행지식을 활성화시키는 반면, 학생들은 그들의 성과를 평가할 기준에 익숙해진다.
this test activates a students’ prior knowledge (Merrill 2002); while on the other hand, students become familiar with the standards by which their performance will be evaluated.
학생들에게 전문적 행동과 연계된 원하는 수행 기준을 알려주는 한 가지 방법은 worked example를 사용하는 것이다. 작업한 예worked example는 상담 비디오, 환자로부터 동기부여 면접을 받기 위한 단계별 접근, 모범적 해결책(부분)을 제공함으로써 학생이 가장 적절하거나 정확한 답을 얻는 지식 테스트 등의 형태를 취할 수 있다. Worked example의 핵심은 전문가의 행동인 '황금기준'을 보여주는 것이다. 이와 같이, 업무 예제 업무는 해결책뿐만 아니라 해결책까지 나올 수 있는 모델링 작업이 된다. 이것은 학생들이 허용 가능한 성과에 대한 표준을 인식하고 결과에 도달하기 위해 적절히 행동하도록 돕는다.
One way to inform students about the performance desired standards linked to the professional behavior (to what standards will their performance be compared?) is to use worked examples. A worked example can take the form of a video of a consultation, a step-by-step approach for taking a motivational interview from a patient, a knowledge test where the student is guided toward the most appropriate or correct answer by offering (parts of) a model solution and so forth. Central in a worked example is that it reflects the ‘‘golden standard’’, the expert behavior. As such, a worked example task becomes a modeling task where not only the solution is offered but also the process to come to the solution. This helps students to recognize the standards for acceptable performance and to act accordingly to reach the outcomes.
그러나 우리는 모든 학생들이 기초적인 기준을 인식할 수 있거나, 전문가의 행동에서 중요한 것과 그렇지 않은 것을 구별할 수 있다고 가정할 수는 없다. 따라서 학생들은 과제를 완료하는 동안 또는 완료 후에 평가될 허용 가능한 성과에 대한 기준에 따라 전문가의 성과를 평가하도록 요청받을 수 있다(Gulikers et al. 2008, Fastre et al. 2010). 그렇게 함으로써, 수행 목표와 표준은 실제적인 맥락에서 학생들에게 소개된다. worked example는 지원 정보의 일부로 제공되어서, 필요할 때 사용할 수 있도록 유지하는 것이 이상적이다(그림 1의 가장 낮은 막대 표시, 우리는 작업 예를 나타낸다). 이로서 학생들은 자기주도적 방식으로 worked example과 그에 딸린 표준을 참조할 수 있다.
However, we cannot assume that all students are able to recognize the underlying standards, or that they can distinguish what is crucial in the expert’s behavior and what is not. Therefore, students can be asked to evaluate the performance of the expert according to the standards for acceptable performance by which they will be evaluated during or after task completion (Gulikers et al. 2008, Fastre´ et al. 2010). By doing so, performance objectives and standards are introduced to students in a real context. A worked example ideally stays available as part of the supportive information (indicated by the lowest bar in Figure 1; WE stands for worked example). Students are thus able to consult the worked example and its accompanying standards on a self-directed basis.
자기주도학습 촉진에 발맞추어 의학교육 설정에서 두 가지 유형의 평가를 적용할 수 있다(반 메리 dernboer & 반 데르 블뤼텐 2012):
In line with promoting self-directed learning, two types of assessments can be applied in the setting of medical education (van Merrie¨nboer & van der Vleuten 2012):
(1) Supported assessment: 모든 보조교재를 이용할 수 있는 상태, 상담이 제공되는 상태에서 학생을 평가.
(1) supported assessment in which students are assessed while all supporting materials are available and can be consulted in the learning environment
(2) Unsupported assessment: 학습환경에서 더 이상 지원을 받을 수 없고 학생이 정규 의료실무와 같이 자기주도적인 기준으로 정보를 찾아야 하는 상태에서 평가
(2) unsupported assessment in which support is no longer available in the learning environment and students have to seek information on a self-directed basis as in regular medical practice.
필요한 경우, 학생들에게 작업 중 [작은 부분의 자동화]를 촉진하기 위한 파트타임 실습 교육을 받는다. (예: 동기부여 커뮤니케이션 기술 연습). 학생들은 전반적인 업무 성과를 개선하기 위해 과제의 일부에 대한 이해를 깊게 할 수 있다 (예: 환자와의 동기부여 대화에서 여러 단계를 구별하는 방법). 즉각적인 피드백이 제공되며, 파트-태스크 연습과 작업의 작은 부분을 반복적으로 수행할 수 있는 기회가 제공된다.
If necessary, students are instructed with part-task practice to foster automation of smaller parts of the task (e.g. practicing motivational communication skills) to deepen the understanding of parts of the task (e.g. how to distinguish the different phases in a motivational conversation with the patient) in order to improve their overall task performance. Furthermore, immediate feedback is provided as well as the opportunity to repeatedly perform the part-task practice and smaller parts of the task.
3단계: 학습 태스크 순서배열
Step 3: Sequence learning tasks
위에서 기술한 바와 같이, 일련의 다양한 업무들이 학습 환경의 중추를 형성한다. 이는 지식, 기술 및 태도의 통합을 촉진하며, 따라서 Merrie ̈nboer 역량 획득(van der & van Vleuten 2012)을 촉진한다. 따라서, 4C/ID 모델은 이른바 과제 수업에서 유사한 복잡성 수준과 유사한 필수 지식을 가진 [학습 과제를 그룹화]할 것으로 예측한다. 교육 프로그램 전체에 걸쳐 학습자는 [쉽고 간단한 작업 수업에서 점점 더 어렵고 복잡한 작업]으로 안내될 것이다.
As described above, a sequence of varying tasks forms the backbone of the learning environment. This facilitates the integration of knowledge, skills and attitudes, hence the Merrie¨nboer acquisition of competences (van der & van Vleuten 2012). Therewith, the 4C/ID model foresees to group learning tasks that have a similar complexity level and similar required knowledge in so-called task classes. Throughout the training program, learners will be guided from easy and simpler task classes to increasingly more difficult and complex task classes.
태스크 클래스는 성공적 수행을 위해 다른 지식이나 보다 정교한 지식을 요구하는 다른 복잡도 수준의 과제를 구성한다는 점에서 서로 다르다. 단, 한 업무 클래스 내의 업무는 복잡성과 관련하여 유사하지만, 다른 여러 측면에서는 서로 다를 수 있다. [태스크 클래스 내에서 태스크의 가변성을 보장]함으로써, 학습자가 스키마 기반 학습 전송을 허용하는 풍부한 인지 스키마를 개발할 수 있다(Paas & van Merrie ̈nboer 1994).
Task classes differ from each other in that they comprise tasks of a different complexity level requesting different knowledge or more elaborated knowledge for their successful performance. However, although tasks within one task class are similar with respect to complexity, they may differ from each other on many other aspects. Ensuring task variability within a task class, should enable learners to develop rich cognitive schemata, which allow for schema-based transfer of learning (Paas & van Merrie¨nboer 1994).
따라서 한 태스크 클래스 내의 여러 태스크는 현실의 가변성을 보여줘야 하며, 태스크와 관련된 지원 또는 지침의 양도 달라야 한다. 태스크 클래스 내에서 학습자에게 제공되는 지원은 점차 줄여나가야 한다: 첫 번째 태스크는 최대 지원을 수반하는 반면 마지막 태스크는 추가 지원이 없거나 최소한의 지원만 있어야 한다(그림 1의 원 채움으로 표시됨). 후속 작업 클래스에서 다시 한 번, 첫 번째 작업에는 최대 지원이 수반된다.
Tasks within a task class should therefore show variability of practice and, differ in the amount of support or guidance that is associated with the tasks. Within a task class, there is a decrease in the support offered to the learner: the first task is accompanied by maximal support, while the last task has no or minimal additional support (indicated by the filling of the circles in Figure 1). In the subsequent task class, then again, the first task is accompanied by maximal support.
표 1은 학습 과제 개발을 위한 관련 원칙을 요약한 것이다.
Table 1 summarizes the relevant principles for the development of learning tasks
삽화
Illustration
학습 모듈. 본 가이드에서는, KU Leuven General Practice 부서에서 개발한 "당뇨병 환자"와 "열병을 앓고 있는 어린 아이"라는 모듈을 사용하여 4C/ID 기반 학습 환경을 개발하고 구축할 수 있는 방법을 설명한다.
Learning modules. Within this Guide, the modules ‘‘Patient with diabetes’’ and ‘‘The young child with fever’’, both developed at the KU Leuven General Practice Department, are used to illustrate how one can develop and structure a 4C/ ID-based learning environment.
태스크 클래스. 학습 모듈에 들어가면 모듈의 구조(과제 수업)와 과제의 양에 대한 개요를 받을 뿐만 아니라, 과제 수업당 성과목표(과제수업을 마친 후 무엇을 할 수 있을 것인가), 시기 및 마감시간, 퀘스트시 누구에게 연락할 것인가에 대해서도 알려준다.내용에 관한 토막글
Task classes. When students enter the learning module, they not only receive an overview of the structure of the module (task classes) and the amount of tasks but they are also informed about the performance objectives per task class (i.e. what they will be able to do after finishing the task class), the timing and deadlines and who to contact in case of questions about the content.
학습 모듈. '당뇨병 환자'에서는 4개의 과제 클래스로 과제를 지시하는데, 모두 학습 모듈의 메인 화면을 그림 2에 그래픽으로 표시하였다. 각 태스크 클래스는 CanMEDS 역할 중 하나에 추가로 초점을 맞추고 있으며 이전 태스크 클래스보다 더 복잡하다. 학습 모듈의 첫 번째 과제 클래스는 당뇨병에 대한 선언적 지식(진단 및 치료 등)에 초점을 맞춘 과제와 사례 연구로 구성된다. 2차 과업수업도 진단과 치료에 대한 과제를 제공하지만 연습의 초점을 당뇨병 환자의 관리로 옮겨 협업자 및 전문가로서의 의사의 역할을 강조한다. 그 후 세 번째 과제수업은 관리자의 역할을 강조하는 과제를 제공하고, 네 번째(그리고 마지막) 과제수업은 통신자의 역할을 강조한다. 한 태스크 클래스에서 다른 태스크 클래스에 포커스(각각 더 많은 도메인 지식의 획득을 의미한다)를 추가함으로써 복잡성은 점차 증가한다.
In the learning module ‘‘Patient with diabetes’’, the tasks are ordered in four task classes, all presented graphically in Figure 2 showing the main screen of the learning module. Each task class focuses additionally on one of the CanMEDS roles and is more complex than a previous task class. The first task class of the learning module comprises tasks and case studies focusing on the declarative knowledge about diabetes (like diagnosis and treatment). The second task class also provides tasks on diagnosis and treatment but shifts the focus of the exercises to management of patients with diabetes, hence stressing the role of the doctor as a collaborator and professional. The third task class then provides tasks emphasizing the role of manager, while the fourth (and last) task class stresses the communicator’s role. By adding foci (which each imply the acquisition of more domain knowledge) from one task class to the other, the complexity gradually increases.
과제. 학습 환경에서는 몇 가지 과제가 제공된다. 표 2는 다양한 유형의 작업에 대한 아이콘을 제공한다.
Tasks. Several tasks are offered in the learning environment. Table 2 provides the icons for different types of tasks.
학생이 완료할 수 있는 첫 번째 과제(그림 3 파트 A 참조)는 문제 기반 지식 테스트의 실무 예다. 이 시험의 질문에 답함으로써 학생들은 자신의 지식에 대한 정보를 얻고, 그들의 답에 대한 피드백을 받고, 질문에 대한 전문가의 대답과 답을 얻기 위한 추리 과정을 제공받는다. 또한, 태스크 클래스의 내용과 허용 가능한 성능에 대한 표준이 무엇인지에 대해 소개된다. 따라서 학생들은 과제수업을 마친 후에 어떤 지식, 기술 및 태도를 보여줄 것으로 예상되는지(즉, 성과목표).
The first task (the large circle, see Figure 3, part A) for students to complete is a worked example, in this case, a problem-based knowledge test. By answering the questions on this test, students obtain information about their knowledge, receive feedback on their answers and are provided with the expert’s answer to the question and the reasoning process to come to the answer. Furthermore, they are introduced to the content of the task class and what the standards are for acceptable performance. Hence, students are informed about what knowledge, skills and attitudes they are expected to demonstrate after completing the task class (i.e. the performance objectives).
두 번째 과제(책 아이콘이 있는 사각형, 그림 3, 파트 B 참조)는 전체 작업 클래스에 대한 지원 정보를 나타낸다. 학생들은 이 과제를 완료하기 위해 자료를 읽도록 지시 받는다. 이것들은 이론적 개요와 과정 장에 초점을 맞춘 문서와 웹 링크에 의해 제공된다. 이 지원 정보는 모든 업무에서 이용할 수 있다. 이것은 또한 가장 낮은 막대로 시각적으로 표시된다(그림 3 파트 F 참조). 다음 절에서는 지원 정보의 설계에 대해 좀 더 자세히 설명한다.
The second task (the square with the book icon, see Figure 3, part B) represents the supportive information for the whole task class. Students are instructed to read the materials as to complete this task. These are provided by documents and web links focusing on theoretical overviews and course chapters. This supportive information is available throughout all tasks. This is also visually presented by the lowest bar (see Figure 3, part F). In the next section, the design of the supportive information is described in more detail.
학생이 두 번째 과제의 일부로 지원 정보 문서를 읽은 후에는 몇 가지 과제가 제공된다(큰 원들에 의해 제시됨, 그림 3, 파트 C 참조). 예를 들어, 모듈 "당뇨병 환자"의 두 번째 작업 클래스는 관리에 초점을 맞추었다. 이 과업수업에서 두 번째 과제는 당뇨병에 걸린 환자의 관리 및 치료의 최적화 및 업데이트에 보다 구체적으로 초점을 맞추었다. 이 과제를 완료하기 위해 학생들은 10개의 질문에 다른 형식으로 답해야 했다(복수 답변, 정렬, 즉 빈칸 채우기, 완료 등). 그림 4는 끌어서 놓기 형식으로 질문의 예를 보여준다.
After a student has read the supportive information documents as part of the second task, several tasks are offered (presented by the large circles, see Figure 3, part C). For example, the second task class in the module ‘‘Patient with Diabetes’’ focused on management. The second task in this task class more specifically focused on the optimization and update of management and treatment for patients with diabetes. To complete this task, students had to answer 10 questions in different formats (multiple answer, sort, fill-in-the-blank, complete, etc.). Figure 4 presents an example of a question in drag-and-drop format.
이 과제에 포함된 모든 질문들은 동일한 구조를 가지고 있었다. 즉, 환자 사례를 제시하거나 (이전 질문에 비해) 더 상세하게 제시하거나 (이전의 치료와 같이) 고려해야 할 더 많은 요소를 제시한다.
All questions in this task had the same structure: a patient case is presented, or is presented in more detail (as compared to a previous question), or is presented with more elements to take into account (like previous treatments).
과제의 대다수는 개별적인 완료를 목표로 하고 있지만, 다른 과업은 수업시간에 완료되거나 논의되는 그룹 과제나 과업이다. 이것은 사람 아이콘이 있는 원으로 표시된다(그림 3, 부분 D, 마지막 원 참조). 이러한 그룹 과제의 예는 다음과 같다: 수업시간 동안 그룹 토론이 뒤따른 환자 사례의 온라인 준비, 강의 시간 동안 피드백을 제공하는 강사와의 토론 포럼에서 환자 사례의 그룹 토론, 치료 계획의 공동 작성 등이다.
While the majority of tasks aim for individual completion, other tasks are group tasks or tasks that are completed or discussed during class hours. This is indicated by the circle with a people icon within (see Figure 3, part D, last circle). Examples of such group tasks are as follows: the online preparation of a patient case followed by a group discussion during class hours, the group discussion of a patient case on the discussion forums with the instructor providing feedback during class hours, a collaborative writing of a treatment plan, and so forth.
그림 3 (E부)에 묘사된 마지막 아이콘은 대면 클래스다. 이 수업에서 강사는 학습 모듈의 학습 결과에 대한 피드백을 제공할 수 있다. 강사는 컴퓨터 기반 환경에서 과제 완료 학습 중에 지식, 기술 또는 태도의 차이가 확인되면 추가 정보를 제공할 수 있다(작업의 컴퓨터 기반 수정에 기반함).학습 모듈에서 논의된 특정 주제에 대한 광석(포럼 게시물 및 토론 스레드 기준) 또한 대면 수업 아이콘은 언제 학생들이 과제를 완료할 것으로 예상되는지를 나타낸다. 즉, 수업이 구성되기 전, 수업 전후 또는 후에 말이다.
A last icon that is depicted in Figure 3 (part E) is the face-to-face classes. During these classes, instructors can provide feedback on students’ learning outcomes of the learning module; they can provide additional information if any gaps in knowledge, skills or attitudes were identified during task completion learning in the computer-based environment (based on computer-based correction of tasks); and they can elaborate more on certain topics that were discussed in the learning module (based on forum posts and discussion threads). also The face-to-face class icon indicates when students are expected to complete the tasks: before, around or after the class is organized.
마지막 유형의 업무는 훈련 또는 직장에 기반한 업무와 관련된다. 예를 들어, 학습 모듈 "노인을 위한 관리"의 교육 과제 중 하나는 다음과 같다: " 인턴 기간 동안 당신은 나이든 환자들을 만나게 될 것이다. 해당 환자 중 한 명의 이니셜을 기록하고 이 환자를 훈련 감독관과 상의하십시오. 노인을 위한 장기적인 건강관리 계획을 어떻게 수립하십니까? 당신이 자신의 일반적인 관행에서 할 수 있는 일은 무엇인가? 주의가 필요한 포인트는 무엇인가? '노인을 위한 돌봄' 3급으로 보고서를 가지고 오십시오. 과제 수업 내 업무의 복잡성이 증가함에 따라 학생은 노인 의료에 대한 모든 지식과 기술을 통합해야 하며, 일반 개업의(의료 전문가, 환자, 가족, 간호사, 동료, 건강과의 커뮤니케이션 및 협업자)로서 의사로서 그리고 좀 더 구체적으로 여러 역할을 수행할 수 있어야 한다. 환자 및 관리 및 계획에 관한 전문가)를 대상으로 교육 또는 작업 공간 작업을 완료한다. 더욱이 훈련 과제에는 지원되지 않는 평가가 수반된다(반 메리 ̈nboer & 반 데르 벨루텐 2012). 모든 지원 자료를 이용할 수 있고 업무에 대한 지원의 양이 점차 줄어든 컴퓨터 기반 학습 환경에서 과제 완료 중 (지원) 평가와 달리, 학생들은 이제 자신의 미래 의료 관행에서도 정보를 찾아야 하기 때문에 자기 주도적인 기준으로 정보를 찾아야 한다. 이는 업무수업 내에서 업무에 대한 지원 및 지침의 양을 줄이는 원칙과 일치한다. 마지막 과제 집합에는 기본 제공 지원이 없으므로 학생들에게 최소한의 지원이나 지원을 제공하지 않는다. '자신의 의술에서 할 수 있는 일이 무엇인가?'와 같은 질문들은 학생들이 고의적인 연습을 하고 그들 자신의 (미래) 수행을 반성하도록 장려한다. 또한, 학생들은 훈련 감독관( 인턴 기간 중)과 강사(수업 시간 중)로부터 피드백을 받고, 다시 의도적인 실천을 도모한다. 학생들의 인턴십을 학습 과정의 연장선상으로 명시적으로 고려함으로써, 교실 학습과 인턴십 학습 사이의 이전(그리고 그 반대).
A last type of tasks pertains to training or workplace-based tasks. For example, one of the training tasks in the learning module ‘‘Care for the elderly’’ is the following: ‘‘During your internship you will meet older patients. Note the initials of one of those patients and discuss this patient with your training supervisor. How do you set up a long-term healthcare plan for the elderly? What is possible for you to do in your own general practice? What are the points that need attention? Please bring your report with you to class 3 of ‘Care for the elderly’’’. Because of the increasing complexity of tasks within a task class, a student needs to integrate all knowledge and skills about elderly healthcare and should be able to take multiple roles as physician and more specifically, as a general practitioner (medical expert; communicator to and collaborator with patients, family, nurses, colleagues; health promoter towards patients and professional with respect to management and planning) to complete the training or workplace tasks. Moreover, the training tasks are accompanied with unsupported assessment (van Merrie¨nboer & van der Vleuten 2012). Unlike the (supported) assessment during task completion in the computer-based learning environment where all support materials were available and where the amount of support decreased gradually over tasks, students now have to seek information on a self-directed basis as they also should seek information in their future medical practice. This is in line with the principle of decreasing the amount of support and guidance for tasks within a task class. The last set of tasks has no built-in support hence providing minimal or no support to students. Questions such as: ‘‘What is possible for you to do in your own medical practice?’’ encourage students to engage in deliberate practice and to reflect on their own (future) performance. Moreover, students receive feedback from both the training supervisor (during internship) and the instructor (during class hours), again fostering deliberate practice. By explicitly considering the students’ internship as the extension of their learning process, transfer between classroom learning and internship learning (and the other way around) is increased.
구성 요소 2: 지원 정보
Component 2: Supportive information
전통적으로 '이론'이라고 불리는 지원 정보는 학습자들이 학습 과제의 문제 해결과 추론적인 측면을 이해하는데 도움을 준다. 일반적으로, 지원 정보는 학습 과제의 비반복적 측면, 즉 교육 프로그램의 완료 후에도 문제 해결, 추론 또는 의식적인 의사결정이 필요한 측면의 결실을 맺기 위해 중요하다.
Supportive information, traditionally called ‘‘the theory’’, helps learners with the problem solving and reasoning aspects of the learning tasks. Typically, supportive information is important for the fruitful completion of non-recurrent aspects of learning tasks, that is, those aspects that require problem solving, reasoning or conscious decision making even after the completion of the educational program.
그림 3
Figure 3,
4-6단계: 설계 지원 정보
Steps 4–6: Design supportive information
지원 정보는 학습자에게 학습 과제의 [비루틴적 측면]을 완료하는 데 필요한 새로운 정보를 제공한다. 따라서 제공된 지원 정보는 각 태스크 클래스의 내용에 맞춰 조정되며, 학습자는 필요에 따라 액세스할 수 있다. 지원 정보는 학습자가 [인지 스키마](예: 임상 추론이나 의사결정을 위한 질병 스크립트, 치료 프로토콜, 체계적인 접근법 및 규칙)를 구성하도록 도울 뿐만 아니라, 학습자가 자신의 스키마를 전문가 또는 동료 학생의 스키마와 비판적으로 비교하고 대조하도록 유도하여 [인지적 피드백]을 제공할 수 있다.
The supportive information provides the learner with new information that is needed to complete the non-routine aspects of learning tasks. The provided supportive information is hence tailored to the content of each task class and can be accessed in accordance with the learners’ needs (already existing and yet to be acquired knowledge). It helps learners to construct cognitive schema (e.g. illness scripts, treatment protocols, systematic approaches and rules-of-thumb for clinical reasoning or decision making), but it can also provide cognitive feedback, inviting the learners to critically compare and contrast their own schema with those of experts or peer students.
지원 정보에 의해 반영되는 [인지적 스키마]는 두 가지 형태로 나타난다.
The cognitive schema, as reflected by the supportive information, come in two forms.
첫째, 인지 전략(5단계)이 있으며, 휴리스틱스 및 일반 규칙과 같은 이 영역에서 문제 해결에 대한 체계적인 접근법을 제공한다.
First, there are the cognitive strategies (step 5), providing systematic approaches to problem solving in this domain, like heuristics and rules-of-thumb
둘째, 학습영역이 어떻게 구성되어 있는지를 반영하는, 학습영역 내에서 추론을 가능하게 하는 정신적 모델(6단계)이 있다.
second, there are the mental models (step 6) that reflect how the learning domain is organized and hence allow for reasoning within the learning domain.
예를 들어 당뇨병 환자에 대한 치료 계획은 내과의사에게 당뇨병 환자의 치료와 추적에 대한 체계적인 접근법을 제공한다. 반면에 멘탈 모델은 적극적으로 만들어지고 비슷한 상황을 겪은 이전의 경험에 의해 알려지는 개인적인 이론으로 묘사될 수 있다.
For example, treatment plans for patients with diabetes provide physicians with a systematic approach toward treatment and follow-up of patients with diabetes. Mental models, on the other hand, can be described as personal theories that are actively created and are informed by previous experiences with similar situations.
태스크 클래스 내의 서로 다른 태스크에 대한 이 지원 정보의 관련성을 고려할 때, 지원 정보는 태스크 클래스의 시작 부분에서 제공되며 태스크 클래스의 작업 동안 계속 사용할 수 있어야 한다. 새로운 태스크 클래스는 조금 다르거나 더 정교한 지원정보를 필요로 할 것이다.
Given the relevance of this supportive information for the different tasks within a task class, this information is offered at the beginning of a task class and should stay available during the work in a task class. A new task class will also request (partly) different or more elaborated supportive information.
정신 모델과 인지 전략을 제공하는 것 외에, 지원 정보도 [인지적 피드백]을 제공한다. 이러한 유형의 피드백은 비반복적인 퍼포먼스 측면에 대해 제공된다(van Merrie rienboer et al. 2002). 수행의 비반복적인 측면은 단순히 '올바른' 또는 '잘못된' 것으로 평가될 수 없기 때문에, 인지적 피드백은 학습자가 문제 해결 과정에 대한 접근방식의 퀄리티를 성찰하도록 자극한다. 이는 세션, 동료 또는 전문가 비평 및 그룹 토론에 의해 수행될 수 있다(van Merrie nnboer et al. 2002). 이와 같이 인지 피드백은 학습자가 일련의 과제를 완료했거나 전체 과제 수업을 마친 후에 가장 잘 제공된다(Ban Merrie ̈nboer et al. 2002).
Next to the provision of mental models and cognitive strategies, supportive information also encompasses cognitive feedback. This type of feedback is provided on the quality of non-recurrent aspects of performance (van Merrie¨nboer et al. 2002). Because non-recurrent aspects of performance cannot simply be rated as ‘‘correct’’ or ‘‘incorrect’’, but rather as ‘‘more or less effective’’, cognitive feedback stimulates learners to reflect on the quality of their approach to the problem-solving process. This can be done by debriefing sessions, peer or expert critiques and group discussions (van Merrie¨nboer et al. 2002). As such, cognitive feedback is best offered after learners have completed a series of tasks or have finished a whole task class (van Merrie¨nboer et al. 2002).
요약하면, 지원 정보는 학습자가 학습 과제를 완료하는 동안 문제 해결, 추론 및 의사 결정과 관련된 비복구적 또는 비루틴적 측면을 수행하는 데 도움이 된다. 지원 정보의 단위는 태스크 클래스 수준에서 정의된다(단일 태스크 레벨이 아님).
Summarizing, supportive information helps the learner to carry out the non-recurrent or non-routine aspects related to problem solving, reasoning and decision making while completing the learning tasks. Units of supportive information are defined at the level of a task class (not at the level of single tasks).
표 3에는 지원 정보를 명시하기 위해 수행해야 할 단계가 요약되어 있다.
Table 3 summarizes the steps to be undertaken to specify the supportive information.
삽화
Illustration
지원 정보(그림 3, 파트 F)는 여러 가지 방법으로 제공된다. 첫째, 과제수업을 시작할 때, 학생들은 과제수업을 위해 설정된 성과목표(즉, 학습과제를 완료한 후에 무엇을 할 수 있을 것인가)와 성과기준(예: 허용가능한 성과를 기술하는 기준, 가치관, 태도)에 대해 알게 된다.
Supportive information (Figure 3, part F) is offered in several ways. First, at the start of the task class, students are informed about the performance objectives that are set for the task class (i.e. what they will be able to do after completing the learning tasks), and performance standards (i.e. criteria, values, attitudes that describe acceptable performance).
' 당뇨 환자와의 상담에 대비하여, 학생은 증거 기반 문헌을 집중적으로 검색하고, 관련 결론을 도출하며, 이를 사용하여 당뇨병 환자의 더 나은 진료 품질을 목표로 하며, 지배적 의료 정책과 일치하는 관리 계획을 도출할 수 있다.'
‘‘In preparation for a consultation with a diabetic patient, the student is able to perform a focused search for evidence-based literature, to faultlessly draw relevant conclusions, to use these to draw a management plan that aims at a better quality of care for his diabetic patient and that is in line with the ruling healthcare policy’’.
또한 첫 번째 과제(예제) 동안 학생들은 그들의 답에 대한 피드백을 받고 질문에 대한 전문가의 대답과 가장 적절하거나 수용 가능한 답에 도달하는 추론 과정을 제공한다. 이와 같이 학생들은 전문가들이 사용하는 인지전략과 정신모델에 대해 성찰하고, 도메인이 어떻게 구성되어 있는지에 대한 자신의 모델과 도메인 내 업무에 체계적으로 접근하는 방법을 강화할 수 있다.
Furthermore, during the first task (worked example) students get feedback on their answer and are provided with the expert’s answer to the question and the reasoning process to come to the most appropriate or acceptable answer. In this way, students are encouraged to reflect on the cognitive strategies and mental models that are used by experts and they can strengthen their own models of how the domain is organized and strategies of how to systematically approach tasks in the domain.
작업 예제(첫 번째 과제)를 완료한 후 학생들은 지원 자료를 읽게 된다. 전형적으로 이러한 자료들은 이론에 초점을 맞추고, 당뇨병 환자의 치료에 관련된 이론적이고 실용적인 통찰력에 초점을 맞춘 강의, 서술적 발표, 과정 문서와 연구 기사로 구성되어 있다. 이 정보는 필수 정보(즉, 학생은 모든 문서를 읽도록 강력히 권장됨)와 옵션 정보(즉, 학생은 나중에 과제수업과 학습 모듈의 과제를 진행하면서 문서를 읽을 수 있다)로 나뉜다.
After completing the worked example (first task), students are instructed to read a selection of supportive materials. Typically, these materials focus on the theory and comprise a lecture, a narrative presentation, course documents and research articles focusing on theoretical and practical insights that are relevant in the treatment of patients with diabetes. This information is divided into compulsory information (i.e. the student is strongly encouraged to read all documents) and optional information (i.e. the student can read the documents at a later time, while progressing through the tasks in the task class and learning module).
학생들에게 지원 정보를 제공하는 마지막 방법은 과제 수행에 대한 [인지적 피드백]을 제공하는 것이다. 이러한 유형의 피드백은 학생들에게 [정답을 제공하고 (가장) 적절한 답에 도달하기 위한 문제 해결 접근법을 제시]함으로써 학생들의 대답과 솔루션에 대한 정교한 피드백을 포함한다. 이와 같이, 이 피드백은 기존의 [정신 모델과 관련될 수 있는 정보]와 [문제 해결을 위한 학생의 인지 전략(이론적인 통찰력, 배제 및 포함 기준 등)]에 연결되며, 궁극적으로는 학생들에게 지원 정보를 consult or re-consult하도록 제안한다.
A last way by which supportive information is offered to students is by providing them cognitive feedback on task performance. This type of feedback comprises elaborated feedback on students’ answers and solutions by providing the student with the correct answer and by presenting the problem solving approach to reach the (most) appropriate answer. As such, this feedback links to information that can be related to existing mental models and to a students’ cognitive strategies for problem solving (like theoretical insights, exclusion and inclusion criteria) and eventually suggests students to consult or re-consult the supportive information.
과제 수행에 대한 [인지적 피드백]의 구체적인 형태는 '성찰 촉진자prompt'에 의해 제공된다. 이러한 프롬프트를 사용하면 학생들이 전문가나 동료의 성과를 반성하거나 자신의 성과에 대해 스스로 성찰하도록 촉구할 수 있다(Paas & van Gog 2009). 실제적인 관점에서, 성찰 프롬프트는 [강사가 제공한 토론 주제 또는 동료가 제공한 과제 솔루션에 대하여 협력적으로 토론]하도록 권장하는 보조과제로 주어질 수 있다. 동료들로부터의 이러한 피드백을 바탕으로, 학생들 스스로도 다시 그들의 성과를 성찰하도록 유도되어, 의도적인 연습 기술의 개발을 장려한다.
A specific form of cognitive feedback on task performance is provided by ‘‘reflection prompts’’. The use of such prompts can urge students to reflect on experts’ or peers’ performance or to self-reflect on their own performance (Paas & van Gog 2009). From a practical point of view, reflection prompts can be given as side-tasks where students are encouraged to collaboratively discuss topics provided by the instructor or task solutions provided by peers. Based on this feedback from peers, students themselves are again prompted to reflect on their performance, encouraging the development of deliberate practice skills.
구성요소 3: 절차 정보
Component 3: Procedural information
과제의 비-루틴적인 측면에 초점을 맞춘 지원 정보와는 대조적으로, 절차적 정보 또는 '적시 정보'는 [학습자가 학습 과제의 반복적 측면을 어떻게 수행해야 하는가], 즉 교육 프로그램이 완료된 후 일상적으로 수행해야 하는 측면에 대한 정보를 제공한다.
In contrast to supportive information that focuses on non-routine aspects of tasks, procedural information or ‘‘just-in-time information’’ provides information on how to perform recurrent aspects of learning tasks, that is, those aspects that need to be performed by the learner as routines after the educational program has been completed.
제시된 절차 정보는 [스키마 자동화]를 촉진해야 하며, 그렇게 하기 위해서는 작업 중에 스키마 자동화를 가장 잘 이용할 수 있어야 한다. 이것은 학습자가 과제를 수행하는 동안 필요한 정보로서, 따라서 과제를 수행하는 데 처음 필요할 때 정확히 주어지는 것이 가장 좋다(즉, 정확 and 적시). 이러한 유형의 정보는 절차를 수행하는 데 필요한 절차와 규칙, 사실 및 개념을 구성하므로 단계별로 제공된다.
The presentation of procedural information should facilitate schema automation and in order to do so, it should best be available during working on the task. This is information that learners need while performing a task, and hence it is best given exactly when they first need it to perform a task (i.e. precisely and just-in-time). This type of information is given step-by-step, since it constitutes the procedures and rules, facts and concepts needed to perform the routine;
이 정보는 전체 과제에 걸쳐 언제나 이용할 수 있으며, 학습자의 기술이 증가함에 따라 점차 사라지거나 줄여나가야 한다. 절차 정보를 제공하는 한 가지 방법은 교정적 피드백이다. 학습자가 효과적인 수행을 기술하는 규칙을 올바르게 적용하지 않으면 오류를 범한다고 지적하는 것이다. 이처럼 잘못된 규칙 적용이 감지된 직후, 교정적 피드백을 제시해야 한다(반 메리 ̈nboer & Kirschner 2013).
The information is available throughout the whole task and gradually disappears or fades away as the learner’s skill increases. One way to offer procedural information is corrective feedback. When learners do not correctly apply the rules that describe effective performance, it is said that they make an error. Immediately after such a misapplication of a rule is detected, corrective feedback should be presented (van Merrie¨nboer & Kirschner 2013).
7–9단계: 설계 절차 정보
Steps 7–9: Design procedural information
지원 정보의 개발에서와 같이 이미 유용한 지침 자료(예: 매뉴얼, 체크리스트, 빠른 참조 가이드 및 직무 지원서)가 있는 경우, 추가 개발이 필요 없으며, 해당 자료를 적절한 학습 과제와 연계할 수 있다. 그러나 새로운 절차 정보가 개발되어야 한다면 8단계와 9단계가 도움이 될 수 있다.
As in the development of supportive information, if there are already useful instructional materials available (e.g. manuals, checklists, quick reference guides and job aids), then no further development is required, and the materials can be linked to the appropriate learning tasks. However, if new procedural information needs to be developed, then steps 8 and 9 can be helpful.
표 4에는 절차 정보와 관련된 단계가 요약되어 있다.
Table 4 summarizes the steps related to the procedural information.
삽화
Illustration
절차 정보(그림 3, 파트 G)는 개별 과제의 수준에서 제공되며, 학습 과제의 일상적인 측면을 수행하는 방법에 초점을 맞추고, 따라서 적시에 제공하는 것이 가장 좋다. 이 절차 정보를 제시하기 위한 바람직한 방법은 단계별 지시다.
Procedural information (Figure 3, part G) is offered at the level of individual tasks, focuses on how to perform routine aspects of learning tasks and is therefore best provided just-in-time. A preferable way to present this procedural information is step-by-step instruction.
예를 들어 당뇨병 학습 모듈에서 첫 번째 과제는 상담의 일상적인 단계를 통해 학생들을 단계별로 지도하는 데 집중한다. 과제들은 '방문의 이유가 무엇인가?' '역사에서 가장 중요한 질문은 무엇인가?' '진단 가능성이 가장 높은 것은 무엇인가' '어떤 것이 가장 적절한 치료법인가?'와 같은 질문들에 초점을 맞추었다.
For example, in the Diabetes learning module, the first tasks concentrate on guiding the students stepwise through the routine steps of a consultation. Tasks focused on questions like ‘‘what is the reason for the visit?’’; ‘‘what is the key question in the history taking?’’; ‘‘what is the most likely diagnosis?’’; ‘‘what is the most suitable treatment?’’
절차 정보는 작업 수행 중 또는 작업 수행 후 교정적 피드백의 형태로 제공될 수도 있다. 업무는 몇 가지 연습이나 항목으로 나눌 수 있는데, 이는 업무에서 덜 효과적이거나 비효율적인 수행으로 이어질 수 있는 규칙의 오용을 즉각적으로 감지할 수 있다. 결과적으로, 학생들이 과제 내에서 해결한 모든 운동이나 항목 후에 교정 피드백을 제공할 수 있다.
Procedural information can also be offered in the form of corrective feedback during or after task performance. Tasks can be split up in several exercises or items as to be able to immediately detect misapplications of rules that could lead to less effective or non-effective performance on tasks. Consequently, corrective feedback can be offered after every exercise or item students solved within a task.
구성 요소 4: 부분과제 연습
Component 4: Part-task practice
직무의 특정 반복적인 측면에 대해 매우 높은 수준의 자동화가 요구되는 경우, 파트-태스크(부분과제) 연습이 도움이 될 수 있다. 목적은 스키마 자동화를 강화하는 것이며, 따라서 일반적으로 반복적인 연습을 많이 포함한다(표 5 참조). 부품 작업 연습이 항상 학습 환경의 일부인 것은 아니다.
Part-task practice may be helpful when a very high level of automaticity is required for a particular recurrent aspect of the task. The aimis to strengthen schema automation, and hence it typically involves a lot of repetitive practice (see Table 5). Part task practice is not always part of the learning environment,
10단계: 파트-태스크 실습 설계
Step 10: Design part-task practice
의료 교육에서 부분과제 연습은 일반적으로 임상 기술(혈압 측정, 간 팔팔 측정 및 근육 강화)과 기술 기술(예: 정맥주사, 봉합, 심폐소생술)뿐만 아니라 현장 진단 실습에도 초점을 맞춘다. 열이 있는 아동과 상담하여 학습 환경을 설계할 때 소아 전염병의 프로토타입적 예(스폿 진단) 진단에 대한 부분과제를 선택할 수 있다. 올바른 스폿 진단을 수행하는 이 기술은 매우 자동화될 필요가 있다. 학생이 관련 증상을 빠르게 인식하고, 무관한 증상을 배제하고, 진단 추론 과정을 완료하기 위한 다음 단계를 식별할 수 있어야 하기 때문이다.모든 질문에 대한 사진과 즉각적인 피드백이 포함된 온라인 퀴즈가 좋은 선택이 될 것이다.
Within medical education, part-task practice typically will focus on to-be-automatized parts of a consultation not only like clinical skills (measuring blood pressure, liver palpation and auscultation) and technical skills (e.g. venipuncture, suturing and CPR) but also practicing spot diagnoses. When designing a learning environment on the consultation with a child with fever, one may choose to offer part-task practice on the diagnosis of prototypical examples of childhood infectious diseases (spot diagnosis). This skill of performing a correct spot diagnosis needs to be highly automatized because it requires that a student is able to quickly recognize the relevant symptoms, to exclude irrelevant symptoms and to identify the next steps for completing the diagnostic reasoning process. An online quiz with photos and immediate feedback on every question would be a good option.
삽화
Illustration
그림 5는 복수 선택 형식의 일련의 파트타임 연습에 대한 개요를 제공한다.
Figure 5 provides an overview of a set of part-task practice exercises in the multiple-choice format.
구현 전략 및 관리 계획
Implementation strategy and management plan
(4C/ID 모델과 같이) 전체 작업 모델의 개발과 구현은 많은 실용적, 이론적 및 기술적 문제에 의해 억제되거나 심지어 억제되는 경우가 많다. 따라서 실행전략과 관리계획을 수립하는 것이 바람직하다.
the development and implementation of whole-task models (like the 4C/ID model) is often inhibited, even restrained, by many practical, theoretical and technical issues. Therefore, it is advisable to have an implementation strategy and management plan.
kotter(1995)가 제시하고 Steinert 등이 의학 교육에 적용한 변화를 선도하는 모델을 사용할 수 있다. (2007). kotter(1995)는 변화 과정에서 자주 발생하는 8가지 오류를 제시하고 성공적인 변화의 기회를 늘리기 위해 동일한 수의 조치를 제안했다. 표 6에서는 Kotter(1995년)가 설명한 바와 같이 의료 교육에서 혼합된 전체 직무 학습을 지향하는 변경 주기에서 취해야 할 추가 단계와 함께 그 조치가 나열되어 있다.
one could use a model for leading change, presented by Kotter (1995) and applied in medical education by Steinert et al. (2007). Kotter (1995) presented eight frequently made errors in the process of change and suggested an equal number of actions in order to increase the chance for successful change. In Table 6, the actions, as described by Kotter (1995), are listed together with additional steps to be taken in the change cycle toward blended, whole-task learning in medical education.
조치 1: 긴박감 설정
Action 1: Establish a sense of urgency
(의료) 교육의 어떤 관행을 개선할 수 있는지 정의하라. 단기 및 장기적 개선 사항 정의
Define what practices of (medical) education can an dshould be improved. Define short-term and long-term improvements
우리의 경우 이론과 실천의 통합이 충분하지 않고, 수업 중에 배운 것에서 인턴십 중에 본 것(그리고 그 반대로)으로 이전하는 것도 부족하다는 관측이 있었다. 그러나, 의학 교육이 복수의 역량의 통합적 획득을 점점 더 강조함에 따라, [학생들에게 교육을 제공하는 방법]과 [의학의 교육 목표] 사이에는 차이가 있었다. 이것은 교육 관행을 더 높은 수준으로 조정할 필요성에 대한 인식을 높였다.
In our case, there was the observation that there was not sufficient integration of theory and practice and that there was also a lack of transfer from what had been learned during classes to what was seen during internship (and the other way around). However, as medical education increasingly stresses the integrated acquisition of multiple competences, there was a discrepancy between the way instruction was offered to students and the goals of medical education. This led to a raised awareness for adjusting the educational practice toward a higher standard.
액션 2: 강력한 유도 연합 구성
Action 2: Form a powerful guiding coalition
이해관계자를 정의하라: 학습 환경의 최종 사용자, 학습 환경에 익숙한 교육 전문가, 콘텐츠 개발자, 교사 및 관리
Define the stakeholders: end-users of the learning environment, educational specialists familiar with (blended) learning environments, content developers,teachers and management
돌만스 외 연구진(2013년)이 제공하는 팁에 따라 이 과정에서 가장 중요한 것은 다음과 같다.
(1) 여러 의료 분야(통신 전문가, 당뇨병 전문가 및 의료 영상 전문가)와 교육 디자이너로 구성된 다분야 팀을 구성한다.
(2) 팀원이 서로 다른 역할(의료전문가, 콘텐츠 제작자, 콘텐츠 리바이저, 교육업무 감독자 등)을 수행하고, 교육방법에 대해 성찰할 수 있도록 준비 및 동기 부여한다.
In line with the tips that Dolmans et al. (2013) provide, it is of utmost importance in this process to
(1) form multidisciplinary teams comprising several medical disciplines (like communication experts, diabetes experts and medical imaging experts)and instructional designers, and
(2) prepare and motivate team members to fulfill different roles (medical expert, content creator, content reviser, supervisor for training tasks, etc.) and to reflect on their methods of instruction.
전자는 Authentic한 과제의 다양한 측면을 통합하는 균형 잡힌 전체 과제의 개발에 중요하다.
후자는 학습 환경의 개발, 성공적인 구현 및 후속 조치에 있어 부가 가치가 있다.
The first is crucial for the development of balanced, whole-tasks that integrate different aspects of authentic tasks;
the latter is of added value when it comes to the development, successful implementation and follow-up of the learning environment.
예를 들어, 학습 환경의 재/개발을 지원하기 위해 ID 모델을 사용하기로 결정하면 이해관계자는 모델의 모든 요소를 자산 가치asset value에 맞게 평가할 필요가 있다. 이를 설명하기 위해, 일반 사례 4C/ID 모델에서 일부 학습 모듈에서는 선택한 작업 측면에 대한 높은 수준의 자동성이 특정 학습 모듈의 목표의 일부가 아니기 때문에 파트 작업 관행의 구성요소를 제외했다. 강력한 guiding coalition은 [모델의 모든 요소를 자산으로 간주하는 교육설계자]와 [쉽고 실용적인 요소만을 고려하는 교사 및 콘텐츠 개발자] 사이에서 균형을 잡아준다.
For example, once decided to use an instructional design model to support the re/development of a learning environment, the stakeholders need to assess every element of the model to its asset value. To illustrate this, in the General Practice 4C/ID model, the component of part-task practice was left out in some learning modules because high levels of automaticity for selected task aspects were not part of the objectives of that specific learning module. A powerful guiding coalition forms a counterbalance for instructional designers that consider all elements in the model as assets (‘‘it is a validated model, after all’’), and for teachers and content developers that consider only those elements that are easy and practical to implement.
조치 3: 비전 생성
Action 3: Create a vision
증거 기반 원칙을 적용하라
Apply evidence-based principles
의학 교육 연구는 교육 디자인 연구로부터 경험적으로 타당한 원리를 조사하고 적용함으로써 진화할 수 있다. 예를 들어 인지 심리 연구는 의학 교육에 큰 가치가 있을 수 있다(2010년 추월). 이 값의 예시는 반 메리 nnboer & 스웨터(2010)가 보건 전문 교육에 인지 부하 이론을 적용할 수 있는 방법을 논의하는 데 있다. 이러한 맥락에서 매우 목적적합한 한 가지 원칙은 [초보 학습자에게 잘 적용되는 원칙이 항상 유익하지는 않으며 심지어 더 진보된 학습자에게 해로울 수 있음]을 나타내는 expertise reversal effect다.
Medical education research can genuinely evolve by investigating and applying empirically sound principles from instructional design research. Cognitive psychological research, for example, can be of great value for medical education (Schuwirth 2010). An illustration of this value is given by van Merrie¨nboer & Sweller (2010) discussing how cognitive load theory can be applied in health professional education. One principle that is highly relevant in this context is the expertise reversal effect indicating that principles that work well for novice learners are not always beneficial, and can even be detrimental, for more advanced learners.
예를 들어, 태스크 클래스의 시작 부분에서 제공되는 worked example는 이미 지식이 충분한 학습자에게는 불필요하다. Worked example는 [주의 깊은 학습을 필요로하는 완전한 해결책]을 제공하여 (novice) 학습자의 인지 부하를 줄이기 위해 도입되었다. 학습자는 해결책을 생성하기 위해 노력을 기울이는 대신, 전문적인 해결책을 연구하고 예를 상세히 설명하는데 모든 노력을 투자할 수 있다. 교육 혁신에 대한 비전을 정의하기 위해 어떤 교육적 설계 원칙이 사용되는지에 관계없이, 그들은 대개 기술 혁신의 설계, 개발 및 구현에서 내려야 할 선택을 정의할 것이다. 따라서, 이러한 비전과 그 기본 원칙을 설명하고 전달하는 것은 모든 이해관계자들이 교육 혁신 과정에 진정으로 기여할 수 있도록 지원할 것이다.
For example, a worked example that is offered at the beginning of a task class becomes redundant for more knowledgeable learners. Worked initially examples are introduced to reduce a (novice) learner’s cognitive load by providing a full solution that needs to be studied carefully. Instead of investing effort in trying to generate a solution, learners can invest all effort to studying the expert solution and elaborating on the example. Irrespective of what instructional design principles are used to define the vision towards educational innovation, they will largely define the choices to be made in the design, development and implementation of the innovation. Hence, explaining and communicating this vision and its underlying principles will support all stakeholders to genuinely contribute in the process of educational innovation.
조치 4: 비전 전달
Action 4: Communicate the vision
모든 이해관계자와 교육적 접근 방식 논의
Discuss the instructional approach with all stakeholders
이 조치는 비전과 그 기본 원칙을 모든 이해관계자에게 명확히 하기 위한 것이다. 초기 회의에서는 교육 설계 방법(본 연구에서는 4C/ID모델)을 도입하여 교육 변경에 관련된 강사 및 콘텐츠 개발자와 논의할 수 있다. 원래 4C/ID 모델에서 시작할 수 있지만, 초기 미팅에서 주어진 이해관계자의 피드백을 바탕으로 수정할 필요가 있을 수 있다. 우리의 구체적인 사례에서, 선생님들과 학생들은 4C/ID 모델에서 구성요소의 구조와 표현이 그들에게 완전히 명확하지 않다는 것을 나타냈다. 결과적으로, 모델의 시각적 표시는 의학 교육에 4C/ID 모델을 적용하기 위해 특별히 개발된 아이콘으로 더 명확해졌다.
This action is intended to make the vision, and its underlying principles, clear toward all stakeholders. In an initial meeting, the instructional design method (in this study, the 4C/IDmodel) can be introduced to and discussed with the instructors and content developers involved in the educational change. One can start from the original 4C/ID model but may need to make modifications based on the feedback of the stakeholders that is given during the initial meeting. In our specific case, teachers and students indicated that the structure and wording of the components in the 4C/ID model was not entirely clear to them. Consequently, the visual presentation of the model was made clearer with icons that were specifically developed for this application of the 4C/ID model in medical education.
결과적으로 이러한 아이콘을 사용하여 작업, 지원 및 절차 정보, 작업 예제 등에 라벨을 붙임으로써, 학생, 강사 및 콘텐츠 개발자는 학습 환경의 구조에 익숙해졌고, 쉽게 자신의 길을 찾고 과제와 과제 수업을 탐색할 수 있었다. 또한 과제물의 총 집합을 표시하고 과제수업을 통해 학생들의 진행상황을 알려줌으로써 학생들은 과제와 과제수업 완료를 쉽게 관리할 수 있었다. 접근법을 보다 명확하게 하기 위해 아이콘을 추가하는 것은 초기 단계에서 이해관계자들과 비전에 대해 토론한 결과였다.
By consequently using these icons to label tasks, supportive and procedural information, worked examples and so forth, students, instructors as well as content developers became familiar with the structure of the learning environment and could easily find their way and navigate through tasks and task classes. Furthermore, by indicating the total set of tasks and informing students of their progress through the taskclasses, students could easily manage the completion of tasks and tasks classes. Adding icons to make the approach more clear was a consequence of discussing the vision with the stakeholders at an early stage.
조치 5: 다른 사람이 비전에 따라 행동할 수 있도록 권한 부여
Action 5: Empower others to act on the vision
선생님들을 교육한다.
Teach the teachers
로드맵이나 템플릿은 콘텐츠 개발자에게 개발 과정을 단계적으로 안내하며, 태스크 클래스별로 필요한 요소를 중심으로 구축되어 요소별 추가 정보를 제공한다. 로드맵을 도입하기 위해, 교육적 접근방식이 실제 사례와 함께 설명되는 교사와 콘텐츠 개발자를 위한 실습 세션을 구성할 수 있다. General Practice 4C/ID 모델 개발에 사용된 로드맵은 부록 B에 제시되어 있으며, 부록 B에 보충 자료로 제공되어 있다.
Roadmaps or templates guide the content developers stepwise through the development process and are built around the elements that are required per task class, providing additional information per element. To introduce the roadmap, one could organize a hands-on session for teachers and content developers wherein the instructional approach is illustrated with practical examples. The roadmap as used for the development of the General Practice 4C/ID model is provided in Appendix B, available as Supplemental Material at http:// informahealthcare.com/journal/mte.
조치 6: 단기 성공을 계획하고 이루기
Action 6: Plan for and create short-term wins
단기적 성공을 향한 계획: 고품질의 학습 자료 사용 또는 재사용
Plan for short-term wins: use or reuse learning materials of high quality
의학적 지식, 기술 및 태도의 습득을 위한 (컴퓨터 기반) 학습 환경의 개발에서, 이용 가능한 모든 학습 콘텐츠는 다음 세 가지 각도에서 보아야 한다.
In the development of a (computer-based) learning environment for the acquisition of medical knowledge, skills and attitudes; all available learning content should be viewed at from three angles:
(1) 기존 학습자료는 의사들이 임상현장에서 갖춰야 하는 다양한 역할을 고려하여, 지식, 기술 및 태도의 통합적 개발을 촉진하기에 충분한 양질의 학습자료가 되는가?
(1) Are the existing learning materials of sufficient high quality to foster the integrated development of knowledge, skills and attitudes, taking into account the different roles a physician should be able to take in his/her practice?
(2) 학습 모듈 내에 과제 유형과 상호작용의 변동이 충분한가? 높은 변동성과 다양한 상호작용성을 보장하기 위해, 기존 학습 자료는 이미 존재하는 변동성과 상호작용성의 정도를 식별하여 분류해볼 수 있다. 다양성과 다양한 형태의 상호작용을 촉진하기 위해, 여러 유형의 학습 과제를 개괄적으로 작성하고, 유형을 나타낼 수 있다.
어떤 컨텍스트를 제공할 수 있는지(인턴트 교육 과정에서의 과제, 온라인 텍스트 질문, 온라인 비디오)
어떤 상호작용이 가능했는가(학생, 학생 환경, 학생 강사, 학생 수업) 및
어떻게 학생 성과를 평가하는지(2단계: 평가 도구 개발)
(2) Is there sufficient variability in task type and interactivity within the learning modules? To assure high variability and a range of interactivity, existing learning materials can be categorized into the way they are presented (see roadmap in Appendix B, available as Supplemental Material at http://informahealthcare.com/journal/mte) as to identify the degree of variability and interactivity that is already present.
To foster variability and different forms of interactivity, one could create an overview of several types of learning tasks (see Appendix A, available as Supplemental Material at http://informahealthcare.com/ journal/mte), and indicate for all types in
what context the task can be offered (training task in internship, task in course class, online text questions, online video),
what interactivity was possible (student–student; student–environment; student–instructor; student–class) and
how student performance could be evaluated (step 2: develop assessment instruments).
(3) (기존) 학습자료가 컴퓨터 기반 교육을 통해 제공될 수 있을 정도로 적합한가? 이 질문은 온라인 콘텐츠 관리 시스템에서 이 콘텐츠를 학습 환경의 인프라로 제공할 때 종이와 연필을 사용하여 얻은 효과와 효율성이 반드시 유지되는 것은 아니라는 개념에서 비롯된다. 이는 학습 자료의 특성뿐만 아니라 내용이 제공되는 환경의 기술적 특성과 제한에도 기인한다.
(3) Are the (existing) learning materials suitable enough to be offered via computer-based instruction? This question stems from the notion that the effectiveness and efficiency as obtained by the use of paper-and-pencil materials does not necessarily hold when this content is offered in an online content management system as the infrastructure for the learning environment. Not only is this due to the nature of the learning materials but also to the technical characteristics and restrictions of the environment in which the content is offered.
단기적인 승리 창출: 최종 사용자를 통한 프로토타입 테스트
Create short-term wins: prototype testing with end-users
환경의 장단점에 대한 피드백을 받을 때 [미래의 최종 사용자로서의 학생과 교사의 기여는] 과소평가되어서는 안 된다(Dolmans et al. 2013). 설계, 개발 및 시험 단계의 주요 함정은 미래 사용자의 통찰력을 이용하지 않는 것이다. 이 경우, 강사와 학생 모두 학습 환경의 최종 사용자로 간주되었고, 이미 그들은 학습 환경의 요소를 비판적으로 반영하기 위해 참여하였다. 혁신적인 전과제 접근방식의 이면에 있는 아이디어를 설명하자는 돌만스 외 연구진(2013)의 제안에 따라, 학습 환경의 원칙과 구조를 제시하고 논의하는 사용자 그룹을 구성하였다. 사용자 그룹의 논의는 학습 환경을 더욱 세분화하기 위한 귀중한 정보를 제공했다. 설계와 개발 과정에 사용자를 지속적으로 참여시킴으로써, 첫눈에 중요한 사용자는 새로운 접근법의 최고의 옹호자가 될 수 있다. 게다가, 학생들은 교육 방법과 기대되는 학습 접근법에 익숙해진다.
The contribution of students and teachers as future end-users should not be underestimated when it comes to receiving feedback on the environment’s strengths and weaknesses (Dolmans et al. 2013). A major pitfall in the design, development and testing phases is not making use of future users’ insights. In this case, both instructors and students were considered as end-users of the learning environment and already in the conceptual design phase they were involved to critically reflect on the elements in the learning environment. In line with the suggestion by Dolmans et al. (2013) to explain the ideas behind the innovative whole-task approach, user groups were organized in which the principles and structure of the learning environment were presented and discussed. The discussions in the user groups provided valuable information to further refine the learning environment. By continuously involving the users in the process of design and development, at first sight, critical users may become the best advocates of the new approach. Moreover, students become familiar with the instructional methods and the expected learning approaches.
조치 7: 개선 사항 통합 및 더 많은 변화 창출
Action 7: Consolidate improvements and produce still more change
미래지향적 작업
Work future-oriented
향후의 학습 환경의 발전과 지속가능성에 관해서는, 학습자료에 메타데이터를 접목시킬 수 있다. 메타데이터는 학습 자료를 [주제, 교육 수준, 성과 목표, 의도된 사용자, 통합할 역할 수] 등의 값을 활용하여 라벨링할 수 있다. 메타데이터가 있을 경우 필수 기준에 맞는 콘텐츠를 찾기 위해 학습 자료의 저장소 검색이 가능해지는 장점이 있으며(Ellaway & Masters 2008) 다른 환경에서 학습 자료의 재사용도 촉진할 수 있다. 본 가이드에서는 학습 자료를 분류하는 기준과 그 매개변수를 기술함으로써 메타데이터 개요에 대한 첫 번째 시도를 제안했다.
With respect to future development and sustainability of the learning environment, learning materials can be provided with metadata. Metadata can label learning materials with values for subject, education level, performance objectives, intended users, number of roles to integrate, and so forth. The added value of metadata is that they allow for searching repositories of learning materials in order to find content that meets the required criteria (Ellaway & Masters 2008), but they also foster reuse of learning materials in other environments. In this Guide, we have proposed a first attempt to a metadata overview by describing the criteria and their parameters by which learning materials are categorized.
모든 최종 사용자와 함께 평가
Evaluate with all end-users
학생들이 학습 환경에서 모든 과제를 완료한 후( 인턴십 과제를 포함), 질적 평가와 양적 평가를 모두 수행할 수 있다. 세 개의 최종 사용자 그룹이 평가에 참여해야 한다:
학습 환경의 주요 최종 사용자로 간주될 수 있는 학생,
교육 관행의 도구로 학습 환경을 사용한 교사, 그리고
미래의 혁신 사이클에서 다루어질 필요가 있는 기술적, 실제적인 문제에 직면할 가능성이 있는 개발자 또는 교육 전문가.
평가는 콘텐츠의 품질뿐만 아니라 사용자 친화성과 학습 환경의 기능성에 초점을 맞출 수 있다.
After students complete all tasks in the learning environment (including internship tasks), both qualitative and quantitative evaluations can be performed. Three end-user groups need to take part in the evaluations:
students as they can be considered as the primary end-users of the learning environment;
teachers as they have used the learning environment as a tool in their educational practice; and
developers or educational specialists as they likely have encountered technical and practical issues that need to be dealt with in a future cycle of innovation.
Evaluations may focus on the quality of the content as well as on the user-friendliness and functionality of the learning environment.
문서화
Document
학습 환경을 개발하고 구현하는 점진적인 프로세스에서, 무엇이 개발되었는지, 어떤 단계가 취했는지, 어떤 문제가 처리되었는지, 그리고 어떻게 하면 모든 팀 구성원이 존재하는 흐름을 방해하는 다소 불안한 작업으로 보일 수 있다. 그러나, 문서화는 다음 번 성공적인 교육 혁신의 백본 중 하나이기 때문에 큰 이점을 제공한다.
In the progressive process of developing and implementing a learning environment, documenting what has been developed, what steps have been taken, what issues have been dealt with and how may seem like a rather disturbing task that interrupts the flow wherein all team members are. However, documenting offers great advantages as it is one of the backbones of the next successful educational innovation.
문서 작성에 충분한 시간을 할애하기로 결정할 수 있는 여러 가지 이유가 있다.
모든 팀 구성원을 궤도에 올리고, 이해관계자에게 알린다.
팀 구성원에게 백업을 제공하고 명확성과 추적성을 제공한다.
그것은 보급의 출발점을 제공하고 좋은 문서로 교사를 지원하고 훈련시키는 데 필요한 시간을 줄인다.
There are a number of reasons why one could decide to spend enough time on documenting:
it keeps all team members on track, it keeps the stakeholders informed;
it provides a back-up for the team members; it provides clarity and traceability;
it provides a starting point for dissemination and with good documentation, the time needed to support and train teachers is reduced.
문서화할 항목을 결정할 때 다음 요소를 포함해야 한다.
직면했던 위험 및 기술적 문제, 그리고 그 문제가 어떻게 처리되었는지
아이콘, 비디오, 사진 등 재사용 가능한 모든 자료
웹 사이트의 교육 자료 식별
개발 및 구현에 대한 보고서
소규모 사용자 그룹의 테스트에 대한 보고서
이해관계자의 제안
학습 환경의 미래 최종 사용자를 위해 '할 것'과 '하지 말아야 할 것'이 열거된 문서
When deciding what to document the following elements should be included:
risks and technical issues that were encountered and how they were dealt with;
all re-usable materials like icons, videos, pictures;
identification of educational materials on websites;
reports on development and implementation;
reports on testing by small user groups;
suggestions made by stakeholders and
a separate document where do’s and don’ts are listed for future end-users of the learning environment.
조치 8: 새로운 접근법 제도화
Action 8: Institutionalize new approaches
배포하고 토론
Disseminate and discuss
변경 과정의 마지막 단계로서, Steinert 등. (2007)은 새로운 접근방식을 기관의 문화에 정착시킬 것을 제안했다. 이러한 앵커링을 위해서는 의료 커리큘럼에서 새로운 접근방식을 지지하기 위한 광범위한 지원을 창출하기 위해 보급이 필요하다. 개발 및 구현 과정을 보급함으로써 동료 연구자, 동료 교사 및 동료 설계자로부터 피드백을 받아 현재와 미래의 학습 환경을 최적화하기 위한 input으로 다시 사용한다. 게다가, dissemination은 의학교육의 혁신을 더욱 촉진하기 위해서, 변화 과정의 어떤 성공적인 요소들이 의료 커리큘럼의 다른 부분으로 이전될 수 있는지에 대해 논의할 수 있게 한다.
As a last step in the change process, Steinert et al. (2007) suggested to anchor the new approaches in the culture of the institution. For this anchoring, dissemination is needed in order to create a widespread support for endorsement of the new approach in the medical curriculum. By disseminating the process of development and implementation, one gets feedback from peer researchers, peer teachers and peer designers, which again provides input for optimization of the current and future learning environments. Moreover, dissemination allows to discuss what successful elements in the change process can be transferred to other parts of the medical curriculum as to further stimulate innovation in medical education.
결론
Conclusion
4C/ID 모델은 교육 설계, 인지 심리학 및 정보 처리 이론에 대한 연구로부터 광범위한 증거 기반 원칙에 기초한다. 따라서 밴 메리 ̈nboer & Kirschner(2013)에 의해 설명된 단계에 따라 모델의 일부를 구현하면 지침 설계가 개선될 가능성이 있다.
The 4C/ID model is based on a broad range of evidence-based principles from research on instructional design, cognitive psychology and information processing theories, hence implementing parts of the model in accordance with the steps as described by van Merrie¨nboer & Kirschner (2013) and in this Guide, is likely to improve the instructional design.
,37 (1), 4-20
4C/ID in Medical Education: How to Design an Educational Program Based on Whole-Task Learning: AMEE Guide No. 93
Medical education increasingly stresses that medical students should be prepared to take up multiple roles as a health professional. This requires the integrated acquisition of multiple competences such as clinical reasoning and decision making, communication skills and management skills. To promote such complex learning, instructional design has focused on the use of authentic, real-life learning tasks that students perform in a real or simulated task environment. The four-component instructional design model (4C/ID) model is an instructional design model that starts from the use of such tasks and provides students with a variety of learning tools facilitating the integrated acquisition of knowledge, skills and attitudes. In what follows, we guide the reader on how to implement educational programs based on the 4C/ID model and illustrate this with an example from general practice education. The developed learning environment is in line with the whole-task approach, where a learning domain is considered as a coherent, integrated whole and where teaching progresses from offering relatively simple, but meaningful, authentic whole tasks to more complex tasks. We describe the steps that were taken, from prototype over development to implementation, to build five learning modules (patient with diabetes; the young child with fever; axial skeleton; care for the elderly and physically undefined symptoms) that all focus on the integrated acquisition of the Canadian Medical Education Directives for Specialists roles in general practice. Furthermore, a change cycle for educational innovation is described that encompasses practice-based challenges and pitfalls about the collaboration between different stakeholders (students, developers and teachers) and the transition from traditional, fragmented and classroom-based learning to integrated and blended learning based on sound instructional design principles.
Theoretical considerations on programmatic assessment
Dario M. Torrea, L. W. T. Schuwirthb and C. P. M. Van der Vleutenc,d
도입
Introduction
PA(Programmatic assessment)는 평가를 시스템이나 프로그램 전체로 보는 평가 접근방식이다(Van der Vleuten and Schuwirth 2005). 최적의 건설적 정렬을 달성하기 위해 의도적인 방법 조합을 사용한다(Bigs 1996). PA의 각 개별 평가는 전형적으로 학습에 최적화된 데이터 지점일 뿐이다. 즉, 데이터 포인트당 합격/불합격 결정이 이루어지는 것이 아니라, 데이터 포인트 간에 충분한 정보를 수집한 후에야 통과/실패 결정을 의미한다. PA에서는 주기적으로 성찰과 자기조절학습이 촉진되는데, 이는 데이터 포인트에서 얻은 정보에 대해 정기적으로 진척 상황을 논의하는 코치(실적 데이터를 수집하여 사용하는 교수진)와 논의하기 때문이다. 충분한 데이터가 수집된 후에야, 일반적으로 (독립적) 평가위원회 형태에서 총괄적 결정이 이루어진다(PA의 핵심 측면에 대한 개요는 표 1 참조). 거의 모든 경우에서 PA는 이른바 학습을 위한 평가AfL라는 철학과 연관되어 있다.
Programmatic assessment (PA) is an approach to assessment in which assessment is seen as a system or a program as a whole (Van der Vleuten and Schuwirth 2005). It uses a deliberate mix of methods to achieve optimal constructive alignment (Biggs 1996). Each individual assessment in PA is merely a data point which is typically optimized for learning. This means that pass/fail decisions are not taken per data point, but only after enough information across data points has been collected. In PA, self-regulated learning is promoted by periodic reflection by the learners on the information received from the data points and with coaches (faculty members who gather and use performance data to stimulate and support students in managing their learning) who regularly discuss the learner’s progression. Only when sufficient data are collected, a summative decision is taken, usually in the form of an (independent) committee of assessors (see Table 1 for an overview of the core aspects of PA). In almost all cases, PA is associated with a so-called assessment for learning philosophy (Schuwirth and Van der Vleuten 2011).
그러나 PA의 이론적 기반은 명확하게 설명되지 않았다.
However, the theoretical underpinnings of PA have not been clearly described.
첫 번째 그리고 가장 분명한 이유는 다른 과학 영역과 마찬가지로 의학 교육 뒤의 과학은 이론과 그에 뒤따르는 가설에 대한 실험적인 테스트를 통해 발전하기 때문이다.
또 다른 중요한 이유는 이론이 연구 결과를 이해하는데 중요하며, 특정 현상이 발생하는 이유를 이해하면 교육자들이 한 교육적 맥락에서 다른 교육적 맥락으로 연구 결과를 적용adapt할 수 있다는 것이다(Cianciolo et al. 2013).
The first and most obvious reason is that, like any scientific domain, the science behind medical education progresses through experimental testing of theories and their ensuing hypotheses.
Another important reason is that theories are important for making sense of research findings and that understanding why certain phenomena occur allows educators to adapt research findings from one educational context to another (Cianciolo et al. 2013).
우리는 여기서 경고할 것이 있다. 이 글의 목적은 특정 이론이 PA의 교리를 설명하는데 다른 이론보다 낫다고 주장하는 것이 아니다.
We want to express a caveat here. The purpose of this article is not to argue that one particular theory is better than others to explain the tenets of PA.
표 1. 프로그램 평가의 특성.
Table 1. Characteristics of programmatic assessment.
프로그램은 각각의 개별적인 방법의 강점과 약점이 어떻게 시너지적으로 결합되는지를 바탕으로 의도적으로 복수의 측정도구를 사용한다.
The program uses multiple instruments deliberately based on how each individual method’s strengths and weakness are combined synergistically.
PA의 평가는 학습자의 강점, 약점 및 진행상황에 대한 정보를 수집하고 수집하는 지속적이고 종단적 과정이다.
The assessment in PA is a continual and longitudinal process during which information about the learner’s strengths, weaknesses, and progress is collected and collated.
학습자에 대한 정보는 평가도구 내withn에서 수집되지 않고(예: OSCE의 한 스테이션과 다른 스테이션의 성과를 결합한 결과) 평가도구들 사이의 의도적 삼각 측량(다른 평가 방법의 관련 정보와 함께 OSCE 스테이션에서의 성과)하여 역량에 대한 의미 있는 "진단"에 도달한다.
Information about the learner is not collated within instruments (such as the result on one station in an OSCE being combined with performance on another station) but purposefully triangulated across instruments (performance on the OSCE station with relevant information from another assessment method) to arrive at a meaningful “diagnosis” of competence.
의사결정은 비례적이다; 평가결정의 부담은 그것이 근거하는 정보의 풍부함에 비례한다.
Decision-making is proportional; the stakes of an assessment decision are proportional to the richness of the information on which it is based.
평가 프로세스의 품질과 효용성은 표준 심리측정, 멤버체킹, 포화, 단계별 복제, 전문성 개발 등 다양한 품질 보증 프로세스에 의해 결정된다.
Quality and utility of the assessment process are determined by a variety of quality assurance processes, including standard psychometrics, member checking, saturation of information, stepwise replication, and expertise development.
핵심은 통해 정보를 풍부하게 유지하는 것으로서, 이를 통해서 (환원주의자와 달리) 전체적인holistic 역량의 평가가 가능하다. 한 가지 방법은 포트폴리오를 통한 수집이다.
The focus is on keeping the information rich, for instance through collection in a portfolio, to enable holistic, as opposed to reductionist, assessment of competence.
초기 초점은 학습에 대한 평가 정보를 (단순히 행동주의적인 방식이 아니라) 학습을 위하여, 학습자에게 의미 있는 방식으로 사용하는 데 있다.
The initial focus is on using the assessment information on driving learning in a way that is meaningful to the learner rather than merely behaviorist.
성공적인 학습과 개선은 다른 학생들보다 더 잘하기 보다는 각각의 학생이 될 수 있는 최고의 건강 전문가가 되는 것으로 정의된다.
Successful learning and improvement are defined as becoming the best health professional each student can be, rather than being better than the other students.
핵심은 [피드백을 수용하거나 사용하려 하지 않(못)하거나, 피드백을 학습의 원동력과 개선의 동력으로 사용하지 않(못)으려고 하는] 학습자를 식별하는 데 있다.
The focus is on identifying those learners who are unable or remain unwilling to accept and use feedback and demonstrate using it to drive their learning and to improve.
PA에서는 피드백 루프를 항상 닫혀야 한다.
In PA, the feedback loop has to be closed all the time.
PA는 다소 체계적이고 학교 통제적인 평가에서 자기 소유의 평가와 학습에 이르기까지 학습자의 기관과 학습 진전에 대한 책임을 점진적으로 증가시키려 한다.
PA seeks to gradually increase the learner’s agency and accountability for their own learning and progress, starting from rather structured and school-controlled assessment to self-owned assessment and learning.
프로그래밍 방식 평가: 모델
Programmatic assessment: The model
1. 교육활동은 일련의 [학습과제]를 수반하며, 교육설계원칙에 근거한 커리큘럼을 만드는 데 기여하는 방식으로 정비된다.
1. Training activities involve a series of learning tasks and are arranged in such a way that they contribute to create a curriculum based on principles of instructional design
2. [평가 활동]은 학습자에게 의미 있고 지속적인 학습과 성장을 지원하도록 설계된다. 그들은 교사에게 다양한 평가 방법에서 얻은 복수의 평가 데이터 포인트를 제공한다.
2. Assessment activities are designed to be meaningful to the learner and to support ongoing learning and growth. They provide the teacher with multiple assessment data points from a wide array of assessment methods.
a. 평가자의 주요 임무는 각 데이터 지점의 정보를 활용하여 학습자에게 피드백을 제공하고, 또한 이전 평가 정보에 기초하여 학습자의 진행 상황에 대한 결정을 내리는 것이다. 저부담 데이터포인트 정보는 평가자에 의해 나중에 활용될 수 있다.
a. The main task of the assessor is to provide feedback to the learner by utilizing the information from each data point and to make a decision about the progress of the learner also based on previous assessment information. Low-stake data point information can be later utilized by the assessor.
b. 평가와 훈련training 활동은 매우 밀접하게 연관되어 있으며 때로는 같을 수도 있다. 대부분의 평가 과제는 개발적이지만 숙달 지향적인 것도 있다. 숙달 지향적 과제는 보통 고부담이지만, 그것은 여전히 피드백의 기회가 있으며, 저부담 활동과는 완전히 관련이 없거나 영향을 받지 않을 수 있다.
b. Assessment and training activities are very closely interrelated and sometimes, they may be the same. Most assessment tasks are developmental but some are mastery-oriented. A mastery-oriented task is high stakes, but it does still constitute an opportunity for feedback and may not be completely unrelated or unaffected by low-stakes activities.
3. 따라서 평가 활동은 종단적 방식으로 이루어진다. PA에는 지속적으로 정보를 수집하는 과정이 있으며(공식적 평가를 통해 이뤄지거나, 비공식적/공식적 피드백을 통해 이뤄진다), 정기적인 성찰과 교수/코치와의 미팅을 진행한다. 학습자의 피드백 수행enactment은 평가의 필수적인 부분이다.
3. Assessment activities happen therefore in a longitudinal fashion. There is a continuous process of collecting information – either through formal assessments or through informal and formal feedback – in a dossier or portfolio with periodic reflections and meetings with a faculty member/coach. The enactment on feedback by the learner is an integral part of the assessment.
4. 지원활동에는 성찰적 학습과 자기조절학습이 포함된다. 학습자는 학습 및 평가 활동의 정보에 기초하여 성찰적 학습을 수행한다. 자기조절학습은 학생을 지도하고 멘토링하는 교직원의 서포트를 받는다. 사회적 상호작용은 성찰활동과 자기조절 학습을 위한 비계scaffold를 제공한다.
4. Supporting activities include reflective and self-regulated learning. Reflective learning performed by learners is based on information from learning and assessment activities. Self-regulated learning is supported by faculty through students’ coaching and mentoring. Social interaction provides a scaffold for reflective activities and self-regulated learning.
5. 중간 및 최종 평가는 연속체에 걸친 훈련과 평가 활동 전반에 걸쳐 교차하는 의사결정 지점이다. 중간 평가는 교정조치 지향적remediation-oriented이며, 학습을 위한 정보가 풍부한 권장사항을 제공하며, 학습자의 종단적 개발을 목표로 한다.
5. Intermediate and final evaluations are decision points interspersed throughout training and assessment activities across the continuum. Intermediate evaluations are remediation-oriented, provide information-rich recommendations for learning, and are aimed at the longitudinal development of the learner.
6. 최종 평가는 학습자가 프로그램을 진입/진학할progress 수 있는지 또는 종료해야 하는지 여부를 결정한다는 목표를 가진 고부담 결정이다. 복수의 데이터 포인트와 중간 평가의 정보를 활용하여 판단을 내리는 전문가 위원회에 의해 달성된다(Van der Vleuten et al. 2012).
6. The final evaluation is a high-stakes decision with the goal of determining whether the learners can progress in the program or should exit. It is achieved by a committee of experts who make a judgment utilizing information from multiple data points and intermediate evaluations (Van der Vleuten et al. 2012).
이론적 특
Theoretical frameworks
PA 기본원칙: 의미 구축
Fundamental PA principle: Meaning making
PA에서 의미와 의미구축이 중심적인 역할을 한다. PA 의미구축에서, 학습자는 자신이 이용할 수 있는 모든 정보를 분석하고 삼각측량하여 특정한 장점과 약점을 식별하도록 요구되거나, 그렇게 할 동기를 부여 받는다. 그 결과 학습자는 정보의 의미를 적극적으로 구축하고, 자신의 성과를 새롭게 파악하며, 향후 학습을 위한 구체적인 계획을 설계한다.
Meaning and meaning making play a central role in PA. In PA meaning making, learners are required or incentivized to analyze and triangulate all information available to them, identifying specific strengths and weaknesses. As a result, learners actively construct meaning of the information, develop a new understanding of their performance, and design concrete plans for future learning.
평가 방법에 걸쳐 정보를 삼각측량할 수 있도록 교사와 학습자는 정보가 결합합으로써 의미를 파악할 수 있어야 한다. 이는 임상의사가 병력청취와 신체검사 결과(Tweed and Wilkinson 2019)를 결합하여 의미를 파악하는 것과 비슷하다. 의미구축은 또한 건설적인 피드백의 제공과 유용하고 실행 가능한 학습 목표의 형성에 중요하다. 몇 가지 이론은 왜 이것이 더 나은 판단과 더 나은 학습으로 이어질 수 있는지를 뒷받침한다.
In order to be able to triangulate information across assessment methods, the teacher and learner must be able to see meaning in the way the information is combined – much like a clinician sees meaning in combining a lab result with a history taking response and a physical examination finding (Tweed and Wilkinson 2019). This meaning making is also important for the provision of constructive feedback and the formulation of useful and actionable learning goals. Several theories underpin why this would lead to better judgments and better learning.
설명 이론: 구성주의자 및 사회적 구성주의자
Explanatory theories: Constructivist and social constructivist
[구성주의적 접근법]에서 학습은 능동적인 의미 생성 과정으로 간주된다. 학습은 미래의 문제 해결을 위해 지식을 보유하고 접근하기 위해 내부적으로 구성되어야 한다. 이 이론은 더 많은 지식과 이해는 '구성construction'이라고 기술하고 있는데, 이것은 학습자가 기존의 지식과 이해에 기반하여 적극적으로 구축되어야 하고 따라서 수동적으로 획득되지 않는다는 것을 의미한다. 학습은 또한 이해관계자(학습자와 교사)와 교사들 사이의 사회적 활동이다(Dewey 1938; Bruner 1960; Vygotsky 1978; Bruner 1986). 따라서 [효과적인 학습이라는 목적을 가진 상호작용]은 이해관계자들 사이의 shared meaning making에 달려 있다.
In a constructivist approach, learning is seen as an active process of meaning making, positing that knowledge has to be constructed internally in order to be retained and accessible for future problem-solving. The theory states that further knowledge and understanding are constructions, which means that they have to be actively built on existing knowledge and understanding and are therefore not acquired passively. Learning is also seen as a social activity between stakeholders (learners and teachers) and teachers facilitate and support students’ active involvement with the material (Dewey 1938; Bruner 1960; Vygotsky 1978; Bruner 1986). Interaction with the purpose of effective learning thus depends on shared meaning making between the stakeholders.
사회적 구성주의는 인지 발달과 깊은 이해에서 [사회적 과정의 가치]를 강조한다. 다른 사람들과의 결정적 상호작용은 기존 지식에 대한 새로운 지식의 구축을 촉진할 뿐만 아니라 학습자들이 그들의 이해를 구성하고 재구성하도록 한다. 따라서 그들은 사회적이고 협력적인 환경을 통해 학습된 지식과 이해에 대한 다양한 의미 있는 관점을 만들어 낸다. 따라서 학습 과정의 협력적 성격과 문화적 사회적 맥락의 중요성을 강조한다. 인지 과정의 강화는 사회적 상호작용에서 비롯되고, 사회적 상호작용의 결과다. 학습은 [학습자에 의한 새로운 지식의 동화]일 뿐만 아니라 학습은 [학습자가 지식 공동체로 통합되는 과정]이기도 하다(Vygotsky 1978; Bruner 1986). 따라서 의미 부여와 의미 있는 상호작용은 이러한 프로세스의 필수불가결요소이다.
Social constructivism stresses the value of the social process in cognitive development and deep understanding. The critical interactions with others not only facilitate the building of new knowledge on existing knowledge but also make the learners construct and reconstruct their understanding. Thus, they create various meaningful perspectives on the learned knowledge and understanding through a social and collaborative setting. It emphasizes, therefore, the collaborative nature of learning and the importance of the cultural and social context in the learning process. This strengthening of cognitive processes originates in and is the result of social interactions. Learning is not only the assimilation of new knowledge by learners, but it is also the process by which learners become integrated into a knowledge community (Vygotsky 1978; Bruner 1986). Meaning making and meaningful interaction are therefore sine qua nons for these processes.
기본 PA 원리: 종단성
Fundamental PA principle: Longitudinality
PA에서도 학습자의 진행 상황에 대한 정보를 종단적으로 수집하는 접근법은 중요하다. 그것은 더 긴 기간 동안의 평가 참여가 가능하게 하며, 스냅숏보다는 더 많은 장면을 제공한다. 또한, 의사결정의 부담이 데이터의 신뢰성, 풍부성 및 견고성에 비례해야 하는 비례성 원칙(Schuwirth et al. 2017)이 있다. 이 원칙에 따르면, 오랜 시간 동안 평가에 참여한다면prolonged engagement, 여러 평가의 데이터 포인트를 수집하고 수집하는 데 더 많은 시간을 사용할 수 있고, 고부담 의사결정에 대한 이해관계자 수가 늘어날 것이다. 그리고 평가 피드백이 이전의 피드백에 기반하여 구축build on될 수 있도록 한다.
The approach to collect information about the learner’s progress longitudinally is important in PA as well. It provides a longer assessment engagement and thus more of a movie rather than a snapshot. Further, in accordance with the principle of proportionality (Schuwirth et al. 2017)in which the stakes of the decisions have to be proportional to the credibility, richness, and robustness of data, prolonged engagement allows for more time to collect and collate multiple assessments’ data points and greater stakeholder numbers in relation to high stakes in decision making and it enables the assessment feedback to better build on previous feedback.
설명 이론: 구성주의자 및 사회 구성가
Explanatory theories: Constructivist and social constructivist
듀이(1938년)는 수십 년 전, 모든 경험은 이전의 경험에 의해 형성되고 '어떤 식으로든 다음에 오는 경험의 질을 변화시킨다는' [경험의 연속성]의 원리를 기술했다(p. 27). 연속성의 원칙에 기초하면, 효과적인 교육은 지속적인 성장의 과정으로 간주되고 경험의 질은 이후의 경험에 영향을 미치는 방법으로 의도된다. 따라서 경험의 연속성의 원칙은 지속적인 학습을 지원하기 위해 평가, 훈련 및 지원 활동을 배치하는 PA의 중요한 측면이다.
Dewey (1938), many decades ago, described the principle of continuity of experience in which every experience is shaped by the previous experience and ‘modifies in some ways the quality of those which come after’ (p. 27). Based on the principle of continuity, effective education is seen as a process of continuous growth and the quality of the experience is intended as a way to influence later experiences. The principle of continuity of experience is therefore an important aspect of PA in which assessment, training, and supporting activities are arranged to support ongoing learning.
이것은 비고츠키(1978년)와 푸에르슈타인 등의 작업에 의해 더욱 지원되며(2002년), 여기서 핵심은 정적 평가와 반대되는 동적 평가 개념이다. 동적 평가는 assisted performance를 통한 학습자의 미래 발전을 목표로 한다. 그것은 단순히 학생이 특정 시점에 무엇을 할 수 있느냐(배움의 관점에 대한 더 많은 평가)가 아니라, 학생이 피드백과 도움(배움에 대한 평가)에 어떻게 대응할 수 있느냐에 대한 것이다. 그러므로 강조되는 것은 과거에 배운 것이 아니라 현재와 미래에서 배울 수 있는 것에 있다.
This is further supported by the work of Vygotsky (1978) and Feuerstein et al. (2002) in which the concept of dynamic assessment, opposed to static assessment, is central. Dynamic assessment aims at the future development of the learner through a process of assisted performance. It is not merely about what the student can do at a certain point in time (more an assessment of learning perspective) but how the student could respond to feedback and assistance (assessment for learning). The emphasis is therefore not on what has been learned in the past but on what can be learned in the present and the future.
현대 교육에서, 이것은 불가능한 기대가 아니다; 평생학습에 대한 기대가 증가함에 따라, 우리는 – 행동주의자와 같은 방식의 – 통제는 졸업으로 끝나며, 대학의 사회에 대한 책임은 졸업과 함께 시작된다는 것을 깨닫는다. ...다음의 것들은 [사회적 학습 맥락에서 발생하는, 사회 구성주의 이론적 프레임워크에 기반을 둔] PA의 요소 중 하나이다.
학습자에게 피드백을 지속적으로 전달하며, 학습을 지원하고 만들기 위한 평가 활동의 배치
학생들을 지도하고 지도하는 교육자 역할
고부담 또는 저부담 결정을 내리는 전문가 위원회를 구성하는 평가자 간의 사회적 상호의존성과 상호작용
In modern education, this is not an implausible expectation; with the increasing expectation of the lifelong learner, we realize that the – behaviorist – span of control ends with graduation and the university’s responsibility to society starts with graduation.
The arrangement of assessment activities to support and create learning with constant delivery of feedback to learners,
the role of teachers in coaching and mentoring students, and
the social interdependence and interactions among assessors in the setting of a committee of experts who make high or low stakes decisions
...are some of the elements of PA that occur in a social learning context and are grounded in a social constructivist theoretical framework.
앞선 학습이 다음에 뒤따를 학습에 미치는 영향의 중요성을 감안하여, PA는 지식의 재구조화가 일어날 수 있도록 하는 교육적 핵심 요소를 포함한다. PA는 새로운 지식 구조의 개발을 위한 비계를 만들고 학생들에게 새로운 상황에서 개념과 전략을 적용할 수 있는 지속적인 기회를 제공한다. 이러한 맥락에서, 가르침과 평가는 학습의 목표, 특히 [현재의 이해]와 [추구하는 새로운 이해 사이]의 격차를 좁히는 목표를 향해 혼합blend된다. 학습을 위한 평가AfL와 학습의 평가AoL 구성요소의 조합은 (다른 평가 행위와 도구의 여러 데이터 포인트에 의해 지원되는) 교육 연속체 전체에 걸쳐 지속적인 평가를 가능하게 한다.
In view of the importance of prior learning as an influence on new learning, PA includes key elements of pedagogic practice that allow knowledge restructuring to occur. PA creates the scaffold for the development of new knowledge structures and provides students with continuous opportunities to apply concepts and strategies in novel situations. In this context, teaching and assessment are blended toward the goals of learning, particularly the goal of closing gaps between current understanding and the new understandings sought. The combination of components of assessment for and of learning allows creating a continuous assessment across an educational continuum supported by multiple data points from different assessment practices and tools.
기본 PA 원칙: 지속적인 피드백 및 피드백 루프 닫기
Fundamental PA principle: Continuous feedback and closing the feedback loop
PA에서는 피드백의 제공 및 획득과 피드백 루프의 폐쇄를 위한 중심 역할이 존재한다. 이것은 형성적 평가와 혼동되어서는 안 된다. 그보다, 이것은 [피드백 과정을 학습을 유도하는 최적의 접근방식으로 사용하는 것]에 관한 것이다. 이는 학생들이 피드백을 사용해야on board하고, 후속 학습 목표에서 의도한 개선을 이루었음을 증명해야 한다는 것을 의미한다.
In PA, a central role exists for the provision and uptake of feedback and closing the feedback loop. This is not to be confused with formative assessment; instead, it is about an approach in which the feedback process is used to optimally drive student learning. This means that the student has to take the feedback on board and has to demonstrate that the ensuing learning goals have led to the purported improvement.
이것은 [PA의 총괄적 측면]이란 일회성으로 특정 합격 점수를 획득하는 것이 아니라, 외부 세계에서도 수용할 수 있는 목표에 상호 합의하는 지속적인 과정이라는 것을 의미한다. 이것은 학습자에게 쉬운 과정이 아니며 종종 학습자들을 그들의 안전 영역 밖으로 밀어낼 것이다. 다양한 이론들이 이것이 효과적인 학습을 용이하게 하는 이유를 설명한다.
This means that the summative aspect in PA is not the attainment of a certain cutoff score in a one-off occasion but a continuous process of reaching mutually agreed upon targets which are also acceptable to the outside world. This is not an easy process for the learner and will often push them outside of their comfort zone. Various theories explain why this facilitates effective learning.
설명 이론: 인지적 및 인지적 발달 방향
Explanatory theories: Cognitivist and cognitive development orientation
동화 이론(Ausubel 2012)과 인지 개발 이론(Vygotsky 1978)은 PA의 중요한 이론적 신조다. 동화 이론은 새로운 사상이 확립된 사상이나 관념에 의해 관련되고 동화되었을 때 효과적으로 학습되어 새로운 인지 구조를 만들 수 있다고 가정한다. PA에서는 새로운 데이터 포인트가 이전의 '기존의established' 데이터 포인트에 지속적으로 동화되며, 평가 데이터는 이전의 확보된 평가 데이터와 동화되어 중간 및 최종 평가로 이어진다.
Assimilation theory (Ausubel 2012) and the theory of cognitive development (Vygotsky 1978) are important theoretical tenets of PA. Assimilation theory posits that new ideas are effectively learned when they are related to and assimilated by established ideas or notions, so that they can create a new cognitive structure. In PA, new data points are continually assimilated to previous ‘established’ data points, and assessment data are assimilated to previous established assessment data, leading to both the intermediate and final evaluation of the model.
Vygotsky의 인지 발달 이론에서, 하나의 중심 목표는 인지 갈등을 만들어 인지 성장을 장려하는 것이다.
In Vygotsky’s theory of cognitive development, one central aim is to encourage cognitive growth by creating cognitive conflict,
Vygotskian 이론의 핵심 개념은 학습자의 실제 개발과 잠재적 개발 사이의 공간 또는 거리로 의도된 근위부 개발 영역(ZPD)이다. ZPD는 학습과 개발이 상호 작용하는 영역을 나타내며 개발 준비의 척도를 제공한다. ZPD에 있는 어려운 과제들은 최대치의 인지적 성장을 촉진한다. 따라서 교육자가 종단적 저부담 평가와 고부담 평가를 통합하므로써, ZPD에서 학습자의 성과를 점진적으로 평가할 수 있는 기회를 만든다면, PA에서 새로운 통찰력을 제공할 수 있을 것이다. ZPD는 [세계에 대한 학습자의 기존 개념]이 [새로운 정보]와 충돌할 때 존재하며, 이는 학습자 자신의 능력에 대한 자기 인식에도 적용된다.
A key concept of the Vygotskian theory is the zone of proximal development (ZPD) which is intended as the space or distance between the actual and potential development of a learner. The ZPD represents an area in which learning and development interact and it provides a measure of developmental readiness. Challenging tasks that are in the ZPD promote maximum cognitive growth. Therefore, the opportunity for educators to progressively assess learners’ performance in the ZPD, integrating longitudinal lowand high-stakes assessment information, may provide a new insight in PA and deserves further exploration. The ZPD exists when the learner’s existing conceptualizations about the world clash with new information, and this applies to self-conceptualizations about the learner’s own competence as well.
이것은 메지로의 변혁적 학습 이론(Mezirow 2002)에 의해 제시된 혼란스러운 딜레마와 유사하다. 이 딜레마는 여러분 주변의 세계와 학습자로서 여러분 자신을 이해하는 출발점이 된다. PA의 개발 구조와 지원 활동은 ZPD에서 학생과 교사의 상호작용을 허용하며, 따라서 인지 발달과 인지적 변화를 촉진한다.
This is similar to the disorientating dilemma as posited by Mezirow’s transformative learning theory (Mezirow 2002), in which the disorientating dilemmas serve as a starting point for reframing understanding, both of the world around you and of yourself as a learner. The developmental structure and supporting activities of PA allow the interaction of students and teachers in the ZPD, therefore promoting cognitive development and cognitive change.
기본 PA 원칙: 학습에 대한 평가 및 학습에 대한 평가
Fundamental PA principle: Assessment for learning and assessment as learning
학습을 위한 평가AfL로서 PA는 [교육 과정과 평가 과정 사이의 경계가 더 모호]하다는 점에서 더 전통적인 접근 방식과는 다르다. 보다 전통적인 접근법에서 평가는 단지 교육 과정의 결과를 측정하는 것을 목적으로 한 교육 이외의 과정으로 볼 수 있는 반면, PA에서 평가와 교육은 서로 불가분한 영역이다. 이것은 아마도 철학적 입장에서 가장 어려운 변화일 것이다. 그러나 PA가 왜 전통적인 평가보다 더 나은 학습자 역량의 개발을 지원하는지에 대한 타당한 이론적 뒷받침이 있다.
The PA as an assessment for learning approach is different from a more traditional approach in that the lines between educational and assessment processes are fuzzier. In the more traditional approaches, assessment can be seen as a process extrinsic to education, merely aimed at measuring the outcome of the educational process, whereas in PA, the assessment process is an inextricable part of education. This is perhaps the most difficult change in philosophical stance but there is, again, plausible theoretical underpinning of why PA supports the development of learner competence, likely even better than traditional assessment.
설명 이론: 교육적 설계 및 구성주의적 지향 이론
Explanatory theories: Theory of instructional design and constructivist orientation
학습 과제와 평가 활동의 상호 결합을 '학습으로서의 평가'라고 부르기도 한다. 학습 과제에는 TBL 또는 PBL 소그룹 튜토리얼, 자율학습, 강의, 역사 및 신체검사 작성, 문제해결 과제 등 학습으로 이어지는 여러 가지 학습 활동이 포함될 수 있다. 학습 과제 분석에는 목표와 활성화 목표를 달성하는 데 필요한 필수 역량의 식별이 포함된다(Gagne 등 2005).
The interweaving of learning tasks and assessment activities is sometimes called ‘assessment as learning.’ A learning task may involve a number of learning activities leading to learning: a TBL or PBL small group tutorial, a self-study, a lecture, a history and physical exam write up, or a problem-solving assignment. Learning task analysis involves the identification of prerequisite competencies which are needed to achieve target and enabling objectives (Gagne et al. 2005).
그 다음, 프로그램에서 목적적합한 과제 선정이 요구된다. 학습 과제는 학생이 필요한 기본 지식, 기술 또는 이해를 습득하는 데 도움이 되도록 만들어져야 하며, 이는 목표에 도달하거나 더 깊이 있는 학습을 촉진하는 [도약대 역할]을 하게 된다. 이 원칙은 medical competence의 획득뿐만 아니라 learning how to learn에도 해당된다. PA에서는 학습자가 학습 목표를 공식화하고 성공적으로 제정enact하기 위해 이것을 사용할 것이라는 기대와 함께, 학습자가 의미를 부여하기 위한 지속적인 피드백과 요구사항requirement은 '학습'에 관한 학습과제로 간주된다. PA의 학습과제 개념은 학습과제에 대한 Gagne의 분석에 타당하게 근거하고 있다. 즉, 훈련 활동과 평가 활동이 밀접하게 연관되어 있을 뿐만 아니라, medical competence와 learning to learn에 대한 학습도 이루어지고 있다.
A purposeful selection of tasks in the program is then required; learning tasks are set to support the student in acquiring necessary basic knowledge, skills, or understanding to serve as a springboard to reach target objectives or promote further and deeper learning. This principle does not only pertain to the acquisition of medical competence but also to learning how to learn. In PA, the continuous feedback and requirement for the learner to make meaning, in conjunction with the expectation that the learner will use this to formulate and successfully enact learning goals, are to be seen as learning tasks on ‘learning to learn.’ The concept of learning tasks of PA is plausibly grounded in Gagne’s analysis of learning tasks. In other words, not only are training activities and assessment activities closely connected, but also are learning for medical competence and learning to learn.
마찬가지로 Merri€enboer와 Kirschner(2017년)는 10단계 및 4C/ID(4개 구성 요소 지침 설계) 모델을 설명한다. 이 모델의 주요 요소와 첫 번째 요소 중 하나는 학습 과제의 설계를 수반한다. PA 모델과 유사하게, 4C/ID 모델의 구조적 요소는 상호의존적이며, 퍼포먼스 평가의 설계는 특정한 시점에 각 과제에 대한 성과를 측정할 수 있다. 이를 통해 학습과제에 대한 학습자의 종단적 진행을 모니터링할 수 있다.
Similarly, Merri€enboer and Kirschner (2017) describe a ten-step and 4C/ID (4 components instructional design) model. One of the main and first component of this model entails the design of learning tasks. Similar to the PA model, the structural elements of 4C/ID model are interdependent and the design of performance assessments allows to measure performance on each of the tasks, at particular points in time. This allows for monitoring the learners’ longitudinal progression over the leaning tasks.
또한, 4C/ID의 단계 중 하나는 학습 과제의 시퀀스(3단계)를 포함한다. 이 순서는 단순한 것에서 복잡한 것으로 나아가는 것이며, 수행능력 평가(2단계)와 결합되어서 함께 학습을 최적화하고 개별화된 학습 개발 궤적을 만든다. Van Merri€enboer와 Kirschner(2017년)는 4C/ID 모델에서 평가의 총괄적 초점(AoL)은 고부담 결정을 내리는 것에 있지만, 동시에 강력한 형성적 기능 - 의미있는 피드백 - 을 수행해야 한다고 주장했다.
Further, one of the steps involves the sequence of learning tasks (step 3), from simple to more complex, which, coupled with frequent performance assessments (step 2), optimizes learning and creates individualized learning developmental trajectories. In the 4C/ID model, Van Merri€enboer and Kirschner (2017) contend that even though the summative focus of assessment (assessment of learning) is to make high-stakes decisions, it must also perform a strong formative – meaningful feedback – function.
따라서 학습과 평가 과정을 성공적으로 진행하기 위하여 AoL과 AfL은 건설적으로 정렬되고, 교육 이론과 설계와 완벽하게 통합되어야 하지만, 이것이 얼마나 성공할 수 있는가는 [교사나 코치의 질]과 [조직의 학습 문화]에 달려 있다(Harrison 등 20).16, 2017).
Therefore, assessment of and for learning can be constructively aligned, and fully integrated with instructional theory and design, if they are to succeed in driving the learning and assessment process, but how successful this can be done depends on the quality of the teacher or coach and the learning culture in the organization (Harrison et al. 2016, 2017).
PA 기본원칙: 학생 주체성과 책임
Fundamental PA principle: Student agency and accountability
PA의 중요한 측면은 학생들이 자신의 학습과 평가에 대한 주체성과 책임을 맡도록 허용하거나 만드는 것이다. 앞에서 말했듯이, 학습자의 학습과 평가에 대한 행동주의자적 통제 범위는 그들의 졸업으로 끝나지만, 의대의 사회에 대한 책임은 졸업으로 시작된다. 그러므로 PA 프로그램은 점차적으로 그 기관과 책임을 학습자에게 넘기는 것을 추구한다. 이는 행동주의자와 자기조절이론에 정통한 운전자 사이의 의식적이고 의도적인 균형이 구현의 일부임을 암시한다.
An important aspect of PA is allowing or making the student assume agency and accountability for their own learning and their own assessment. As said before, the span of – behaviorist – control over the learners’ learning and assessment ends with their graduation but the medical school’s responsibility to society starts with graduation. PA programs therefore seek to gradually hand over that agency and accountability to the learner. This implies that a conscious and purposeful balance between behaviorist and self-regulation theory-informed drivers is part of the implementation.
설명 이론: 자기결정론(SDT)과 자기규제학습이론(SRL)
Explanatory theories: Self-determination theory (SDT) and self-regulation learning theory (SRL)
지원 활동, 특히 '자율성 지지 교육'이라는 개념은 PA 모델의 핵심 요소로서 학습자와 교사가 참여한다. 이러한 '자율성 지원 교육'은 무엇보다도 SDT와 SRL의 두 가지 이론적 프레임워크에 근거를 두고 있다.
Supporting activities, in particular the concept of ‘autonomy-supportive teaching,’ are a key component of the PA model and involve learners and teachers. Such ‘autonomy-supportive teaching’ is grounded in, among others, two theoretical frameworks, SDT and SRL.
SDT의 주요 축 중 하나는 자율성의 개념과 필요성이다. SDT에서 자율성은 '[자기 행동]의 인식된 기원이나 근원이 되는 것'(Deci와 Ryan 2004, 페이지 8)으로 의도되므로, 자율적 행동은 자아의 표현이다. SDT에서는 자율성-지지적 교사는 학생에게 독립적인 업무의 기회를 제공하고, 내부 동기를 지원하며, 학생들의 요구에 유연하고 대응한다. 따라서 '자율성 지지적 교육'은 PA의 맥락에서 교사들이 하는 주요한 역할이며, 코칭은 학생들의 자기 결정을 촉진하고, 학생들을 자율성의 연속체에서 움직이도록 돕는다.
One of the main pillars of SDT is the concept of or need for autonomy. In SDT, autonomy is intended as ‘being the perceived origin or source of one’s own behaviour’ (Deci and Ryan 2004, p. 8) and therefore, an autonomous behavior is an expression of the self. In SDT, autonomy-supportive teachers provide opportunities for independent work and support internal motivations, and they are flexible and responsive to the needs of the students. Therefore, ‘autonomy-supportive teaching’ is a major role teachers play in the context of PA, and the coaching fosters students’ self-determination and helps move the students across an autonomy continuum.
성공적인 평생 학습자에게 필요한 원하는 자율성을 달성할 수 있도록 하기 위해, 자기조절학습(SRL)은 통찰력이 있을 수 있다(Pintrich 2004; Schunk 2005). SRL은 학습자가 목표 설정, 학습 전략 선택 및 자체 성과 평가에 관여한다는 것을 전제로 한다. 또한 '자율적 지원 교육'의 개념은 [교사가 학생의 목표 설정, 학습 과제 제안, 학습과정 감시 및 평가 등을 돕는] 사회적조절학습의 원칙에도 근거를 두고 있다(Zimmerman 1998; Bandura 2001).
In order to be able to achieve the desired autonomy needed for successful lifelong learners, self-regulated learning (SRL) can be insightful (Pintrich 2004; Schunk 2005). SRL posits that learners are involved in goal setting, selecting learning strategies and evaluating their own performance. The concept of ‘autonomy-supportive teaching’ is also grounded in the principle of socially regulated learning in which the teacher helps the student in setting goals, suggesting learning tasks, monitoring and assessing the learning process (Zimmerman 1998; Bandura 2001).
설명 이론: 행동주의적 성향과 고의적 실천 원칙
Explanatory theories: Behaviorist orientation and principles of deliberate practice
행동주의적인 접근법의 교리는 우리가 PA에서 숙달학습의 개념을 접할 때 해당되는 것이다(Block 1980; Guskey 1980; Skinner 2011). 숙달학습에서 학생들은 정해진 수준의 숙련도를 보여주지 않으면 다음 수준의 수업으로 나아갈 수 없다. 이러한 숙달력은 의료 역량의 요소와 관련될 수 있지만 학습의 요소에도 해당될 수 있다. 예를 들어, 성찰 또는 자기분석 문서를 작성하는 것은 일련의 프로그램된 연습을 통해 배울 필요가 있을 수 있다. 이러한 모든 측면에 대해, [점진적으로 과제의 난이도를 증가시키면서, 즉각적인 보강과 피드백을 결합]하는 shaping이라는 개념은 행동주의자적 원칙이다.
Tenets of behaviorist approaches are considered when we encounter the concept of mastery learning in PA (Block 1980; Guskey 1980; Skinner 2011). In mastery learning, students cannot progress to the next level of instruction unless they demonstrate a set level of proficiency. This mastery can pertain to elements of medical competence but also to elements of learning to learn. For example, producing reflection or self-analyses documents may need to be learned through a series of programed exercises. For all these aspects, the concept of shaping, where instruction proceeds with tasks of increasing levels of difficulty, coupled with immediate reinforcement and feedback is a principle of the behaviorist orientation.
숙달학습은 어떤 면에서 [의도적인 연습DP]의 핵심 원칙이다. DP는 코치에 의해서 설계되는 활동으로서, 반복과 정교화를 통해 개인의 성과를 향상시키는 것이 목적이다(Anders Ericsson 2008). [학습자 동기 부여]와 [과제 설계]는 DP의 중요한 요소들이다. 교육자는 [학습자의 사전 지식 및 이해를 고려하여, 단시간의 교육 후에 학습자가 과제를 정확하게 이해할 수 있도록] 해야 한다. 학습자는 각 과제와 관련된 활동이 끝난 후 즉시 관련 피드백과 성과에 대한 지식을 얻어야 한다.
Mastery learning is a key principle of deliberate practice for some aspects – typically the more technical aspects – as is meaning making to others – typically the more understanding/insight-related aspects. Deliberate practice is intended as the activity designed by a coach to improve performance of an individual through repetition and refinement (Anders Ericsson 2008). Learners’ motivation and the design of the task are crucial elements of deliberate practice. Educators should take into account ‘the pre-existing knowledge and understanding of the learners, so that the task can be correctly understood after a brief period of instruction.’ Learners should receive immediate relevant feedback and knowledge of results of their performance after each task-related activity.
또한, 비고츠키아의 관점에 따르면, [배우는 과정에서는 교사와 학생이 학습 프로세스의 shaping과 directing 책임을 분담하지만], 점차적으로 책임이 바뀌는 co-regulated learning에 참여해야 할 것이다. 이를 위해 초기 비계는 서서히 제거되고 학생은 점차적으로 자신의 학습에 대한 책임감을 높여 자기 조절 능력을 키울 것으로 예상된다(van Houten-Schat et al. 2018). PA에서 학생과 교사의 관계는 매우 중요하며, PA의 역할은 실제로 그들의 발전의 다른 단계에 있는 학생들의 자기조절을 강화하는 것일 수 있다.
Further, according to the Vygotskian perspective, teacher and student will have to engage in co-regulated learning, in which they share the responsibility of shaping and directing the learning process but with a gradual change of responsibilities. For this, the initial scaffold will be slowly removed and the student is expected to gradually take increasing responsibility of his or her own learning, developing self-regulating skills (van Houten-Schat et al. 2018). In PA, the relationship of student and teacher is crucial, and one role of PA might indeed be that of foster self-regulation of students at different stages of their development.
해설론: 직업수요원론
Explanatory theories: Job demand–resource theory
고용수요원론(JDR-T) (Bakker and Demeruti 2017)에서 직업 특성은 크게 두 가지 범주로 나뉜다. 직무 요구와 직무 자원.
직무 요구는 [높은 업무 부담이나 감정적으로 힘든 상황]과 같은 신체적, 심리적, 조직적 노력이다.
직무 자원은 직무 요구를 줄여주거나, 자율성을 높여주거나, 성과에 대한 피드백을 제공하거나, 개인의 성장을 촉진하거나, 업무 목표를 달성하는 것이 포함된다. 직무 자원은 미래의 업무 참여와 동기를 예측한다.
In the job demand–resource theory (JDR-T) (Bakker and Demerouti 2017), job characteristics fall into two main broad categories: job demands and job resources.
Job and demands are physical psychological organizational efforts that may include high work pressure or emotionally demanding situations.
Job resources are those aspects of the job that reduce job demands, foster autonomy, provide feedback on performance, promote personal growth, and achieve work goals. Job resources predict future work engagement and motivation.
PA 평가에서 지원 활동에서 교직원의 역할은 바커와 데메루티(2017년)가 정의한 [직무 자원의 창출]과 유사할 수 있다. 코치로 활동할 때 교수들은 학생들의 자기 결정과 자율성을 개발하고, 상호작용적 사회적 학습 환경을 조성하며, 학생들이 직업 수요에 대처할 수 있도록 하고, 발전과 성장의 기회를 창출할 수 있도록 하는 직업 자원을 제공하기 위해 노력한다.
In PA assessment, the role of the faculty within the supporting activities may be similar to that of creating job resources as defined by Bakker and Demerouti (2017). Faculty when acting as coaches contribute to develop students’ self-determination and autonomy, foster an interactive social learning environment, and strive to provide those job resources that allow students to cope with job demands while creating opportunities for development and growth.
고찰
Discussion
의학연구와 달리 의학교육연구는 연구결과의 완벽한 복제를 자동적으로 가정하지는 않는다. 따라서 (RCT처럼) 의료 연구가 문맥적 특징에 관계없이 다른 맥락에서 복제할 수 있는 발견을 목표로 하는 경우가 많다면, 종종 의학교육 연구는 '복잡성' 또는 '시스템'을 가정하고 시작한다(Rosas 2015). 복잡한 상황에서, 발견을 한 맥락에서 다른 맥락으로 직접 복제하는 것은 작동하지 않는다; 대신에, 어떤 것이 작용하여 다른, 약간 다른 문맥에 맞게 수정되거나 전달될 수 있는 이유를 이해할 필요가 있다. 그러한 이해는 문제 해결을 transfer하는데 있어서 깊은 구조deep structure의 역할과 유사하다고 볼 수 있다(Eva et al. (Eva et al. 1998). 따라서 이론은 특정 상황이나 학습 조직에서 발생할 수 있는 구현의 과제를 극복하는 데 도움이 될 수 있다(Torre 등 2006).
Unlike in medical research, medical education research does not automatically assume perfect replication of research findings. So, where medical research is often aimed at producing findings that can be replicated in any other context regardless of contextual features – typically like randomized controlled trials – often (medical) education research starts from the assumption of complexity or systems (Rosas 2015). In complex situations, direct replication of findings from one context to another does not work; instead, there is a need to understand why something works so it can be adapted or transferred to fit another, slightly different context. Such understanding can be seen as analogous to the role of a deep structure in transfer of problem solving (Eva et al. 1998). Theory can therefore help overcome the challenges of implementation that may arise in specific contexts or learning organizations (Torre et al. 2006).
이론이 PA의 실행을 위한 기회를 알려준 한, 우리는 이론이 구현 도전에 직면하는 데 어떻게 도움이 될 수 있는지에 대한 예를 설명하기를 좋아한다. 예를 들어, 학생들은 임상실습에서, 그들은 한 번의 로테이션에서 동안 문제가 있을 수 있다. 그런 다음, 향후 로테이션 감독자/조정자가 이러한 문제에 대해 알아야 후속 로테이션 중에 이러한 문제를 학생에게 구체적으로 지원할 수 있다. 그러나, 감독관에게 앞선 로테이션의 정보를 주는 것을, 다음 감독관에게 편견을 갖게 하며, 학생들은 마치 '범죄 전과criminal case record'를 부당하게 넘기는 것처럼 인식할 수 있다. 그러나 PA 관점에서는, 이것은 '관리의 연속성' 프로세스에 더 가까울 것이다. 이 딜레마는 학습 맥락에 대한 표준 평가에서 주요 문제지만, PA 맥락에서 쉽게 해결할 수 있다.
As far as theory informed opportunities for the implementation of PA, we like to illustrate an example of how theory may help face an implementation challenge. For instance, when students are in their clinical rotations, they might have issues during one rotation. It is then imperative that the supervisor/coordinator of future rotations knows about these issues, so that they can specifically support the student with these during the subsequent rotations. However, notifying that supervisor may be perceived by the students as an unfair transfer of a ‘criminal case record’ and therefore may be seen to be biasing the next supervisor. From a PA view, it would be more like a ‘continuity of care’ process. This dilemma is a major one in a standard assessment of learning context, but it is an easy one to solve in a PA context.
한 로테이션을 도는 동안 문제를 경험한 학생은 학습 코치 –와 함께 –을 분석하고 교정조치 계획을 제시하도록 요청 받는다. 그 후 학생은 미래의 감독자와 이 계획을 소통하고 토론하며 이 계획을 어떻게 실행할지 준비할 것으로 예상된다. 점검 단계에서, 감독관이 계획에 서명하도록 요구될 수 있으며, 그것은 포트폴리오의 일부가 된다. 또한 학생과 그들의 학습 코치는 학생들이 이러한 어려운 대화를 다루는 방법을 배울 수 있도록 하기 위해 미래의 감독자/코디네이터와 그들의 문제를 소통하는 방법을 토론하고 연습할 수 있다. 이와 같이, 정보의 연속성과 종단성이 보호된다면, 학생이 자신의 학습에 주체성을 가지게 되고, 지난 로테이션의 문제는 단순히 나쁜 경험이 아니라 학습의 기회로 여겨지며, 그 문제는 단순히 성적표에 대한 체크박스가 아니라 학습의 의미 형성을 최적화하고, 자기조절학습을 촉진하고, 지속적인 성장과 학습자의 발전을 자극하는 수단으로 사용될 것이다.
The student who experiences issues during one rotation is asked to analyze – together with their learning coach – and provide a plan for remediation. The student is then expected to communicate and discuss this plan with their future supervisor and make arrangements for how to implement this plan. As a check, it can be required that the supervisor signs a plan and it becomes part of the portfolio. The student and their learning coach could also discuss and practice the way the student would communicate their issues with their future supervisor/coordinator, as a way of allowing the student to learn how to deal with these difficult conversations. As such, continuity of care and longitudinality of information is safeguarded, agency lies with the student for their own learning, the issues in the past rotation are not merely bad experiences but opportunities for learning, and the issues are not just a tick box on an academic transcript, but are being used to optimize meaning making of learning, foster self-regulated learning, and promote continuous growth and learner’s development.
우리가 다루지 않은 것과 점점 더 중요한 이슈로 인식되고 있는 것은 [조직문화]와 [소위 순진한 인식론]의 역할이다. 전자는 조직의 변화 의지를 촉진하거나 저해한다는 점에서 중요하다(Harrison et al. 2017). 후자는 더더욱 극복하기 어렵다, 깊은 신념과 관련되기 때문에, 우리는 비체계적이고 유도되지 않은 경험에 의해 우리 주변의 세계에 대해 발전한다(Vosniadou 1994). 이러한 현상은 종종 사람들로 하여금 그들이 교육받고 평가받는 방식이 현대 교육의 틀이 되어야 한다고 믿게 한다. 하지만, 우리가 50년 전처럼 의술을 실천하지 않는 것처럼, 우리도 50년 전처럼 교육을 실천하는 것을 목표로 해서는 안 된다. 왜 의학은 왜 일반적으로 진보하는 방향으로 자연스러운 전문직업적 경향을 갖는데 있고, 의학 교육에 관해서는 보수적이 되는지는 여전히 불분명하다. 우리는 이 분야에서 아직 이 요소를 우리의 서술에 포함시키기에는 충분한 이론적 발전이 없다고 느꼈다.
What we have not addressed and what is increasingly being recognized as a significant issue is the role of organizational culture and of so-called naïve epistemologies. The former is significant in that it facilitates or hampers the willingness in the organization to change (Harrison et al. 2017). The latter is even more difficult to overcome, as it relates to the deep beliefs, we develop about the world around us by unsystematic and unguided experience (Vosniadou 1994). This phenomenon often leads people to believe that the way they were educated and assessed should be the mold for modern education. However, like we do not practice medicine like we did 50 years ago, neither should we aim at practicing education the way we did 50 years ago. Why there is a general natural professional tendency in medicine to progress and when it comes to medical education to be conservative is still unclear. We felt that there is not sufficient theoretical development in this field yet to include this element in our narrative.
van Houten-Schat MA, Berkhout JJ, van Dijk N, Endedijk MD, Jaarsma AD, Diemers AD. 2018. Self-regulated learning in the clinical context: a systematic review. Med Educ. 52(10):1008–1015.
,42 (2), 213-220
Theoretical Considerations on Programmatic Assessment
Introduction:Programmatic assessment (PA) is an approach to assessment aimed at optimizing learning which continues to gain educational momentum. However, the theoretical underpinnings of PA have not been clearly described. An explanation of the theoretical underpinnings of PA will allow educators to gain a better understanding of this approach and, perhaps, facilitate its use and effective implementation. The purpose of this article is twofold: first, to describe salient theoretical perspectives on PA; second to examine how theory may help educators to develop effective PA programs, helping to overcome challenges around PA.Results:We outline a number of learning theories that underpin key educational principles of PA: constructivist and social constructivist theory supporting meaning making, and longitudinality; cognitivist and cognitive development orientation scaffolding the practice of a continuous feedback process; theory of instructional design underpinning assessment as learning; self-determination theory (SDT), self-regulation learning theory (SRL), and principles of deliberate practice providing theoretical tenets for student agency and accountability.Conclusion:The construction of a plausible and coherent link between key educational principles of PA and learning theories should enable educators to pose new and important inquiries, reflect on their assessment practices and help overcome future challenges in the development and implementation of PA in their programs.
활동이론의 도구가 학부의학교육에서 조직변화를 이해하는데 도움이 될 수 있을까? (Adv in Health Sci Educ, 2014)
Can the tools of activity theory help us in advancing understanding and organisational change in undergraduate medical education?
Anne-Marie Reid • Alison Ledger • Sue Kilminster • Richard Fuller
개요와 맥락
Overview and context
의대생에서 주니어 의사로의 전환은 많은 관심의 초점이 되어 왔으며, 대부분의 경우 누구나 어려움을 겪는다고 언급하고 있다.
The transition from medical student to junior doctor has been the focus of much attention, with most accounts presenting this transition as problematic for all concerned.
영국의 전문 규제 기관인 종합의료위원회(GMC)는 주니어 의사들의 '준비성'에 대한 우려에 대해, 최종년도의 의대생이 주니어 의사를 보조하는 학생 '보조성assistantships'에 대한 요건을 도입하고, 학생이, 감독하에, 주니어 의사의 통상적인 의무(GMC 2009b)를 실시하는 것으로 대응해 왔다. 그러나 의료 학부 프로그램과 임상 배치의 복잡한 요구를 충족시켜야 하는 이러한 assistantships의 구조와 형식에 대한 지침은 거의 없다. 이와 관련된 요구사항은 중 하나는, 졸업반 의대생들이 4일 동안 그들이 맡게 될 주니어 의사와 함께 일하도록 요구받는 '섀도잉'이다(Keoh 2012). 이는 학기말 시험 후 그리고 새 직장에 취업하기 전에 발생한다. 주니어 의사(GMC 2012)의 역할과 책임, 그리고 그들이 감독해야 할 학생들의 활동에는 전국적으로 상당한 변화가 있다.
In the UK, the professional regulatory body, the General Medical Council (GMC) has responded to concerns about junior doctors’ ‘preparedness’ by introducing a requirement for student ‘assistantships’ in which a final year medical student assists a junior doctor, and, under supervision, performs the usual duties of a junior doctor (GMC 2009b). However, there is little guidance about the structure and format of these assistantships which need to meet the complex needs of both the medical undergraduate programme and the clinical placement. A related requirement is for ‘shadowing’ when graduating medical students are required to spend 4 days working alongside the junior doctor whose post they will take over (Keogh 2012). This occurs after the final year exams and before employment in the new post commences. There is considerable variation nationally in both the roles and responsibilities of the junior doctors (GMC 2012), and the activities of the students they are required to supervise.
이 연구는 의대생들이 임상 실습으로 전환하기 위해 이동함에 따라 학습 문화, 특히 assistantships와 관련된 변화에 영향을 미치는 방법을 탐구하기 위해 고안되었다. 이 연구는 이전 연구(Kilminster 등 2011)에서 개발되었으며, 이전 연구에서 전환transition은 의사들이 [환경의 특수성에 engage하고, 다른 동료들과 작업 관계를 설정하는] 극도로 집약적인 학습 기간(CILP)으로 재구성될 수 있다는 의견을 제시했다.
This study was designed to explore ways of influencing changes in learning cultures, particularly around assistantships, as final year medical students move towards their transition to clinical practice. The study developed from our previous work (Kilminster et al. 2011) which suggested that transitions could be reframed as critically intensive learning periods (CILPs) in which doctors engage with the particularities of the setting and establish working relationships with other colleagues.
프로젝트의 프레임워크는 Engestro ̈m(1987년; 2001년; 2005년; 2007년)에 의해 개발된 활동 이론 구조에 기초한 개발 작업 연구(DWR)에서 도출되었다. 이러한 개입주의적 방법론은 실무자들이 실천의 문제를 해결하기 위해 중요한 접근법을 취할 것을 권장한다. 참여자들은 함께 협력하여 기존 관행에 대한 새로운 통찰력을 만들고 그들의 특정한 사회역사적 맥락 안에서 새로운 해결책을 질문하고 모델링함으로써 결과적인 변화를 개발한다. DWR에서, 연구원들은 실무자들과 협력하여 일하는 조력자 역할을 한다. 이 방법론은 전문 지식과 전문지식이 조직 전체에 분포되어 있음을 인식한다. 이 연구에서 지식과 전문지식은 의대와 임상 환경 사이에 분포되었다.
The framework of the project drew from Developmental Work Research (DWR) which is based on the activity theory construct developed by Engestro¨m(1987; 2001; 2005; 2007). This interventionist methodology encourages practitioners to take a critical approach to solving problems of practice -participants work together to create new insights into existing practices and develop consequent changes by questioning and modelling new solutions within their specific socio-historical contexts. In DWR, researchers act as facilitators who work collaboratively with practitioners. This methodology recognises that specialist knowledge and expertise is distributed across organisations; in this study, knowledge and expertise was distributed between the medical school and clinical settings.
DWR와 조직변화
Developmental Work Research (DWR) and organisational change
DWR 접근법은 Engestro rom에 의해 조직변화를 위한 개입 전략으로서 개발되었다. DWR은 활동 이론 프레임워크에 기초한다(Engestro ̈m 1987; 2001; 2005; 2007). 문화역사활동이론(CHAT)은 본질적으로 사람과 요소 사이의 역동적인 상호작용 시스템 분석과 관련이 있다. 즉, 사물들이 어떻게 진화하고 있는지, 어떻게 그것들이 있는 그대로 이해되는지, 그리고 ...물질적 요소들 간의 관계, 그리고 노동, 문화적 규범, 규칙과 시스템에 얽힌 관점의 분열." (Fenwick et al. 2011 페이지 9).
The DWR approach was developed by Engestro¨m as an interventionist strategy for organisational change; it is based on the activity theory framework (Engestro¨m 1987; 2001; 2005; 2007). Cultural Historical Activity Theory (CHAT) is essentially concerned with analysing systems of dynamic interaction between people and artefacts: how things have evolved as they are, how they are understood as they are and, ‘‘relations among …material artefacts, as well as divisions of labour, cultural norms, rules and perspectives enmeshed in the system’’ (Fenwick et al. 2011 p. 9).
(CHAT에서) 학습은 특정 사회-문화적 역사적 맥락 안에서 조직적 또는 시스템 수준에서 발생하는 것으로 이해된다. 모든 활동은, 모든 상황에서, 활동이 일어나고 있는 시스템의 실행의 '분업'과 '규칙' 내에서 일어난다(Engestro ̈m 2001; 2007; Roth and Lee 2007).
Learning is understood as occurring at an organisational or systems level within specific socio-cultural historical contexts; all activity, in every setting, occurs within the ‘divisions of labour’ and the ‘rules’ of practice of the system within which the activity is taking place (Engestro¨m 2001; 2007; Roth and Lee 2007).
CHAT에서, [확장적expansive 학습]은 활동 시스템(예: 병동, 외래 환자 클리닉, 병원 또는 규제 시스템일 수 있음)의 내재적 모순에 대응함으로써 이루어진다. 모순은 '실제 활동 시스템에서 감지하여 처리할 수 있는 역사적으로 진화하는 긴장'이다(Engestro ̈m과 Sannino 2010, p. 4). 이러한 모순은 시스템에 관계된 '다수의 목소리'로부터의 상충하는 요구, 조직변화의 도입, 동기의 차이, 그리고 기대의 차이와 같은 여러 요인에 의해 발생한다. 이러한 모순이 충분히 골치 아프게 되면 그들은 딜레마, 도전과 질문을 만들어낸다; DWR 개입을 통해 이것들을 해결하면 새로운 실천요강이 나타날 가능성이 있다.
In CHAT, expansive learning results from responding to the inherent contradictions in an activity system (which may be a ward, out-patient clinic, hospital or regulatory system for example). Contradictions are ‘historically evolving tensions that can be detected and dealt with in real activity systems’ (Engestro¨m and Sannino 2010, p. 4). These contradictions arise due to a number of factors such as competing demands from the ‘multiple voices’ involved in the system, the introduction of organisational change, differences in motivation and different expectations. When these contradictions become sufficiently troublesome they create dilemmas, challenges and questions; addressing these through a DWR intervention allows the possibility for new practices to emerge.
예를 들어, 한 DWR 연구는 노인들의 충족되지 않은 요구와 관련된 문제를 해결하기 위해 노력하는 다양한 보건 및 사회 복지사들을 포함했다(Engestro ̈m 및 Sannino 2010). 이러한 충족되지 않은 요구는 시스템 내 활동의 '객체'의 모순으로 이해되었다. 즉, 가정 관리 근로자들은 특정 관리 업무를 신속하게 완료하는 데 집중하는 경향이 있는 반면, 노인들은 자신의 독립성을 유지할 필요성에 초점을 맞추고 있었다. DWR 개입은 이러한 다른 대상들을 새로운 해결책(즉, 새로운 치료협적)의 개발을 통해 더 가깝게 모일 수 있게 하였다. 즉, 노인들의 요구와 관리팀의 과제를 보다 잘 조화시키는 매개 도구 역할을 하였다.
For example, one DWR study involved a range of health and social care practitioners working to resolve issues regarding the unmet needs of older people (Engestro¨m and Sannino 2010). The unmet needs were understood as contradictions in the ‘objects’ of activity in the system— home care workers tended to focus on completing specific care tasks quickly, whilst older people were focused on the need to maintain their independence. The DWR intervention enabled these different objects to be brought closer together through the development of a new solution—a new care agreement—which acted as a mediating tool to better align the older persons’ needs and the care teams’ tasks.
그러한 연구는 [활동 이론에서 모순의 역할]을 증명한다; 모순은 활동 시스템에서 근본적으로 경쟁하는 요구 안에 있고 해결책으로 이어질 수 있는 광범위한 학습 과정을 자극할 잠재력을 가지고 있다. Engestro ̈m은 모순은 타협에 도달함으로써가 아니라, 모순은 '질적으로 새로운 기능 방식을 구성하고 실행하는 것'에 의해서만 해결할 수 있다고 강조한다.
Such studies demonstrate the role of contradiction in activity theory; contradictions lie within the fundamentally competing demands in the activity system and have the potential to stimulate an expansive learning process which can lead to a solution. Engestro¨m emphasises that contradictions can only be addressed by ‘constructing and implementing a qualitatively new way of functioning’ rather than by reaching a compromise (2007 p. 24).
CHAT는 의료 및 교육 연구를 포함한 조직변화 연구에서 광범위하게 개발되었다. 좀 더 최근에는 의학 교육에 관심이 있었다. 예를 들어, 모리스(2012년)는 의과대학의 교육학 실습 연구에서 활동 이론을 그리고 페이터 외 연구진(2011년)은 대학원 훈련으로 전환하는 동안 환자 안전에 대한 학부생들의 인식을 탐구했다. 우리의 연구에서 우리는 보조 배치의 개발을 위해 CHAT의 개념적 도구를 가져오려고 했다.
CHAT has been extensively developed in organisational change research, including healthcare, and educational research. More recently, there has been some interest specifically in medical education; for example, Morris (2012) drew upon activity theory in researching pedagogic practice in a medical school and Feijter et al. (2011) explored undergraduate student perceptions of patient safety during the transition to postgraduate training. In our study we sought to bring the conceptual tools of CHAT to develop assistantship placements.
주요한 모순들 중 하나는 [교육에서 직장으로의 이행에 대한 이해]에 있다. 이 때 '학습'과 '일'을 이분법적으로 취급하는 것이 어떻게 상충하는 요구를 만들어내고 어떻게 이러한 변화를 방해하는지에 있다.
One of the major contradictions lay in understandings of the transition from education to work and the ways in which treating ‘learning’ and ‘work’ as a dichotomy creates competing demands and hampers this transition.
두 번째 모순은 대학과 병원 활동 시스템 사이의 상충하는 시간표 작성 요건에 있었다. 병원 내에서 일주일에 24시간, 7일 근무 패턴에도 불구하고 학생들은 보통 평일 근무 시간에 임상 환경에 참석했다. 대학 시간표 작성이란 병원 배치 시간에 거의 참석하지 않았거나 병원 팀과 장기간 연락을 주고 받은 적이 없다는 것을 의미한다.
A second contradiction lay in competing timetabling requirements between the university and the hospital activity systems; despite a 24 h, 7 days per week working pattern within hospitals, students typically attended clinical settings in office hours during weekdays. University timetabling meant that they rarely attended hospital placements’ out of hours’ or had prolonged contact with hospital teams.
방법론
Methodology
DWR 접근법의 기초는 진행 중인 대화와 토론에 이어 기존의 관행에 의문을 제기하는 과정이다. 전제는 이를 통해 광범위한 학습 주기를 통해 연습 문제를 해결할 수 있다는 것이다. '변화 실험실' 세션(예를 들어, Engestro mm 2001)에서, 참가자는 연구자와 협력하여, 조직의 사회-역사적 맥락에서 그들을 질문함으로써 그들의 현재 관행을 분석한다(즉, 관행이 특정한 방식으로 어떻게 그리고 왜 발전해 왔는지 조사).
The basis of the DWR approach is a process of questioning existing practices followed by ongoing dialogue and debate; the premise is that this allows problems of practice to be addressed through expansive learning cycles. In ‘change laboratory’ sessions (for example, Engestro¨m 2001) participants, working with researchers, analyse their current practices by questioning them in the socio-historical context of their organisation (in other words, examining how and why practices have evolved in certain ways).
연구결과
Findings
병원 A
Hospital A
이 병원은 새로 단장된 종합병원으로 큰 옛 공업도시를 서비스하고 있다. 워크숍 참가자들은 4주 중 3주 동안 일부 최종 학년 학생들이 이미 후배 의사에게 애착을 갖고 있었기 때문에 이미 자리 개발에 진전을 이룬 열정적인 팀으로 자신을 내세웠다. 그들의 인식은 첫 번째 워크숍에서 '이 의대생들은 꽤 유용하고, 많은 일을 하고 있고, 그들은 여기서 재미있는 밤 시간에 지원한다!'라고 말했을 때 설명되었다.
This is a newly refurbished general hospital serving a large old industrial town. The workshop participants presented themselves as an enthusiastic team who had already made advances in developing placements because some final year students were already attached to a junior doctor for three out of four placement weeks. Their perceptions were illustrated early in the first workshop when the consultant said, ‘‘they’re pretty useful these medical students, they’re doing a lot of stuff, they’re here and supporting at funny times of the nightwow!’’
이 팀은 이미 조력자 설립을 위한 새로운 해결책을 모델링하는 과정에 있다고 판단했다(그림 1).
This team considered that they were already in the process of modelling a new solution to establishing assistantships (Fig. 1).
조직문화
Organisational culture
학생에 대한 이해와 직장에서의 학습
Understandings about students and learning in the workplace
요약
Summary
A병원에서는 환자를 돌보는 데 기여하는 '훈련자 의사'로 학생들을 설립하려는 시도가 여러 차례 있었다. 특히 유니폼을 입고 (감독을 받는) 필기와 처방전을 쓰는 것은 팀 멤버십을 상징하는 것이었다. 그 부서에 보조 모델을 배치할 준비가 확실히 되어 있었다. 마지막 학년 학생들은 비교적 협력적인 팀 구조에서 그 일에 귀중한 공헌을 하고 있는 것으로 여겨졌다. 학생들에게 '훈련의 의사'로 인정되는 것은 책임에 대한 기대와 함께 팀원으로서의 일정한 권리를 부여한다는 것을 분명히 했다. 참가자들은 보조 경험을 제공하는 것은 학생뿐 아니라 팀 전체와 환자 모두에게 이익이 된다고 생각했다. 그들의 의도는 병원의 다른 부서에서 보조 업무를 수행하려는 것이다. 이 일은 현재 진행 중이다.
At Hospital A there were a number of attempts to establish students as ‘trainee doctors’ contributing to patient care. In particular, wearing uniforms and writing (under supervision) notes and prescriptions were symbolic of team membership. There was a definite readiness to embed an assistantship model in the department. Final year students were considered to be making a valuable contribution to the work in a relatively collaborative team structure. It was made clear to students that being acknowledged as ‘doctors in training’ gave them certain rights as a member of the team alongside expectations of responsibilities. The participants considered that providing assistantship experience had benefits not only for students, but for the whole team and for patients. Their intention is to implement aspects of assistantship in other departments in the hospital; this work is currently in progress.
병원 B
Hospital B
이곳은 도시와 농촌 인구가 혼합된 넓은 지리적 지역에 서비스를 제공하는 작은 지역 병원이다. 워크숍은 위에 설명된 구조를 따랐다. 병원 B의 팀은 그들이 광범위한 학습 주기의 맨 처음 단계(그림 1)에 있으며, 조수 모델을 향해 나아갈 준비가 되어 있고 열심이지만, 이것이 무엇을 필요로 하는지 정확히 고려하는 데 시간이 좀 필요하다고 생각했다. 첫 번째 워크숍 동안, 마지막 학년 학생들이 이미 저녁과 밤 동안 후배 의사들을 '그림자'로 그리고 '시간 외'에 참석하고 있었기 때문에, 병원 B의 기존 자리들이 보조의 일부 측면을 분명히 지원했다는 것이 명백해졌다.
This is a small regional hospital which serves a large geographical area with a mixed urban and rural population. The workshops followed the structure outlined above. The team in Hospital B considered that they were at the very beginning of the expansive learning cycle (Fig. 1), ready and keen to move towards an assistantship model, but requiring some time to consider exactly what this would involve. During the first workshop it became apparent that existing placements at Hospital B clearly supported some aspects of assistantships as final year students were already ‘shadowing’ junior doctors and attending placements ‘out of hours’ during evenings and nights.
조직 문화
Organisational culture
근무지에서 학생과 학습에 대한 이해
Understandings about students and learning in the workplace
모순과 매개 심볼
Contradictions and mediating symbols
요약
Summary
병원 B의 지역 문화는 '하향식'과 '상향식'의 변화를 지지하는 것으로 보여, local assistantship arrangements 가 이루어질 가능성을 나타냈다. 워크숍에서의 논의를 통해 배치 팀은 학생 학습과 조교들을 연습 환경에서 활동적인 팀원으로 취급하는 것 사이의 긴장을 인식했지만 완전히 해결하지는 못했다. 이 팀은, 최종 학년 학생들이 새로운 활동을 할 수 있도록 지원하고, 배치 중인 직원들이 그들이 하급 의사 역할을 하도록 격려하기 위해 assistantship 기간 동안 새로운 정체성이 필요하다는 것을 인정했다.
The local culture in Hospital B appeared to support ‘bottom up’ as well as ‘top-down’ changes, thus indicating the potential for local assistantship arrangements to be made. Through discussions in the workshops placement teams recognised, but did not fully resolve, a tension between student learning, and treating assistants as active team members in the practice setting. The team recognised that final year students needed a new identity during the assistantship period to support them in taking on new activities and to encourage staff in the placement to expect them to act as junior doctors.
또한 워크숍은 일정표에 내재된 모순을 표면화했으며, 이는 활동의 대상으로서 다양한 장소에서 다양한 경험을 가진 원활한 대학 시간표를 강조하였다. 대학 연구팀과 배치팀 사이의 상호 작용은 지원 보조 업무에서 활동 대상을 확대하기 위해 데이터베이스 재구성을 통해 활동 시스템 간의 경계 교차에서 매개되었다.
The workshops also surfaced the contradictions inherent in timetabling which emphasised a smooth running university timetable with a breadth of experience in different placements as the object of activity. The interaction between the university research team and placement team mediated in boundary crossing between activity systems with a reconfiguration of the database to expand the object of activity in supporting assistantship.
고찰
Discussion
assistantship 모델의 개발은 [일에 대한 이해]와 [학습] 사이의 긴장을 강조하였다. 모리스(2012년)의 이전 연구에서는 이것이 명시되지 않는 한, 의대생들이 직장에서 배우는 것을 식별하는 데 있어서 종종 겪는 어려움을 지적하고 있다. 어느 정도 우리는 직장에서 그들의 감독관들도 같은 말을 할 수 있다고 느꼈다. 이러한 긴장감은 이 수정된 DWR 접근방식으로 완전히 해결되지는 않았다. 우리는 '베이컨 샌드위치'와 '유니폼'과 같은 몇 가지 주요 중재적 요소들, 그리고 병원 A의 '최종 학생'에서 '보조자'로 정체성의 발전을 나타내는 '스크럽'과 같은 상징들을 확인했다. 이러한 기호는 학습자의 신분 변화를 나타내며, 환자 치료에 기여하는 팀의 일원으로 활동할 수 있는 사람, 즉 '보조인'으로서의 자신의 신분을 가시화한다. '실제 일'을 수행함으로써 마지막 학년의 학생은 인정받고 가치 있게 되며, 이는 결과적으로 더 많은 유용한 기여를 장려한다.
The development of these assistantship models highlighted the tensions between understandings about work and learning. Previous work by Morris (2012) points out the difficulties medical students often have in identifying the learning in work unless this is made explicit. To some extent we felt that the same could be said of their supervisors in the workplace. These tensions were not entirely resolved by this modified DWR approach. We did identify some key mediating factors—symbols such as the ‘bacon sandwiches’ and the uniforms, the ‘scrubs’ which denoted the development of identity from ‘final year student’ to ‘assistant’ in Hospital A. Such symbols denote a change in identity for the learner, making visible their identity as an ‘assistant’, a person who is available to act as a member of the team contributing to patient care. By performing ‘real work’ the final year student becomes acknowledged and valued, which in turn encourages further useful contribution.
병원 B에서도 마찬가지로 신분증과 당직콜은 매우 중요했다. 처음에 병원 B팀은 A병원의 팀과 같이 조력을 개발할 준비가 되어 있지 않은 것 같았다. 비록 병원 B의 직원들이 때때로 그들의 관행이 그들을 주변으로 유지시켜준다는 것을 인식하기 전에 도전을 받았지만, 마지막 학년 학생들은 긍정적인 평가를 받았다. 이를 수용한 병원 B팀은 제약요인으로 인식된 현재의 [대학 시간표 작성] 관행에 의문을 제기했다. 그 연장된 시간은 관계를 발전시키고 팀에 assistantship를 포함시킬 기회를 제공했다.
Similarly in Hospital B identity badges and the night on call were critical. At first it seemed that the Hospital B team were not quite at the same point of readiness to develop assistantships as the team in Hospital A. Final year students were viewed positively, although staff in Hospital B were challenged before recognising that at times their practices kept them on the periphery. Having accepted this, the Hospital B team questioned current practice in university timetabling which was recognised as a constraining factor. The extended time made available presented opportunities for relationships to be developed and inclusion of assistants within teams.
우리는 수정된 DWR 접근방식이 지역 병원 상황에 적합한 이론 정보 보조 배치 개발에 도움이 될 수 있는지 검토하기 시작했다. 활동 이론의 도구를 사용함으로써 우리는 병원 사이트와 대학 시스템 모두에서 몇몇 상충하는 활동 객체objects을 밝힐 수 있었다. 이것은 기존의 작업 방식의 모순을 해결하는 광범위한 학습의 기회를 보여주었다. 이 워크숍은 각 병원 현장의 보조원 배치 준비에 영향을 미치는 것으로 보이는 상징적이고 문화적 요인을 밝히는 데 도움이 되었다. 이러한 긍정적인 지표의 존재는 팀들이 기존 관행practice을 반성하고 새로운 가능성을 수용하도록 재구성할 수 있는 학습 환경을 의미한다.
We set out to explore whether a modified DWR approach could be helpful in developing theory-informed assistantship placements appropriate to local hospital contexts. Employing the tools of activity theory helped us to reveal some competing objects of activity in both hospital sites and in the university system. This revealed opportunities for expansive learning which addressed contradictions in existing ways of working. The workshops were helpful in revealing symbolic and cultural factors that seemed to influence the readiness for development of assistantship placements at each of the hospital sites. The presence of these positive indicators signifies a learning environment in which teams are open to reflecting on existing practices and reconfiguring these to accommodate new possibilities.
결론
Conclusion
본 논문은 효과적인 assistantship 모델을 개발함에 있어 조직변화에 대한 준비성을 탐구하는 데 있어 수정된 DWR 접근방식의 가치를 평가하기 위해 작성되었다. 우리의 연구결과는 활동 이론의 도구가 혁신적인 해결책을 지원할 가능성이 높은 조직적 실천을 밝히고, assistantship 을 구현할 수 있는 임상작업장을 식별하는 데 유용하다는 것을 시사한다. 졸업반을 assistantship배치로 전환하기 위한 준비는 문화적, 물질적 상징을 포함하는 중재적 요소가 존재함에 따라 나타난다. 이러한 긍정적인 지표의 존재는 기존의 관행을 반성하고, 새로운 가능성을 수용하도록 재구성할 수 있는 학습 환경을 의미한다. 그러한 기호는 '학생'에서 '보조'로 이행하는 과정을 중재하며, [학생 학습]이 [환자 치료 실천]에 내재된 것이 아니라 환자 치료와 별개의 것으로 이해되는 근본적인 모순을 해결하는 데 도움이 된다. 이것은 그림 2와 3에 도표로 표시되어 있다.
This paper set out to assess the value of a modified DWR approach in exploring organisational readiness for change in developing an effective assistantship model. Our findings suggest that the tools of activity theory are valuable in revealing organisational practices which are likely to support innovative solutions and in identifying clinical workplaces ‘ready’ to implement an assistantship model. Readiness for transforming the final year placement to an assistantship placement is indicated by the presence of mediating artefacts which include cultural and material symbols. The presence of these positive indicators signifies a learning environment in which teams are open to reflecting on existing practices and to reconfiguring these to accommodate new possibilities. Such symbols mediate in the transition from ‘student’ to ‘assistant’ and help address the underlying contradiction where student learning is understood as separate to patient care, rather than as inherent in the practice of patient care. This is shown diagrammatically in Fig. 2 and 3.
수정된 DWR 워크숍은 최종 학년 학생에서 주니어 의사로 전환에 대한 이해를 학생의 '준비성preparedness'에 초점을 맞추는 것 이상으로, [이 전환을 효과적으로 수용하기 위한 연습의 준비 상태]에 초점을 맞추기 위한 것이었다. 이러한 발견은 실제 학습의 내재적이고 국지적으로 맥락화된 성격을 부각시키고 '준비성'을 강조함에 내재된 가정을 밝힌 이전의 연구와 반향을 일으킨다(킬민스터 외 2011). 연구팀은 의료 파트너와 협력하여 '활동 대상을 재고하거나 확장할 수 있는 페다고그적 지원'을 제공하기 위해 활동 이론을 도출했다(Guile 2009 p. 770).
The modified DWR workshops were intended to shift understandings of the transition from final year student to junior doctor beyond a focus on ‘preparedness’ of the student to a focus on the readiness of the practice to accommodate this effectively. These findings resonate with our previous work which highlighted the embedded and locally contextualised nature of learning in practice, and revealed assumptions inherent in the emphasis on ‘preparedness’ (Kilminster et al. 2011). The research team drew on activity theory in working with our healthcare partners to provide ‘pedagogic support that will enable them to re-think or expand the object of activity’ (Guile 2009 p. 770).
본 논문은 정책 및 전문 규제 기관과 협력하여 조력자 및 기타 전환을 지원하기 위해 전문 규제 기관과 협력해야 할 명확한 필요성을 가진 실천요강에 대한 함의를 가지고 있다. 우리가 이러한 개발을 계속 진행함에 따라, 수정된 DWR 접근방식은 우리가 무엇을 어떻게 변화시킬지 평가하고 식별하는 데 배치 작업을 할 수 있게 해줄 것이다. 이 방법론은 한계가 있지만, 우리는 우리의 연구 결과가 의료실무에서 적절히 활용될 때 조직의 변화를 이해하고 촉진하는 모델의 가치를 보여준다고 생각한다.
This paper has implications for policy as well as practice with a clear need to work with professional regulatory bodies in addressing issues of workplace organisation and culture in order to support assistantship and other transitions. As we continue working on these developments, the modified DWR approach will enable us to work with placements in assessing and identifying what, and how, to change. Although this methodology has limitations, we consider that our findings show the value of the model in advancing understanding and promoting organisational change in healthcare practice when utilised appropriately.
,20 (3), 655-68
Can the Tools of Activity Theory Help Us in Advancing Understanding and Organisational Change in Undergraduate Medical Education?
Continued changes to healthcare delivery in the UK, and an increasing focus on patient safety and quality improvement, require a radical rethink on how we enable graduates to begin work in challenging, complex environments. Professional regulatory bodies now require undergraduate medical schools to implement an 'assistantship' period in the final year of study, where senior medical students 'shadow' the work of junior doctors, with an expectation that they will be better 'prepared' for work. However, there is little guidance about what an 'assistantship' entails and the current emphasis on preparedness of students arguably underplays the importance of contextualised learning within the workplace environment. This paper will describe a modified Development Work Research (DWR) (Engeström in Developmental work research: activity theory in practice. Lehmanns Media, Berlin, 2005) approach to organisational change, enabling academic, clinical and administrative partners to develop assistantship placements in different hospitals. Our findings indicate that a modified DWR approach can reveal factors indicating organisational readiness to support change within a locally contextualised framework. The process has significant practical applications across a range of healthcare disciplines, as all professions seek to engage with the challenge of enabling successful transitions of graduates to the workplace.
Approaching culture in medical education: Three perspectives
Christopher J. Watling1 | Rola Ajjawi2 | Margaret Bearman2
도입
1 | INTRODUCTION
현대 의학 교육 문헌에는 문화 변화에 대한 요구가 많다. 역량 기반 의료 교육 채택, 1 환자 안전 이니셔티브 강화, 2 의미 있는 피드백 교환 강화, 의사 번아웃 감소와 같은 다양한 당면 과제의 성공은 문화 변화에 달려 있는 것으로 그려졌다. 이러한 묘사는 교육 전략이 어떻게 전개되고, 성공하고, 실패하는지에 있어서 키플레이어로서 '문화'에 대한 인식이 증대되고 있음을 반영한다. 그러나 문화는 여전히 다소 불규칙한 개념으로 남아있다.
Calls for culture change abound in contemporary medical education literature. Challenges as diverse as adopting competency-based medical education,1 strengthening patient safety initiatives,2 enhancing the exchange of meaningful feedback3 and reducing rates of burnout amongst physicians4,5 have been portrayed as hinging on culture change for their success. Such portrayals reflect an increasing acknowledgment of ‘culture’ as a key player in how educational strategies unfold, succeed or fail. However, culture remains a somewhat amorphous notion
이론적으로 근거 있는 문화의 개념이 없다면, 다양한 교육 목표를 달성하기 위한 필수적 precursor로 문화 변화를 요구하는 것은 해석하고 실행하기 어렵다. 대신, 그러한 요구는 변하지 않는 것에 대한 애석함이 된다.
Without a theoretically grounded notion of culture, calls for culture change as a necessary precursor to achieving various educational goals are challenging to interpret and to act upon. Instead, such calls become laments for the unfixable.
학습에 대한 사회문화적 이론
sociocultural theories of learning
Lave와 Wenger의 실천공동체 개념은 학습은 상황에 달려있으며situated, 학습은 개인이 전문직 또는 장인의 공동체 활동에 참여할 때 발생한다고 주장한다.6 참여를 통해, 학습자는 공동체의 관행, 관습, 마음 습관과 가치를 흡수하고 채택한다.6 Wenger는 '우리는 [속해 있는 각각의 실천 공동체]에서 [각기 서로 다른 실천]에 참여한다'는 점에 주목하면서, 사회가 개인에게 미치는 영향을 강조했다. 사람들은 각각의 공동체에 따라 다소 다르게 행동하고, 우리의 다양한 측면을 구성하며, 각기 다른 관점을 습득한다.'7
Lave and Wenger's notion of communities of practice holds that learning is situated, and occurs as individuals participate in the activities of communities of professionals or craftspeople.6 Through this participation, they absorb and adopt the practices, customs, habits of mind and values of those communities.6 Wenger emphasised the impact of the social on the individual, noting that ‘we engage in different practices in each of the communities of practice to which we belong. We often behave rather differently in each of them, construct different aspects of ourselves, and gain different perspectives.’7
'상황화된 인지situated cognition은 학습을 문화화 enculturation과정으로 본다.8 상화화된 인지 관점에서는 맥락이 전부이다; 예를 들어, 평가 도구가 실제로 사용되는 방법은 도구 자체보다, 도구가 사용되는 공동체와 그것의 세계관에 더 많이 의존한다.8 [실천 공동체]나 [상황화된 인지]와 같은 이론의 입장을 갖는 연구자의 관심은 개인으로부터 멀어지고, 사회로 향한다. 즉, 연구자들이 연구결과를 설명하고 실천에 대한 그들의 의미를 논할 때 '문화'라는 개념을 불러오는 관점의 변화가 생기는 것이다.
the theory of ‘situated cognition’ frames learning as a process of enculturation.8 The situated cognition perspective holds that context is everything; how an assessment tool is used in practice, for example, depends less on the tool itself and more on the community in which the tool is used and its view of the world.8 When researchers use theories like communities of practice and situated cognition, their attention is directed away from the individual and towards the social—a perspective shift that may prompt researchers to invoke ‘culture’ to both explain findings and consider their implications for practice.
슐만의 시그니쳐 교수법에 대한 설득력 있는 연구는 문화가 어떻게 교육에 각인되는지를 더욱 강조한다. 시그니쳐 교수법은 어떤 전문직이나 학문이 학습자의 훈련을 조직할 때 사용하는 특징적인, 때로는 특이한 교육방법을 의미한다. 슐먼은 시그니쳐 교수법에는 암묵적 구조가 있다고 지적한다. 즉, [직업적 태도, 가치관, 신념에 바탕을 둔 도덕적 차원]이 시그니쳐 교수법을 유지하고 강화하는 경향이 있다. 그 결과, 시그니쳐 교수법을 구성하는 교육 및 학습 패턴은 종종 변화에 대해 크게 저항하는데, 부분적으로는 그 이유는 시그니쳐 교수법이 그 전문직의 '문화'라고 부를 수 있는 이 암묵적 구조에 깊이 뿌리를 두고 있기 때문이다.
Shulman's compelling work on signature pedagogies further highlights how culture imprints itself on education.9 Signature pedagogies are the distinct and sometimes singular ways in which professions or disciplines organise the training of their learners. Shulman notes that signature pedagogies have an implicit structure—a moral dimension grounded in professional attitudes, values and beliefs— that tends to maintain and reinforce them.9 The patterns of teaching and learning that comprise signature pedagogies are thus often highly resistant to change, in part because they are deeply rooted in this implicit structure—what we might call the ‘culture’ of a profession.
슐만이 여기서 '암묵적'이라는 단어를 사용한 것은 시사하는 바가 있다. 비록 [사회 문화 학습 이론]이 의학 교육 연구에서 주목을 끌었지만 (이것은 아마도 의학교육 분야에서 더 완고한 도전 중 일부를 설명할 수 있는 가능성이 있었기 때문일 것이다), 문화는 그 자체로 모호하면서도, 당연하게 여겨지는 개념일 수 있다. 문화는 우리의 교육적 실천의 뒤에 숨어있다; 문화는 학습자들에게 미치는 영향은 암묵적이다. 지금까지 의학 교육 연구가 지금까지 종종 정교하고 이론적으로 정보에 입각한 관점이 결여되어 있었음에도, 다른 한 편으로는 학습이 실제로 어떤 방식으로 그리고 왜 그렇게 전개되는지를 설명하기 위한 도구로 '문화'를 호출하는 데 점점 더 편안해진 것처럼 보인다. 이 단절은 우리를 불편하게 만들어야 한다.
Shulman's use of the word ‘implicit’ here is telling. Although sociocultural learning theories have gained traction in medical education research, possibly because of their potential to explain some of the more recalcitrant challenges in the field, the idea of culture itself can remain a fuzzy, taken-for-granted concept. Culture lurks in the background of our pedagogical practices; its influences on learners are tacit. However, although medical education research often lacks a sophisticated and theoretically informed perspective on what culture actually is, we appear increasingly comfortable invoking culture to explain how and why learning unfolds as it does. This disconnect should make us uneasy.
2 조직 관점
2 | THE ORGANISATIONAL PERSPECTIVE
수십 년에 걸친 연구에도 불구하고 조직문화의 개념은 여전히 논쟁적이고 이해하기 어려운 것으로 남아있다.10,11 조직(문화) 연구자들은 인류학, 사회학, 사회학, 사회심리학을 포함한 문화에 대한 그들의 생각을 형성하는데 있어 다양한 학문들을 끌어왔다.12 그 결과, 정의는 풍부하다. 포괄적으로 말해서, 조직문화는 보통 어떤 설정을 특징짓는 공유된 가정, 믿음, 가치로 프레임된다.11 조직문화는 조직을 묶는 '사회적 접착제'로, 또는 그 구성원을 특징짓는 '마음의 집합적 프로그래밍'으로 묘사되어 왔다.14
Despite several decades of research, the concept of organisational culture remains contested and elusive.10,11 Organisational researchers have drawn on a range of disciplines in shaping their ideas about culture, including anthropology, sociology and social psychology.12 As a result, definitions abound. Broadly, organisational culture is commonly framed as the shared assumptions, beliefs and values that characterise a setting.11 Organisational culture has been described as the ‘social glue’ that binds an organisation,13 or as the ‘collective programming of the mind’ that distinguishes its members.14
그러나 어떤 사람들은 조직문화를 [조직과 조직원이 이용할 수 있는 일련의 자원 또는 전략의 레퍼토리]로 개념화하는 방식으로, 전혀 다른 접근방식을 취한다.
Some definitions of organisational culture take a decidedly different approach, however, conceptualising it as a set of resources or a repertoire of strategies available to an organisation and its members,
이러한 조직문화에 대한 정의 차이는 사람들 사이의 조직에서 발생하는 복잡한 춤, 공유된 가치, 지지된 관행 및 진화와 변화에 대한 서로 다른 전략적 접근법을 반영한다.
These definitional differences reflect the complex dance that occurs in organisations between people, shared values, endorsed practices and strategic approaches to evolution and change.
그러나, 정의와 접근방식의 차이에도 불구하고, 여러 조직에 대한 연구들은 [공통적인 현상]에 대한 탐구를 목표로 한다. 즉,조직 내에서 사회적 맥락의 생성과 영향을 연구하는 것이다. 이러한 사회적 맥락은 [개별적 상호작용의 산물]로 인식되며, 사회적 맥락은 [상호작용에 강력한 영향력]을 미친다.
However, despite variation in definition and approach, the various lines of organisational research aim to explore a common phenomenon: the creation and influence of social contexts within organisations. These social contexts are recognised as both a product of individual interactions and a powerful influence on those interactions.16
비록 조직학자들이 문화가 무엇인지를 놓고 의견이 갈릴 수 있지만, 왜 문화가 중요한지, 그래서 왜 그것이 연구자들에게 관심을 가져야 하는지에 대해서는 대체적인 합의가 있다. 슈나이더는 한 조직의 문화를 이해하고 싶은 욕구는 거의 늘 [변화의 필요성에 대한 인식]에서 비롯된다고 주장한다.11 문화는 매우 실용적인 이유 때문에 중요하다; 그것은 합병merger이 이루어질 수 있는 용이성, 새로운 기술을 채택할 수 있는 기업의 능력에 영향을 주며, 문화는 한 조직의 성공이 다른 조직에서 복제될 수 있는 가능성에 영향을 준다. 문화는 밑바닥bottom line에 영향을 미친다.
Although organisational scholars may diverge on what culture is, there is greater consensus on why culture matters, and thus on why it should concern researchers. Schneider contends that the desire to understand an organisation's culture nearly always stems from a perceived need for change.11 Culture matters for very pragmatic reasons; it influences the ease with which a merger might be achieved, the ability of a corporation to adopt a new technology, or the likelihood that an organisation's success in one country can be duplicated in a different country. Culture affects the bottom line.
최근의 조직학자들은 문화를 연구하는 것에 대한 접근법을 구별한다. 하나는 문화를 [조직이 무엇인가is]로 보는 것이고, 다른 하나는 [조직은 무엇을 가지고 있는가has]로 보는 것이다.10
Recent organisational scholars distinguish two schools of thought guiding approaches to studying culture. One views culture as something an organisation is, whereas the other views culture as something an organisation has.10
전자의 관점은 [문화를 고정적인 것]으로 그리고 있으며, 변화에 저항하는 경향이 있는 사회적 지지적인 사고와 행동의 패턴을 가지고 있다. 이 관점을 이용한 연구는 조직을 구성하는 사람들 사이에 공유된 기본 가치와 가정을 밝혀내는 데 초점을 맞추는 경향이 있다.11
The former perspective paints culture as rather stable, with shared, socially endorsed patterns of thinking and behaviour that tend to resist change. Research using this perspective tends to focus on unearthing the shared basic values and assumptions of the people who comprise an organisation.11
반면에 후자의 관점은 문화를 역동적이고 잠재적으로 유동적인 것으로 본다. 이러한 관점을 이용한 연구는 조직 간 차이가 어떻게 효과와 연결될 수 있는지에 초점을 맞추는 경향이 있다. 후자의 견해에서는, 문화를 변화의 장벽으로 보기보다는 전략적인 자원으로 볼 수 있는 능력이 있어서, 점점 인정받고 있다.12
The latter perspective, on the other hand, views culture as dynamic and potentially malleable. Research using this perspective has tended to focus on how organisational differences may link to effectiveness. This latter view is becoming increasingly prominent, perhaps because of its capacity to view culture as a strategic resource rather than as a barrier to change.12
문화적 요소를 [수정할 수 있는 것]으로 보는 경향이 증가함에 따라 종종 조직을 대상으로 하는 [처방적 조언]이 제공되고 있다. 문화적 변수를 [조작할 수 있는 것]으로 인식한다면, 이에 따르는 조언은 [경쟁 우위를 위해 문화 자원을 활용하는 것]에 초점을 두는 경향이 있다.10 디마지오에 따르면, 문화는 (변화를) 제약할 수도 있고, 활성화 할 수도 있다; 그것은 개인의 기존 상태에 대한 대안을 생각하는 능력을 제한시키지만, 또한 [가치 있는 목적을 달성을 위하여 다양한 요소들을 전략적으로 이용할 수 있는] 새로운 기회를 제공할 수도 있다.15 문화를 (고정된 가정과 가치 집합이 아니라) [전략적 자원]으로 보는 연구에서는 개개인의 주체성agency를 더 크게 가정하며, 문화를 고정된 것으로 보기보다는, 개인이 주어진 자원을 가지고 어떻게 참여engage하느냐에 대한 선택에 따라 구성되고 재구성되는 것으로 본다.
This increasing tendency to view cultural elements as modifiable infuses the prescriptive advice that is often aimed at organisations. When cultural variables are perceived as something that can be manipulated, then advice tends to focus on leveraging cultural resources for competitive advantage.10 Culture, according to DiMaggio, may both constrain and enable; it constrains individuals’ abilities to think of alternatives to existing arrangements, but it can also offer opportunities for strategic use of its elements to achieve valued ends.15 Research that views culture as a strategic resource, as opposed to an immovable set of assumptions and values, assumes a greater degree of individual agency; it treats culture as inconsistent, subject to construction and reconstruction as individuals make choices about how to engage with its resources.15
문제를 더 복잡하게 만드는 것은, 문화라는 것이 단일한singular 것이 아니라는 것이다. 조직학자들은 조직은 보통 단일한uniform 문화를 가지고 있기보다는, 오히려 그 조직의 기능을 형성하는 [하위문화] 또는 심지어 [반counter 문화]의 집합으로 구성되어 있다고 본다. 게다가, 조직의 일부인 개인은 일상적으로 전문가, 국가 및 초국가적인 다른 문화의 일부분이기도 하다.
Further complicating matters, culture is not singular. Organisational scholars recognise that organisations typically do not reflect uniform cultures, but rather are comprised of a collection of subcultures or even countercultures that shape the organisation's function.17 Furthermore, individuals who are part of an organisation are routinely also part of other cultures—professional, national and supranational.17
전문직이 한 조직의 구성원으로서 조직 내의 사건을 인식하고, 행동 방식을 결정할 때, 이들은 조직의 문화뿐만 아니라 그들이 속한 전문직의 문화도 고려한다. 어떤 사람들은 [조직 문화]보다 [전문직 문화]가 개개인의 이념이나 도덕적 가치에 더 강하게 뿌리내릴 수 있다고 주장하고, 종종 전문직 문화가 공통 인식과 실천을 구성하는 이유이다. 슐만의 용어를 사용한다면, 이러한 도덕적 차원의 끌림은 매우 강할 수 있다. 결과적으로, 변화를 공학하는 것engineering은 매우 복잡한 일이다.
When professionals within an organisation make sense of organisational events and hence determine how to act, they look not only to the organisational culture, but also to the culture of their profession. Some contend that professional cultures may be more strongly rooted in ideology or moral values than organisational cultures, which often constitute shared perceptions and practices.17, 18 The pull of these moral dimensions, to use Shulman's terms, can be very strong. As a result, engineering change may be a complex undertaking.
의학 교육이 문화에 대한 '조직' 관점에서 취할 수 있는 것은 무엇인가? 효과와 생산성을 가진 조직연구의 실용주의적 우려는 특히 재정억제의 시대에 의학교육에 잘 들어맞는다. 의학교육 기관은 다른 여러 조직과 마찬가지로 다양한 외부 및 내부 압력에 대응하여 변화하고, 적응하고, 진화할 필요가 있다. [조직 접근법]은 조직문화 변화에 대한 우리의 대화를 재구성할 수 있다. 흔히, 조직문화 변화를 요구하는 것 사람들은 문화를 하나의 문제로 취급한다. 발전progress에 장애물이 된다는 것이다. [조직적 관점]은 우리가 어떻게 변화가 일어나는지에 대한 새로운 사고방식을 고수하면서 문화를 실용적인 자원으로 재구성하도록 돕는다.
What can medical education take from organisational perspectives on culture? Organisational research's pragmatic concerns with effectiveness and productivity resonate in medical education, particularly in an era of fiscal restraint. Medical education institutions, like organisations, need to change, to adapt and to evolve in response to a range of external and internal pressures. The organisational approach could reframe our conversations around culture change. Typically, calls for culture change treat culture as the problem—as a barrier to progress.5,19 The organisational perspective helps us to reframe culture as a pragmatic resource, affording new ways of thinking about how change occurs.
교육 지도자가 특정 학습 현장에서의 [건설적인 피드백 부족과 관련된 의대생들의 불만]과 [학생의 존재가 교직원들에게 부담으로 여겨지는 느낌]에 직면하는 시나리오를 상상해 보라.
Imagine a scenario where an education leader is faced with complaints from medical students related to a lack of constructive feedback at a particular learning site, and to a consistent feeling that their very presence is viewed as a burden to the faculty members there.
예를 들어 [안전하고 효율적인 환자 치료]가 학습 현장의 핵심 전략적 우선순위라면, [임상적 효율성을 보존하는 방법으로 의과대학생을 어떻게 팀으로 통합할 것인가]에 초점을 맞추는 전략이 [교직원을 대상으로 건설적 피드백 방법을 교육하는 전략]보다 더 유용할 수 있다.
If, for example, safe and efficient patient care is the key strategic priority of the learning site, then strategies that focus on how to integrate medical students into teams in ways that preserve clinical efficiency may be more useful than strategies that target training faculty members to deliver constructive feedback.
의학 교육 연구자들은 또한 조직적 관점을 이용하여 [문화를 전지전능한 배경 연주자로 취급하고, 교육과 배움에 불가피하게 영향을 준다는 생각]에서 멀어질 수 있다. 대신, 문화를 행동을 제약하거나 촉진할 수 있는 정체성, 가치관, 사고와 행동의 자원으로 바라보게 될 수 있다.
Medical education researchers might also use the organisational perspective to move away from treating culture as an omnipresent background player, influencing teaching and learning in inevitable ways, and towards treating culture as a resource of identities, values and patterns of thinking and behaving that might either constrain or facilitate action.
또한 조직적 관점은 의료 및 의료 교육이라는 다원적 세계에서 resonate하는 관점으로, [조직 내에서 다수의 문화가 교차하는 상황에서의 문화의 역할]을 상기시킨다.
The organisational perspective also alerts us usefully to the role of multiple intersecting cultures within organisations, a perspective that resonates in the multidisciplinary worlds of health care and medical education.2,17,18
3 정체성 관점
3 | THE IDENTITY PERSPECTIVE
광범위한 사회학 및 인류학 문헌에서는, [정체성]을 설명할 때 문화를 자주 언급한다. 실제로 정체성과 문화는 둘 다 [사회적 집단의 경계]와 관련이 있기 때문에 함께 얽히게 된다.
Explorations of identity across an extensive sociological and anthropological literature make frequent references to culture. Indeed, identity and culture become enmeshed together, as they are both concerned with boundaries of social groups.
정체성 문헌은 다양한 전통에 걸쳐 있다. 사람들이 (하나의 통일된 자아감각보다는) [복수의 정체성을 갖는다는 것]이 일반적으로 받아들여지지만, [복수의 정체성이 어떻게 구성되고 유지되는지]에 대해서는 다양한 이론적 관점이 존재한다. 예를 들어, 상호작용주의적 학파에서는 (내부적이고 안정된 자아에서가 아니라) [사람들 사이의 상호작용을 통해 정체성이 형성된다]고 이론화한다. 이러한 관점에서 정체성은 언어와 신체를 통한 표현이라기보다는, 언어와 신체가 정체성을 역동적으로 구성constitute하는 퍼포먼스이다.
The identity literature spans a broad range of different traditions. Although it is generally accepted that people have multiple identities rather than a singular unified sense of self,20 there are various theoretical perspectives on how multiple identities are constructed and maintained. The interactionalist school, for example, theorises identity as constituted through interactions between people rather than in an internal, stable self. From this perspective, identity is a dynamic performance where language and bodies constitute identity rather than expressing it
정체성 문헌에서 나온 역사적 예를 이용하기 위해 스코틀랜드의 크로이퍼(테넌트 농부)와 같은 사회 집단은 그들의 정체성을 lairds(토지 소유주)에 대한 행동 방식으로 정의한다. 상호작용을 정의하는 그들의 정체성은 앞단계(면전에서)와 뒷단계(등 뒤에서)를 모두 포함하여, 기대되는expected 사회적 위치와 관련된 의식ritual으로 작용한다.
To use a historical example from the identity literature, a social group such as Scottish crofters (tenant farmers) define their identity in the way they behave with respect to the lairds (landowners). Their identity defining interactions play out as rituals associated with expected social positions, encompassing both front-stage (direct interactions) and backstage (behind their backs) dimensions.21
사회 인류학자들은 정체성과 주변 문화 세계 사이의 상호작용을 중심으로 정체성에 대한 다른 생각을 제시한다. '문화적 세계cultural worlds'라는 용어는 여기서 인종, 성별, 국적과 같은 사회 구조의 큰 표기를 의미하는 것이 아니다; 문화적 세계는 사회보다는 공동체에 의해 제한된다. 초점은 특정한 경험의 영역 (즉 '사회생활의 인식된 분야 또는 틀') 에 맞춰져 있다. 이 영역에서의 이론화는 어떻게 사람들이 이 지역화된 문화 세계localized cultural worlds 안에서 그들 자신을 이해하는지, 그들이 이 세계에 어떻게 영향을 미치거나 그 너머로 움직일 수 있는지, 그리고 새로운 문화 세계가 어떻게 만들어지는지를 자세히 설명하는 것을 목표로 한다.
Social anthropologists offer other ideas about identity, often focusing on the interplay between identity and the surrounding cultural worlds.22,23 The term ‘cultural worlds’ does not refer here to large demarcations of social structure such as race, gender or nationality; cultural worlds are bounded by communities rather than societies. The focus is on particular spheres of experience: the ‘recognized fields or frames of social life.’22 Theorising in this domain aims to elaborate how people make sense of themselves within these multiple localised cultural worlds, how they can affect these worlds or move beyond them, and how new cultural worlds are created.22
이러한 역학을 이해하기 위한 노력에서 홀랜드 등은 [문화적 세계와 관련된 공동체적 서사]인 '형상화된 세계figured worlds FW'의 역할을 강조한다. 형상화된 세계FW는
특정한 인물과 배우를 인정하는, 사회적으로, 문화적으로 구성된 해석의 영역.중요성significance은 특정한 행동에 할당된다. 그리고 특정한 결과들은 다른 것들보다 더 가치있게 여겨진다. 각각은 특정한 힘의 집합에 의해 움직이는 것처럼, 제한된 범위의 의미 있는 행동이나 상태 변화에 관여하는 일련의 요원들에 의해 채워진 단순화된 세계다.
In their efforts to understand these dynamics, Holland et al emphasise the role of ‘figured worlds’: the communal narratives associated with a cultural world.22 A figured world is
‘a socially and culturally constructed realm of interpretation in which particular characters and actors are recognized, significance is assigned to certain acts, and particular outcomes are valued over others. Each is a simplified world populated by a set of agents … who engage in a limited range of meaningful acts or changes of state … as moved by a specific set of forces.’22
네덜란드의 '형상화된 세계' 관점에 따르면, 정체성은 소유되는 것이 아니라, 개인과 그 혹은 그녀의 사회 세계 사이의 상호작용에서 형태를 찾아 역동적이고 진화하는 것이다. 예를 들어, 힐 등은 '형상화된 세계' 프레임워크를 이용하여 여성 외과의사들이 남성성을 기대하는 수술의 사회 세계 안에서 자신의 신분을 어떻게 협상하는지, 그리고 그들이 외과 세계를 창의적으로 재구성하고 그들의 경력을 유지하는 방법으로 외과의와 모성의 욕구를 어떻게 일치시키려 하는지 탐구한다.
According to Holland's ‘figured worlds’ perspective, identity is not something that is possessed; rather, it is dynamic and evolving, finding form in the interactions between the individual and his or her social world.24 For example, Hill et al draw on the ‘figured worlds’ framework to explore how women surgeons negotiate their identities within a social world of surgery that expects masculinity, and how they may attempt to align the discourses of surgeonhood and motherhood in ways that creatively refigure the surgical world and sustain their careers.24
의학에는 공동체적 서사communal narratives이 풍부하기 때문에, '형상화된 세계'는 의학 교육 연구에 특히 유용한 렌즈일 수 있다.25 공동체적 서사의 힘은 부분적으로 예시prefigure 능력에 있다. 예시 능력이란 [공동체 구성원들을 위한 상상된 궤적을 제시하는 것이다] 이러한 상상의 궤적을 예상하여 사람들은 프랫이 말하는 '정체성 작업'을 제정한다. 정체성 작업이란 세게 속에 우리의 자아를 형성하기 위해 우리 모두가 하는 일을 말한다
As medicine is rich in communal narratives, ‘figured worlds’ may be a particularly useful lens for medical education research.25 The power of communal narratives rests partly in their ability to prefigure, laying out imagined trajectories for members of the community. In anticipation of these imagined trajectories, people enact what Pratt calls ‘identity work’—the things weall do to build our sense of self in the world.26
의학적인 예를 들면 #안녕내이름은 이라는 운동은 특정한 '문화'를 다시 쓰는 저항행위다. 비록 그 적극성은 처음에는 한 사람의 경험에서 비롯되었지만, 그 힘은 새로운 형상화된 세계를 차지하는 집단에서 명백하다. 이 운동은 의사들을 사회 계층 내에서 재배치하고 새로운 사회 의식의 연속을 가져온다. Holland 등은 이러한 종류의 운동을 통해 우리의 문화적 세계가 다시 그려지고 있다고 주장한다.
To give a medical example, #hellomynameis is an act of resistance that rewrites a particular ‘culture’. Although the activism initially stemmed from a single person's experience, its power is manifest in the collective taking up of the new figured world. This movement seeks to reposition doctors within a social hierarchy—and brings with it a series of new social rituals—(hello my name is …). Through these types of movements, Holland et al contend, our cultural worlds are reimagined.22
Holland 등은 이러한 공동체적 서사가 권력구조와 함께 작동한다고 주장한다.22 사람들은 언어와 행동의식, 그리고 문화적 요소들로 가득찬 사회적 환경에 살고 있다. 이러한 의식과 사실들을 통해, 사람들은 문화 세계 내의 다른 사람들에 대한 그들 자신의 '위치'를 잡는다; 개인이 어떤 특정한 문화적 세계 안에 있는 장소를 차지하고자 할 때(위치적 정체성positional identity), 그들은 그들 자신을 위한 입장stance을 취할 뿐만 아니라, 주변 사람들에게 문화 세계 안에 있는 위치를 부여한다impart.
Holland et al contend that these communal narratives also work in concert with power structures.22 People inhabit social settings replete with linguistic and behavioural rituals, and with cultural artefacts. Through these rituals and artefacts, they ‘position’ themselves with respect to others within the cultural world; when an individual assumes a place within any particular cultural world—a positional identity—they not only take a stance for themselves but also impart a place within the cultural world upon those around them.
이것은 은유적이지만, 동시에 문자 그대로 '위치'를 말하기도 한다. 즉, 컨설턴트가 병동 회진 때 서 있는 위치, 그들이 사용하는 언어, 그리고 '주니어 의사'가 '선배'에게 어떻게 방향을 잡는가를 생각해 보라. 문화적 세계는 문자 그대로 사람들이 서 있는 곳을 지시한다.
This is both a metaphoric and literal positioning: think of where a consultant stands in a hospital ward round, the language they use, and how the ‘junior doctors’ orient themselves to the ‘senior’. The cultural world literally dictates where people stand.
따라서 공유된 내러티브와 사회적 포지셔닝이 [문화적 세계]와 [그 안의 개인]을 형성하지만, 이것이 고정되거나 불변하는 것은 아니다.22 사람들은 그들의 말, 행동, 그리고 그들의 이야기 구조를 통해 문화적 세계 내에서 영향력을 행사한다. 그래서 의대생들은 특정 병동의 문화적 세계를 고려하지만, 동시에 의대생들은 스스로 행동과 선택권을 행사한다. 이것은 복잡한 춤이다.
Shared narratives and social positioning thus shape a cultural world and the individuals within it, but they are not fixed and immutable.22 People exert influence within the cultural world through their words, their actions and the construction of their stories. So the medical student might take account of the cultural world of a particular hospital ward, but they simultaneously exert their own actions and choices. This is a complex dance.
예를 들어, 학생들은 학생에게 어울리는 장소로서, 병동 라운드 때 그룹의 뒤쪽에 위치할 수도 있지만, 그러다가 환자의 해harm를 막기 위해 목소리를 낼 수도 있다; 이런 식으로 학생의 행동은 학생의 [위치적 정체성]과 misalign하지만, 동시에 '좋은 의사'라는 '형상화된 세계'와는 일치할 수도 있다. 그러므로 개인은 인간 활동과 인간 관계를 [문화라고 부를 수 있는] [역사적으로 파생된 사회질서]를 통해 그들 자신의 course를 chart한다.
For example, students may position themselves at the back of the pack in the ward round as befits a student, but then may speak out to prevent patient harm; in this way their actions may misalign with their positional identity but align with the figured world of the Good Doctor. Individuals therefore chart their own courses through the historically derived social orders, which prefigure human activities and relationships—what might be called culture.
종종, 특정한 [형상화된 세계]가 더 이상 중요시되지 않으면loses salience, 개인은 이것을 고려하여 그들 자신의 이야기를 '자기서술self author'할 것이다. 예를 들어, 다른 전문직에 있다가 의사가 되려고 온 사람들은, 변호사나 회계사로서 자신을 말하는 것에서 벗어나, 의학의 문화적 세계와 align하기 시작할 것이다. 사람들은 사회 구조 내에서 즉흥적인 상호작용을 하며, 동시에 그들이 살고 있는 사회 규칙을 수정하고 재현한다.
Often, if a particular figured world loses salience, an individual will ‘self author’ their own story to take account of this. For example, those who come to medicine from other professions will move away from talking of themselves as lawyers or accountants and begin to align themselves with the cultural world of medicine. People improvise interactions within social structures, simultaneously modifying and reproducing the social rules by which they live.
그러나, 이 특정한 이론적 접근방식에서, 개인이 [형상화된 세계]와 관련된 힘의 위계를 변화시키기에는 그 힘이 제한되어있다. 변화는 공동의 과정이다. 한 명의 개인은 저항하기로 선택할 수 있지만, 변화는 (저항이) 집단적일 때에만 퍼져나간다 된다;문화적 세계를 바꿀 수 있는 것은 이러한 공동의 저항 행위들이다.22
However, in this particular theoretical approach, individuals have limited power to change figured worlds and associated power hierarchies. Change is a communal process. Although an individual can choose to resist, change only becomes pervasive when it is collective; it is these communal acts of resistance that can shift cultural worlds.22
의학적인 예를 들면, [좋은 의사]의 이야기는 인간적인 의사가 어떤 사람이고 어떤 일을 하는지를 요약한다; 이 공동체적 서사에서, 좋은 의사는 환자의 말을 듣고 그들에게 인간적인 관리의 온기를 제공하는 공손하고 사려 깊은 인물이다.25 많은 의대생들은 [좋은 의사]가 되기 위해, 그들 스스로를 이 '서사'에 정렬align시키고자 노력한다. 그러나, 학생들이 의사가 되어감에 따라, [좋은 의사]가 갖는 지시력directive power은 약해질 수 있고, 그들은 특정한 전공과 관련된 또 다른 이상화된 서사idealized narrative와 더 align하고자 노력할 수 있다.
To give a medical example, the story of the Good Doctor encapsulates what a humane doctor is and does; in this communal narrative, the Good Doctor is a courteous, thoughtful figure who takes the time to listen to patients and offer them the warmth of human care.25 Many medical students try to align themselves to be Good Doctors—a possible trajectory revealed through familiar and shared stories. However, as students become practitioners, the directive power of the Good Doctor may wane and they may align themselves more with other idealised narratives, such as those associated with particular specialties.
의학 교육 연구는 문화에 대한 아이덴티티 이론에서 무엇을 얻을 수 있는가? 정체성의 관점은 우리가 문화를 사람들이 생각하는 것에 깊이 내재된 부분으로 재구성하도록 돕는다. 동시에, '형상화된 세계'(그리고 이와 관련된 문화적 포지셔닝)는 개인만큼이나 '집단'을 강조한다.
What can medical education research take from what identity theories say about culture? The identities perspective helps us to reframe culture as a deeply embedded part of what people see themselves to be. At the same time, figured worlds—and associated cultural positioning—emphasise the collective as much as the individual.
예를 들어, 거만한 외과의사는 무례하지만 효과적인 수술의 리더일 수 있다. 이것은 모든 외과의사들이 다른 고정관념보다 더 오만하다는 것을 어떤 방법으로도 암시하지 않는다. 그러나 이러한 이야기들이 존재한다는 것은, 특정한 방식으로 개인을 포지셔닝하는 형상화된 세계, 의식ritual, 문화적 요소들이 존재한다는 것을 보여준다. 그들은 우리에게 기대(not 예상)하는 활동activities과 관계relationships에 대한 [지배적인 공동체적 상상력과 '문화']를 의식하게 만든다.
For example the Arrogant Surgeon—the rude but effective scalpelwielding leader of the operating theatre—might represent a particular figured world of surgery. This does not by any means suggest that all surgeons are arrogant—any more than any other stereotype is true. But the presence of such stories indicates there are figured worlds, rituals and cultural artefacts at play that position individuals in certain ways. They alert us to ‘culture’ and the dominant communal imaginaries that anticipate (but do not predict) activities and relationships.
우리는 우리 자신에게 다음과 같이 물어봐야 할 것이다. 우리는 [사회적 상호작용을 만들어내는 사회구조에 대해서] 어떻게 우리 자신의 정체성을 작성author하는가?
We may be prompted to ask ourselves: How do we author our own identities in light of the social structures that we navigate (and shape) through our social interactions?
일단 의학교육자들에게 익숙한 도전으로 돌아가보자. [일단 교육적인 문제가 확인되었을 때, 어떻게 문화 변화를 자극할 것인가?]형상화된 세계는 그러한 문화변화를 일으킬 새로운 도구를 제공한다: 즉, [대안적인 이야기]를 만들고, (문화적 세계의 변화를 촉진하기 위해) 이 이야기를 그것들을 공동체에 embed시키는 것이다. 또한 형상화된 세계의 언어는 개인들이 [공유된 상상shared imagining]에 비추어 어떻게 자신의 이야기를 '저술'하는지를 고려하도록 한다. 성찰성reflexivity을 촉진하는 것은 도움이 될 수 있다. 성찰을 통해 개인은 의식적으로 [형상화된 세계에 비추어] [자신이 자기의 역사와 궤적을 묘사해온 방법을] 검토한다.
Let's return to a familiar challenge for medical educators: how to stimulate culture change once an educational problem has been identified. Figured worlds offers a novel tool to effect such change: articulating alternative stories and embedding these into communities to drive shifts in cultural worlds. The language of figured worlds also allows individuals to consider how they ‘author’ their own stories in light of the shared imaginings. Promoting reflexivity may be helpful, whereby individuals self-consciously examine the way they describe their own histories and trajectories in light of the figured worlds.
게다가, 이러한 관점은 우리에게 전체적 문화 변화는 한 개인에게만 의존할 수 없다는 것을 상기시킨다. 문화적 세계를 변화시키는 것은 반드시 공동체의 참여, 즉 풀뿌리 수준에서 공유된 저항 행위를 포함한다. 이것은 쉽지 않지만, 문화적 관행이 오래 지속되고 있지만 변화가 필요한 상황에서 앞으로 나아갈 수 있는 길을 제공할 수도 있다.
Furthermore, this perspective reminds us that wholesale culture change cannot rest with a single individual. Changing cultural worlds necessarily involves community engagement: acts of resistance that are shared at grassroots levels. This is difficult territory but may provide a way forward in situations where cultural practices are longstanding but need to change.
4 실천 관점
4 | THE PRACTICE PERSPECTIVE
앞의 절과 마찬가지로 [통일된 실천이론]은 존재하지 않는다. 실천이론은 철학, 사회이론, 과학과 기술, 문화인류학에서 끌어온 실이 엮어진 것이다. 28 실천 이론은 일어나는 일에 초점을 맞춘다; 어떤 경우에는 [문화에 대한 '상징' 개념]을 완전히 거부하는 경우도 있다. 실천 이론가들은 실천을 다음과 같이 생각한다.
'자연스럽고 물질적으로 매개된 인간 활동의 배열은 [공유된 실제적 이해]를 중심으로 조직된다.'28 실천은 일련의 행동 이상이다; 실천은 개인을 형성하고, 개인은 실천을 형성한다.29
As with the previous sections, a unified theory of practice does not exist. Practice theories weave together threads drawn from philosophy, social theory, science and technology, and cultural anthropology. 28 Practice theories focus on what happens; in some instances, they reject the symbolic notion of culture altogether. Practice theorists conceive of practices as
‘embodied, materially mediated arrays of human activity centrally organized around shared practical understanding.’28 Practice is more than a set of actions; practices shape individuals and are also shaped by them.29
니콜리니는 이론 실천에 공통되는 다섯 가지 원칙을 분명히 밝히고 있다.
(i) 활동
(ii) 신체 및 물질의 중요한 역할
(iii) 개인 및 재료의 대리점
(iv) 실무 지식의 위치
(v) 사회생활을 구성하는 힘, 갈등, 정치.30
Nicolini, articulating five principles common to practice theories, notes that they privilege:
(i) the activity;
(ii) the critical role of bodies and materials;
(iii) the agency of individuals and materials;
(iv) the situatedness of knowledge in practice, and
(v) the power, conflict and politics that constitute social life.30
실천적 관점의 매력은 '우리가 살고 있는 세계의 중요한 특징들을 [도구, 담론, 그리고 우리의 몸을 사용하여 일상적으로 made and remade되는 것으로 묘사할 수 있는 능력]에 있다.'30
The appeal of the practice perspective ‘lies in its capacity to describe important features of the world we inhabit as something that is routinely made and remade in practice using tools, discourse, and our bodies.’30
실천 이론은 실천을 연구 단위로 채택하기 때문에, 그들은 개인-문화의 이분법을 거부한다. 예를 들어, 개별 감독자들이 특정 문화 내에서 어떻게 피드백을 주는지, 또는 문화가 피드백 대화가 어떻게 전개되는지에 영향을 미치는지를 탐구하기보다는, 신체, 물체, 행동과 말로 구성된 피드백 실천에 초점을 맞춘다.31
Because practice theories adopt practice as their unit of study, they eschew the individual/culture divide. For example, rather than exploring how individual supervisors give feedback within a particular culture, or how culture influences how feedback conversations unfold, we instead focus on feedback practices as arrangements made up of bodies, objects, actions and words.31
다양한 실천 이론들 중에서, 행위자-네트워크 이론(ANT)은 '문화'에 대해 (그리고 거의 거부) 생각하는 특히 교훈적인 예로서 서 있다. 행위자-네트워크 이론은, 이론이 아니라 거의 30년 전 첫 등장 이후 다양한 접근법으로 진화한 감성sensibility 이다.32
Amongst various practice theories, actor-network theory (ANT) stands as a particularly instructive example of thinking about (and almost rejecting) ‘culture’. Actor-network theory is not a theory but rather a sensibility that has evolved into a multiplicity of approaches since its first appearance almost 30 years ago.32
행위자-네트워크 이론에 따르면, 실천은 지속적인 상호작용 활동이다. 예를 들어, 임상의사의 평가 체크리스트 작성은 자명한 행위처럼 보일 수 있지만, 그것은 매우 많은 다른 상호작용에 달려 있다. 즉, 임상 노하우를 개발하고 컴퓨터를 생산하고 사용하고 평가 자체를 구현하고 설계하는 데 필요한 행위들.33 여러가지 행위activity가 마치 우리에게는 안정적으로 보일 수 있고, 따라서 우리는 그것을 '문화'의 인공물artefact로 보지만, 다르게 본다면, '행위activity'는 행위자(인간과 물질)간의 일련의 활동적인 연결이나 네트워크로도 볼 수 있다. 이 안에서 상황은 끊임없이 변화하고 있으며, 심지어 겉보기에 동일한 상태일 때 조차 상황은 끊임없이 변화하고 있다. 이러한 구성과 해체의 네트워크를 추적함으로써 '당여하게 여겨지는' 관행practice을 드러낼 수 있다.35
Actor-network theory orients us to practices as constant activity of interactions. For example, a clinician's construction of an assessment checklist may seem like a self-evident act, but it is contingent on so many other interactions: those necessary to develop clinical know-how, to produce and use a computer, and to implement and design the assessment itself.33 The activity may appear stable to us, and thus we view it as an artefact of ‘culture’, but it can instead be viewed as a series of active connections or networks between actors (human and material), within which things are constantly changing, even when they may appear the same.34 Tracing these networks of construction and deconstruction can reveal the taken-for-granted practice.35
배우-네트워크 이론은 우리에게 [무엇을 해야 하는가]와 같은 추상적인 관념보다는, [무엇을 했는가]에 대해 생각하게 만든다.36 문화는 존재하지 않는다. 적어도, [사람과 사람의 행위를 지시하는 어떤 보이지 않는 힘]의 형태로 존재하지 않는다. 단지 [특정한 배치arrangement를 속에서, 시간과 공간에서 일어나는 행동]만이 있을 뿐이다.
Actor-network theory alerts us to what is done, rather than to any abstract notions, such as what should be done.36 Culture does not exist, at least not as some unseen force directing people and their practices. There are only actions that happen in time and space through particular arrangements.
따라서 ANT는 항상 로컬 지점의 더 크거나 더 작은 네트워크로 구성된 'flat'한 단일 수준 현실을 구성한다. 숨겨진 구조도 없고, global level 또는 ultimate reality도 없다.'37 여기서 중요한 점은, 특권적 행위와 상호 작용에 초점을 맞추는 것이다; 우리는 [실제로 일어나는 일]에 적응attune하며, [의도된 일이나 보이지 않는 일]로 우리 자신을 산만하게 하지 않는다는 것이다.
Accordingly, ANT constructs a ‘“flat” single-level reality, consisting of larger or smaller networks of always-local points. There are no hidden structures, global levels or ultimate realities.’37 The key point here is that the focus privileges action and interaction; we attune to what actually happens and avoid distracting ourselves with what is intended or what cannot be seen.
[문화를 거부하는 이론]이 어떻게 실제로 우리가 의학 교육에서 문화에 대해 생각하는 데 도움이 되는가? 문화가 존재하지 않는다는 도발적인 제안은 [우리가 문화에 대해 생각하기 보다는] [실제로 어떤 일이 일어나는지]에 초점을 맞추게 한다. 이 접근법은 교육자들을 위해 매우 실용적인 응용을 할 수 있다.
How does a theory that rejects culture actually help us to think about culture in medical education? Its provocative suggestion that culture does not exist frees us to not think about it and to focus instead on what actually happens in practice. This approach may have very pragmatic applications for educators.
예를 들어, 학습자들이 왜 그들의 감독자로부터 피드백을 부적절하다고 계속 경험하고 궁극적으로 상황 개선을 책임지는지를 분석하는 것에 직면하는 교육자를 생각해보자. 실천이론은 교육자의 피드백 행위를 형성하는 다수의 요소를 고려하도록 만든다. 다음과 같은 요소
피드백 대화가 이루어지는 방의 크기
이 방들에서 인간과 관련된 컴퓨터의 배열,
피드백 템플릿과 그들이 동원하는 피드백 대화 형태
의료 업무 공간에 대한 피드백 대화의 근접성,
피드백 대화의 시기
사람들이 병동 라운딩과 피드백 토론에서 자신을 정리하는 방법
Consider, for example, an educator faced with analysing why learners continue to experience feedback from their supervisors as inadequate, and ultimately tasked with improving the situation. Practice theory directs the educator to consider the multitude of elements that shape feedback practices;
elements such as
the size of the rooms in which feedback conversations occur,
the arrangement of computers relative to humans in these rooms,
the feedback templates and the forms of feedback conversations they mobilise,
the proximity of feedback conversations to the clinical workspace,
the timing of feedback conversations, and
the way people arrange themselves during ward rounds and feedback discussions.
팀의 피드백 행위practice를 관찰하면 팀이 삐- 소리, 경보 또는 다른 직원들에 의한 피드백 대화 내내 여러 번 방해를 받아 대화의 실마리를 잃게 된다는 것을 알 수 있다. 피드백 자료에 대한 면밀한 검토는 이러한 도구가 특정한 방식으로 피드백 대화의 흐름에 어떤 영향을 미치는지에 대한 통찰력을 제공할 수 있다. 예를 들어 온라인 피드백 양식을 사용하려는 노력은 휴대용 장치에서 액세스할 때 양식의 외관과 사용 편의성 변화에 의해 제한될 수 있다. 따라서 설계자가 의도하지도 않고 예상하지도 않은 영향이 발생할 수 있다. 그리고 그 이유는 material 그 자체 때문이며, material을 사용하는 '사람' 때문이라거나, 그들의 '문화' 때문이 아니다.
An observation of a team's feedback practices might reveal that the team is disturbed multiple times throughout a feedback conversation by bleeps, alarms or other staff, thereby losing the thread of the conversation. A close examination of the materials of feedback may offer insight into how these tools influence the flow of feedback conversations in particular ways; for example, efforts to use an online feedback form may be constrained by the changes in the form's appearance and ease of use when it is accessed on a handheld device. Impacts neither intended nor anticipated by the designers may thus play out because of the materials themselves, rather than the individuals using them or their ‘culture.’
의학 교육 연구자들은 또한 영감과 방향을 잡기 위해 실천 이론을 사용할 수도 있다. '문화'에 대한 가치와 상징적 해석에 대한 가정을 하는 대신, 실천 이론은 연구자들에게 [인간]과 [인간이 아닌 실체]가 어떻게 얽혀있는지 보여줌으로써, 실제 행동을 조사할 수 있게 해준다. 연구원들은 네트워크의 크기, 그것의 내구성, 그것의 노드들 사이의 연결의 강도, 그것의 취약점과 잠재적 파열 지점들을 살펴볼 수 있다. 관행practice을 관찰함으로써, 우리는 어떻게 그것들이 해결책, 팅커링, 번역translation을 통해 시간이 지남에 따라 발전하고 적응하는지를 더 잘 이해할 수 있다. 이러한 이해는 [개인이나 문화에 대해 우리가 생각해 온 가정들 때문에] 잘못된 행동을 지속하지 않을 수 있도록 도울 수 있다.
Medical education researchers may also draw on practice theories for inspiration and direction. Instead of making assumptions about values and symbolic interpretations of ‘culture’, practice theories attune researchers to how human and nonhuman entities are enmeshed together, enabling actual action to be examined. Researchers can look to the size of the network, its durability, the strength of the connections between its nodes, and its points of vulnerability and potential rupture. By looking at practices, we can better understand how they evolve and adapt over time, through workarounds, tinkering and translations. This understanding may help us to avoid perpetuating dysfunctional practices because of assumptions we have made about the individuals or the culture.
맥레오드 외 연구원의 [원격 의학 교육] 탐구는 이러한 연구 접근법의 예를 행동으로 제시한다.38 그들은 원격교육의 물질mateiral(예: 강사에게 질문을 하기 위해 마이크를 작동시키기 위해 버튼을 누를 필요가 있거나, 또는 얼굴 화면에 큰 투영법)가 학생들의 행동을 유발한다는 것을 발견했다.
현장에 있던 사람들은 강의가 끝난 후 질문을 했다.
반면 원격으로 교육받은 사람은 질문하는 것은 아예 피하는 경향이 있었다.38
[사회물질적 실천]에 대한 그들의 초점은 학생들이 피드백을 받지 않기로 선택할 때 무슨 일이 일어나고 있는지에 대한 비판적인 읽기를 제공했다.
MacLeod et al's exploration of distributed medical education provides an example of this research approach in action.38 They found that the materials of distributed education (eg the button needed to be pressed to activate a microphone in order to ask the lecturer a question, or the big projection on the screen of one's face) drove the behaviour of students;
those on site asked questions of the lecturer after the lecture,
whereas those off site tended to avoid asking questions altogether.38
Their focus on the sociomaterial practices offered a critical reading of what's going on when students choose not to seek feedback.
5 결론
5 | CONCLUSIONS
문화의 정의는 단순하지 않다. 그러나, 그것은 각기 다른 관점에서 접근될 수 있는데, 각각은 가능캐 하는 것(어포던스)와 맹점을 가지고 있다.
Culture resists a simple definition. It can be approached, however, from a range of different perspectives, each with its own affordances and blind spots.
조직적 관점은 직장이나 직업을 공유하는 개인을 묶는 공유된 가치와 가정을 조명하며, 실용적으로는 이러한 문화적 요소는 전략적으로 사용가능한 자원으로 개념화될 수 있음을 시사한다. 그러나 이러한 관점은 조직의 집단 내에서 개인의 정체성에 대한 관심을 덜 기울인다.
The organisational perspective illuminates the shared values and assumptions that bind individuals who share a workplace or a profession, and pragmatically suggests that these cultural elements might be conceptualised as resources to be used strategically. However, this perspective pays less attention to the individual identities within the collective of an organisation.
아이덴티티 관점은 그것이 전문직 정체성 형성과 잘 들어맞으며, 'becoming'의 과정과 문화를 연관하여 강조한다. 비록 그것은 공유된 서사과 설화의 영향을 강조하지만, 이러한 관점은 물질 세계에 가까이 다가가지 않는다.
The identity perspective highlights culture as it relates to a process of becoming, resonating with ideas about professional identity formation. Although it highlights the influence of shared narratives and lore, this perspective does not attend closely to the material world.
실천 관점은 우리의 초점을 실천, 사람과 사물에 의해 구성되는 방법, 그리고 시간이 지남에 따라 어떻게 변화할 것인가로 바꾼다. 실천 이론들은 우리의 관심을 행동을 뒷받침할 수 있는 가정과 가치로부터 벗어나 문화를 강조한다.
The practice perspective shifts our focus to practices, how they are constituted by people and things, and how they might shift over time. Practice theories deemphasise culture, deflecting our attention from the assumptions and values that may underpin actions.
각각의 관점은 [개인]과 [그들이 살고 있는 세계] 사이에 존재하는 복잡한 관계의 서로다른 요소들을 조명한다; 개인은 세계와 관행을 형성하고, 개인은 다시 세계와 관행에 의해 형성된다. 그러나, 이러한 다양한 관점들은 공통의 실마리를 공유한다: 그들은 우리가 개개인이 형성되고 사회적 세계에 의해 형성되는 공통의 관점으로 일, 학습, 전문적 발전을 탐구할 때, 연구자로서 우리의 시선은 개인을 너머서까지beyond the individual 바라보게 된다.
Each perspective illuminates different elements of the complex relationship between individuals and the worlds they inhabit; as individuals shape those worlds and their practices, so are they shaped by them. However, these diverse perspectives share a common thread: they direct our research gaze beyond the individual as we explore work, learning and professional development with a common perspective that the individual shapes and is shaped by the social world.
의학 교육 연구자들은 그들의 연구가 문화에 닿을 때 특정한 이론이나 관점을 명확히 하는 것을 고려해야 하는가? 우리는 그렇게 생각한다. 우리는 문화의 어떤 개념화가 문화의 개념화를 하지 않는 것보다 낫다고 주장한다. 연구자들이 특정한 이론적 관점을 채택할 때, 그것은 그들의 분석적 초점을 날카롭게 하여, 그렇지 않으면 시야에 숨겨져 있을 수 있는 패턴과 의미에 그것들을 연결시킨다. 문화에 대한 올바른 관점은 없다; 우리가 본 논문에서 강조했던 각각의 관점은 연구자들을 다른 것에 민감하게 만들 것이고, 한 관점에 의해 움직이는 일은 다른 관점에 의해 주도되는 관점을 보완할 수 있을 것이다.
Should medical education researchers consider articulating a particular theory or perspective when their work touches culture? We think so. We argue that some conceptualisation of culture is better than no conceptualisation of culture. When researchers adopt a particular theoretical perspective, it sharpens their analytic focus, attuning them to patterns and meanings that might otherwise remain hidden from view. There is not a ‘right’ perspective on culture; each of the perspectives we have highlighted in this paper would sensitise researchers to different things, and work driven by one perspective might complement that driven by another.
예를 들어 피드백 실천이 학습에 자주 영향을 미치지 못하는 이유를 이해하는 과제는 벅찬 도전이며, 개인이 서로에게 말하는 것을 검사하는 것 이상의 세심한 조사를 분명히 요구한다.39 문화에 대한 이러한 각 관점은 유용하게 사용될 수 있지만, 관점마다 이 문제를 다르게 조명할 수 있다.
조직적 관점은 연구자들에게 관련된 개인의 가치와 신념과 그러한 가치들이 어떻게 피드백 상호작용에 대한 규범과 기대를 형성하는지 알려줄 것이다.
형상화된 세계 관점은 특정한 문화 세계 안에서 위치와 정체성과 관련된 의식들이 어떻게 피드백을 형성하고 사람들이 그것에 어떻게 관여하는지를 강조할 것이다.
ANT의 실천적 관점은 재료, 설정 및 타이밍 형태 결과의 방법을 포함하여 의료 환경에서 피드백 실천이 어떻게 전개되는지에 대한 너트와 볼트의 전조가 될 것이다.
For example, the challenge of understanding why feedback practices frequently fail to impact learning is a daunting one, and clearly demands careful scrutiny beyond just examining what individuals say to each other.39 Each of these perspectives on culture could usefully—but differently—illuminate this problem.
The organisational perspective would alert researchers to the values and beliefs of the individuals involved and how those shape the norms and expectations for feedback interactions.
The figured world perspective would highlight how rituals associated with positioning and identity within a particular cultural world shape feedback and how people engage with it.
The practice perspective of ANT would foreground the nuts and bolts of how feedback practices unfold in clinical settings, including the way materials, settings and timing shape outcomes.
연구자들은 점점 더 [개인], [그들의 일]과 [학습 환경]의 교차점을 포함하는 의학 교육의 복잡한 문제들을 탐구하고 있다. 그러나 너무 자주 그들은 그들이 연구하고 있는 문제와 과정에서 사회적, 조직적, 물질적 힘의 역할을 강조하고자 할 때 문화에 대한 ill-defined reference에 만족한다. 그러나 문화를 부정확하게 방치하면 많은 중요한 '어떻게'와 '왜' 의 질문에는 답하지 못할 것이다.
Researchers are increasingly exploring complex issues in medical education that involve the intersection of individuals and their work and learning environments. Too often, however, they settle for ill-defined references to culture when they wish to highlight the role of social, organisational and material forces in the problems and processes they are studying. However, if culture is left amorphous, many critical ‘how’ and ‘why’ questions will be left unanswered.
25. Bennett D, Solomon Y, Bergin C, Horgan M, Dornan T. Possibility and agency in Figured Worlds: becoming a ‘good doctor’. Med Educ. 2017;51:248-257.
[Online ahead of print]
Approaching Culture in Medical Education: Three Perspectives
Background:The notion of culture is increasingly invoked in the medical education literature as a key influence on how educational strategies unfold, and culture change is frequently identified as a necessary precursor to progress. A meaningful perspective on what culture means is often missing from these discussions, however. Without a theoretically grounded notion of culture, calls for culture change are challenging to interpret and to act upon.
Objective:In this cross-cutting edge paper, we explore how culture has been defined and theorised using three lenses: the organisational perspective; the identity perspective, and the practice perspective. We consider what each perspective might offer to medical education researchers.
Results:Each of these perspectives draws on a range of disciplinary influences, and none represents a singular theory of culture. Broadly, the organisational perspective directs our attention to the shared assumptions and values that bind individuals within an organisation. It tends to view culture through a strategic lens; culture may be either a barrier to or a facilitator of the changes that are inevitably required of an organisation if it is to maintain its relevance. The identity perspective, particularly the notion of figured worlds, alerts us to the power of communal narratives to shape how individuals see themselves within particular cultural worlds. The practice perspective emphasises what actually occurs in practice, avoiding symbolic ideas about culture and shared values and instead privileging activity and human-material networks or arrangements.
Conclusions:These diverse perspectives share a common thread- they shift our research gaze beyond the individual, allowing us instead to see how those individuals form organisations, inhabit cultural worlds and constitute practices. They afford substance and direction for explorations of culture, and thus offer the promise of a more nuanced understanding of some of medical education's most challenging problems.
Saying Goodbye to Lectures in Medical School — Paradigm Shift or Passing Fad?
Richard M. Schwartzstein, M.D., and David H. Roberts, M.D.
전통적인 강의 기반 과정으로부터의 이탈은 미국의 의대에서 30년 이상 진행되어 왔다. 혁신은 문제 기반 학습의 도입에서부터 시작되었다. 보다 최근에는 강의 기반의 가르침은 TBL, IPE, 임상 의학과 기초 과학을 통합한 연습으로 점점 대체되고 있다. 그러나 최근의 이러한 변화는 증거에 근거한 것인가, 아니면 단지 의학 교육의 최신 유행에 불과한 것인가? 모든 강의는 지양해야 하는가?
the movement away from traditional lecture-based courses has been under way in U.S. medical schools for more than three decades. Transformation began with the introduction of problem-based learning; more recently, lecture-based teaching has increasingly been replaced by team-based learning, interprofessional education, and exercises integrating clinical medicine and basic science. But are the newest proposed changes evidence-based, or are they merely the latest fad in medical education? Are all lectures to be avoided?
오늘날 대부분의 의사들은 이용 가능한 생물의학 정보가 한 사람이 배우고 보유할 수 있는 정보를 초과한다는 것을 흔쾌히 인정한다. 그러나 학생들이 배워야 하는 콘텐츠의 양, 전통적인 교실 환경에서 학습이 가장 잘 이루어지는지 여부, 그리고 의료 훈련생들이 성공적인 평생 학습자 및 적응 가능한 개업의가 되기 위해 필요한 또 다른 사항은 무엇인지에 대해서는 여전히 의문이 남아 있다.
Most physicians today readily acknowledge that the biomedical information available exceeds what one person can learn and retain. Questions remain, however, regarding how much content students must learn, whether that learning is best done in traditional classroom settings, and what else is required for medical trainees to become successful lifelong learners and adaptable practitioners.
방대한 내용을 담은 수십 장의 파워포인트 슬라이드를 가지고 전통적인 강의를 하는 교육자들은 [가르치는 것]과 [학생들이 배우는 것]을 혼동할 수 있다. 즉, 교사가 정보를 제공했다는 사실이 학생들이 그것을 배웠다는 것을 의미하지는 않는다. 사실, 인지 부하 이론은 우리의 뇌가 한번에 처리할 수 있는 정보의 양에 제한을 받는다는 것을 제안한다. 45분 안에 60개의 슬라이드가 [효과적인 교육 방법]처럼 보일 수도 있지만, [효과적인 학습 방법]이 될 것 같지 않다.
Educators giving a traditional lecture with dozens of content-heavy PowerPoint slides may confuse what they teach with what students learn: the fact that a teacher has presented a piece of information does not mean that students have learned it. In fact, cognitive-load theory suggests that our brains are limited in the amount of information they can process at a time3; 60 slides in 45 minutes may seem like an efficient way to teach, but it is unlikely to be an effective way to learn.
새로운 자료를 배우는 학생들도 '자신이 내용을 알고 이해했다는 환상'에 속아넘어갈 수도 있다.2 학생들이 유창하고 잘 표현된 자료를 듣거나 읽을 때, 그들이 이제 내용을 숙달했다고 믿는 것은 흔한 일이다.
Students learning new material may be deceived by the illusion of knowing and the fallacy of understanding.2 When students hear or read material that is fluent and well presented, it is common for them to believe they have now mastered the content.
의과대학들은 적극적인 학습과 팀 기반 활동을 강조하기 시작했다. 정보의 획득은 교실 밖에서 주로 발생한다: 인지과학에서 도출된 원칙에 따라, 사실적인 내용은 압도적으로 길지 않은 학습 과제에서 제시되고, 그 내용은 학생들이 그들의 이해 수준을 평가할 수 있도록 질문이나 문제들이 교차한다.
medical schools have begun emphasizing active learning and team-based activities. Acquisition of information occurs largely outside the classroom: in accordance with principles derived from cognitive science, factual content is presented in study assignments that aren’t overwhelmingly long, and the content is interspersed with questions or problems to ensure that students can assess their level of understanding.
교실 내에서, 학습은 교사에 의해 촉진될 수 있지만, 상당부분은 학생에 의해 추진drive되어야 한다. 증례는 수업자료의 관련성relevance을 확립하는 데 중요하다.
In the classroom, learning can be facilitated by the instructor, but it must be driven in large part by the student. Case vignettes are important for establishing the relevance of the material.
"무엇"(예: 저혈압의 원인이 무엇인가)로 시작하는 질문을 하는 대신, 강사들은 "어떻게"와 "왜" 질문을 사용해야 한다(예: "혈압 조절에 대해 어떻게 생각하십니까?", "이 환자는 왜 이런 상태에서는 저혈압이 될 것 같습니까?"). 학생들은 그들이 [지난 주에 토론한 사례]와 [새로운 사례나 예시]를 비교하도록 함으로써 지식의 전이를 더욱 촉진할 수 있다. [여러 개의 정답이 가능한 질문]은 담론과 대조적인 가설 생성을 장려하기 때문에 가장 바람직하다.
Instead of posing questions that begin with “what” (e.g., “What are the causes of hypotension?”), instructors can use “how” and “why” questions (e.g., “How do you think about blood pressure control?”; “Why would this patient be hypotensive under these conditions?”). Asking students to compare a new case or example with one they discussed the previous week further facilitates the transfer of knowledge.3 Questions for which there can be multiple right answers can be the most compelling because they encourage discourse and generation of contrasting hypotheses.
학생들이 집단으로 모여, 생각을 토론하고, 아이디어를 시험하고, 의사처럼 생각하는 법을 배우기 시작할 수 있도록 시간이 허용되어야 한다. 이러한 활동들은 사실을 암기하는 데 필요한 것보다 학생들의 노력을 더 필요로 하지만, 지식을 배우고 유지하는 데에도 더 효과적이다.2
Time must be allowed for students to work in groups to discuss thoughts, test ideas (both theirs and others), and begin to learn how to think like a doctor. These activities require more effort from students than it takes to memorize facts, but they are also more effective for learning and retaining knowledge.2
이른바 뒤집힌 교실 접근법은 밀레니얼 세대에 속하는 학생들에게 잘 어울린다.4
This so-called flipped classroom approach is well suited to students who are members of the millennial generation.4
밀레니얼은 온라인에서 정보를 찾는 것에 익숙해져 그들을 계속 참여시키고 짧은 세그먼트(예: 10분 미만의 비디오)로 제시되는 시각적 호소력 있는 콘텐츠로부터 가장 잘 배운다. 전통적인 강의는 많은 밀레니얼 학생의 관심에서 빠르게 멀어질 것이고, 참여하지 않는unengaged 학생들은 배우지 않을 것이다.
They are accustomed to finding information online and learn best from visually appealing content that keeps them engaged and is presented in short segments (such as videos that are less than 10 minutes long). The traditional lecture will quickly lose the attention of many of these students, and an unengaged student is not learning.
한 RCT에서...
In a randomized, controlled trial
이전 과목에서 [상대적으로 성적이 좋지 않았던 학생]들은, [동료들과 교류하고 그들의 생각을 공유하는 것]이 준비에 도움이 되었기 때문에 통계적으로 시험 점수에 상당한 향상을 보였다. flipped classroom 접근법을 사용하는 교수들은 종종 모든 것을 "커버해야"야 한다는 요건의 폭압으로부터 해방되었다고 느낀다. 정보의 습득은 수업 외의 학생에 의해 이루어지기 때문에 교사와 학생 간의 상호작용은 이해하기 어려운 콘텐츠에 초점을 맞추고, 실제 문제에 새로운 개념을 적용하는 데 초점을 맞출 수 있다.
Students who had performed relatively poorly in prior courses had a statistically significant improvement in their exam scores — possibly because interacting with their peers and sharing their ideas prepared them better. Faculty using a flipped-classroom approach often feel liberated from the tyranny of the requirement to “cover” everything. Since acquisition of information is accomplished by the student outside class, interactions between teachers and students can focus on content that is difficult to understand and on the application of new concepts to real-world problems.
그럼 강의의 종말이 왔는가? 만약 "강의lecture"가 수동적으로 정보를 흡수하고 있는 많은 학생 집단 앞에 서서 이야기하는 전통적인 그림을 의미한다면, 그렇다, 우리는 대부분 의과대학에서 이러한 방식의 교육을 포기해야 한다고 생각한다. 그러나 만약 '강의'가 [미리 준비한 학생들과의 대규모 그룹 대화형 학습 세션, 청중들을 대상으로 한 질문, 그룹 토론을 위한 시간, 청중 응답 시스템 사용](예를 들어 이해를 위해 학생들을 대상으로 설문 조사)을 의미한다면, 우리는 대화형 강의 스타일은 남아있어야 하며 효과적인 교육 도구가 될 수 있다.
So is the lecture dead? If “lecture” refers to the traditional picture of a professor standing in front of and talking at a large group of students who are passively absorbing information, then yes, we believe medical schools should be largely abandoning that teaching format. But if it describes large-group interactive learning sessions with students who have prepared in advance, with frequent questions directed at the audience, time set aside for group discussion, and use of audience response systems (to poll students on a question to assess for understanding, for example), then we believe an interactive lecture style format should remain an option and can be an effective teaching tool.
,377 (7), 605-607
Saying Goodbye to Lectures in Medical School - Paradigm Shift or Passing Fad?
교육적 타당도: 다양한 형태의 '좋은' 가르침을 이해하는 핵심(Med Teach, 2019)
Pedagogical validity: The key to understanding different forms of ‘good’ teaching
Daniel D. Pratta , Brett Schreweb and Martin V. Pusicc
aCHES - Faculty of Medicine, University of British Columbia, Vancouver, Canada; bDepartment of Pediatrics, Faculty of Medicine, University of British Columbia, Vancouver, Canada; cNYU School of Medicine, Institute for Innovations in Medical Education, New York, NY, USA
"...한 교사가 가지고 있는 (교육적) 관점은 [무엇이 타당하고 신뢰할 수 있으며, 어떤 방법이 합법적이며, 무엇이 근거로서 중요하며, 따라서 추구할 가치가 있는 목적이 무엇인지]를 결정하는 데 도움이 되는 어떤 가치와 가정으로 가득 차 있다."(Eisner 1984, 페이지 22)
“…any (teaching) perspective one embraces comes replete with values and assumptions about what is valid and what trustworthy, methods are legitimate, what counts as evidence, and hence helps determine the ends that are worth pursuing.” (Eisner 1984, p. 22)
우리는 [학습 목표를 설정하고, 내용을 전달하고, 학생을 참여시키고, 질문을 하고, 학습과 프로그램을 평가하고, 피드백을 제공하는 것과 같은] 교육학적인 기술 측면에서 좋은 가르침을 생각하는 경우가 많다. 교수개발은 종종 교육 스킬들로 이루어진 "도구 상자"를 개발하는 데 초점을 맞추는 경향이 있는데, 그것이 내포하는 것은 좋은 교육스킬이 있으면 좋은 가르침을 낳을 것이라는 가정이다. 우리는 좋은 가르침에 대한 그러한 관념은 근본적으로 결함이 있다고 믿는다. 그것은 교육 스킬이 중요하지 않기 때문이 아니라, 그 수단이 지향하는 목적에 대해서만 타당성, 정당성, 신뢰성을 판단할 수 있기 때문이다.
We often think of good teaching in terms of pedagogical skills, such as setting learning goals, delivering content, engaging students, asking questions, assessing learning, programs, and providing feedback. Faculty development more often than not, tend to focus on developing a “toolbox” the sum is of pedagogical skills, of which assumed to produce good teaching. We believe such a conception of good teaching is fundamentally flawed. It is flawed not because pedagogical skills are unimportant, but because they can only be deemed valid, trustworthy and legitimate if we know the ends to which they are the means.
교육학적인 기술, 교육적 목적, 그리고 근본적인 가치와 신념의 상호관계는 누군가의 가르침을 완전히 이해하는 데 중요한 "교육적 타당성"을 구성한다.
The interrelationship of pedagogical skills, educational ends, and underlying values and beliefs constitute a “pedagogical validity” that is key to fully understanding someone’s teaching.
지적 타당도
Intellectual validity
가르침은 [진실, 증거, 그리고 특정한 형태의 추론을 다루는] 지적 활동이다. 병원이든 교실이든 지적 타당성은 학자적 또는 전문직의 업무를 특징짓는 지식과 추론이 어떤 형태인지에 대한 깊은 이해를 필요로 한다. [지적 타당성에 기반하여 교육을 정당화하는 교사]들은 그들의 전공이나 전문 분야의 핵심 아이디어, 중심 문제, 한계점 개념, 해결되지 않은 질문을 식별하고 설명한다. 지적 타당도 측면에서 효과적인 교육을 하려면, 교육자는 그러한 개념, 문제, 그리고 질문에 적극적으로 학습자들을 참여시킬 수 있어야 한다. 일단 핵심 개념을 숙달하고 난 뒤에는 학습자에게 정보를 주는 것이 지적 타당도에서는 그닥 중요한 것이 아니다. 그보다는 학습자들이 불확실성과 복잡성의 조건하에서 사고와 추론을 향상시킬 수 있도록 도와야 한다.
Teaching is an intellectual activity that makes claims to truth, evidence, and particular forms of reasoning. Whether in clinical or classroom settings, intellectual validity requires a deep understanding of the knowledge and forms of reasoning that characterize scholarly or professional work. Teachers that justify their teaching by its intellectual validity identify and explain key ideas, central issues, threshold concepts, and unresolved questions in their discipline or specialty. To be effective, teachers must be able to actively engage learners in those concepts, issues, and questions. Once core concepts are mastered, it is not so much a matter of informing learners that describes this pedagogical validity, as it is a matter of helping learners improve their thinking and reasoning under conditions of uncertainty and complexity.
여러 학문과 의학 전공분야에 걸쳐, 이것은 가장 일반적으로 지지되는 형태의 교육적 타당도이다. 교육적 타당도를 지지하는 주장은 학습자-지적 작업-교육내용 간의 근본적인 연결을 형성해야develop 하는 필요성에 기초한다.
Across disciplines and medical specialties, this is the most commonly espoused form of pedagogical validity. The argument in support of it is based upon the necessity of developing a fundamental connection between the learners and the intellectual work and/or content in a discipline
교육 내용은 authorized form으로 학습되어야 하며, 평가는 실천에 유효한 것으로 추정되는 지식과 수행의 위계 중 어디에 학습자가 위치하는지 판단할 수 있어야 한다. 증거 기반 실천의 윤리 안에서, 많은 의학교육자들은 미래 의사들의 교육에 지적 타당성을 기본적으로 고려한다.
What is taught must be learned in its authorized form, and assessment must be able to locate learners within a hierarchy of knowledge and performance that is presumed valid for practice. Within an ethos of evidence-based practice, many medical educators consider intellectual validity foundational to the training of future practitioners.
관계적 타당도
Relational validity
가르침은 상호의존적인 역할과 책임을 창출하는 관계적 활동이기도 하다. 이러한 교육적 타당성을 강조하는 교사들은 학습이 학습자와의 관계에 영향을 받는다고 믿는다. 근본적인 가정은 교사들이 학습자에게 하는 모든 말은 교수자와 학습자 사이의 관계를 통해 해석된다는 것이다. 학습자들은 설명, 정교함, 평가, 피드백, 지도, 격려, 역할 모델링을 위해 선생님들을 찾는다. 학습자들이 [얼만큼이나 '교사가 학습자의 최선의 이익을 염두에 두고 있다'고 믿고 신뢰하는지]에 따라서 [어떻게 그들의 선생님이 말하는 것을 듣고 해석할지]를 결정한다. 마찬가지로, 교사가 (자신의) 불확실성을 (학습자에게) 드러내려는 의지도 교사가 학습자의 관계에 달려 있다. 이런 관점에서 볼 때, 좋은 가르침은 근본적으로 관계적이다.
Teaching is also a relational activity that creates interdependent roles and responsibilities. Teachers that emphasize this pedagogical validity believe that learning is influenced by the relationship they have with learners. The underlying assumption is that everything teachers say to learners is interpreted through the relationship between them. Learners look to their teachers for explanation, elaboration, assessment, feedback, guidance, encouragement, and role modeling. The extent to which learners believe and trust that their teacher has their best interests in mind determines how learners will listen and interpret what their teacher says. Similarly, a teacher’s willingness to display uncertainty is also dependent on the relationship that that teacher has with learners. From this perspective, good teaching is fundamentally relational.
이는 피드백 과정에서 특히 명백하다. 예를 들어 텔리오 외 연구진(2015, 2016)은 "교육 동맹" 즉 신뢰와 존중의 상호 관계가 있는 교사와 학습자 사이의 관계를 설명한다. 그러한 신뢰와 존중의 설득력 있고 일관된 표현이 있을 때, 학습자들은 불확실성을 드러내고, 위험을 감수하고, 실수로부터 배우고, 이전의 사고와 믿음에 도전하는 피드백을 받는 것이 안전하다.
This is particularly evident in the process of feedback. For example, Telio et al. (2015, 2016) describe an “Educational Alliance”, that is, a relationship between teachers and learners where there is a mutuality of trust and respect. When there is a convincing and consistent expression of that trust and respect, it is safe for learners to reveal their uncertainty, take risks, learn from their mistakes and receive feedback that challenges prior ways of thinking and believing.
그러므로 상호 신뢰와 존경은 가르치는 데 있어서 관계적 타당성의 핵심이다. 신뢰가 없이는, 타당성도 없고, 존중이 없이는, 타당성도 없다. 상호 신뢰와 존중이 함께 도전적이면서도 지지하기에 편안한 학습 환경을 조성하는데, 불확실성 속에서 학습자와 교사를 소리 높여 부르는 것이 안전하다.
Mutual trust and respect are, therefore, at the heart of relational validity in teaching. No trust, no validity; no respect, no validity. Together, mutual trust and respect create a learning environment that is challenging yet and comfortable for supportive, where it is safe wonder to learners and teachers aloud amidst uncertainty.
이러한 교육적 타당성의 형태 안에서, 교사들은 [그들이 알고 있는 것]을 가르칠 뿐만 아니라, 한 사람으로서 그리고 전문가로서 [그들이 누구인지]를 가르친다.
Within this form of pedagogical validity, teachers not only teach what they know; they also teach who they are as a person and as a professional.
도덕적 타당성
Moral validity
가르침은 또한 (윤리적 규칙이나 전문적인 지침만으로는 도달할 수 없는) 판단, 결정, 행동을 포함하는 도덕적 활동이다. 교실에서, 클리닉과 수술실에서 선생님들은 복잡하고 종종 혼란스러운 상황에 직면한다.
Teaching is also a moral activity involving judgments, decisions, and actions that cannot be arrived at by ethical rules or professional guidelines alone. In classrooms, clinics and operating rooms teachers are confronted with situations that are complex and often confusing,
종종 규칙이나 지침이 "어떻게 해야 하는가?"라고 직접적으로 대답하지 못하는 경우가 많다.
These are often situations for which rules or guidelines cannot directly answer “What should I do?”
상충하는 권리, 강한 신념, 상반된 의견 또는 증거가 있는 복잡한 상황 앞에서 – 의학적 관행에 관한 것이든 – 명백하게 "옳은 것"은 없을 수 있다. 그러한 순간에는 저항을 직면하더라도, 도덕적 헌신과 실천적 지혜(슈워츠와 샤프 2010)가 결정을 내리고 설명하는 데 있어서 동기와 명료성을 제공할 수 있다.
In the face of complex situations with competing rights, strong beliefs, conflicting opinions or evidence – whether about medical or pedagogical practices – there may be no obvious “right” thing to do. In those moments a sense of moral commitment and practical wisdom (Schwartz and Sharpe 2010) can provide the motivation and clarity to enact and articulate a decision, even in the face of resistance.
여기서, 교육학적 타당성은 [행동과 말 사이의 일치]에 관한 것이다. 우리는 말보다 행동으로 더 많이 가르친다. 교사들이 연민을 가르치기를 원한다면, 그들은 동정심이 있어야 하고, 윤리적으로 책임감 있는 행동을 가르치려면, 그들 자신의 행동에서 윤리적으로 건전해야 한다. 그러나, 그러한 행동에 대한 근거는 관찰자들에게 분명하지 않을 수 있기 때문에, 교사들은 학습자들에게 그들의 행동에 대한 근거를 명확히 해야 할 것이다.
Here, pedagogical validity is about the congruence between actions and words. We teach more by our actions than by our words. If teachers wish to teach compassion, they must be compassionate; if they wish to teach ethically responsible behavior, they must be ethically sound in their own actions – clinical and educational. However, because the rationale for those actions may not be obvious to observers, it also requires that teachers articulate the basis for their actions to their learners.
따라서, 교육의 도덕적 타당성은 일련의 도덕적 또는 윤리적 가치와 신념(내면의 도덕적 나침반)과 관련하여 일관성과 투명성에 관한 것이다. 이것은 시간이 지남에 따라 개발되고 교수 목적을 위해 표현될 수 있는 내부적 도덕적 나침반이다. 그러나 그것은 또한 공감에 관한 것이다. 효과적인 교사들은 그들의 도덕적 가치에 대해 분명하고 일관성 있고 투명해야 하지만, 그들은 또한 공감하고 인내해야 한다. 특히 선생님이 지지하는 가치를 경멸하거나 불평하는 학습자들에게 더더욱 그러해야 한다. 의견 불일치와 토론을 위한 공간이 있어야 한다. 이런 의미에서 도덕적 타당성은 학습자에 대한 공감이 없다면, 그리고 도덕적 명확성과 헌신을 요구하는 바로 그 도전에 맞서 지속할 용기가 없다면 의미가 없다.
Moral validity of teaching is, therefore, about consistency and transparency in relation to a set of moral or ethical values and beliefs – an internal moral compass – that is developed over time and which can be articulated for teaching purposes. But it is also about empathy. While effective teachers must be clear, consistent and transparent about their moral values, they must also be empathic and patient, especially with learners that disavow/contest the values espoused by their teacher. Space for disagreement and discussion has to be available. In this sense, moral validity is meaningless without empathy for their learners and the courage to persist in the face of the very challenges that require moral clarity and commitment.
문화적 타당성
Cultural validity
가르침은 또한 문화적 가치와 사회적 규범이 어떻게 우리의 기준틀과 마음의 습관을 형성하는가에 대한 인식을 바탕으로 한 문화적 타당성의 한 형태다. 쿠퍼 교수가 지적하듯이 대부분의 의학적 훈련은 환자에게 적용되고 교육이 훈련에 어떻게 영향을 미치는지에 대한 미묘한 점을 무시한다. 쿠퍼 교수는 그 결과 "우리(의학교육)은 그저 문화적으로 매개되지 않은 일련의 객관적이고 과학적인 진리를 학생들에게 가르치고 있을 뿐..."이라는 암묵적인 믿음이 생겼다고 지적한다. (Kuper 2014 p. 1148)
Teaching is also a form of cultural validity based on an awareness of how cultural values and social norms shape our frames of reference and habits of mind. As Kuper notes, most medical training essentializes “culture” into stereotypes as it applies to patients and ignores the subtleties of how culture influences training, often resulting in a tacit belief that, “… we are merely teaching our students a series of objective, scientific truths that are not culturally mediated…”. (Kuper 2014 p. 1148)
그러나, 국가, 기관, 학문 및 심지어 의학 전문 분야가 "좋은 가르침"이 의미하는 "좋은 가르침"에 대해 특별한 기준 프레임을 가지고 있다. 그리고 이는 곧 "좋은 의사"가 의미하는 것에 대한 레퍼런스 프레임과 교차한다. (Pratt 외, 1998; Pratt와 Nesbit 2000; Pratt와 Collins 2013)
Yet, there is a reason to believe that countries, institutions, disciplines and even medical specialties have particular frames of reference about what “good teaching” means, which, in turn, intersects with frames of reference as to what “good doctoring” means. (Pratt et al. 1998; Pratt and Nesbit 2000; Pratt and Collins 2013)
그러므로, 우리가 교사의 역할을 맡게 되었을 때, 우리가 맡은 역할은 전적으로 우리 자신이 만든 것이 아니며, 우리가 도착하기 전에 이미 만들어져있었던 어떤 것이다. 우리는 그것을 개성에 맞게 수정하거나 조작할 수 있지만, 그것은 무엇보다도 가르치는 것, 배우는 것, 그리고 [전문적 또는 학문적 관행에 대한 특정한 가치와 믿음]을 중심으로 만들어진 사회적 역할이다.
Thus, when we take on the role of teacher, we step into a role that is not entirely of our own making; it was there before we arrived. We may modify or craft it to our individuality, but it is first and foremost a social role constructed around particular values and beliefs about teaching, learning, and professional or disciplinary practices.
가르침은 본질적으로 어떤 장소, 시간, 전통에 입각한 책임과 기대를 불어넣는 문화적, 사회적 역할을 한다. 그러므로 가르침의 문화적 타당성은 진리에 대한 주장, 관계의 본질, 예의, 도덕적 가치들이 문화적으로 그리고 역사적으로 구성되었다는 것을 인식한다. 우리가 가르칠 때, 우리는 학습자에게 [특정한 기준과 마음의 습관]을 함양하는 것이다.
By its very nature, teaching is a cultural and social role infused with responsibilities and expectations that are situated in place, time and traditions. The cultural validity of teaching, therefore, recognizes that claims to truth, the nature of relationships, propriety, and moral values are culturally and historically constituted. When we teach, we are enculturating learners into particular frames of reference and habits of mind.
그러나, [문화적 교육학적 타당성]을 갖추기 위해서는 frame of reference와 마음의 습관에 대한 인식이 필요할 뿐만 아니라, (예를 들어 권력과 특권의 차이처럼) 문화적으로 영향을 받는 의료행위 및 실천에 대한 여러 측면을 비판적으로 성찰하고 모델링할 능력과 의지가 요구된다.
However, cultural pedagogical validity not only requires an awareness of our frames of reference and habits of mind, but it also requires the ability and will to model critical reflection upon those aspects of medical training and practice that are culturally infused with differences in, for example, power and privilege.
가르칠 때 나는 누구의 세계에 손짓하고 있는가?
누구의 진실에 대한 주장을 나는 기초적인 것으로 받아들여야 하는가?
나와 다른 문화권의 사람들에게 선생님과 학습자의 적절한 관계는 무엇인가?
나의 가르침의 적절성을 어떤 기준과 기준으로 판단해야 하는가?
건강과 질병에 대한 우리의 전문적인 이해는 환자, 간병인, 가족에 대한 이해와 어떻게 다른가?
권력은 훈련과 연습의 측면에 어떤 영향을 미칠까?
Whose world am I gesturing to when teaching?
Whose claims to truth do I accept as foundational?
What is an appropriate relationship between teacher and learner for those whose culture is not mine?
By what standards and norms should I judge the propriety of my teaching?
How is our professional understanding of health and illness different than that of patients, caregivers, and family?
How might power influence aspects of training and practice?
우리는 임상의사가 폄하의 희생물이 되지 않고, 다른 전문분야의 접근방식의 차이를 인식할 수 있는 겸손함을 가지고 있을 때, 그리고 기초과학자들이 서로 다른 인식론과 지식창조에 대한 접근방식의 비교효용을 인정할 때 문화적 타당성의 영향이 존재함을 알 수 있다.
We see cultural validity’s influence when clinicians have the humility to recognize differences of another specialty’s approach without falling prey to denigration, and when basic scientists acknowledge the comparative utility of different epistemologies and approaches to knowledge creation.
훌륭한 교사들은 그들의 주장에 대해 신중하고 잠정적이어서, 다음의 것들이 유일하다고 말하지 않는다.
진실을 주장할 수 있는 방법
학습자들과 관계를 맺을 수 있는 방법
학습자들에게 무엇이 옳고, 좋으며 심지어 도움이 되는지를 결정하는 유일한 근거
그렇게 함으로써, 훌륭한 교사들은 자신의 "문화적 지식"과 위치에 대한 비판적인 성찰 과정을 투명하게 만든다.
Good teachers are cautious and tentative about their claims, so as to not assume they are
the only way to claim truth,
the only way to be in relationship with learners, or
the only basis for deciding what is right, good or even helpful for learners.
In doing so, they also make transparent the process of critical reflection on their “cultural knowledge” and positioning.
통합 - 교육적 정체성
Integration – pedagogical identity
가르침은 그 통합적 성격에 의해 지적 행위, 관계적 행위, 도덕적 행위, 문화적 행위다. 교사들이 발전함에 따라, 그들은 다른 사람들보다 이러한 "행동" 중 하나를 더 강조하고 독특한 교육학적 정체성을 취하게 되는데, 이것은 그들이 가르치는 데 "좋은" 것이 되기 위해 필요하다고 믿는 것에 대하여 내면에 퍼져있는 감각이다. 따라서 하나 이상의 교육학적 타당성에 대한 상대적 강조는 [자기가 행하는 교육의 성격을 정의하는 것]이 된다. 그것이 [우리가 교사로서 누구인가], [우리는 훌륭한 가르침이 무엇이라고 믿는가]의 본질이다.
teaching is, by its integrated nature, an intellectual act, a relational act, a moral act, and a cultural act. As teachers develop, they emphasize one of these “acts” more than the others and take on a distinctive pedagogical identity, an internal pervading sense of commitment to what they believe is necessary and appropriate for them to be “good” at teaching. Relative emphasis on one or more forms of pedagogical validity, therefore, becomes a defining character of one’s teaching. It is the essence of who we are as a teacher and what we believe constitutes good teaching.
그러나 좋은 가르침은 [특정한 형태의 교육적 타당성에 대한 헌신] 이상이다. 그것은 또한 필요하다.
그 순간에 존재하여
다음의 능력을 가지는 것이다.
중요성의 역동적인 패턴을 인지하고
그들의 뜻을 파악하고
교육적 신분과 일치하여 대응할 수 있는 방법을 고안하다
Good teaching, however, means more than having a commitment to a particular form of pedagogical validity. It also requires
being present in the moment and
having the ability to rise above the moment to
recognize dynamic patterns of significance,
grasp their meaning and
invent ways to respond in accord with one’s pedagogical identity.
[우리가 무엇을 보고, 어떻게 해석하고, 어떻게 즉흥적으로 행동하는가]는 우리가 그러한 역동적인 순간에 가져다 주는 frame of reference와 마음의 습관에 의해 인도된다.
What we see, how we interpret and improvise is guided by the frames of reference and habits of mind we bring to those dynamic moments.
교사의 교육기술에만 초점을 맞춘 교수진 개발 및/또는 평가는 핵심을 놓칠 가능성이 있다. 만약 우리가 좋은 가르침을 이해하고 육성하고 싶다면, 우리는 그러한 기술, 즉 그들의 근본적인 교육적 타당성을 형성하고 활성화시키는 더 깊은 헌신에 주목해야 한다.
Faculty development and/or evaluations that focus only on the technical skills of teaching likely miss the point. If we want to understand and foster good teaching, we need to look to the deeper commitments that shape and animate those skills, that is, their underlying pedagogical validity.
글씨글씨글씨글씨글씨글씨글씨글씨 서윤서윤 아빠아빠 서윤서윤 아빠아빠서윤서윤 아빠아빠 아빠아빠서윤 서윤이는 일찍 일어났어요.
Kuper A. 2014. When I say … cultural knowledge. Med Educ. 48: 1148–1149. XXX
Pratt DD, Smulders D, Associates. 2016. Five perspectives on teaching: mapping a plurality of the good. Malabar, FL: Krieger Publishing.
,41 (6), 638-640
Pedagogical Validity: The Key to Understanding Different Forms of 'Good' Teaching
The interrelationship of pedagogical skills, educational ends, and underlying values and assumptions constitute a teacher's 'pedagogical validity' - who they are as a teacher and why they teach the way they do. If reflection, judgment, and improvement are to be helpful, they must have regard for a more complete understanding of what frames a teacher's pedagogical validity. This article briefly describes four kinds of pedagogical validity that teachers draw upon when explaining or justifying their notion of 'good' teaching. Teachers generally have some part of each, but most of us draw upon one or two more than all four as we define ourselves as teachers and make sense of our teaching.
Discourse(s) of emotion within medical education: the ever-present absence
Nancy McNaughton
도입
INTRODUCTION
감정은 (전문 지식과 일상적인 담론의 대상으로) 당연한 것으로 간주된다.1 의학에서 감정은 전문적인 가치, 태도, 신념의 핵심 요소로 인식되며, 진단, 상담, 환자 관리를 포함한 전문적 활동에 대한 휴머니즘적 접근법을 지지한다. 그것은 또한 직업적 행복과 환자 만족의 필수적인 측면으로 인식된다.
Emotion is taken for granted as an object of both specialised knowledge and everyday discourse.1 Within medicine, emotion is recognised as a core element of professional values, attitudes and beliefs and is espoused in humanistic approaches to professional activities, including diagnosis, counselling and patient management. It is also recognised as an essential aspect of professional well-being and patient satisfaction.
훈련, 임상적 의사결정 및 일상적 상호작용의 모든 측면에 피할 수 없는 존재임에도 불구하고, 감정은 가치, 태도 및 믿음의 더 큰 구성의 일부분으로서 또는 '이성'으로 잘못 이분화되어, 대부분 귀중한 형태의 지식의 원천으로서 보이지 않게 된다.
Despite its unavoidable presence in all aspects of training, clinical decision making and day-to-day interactions, emotion is either elided as part of a larger construct of values, attitudes and beliefs, or falsely dichotomised with ‘reason’, making it largely invisible as a valuable form and source of knowledge.
이성 vs 감정
Reason Versus Emotion
의학 교육 내에서 정신-신체와 이성-감정과 같은 데카르트적 이분법은 부분적으로 '이성이 부패된 상태로서 초월되어야 할 것'으로 감성을 바라보는 과학과 기술 발달의 효과에 의해 영속된다.9 어떻게 '선량한' 의사가 되려면 이성으로부터 감정을 제거해야 한다는 생각이 영속되어 왔는가? 아니면 적어도 초연적 관심의 형태로 환자의 이익을 위해 그에 상응하는 적정성을 부여할 수 있어야 하는가?10
Within medical education Cartesian dualities,9 such as mind⁄ body and reason⁄ emotion, are perpetuated in part by the effects of scientific and technological developments that find ‘emotion as a corruption of reason that needs to be transcended’.9 How has the idea been perpetuated that to be a ‘good’ doctor one must evacuate emotion from reason or, at very least, be able to titrate it accordingly for the patient’s benefit in the form of detached concern?10
전문직업적, 학문적 고정관념은 이분법적 사고에 달려있다. 예를 들어, 보통 사람들이 흔히 하는 [예절이라고는 전혀 없지만 뛰어난 외과의사]에게 치료를 받는 것이 더 나은 것인지 아니면 [덜 똑똑하지만 환자의 손을 잡아줄 용맹스러운 외과의사]에게 치료받는 것이 더 나은 것인지에 있다. 그러한 구별은 어처구니없을 정도로 환원적일 뿐만 아니라 전문적 정체성 형성에 영향을 미치는 이분법적 관점을 재현한다.
Professional and disciplinary stereotypes rest on binary thinking: for example, a question commonly voiced by lay people concerns whether it is preferable to be treated by a brilliant surgeon who has awful bedside manners OR a less-than-brilliant surgeon who will hold the patient’s hand. Such distinctions are not only insultingly reductive, but reproduce a binary perspective that has implications for professional identity formation.
이분법은 감정과 그 표현에 대한 경계를 전문성, 도덕적 감수성, 지성의 표시로 유지하기 위해 생산적으로 사용된다. 임상 훈련에서 감정을 불법적인 형태의 지식으로 폄하하는 것 또한 의학 교육 내에서 기여가 부족하게 되었다.
Dichotomies are used productively to maintain boundaries around emotion and its expression as signs of professionalism, moral sensibility and intelligence. The disparagement of emotion as an illegitimate form of knowledge (seen as both gendered and unscientific) in clinical training has also led to a paucity of contributions within medical education
감성이란 무엇인가?
What is Emotion?
연구의 대상으로서, 감정은 기술하기 힘들기로 악명 높으며 직업과 학문 사이에는 그것이 무엇인지에 대한 동의가 거의 없다. 그것은 생리학적으로 결정되고, 내적으로 경험되고 자연스럽고, 이성의 요소로서, 사회문화적 가치와 사회문화적 관행의 결과의 전달 매개체로서, 수행과 미적, 도덕적 경험의 중심이라고 다양하게 묘사되고 있다.
As an object of study, emotion is notoriously difficult to delineate and there is little agreement among professions and disciplines about what it is. It is variously described as physiologically determined,11–13 internally experienced and natural,14,15 a component of reason,16–19 a medium for the transmission of socio-cultural values and the result of socio-cultural practices,1,16,20–26 a performance27–29 and central to aesthetic and moral experience.30–32
방법
METHODS
'담론은 그들이 말하는 대상을 체계적으로 형성하는 관습이다.'29
‘Discourses are practices that systematically form the objects of which they speak.’29
푸코디안 프레임워크 내에서, 담론 분석은 제작, 배포 및 수신의 상호 관련 텍스트와 실행의 집합을 말한다. 이는 공식 및 비공식 커리큘럼 형식과 전문 문서에서 전문성과 역량과 관련된 관행과 정책에 영향을 미친다. 감정에 대한 다른 생각들은 구체화되고 법제화된다. 그 후 감정을 연구하기 위한 이산적인 접근은 사회 관계를 통해 역사적으로 제도적 환경에서 형성되는 글쓰기 단어뿐만 아니라 실천으로서 감정에 초점을 맞춘다. 이와 같이, 낙서는 세계에 영향을 주는 사회적 행동의 형태로 조사될 수 있다. 이러한 관점에서, 우리는 다음과 같은 질문을 던지기 시작할 수 있다: 누가 감정에 대한 일반적인 생각으로부터 이익을 얻는가? 감정이 임상 지식으로 중요한 것을 형성하는 데 어떤 역할을 하는가?
Within a Foucauldian framework, discourse analysis refers to inter-related sets of texts and practices of their production, dissemination and reception. This occurs through both formal and informal curricular forms and in professional documents, producing effects on practices and policy related to professionalism and competency. Different ideas about emotion are taken to be both embodied and enacted. A discursive approach to studying emotion then focuses on emotions as practices, as well as written words that are shaped historically in institutional settings through social relations. As such, discourses can be investigated as forms of social action that create effects in the world. From this perspective, we can begin to ask questions such as: who benefits from prevalent ideas about emotion? What role does emotion play in shaping what counts as clinical knowledge?
감정의 세 가지 담론: 생리적 담론, 기술과 능력으로서의 감정, 그리고 사회문화적 담론(표 1)
three discourses of emotion: a physiological discourse; emotion as skills and abilities, and a socio-cultural discourse (Table 1).
생리학으로서 감정
EMOTION AS PHYSIOLOGY
'생리학으로서의 감정' 담론은 보편적으로 경험된 감정과 우리의 신체적 구성의 일부로서 감정을 본다. 예를 들어, 모든 사람들은 문화나 배경에 상관없이 분노를 경험한다. 이 때, 특정한 신경 화학적 연쇄반응이 시작되어, 우리의 의식적인 통제를 벗어난 많은 경우에 물리적 영향과 행동을 야기한다.
An ‘emotion as physiology’ discourse posits emotion as universally experienced and part of our physical make-up; for example, everyone has experienced anger regardless of culture or background. A particular neurochemical cascade is set off, leading to physical effects and behaviour, in many instances beyond our conscious control.
사람들이 경험하는 감정의 양과 종류는 병리적 상태가 아닌 인간에게서 [동일한 감정을 자극하는 보편적인 정신생물학적 과정의 예측 가능한 결과라고 이해된다.33
The amount and kinds of emotion that people experience are understood to be predictable outcomes of universal psychobiological processes stimulating identical emotions in non-pathological humans.33
이 담론은 생물학적 과정으로 감정을 확보하고 합리적이고 실증주의적인 인신론으로부터 지지를 받는 연구를 통해 재현되고 정당화된다. 생리학과 감정은 질병뿐만 아니라 행동에 대한 경험적 증거를 제공하기 위해 그들의 인과관계를 연구한다. 임상 실습 연구에서 담론은 개인의 의식적 통제나 행동 효과에 대한 인식을 벗어난 신경 화학적 원인을 식별하는 데 관심이 있는 신경 및 인지 과학자와 교육자에 의해 작용에서 명백하다.34–41 의학 교육에서 신경과학자와 인지과학자는 스트레스의 생리적 효과(이것을 감정으로 해석한다)가 인지적 평가 기술 42,43 및 의료 성과 44,45에 미치는 영향을 연구한다.
This discourse is reproduced and legitimated through research that posits emotion as a biological process and is supported by a rational, positivist ontology. Physiology and emotion are studied for their causal connections to provide empirical evidence for behaviour as well as illness. In clinical practice research, the discourse is evident in work by neuro- and cognitive scientists and educators interested in identifying neurochemical causes that are beyond the individual’s conscious control or awareness of behaviour effects.34–41 In medical education, neuroand cognitive scientists are studying the physiological effects of stress (interpreted as an emotion) on cognitive appraisal skills42,43 and health care performance.44,45
Pottier 등의 연구에서, 46 학생들은 자신의 몸에서 화학적으로 일어나는 스트레스 수준을 의식하지 못했다. 우리의 몸이 우리의 마음과 별개로 작용하고 있다는 생각은 데카트트적 마음-신체, 이성-감정 이분법에 의해 뒷받침된다.
in the work of Pottier et al.,46 the students were not conscious of the level of stress their bodies were registering chemically. The idea that our bodies are acting separately from our minds is supported by a Cartesian mind⁄ body reason⁄ emotion duality.
의학 교육에서 생리적 담론의 또 다른 예는 표준화된 환자(SP)뿐만 아니라 의료인을 훈련시키기 위해 Paul Ekman의 아이디어를 적용한 것이다.47,48,49 Ekman의 연구는 감정의 보편적 생물학적 생성과 그에 따른 얼굴 표정 사이의 논증할 수 없는 연관성에 기초한다.47 Through 미세표현훈련도구(METT)를 이용한 Ekman의 안면행동코딩시스템(FACS)에서의 훈련은 미세표현에 감추어진 감정을 읽음으로써 다른 사람의 내적 감정상태를 신뢰성 있게 분별하는 법을 배울 수 있다.
Another example of a physiological discourse within medical education is the application of Paul Ekman’s ideas for training medical practitioners as well as standardised patients (SPs).47,48,49 Ekman’s research is based on an incontrovertible connection between the universal biological production of emotion and resulting facial expressions.47 Through training in Ekman’s facial action coding system (FACS) using the micro-expression training tool (METT), one can learn to reliably discern other people’s internal emotional states by reading emotions concealed in micro-expressions:
Ekman의 이론은 우리 모두가 [사회적, 문화적 차이와 무관하게 우리의 인식과 통제를 벗어난 보편적으로 측정할 수 있는 방법으로 경험하고 감정을 표현하도록 연결되어 있다]는 것을 암시한다.47
Ekman’s theory, suggests that we are all, regardless of social and cultural differences, wired to experience and express emotion in universally measureable ways that are beyond our awareness and control.47
함의
Implications
신경 영상 실험은 우리에게 감정의 일반적이고 보편적인 특성에 대한 정보를 제공하는 활동이다.
Neuro-imaging experiments, are activities that provide us with information about the generalisable and universal characteristics of emotion.
이 담론 안에서 감정은 그들만의 삶을 가지고 있는 것으로 보여지고, 방해가 되고, 어쩌면 우리의 이성을 압도하고 위험한 결정과 행동으로 이어질 수도 있다. ‘I lost my head’, or I need to get a grip’와 같은 흔한 문구나, blowing off steam or losing one’s cool 과 같은 은유들은 이중적인 사고에 의해 더욱 뒷받침되는 감정에 대한 그러한 이해를 반영한다. 그러나, 현재의 신경과학 연구는 우리의 인식은 본질적으로 감정적인 두 가지 – 사이에 구분split이 없다는 것을 시사한다. 안토니오 다마시오는 '이성이라는그림에서 감정이 완전히 배제될 때...(감정이 우리의 결정에 나쁜 장난을 칠 때보다) 이성은 훨씬 더 결점이 있는 것으로 판명된다.'라고 쓰고 있다.
Within this discourse emotions are seen to have a life of their own, getting in the way, possibly overwhelming our reason and leading to dangerous decisions and actions. Such common phrases as ‘I lost my head’, or I need to get a grip’, or metaphors such as blowing off steam or losing one’s cool reflect such an understanding of emotion which are further supported by dualistic thinking. However, current neuroscience research suggests that there is no split between the two – our cognition is essentially emotional. Antonio Damasio writes, ‘When emotion is entirely left out of the reasoning picture…reason turns out to be even more flawed than when emotion plays bad tricks on our decisions.’11
그러나 이성과 감정 사이에 분열이 없음을 보여주는 연구에도 불구하고, 우리의 감정은 파괴적이며 관리되어야 한다는 생각이 우리의 일상적 사고와 실천에 스며들고 있다.
Yet despite the research that shows there is no split between reason and emotion, the idea that our emotions are disruptive and need to be managed is pervasive and deeply ingrained in our day to day thinking and practices.
이것과 평행한 또 다른 개념은 감정이 자연의 날씨 패턴처럼 일어난다는 것이다.22 이러한 관점에 따르면, 감정이란 긍정적이든 부정적이든 간에 감정 그 자체가 문제가 되는 것이 아니라, 오히려 그 발생이 [우리에게 비자발적으로 일어나고 우리의 이성적 능력에 문제를 일으키는 것]처럼 보이기에 문제인 것이다.
Another notion parallel to this one is that emotions occur like naturalised weather patterns.22 In this view, it is not emotions themselves, either positive or negative, that are troublesome, but, rather, their occurrence, which seems to happen to us involuntarily and to connect to our rational capacities in troubling ways.
스킬로서 감정
EMOTION AS SKILL
'기술로서의 감정' 담론에서 '지능'과 '감정'의 개념은 능력, 기술 습득 및 성과에 관한 아이디어와 관련된 궤적을 따라 수렴된다. 이러한 담론은 우리의 감정에 대한 생물학적 근거를 인정하지만, 이제 그것들은 실천을 통해 변화할 수 있는 것으로 보인다.
Within an ‘emotion as skill’ discourse, concepts of ‘intelligence’ and ‘emotions’ converge along a trajectory related to ideas about ability, skills acquisition and performance. This discourse acknowledges the biological basis for our emotions; however, they are now seen as amenable to change through practice.
'우리는 감정 능력이 신체검사 기술과 마찬가지로 (환자 진단이나 사회문화적 배경을 대체하는) 적절하게 정의되고, 가르칠 수 있는(그리고 측정할 수 있는) 기술로 간주될 수 있다고 제안한다.'52
‘We suggest that emotion skills, much like physical examination skills, can be regarded as a properly defined, teachable (and measurable) skill set that supersedes patient diagnoses or socio-cultural backgrounds.’52
이러한 의무는 태도와 가치에 관련된 전문적인 행동을 할 때, 감정을 가시화하는 의사소통 기술 훈련을 통해 부분적으로 충족된다. 행동 훈련은 의사결정의 인지적 측면으로 되돌아온다. 어떻게, 언제, 무엇을 말할 것인가에 대한 결정은 체계적 연습을 통해 개발될 수 있는 기술이다.
This mandate is met in part through communication skills training in which emotion becomes visible in demonstrations of professional behaviours linked to attitudes and values. Behavioural training feeds back into cognitive aspects of decision making. Decisions about how, when and what to say are skills that can be developed through organised practice.
감정지능
Emotional Intelligence
감성 지능(EI)은 감성에 대한 특별한 생각이 의학에서나 일상 생활에서나 작동하게 되는 지배적인 기술이다.
Emotional intelligence (EI) is the dominant technology through which particular ideas about emotion become operationalised both in medicine and throughout our day-to-day lives.
EI의 목적은 연습을 통해
자신과 타인의 감정을 인지하고 이해하고 관리하는 능력을 향상시키기 위해 기술을 개발하고,
부정적인 감정 경험과 그들의 표현을 감소시키기 위해 그 결과를 평가하는 것이다.
The aim of EI is to develop skills through practice
to improve abilities to perceive, understand and manage emotion in both oneself and others, and
to evaluate the outcomes in order to reduce negative and increase positive emotional experiences and their expression.
'자신과 다른 사람들의 감정을 능숙하게 감지, 이해 및 관리하는 것은 제공자 웰빙, 제공자 만족, 전문성 및 환자 결과에 영향을 미칠 수 있다.'52
‘The skillful detection, understanding and management of emotions in the self and others may impact on provider well-being, provider satisfaction, professionalism and patient outcomes.’52
감성 지능은 의료 전문가를 개발하는 의료의 인문학적 목표를 충족시키는 동시에, 신뢰할 수 있는 포착에 적합하지 않은 것으로 보이는 능력을 측정하고 판단하는 신뢰할 수 있는 방법을 제공한다.
Emotional intelligence meets health care’s humanistic goals of developing caring professionals while providing a dependable method for measuring and judging capacities seen as not otherwise amenable to reliable capture.
감성 지능은 의대 입학 과정, 53 임상 및 서면 평가에 대한 성과와의 상관 관계, SPs.55에 의해 평가된 EI 속성과 학생 임상 기술 사이의 가능한 관계를 포함하는 광범위한 맥락에서 관여하고 연구되고 있다.
Emotional intelligence is being engaged and studied in a wide range of contexts that include medical school admissions processes,53 its correlations with performance on clinical and written assessments54 and the possible relationship between EI attributes and student clinical skills as assessed by SPs.55
스킬의 수행으로서 감정
Emotion as Performance of Skills
Performance는 기술로서 EI가 드러내어지는 매개체다. 보이지 않는 전문적 속성을 [개별적인 관찰 가능한 기술과 능력]으로 변환하려면 특정한 종류의 퍼포먼스가 필요하다.
Performance is the medium through which the skills of EI are manifest. The transforming of invisible professional attributes into individual observable skills and abilities requires a specific kind of performance
이 담론에서의 성과는 '인지기능 과정하고는 관련성이 낮고, 행동, 움직임, 언어 및 몸짓과 더 많은 관계가 있다.56
Performance in this discourse ‘has less to do with cognitive processes and more [to do] with action, movement, speech and gesture’.56
감정은 관찰할 수 있고 측정할 수 있는 과제의 수행을 통해 가시화된다. 그것은 분리된 요소(rapport, empiration, eye contact, question style)로 나눠질 수 있으며, 의사소통이 수행된 기술의 더 미세하고 더 미세한 슬라이드로 분석되는 연속체를 따라 평가될 수 있다. 그래서 감정에 관한 정보에 접근하기 위해 개인의 경계 안에 도달하는 것이 아니라, 이 담론은 [역량있는 실천]과 관련된 [특정한 시연demonstration]으로서 감정을 관찰할 수 있게 해준다. 감정은 아직 생물학적으로 생산되고 있지만, 지금은 그 외적인 면을 관찰하고 측정하는 데 초점이 맞춰져 있다.
Emotion then becomes visible through the performance of tasks that are observable and measureable. It can be broken into discrete component parts (rapport, empathy, eye contact, questioning style) and assessed along a continuum on which communication is parsed into finer and finer slivers of performed skills. So, rather than reaching inside the boundaries of the individual to access information about emotion, this discourse allows one to observe it as a particular demonstration related to competent practice. Emotion is still biologically produced, but now the focus is on observing and measuring its external aspects.
예를 들어, 테크닉으로서의 공감이나 연민은 벅만의 공감 모델에서 분명히 알 수 있듯이 학습하고 평가할 수 있는 단계로 나눌 수 있다: '감정반응은 다음의 테크닉으로 구성되어 있다
(i) 감정을 식별하고
(ii) 감정의 근원을 식별한 두,
(iii) 이 두 단계 사이를 자신이 어떻게 연결했는지를 보여주는 방식으로 반응하는 것
For example, empathy or compassion as a technique can be broken into steps that can be learned and assessed, as is evident in Buckman’s model for empathy: ‘The empathic response, for example, is a technique that consists of
(i) identifying the emotion,
(ii) identifying the source of emotion, and
(iii) responding in a way that shows you have made the connection between the first two steps.’57
감정을 기술이나 기법으로 프레이밍 하는 것은 전문적인 훈련과 연습에 영향을 미친다.
Framing emotion as a skill or technique has effects on professional training and practice.
[단순히 다른 형태의 기술로서 감정]을 지탱하는 아이디어는 [사회문화적 맥락을 고려하지 않으며] [감정을 관리, 통제, 설명하는데 있어 가장 큰 부분을 개인에게 맡기는] 방식의 설명 모델을 넘어서야 할 필요성을 충분히 인식하지 못한다.
Ideas that support emotion as simply another form of skill do not offer sufficient recognition of the need to move beyond explanatory models that put the largest part of the responsibility for managing, controlling and explaining emotion on the individual without addressing the social and cultural context.
함의
Implications
'병원 곳곳에 화장실과 계단통에서 조용한 울음소리가 있다. 동료, 환자, 심지어 친구까지도 어떤 붕괴도 좋은 의사가 되지 못하는 지표로 보고 있다는 인식이다.'58
‘There is muted crying in bathrooms and stairwells all over the hospitals. The perception is that colleagues, patients and even friends see any breakdown as an indicator of not being a good doctor.’58
[개인의 감정 기술과 능력에 초점을 맞춘 책무성 전략]은 개별 workplace을 형성하는 [situated inequalities과 물질적 압력을 눈에 보이지 않게 만들 수 있는 잠재력]을 가지고 있다. 감정이 개인의 것으로, 프라이버시로 정의될 때, 학생과 의사의 고립과 소진을 증가시킬 잠재력을 가지고 있다. [허용 가능한 것]의 규범을 벗어났다고 여겨지는 감정은 어딘가에 숨겨져 있을 수 있으며, '자신에 대한 통제력 확보'나 '감정을 제쳐두는' 방식으로 다뤄지게 개인에게 맡겨질 수 있다. 자신이 전문직에 들어갈 만한 가치가 있다는 것을 증명해야 한다는 엄청난 압박감 속에서, 학생들은 자신들이 환자나 절차에 대해 불편한 감정을 가지고 있다는 것을 인정하기를 두려워하고, 이러한 감정들을 '역량'이라는 망토 뒤에 숨긴다.59
Accountability strategies that centre on the emotion skills and abilities of the individual have the potential to make invisible the situated inequities and material pressures shaping individual workplaces. Emotion defined as individual and private also has the potential to add to increased student and practitioner isolation and burnout. Emotions identified as outside the norm of what is acceptable may remain hidden and be handled individually by ‘getting control of oneself’ or ‘putting feelings aside’. Under great pressure to prove themselves worthy of entering the profession, students are afraid to admit that they have uncomfortable feelings about patients or procedures and hide these feelings behind a cloak of competence.59
한 학생은 이런 의견을 표현했다: '그런 감정들은 그냥 방해가 된다. 그것들은 맞지 않아, 나는 그것들을 없애는 법을 배울 거야. 아직 어떻게 해야할지는 모르겠지만, 어떤 것들은 좀 무섭기까지 하다'
One student expressed the opinion: ‘Those feelings just get in the way. They don’t fit, and I’m going to learn to get rid of them. Don’t know how yet and some of the possibilities are scary.’60
이 학생의 진술은 훈련을 통해 문제가 되는 감정을 없애기 위해 노력하면서 연민을 유지하도록 요구하는 의사들의 이중 부담double burden을 밝히고 있다.
This student’s statement identifies the double burden of medical practitioners that requires them to sustain compassion while working to rid themselves of problematic emotions through training.
EI에 대한 비판
CRITIQUE OF EI
이러한 감정 담론에 대해 의학 교육자들은 기꺼이 비판적인 반응을 보여 왔다. 루이스 외 연구진.60은 의료 교육에서 EI의 구조가 [측정할 수 없는 것을 측정하려고 시도하는 것은 아닌지]에 대해 질문을 제기하고, 현재의 모델들이 집단적이고 분산된 감정 모델보다는 개별화된 것을 영구화할 것을 제안한다.
There has been a welcome critical response by medical educators to this discourse of emotion as skills. Lewis et al.60 raise relevant questions about whether the construct of EI in medical education is attempting to measure the immeasurable and suggest that current models perpetuate individualised rather than collective and distributed models of emotion.
Lewis 등은 EI를 '집단적 분위기를 고려하며 그룹 환경에서 정서적 행동의 '지능적' 부분으로 공유하는 협력적인 분산 모델로 재배치하기 위해 노력하고 있다.60
Lewis et al. are working towards relocating EI as a collaborative distributed model which ‘takes account of group climate and shared affect as the ‘‘intelligent’’ part of emotional behaviour in group settings’.60
사회문화적 매개체로서 감정
EMOTION AS A SOCIO-CULTURAL MEDIATOR
'감정은 차이와 윤리가 소통되고 협상되고 형성되는 매개체다.'22
‘Emotions are a medium, a space in which differences and ethics are communicated, negotiated and shaped.’22
사회문화적 담론은 [감정이 사회적 교류에서 갖는 기능과 사회적, 정치적, 문화적 중재자로서의 감정의 역할]에 대한 관심을 갖게 한다. 그것은 또한 감정을 신경화학이나 심리학적 과정으로서가 아니라 실천으로서도 전조가 된다.
A socio-cultural discourse directs our attention to emotion’s function in social exchanges and its role as a social, political and cultural mediator. It also foregrounds emotion as a practice rather than as a neurochemical or psychological process.
이 마지막 관점은 학습을 위한 상황화된situated 문화적 및 맥락적 요인의 중요성을 인정한다. 이처럼 감정은 언제나 개인과 사회 사이에 매개력mediating force으로 존재한다.
This last perspective acknowledges the importance of situated cultural and contextual factors for learning. As such, emotion is always between the individual and the social as a mediating force.
사회문화적 담론은 [감정을 협력적인 것, 즉 특정한 문화적, 사회적 맥락에서 개인들에게 분포된distributed 것]으로 본다.
A socio-cultural discourse constructs emotions as collaborative and distributed among individuals in particular cultural and social contexts,
사회적, 물질적 요소들이 우리의 정체성에 미치는 영향을 인정하는 관점은 [안정된 실체가 아닌 힘으로서의 감정]을 포함한다. 예를 들어, Lewis et al.의 EI 대체 모델은 그것을 '개별적이고 정적'이 아닌 '협동적이고 역동적인' 것으로 묘사하고 있으며, 공간 뿐만 아니라 시간 차원에서 작동하는 시스템의 창발적 특성이라고 보았다.
A view that acknowledges the effects that shared social and material artefacts have on our identities, our work and relationships includes emotion as a force, not as a stable entity. For example, Lewis et al.’s alternative model of EI describes it as ‘collaborative and dynamic, rather than individual and static, [and] importantly, as an emergent property of a system operating in time, as well as space’60
이 저자들은 다음과 같이 제안한다: '이러한 환경에 대한 민감성은 어떤 임상의사가 언제 어떻게 개입하는지를 지배할 수도 있고, 또는 전문가간 팀 절차에 개입하지 않기로 결정할 수도 있다.'60
These authors suggest: ‘…such sensitivity [to environment] may govern when and how any clinician intervenes, or decides not to intervene in an interprofessional team procedure.’60
[모든 사람이 자신의 감정을 얼마나 잘 표현할 수 있는지에 관계없이 특정한 맥락에서 자신의 감정을 드러낼 수 있는 권한이 사람마다 동일하지 않다는 것]은 특정 직업적 맥락에서 감정을 실천(표현)함을 형성하는데 있어서, 권력 관계를 인식하는 것이 얼마나 중요한지를 보여준다.
That not everyone has the same permission to reveal their emotions in particular contexts, regardless of how well they may express them, suggests how important it is to recognise power relations in shaping the practice of emotion in specific professional contexts.
실천윤리로서 감정
Emotion as an Ethics of Practice
[사회적으로 의식적인 감정]이라는 담론을 지지하는 사람들은 의대 과정 내에 인문학에 대한 관심을 높이고 포함시키는 것을 긍정적으로 보고 있다. 연극과 서술을 채택하는 프로그램, 예술의 창조, 음악의 감상 등을 통해 인문계는 인지뿐만 아니라 구체적이고 감정적인 학습의 새로운 길을 열어주는 것으로 점점 더 인정받고 있다.
Proponents of a socially conscious discourse of emotion see as a positive step the increasing attention to and inclusion of the humanities within medical school curricula. Through programmes that adopt theatre and narrative, the creation of art and appreciation of music, the humanities are increasingly acknowledged as opening up new pathways for learning that are embodied and emotional, as well as cognitive.
'실천으로서의 윤리는 다층적 주관성의 모든 단계를 아우르는 복잡성의 연극이다. 이 때 인지는 감정에, 지성은 감성에 구속bind되며, 이 모든 것은 다시 사회적으로 내재된 지속가능성의 윤리와 연결시키는 것이다.'61
‘Ethics as a practice is related to a play of complexity that encompasses all levels of one’s multilayered subjectivity, binding the cognitive to the emotional, the intellectual to the affective and connecting them all to a socially embedded ethics of sustainability.’61
이러한 윤리의 관념은 이성과 감정의 이분법적 분열에 의문을 품게 함으로써, 개개인이 '감정을 담아내는 그릇'이라는 개념을 뛰어넘게 한다. 그러나, 예술과 인문학에 기반을 둔 접근방식이 전문성과 실천과 관련된 기존의 생각을 파괴하고 확장하기보다는 재생산하는 역할을 할 위험도 있다.
Such a conception of ethics move us beyond the notion of the individual as a container of emotion by asking us to question the split between emotion and rationality. However, There is a danger that, artsand humanities-based approaches may serve to reproduce rather than disrupt and expand existing ideas related to professionalism and practice.
노동으로서 감정
Emotion as Labour
의료행위의 핵심은 의사와 환자의 대화적 관계다. 인간의 고통에 관심을 기울이는 것은 정교한 기술적, 임상적 기술을 숙달하고 여러 가지 면에서 자아와 다른 것들에 대한 미묘한 협상을 필요로 한다(개인적이고 전문적인 것 둘 다). 이것은 사회문화적 관점에서 노동의 한 형태로 정의될 수 있다.
At the heart of the practice of medicine is the dialogical relationship between doctor and patient. Tending to human suffering requires mastery of sophisticated technical and clinical skills and nuanced negotiations of self and other on a number of fronts (both personal and professional). This can be defined as a form of labour from a socio-cultural perspective.
알리 호치차일드는 서비스업에서 노동의 한 형태로서 감정을 연구해 왔다.21 호치차일드는 노동자들의 정서적 경험을 형성하는 개개인이 아닌 사회적 심리적 힘에 초점을 맞추고 있다. 이런 관점에서 부정적인 반응을 억누르거나 '하고 싶은 말을 참는' 것과 같은 감정적 결정을 내리게 만드는 것은 사회정치적 환경이다.21
Arlie Hochschild has studied emotion as a form of labour in service occupations .21 Hochschild focuses on the social, not the individual, psychological forces that shape workers’ emotional experiences. In this view, it is the social and political environment that is seen to produce emotional decisions to suppress a negative reaction or to ‘bite one’s tongue’.21
사회문화적 관점은 감정을 전문적 발전의 필수적인 부분으로 간주하고 연습과 학습이 일어나는 더 큰 사회적, 정치적 맥락을 반영하는 질문의 생성을 허용한다.
Socio-cultural perspectives take account of emotion as an integral part of professional development and allow for the generation of questions that reflect the larger social and political contexts in which practice and learning occur.
함의
Implications
'우리가 감정을 (피할 수 없는 생리적 능력이나 단순한 사회적 구성으로 인식하는 정도가 아니라) 사회적, 정치적 맥락에서 형성되는constituted 것으로 볼 때, 우리는 현대의 교육 환경에서 그것을 어떻게 변화시키는데 기여하고자 하는지를 판단할 수 있다.'63
‘To the extent that we recognise emotion not as an inescapable physiological faculty or simply a social construction but as that which is constituted in social and political contexts, we can assess how we wish to contribute to transforming it in contemporary school settings.’63
감정은 의학 전문가들이 매일 수행하는 일의 중심에 있다. 이해, 성찰, 감정에 관여하고 표현하는 것은 유능한 의료행위의 중요한 측면이다.
Emotion is central to the work carried out by medical professionals daily. Understanding, reflecting on, engaging with and expressing emotion are important work-related aspects of competent practice.
의학 교육 분야의 사회 문화적인 감정 관점은 현재 저개발되어 있다.
Socio-cultural perspectives of emotion in the field of medical education are currently underdeveloped,
이 담론 속의 감정에 대한 은유는 유동성을 보여준다. 그것은 교환의 매개체, 22 통화와 역동적인 정치세력, 경이로움의 공간이다.26 아흐메드는 감정은 대상이나 대상에 감정이 상주하지 않고 순환의 효과로 만들어지는 통화currency의 형태라고 주장한다.26 아흐메드는 감정이 국가, 직업, 이익 단체와 같은 개인과 집단 사이를 여행하는 것으로 묘사하고 있다. 감정은 어떤 사람에게는 stick하지만 다른 사람에게는 stick하지 않지만, 언제나 문자 그대로 [우리의 몸과 정신에 포함 또는 배제inclusion or exclusion를 알리는 표식mark]을 남긴다.
The metaphors for emotion within this discourse reference its fluidity. It is a medium of exchange,22 a currency and dynamic political force, a space of wonder.26 Ahmed argues that emotions are a form of currency in which feelings do not reside in subjects or objects, but are produced as effects of circulation.26 She describes them as travelling between individuals and groups, such as nations, professions and interest groups, sticking to some people and not others, but always leaving impressions literally in the form of marks on our bodies and psyches that signal inclusion or exclusion.
그러한 이론적 접근은 감정을 내부 상태에 관한 것이라기 보다는 사회 생활에 관한 것으로 해석한다. 교육 및 감정 분야에서 일하는 사회과학 학자들은 감정을 '윤리적, 도덕적, 평가적, 인지적, 감정적, 선정적'을 포함하는 다중적인 측면을 가지고 있다고 본다.26 의과 교육 내에서 우리는 사회문화적 규범과 실천이 전문적 실천에서 감정에 어떤 영향을 미치는지 아직 충분히 조사하지 않았다.
Such a theoretical approach construes emotion as being about social life rather than about internal states. Social science scholars working in the field of education and emotion view emotion as having multiple aspects that include the ‘ethical, moral, evaluative, cognitive, affective and sensational’.26 Within medical education we have not yet fully examined how socio-cultural norms and practices influence emotion in professional practice.
결론
CONCLUSION
이러한 각각의 담론에서 감정은 뚜렷하게 형성되지만, 서로 완전히 고립되어 있는 것은 아니다. 이러한 담론들 중 어느 것도 그 혼자서는 감정과 관련된 전문적인 문제를 해결하기 위한 모든 서사를 제공하지 않으며, 각각은 의료 훈련에서 감정에 대한 보다 포괄적인 이해를 약속하는 방식으로 다른 사람들을 겹치고 확장시킨다.
Emotion is constituted distinctly in each of these discourses; however, they are not isolated from one another. None of these discourses alone provides an overarching grand narrative with which to resolve professional problems related to emotion, and each overlaps and extends the others in ways that hold promise for a more inclusive understanding of emotion in medical training.
,47 (1), 71-9
Discourse(s) of Emotion Within Medical Education: The Ever-Present Absence
1Standardized Patient Program Director of Research, Standardized Patient Program Affiliated Scholar, Wilson Centre for Research in Education Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada. n.mcnaughton@utoronto.ca
Context:Emotion in medical education rests between the idealised and the invisible, sitting uneasily at the intersection between objective fact and subjective values. Examining the different ways in which emotion is theorised within medical education is important for a number of reasons. Most significant is the possibility that ideas about emotion can inform a broader understanding of issues related to competency and professionalism.
Objectives:The current paper provides an overview of three prevailing discourses of emotion in medical education and the ways in which they activate particular professional expectations about emotion in practice.
Methods:A Foucauldian critical discourse analysis of the medical education literature was carried out. Keywords, phrases and metaphors related to emotion were examined for their effects in shaping medical socialisation processes.
Discussion:Despite the increasing recognition over the last two decades of emotion as 'socially constructed', the view of emotion as individualised is deeply embedded in our language and conceptual frameworks. The discourses that inform our emotion talk and practice as teachers and health care professionals are important to consider for the effects they have on competence and professional identity, as well as on practitioner and patient well-being. Expanded knowledge of how emotion is 'put to work' within medical education can make visible the invisible and unexamined emotion schemas that serve to reproduce problematic professional behaviours. For this discussion, three main discourses of emotion will be identified: a physiological discourse in which emotion is described as located inside the individual as bodily states which are universally experienced; emotion as a form of competence related to skills and abilities, and a socio-cultural discourse which calls on conceptions from the humanities and social sciences and directs our attention to emotion's function in social exchanges and its role as a social, political and cultural mediator.
지식, 스킬, 딱정벌레: 의학교육에서 개인적 경험의 프라이버시 존중(Perspect Med Educ, 2020)
Knowledge, skills and beetles: respecting the privacy of private experiences in medical education
Mario Veen · John Skelton · Anne de la Croix
도입
Introduction
모든 의대생들이 무언가가 들어 있는 상자를 가지고 있다고 가정하자: 우리는 그것을 '공감'이라고 부른다. 아무도 다른 사람의 상자를 들여다볼 수 없고, 모든 학생들은 그들 자신의 공감 경험을 보아야만 공감이 무엇인지 안다고 말한다.—여기서는 모든 사람이 각자 자기 상자에 서로 다른 것을 가지고 있을 수 있을 것이다. 심지어 그런 것이 끊임없이 변하는 것도 상상할 수 있을 것이다.
Suppose every medical student had a box with something in it: we call it ‘empathy’. No one can look into anyone else’s box, and all students say they know what empathy is only by looking at their own experience of empathy.—Here it would be quite possible for everyone to have something different in their box. One might even imagine such a thing constantly changing.
우리는 이 인용구의 'empathy'라는 단어를 'integrity', '성찰' 또는 '전문적 정체성 형성'으로 대체할 수 있다. 우리는 루드비히 비트겐슈타인의 사고실험을 거쳐 그들을 '딱정벌레'라고 부를 것이다.
We could replace the word ‘empathy’ in this quote by ‘integrity’, ‘reflection’, or ‘professional identity formation’—these are terms that have found their way into our common medical educational language yet are intensely personal and private for learners. We will call them ‘beetles’, after the thought experiment by Ludwig Wittgenstein:
모든 사람들이 무언가가 들어 있는 상자를 가지고 있다고 가정하자: 우리는 그것을 '딱정벌레'라고 부른다. 아무도 다른 사람의 상자를 들여다볼 수 없고, 모든 사람은 자기가 가진 딱정벌레만 보고 딱정벌레가 무엇인지 안다고 말한다.—여기서는 모든 사람이 자기 상자에 뭔가 다른 것을 가지고 있을 수 있을 것이다. 누군가는 그러한 것이 끊임없이 변화하는 것을 상상할 수도 있다.
Suppose everyone had a box with something in it: we call it a ‘beetle’. No one can look into anyone else’s box, and everyone says he knows what a beetle is only by looking at his beetle.—Here it would be quite possible for everyone to have something different in their box. One might even imagine such a thing constantly changing [1].
딱정벌레와 같은 비유에서 딱정벌레는 사적이고 개인적인 경험을 의미한다. 우리는 결코 '상자'에서 우리 자신의 내적 경험을 끄집어내어 비교할 수 없기 때문에, 다른 사람들이 (자신과) 같은 방식으로 공감이나 고통을 경험하는지 여부는 결코 알 수 없다.
In the beetle-in-a-box analogy, the beetle stands for private, personal experiences. We can never know if other people experience empathy or pain in the same way, because we can never take our own inner experiences out of the ‘box’, and compare them.
우리는 의학 교육에서 딱정벌레를 다루는 방법을 고려하기 전에 이 근본적인 생각을 끝까지 따를 것이다. 사적인 경험('고통', '슬픔')을 가리키는 단어의 의미는 정신적 이미지에서 찾아볼 수 없다. 우리가 무언가를 지칭할 수 있는 것이 적을수록('이것'이 바로 내가 '의자'라고 말로 의미하는 것이다) 더 복잡해진다. 자기자신의 개인적인 경험을 표현할 말을 찾는 것이 어려운 것이라면, 다른 사람의 내면에 대해서 그렇게 하는 것은 불가능한 것이다. 그러나 의학 교육은 최근 의학의 개인적이고 감정적인 측면에 더 많은 관심을 보였으며, 이에 따라 공감, 직업적 정체성 개발, 성찰과 같은 흐릿한fuzzy 개념[2]을 도입했다. 이것들은 학생 시절과 그 이후의 경력을 통해 사적인 상자에 들어 있는 딱정벌레들이다.
We shall follow this fundamental idea through, before considering ways to deal with beetles in medical education. The meanings of words that refer to private experiences (‘pain’, ‘sadness’) are not to be found in a mental image. The less we can point to something (‘THIS is what I mean when I say ‘chair”), the more complex it is to define. It is difficult to find words for our own private experiences, but it is impossible to do so for someone else’s inner world. However, medical education has recently shown more interest in the personal and emotional side of medicine, and has thereby introduced such fuzzy concepts [2] as empathy, professional identity development, and reflection. These are beetles in the individual’s box, carried through the student years and the subsequent career.
이 논의에서, 딱정벌레 문제의 핵심은, [개인적인 경험]이 실제로 존재하고, 이것이 유능한 의료 전문가로 발전하는데 중요하다는 것을 알고 있지만, 우리는 그것을 관찰하거나 측정하거나 공유할 수 없다는 것이다. 왜냐하면 양 당사자가 지적할 수 있는 외부의 referent가 없기 때문이다. 이것은 '평가'에 증명demonstration과 관찰observation을 필요로 하는 의학 커리큘럼에 딱정벌레를 통합하기 어렵다는 것을 의미한다. 의학교육에서 평가를 할 때 우리는 '지금 관찰하는 것은 '실제real thing'의 표현'이라고 가정한다. 기술은 보여질 수 있고, 지식도 보여질 수 있다. 그러나 딱정벌레는 그럴 수 없다.
For our purposes, the core of the beetle problem is that while we know private experiences exist and matter for developing into a competent healthcare professional, we cannot observe, measure, or share them, because there is no external referent that both parties can point to. This means it is hard to incorporate beetles into the medical curriculum, in which assessment requires demonstration and observation, where the assumption is that what we observe is a representation of the ‘real thing’. A skill can be demonstrated, knowledge can be demonstrated. Beetles cannot.
그러나 의학 교육에서는 의대생들이 자신의 상자를 열어, 평가를 위해 어떤 내용을 제작할 수 있는 것처럼 행동하는 경우가 많다. 그리고나면, 교육자들은 의대생들의 공감 수준[3] 또는 그들의 성찰의 질을 평가해야 한다[4]. 이를 위해 의과대학생들에게는 의학커리큘럼에서 개인적인 경험을 '공유'해달라는 요구가 점점 늘고 있다. 하지만 만약 이것이 근본적으로 불가능하다면?
In medical education, however, we often act as if medical students are able to open up their boxes and produce the contents for assessment purposes. Educators, in turn, are expected to assess medical students’ levels of empathy [3] or the quality of their reflection [4]. To this end, medical trainees are increasingly asked to ‘share’ private experiences in the medical curriculum. But what if this is fundamentally impossible?
우리는 딱정벌레를 어떻게 다루어야 할지 모른다. 동시에, 우리는 역량 기반 의학의 젊은 과학에서 이 시점에서 우리는 여전히 '우리가 가만히 서 있을 수 없는 과도기의 한가운데' 있다는 것을 인정한다.
We do not know how to deal with beetles-in-boxes. At the same time, we acknowledge that at this point in the young science of competency-based medical education we are still ‘in the midst of a transition in which we cannot remain standing ’ [5].
딱정벌레가 어떻게 의학 교육과정에 들어갔는지
How beetles entered medical curricula
지식과 기술과는 다른 동물인 딱정벌레가 공식적인 커리큘럼에 들어간 정확한 순간은 없다. 우리는 두 가지 주요 발전이 한 역할을 했다고 가정한다.
There is no exact moment when beetles, different animals from knowledge and skills, entered formal curricula. We hypothesize that two main developments played a role.
첫째, 환자의 안전과 관리 대한 초점이다. 전문직 종사자보다는 일반인(환자)에 초점을 맞춘 것은 1세기 동안, 일반 교육을 위해 듀이에서, 그리고 의학 검진을 위해 오슬러에서 있었다[7]. 1970년대부터[8] 이후, 병뿐만 아니라 환자까지도 강조하면서 인간화된 의학의 요구가 증가하고 있다[9].
First, the focus on the safety and care of the patient. A focus on the lay rather than the professional has been with us for a century, in Dewey for general education [6], and in Osler for medicine passim [7]. From the 1970s [8] onwards, there have been increasing calls for humanized medicine, with its emphasis on the patient as well as the disease [9].
케네디는 의사소통, 팀워크, 그리고 그와 같은 것들을 포함하기 위해 '역량의 개념을 확장할 필요가 있다'고 말했다. 인적 요인 및 환자 중심은 의료 서비스의 중요한 측면이 되었다 [11, 12].
Kennedy spoke of the need to ‘broaden the notion of competence’, to include such things as communication, team-work and the like [10]. Human factors and patient-centredness became important aspects of healthcare [11, 12].
둘째, 역량기반 교육을 향한 움직임과 그에 따른 OSCE 사용의 증가는 역량을 평가하는 객관적인 방법으로 여겨졌다[13–17]. 교육과학에서 얻은 통찰력은 영감으로 사용되었고 '[기술, 성격 특성, 사회 및 경제적 문제, 시민으로서의 책임 측면에서] 현대 의사의 특성과 자질에 대한 상세한 분석이 필요하다고 판단되었다'[13]. '특정 상황에서 의료행위에 필요한 기능'이라는 가이드에 따라, 의학 교육은 이전에 탐구되지 않았던 새로운 주제를 향해 문을 열었다. 유명한 CanMeds 역할은 이 발전의 파생물로 볼 수 있다.
Second, the movement toward outcome-based education, and consequently the burgeoning use of the OSCE approach offered itself explicitly as an objective way of assessing competence [13–17]. Insights from educational sciences were used as an inspiration and ‘a detailed analysis of the characteristics and qualifications of the modern physician was deemed necessary, in terms of skills, personality traits, social and economic problems, and responsibility as a citizen’ [13]. Taking guidance from ‘functions required for the practice of medicine in a specified setting’, doors opened for new and previously unexplored themes in medical education. The famous CanMeds roles can be seen as an offshoot of this development,
CanMeds 역할과 씨름하면서, 많은 이상한 손님들이 공식적인 교육과정에 들어갔다: 진실성, 전문성, 공감, 반성과, 배려심, 등등. 이러한 새로운 개념들은 자신들이 들어간 집주인의 요구 중 일부를 준수해야 했다: 딱정벌레는 즉시 측정할 수 있는 것으로 명확히 정의되었다(이는 인증 기관의 조사를 받는 시스템에서는 흔한 일이다). 이러한 개념적 명확성에 대한 요구는 빠르게 충족되었고, (딱정벌레와 같은) 공감이 가르치고 보여질 수 있는 행동의 집합인 'achievement'이나 'performance'으로 변화되었다.
In grappling with CanMeds roles, many strange guests entered the formal curriculum: integrity, professionalism, empathy, reflection, a caring attitude, and so on. These new concepts had to comply with some of the demands of their new home: beetles were immediately clearly defined to be measurable and assessable—as is customary in systems under scrutiny of accreditation bodies. This demand for conceptual clarity was quickly satisfied, transforming a beetle-like empathy into an ‘achievement’ or ‘performance’, a set of behaviours that can be taught and demonstrated, and therefore assessed and measured.
그러나, 획일적인 정의를 찾으려는 시도는 [우리가 같은 말을 사용하고 있을 때, 우리는 같은 것을 의미한다는 가정]에 달려 있다.
However, the attempt to find a uniform definition hinges on the assumption that when we are using the same word, we mean the same thing.
딱정벌레는 본디 의학을 좀더 인간적으로 만들기 위해 커리큘럼에 추가되었고, 우리는 이 노력을 칭송한다. 그러나 여기에 수반된 비용은 딱정벌레를 지식과 행동으로 전락시키는 것이었다. 감정이입이 기술이나 수행이 되면, 그것은 공감을 멈추게 된다. 성찰이 체크박스가 되는 순간, 그것은 진정한 성찰이 아니게 된다[19].
Beetles were added to the curriculum to make medicine more human, which is an endeavour we applaud. But the cost has been to reduce them to knowledge and behaviours. When empathy becomes a skill or a performance, it ceases to be empathy. The moment reflection becomes a tick-box exercise, it ceases to be authentic reflection [19].
딱정벌레의 복잡성
The complexity of beetles
비트겐슈타인의 상자속 딱정벌레 사고 실험은 주로 감각을 다루지만 논쟁은 연장될 수 있다.
Wittgenstein’s beetle-in-a-box thought experiment deals principally with sensations, but the argument can be extended,
비트겐슈타인은 특히 고통의 문제를 다룬다. 내 고통의 경험도 네 고통의 경험과 같은가?
Wittgenstein deals in particular with the question of pain. Is my experience of pain the same as yours?
첫째로, 단어는 의미가 변한다. 공동체는 그것들을 이러한 변화를 반영하고 보강하는 방식으로 단어를 사용한다. 그러므로 영어 ‘게이’는 이제 ‘쾌활함’이라는 의미에서 쓸모가 없어 보인다. '스퀘어'는 1950년대에 그랬던 것처럼 더 이상 '패셔너블'을 의미할 수 없다. 의미는 용도에 의해 결정된다. 의학 교육에서 단어들의 변화하는 의미를 연구하는 것은 우리에게 많은 것을 가르쳐 줄 수 있는데, 이것은 '역량있는competent' 의사의 인식에 관한 연구에서 알 수 있다[20]. Kripke는 Sign을 사용할 때 중요한 것은, '공동체'가 내가 그것을 제대로 사용했는지에 동의하는지 여부라고 말했다[21].
First, words change their meaning, and the community uses them in ways which reflect and reinforce these changes—or the changes die out. Thus, English ‘gay’ seems unusable now in the sense of ‘lighthearted’. ‘Square’ can no longer mean ‘unfashionable’, as it did in the 1950s. Meaning is determined by use. Studying changing meanings of words in medical education can teach us a lot, as can be seen in a study about perceptions of the ‘competent’ doctor [20]. Kripke suggests that in using a sign ,what matters is that the ‘community’ agree that I have used it successfully [21].
의학 교육은 서로 다른 문화적, 제도적 공동체로 이루어져 있으며, 의과대학에 사용되고 있는 개념들은 종종 다른 과학 공동체(의학, 심리학, 인문, 사회, 교육학)로부터 옮겨운 것이다. 개인, 공동체 및 과학 분야를 넘나드는 여행에서 단어는 새로운 의미를 얻고, 기존의 의미를 잃는다[22]. 이것은 '감정'과 같은 개념이 매우 다른 의미를 가질 수 있는 이유를 설명할 수 있다[23].
Medical education consists of different cultural and institutional communities, and concepts that are being used in medical education have often travelled from other scientific communities (medical science, psychology, humanities, social & educational sciences). In their travels across individuals, communities, and scientific disciplines, words take on meanings and lose others [22]. This might explain why a concept such as ‘emotion’ can take on very different meanings [23].
둘째, 가치와 관련된 개념은 원래 절대로 잘 정의되지 않는다. 수학의 플러스 부호는 명확하게 정의되어 있다. 예를 들어, 이것은 신체의 일부와 질병의 이름에 대한 많은 의학 용어에 대체로 해당된다.
Second, concepts associated with value are in principle never well-defined. A plus sign in mathematics is clearly defined: This is broadly true of a great many medical terms, for parts of the body and names of diseases, for example.
그러나 '공감'이라는 단어에 대해서 그러한 합의는 없다. 그러한 합의는 애초에 존재할 수 없다. 더 나아가, '공감'이라는 것이 '해야하는 일의 목록'으로만 구성되어있지 않음은 자명하다. '공감'적인 사람이 특정한 방식으로 행동할 수는 있지만, 그렇게 하지 않는 것이 의미하는 바는 여러가지가 될 수 있다.
There is no such agreement—there can be no such agreement—about a term like ‘empathy’, or ‘respect’ (for colleagues or patients, for example). And beyond that, it seems clear that ‘empathy’ does not consist of a list of things to do. An empathic person may behave in specific ways (cocks their head, listens carefully, says ‘that must be very hard for you’), but failure to do so could mean many things.
(예를 들어) 우리는 공감이 부족하다는 것을 재빨리 추론할 수도 있지만, 그것은 이 사람이 많은 젊은 학부생들이 그렇듯이 공동체가 이해할 수 있는 방식으로 '감정'의 가치나 태도를 어떻게 표현해야 하는지 모른다는 것을 의미할 수도 있다. 또 다른 가능성은 그 사람이 우리와 다른 배경을 가지고 있다는 것이며, 우리는 그들의 행동을 특정한 감정을 나타내는 것으로 해석하지 않을 수도 있다[24]. 같은 방식으로, 시니컬한 학생일지라도 시험에 합격하기 위해서는 공감하는 행동을 흉내낼 수도 있다.
We might quickly infer a lack of empathy, yet it could mean that this person does not know how to demonstrate the value or attitude of ‘empathy’ in a way that the community can understand, as might be the case in many young undergraduates. Another option is that this person has a different background to us, the perceivers, and we might not interpret their behaviour as displaying a certain emotion [24]. Equally, a cynical student may imitate empathic behaviour in order to pass exams.
'진짜' 딱정벌레와 [그 딱정벌레의 발현으로 볼 수 있는] 행동과 마커marker 사이에는 인과관계가 없다. 또한 가치나 태도를 보여주는 것으로 보여지는 것은 그것을 실제로 소유했다는 증거가 아니다.
There is no causal relationship between the ‘real’ beetle, and the set of behaviours and markers that might be seen as the manifestation of that beetle. Also, being seen as demonstrating a value or attitude is not evidence of actually possessing it.
문제는 우리가 이 두 원이 어딘가에서 중복될 수 있다는 것을 알고 있지만, 어느 학생이 어느 집합에 떨어지는지는 알 수 없다는 것이다.
The catch is that while we know that the two circles probably overlap somewhere, we are unable to tell which students fall into which area.
딱정벌레 평가 - 불가능한 모험
Assessing beetles—an impossible venture
의학 교육에서 딱정벌레의 진짜 어려움은 시험에서 온다. 지식('지식')과 기술('수행')의 측면을 가르치고 시험하기 쉽다. 그러나 추상적 개념(딱정벌레)은 일반적으로 '가치'과 연결되어 있으며, 본디 손쉽게 '정확한 정의'를 내어주지 않는다. 그런 의미에서 '잘못된' 대답과 '올바른' 대답을 구분할 정확한 방법은 없다. 그러나 마찬가지로, 의사가 음주한 상태로 수술해도 괜찮은지 물어보는 것으로는 좋은 가치(관)를 가지고 있는지 평가할 수는 없다. 학생은 어떤 대답이 필요한지 너무 잘 안다.
The real difficulty with beetles in medical education comes with testing. It is easy to teach and test aspects of knowledge (‘knowing’) and skills (‘doing’). Abstract concepts (beetles), however, are typically linked to values, and in principle not susceptible to precise definition. There is in that sense no exact way of telling a ‘right’ answer from a ‘wrong’ answer. But equally, one cannot assess whether a doctor has good values by asking them if it is okay to operate under the influence of alcohol. They are likely to know what answer is required.
문제는 시험을 목적으로 딱정벌레를 [학생들이 알고 있거나 해야 하는 것]으로 정의하는 것이다. 이렇게 함으로써 딱정벌레를 행동으로 재구성 하고, 지표indicator를 지정하여 측정할 수 있게 한다. 그러나 딱정벌레가 수행performance의 측면에서만 정의되고 평가될 때, 좀비 문제[19]는 두 가지 방법으로 발생한다.
첫째, 외부 관찰자로서, 우리는 그 행동이 진짜인지 아니면 '그런 척 하는 행동'인지 구분할 수 없다.
둘째, 이런 식으로 행동을 보는 체계에서 학생들은 단지 [행동에 대한 보상]을 받게 되며, 의미 있는 딱정벌레 교육에 실제로 참여하게 될 외적인 동기는 없다.
The risk is that, for testing purposes, a beetle is defined in terms of what students must know or do. It is reformulated as a behaviour, and indicators are specified so it becomes measurable. But when the beetle is defined and tested only in terms of performance, what we have elsewhere called the Zombie problem [19] arises in two ways.
First, as outside observers, we cannot say if the behaviour is authentic or an act, such as an actor might give.
Second, in a system that views behaviour in this way, students are rewarded for just the behaviour, and there is no extrinsic motivation to actually engage in meaningful beetle education.
그래서, 예를 들어, 우리는 학생들이 성찰을 하기를 원한다. 슬프게도, 우리는 '성찰적 좀비'만 양성할 수 있다. [19], 성찰적 좀비는 실제로 성찰을 하지 않고도 성찰적인 사람의 모든 외적인 특징을 보여주는 학생이다. 성찰 모형에 대한 지식이 적용된 성찰 에세이를 쓰는 학생의 능력은 실제 성찰을 보장하지 않는다. 그것은 단지 그들이 성찰적 에세이를 잘 쓴다는 것을 의미한다: 상자가 있고, 그 상자 속에는 성찰이이 일어날 수 있는 공간이 있지만, 우리는 그 안에 딱정벌레가 있는지, 혹은 그 어떤 다른 것을 포함하고 있는지 모른다.
So, for example, we want students to reflect. Sadly, we can easily posit a ‘reflective zombie’ [19], a student showing all the outer traits of a reflective person without having actually reflected. A student’s ability to write a reflective essay in which knowledge of reflection models has been applied does not guarantee actual reflection. It just means they are good at writing a reflective essay: there is a box, a space in which reflection could take place, but we do not know if there is a beetle in there, or if it contains anything at all.
우리가 전통적으로 딱정벌레를 평가하는 방법은 표상representation 모델을 사용하는 것이다. 이 모델에서 언어와 행동은 사람들의 내적 삶[26]에서 실제로 일어나고 있는 일을 나타내는 것으로 보인다. 우리는 학생들의 머리와 마음 속을 직접 들여다볼 수 없다는 것을 알고 있다. 다만 (논리적으로) 우리는 행동을 관찰할 수 있을 뿐이라고 귀결된다.
The way we traditionally assess beetles is with the model of representation. In this model, language and action are seen as a representation of what is actually going on in people’s inner lives[26]. We recognize that we cannot look directly inside students’ heads and hearts. But what we can observe, the logic goes, is their behaviour:
우리는 교육자들이 학생이 하는 것과 말하는 것을 해석하기를 기대하며, 교육자들이 이로서 [학생의 딱정벌레]를 판단내리는 방식으로 해석하기를 기대한다. 이 표상적representational 모델은 비판을 받았으나, 여전히 의학 교육에서 우세한 모델이다. 우리는 이 모델을 버릴 때가 되었다고 믿는다.
We expect educators to interpret what a student does and says, and we expect them to translate this to a judgment of the student’s beetle . This representational model has been criticized [1, 27, 28] but is still the dominant model in medical education. We believe it is time to leave this model behind.
우리는 상자 속의 딱정벌레가 어떻게 생겼는지를 보여주는 행동적, 물리적 표지에 동의할 수 있고, 학생에게 그들 자신의 딱정벌레에 대한 점수를 스스로 보고하도록 요청할 수 있지만, 이것은 우리에게 딱정벌레 자체에 대한 어떤 것도 말해주지 않는다.
We can agree on the behavioural and physical markers of what we think a beetle in a box looks like, and we can ask people to self-report a score of their own beetle—but that does not tell us anything about the beetle itself.
앞으로 갈 길
The way forward
평가: 딱정벌레의 사생활 존중
Assessment: respect the privacy of the beetle
어떻게 평가할 것인가?
how will we assess this?
1. '우리는 이것을 평가하고 싶은가? 만약 그렇다면 왜인가?' 의도된 평가가 정말로 역량 개발에 기여하고 있는가? 이것은 커리큘럼에 중요하지만 평가하기에 유익하거나 해롭지는 않은 부분이 있을 가능성을 열어준다.
1. ‘Do we want to assess this, and, if so, why?’ Does the intended assessment truly contribute to competency development? This opens up the possibility that there may be parts of the curriculum which are important, but not beneficial or even harmful to assess.
2. '이것 평가 가능할까?' 만약 어떤 것이 객관적으로 측정될 수 없고, 우리가 어쨌든 평가의 형태를 적용한다면, 우리는 실제로 평가되고 있는 것에 대해 생각할 필요가 있다.
2. ‘Is it possible to assess this?’ If something cannot be objectively measured, and we apply a form of assessment anyway, then we need to think about what is actually being assessed.
3. '이 현상의 어느 측면을 평가하며, 어떻게 평가하는가?' 여기서 평가 방법은 평가 대상과 일치해야 한다.
3. ‘Which aspect of this phenomenon do we assess, and how?’ Here the assessment method should fit what is being assessed.
딱정벌레에 대한 객관적인 평가는 근본적으로 불가능하다. 왜냐하면 그것은 외부적인 기준을 필요로 하기 때문이다. 표준화가 항상 가능한 것은 아니다: 예를 들어 [표준화된 시험에서의 수행]을 가지고 [의사가 실제 환경에서 어떻게 수행할지]를 추론하는 것은 현명하지 못하다[29, 30]. 왜냐하면 '실제 세계는 비표준화되어 있고, 더 중요한 것은, 표준화를 시도하는 것은 평가를 하찮게trivialize 할 것이기 때문이다.' [31].
Objective assessment of beetles is fundamentally impossible, because it requires an external standard. Standardization is not always possible: extrapolating, for example, how a doctor performs in a real-world environment from performance in a standardized test is unwise [29, 30], because: ‘The real world is non-standardized and haphazard, and, more importantly, any attempt at standardization will only trivialize the assessment’ [31].
인간으로서 우리는 항상 서로에 대해 의견과 판단을 형성한다. 주관적 평가는 평가자의 경험이 방정식의 필수적인 부분임을 의미한다[30].교육자는 [자신의 딱정벌레]를 도구로 사용함으로써, (피평가자와의) 대화 속에서 어떻게 공명resonate하는지 인식함으로써, 학생이 '공감'적으로 보이는지에 대한 자신의 생각을 형성할 수 있다. 또는 우리는 환자의 피드백과 그들의 공감 경험을 (모크) 상담에서 살펴볼 수도 있다.
As human beings, we form opinions and judgments of each other all the time. Subjective assessment means that the assessor’s experience is a necessary part of the equation [30]. An educator might form an idea of whether a student comes across as empathic by being aware how their own beetle ‘resonates’ in the conversation, using themselves as an instrument. Or we might look at patient feedback and their experience of empathy in a (mock) consultation.
우리는 평가에 대한 현상학적 접근을 제안하고 있는데, 이는 객관적 평가가 아닌 평가자의 경험이 기준이라는 것을 의미한다. 이런 종류의 평가는 딱정벌레에 대한 부당한 주장pretence을 하지 않는 한 매우 유용할 수 있다(예: '이 사람은 성찰능력이 없다' 또는 '이 사람은 공감능력이 없다'). 그것은 또한 우리가 평가자마다 같은 사람에 대한 다른 평가를 가질 수 있다는 것을 받아들여야 한다는 것을 의미한다. 이러한 경우, (프로그램 평가나 전체적인 평가와 같은) 평가가 논리적이다[30].
We are proposing a phenomenological approach to assessment, which means that the experience of the assessor, rather than an objective assessment, is the criterion. This kind of assessment can be very useful, as long as no pretences are made about the beetle (e.g., ‘this person cannot reflect’, or ‘this person is not empathic’). It also means that we have to accept that different assessors can have different assessments of the same person. This makes other forms of assessment more logical, such as programmatic assessment or holistic assessment [30].
이러한 유형의 평가는 '평가도구'가 교사의 경험이기 때문에 교사 연수를 필요로 한다. 평가자 훈련은 평가자로서 자신의 한계를 인식하고 반성하며, 항상 편견을 갖는 것에 초점을 맞출 것이다. 진정한 전문직 종사자들은 자기 자신의 주관성과 잠재적 편견을 성찰하고 인식할 것이기 때문에 수준 높은 교육자들은 수준 높은 교육자들은 고품질의 판단을 내릴 것이다.
This type of assessment requires teacher training, as the assessment ‘instrument’ is the teacher’s experience. This kind of training would focus on being aware of and reflecting on one’s limits as an assessor, and being aware of always being biased. High-quality educators will form high-quality judgments, as true professionals will be reflective and aware of their own subjectivity and potential bias.
정의: 딱정벌레 모양의 구멍
Definitions: beetle-shaped holes
(그들의 감정[30]을 포함하여) 미래의 의사에 대한 현대의학의 whole person 관점은 환영할 만하다. 그러나 정확한 정의에 도달하려는 어떤 시도도 잘못된 것이다. (딱정벌레를) '정확한' 정의로 조작화하려는 것은 복잡한 개념의 본질을 상실할 위험이 있다.
The contemporary focus on the whole person of the future doctor, including their emotions [30], is welcome. However, any attempt to reach precise definitions is misguided. Operationalizing these definitions risks causing complex concepts to lose their essence.
딱정벌레를 정의해야 할 것으로 보기보다는, 우리는 딱정벌레를 공동체 사이를 여행하고, 특정한 의미를 떠맡고, 다른 것을 잃고, 개별적인 해석의 여지를 남기는 흐릿한fuzzy 개념[2]으로 볼 수도 있다.
Rather than seeing beetles as something to be defined, we might see them as fuzzy concepts [2] that travel between communities, take on certain meanings, lose others, and leave room for individual interpretation.
특정 개념이 무엇을 의미하는지 임시적으로 그리고 부분적으로 정의하기 위해 더듬는 동안, 우리는 그것이 무엇을 할 수 있는지에 대한 통찰력을 얻는다. (부분적이고 임시적인 정의를 찾고자) 더듬는 것 자체가 가치있는 작업이다. 심지어 끈질기게 확립된 그러한 개념조차 그 개념의 잠재적 상호주관성 때문에 가치가 있다. 누구에게나 같은 의미를 지니기 때문이 아니라, 그렇지 않기 때문에 가치가 있는 것이다.
‘While groping to define, provisionally and partly, what a particular concept may mean, we gain insight into what it can do. It is in the groping that the valuable work lies. [. . . ] Even those concepts that are tenuously established [are valuable] primarily because of their potential intersubjectivity. Not because they mean the same thing for everyone, but because they don’t’ [22].
사회학과 학생들이 말하자면 '자본주의'나 '아노미'나 '기분' 같은 추상적인 개념을 가지고 작업을 해야 하는 것처럼, 의대생들은 '환자 중심', '팀워크', '반성'과 같은 용어를 다루는 법을 배워야 할 것이다. 이것이 어렵다고 생각했던 유일한 이유는 의학 교육이 과학을, 특히 '팩트'에 관한 과학을 다룬다고 인식되었기 때문이다. 그러나 사회과학과 인문학에서 어려운 개념에 대한 논의는 일상적인 일이다.
Just as students of sociology, say, have to work with abstract concepts such as ‘capitalism’ or ‘anomie’ or ‘ascribed status’, so medical students will need to learn to handle terms like ‘patient-centredness’, ‘teamwork’, and ‘reflection’. The only reason anyone ever thought this was hard is because medical education is perceived as involving science, and science is about facts. The discussion of difficult concepts is, however, routine in social sciences and humanities.
이것은 쉽지 않다. 의학교육 시스템이 그렇듯이, 목표는 여전히 '옳은 것'에서 '잘못된 것'을 가려내고, 최선의 행동 방침을 결정하기 위해 증거를 사용하는 것 등을 목표로 한다. 의학(교육)의 전통에서 모든 개념은 잘 정의되어 있으며, 그렇지 않은 개념은 과학적인 개념이 아니므로 적어도 전문적professionally으로는 신경 쓸 가치가 없는 것처럼 여겨졌다. 이는 (역설적으로) 교육 개발자, 교사, 학생들이 모호성을 다루는 법을 배울 필요가 있다는 것을 의미한다. 사회과학과 인문과학은 이런 점에서 의학을 제공할 것이 많다.
This is not easy, as in the medical education system the aim is still to sort out what is ‘correct’ from what is ‘incorrect’, to use evidence to decide on the best course of action, and so on. In this tradition, every concept is well-defined, and if it is not, it is not a scientific concept and therefore not worth bothering with, at least professionally. This means educational developers, teachers, and students need to learn how to deal with ambiguity. Social science and the humanities have a lot to offer medical education in this respect.
역량 프레임워크: 한계 인정
Competency frameworks: acknowledge the limits
그 중심적인 난제는 간단히 언급되어 있다. 무엇인가를 의학교육과정에 포함시킬지를 결정하는 조건이 '객관적으로 측정가능한지'라면, 커리큘럼에 딱정벌레가 설 자리는 없을 것이며, 우리는 오직 지식과 기술에만 집중해야 할 것이다. 그러나 우리는 심대히 중요하지만, 평가는 커녕, 명확하게 정의조차 할 수 없는 것(integrity, value, 자기 인식 등등)이 있다는 것을 알고 있다.
The central conundrum is simply stated. If the condition for inclusion in the medical curriculum is that something is objectively measurable, then indeed beetles have no place in the curriculum, and we should focus only on knowledge and skills. Yet we know that there are things (integrity, values, self-awareness, to name but a few) which matter profoundly but which cannot be clearly defined, let alone assessed.
역량 프레임워크는 측정할 수 있는 지식과 기술의 측면을 규정한다. 그러나 시험이라는 조건에서의 측정 행위와 이에 대해 분명히 해야 할 것은 의사가 오더를 내릴 수 있는지 여부를 측정하는 것이다.
Competency frameworks set out aspects of knowledge and skills which can be measured. The act of measurement under examination conditions, however, and we should be clear about this, is a measurement of whether a doctor can perform to order.
대부분의 학생들은 표준화된 환자와 대면하여 OSCE에서 공감을 수행할perform 수 있다. 그러나 이것이 그들을 공감하게 하지는 않는다.
most students can perform empathy in an OSCE, face to face with a standardized patient: but this does not make them empathic.
딱정벌레에 대한 평가, 아니 [딱정벌레와 결부된 성과performance에 대한 평가]가 조금이라도 시도되려면 잘 훈련된 사람들이 필요하다. 그리고 학생들에 관한 한, 어떤 종류의 '애니멀' 딱정벌레인지 배우고 그들이 개인적으로 가지고 다니는 딱정벌레를 탐구하는 것은 학생들이 동료나 멘토들과 함께 성찰하고, 탐구하고, 대화할 수 있는 공간을 필요로 할 것이다.
Assessment of beetles, or rather, assessments of performances that we associate with beetles, requires well-trained people if it is to be attempted at all. And as far as students are concerned, learning what kind of ‘animals’ beetles are, and exploring the beetles they personally carry with them, might require space for students to reflect, explore and talk to peers and mentors.
평가와 측정은 그 자체로 목표가 되어서는 안 되며, 보다 높은 목적을 달성해야 한다.
Assessment and measurement should not be goals in themselves, but serve a higher purpose:
평가는 교육적 가치를 가질 수 있다. 그러나 많은 경우 평가는 역효과를 낳을 수 있고 학생들을 피상적인 학습행위로 이끌 수 있다.
Assessments can have educational value—people learn from being assessed, learn from feedback, and from mapping their progress. But in many cases, assessment can be counterproductive and guide students towards superficial learning behaviour.
상자속 딱정벌레 사고실험의 본질은 딱정벌레 '그 자체'는 공공 언어public language에서 [아주 잘 정의된 역할]을 할 수 없다는 것이다. 우리는 우리가말하고 있는 것을 대충 알고 있다고 짐작하겠지만, '정직'에 대한 당신의 개념은 나와 다를 수 있다. 그러므로 우리는 딱정벌레의 사생활을 존중해야 한다. 프라이버시에 대한 정의 중 하나는 '각 개인의 경험과 생각을 즉시 그 사람에게 알리는 기능'이다[34]. 딱정벌레의 비유는 교육자로서 우리가 그러한 내부 국가들에 즉시 접근할 수 없다는 것을 보여준다. 학생들 자신만이 한다.
The essence of the beetle-in-a-box thought experiment is that the beetle ‘itself’ cannot play any very well-defined role in public language. Your concept of ‘honesty’ may be different from mine, even if we suspect we know roughly what we are talking about. We should, therefore, respect the privacy of the beetle. One definition of privacy [33] is ‘the feature which leaves each person’s experiences and thoughts as known immediately to that person’ [34]. The beetle analogy shows that we as educators have no immediate access to those inner states. Only the students themselves do.
결론
Conclusion
지식과 기술 다음으로, 딱정벌레는 의학 교육에 중요한 역할을 한다. 딱정벌레는 외부 세계에 접근할 수 없는 사적인 경험이지만, 개인이 세상을 경험하는 방식과 따라서 그들이 배우고 발전하는 방식의 중요한 부분이다. 딱정벌레의 문제는, 우리가 딱정벌레를 기술로서 취급하고, 학생들에게 (실제로는 불가능한) 시연demonstration을 요청하고, 우리는 그것들을 측정하려고 노력하는 것이, 피상적인 '좀비' 학습 행동을 자극한다는 것이다.
Next to knowledge and skills, beetles-in-boxes play an important part in medical education. Beetles are private experiences that are inaccessible to the outer world, but are an important part of the way individuals experience the world and thus the way in which they learn and develop. The problem with beetles is that we treat them as skills and ask students to demonstrate them (which is impossible), we try to measure them (which is impossible), and thereby we stimulate superficial ‘zombie’ learning behaviour.
우리는 의료 교육자들이 그것을 보고 측정하거나 평가하려 하지 않음으로써 개인 경험의 프라이버시를 존중할 것을 요구한다. 그렇게 하기보다는, 딱정벌레를 잡고 있는 사람, 의대생에게 초점을 옮기자고 제안한다.
We call for medical educators to respect the privacy of private experiences by not trying to see, measure, or assess them. Rather than doing so, we propose to shift the focus to the person holding the beetle, the medical student.
20. Whitehead CR, Austin Z, Hodges BD. Continuing the competency debate: reflections on definitions and discourses. AdvHealthSci Educ. 2013;18:123–7. XXX
23. McNaughton N. Discourse(s) of emotion within medical education: the ever-present absence. Med Educ. 2013;47:71–9.
30. Schuwirth L, Ash J. Assessing tomorrow’s learners: In competency-based education only a radically different holistic method of assessment will work. Six things we could forget. MedTeach. 2013;35:555–9.
[Online ahead of print]
Knowledge, Skills and Beetles: Respecting the Privacy of Private Experiences in Medical Education
In medical education, we assess knowledge, skills, and a third category usually called values or attitudes. While knowledge and skills can be assessed, this third category consists of 'beetles', after the philosopher Wittgenstein's beetle-in-a-box analogy. The analogy demonstrates that private experiences such as pain and hunger are inaccessible to the public, and that we cannot know whether we all experience them in the same way. In this paper, we claim that unlike knowledge and skills, private experiences of medical learners cannot be objectively measured, assessed, or directly accessed in any way. If we try to do this anyway, we risk reducing them to knowledge and skills-thereby making curriculum design choices based on what can be measured rather than what is valuable education, and rewarding zombie-like student behaviour rather than authentic development. We conclude that we should no longer use the model of representation to assess attitudes, emotions, empathy, and other beetles. This amounts to, first of all, shutting the door on objective assessment and investing in professional subjective assessment. Second, changing the way we define 'fuzzy concepts' in medical education, and stimulating conversations about ambiguous terms. Third, we should reframe the way we think of competences and realize only part of professional development lies within our control. Most importantly, we should stop attempting to measure the unmeasurable, as it might have negative consequences.
Keywords:Assessment; Communication; Competency based education; Empathy; Philosophy; Professionalism.
Christina St-Onge1 • Meredith Young2 • Kevin W. Eva3 • Brian Hodges4
도입
Introduction
타당도는 일반적으로 측정할 개념, (개발된) 평가 도구, (사용된) 분석 접근법, 평가 결과의 선택에 필요한 정보를 주는 퀄리티 평가의 표지로 간주된다(AERA 등 1999). 즉, '타당도는 평가의 필수불가결한 것이다. 왜냐하면 타당도가 없다면 의학교육에서 평가는 아무런 의미가 없기 때문이다' (Downing 2003). 이와 같이 타당도는 흔히 도구의 퀄리티를 '증명attest'하고 입학부터 실무에 이르기까지 높은 보건 전문직 교육에서 고부담 평가의 사용을 정당화하기 위해 사용된다. 다른 말로 하자면, [무엇이 타당한가]에 대한 결정이 개인과 사회에 영향을 미치기 때문에, 타당도는 다른 사람들에게 특정한 도구, 분석 절차 또는 시험 점수가 높은 품질 기준을 충족한다는 것을 확신시키기 위해 사용되는 수사학적 '갓-텀'(Lingard 2009)이 되었다.
Validity is generally considered a beacon of quality assessment, informing the choice of concepts measured, assessment tools developed, analytic approaches used, and interpretation of assessment results (AERA et al. 1999). That is, ‘‘Validity is the sine qua non of assessment, as without evidence of validity, assessments in medical education have little or no intrinsic meaning’’ (Downing 2003). As such, validity is often used to ‘attest’ to the quality of tools and to justify the use of assessments in health professions education where stakes are high from admissions to entry into practice. In other words, because decisions about what is considered valid impact upon individuals and society, validity has become a ‘god term’ (Lingard 2009) that is used rhetorically to convince others that particular instruments, analytic procedures, or test scores collected meet high standards of quality.
그러나 최근 몇 가지 리뷰에서 문서화한 바와 같이, HPE(Health Professions Education) 내에서 '타당도'이라는 용어를 사용하는 방식에는 명백한 불일치가 있다(Cook et al. 2013, 2014). 그러한 가변성을 지적하는 작가는 일반적으로 (적어도 암묵적으로) 이러한 불일치의 원인이 현대 이론과 타당도에 대한 접근에 관한 무지에 의한 것이라고 가정한다. 그러나 타당화 관행의 variability는, 부분적으로, 서로 다른 영역의 사람들에게, 서로 다른 방식으로 가치를 제공하는, 서로 다른 타당도의 개념화로부터 발생할 수 있다고 생각할 수 있다.
There is clear inconsistency, however, in the way the term ‘validity’ is used within Health Professions Education (HPE), as documented by several recent reviews (Cook et al. 2013, 2014). Authors who point to such variability commonly assume (at least implicitly) that it is driven by ignorance regarding modern theories and approaches to validity. It is conceivable, however, that the variability in validation practices could arise, in part, from different conceptualizations of validity that provide value to those who work in health professions education in different ways.
HPE은 교육심리학, 측정학, 사회학, 실험심리학 등 여러 분야의 전문가로부터 지속적으로 정보가 유입되는 응용분야로, 이 모두가 분야의 방법론적, 개념적 풍요로움에 기여한다. 그러나 이러한 '풍요로움richness'은 [타당도의 상이한 개념화]를 유발하고, 이는 서로 다른 우선순위로 이어질 수 있으며, 따라서 혼동, 오해, 갈등을 유발할 수 있는 다수의 해석과 이해의 원인이 될 수 있다.
Health professions education is an applied field full of practitioners that is continuously informed by many different disciplines, including educational psychology, measurement, sociology and experimental psychology, all of which contribute to the methodological and conceptual richness of the field. This ‘richness’, however, may lead to different priorities that are supported by differing conceptualizations of validity, thereby generating multiple interpretations and understandings that have the potential to create confusion, miscommunication, and conflict.
타당도에 대한 [묵시적 개념화]와 [상이한 개념화]의 공존은 문제가 있다. 왜냐하면 HPE에서 매일 중대한 결정이 평가 점수의 '퀄리티'에 크게 의존하는 방식으로 이뤄지기 때문이다(예: 개인이 자신이 선택한 직업에 접근할 수 있는 능력, 잘못 인지된 상황에 직면했을 때 법적 상환legal recourse, 그리고 가장 일반적으로 그리고 중요한 것은 환자가 받는 치료의 질이다.) 평가 점수의 '방어가능성'과 그러한 점수의 '정확성'에 대한 개념은 생산된 점수의 타당도에 관한 논쟁에 강하게 놓여 있다.
The co-existence of implicit and different conceptualizations of validity is problematic because important decisions are made every day within the health professions that rely heavily on the ‘quality’ of assessment scores (e.g., individuals’ access to a career of their choice, legal recourse when faced with perceived fault, and most generally and importantly, the quality of care received by patients). Notions of the ‘defensibility’ of assessment scores and the ‘accuracy’ of such scores rest strongly on arguments regarding the validity of the scores produced.
목적
Purpose
이 연구의 주된 목적은 담화 분석을 사용하여 보건 직업 교육에서 '타당도'이라는 용어가 사용되는 다양한 방법을 식별하는 것이었다.
The primary purpose of this study was to use discourse analysis to identify the different ways in which the term ‘validity’ is used within health professions education.
방법
Method
설계
Design
우리의 연구는 담론 이론(Mills 2004)에 기반을 두고 있으며, 따라서 담론 분석의 방법론을 채택하고 있다. 우리의 접근방식은 주로 Hodges 등이 '경험적 담화 분석'라고 명명한 것을 따르고 있으며, 보건 직업 교육 문헌의 텍스트와 언어로 타당도가 구성되는 방법에 일차적으로 초점을 맞추고 있다.
Our research is based on discourse theory (Mills 2004) and thus employs a methodology of Discourse Analysis. Our approach is primarily what Hodges et al. (2008) have labeled ‘empirical discourse analysis’—having a primary focus on ways validity is constructed in text and language in the health professions education literature.
자료(아카이브)
Data (Archive)
토론 분석은 관심의 소지를 식별하기 위해 분석되는 텍스트 및 기타 자료의 식별에서 시작된다(Hodges et al. 2008). 우리는 주로 우리의 연구 기록보관을 보건직 교육원들로 제한했다. 그 목적은 그 분야에서 일하는 사람들에 의해 어떻게 그 건축물이 변형적으로 사용되는지를 탐구하는 것이기 때문이다.
Discourse analysis begins with identification of an archive—the textual and other materials that are analyzed to identify discourses of interest (Hodges et al. 2008). We predominantly restricted our study archive to sources from health professions education because the purpose was to explore how the construct is variably used by people working in that field.
이 연구를 위해 조립된 기록보관소는 4단계 과정으로 구축되었으며, 타당도와 평가를 주제로 한 영어와 프랑스어 출판된 동료 검토 논문과 책으로 구성되어 있다.
The archive assembled for this research was constructed in a four-step process and is comprised of English and French published peer-reviewed articles and books on the topic of validity and assessment.
1단계 본 논문의 모든 저자들은 프레임 평가 관행 측면에서 '매우 중요'하다고 간주한 개인 소장품으로부터 보건 전문직 교육 분야의 타당도와 평가에 관한 5개 내지 6개의 주요 논문을 식별했다. 한 작가(CSO)는 이 텍스트를 비판적으로 검토하여 새로운 언어와 타당도에 대한 개념을 식별하였다.
Step 1 All authors of this paper identified five to six key papers on validity and assessment in the field of health professions education fromtheir personal collection that they considered to be ‘very important’ in terms of framing assessment practices. One author (CSO) reviewed the texts critically to identify emerging language and concepts about validity.
2단계 이 문서 모음에서 인용한 내용은 이차 출처를 포함하도록 아카이브를 확장하기 위해 검토되었다. 한 작가(CSO)는 새롭게 대두되는 담론을 추가로 파악하기 위해 이 텍스트들을 검토했다.
Step 2 The references from this collection of papers were examined to expand the archive to include secondary sources. One author (CSO) reviewed these texts in order to further identify emerging discourses.
3단계 PubMED, ERIC 및 PsycINFO/PsycLit을 사용하여 보건 전문직 교육 문헌에 대한 보다 공식적인 검색을 포함하며, 학술적 사서의 도움을 채용했다. 이 검색의 목표는 1995년에서 2013년 사이에 건강 전문직 교육에서 '평가 타당도'을 주제로 출판된 더 큰 기사의 집합을 확인하는 것이었다. 검토는 전통적인 체계적 검토를 수행하기 보다는 보관소의 폭과 범위를 증가시킬 목적으로 잘린truncated 키워드를 사용하여 실시되었다(valid*, assess*). 즉, 목표는 이 검색으로 포괄적이거나 매우 정밀한 포함/제외 기준을 설정하는 것이 아니라 가능한 한 많은 타당도 개념화를 포함하는 것이었다. 기록보관소에 대해 고려되기 위해서, 기사는 보건 직업 교육 분야에서 평가의 맥락에서 타당도 문제를 다루어야 했다.
Step 3 Involved a more formal search of health professions education literature using PubMED, ERIC, and PsycINFO/PsycLit, employing the assistance of an academic librarian. The goal of this search was to identify a larger set of articles, published between 1995 and 2013, on the topic of ‘validity of assessment’ in health professions education. The review was conducted using the truncated key words valid* and assess* with the intention of increasing the breadth and coverage of the archive rather than with the aim of undertaking a traditional systematic review. In other words, the goal was not to be comprehensive with this search or to set very precise inclusion/exclusion criteria, but was to be as inclusive of as many validity conceptualizations as possible. To be considered for the archive, an article had to address the topic of validity in the context of assessment in the field of health professions education.
4단계 위에서 언급한 검색은 2013년부터 2015년까지 주요 작성자가 설정한 콘텐츠 경고 표에 의해 플래그가 표시된 텍스트로 보완되었다. 한 저자(CSO)는 이러한 목표를 염두에 두고 논문의 포함/제외를 평가하기 위해 문헌검색에서 검색된 모든 제목과 추상화를 검토하였다.
Step 4 The above mentioned search was complemented by texts from 2013 to 2015 flagged by Table of Content alerts set by the principal author. One author (CSO) reviewed all titles and abstracts retrieved from the literature search to assess the inclusion/exclusion of papers with these goals in mind.
절차
Procedure
분석
Analysis
분석은 반복적이었으며, 연속적인 각 단계에서 순차적으로 담론표를 작성했고, 팀의 집단적 및 개별적 전문지식(추후 기술)과 그 결과로 나타나는 내재적 관점을 통해 이를 알게 되었다. 담론의 요소(핵심어, 개념, 주장, 관련 개인과 제도)가 더욱 명확하게 규명됨에 따라 결국 표 1의 구축으로 이어지는 패턴으로 분류되었다.
The analysis was iterative, building the discourse table sequentially at each successive stage and it was informed by the team’s collective and individual expertise (that are subsequently described) and the inherent perspectives that result. As elements of discourse (key words, concepts, arguments, associated individuals and institutions) were more clearly identified, they were sorted into patterns that eventually led to the construction of Table 1.
결과
Results
연구된 기록 자료에서 세 가지 다른 담론이 확인되었다.
(1) 시험 특성으로서의 타당도,
(2) 논쟁 기반 증거-체인으로서의 타당도,
(3) 사회적 의무로서의 타당도.
Three different discourses were identified in the archival materials studied: (1) Validity as a test characteristic, (2) Validity as an argument-based evidentiary-chain and (3) Validity as a social imperative.
시험 특성으로서의 타당도는 타당도가 도구의 본질적 속성이며 따라서 내용 및 문맥에 독립적인 것으로 보일 수 있다는 개념에 의해 뒷받침된다.
Validity as a test characteristic is underpinned by the notion that validity is an intrinsic property of a tool and could, therefore, be seen as content and context independent.
주장에 기초한 증거-체인으로서의 타당도는 타당도가 도구/장치에 속하지belong 않도록 지속적인 분석을 통해 평가 결과의 해석을 지원하는 것의 중요성을 강조한다. 프로세스 기반 검증(타당도란 목표가 아니라 여정)이 강조된다.
Validity as an argument-based evidentiary-chain emphasizes the importance of supporting the interpretation of assessment results with ongoing analysis such that validity does not belong to the tool/instrument itself. The emphasis is on process-based validation (emphasizing the journey instead of the goal).
사회적 의무로서의 타당도는 긍정적이든 부정적이든 개인과 사회 수준에서 평가의 결과를 예견한다.
Validity as a social imperative foregrounds the consequences of assessment at the individual and societal levels, be they positive or negative.
시험의 특성으로서 타당도
Validity as a test characteristic
이 담화에서 타당도는 흔히 "시험이 실제로 측정하고자 하는 것을 측정하는 정도"로 정의된다(Anastasi 1988, 페이지 28). 문자 그대로 액면가로서 그러한 정의는 타당도 주장을 도구 자체의 특성(즉, 본질적으로 도구에 속하는 것)에 대한 진술로 취급한다. 이와 같이 도구에 내재된 속성으로서의 타당도는 내용, 컨텍스트, 시간이 바뀌어도 유지된다. 종종 이 담론과 연관되어 발견되는 개념은 "시험은 상관관계가 있는 모든 것에 대해 타당valid하다"(길포드 1946, 페이지 429)라는 문장에서 예시된 개념이다. 이 담론을 사용하여 도구가 '타당한' 것으로 '낙인 찍히면' 그 도구는 그 품질을 무한정 유지하는 것처럼 취급된다.
In this discourse, validity is often defined as ‘‘the degree to which the test actually measures what it purports to measure’’ (Anastasi 1988, p. 28). Taken literally and at face value, such a definition treats claims of validity as statements about a characteristic of the tool itself (i.e., something that inherently belongs to the tool). As such, validity as a property inherent in a tool spans domains of content, context, and time. Often found associated with this discourse is a concept illustrated by the statement: ‘‘a test is valid for anything with which it correlates’’ (Guilford 1946, p. 429). Once a tool is branded as ‘valid’ using this discourse, the tool is treated as though it retains that quality indefinitely.
따라서 시험 특성으로서의 타당도는 그 도구를 승인해주는 '금도장'으로 생각할 수 있다. 예를 들어, 이 담론을 사용하는 사람들은 MCQ(다중 선택 질문)가 지식의 타당한 척도라고 말할 수 있다. 따라서 그들은 필기 시험을 만들 때 주어진 형식을 따르는 것만으로도 방어될 수 있다. 다음은 타당도의 '골드 씰'을 달성한 것으로 프레임된 도구에 대한 사례 몇 가지이다.
Validity as a test characteristic, therefore, can be thought of as a ‘gold seal of approval’. As an example, those employing this discourse would say that Multiple Choice Questions (MCQs) are a valid measure of knowledge, full stop. Thus they can be defended as the goto format when creating written exams. Here are a few examples of claims about tools that are framed as having achieved a ‘gold seal’ of validity:
증거는 JSE[Jefferson Scale of Empathy]가 의료 분야에서 의대생과 의사에게 타당valid하고 신뢰할 수 있는 공감의 척도가 된다는 것을 보여주었다. (Van Winkle et al. 2013, 페이지 219 - 저자)
Evidence has shown the JSE [Jefferson Scale of Empathy] to be a valid and reliable measure of empathy in medical students and physicians in the context of healthcare. (Van Winkle et al. 2013, p. 219 -emphasis by authors)
타당도를 도구의 품질로 간주하는 경우, 주어진 영역(지식, 기술, 전문성 등)에 대해 [가장 타당한 것으로 보일 수 있는 하나의 우수한 도구가 있을 수 있는 가능성]이 열린다. 따라서 이러한 담론은 측정하려는 내용이나 능력과는 무관한, '최고의' 평가 도구를 식별하기 위한 탐색, '성배'를 찾기 위한 퀘스트를 가능하게 한다.
When one considers validity to be a quality of a tool, the door is opened for the possibility that for any given domain (knowledge, skills, professionalism, etc.) there could be one superior tool that could be shown to be the most valid. Thus, this discourse makes possible the quest for ‘holy grails’ of assessment, a quest to identify the ‘best’ assessment tools, independent of content or ability to-be-measured.
MCQ 테스트는 서면 평가의 가장 효율적인 형태로서, 콘텐츠의 광범위한 적용범위에 의해 신뢰성과 타당도를 갖는다. (McCoubrie 2004, 페이지 711 - 저자 강조)
MCQ testing is the most efficient formof written assessment, being both reliable and valid by broad coverage of content. (McCoubrie 2004, p. 711 -emphasis by authors)
흥미롭게도, 우리는 시험적 특징으로서의 타당도의 담론을 비판적으로 평가하는 일부 사람들은 이를 '구식', '논쟁적', '가치 결여'라고 주장한다.
Interestingly, we found that the discourse of validity as a test characteristic is judged harshly by some who argue that this view is ‘antiquated’, ‘controversial’, or ‘lacking in value’.
우리는 종종 '타당화된 도구'라는 말을 듣는다." 이 개념화는 그 도구가 타당하거나 그렇지 않다는 이분법을 암시한다. 이 견해는 부정확하다. 첫째로, 타당도는 추론의 속성이지, 기구가 아니라는 것을 기억해야 한다. 둘째, 해석의 타당도는 항상 정도의 문제다. 도구에서 얻은 점수는 기초 구조를 더 정확하거나 덜 정확하게 반영하지만 결코 완벽하지 않다. (Cook and Beckman 2006, p. 166e10)
We often read about ‘‘validated instruments.’’ This conceptualization implies a dichotomy—either the instrument is valid or it is not. This view is inaccurate. First, we must remember that validity is a property of the inference, not the instrument. Second, the validity of interpretations is always a matter of degree. An instrument’s scores will reflect the underlying construct more accurately or less accurately but never perfectly. (Cook and Beckman 2006, p. 166e10)
타당도 범주를 고려할 때, 타당도 증거는 다양한 정도까지 존재한다고 이해되지만, 평가가 '타당하다'라고 할 수 있는 threshold는 없다. (벡먼 외) 2004, 973쪽
When considering categories of validity, it is understood that validity evidence exists to various degrees, but there is no threshold at which an assessment is said to be valid. (Beckman et al. 2004, p. 973)
그러나 보건 전문직 교육 문헌에 이러한 타당도 담론이 지속적으로 존재함에 따라 '즉각적 해결책'이 필요한 개인(예: '타당한' 평가 프로그램, 도구, 접근법을 새로 만들려는 열망/지식/자원이 없는 교육자와 관리자)가 필요로하는 실용적 필요성을 충족시킬 수 있음을 시사한다. 타당도의 담론을 시험 특성으로 사용하면, 자원이나 심리학적 전문지식이 부족한 상황에서도, 퀄리티가 높다고 보고된 도구를 사용하여 평가와 관련된 과제를 극복할 수 있기 때문이다. 즉, '이미 발견된found' 해결책의 사용이 가능한 것이다.
However, the continued presence of this discourse of validity in the health professions education literature suggests that it may fill a pragmatic need for individuals who require ‘off-the-shelf solutions’ (e.g., educators and administrators who do not have the desire, knowledge, or resources to create ‘valid’ assessment programs, tools, or approaches de novo). Using the discourse of validity as a test characteristic permits the possibility of ‘found’ solutions to overcome the challenges associated with assessing students and future professionals using tools reported to be of high quality in a context of limited resources or limited psychometric expertise.
...대학 차원의 가용자원으로 타당하고 신뢰할 수 있는 역량 평가를 개발하기는 쉽지 않다.(로버트 외 2006, 저자의 542 강조)
…Developing a valid and reliable assessment of competence is not easy to achieve with the resources available at the university level. (Roberts et al. 2006, p. 542 emphasis by authors)
우리는 타당도를 시험의 내재된 특성으로 강조함으로써 다른 효과에 대해 추측할 수 있다. 시험의 불변성 속성으로서의 타당도는 평가 실무자에게 잘못된 안전의식을 심어줄 우려가 있다. 평가자는 평가도구의 '금도장gold seal'에 대해 의문을 제기하거나 다시 확인해볼 필요성을 전혀 느끼지 못할 수 있다. 예를 들어, MCQ 시험 형식을 사용하는 것은, 할라디나 등 2002년에 제시된 것과 같은 항목 작성 지침이나 MCQ가 사용되는 맥락적 성격을 고려하지 않고 '타당하다valid'(McCoubrie 2004)고 들었기 때문이다. 이런 것이 이 담론에 존재하는 사각지대의 사례이다. 마찬가지로 적절한 청사진이나 문제가 있는 시나리오에 대한 주의vigilance 없이 OSCE나 MMI와 같은 평가 접근방식을 배치하는 것을 선택하는 것은 맥락적으로 의미 있는 평가를 달성하려는 [원래 의도했던 목적]을 어렵게 만들 수 있다(Eva 및 Macala 2014). 더욱이 원래 연구한 용도 이외의 목적으로 또는 원래 맥락을 넘어서는 목적으로 시험을 사용하는 것도 (부정적) 결과를 초래할 수 있다.
We can speculate about some of the effects of emphasizing validity as a test characteristic over other discourses of validity. Validity as an immutable property of a test has the potential to create a false sense of security for assessment practitioners, who may never feel the need to question or re-evaluate an instrument’s ‘gold seal’. Using an MCQ exam format, for example, because it is said to be ‘valid’ (McCoubrie 2004) without consideration for item-writing guidelines such as those put forward in Haladyna et al. 2002), or the nature of the context in which the MCQs are used, is an example of such a blind spot. Similarly, choosing to put in place an assessment approach like OSCEs or MMIs without proper blueprinting strategies or without vigilance for problematic scenarios may defeat the intended purpose of achieving a contextually meaningful assessment (Eva and Macala 2014). Moreover, using tests beyond their original contexts or for purposes other than the originally studied uses can have consequences.
잘못된 인간에 대한 측정:
IQ 테스트가 지능을 하나의 탈맥락화된 점수로 수량화할 수 있다는 전제를 가지고 이뤄진 결과, 어떻게 새로운 맥락(이민 목적 등)에서 사용된 다음, IQ 점수에 근거하여 특정 인종-민족 집단을 '지능이 낮은 사람'으로 표기하는 등의 부적절한 결론을 도출해 왔는가.
The Mismeasure of Man:
how the IQ test, based on the premise that intelligence can be quantified in a single, decontextualized score, has been used in novel contexts (such as for immigration purposes) to draw inappropriate conclusions such as labelling of entire ethno-cultural groups as ‘less intelligent’ based on test scores.
인수 기반 증거-체인으로서의 타당도
Validity as an argument-based evidentiary-chain
이 담론을 사용할 때, 타당도는 논쟁 기반 증거-체인으로 구체화되며, "평가 결과에 할당된 의미나 해석을 뒷받침하거나 반박하기 위해 제시된 증거"로 정의된다(2003년, 페이지 830). 이 담론에서의 타당도는 때때로 (이전의 담론에서와 같이) 특정 도구에 초점을 맞추지만, 타당도 자체는 매우 맥락의존적으로 본다. 여기서는 타당도 확인 프로세스를 통해 달성할 수 있는 점수의 타당한 해석에 초점을 맞추고 있다. 즉, 시행된 각각의 시험마다 (기초 이론/예측과 관련하여) 평가 결과의 해석을 뒷받침할 수 있는 충분한 증거가 있는지 검증한다.여기서 명사 'validation'과 동사 'to validated'가 주로 나타나지만, 형용사 'validated'라는 문구는 절대 사용하지 않는다. 이는 평가되는 도구의 품질이 아니라 도구 사용의 적절성이라는 개념과 평가 프로세스를 구현하는 방식에 따라 시험자의 성과나 평가 점수에서 도출된 해석과 결론을 반영한다.
When this discourse is used, validity is framed as an argument-based evidentiary-chain and defined as ‘‘the evidence presented to support or refute the meaning or interpretation assigned to assessment results’’ (Downing 2003, p. 830). Though validity in this discourse does sometimes focus on particular tools (as in the previous discourse), validity itself is seen as highly contextual. The focus is on the valid interpretation of scores that can be achieved via a validation process used to verify that there is sufficient evidence in each administration of a test to support the interpretation of the assessment results in relation to the underlying theory/expectations. Here, the adjective ‘validated’ never appears while the noun ‘validation’ and the verb ‘to validate’ are common. This reflects the notion that it is not the quality of the tool that is judged but rather the appropriateness of the uses of the tool, and the interpretations and conclusions drawn from the examinees’ performance or assessment scores given the way the assessment process was implemented.
예를 들어, certification 시험의 타당화validation 프로세스는 임상 시뮬레이션을 주의 깊게 작성하고, 실제로 구현하며, 표준화했다는 문서화뿐만 아니라, 원하는 역량을 획득한 후보만 합격하고, 역량을 숙달하지 못한 후보만 시험에 불합격하도록 하는 것을 목적으로 할 수 있다. 그러나 중요한 것은 이 근거출처와 그에 기반한 certification 시험의 타당도 판단은 이 한 가지 사례에만 적용될 것이다. 그 다음에 사용할 때, 그리고 그 다음에 생성된 결과는 또 다른 타당도 검사를 필요로 할 것이다.
For example, a validation process for a certification exam might aim to document that clinical simulations were created carefully, implemented authentically, and standardized as well as ensuring that only the candidates who have acquired the sought after competences pass and only the candidates who do not master the competences fail the exam. Importantly, however, these sources of evidence and the determination of validity of the certification examinations would apply only to one instance of its use. Subsequent usages and the results generated would require repeated validation.
논쟁 기반 증거-체인으로 타당도 담론을 채택하는 사람들에게, 데이터/점수의 사용과 해석을 뒷받침하거나 반박하기 위한 증거를 제공하기 위해 '타당도'을 사용한다는 점에서 [과학적 방법]에 비유될 수 있다. 이 담론에서는 증거가 계속 축적되면서 결론이 바뀔 수도 있다고 인식한다. 따라서 타당도 과정을 평가 목적을 정의한 후 구현되는 여정으로 특징짓기도 한다. 타당화 과정의 목표는 검증 프로세스에서 가능한 한 많은 증거를 수집하고, 특정 테스트에서 생성된 데이터의 타당도 정도를 알려주는 변수/요소를 식별하는 것이다. 이 뿐만 아니라, 타당도 주장을 이해하고, 그 한계를 설정하는 것이다.
For those employing the discourse of validity as an argument-based evidentiary-chain, there is an analogy to the scientific method in that ‘validation’ is used to provide evidence to support or refute the use and interpretation of data/scores. There is also recognition that conclusions may change as evidence continues to accumulate. It is thus characterized by some as a journey on which one embarks after having defined the assessment purpose(s). The goal is to collect as much evidence as possible in a validation process and to identify variables/factors that inform the degree to which data produced by a particular test are valid but also to understand and set limits on claims of validity.
이 담론의 사용자들은, 이론에 근거한 평가 전략을 만든 다음, 관찰된 결과가 토대를 이루는underlying 이론의 예상 징후를 보여주는지를 평가하는 것을 목표로 한다.
Users of this discourse aim to create assessment strategies that are based on theories and then evaluate if the observed results show evidence of expected manifestations of the underlying theory.
이 담론은 타당화 접근법과 표준을 전면에 배치하며, 두 저자 메식(1995)과 케인(2006)은 이 담론의 anchor authorities으로 매우 자주 인용된다. 따라서 [논쟁 기반 증거 체인으로서의 타당도]는 [평가에 의해 생성된 점수의 품질에 대해 (권위 있게 말하고자 하는 경우) 적용할 일련의 규칙과 규정]을 만든다.
this discourse places validation approaches and standards at the forefront, and two authors—Messick (1995) and Kane (2006)—are very frequently cited as anchor authorities for this discourse. Validity as an argument-based evidentiary-chain thus creates a set of rules and regulations to be applied if one wants to speak authoritatively about the quality of the scores generated by an assessment.
이러한 담론은 타당도 및 검증 관행을 규제하는 교육 및 심리 테스트 표준 SERT (AERA 등 1999년), 교육 테스트 서비스 ETS 및 기타 기관과 같은 공식화된 평가 기관과 강하게 관련되어 있는 것으로 보인다. 더욱이, 이러한 기관들은 권장되는 관행recommended practice을 적용하고 집행하는 고도로 자격을 갖춘 사람들의 역할을 정당화한다.
This discourse appears to be strongly associated with formalized assessment institutions such as; the Standards for Educational and Psychological Testing (AERA et al. 1999), the Educational Testing Service, and others that regulate validity and validation practices. Moreover, these institutions legitimize the role of highly qualified people who apply and enforce the recommended practices.
이 타당도 담론을 과도하게 강조할 때 발생할 명백한 결과는 [검증 과정이 절대 끝나지 않는 과정이 될 것]이라는 점이다(Bertrand and Blais 2004). "타당도 및 평가 검증 및 개정'은 절대 끝나지 않는 사이클이다(Beckman 등). 2009년, 페이지 188)". 게다가, 점수 해석을 위해 다른 형태의 증거들을 어떻게 따져볼지에 대한 명확한 규칙이 없는 것 같다. 따라서 [수집된 타당도 근거와 새로운 점수 해석]을 해석하고 통합할 필요가 있기 때문에, QA 프로세스에 지속적으로 engage해야만 한다(Cook et al. 2015).
An apparent consequence of an over-emphasis of this discourse of validity is that the validation process would become a never-ending process (Bertrand and Blais 2004): ‘‘validity and assessment validation and revision is a never-ending cycle’’ (Beckman et al. 2009, p. 188). In addition, there appear to be no clear rules about how to weigh the different forms of evidence for different score interpretations. Thus, one can remain engaged in a continuous quality assurance process with the need to interpret and incorporate each new piece of validity evidence collected and each new score interpretation (Cook et al. 2015).
마지막으로, 이러한 담론을 강조함에 따른 또 다른 결과는, '내용 전문가content exprt'들이 실제로 좋은 성과를 정의하는 것이 무엇인지를 '알고' 있지만, (보다 공식화된 검증 프레임워크에 따르려면) 이들의 판단은 증거체인에서 relevant하거나 reliable해보이지 않기 때문에 평가 과정에서 저평가될 수 있다는 것이다. 즉, [타당도의 근거로 간주되는 것을 너무 협소하게 바라볼 경우], 자신의 전문직을 규제할 책임이 있는 전문가에게 상황에 맞춘 적절하고 중요한 평가 전략의 결정능력이 주어지지 않을 수 있다.
Finally, one further consequence of emphasizing this discourse is that little consideration may be given to content experts who feel that they ‘know’ what defines good performance in practice but who may become undervalued in the assessment process because their judgement does not seem relevant or reliable in the evidentiary-chain according to the more formalized validation frameworks. In other words, the professionals who are responsible for regulating their own profession may experience lessened capacity to determine contextually appropriate and important strategies for assessment if too narrow a lens is placed on what counts as evidence of validity.
검증의 증거-체인을 지원하기 위해 데이터를 수집하는 데 시간과 리소스가 필요하다. 이것은 임상 실습과 교육에서 최전선에서 일하는 사람들에게 어려울 수 있다. 그들은 또한 (더 많은 적시point-in-time 시험 전략을 위해 수집할 수 있는 증거의 덩어리를 모으는 것이 더 어려운) '주관적subjective' 또는 '관찰적observational'으로 보이는 평가를 채택할 때 저항에 직면할 수 있다.
Time and resources are required to collect data to support an evidentiary-chain of validation. This may prove difficult for those working at the front lines in clinical practice and education settings. They may also face resistance when employing assessments that are seen as ‘subjective’ or ‘observational’ for which it is more difficult to assemble the mass of evidence that can be gathered for more point-in-time testing strategies.
사회적 의무로서의 타당도
Validity as a social imperative
사회적 의무으로서의 타당도는, 개별적으로 취했을 때, 대부분의 독자들에게 친숙하게 보일 수 있는 몇 가지 요소들로 새롭게 부상하는 담론이다. 이 담론은 처음 두 가지 담론보다 새로이 등장한 것으로, 다양한 종류의 전문성, 관점, 이해관계자(관리자, 연구원, 정책 분석가 등)의 역할을 강조한다. 사회적 의무로서의 타당도는 개인 및 사회 수준에서 평가의 결과에 대한 신중한 고려를 포함하는 평가에 대한 사회 주도적 관점으로 나타났다. 이러한 담론은 보다 광범위한 개인 및 사회 문제를 전망함으로써, 특정 도구에 대해 한 가지만 고려하지 않고sole consideration, 이를 뛰어넘는 '조감도'를 취한다는 것이 특징이다.
Validity as a social imperative is an emerging discourse with several components that, when taken individually, may seem familiar to most readers. This discourse is newer and informed by different kinds of expertise, perspectives, and stakeholders (administrators, researchers, policy analyst, etc.) than the first two discourses. Validity as a social imperative appeared in our archive as a socially driven perspective on assessment that includes calls for deliberate consideration for the consequences of assessment at both individual and societal levels. This discourse appears to be characterized by taking a ‘bird’s eye view’ of assessment that foregrounds broader individual and societal issues and that goes beyond the sole consideration of specific tools.
시험의 결과에 주의를 기울이는 것은 반드시 이 신흥 담론에만 국한되는 것은 아니며, 위에서 설명한 타당도의 증거적 개념과 더 일반적으로 관련이 있는 저자를 찾을 수 있다. 어느 정도, 사회적 의무로서의 타당도는 증거-체인으로서의 타당도에서 뻗어나온 결과물outgrowth일 수 있다. 우리가 [사회적 의무]를 별개의 담론으로 식별하려는 이유는, '사회적 의무'로 타당도를 사용하는 사람들은 [평가 개발 및 검증 프로세스 전반에 걸쳐 나타나는 평가의 사회적 결과]를 특히 중요시하는 것처럼 보이기 때문이다. 이와는 대조적으로, 증거-체인 담론에 포함되는 경우, 평가의 결과는 많은 변수 중 하나일 뿐이며, 일반적으로 전혀 고려되지 않을 경우 사소한 변수일 뿐이다. 또한 사회적 의무로서의 타당도의 담론은 학습자를 넘어 보다 거시적 사회 수준에서 영향을 포함하도록 평가 결과의 개념을 확장시킨다.
Giving attention to the consequences of a test is not necessarily unique to this emerging discourse and can be found authors who are more commonly associated with the evidentiary-chain notion of validity described above. To some degree, validity as a social imperative may be an outgrowth of validity as an evidentiary-chain. Our argument for identifying it as a discrete discourse arises from the observation that those who employ validity as a social imperative seem to foreground social consequences of assessment throughout assessment development and validation processes. By contrast, when included in the evidentiary-chain discourse, consequences of assessment are just one of many variables, usually a minor one if considered at all. This discourse of validity as a social imperative also expands the idea of consequences of assessment beyond learners to include impacts at a more macro societal level.
...참가할 가치가 있는 10%를 선정하는 과정에서(따라서 사회에서 존경받고 보수가 좋은 자리를 보장한다) 우리는 나머지 90%에게 그들이 가치 없는 사람이고, 그들이 충분히 좋지 않으며, 개인적인 결함을 가지고 있다고 말하고 있다. (노먼 2004)
…in the course of selecting the 10 % who are worthy of admission (and hence guaranteed an esteemed and well-paid place in society), we are telling the other 90 % that they are unworthy; that they are not good enough, that they have personal failings. (Norman 2004)
이러한 타당도 담론을 채택하는 사람들은 평가 목적에 대한 프로그램적 관점에 부합하는 경향이 있기 때문에, 이 담론의 지지자들은 사후 분석에는 주의를 덜 기울이는 것 같다. 오늘날 작가들은 평가를 도입하기 전에 [평가 전략의 개념적 계획 및 평가에 대한 목적적 접근의 우선 순위 지정을] 더욱 강조해 왔다. 또한 평가 후에는 [(평가 수행 후 문제를 식별하고 해결하는 데 초점을 맞춘) 평가의 품질에 대한 분석적 점검]보다 [의도하지 않은 결과의 최소화]를 강조해왔다. 예를 들어, 개별 평가 도구에 의해 생성된 데이터에서 시험 데이터가 결합되는 방식으로 강조점이 이동하기도 한다.
Because those who adopt this discourse of validity tend to align themselves with a programmatic perspective on the purpose of assessment, proponents of this discourse seem to give less attention to post hoc analyses. Writers today have put greater emphasis on conceptual planning of an assessment strategy and prioritizing a purposeful approach to assessment by using tools and strategies a priori (prior to its administration) and minimizing unintended consequences over analytic checking of the quality of assessment results a posteriori, practices that focus on identifying and addressing issues post administration. For example, there is also a shift in emphasis from data generated by individual assessment tools to the way in which testing data are combined.
[(거의) 완벽한 평가도구의 조합]보다 오히려 [덜 완벽한 평가도구의 세심한 결합]이 결과적으로는 더 나을 것이다. 즉, 중요한 것은 있는 것은 빌딩블록의 퀄리티 뿐만 아니라, 빌딩블록을 결합하는 방식이다. (슈워스와 반 데르 블뤼텐 2012, 페이지 39)
A combination of (near-) perfect instruments may result in a weaker programme than a carefully combined set of perhaps less perfect components. In other words, it is not only the quality of the building blocks that is relevant, but also the ways in which they are combined. (Schuwirth and van der Vleuten 2012, p. 39)
이것은 사후 심리측정학 분석 데이터가 중요하지 않다고 말하는 것은 아니다. 다만, 사후 심리측정적 분석은 평가 전략의 복잡성을 완전히 파악하지 못하는 것 같다.
This is not to say that post hoc psychometric analytic data are not important. However, they seem unable to fully capture the complexity of assessment strategies
따라서, [학습자가 평가에 지불하는 비용]과 [사회와 실무자 모두가 경험할 수 있는 편익] 사이의 균형을 잡으려는 맥락에서 판단해야 한다.
and as such, they must be considered in the context of striving for balance between the costs of having learners submitted to the assessment and the potential for benefits to be experienced by both society and the practitioner.
심리측정적 접근방식은 [의료 전문가에게 점점 더 필수적이라고 여겨지는 상위 수준의 역량을 평가하기에는], 특히 이 역량을 [authentic context에서 분리하여 의미 있게 평가할 수 없다는 점]에서, 너무 환원주의적이다 (Kuper 등 2007). (Beendonk 외 2013, 페이지 560)
[…] the psychometric approach is considered to be too reductionist (Huddle and Heudebert 2007) for the assessment of higher order competencies, which are increasingly deemed to be essential for medical professionals but cannot be meaningfully assessed detached from the authentic context (Kuper et al. 2007). (Berendonk et al. 2013, p. 560)
넓은 사회과학적 관점에서 볼 때, 전통적인 OSCE 타당도 조사는 약간 좁았다. ...OSCE는 맥락의존적이고, 잠재적으로 formative하며, 권력, 경제, 문화의 관계와 같은 사회학적 변수의 영향을 많이 받는 복잡한 사회적 사건이다. (호지 2003, 페이지 253)
From the vantage point of a broad social-science perspective, traditional OSCE validity research has been a bit narrow. …OSCEs are complex social events that are highly contextual, potently formative and heavily influenced by sociological variables such as relations of power, economics and culture. (Hodges 2003, p. 253)
본질적으로, 이 담론은 관심의 초점을 [도구나 검증 과정의 속성]에서 [학습자와 사회를 위하여 평가가 지향해야 하는 목적]으로 이동시킨다.
In essence, this discourse shifts the focus of attention from the properties of the tool or the validation process to the desired purpose of assessment for the learner and for society.
평가의 교육적 가치는 쉽게 과소평가된다. 대부분의 학습자가 평가의 요구 사항을 발견하고 충족하는 데 능숙하기 때문에 평가의 성격과 내용은 학생들이 채택하는 학습 전략에 강한 영향을 미친다. (크로슬리 외 2002, 페이지 800)
The educational value of assessment is easily underestimated. The nature and content of assessment strongly influences the learning strategies that students adopt because most learners are adept at spotting and meeting the requirements of an assessment. (Crossley et al. 2002, p. 800)
이러한 담론을 사용하는 개인들이 종사하는 교육 프로그램 및 조직에서는 [커리큘럼]과 [사회가 졸업생에게 기대하는 미래의 의료행위practice]에 부합하는 완전하고 포괄적인 평가 프로그램을 주장한다. (약점을 식별하는) 후향적인 관점이기보다는, 이는 (assessment practice 개선을 통한) 전향적인 관점이다.
Individuals that employ this discourse often work in training programs and organizations that claim ownership of a complete, comprehensive program of assessment aligned with the curriculum and the expectations of society for future practice (and in some cases certification) of graduates prospectively (through improving assessment practices) rather than retrospectively (through identifying weaknesses).
더욱이, 이러한 담론은 평가의 일치단결된concerted 발전을 중요시하기에, 프로그램적인 평가 개발을 지도guide하는 평가 위원회나 이사들의 필요성을 강조한다. 평가 도구와 접근법의 결정은 개별 코스를 담당하는 자 또는 개별 코스의 특이한 견해/책임을 가진 사람, 생성된 데이터의 타당도를 측정하는 사람에게 맡겨둘 것이 아니다.
Moreover, this discourse promotes concerted developments in assessment, thus creating the need for evaluation committees or directors that guide programmatic assessment development rather than leaving the selection of tools and approaches to the idiosyncratic views/abilities of those responsible for individual courses, or in the hands of those who measure the validity of data generated.
단순히 좋아 보이는 도구를 사용하게 놔둬서, 학생들의 미래를 바꾸는 life-changing decision을 내리는 것은 분명 용납될 수 없다는 것이 내 견해다(6). 그러나 그것은 반대 의견이다.(노먼 2015, 페이지 300, 301)작가에 의한 강조
My own view is that it is surely not acceptable to make life changing decisions about students’ future using instruments that simply look good (6). But that is one opinion against another. (Norman 2015, pp. 300, 301)—emphasis by authors
문헌에 따르면, 사회적 의무로서 타당도를 지나치게 강조하면 "대부분의 교육자들에게 물의를 일으킬 뿐만 아니라, 실제로 시험 사용의 의도된 결과와 의도하지 않은 결과에 대한 주의를 덜 기울일 수 있다"(Shepard 1997, 페이지 13). 일반적으로 이러한 타당도 형태와 관련된 데이터는 다양한 출처에서 얻으며, 양적 정보뿐만 아니라 질적 정보도 포함할 수 있다.
It has been suggested in the literature that an overemphasis on validity as a social imperative may ‘‘not only muddy the waters for most educators, it may actually lead to less attention to the intended and unintended consequences of test use’’ (Shepard 1997, p. 13). Typically, data related to this form of validity come from a variety of sources and may include qualitative as well as quantitative information.
좀 더 전통적인 것을 소홀히 할 가능성이 있지만 그럼에도 불구하고 유용한 정신측정학 모니터링은 특히 개별 도구의 퀄리티 수준에서 이루어진다. '큰 그림'만 보고 평가 도구(예: 항목 분석, 신뢰성, 합격률 등)에 의해 생성된 구체적인 데이터의 품질을 모니터링하는 시력을 상실할 경우, '신뢰할 수 없는' 검사나 불공정한 합격/불합격 점수를 중심으로 사각지대가 발생할 수 있다. 이 담론에서 심리측정적 분석은 타당도 확인의 중심적 접근방식은 아니지만, 적절히 사용할 경우 그 사용은 목적적합한 평가의 목표를 지원할 수 있다. 질적 데이터의 사용에 대한 강력한 접근방식이 이 담화(Kuper et al. 2007; Van Der Vleuten et al. 2010)에서 유용할 수 있다는 주장이 제기되었지만, 그렇게 하는 방법은 초기 단계에 머물러 있다.
there is the potential of neglecting the more traditional, but nevertheless useful psychometric monitoring a posteriori, particularly at the level of the quality of individual tools. If one attends only to the ‘big picture’ and loses sight of monitoring the quality of data generated by specific assessment tools (e.g., item analysis, reliability, pass rates, etc.), blind spots may develop around ‘unreliable’ examinations or unfair pass/fail cut scores. While in this discourse psychometric analysis is not the central approach to ascertain validity, its use may support the goal of purposeful assessment when used appropriately. It has been argued that robust approaches to the use of qualitative data could be useful within this discourse (Kuper et al. 2007; Van Der Vleuten et al. 2010), however methods to do so remain in their infancy.
고찰
Discussion
본 연구는 보건 직업 교육 및 평가의 특정한 맥락 안에서 "타당도"이라는 용어를 사용하는 것에 초점을 맞추었다. 기본적인 개념화와 무관하게, 타당도는 보건 직업 교육에 일반적으로 사용되며 높은 부하를 받는 용어임이 분명하다.
This study has focused on the use of the term ‘‘validity’’ within the specific context of health professions education and assessment. Independent of the underlying conceptualization, it is clear that validity is a commonly used -and highly loaded- term in health professions education.
타당도는 어떤 사람들에게는 도구가 특정 금본위제를 충족하였기 때문에 도구가 사용될 수 있거나 심지어 사용되어야 한다는 것을 나타내는 것처럼 보인다.
Validity seems to signify, for some, that a tool can or even should be used since it has met a certain gold standard.
다른 사람들에게는 점수 해석의 적절성을 보장하기 위해 진행되는 과정에 대해 말하는 것 같다.
For others, it seems to speak to the process put in place to ensure the appropriateness of the score interpretation.
어떤 그룹에게 타당도는 의도하지 않은 결과를 최소화하는 데 초점을 맞춘 학습자와 사회의 평가의 역할과 가치에 대한 고려사항에 관한 것으로 보인다.
For a third group, validity seems to be about the considerations for the role and value of assessment for learners and society with a focus on minimizing unintended consequences.
이러한 각 단점을 채택함으로써 얻을 수 있는 권력관계와 편익은 (부분적으로는) 공개된 타당화 관행에서 채택되는 프로세스와 시험testing 기관이 생성 및 승인한 지침에 의해 권장되는 프로세스 간의 관찰된 불일치를 설명할 수 있다.
The power relations and benefits gained by adopting each of these discourses may explain—in part—the observed discrepancies between the processes that are sometimes adopted in published validation practices and the processes recommended by the guidelines generated and endorsed by testing organizations.
[논쟁 기반 증거-체인의 담론]을 채택하는 사람들에게 신뢰를 받으려면, 특정 용어를 사용해야 하고, 이른바 '현대적' 타당도 이론을 언급해야 할 것으로 예상된다. 따라서 이 담론에 참여하는 한 가지 방법은 [기술 보유자 또는 적절한 언어와 기술을 익힌 사람]이 되어서, 타당도의 규칙과 규정(일반적으로 케인과 메시크에 관한 것)을 주장하는 것이다. 이들은 타당도 접근법을 권장하고 적용할 수 있는 힘을 가지고 있다. 즉, [논쟁 기반 증거-체인 담론]은 특정한 기술과 지식 기반을 가진 사람들이, 특정한 전문화된 직업을 갖는 것을 가능하게 한다. 또한 [선별된 그룹의 사람]만이 타당화 작업을 처리할 수 있는 전문 지식을 가지고 있다는 것을 암시하는 것으로 보인다.
To be credible to those employing the discourse of argument-based evidentiary-chain, one is expected to use a specific set of terminology and refer to what are called ‘modern’ theories of validity, as illustrated by the multiple reviews on the subject (Cizek et al. 2008, 2010; Cook et al. 2014, 2015; Wools and Eggens 2013). Thus, one way of participating in this discourse is as a skill holder or a person who has mastered the appropriate language and skills and, as such, lays claim to the rules and regulations of validation (usually in reference to Kane and Messick). Such individuals have the power to recommend and apply validation approaches. In other words, this discourse makes certain specialized jobs possible for people who have a specific skill set and knowledge base. It also appears to imply that only a select group of people have the expertise to tackle a validation task.
최근의 체계적인 검토를 살펴보면 '근대적 타당성 이론'의 채택이 늦어지고lag 있다는 점을 지적하고 비평한다(Cook et al. 2013, 2014). 이러한 담론이 지배적인 경우, 고도로 훈련된 개인이 평가 도구의 지속적인 타당도를 보장해야 함을 암시하는 경우가 많다. 결과적으로, (—제한적인 공식 훈련만 받은 —)'novices'가 평가 프로그램을 개발하고 모니터링해야 하는 상황에서,
그들은 같은 언어를 사용하지 않기 때문에 '외계인' 또는 '임포스터'로 인식될 수 있다.
인가된 타당성 이론을 능숙하게 사용하지 못할 수 있다.
'전문가'에게 통상적이지 않거나 설득력이 없는 타당도 프로세스 근거를 제시할 수 있다.
Recent systematic reviews document and critique a ‘lag’ in uptake of ‘modern validity theories’ (Cook et al. 2013, 2014). Where this discourse is dominant, it is often implied that highly trained individuals are required to ensure the ongoing validation of assessment tools. Consequently, when ‘novices’—with limited formal training—are called upon to develop and monitor assessment programs, they
may be perceived as ‘outsiders’ or ‘impostors’ because they do not use the same language,
may not adeptly use sanctioned theories of validity, and
may put forward evidence during a validation process that is not conventional or convincing to a ‘professional’.
[사회적 의무로서의 타당도]와 같은 타당도에 대한 새로운 담론과 개념화가 등장하며, 다른 역할의 가능성이 대두되고 있다. 그리고 다음의 질문이 제기된다.
타당성이란 것은 무엇을 의미하는지(또는 어떤 담론이 합법적이라고 여겨지는지)에 대해서 판단할 수 있는(또는 허용되지 않는) 사람은 누구인가?
궁극적으로, '적절한' 평가라는 것은 무엇인가?
With new emerging discourses and conceptualizations of validity—such as validity as a social imperative—comes the possibility of different roles and, as such, calls into question
who is now allowed (or not allowed) to judge what validity means (or which discourse is considered legitimate) and
ultimately what is considered ‘appropriate’ assessment.
이 세 번째 담론의 사용자는 정책 입안자, 교사 및 커리큘럼 및/또는 평가 프로그램 전문가를 포함한다. 세 번째 담론을 채택하는 사람들은 종종 시험 대상자를 옹호하거나(평가 대상자가 평가로부터 피해를 경험하지 않도록 해야 함), 사회 전반을 옹호함으로써(평가 프로그램이 프로그램의 가치와 사회의 요구에 부합되어야 함) 이러한 담론에 윤리적 요소를 끌어오는confer 경우가 많다.
Users of this third discourse might include policy makers, teachers, and curriculum and/or assessment program specialists. Those who employ this discourse often do so by advocating for those being tested (aiming to make sure that no harm is experienced by the learners from the assessment) or for society in general (by making sure that the programs of assessment are aligned with programs’ values and society’s needs) thus conferring on this discourse an ethical quality.
Validation의 초점을 바꾸려는 생각에 어떤 사람들이 예민하게 반응하는 것은 놀랄 일이 아니다. (본 논문의) 개발 단계에서 이 연구에 대해 다음과 같은 의견을 들었다(즉, 연구비 신청에 대응하여):
"심리학적 관점에서, 나는 [타당도 개념화 연구]가 우리의 지식에 새로운 어떤 것도 추가할 수 있다고 생각하지 않는다. 타당도는 사회언어적 이슈에 근거하지 않는다. 그것은 경험적 자료와 현대/전통적인 심리학적 방법에 기반을 두고 있다."
it is not surprising that some individuals would react strongly to the thought of shifting the focus of validation, as exemplified by the following review received about this work at the development stage (i.e., in response to a grant application):
‘‘From a psychometric perspective, I do not believe that [investigating conceptualizations of validity] can add anything new to our knowledge. Validity is not based on sociolinguistic issues; it is based on empirical data and modern/traditional psychometric methods.’’
우리가 '시험기 가진 특성'으로서 타당도(=첫 번째 담론)를 주장하는 사람을 만나지는 않았지만, 문헌에는 이러한 관점을 받아들이고 있음이 문헌상에는 명확히, 그리고 지속적으로 확인되며, 따라서 심리측정적 담론이 충족시켜주는 요구가 분명 존재한다. 우리는 분석에서 타당도의 담론과 관련하여 나타나는 두 가지 주요 역할, 즉 소비자와 생산자를 확인할 수 있었다. 즉, 이 담론은 [생산자(개별이든 조직이든)]가 ['타당화된validated' 도구를 필요로 하는 소비자]에게 [제품(테스트/평가 전략)]을 제공 및 판매하는 소비주의 철학을 선호한다.
While we did not encounter anyone laying claim to validity as a test characteristic, its clear and continued presence in the literature suggests both that many accept this perspective and that it fulfills a need. We could see in our analysis two major roles emerging in association with the discourse of validity as a test characteristic: consumers and producers. In other words, this discourse favours a consumerism philosophy in which producers (whether individuals or organizations) provide (and market) products (tests/ assessment strategies) to consumers who need ‘validated’ tools.
이 경우에 소비자는 개인(예: '쉘프 시험'을 사용하는 교수)이나 집단(예: 어떤 직업의 문지기로 라이선스 시험을 받아들이는 사회)가 될 수 있다. 소비자는 외부 출처에 근거하여 '사전에 이미 검증된' 평가 도구를 제공받고 싶어하며, 자신이 선택한 도구에서 생성된 데이터의 타당도에 대해 독립적으로 의문을 제기할 수 없거나(능력) 의문을 제기할 의사가 없을 수 있다(의지).
Consumers can be individuals (such as professors using a ‘shelf exam’) or collectives (such as a society that accepts a licensure exam as the gatekeeper of a profession). The consumers need to rely on external sources to provide them with ‘pre-validated’ assessment tools and may not be able or willing independently to question the validity of the data generated by those tools that they have taken up.
평가 도구가 '명성name'을 지닌다면 [이러한 형식의 타당도 담론을 채택하는 것은] 생산자(개별 연구자, 개발자 또는 조직)에게 매력적일 수 있으며, 그 후에 상업적 목적을 위해 학술적 영향, 브랜드 또는 저작권을 증명하는 데 사용될 수 있다. 이 기업가적 성격은 시험의 특성으로서 타당도의 담론을 촉진하기 위한 동기를 창출할 수 있다. 또한 기관은 판매 가능한 제품을 생산하기 위한 적절한 요소(즉, '타당화된 평가 도구')를 결합할 수 있을 때 이 담론을 사용함으로써 신뢰도나 힘을 얻을 수 있다.
Adopting this form of validity discourse may also be attractive to producers (individual researchers, developers, or organizations) when an assessment tool carries their name and then can be used to demonstrate scholarly impact, branded, or copyrighted for commercial purposes. This entrepreneurial dimension may create an incentive to promote the discourse of validity as a test characteristic. Institutions may also gain credibility or power from using this discourse when they can put together the appropriate ingredients to yield sellable products (i.e., ‘validated assessment tools’).
이번 연구에서 알 수 있듯이, 개개인이 최고의 품질 기준을 충족시키기 위한 평가를 밑바닥부터de novo 만들 수 있는 모든 자원을 가지고 있지 않을 수 있다는 점을 감안할 때, 타당도를 이러한 방식으로 개념화하는 것이 실용주의적 요구에 부응하는 것처럼 보인다.
As indicated in our results, this conceptualization of validity does seem to answer a pragmatic need given that individuals might not have all the resources to create assessment de novo to meet the highest standards of quality.
또 하나 또는 추가적인 설명은 담론이 임상학에서 '수입'되었다는 것이다. Clinical science에서는 고전적인 타당도 모델(또는 내용, 구성 및 준거 타당도)이 문헌에 남아 있으며(Mokkink et al. 2012; Portney 2000), 타당도를 임상에서 사용하는 평가 도구의 속성으로 간주한다.
Another or additional explanation is that the discourse was ‘imported’ from the clinical sciences in which the classical model of validity (or the validity trinity of content, construct, and criterion validity) is still present in the literature (Mokkink et al. 2012; Portney 2000) and in which we see validity as the property of a clinical assessment tool.
이 작업의 한계에는 특정 문맥에 대한 담화 분석을 집중하기로 선택한 것이 포함된다.
Limitations of this work include that we chose to focus our discourse analysis on a specific context—the scientific literature of health professions education.
결론
Conclusion
타당도는 보건 직업 교육에서 몇 가지 다른 의미를 가지고 있다. 이러한 의미들의 공통점은, 아마도 어떤 형태로든 타당도가 평가 개발 및 품질 모니터링에 대한 논의의 핵심이며, 그 중심에 있어야 한다는 암묵적 이해일 것이다. 본 연구에서 관찰된 담론은 보건 직업 교육에 영향을 미치는 다수의 병행적 분야와 분야의 타당도 개념 사용과 관련하여 발생할 가능성이 높다. 어떤 담론이 합법적이거나 지배적인 것으로 보이는 변화가 있었다면, 이는 [보건 직업과 다른 분야 사이의 관계 변화] 때문일 수 있다.
Validity has several different meanings in health professions education. What these meanings have in common, perhaps, is an implicit understanding that validity, in some form, is and should be at the heart of any discussion about assessment development and quality monitoring. It is likely that the discourses observed in this study arise in relation to usages of the concept of validity in a number of parallel disciplines and fields that influence health professions education. It may be that changes in which discourse is seen as legitimate or dominant can be traced to changing relationships between the health professions and other fields.
따라서, 타당도 개념을 채택하는 사람들에 대한 우리의 권고는 평가 도구와 프로그램의 가치 및 적절성에 대한 진술을 하기 전에 자신이 타당도에 대해 갖는 개념을 명시적으로 설명하는 것이다. 그렇게 한다고 해서 한 사람이 사용하는 담론의 한계가 없어지는 것은 아니며, 다른 담론을 채택한 경우에 관련될 타당도에 대한 함축도 피할 수 없다. 그러나 이는 타당도 개념이 비판적 성찰에서 자유롭지 않게 채택되지 않을 가능성을 증가시키고 따라서 현장이 현장에 영향을 미치는 불일치와 긴장을 해소하는 데 도움이 될 수 있다.
As such, our recommendation for those employing concepts of validity is to explicitly describe one’s conceptualizations before making statements of truth about the worth and/or appropriateness of assessment tools and programs. Doing so will not eliminate the limitations of the discourse one uses, nor will it avoid the implications for validity that would be relevant had a different discourse been adopted. It will, however, increase the likelihood that the notion of validity is not adopted free of critical reflection and might, therefore, help the field to bridge discrepancies and tensions that are currently impacting upon the field.
Lingard, L. (2009). What we see and don’t see when we look at ‘‘competence’’: Notes on a god term. Advances in Health Sciences Education, 14, 625–628.
Norman, G. (2015). Identifying the bad apples. Advances in Health Sciences Education, 20(2), 299–303. doi:10.1007/s10459-015-9598-9.
Schuwirth, L. W. T., & van der Vleuten, C. (2012). Programmatic assessment and Kane’s validity perspective. Medical Education, 46(1), 38–48. doi:10.1111/j.1365-2923.2011.04098.x.
Van Der Vleuten, C. P. M., Schuwirth, L. W. T., Scheele, F., Driessen, E. W., & Hodges, B. (2010). The assessment of professional competence: Building blocks for theory development. Best Practice and Research: Clinical Obstetrics and Gynaecology, 24(6), 703–719. doi:10.1016/j.bpobgyn.2010.04.001.
Validity is one of the most debated constructs in our field; debates abound about what is legitimate and what is not, and the word continues to be used in ways that are explicitly disavowed by current practice guidelines. The resultant tensions have not been well characterized, yet their existence suggests that different uses may maintain some value for the user that needs to be better understood. We conducted an empirical form of Discourse Analysis to document the multiple ways in which validity is described, understood, and used in the health professions education field. We created and analyzed an archive of texts identified from multiple sources, including formal databases such as PubMED, ERIC and PsycINFO as well as the authors' personal assessment libraries. An iterative analytic process was used to identify, discuss, and characterize emerging discourses about validity. Three discourses of validity were identified. Validity as a test characteristic is underpinned by the notion that validity is an intrinsic property of a tool and could, therefore, be seen as content and context independent. Validity as an argument-based evidentiary-chain emphasizes the importance of supporting the interpretation of assessment results with ongoing analysis such that validity does not belong to the tool/instrument itself. The emphasis is on process-based validation (emphasizing the journey instead of the goal). Validity as a social imperative foregrounds the consequences of assessment at the individual and societal levels, be they positive or negative. The existence of different discourses may explain-in part-results observed in recent systematic reviews that highlighted discrepancies and tensions between recommendations for practice and the validation practices that are actually adopted and reported. Some of these practices, despite contravening accepted validation 'guidelines', may nevertheless respond to different and somewhat unarticulated needs within health professional education.
Keywords:Assessment; Discourse analysis; Health profession education; Validation; Validity.
Good educators and orphans: the case of direct observation and feedback
Chris BT Rietmeijer1 & Pim W Teunissen2
훌륭한 임상 교육자에게 우리는 무엇을 기대하는가? 깁슨과 동료들은 교육자의 기술과 자질에서 일곱 가지 주제를 확인하고, 특히, [시간을 들여 임상 교육자 역할을 수행하는 것]이 중요하다고 강조한다. 깁슨과 동료들은 이제 우리가 학습자와 임상 교육자의 입장에서 [좋은 임상 교육]이 무엇인지에 대해서 잘 알고 있는 지점에 도달했다고 말한다.1
What do we expect from a good clinical educator? Gibson and colleagues identify seven themes in educators’ skills and qualities and, importantly, highlight the overarching concept of taking time to perform the clinical educator role. Gibson and colleagues state that we have now reached a point at which we are well informed about learners’ and clinical educators’ perceptions of what good clinical education entails.1
Kogan과 동료들은 직접 관찰에 대한 가이드라인에서 설명한다.5 그러나, 코간 외에서도 언급하고 있듯이, 의학 교육에서의 직접 관찰은 드물고, 질도 떨어진다.5
Kogan and colleagues describe in their guidelines on direct observation.5 Yet, as Kogan et al. also state, direct observation in medical education is often infrequent and of poor quality.5
증가하는 연구 기구에 따르면 직접적인 관찰과 피드백에 관여하는 것은 레지던트들과 감독자 모두에게 어려운 일이다. 전공의들은 불확실한 부담stake, 평가에 대한 두려움, 관찰자에 대한 신뢰성 판단, 진정성/자율성/효율성 관련 이슈와 씨름하고 있다. 이 문헌에서 종단적 관계는 앞으로 나아가는 방법을 제공하는 것으로 언급된다.5,6 더구나 피드백에 대한 새로운 관점은 레지던트와 감독자 사이의 종단적 교육 동맹의 중요성을 시사하고 있다(전공의가 감독자를 좋아하고 소중히 여김). 또한 레지던트와 감독자가 학습 목표와 도달 방법에 모두 동의하는 것이 중요하다.
Engaging in direct observation and feedback, according to a growing body of research, is challenging for residents and supervisors. Residents struggle with unclear stakes, fears of assessment, credibility judgements regarding the observer, and issues around authenticity, autonomy and efficiency.6–10 In this literature, longitudinal training relationships are mentioned as providing a way forward.5,6 Moreover, new perspectives on feedback suggest the importance of a longitudinal educational alliance between the resident and supervisor in which the resident likes and values the supervisor, and both agree on learning goals and the ways these can be achieved.11,12
본질적으로, 직접적인 관찰과 피드백에 관한 이 문헌은 우리가 알고 있는 훌륭한 임상 교육자가 되는 것에 부합하는 건설적인 교육 상황에 대한 조건을 가리키고 있다.1.3 이 점에서 시간과 노력의 투자는 분명히 기본적인 전제조건이다.
In essence, this literature on direct observation and feedback points to conditions for constructive educational situations that align with what we know about being a good clinical educator.1,3 In this, the investing of time and effort is clearly a basic prerequisite.
이제 건설적인 직접 관찰과 피드백을 위한 이러한 조건을 확인했으니, 다음 질문은 이 기본 조건이 충족된 다음의 이야기이다.
Now that we have identified these conditions for constructive direct observation and feedback, the next question concerns when they are met in the workplace.
'문화는 (그 문화가) 가치있게 여기는 것을 관찰한다.'.9 외과의사들은 수술대에서 그들의 전공의를 관찰했다; 정신과 의사들은 전공의들의 병력청취를 관찰했다. 이러한 '가치 있다고 여겨지는 역량'에 대해서는, 시간과 노력의 투자와 같이 건설적인 직접 관찰과 피드백을 위한 기본 조건 중 일부가 제자리에 있는 것처럼 보였다.9
‘cultures observed what they valued’.9 Surgeons observed their residents at the operating table; psychiatrists observed residents engaged in history taking.9 With respect to these valued competencies, at least some of the basic conditions for constructive direct observation and feedback, like the investment of time and effort, seemed to be in place.9
만약 문화가 가치있게 여기는 것을 관찰한다면, 결과적으로, 문화는 덜 가치를 두는 것에는 덜 관심을 기울일 것이다. 9,14 이것은 어떤 역량들이 덜 관찰되고 덜 주목을 받는다는 것을 의미한다; 우리는 이러한 '버려진 역량orphaned competencies'이라고 부르는 것을 제안한다. 이러한 역량은, (e-health와 같이) (새로운 발전과 관련된) 교육자 스스로가 팀워크와 같은 공식적인 훈련을 받은 적이 없거나 숙련된 임상 교육자가 자신이 전문가라고 느끼지 않을 수 있는 새로운 역량이 해당 될 수 있다. 개별 감독자는 의사소통 기술과 같이 일부 역량이 덜 중요하거나 덜 논란의 여지가 있다고 느낄 수 있다. 게다가, 감독관들은 레지던트들이 이미 의과대학에서 어떤 역량을 숙달했어야 했다고 생각하기 때문에 그런 것을 덜 중시할 수도 있다. 9,14
If cultures observe what they value, they will, in consequence, pay less attention to what they value less.9,14 This means that some competencies are less observed and receive less attention; we suggest calling these ‘orphaned competencies’. These may be competencies in which educators themselves have never been formally trained, such as teamwork, or new competencies relating to new developments, such as e-health, in which seasoned clinical educators may not feel they are expert. Individual supervisors may feel that some competencies are less crucial or less indisputable, such as communication skills. Moreover, competencies such as physical examination may be orphaned because supervisors think that residents should have mastered them in medical school.9,14
CBME에서 모든 역량에 대한 관심이 보장된다고 주장할 수 있다.15 PGME 설정에서 많은 역량이 다양한 방법과 다양한 도구로 관찰된다.
One might argue that, in competency-based medical education, attention to all competencies is ensured.15 In PGME settings many competencies are observed in different ways and with different tools,
그러나 현재 이러한 관찰은 대개 서로다른 관찰자들에 의해 수행되는, 단방향의, 짧은 학습 평가assessment of learning이 대부분이다.16,17 이 관행은 앞서 언급한 [건설적인 직접 관찰 및 피드백]과 상충되어, 학습적 가치가 의심스럽다. 이것은 우리가 '버려진 역량'들을 포함하여, 모든 역량과 관련하여 훌륭한 임상 교육자가 되려면 모든 역량에 대한 건설적인 직접적인 관찰과 피드백을 보장하기 위한 새로운 방법을 찾아야 한다는 결론을 이끌어낸다.
However, currently, these observations are typically shaped as uni-directional, brief assessments of learning, often performed by different observers.16,17 This practice conflicts with the aforementioned conditions for constructive direct observation and feedback, which makes its value for learning questionable. This brings us to the conclusion that, if we want to be good clinical educators with regard to all competencies, including the orphaned ones, we have to find new ways to ensure constructive direct observation and feedback for all competencies.
일반적인 연습 훈련에서 감독관은 매 주 한두시간의 양방향 직접 관찰 세션을 시작하는 것으로 확인되었고, 이 한두 세션을 통해 광범위한 활동과 역량을 관찰하고 시연demonstrate하였다.14 중요한 것은, 이러한 방식의 교육적 노력이 하나의 특정 활동이나 역량에 집중되지 않고, 의사로서의 전반적 퍼포먼스에 집중되었다는 것이다. 이 상황에서 많은 역량이 가시화된다.14,18
In general practice training, supervisors were found to initiate weekly bidirectional direct observation sessions of 1–2 hours, in which they observed and demonstrated a broad spectrum of activities and competencies.14 Importantly, the educational effort was not focused on any particular activity or competency but on the whole performance as a doctor. In this, many competencies became visible.14,18
따라서 직접 관찰 세션을 광범위하게extensive 갖는다면, 모든 역량의 임상 교육을 위한 기회가 생길 것이다. 그러나, 임상 교육자들의 '버려진 역량'에 대한 인지, 인식, 투자하려는 의지가 중요하다. 여기서, 감독자는 종종 스스로 학습자가 될 것이고, 따라서 감독자와 레지던트는 함께 일하고 배운다.
Extensive direct observation sessions thus provide occasions for clinical education in all competencies. However, clinical educators’ awareness and recognition of orphaned competencies , and willingness to invest in them, are equally important. In this, supervisors will often be learners themselves and hence supervisors and residents work and learn together.
결론적으로, 우리는 잠재적으로 훌륭한 임상 교육자조차 좋은 임상 교육을 하지 못할 수 있는 버려진 역량orphaned competencies 개념을 제안한다.
To conclude, we propose the concept of orphaned competencies, for which potentially good clinical educators may fail to engage in good clinical education.
,53 (5), 421-423
Good Educators and Orphans: The Case of Direct Observation and Feedback
1Amsterdam University medical centers, location VUmc, Department of General practice and elderly care medicine, Amsterdam, the Netherlands.
2School of Health Professions Education (SHE), Faculty of Health, Medicine and Life Sciences (FHML), Maastricht University, Maastricht, the Netherlands.
The authors propose the concept of orphaned competencies, those that are good for clinical education, but often are not taken up by good clinical educators. Prolonged direct observation is promoted as a way forward.
퍼즐을 한데 모으기: 복잡한 임상 판단에서 '문제 정의'의 역할(Med Educ, 2017)
Putting the puzzle together: the role of ‘problem definition’ in complex clinical judgement
Sayra Cristancho,1 Lorelei Lingard,1 Thomas Forbes,2 Michael Ott1 & Richard Novick3
도입
INTRODUCTION
복잡한 환자 사례는 정당하고 정확한 판단을 할 수 있는 임상의의 능력에 점점 더 많은 요구를 한다. 이것이 어려운 이유는 복잡한 상황에서 일어나는 일에 대한 판단을 하는 것이 일종의 '움직이는 과녁'이기 때문이다. 과녁이 움직이는 이유는 다른 관점을 가진 여러 행위자들이 상황의 진화evolution를 변화시키고 결과적으로 그것이 어떻게 정의되는지에 따라 달라지기 때문이다.
Complex patients impose mounting demands on clinicians’ ability to make sound and accurate judgements. Mounting demands occur because making judgements about what’s going on during complex situations becomes a ‘moving target’, as multiple actors with different perspectives change the evolution of the situation and consequently how it is defined.
[문제가 어떻게 정의되는지]에 대한 이러한 복잡성은 의학 교육 연구 노력의 초점이 되지 않았다; 임상 판단에 대한 우리의 현재 지식은 대부분 문제가 어떻게 해결되는지를 탐구하는 것에서 만들어 졌다. 우리는 마치 문제가 정적인 것처럼 [문제 해결]에만 배타적으로 초점을 맞추는 것은, 복잡한 임상 상황의 성격과 모순되며, workplace training이라는 목적에 맞춰 [임상 판단]의 개념을 translate하기 어렵게 만든다.
This complexity of how a problem is defined has not been the focus of medical education research efforts; our current knowledge about clinical judgement has mostly been built from exploring how the problem is solved. An exclusive focus on problem solving, as if problems were static, contradicts the nature of complex clinical situations and makes the notion of clinical judgement difficult to translate for workplace training purposes.
임상적 판단은 전통적으로 문제 해결에 집중되어 왔으며, '대안의 평가'와 '대안의 선택'으로 구성된다.1
일부 저자들은 정보를 수집하는 것이 올바른 대안을 선택하는 데 있어 핵심 과제라고 주장해왔다.2 이러한 주장은 의사결정자가 완전한 확실성의 세계에서 활동하는 것으로 보는 '고전적 의사결정(CDM)' 모델을 지원한다.3
다른 저자들은 우리가 얼마나 많은 정보를 수집하든 간에, 항상 환원할 수 없는 수준의 불확실성이 존재할 것이고4 따라서 [옵션들 사이에서 선택하기] 보다는 [옵션을 상세하게 하고 개선하는 데] 초점을 맞추어야 한다고 주장해왔다.5
Clinical judgement has traditionally focused on problem solving as ‘the assessment of alternatives’ and the ‘selection between alternatives’.1 Some authors have argued that accruing information is the key task in selecting the right alternative.2 These claims support the ‘classical decision-making’ (CDM) model that views the decision maker as acting in a world of complete certainty.3 Other authors have argued that regardless of how much information we gather, there will always exist a level of irreducible uncertainty4 and therefore the focus should be on elaborating and improving options, rather than selecting between options.5
그러나 다른 영역에서의 연구에 따르면, 복잡한 상황에서의 판단은 문제 해결이 아니라 문제 정의에 초점을 맞춘다는 것을 시사한다. 복잡한 상황에서, [문제가 어떻게 정의되는가]는 전문가들이 현재 일어나고 있는 일에 어떻게 적응하는가에 영향을 미친다. 복잡한 상황은 조건이 끊임없이 유동적이어서 적응 능력이 필요한 경우에 발생한다. 따라서 복잡한 상황에서 판단을 하는 것은 (관찰자처럼) 상황에서 선택사항을 추출하는 것이 아니라, 오히려 (배우처럼) 그 상황에서 살고living within 그것이 정의할 수 있는 여러 가지 방법을 고심하는 데서 나온다.
However, research in other domains6–8 suggests that judgement during complex situations is centered on problem defining, not problem solving. In complex situations, how the problem is defined affects how experts adapt to what’s going on. Complex situations take place where conditions are constantly in flux, requiring the ability to adapt. Therefore, making judgements during complex situations does not come from extracting options out of a situation (as if an observer) but rather from living within the situation and grappling with the multiple ways in which it could be defined (as if an actor).9,10
더욱이, 복잡한 문제를 정의하는 여러 가지 방법이 존재한다는 것은 복잡한 문제들이 역동적이라는 것을 암시하며, 반복적인iterative 해결책들이 단순히 '더' 해결책에 가까워지는 것이 아니라, 사실상 [문제를 재정의]한다고 가정한다. 이 특성은 복잡한 임상 상황의 다원적 특성이 대개 [문제의 정의를 두고 협상하는 다수의 개인]을 필요로 하는 의료에서 특히 명백하다.
Furthermore, the existence of multiple ways of defining a complex problem suggests that complex problems are dynamic, and posits that iterative solutions do not just get us closer to ‘the’ solution, they actually redefine the problem. This feature is particularly evident in health care, where the multidisciplinary nature of complex clinical situations usually requires multiple individuals negotiating the definition of the problem.
이론적 틀
Theoretical framework
시스템 개념은 문제 정의와 문제 해결을 모두 포함하는 전문가 판단에 대한 접근법에 도움이 된다. 시스템 사고는 상황을 전체적으로 보는 방식이다. 그래서 우리는 어떤 것이 상황이 그렇게 되도록 가능캐 했는지를 인식할 수 있다. 즉, 개별적인 부분보다는 상호 관계가 그러하며, 정적 스냅샷보다는 변화의 패턴이 그러하다.11
Systems concepts can inform approaches to researching expert judgement that include both problem definition and problem solving. Systems thinking is a way of seeing a situation in its entirety, so that we can perceive what enables the situation to be: interrelationships rather than individual parts, patterns of change rather than static snapshots.11
시스템 사고에서 관점(즉, 참여자의 해석)은 상황을 형성하고 정의하는 역할을 한다.12 상황의 진화에 따라 관점이 변화하며, 무엇이 발생하는지 인식하는 능력이 요구된다. 두 가지 전제는 시스템 사고에서 창발emergence의 개념을 정의한다. 즉, 사람과 맥락은 불가분의 관계에 있으며 나타나는emerge 것은 선택 행위이다. 따라서 개인이 상황을 바라보는 관점이 달라지거나, 시스템의 다른 요소들과 상호작용하면문제의 정의가 바뀐다.
In systems thinking, perspectives (i.e. participants’ interpretations) are responsible for shaping and defining the situation.12 Perspectives change as the situation evolves, requiring the ability to recognise what emerges. Two premises define the concept of Emergence in systems thinking: that person and context are inseparable and that what emerges is an act of choice. Thus, the definition of the problem changes as the individual considers the situation from different vantage points and interacts with other elements of the system.13,14
방법
METHODS
시스템 사고 접근방식은 다양한 시스템 분야의 분석 도구를 통합한다.15 우리의 연구에서 우리는 시스템 공학, 특히 '풍부한 그림rich picture'의 방법에 의존한다.16–19 풍부한 그림은 사물, 사상, 사람, 성격, 감정, 신념, 갈등 등 모든 상호작용을 하는 요소들로 복잡한 상황에 대한 사람의 시각을 담아내려는 그림 표현이다. 그것들은 관점을 나타내기 때문에, 풍부한 그림은 개인이 상황과 관련하여 자신의 위치와 역할을 어떻게 보는지를 이해하는 한 가지 방법이 된다. 이전 연구에서는 풍부한 그림을 인터뷰와 결합하여 전문가 실무에서 복잡하고 도전적인 상황의 진화하고 새롭게 나타나는 비절차적 차원을 밝혀냈다.21 본 논문에서는 실제 임상 판단에서 '문제 정의'의 개념을 탐구하기 위해 원래 데이터 세트에 대한 2차 분석을 실시했다.
The systems thinking approach incorporates analytical tools from a variety of systems disciplines.15 In our research, we rely on methods from systems engineering, particularly ‘rich pictures’.16–19 Rich pictures are pictorial representations that attempt to capture a person’s perspective of a complex situation with all its interacting elements: things, ideas, people, character, feelings, beliefs and conflicts. Because they represent perspectives, rich pictures constitute a way of understanding how individuals see their place and role in relation to the situation. In our previous work we combined rich pictures with interviews to uncover the evolving and emerging non-procedural dimensions of complex and challenging situations in expert practice.20,21 In this paper, we performed a secondary analysis on our original dataset to explore the notion of ‘problem definition’ in real-world clinical judgement.
자료 수집
Data collection
데이터 수집에는 각 수술 사례에 대한 2단계 프로세스가 포함되었다.
(i) 복잡한 수술 수술실에서의 관찰 및
(ii) 같은 수술 수술에 대한 '풍부한 그림' 그리기 세션.
Data collection involved a two-stage process for each surgical case:
(i) observation in the operating room of complex surgical operations, and
(ii) a ‘rich picture’ drawing session about the same surgical operations.
특정 상황의 환경과 맥락을 파악하기 위해 관찰(현장 노트 형태로 포착)을 실시했다. 관찰은 또한 우리가 2단계에서 사용할 잠재적인 질문 라인을 공식화할 수 있게 해주었다.
Observations (captured in the form of field notes) were conducted in order to get a sense of the environment and context of the particular situation. Observations also allowed us to formulate potential lines of questioning to be used in stage two.
수술 후, 보통 그 후 2주 이내에 외과의사들은 60분간의 그리기 겸 인터뷰에 참여했다. 이 세션 동안 '풍부한 그림'의 개념이 외과의들에게 설명되었고, 외과의들은 상황의 복잡성과 그것이 어떻게 진화되었는지에 대한 그들의 관점을 그리기 위해 약 30분 동안 초대되었다.
Postoperatively, usually within the following 2 weeks, surgeons participated in a 60-minute drawing-plus-interview session. During this session the concept of a ‘rich picture’ was explained to the surgeons, who were then invited to take approximately 30 minutes to draw their perspective on the complexity of the situation and how it evolved.
이차분석
Secondary data analysis
데이터 세트의 2차 분석은 갤러리 워크의 형태로 수행되었다.22 갤러리 워크는 데이터에 대한 적극적인 참여를 촉진하는 기법이다. 그 그림들은 회의실 주위에 '갤러리 스타일'로 전시되었다. 두 명의 연구자가 방을 돌아다니며, 각 도면에 멈추어 서서, 필요한 만큼 각 도면에 관여하고, 개별 도면의 분석 메모를 작성하고, 여러 도면의 교차 비교를 위해 갤러리 워크를 수행했다. 메모는 연구자들이 모티브를 식별하고 각 도면에서 재생되는 잠재적인 이야기들에 대한 전반적인 해석으로서 그 모티브가 개별적으로 그리고 서로에 대한 그들의 해석을 제공하도록 유도하는 주문 설계 표에 기록되었다. 우리의 분석은 세 단계로 진행되었다.
Secondary analysis of the dataset was performed in the form of a gallery walk.22 A gallery walk is a technique that promotes active engagement with data. The drawings were displayed ‘gallery-style’ around a conference room. Two researchers performed the gallery walk by walking around the room, stopping at each drawing, engaging with each drawing for as much time as needed and writing analytical memos for individual drawings as well as for cross-comparison of multiple drawings. Memos were recorded in a custom-designed table that prompted researchers to identify motifs and to offer their interpretations of what those motifs meant individually and in relation to each other as well, as an overall interpretation of the potential stories playing out in each drawing. Our analysis was conducted in three stages.
결과
RESULTS
우리가 관찰한 것과 같은 복잡한 수술 상황은 6시간에서 10시간 동안 지속되었다. 외과의사들이 어떻게 특정 사건을 해결했는지는 그들의 그림에서 중심적으로 다루지 않았다. 그들에게 더 중요해 보이는 것은 그들이 무슨 일이 일어나고 있는지에 대해서 어떤 방식으로 이해했는가make sense 하는 것이었다.
Complex surgical situations, like the ones we observed, lasted from 6 to 10 hours. How surgeons managed to solve the particular events did not feature centrally in their drawings. What seemed to be more important for them was how they made sense of what’s going on.
무슨 일이 일어나고 있는지 이해하면서 외과의사들은 그들이 그렸던 특정한 수술에 대해 고려했던 여러 가지 유리한 점을 그리고 설명하게 되었다. 다음의 경우, 세 가지 유리한 점을 사용했다(표 1).
절차적 의사결정과 관련된 문제('enemy MRI', 그림 1로 표시)
의료팀과 관련된 문제(복싱 장갑과 큰 물음표로 지정, 그림 1).
도덕적 딜레마로서의 문제(체중 균형으로 제시됨, 그림 1).
Making sense of what’s going on took the surgeons into drawing and describing the multiple vantage points from which they considered the particular surgical operation they drew. In the following case, three vantage points were used (Table 1):
problem as procedural decision making (depicted as the ‘enemy MRI’, Fig. 1),
problem as dealing with the medical team (depicted as the boxing gloves and big question mark, Fig. 1) and
problem as a moral dilemma (depicted as a weight balance, Fig. 1).
그 상황이 외과의사의 개인적인 건강 문제로 인해 영향을 받을 때, 선택과 감정의 균형을 잡는 것은 다소 비현실적이 된다. 한 외과의사가 그린 그림의 중심 주제는 어린 시절 축구 경기 도중 심장이 멎는 바람에 구급차에 실려가는 자신이었다(그림 2).
When the situation is coloured by the surgeon’s personal health issues, balancing choices and emotions becomes somewhat surreal. The central theme of one surgeon’s drawing was himself as a child being picked up by an ambulance during a soccer game because his heart was failing (Fig. 2).
다른 외과의들에게 있어서, 문제에 대한 정의를 내리기 위해서는 문제에 대한 다른 팀원들의 의식을 인지하고 내부적으로 협상할 필요가 있었다. 한 외과의사가 그린 그림에 따르면, 무슨 일이 일어나고 있는지 결정하는 것은 '퍼즐 조각들을 한데 모으는 것'과 같았다. 그림(그림 3)에 일관되게 나타난 이 작품들은 수술실 안과 대기실 밖, 그리고 두 나라의 국경 너머에 그려져 있었다.
For other surgeons, their definition of the problem required being aware and internally negotiating other team members’ sense of the problem. According to one surgeon’s drawing, determining what’s going on was like ‘putting together pieces of a puzzle’. Those pieces, which appeared consistently in the drawing (Fig. 3), were depicted inside the operating room, outside in the waiting room and beyond the frontiers of two countries.
위의 참가자 S2에도 불구하고, 모든 팀 구성원이 '퍼즐의 일부'를 들고 있다. S3에 따르면, '때로는 모든 팀 구성원이 올바른 조각이 준비되어있지는 않다.' 수술할 때는 계속 움직여야 해 그래서 퍼즐의 조각이 맞지 않을 때, 팀 역학은 이 외과의사가 여러 개의 점선(dashed circle line)을 사용하여 그렸듯이 순환기 날씨 사건의 형태로 수술의 에피소드를 닮을 수 있다(그림 4).
Even though for our participant S2 above, every team member holds a ‘piece of the puzzle’, according to participant S3, ‘sometimes not all the team members come prepare[d] with the right piece’. In surgery, things need to keep moving. So when pieces of the puzzle do not fit, then team dynamics can veer to resemble episodes of the surgery in the form of cyclonic weather events, as this surgeon drew using multiple, dashed circular lines (Fig. 4).
고찰
DISCUSSION
이 논문에서는 창발emergence의 개념을 사용하여 우리는 전문가 임상 판단의 현재 모델에서 두 가지 가정에 도전했다. 즉, 전문가들은 문제에 대한 고정적이고 정적인 정의를 가지고 있으며, 전문가의 업무의 초점은 문제를 해결하는 데 있다는 것이다.
Using the notion of emergence in this paper we challenged two assumptions from current models of expert clinical judgement: that experts hold a fixed and static definition of the problem and that the focus of the expert’s work is on solving the problem.
참가자들이 기술한 각 상황은 상황 및 도면에 걸쳐 다르지만 상호 보완적인 관점을 드러냈다.
관리 수준 보장에 대한 우려
개인적인 감정과 배려의 선택의 균형을 맞추기
자원을 조정하기
성격 충돌 중에 통제력을 유지하기
Each situation described by our participants revealed different but complementary perspectives across situations and drawings of what a surgical problem might come to be:
from concerns about ensuring standard of care,
to balancing personal emotions versus care choices,
to coordinating resources,
to maintaining control while in the midst of personality clashes.
시각적, 언어적 서술은 참가자들이 무슨 일이 일어나고 있는지 이해하려고 노력하는 것에 가장 관심이 있다는 것을 보여준다. 그렇게 함으로써, 참가자들은 상황이 전개될 때, [그들의 상황 내 위치에서] 어떤 것이 나타나는지에emerge 주의를 기울였다.
the visual and verbal descriptions indicated that participants were most concerned with trying to make sense of what’s going on. In doing so, participants remained attentive to what emerged as the situation unfolded from their positioning within the situation.
시스템에 대한 연구에서 출현emergence은 인지 및 선택과 관계가 있다.10 예를 들어, 우리가 개별적인 모양이나 부분(두 점, 곡선, 원)을 취한다면, 우리는 그것들을 조직하여 알아볼 수 있는 전체(얼굴의 이미지)가 나타나도록 할 수 있다. 이 조직화된 상호관련 부품들은 우리가 시스템이라고 부르는 것이다. 그러므로 우리는 [새로운 의미]를 [형상shape]에 귀속시키는 것을 선택하는데, 그 이유는 형상shape을 이제 이 체계의 일부로 인식하기 때문이다.
In the systems literature, emergence has something to do with perceiving and choosing.10 For instance, if we take individual shapes or parts (two dots, a curve and a circle), we can organise them so that a recognisable whole (an image of a face) emerges. This organised whole of interrelated parts is what we call a system. Thus we choose to attribute new meanings to the shapes because we now perceive them as parts of this system.
이러한 새로운 의미들은 개별적으로 그리고 집합적으로, 시스템으로서의 그들의 조직 때문에 나타난다. 이와 같이 어떤 것이 전체인지 부분인지, 그리고 그 부분이 어떤 관계가 있는지를 결정하는 것은 그것에 관심이 있는 사람에게 달려 있다(즉, 그것은 '발견되기를 기다리는' 것이 아니라 '선택' 행위이다).23 그리고 이 선택 행위는 시스템에 대해서 생각하고, 시스템의 어디에 주의를 기울이는 것의 목적을 반영한다. 이것이 참여자가 engage하는 활동의 종류이다.
These new meanings emerge, both individually and collectively, because of their organisation as a system. In this way, what determines whether something is a whole or a part, and how the parts are related, depends on the person who is interested in it (i.e. it is an act of choice, not something ‘out there’ waiting to be discovered).23 And this act of choice reflects the purpose of the person in thinking about, and giving attention to, the system – the type of activity that our participants engaged in.
만약 나타나는 것emerge이 선택 행위라면, 우리의 연구는 선택 행위가 은유적으로 나타나는 임상적 판단의 기술에 관한 대안적인 대화를 위한 가능성을 제시해 줄 것을 제안한다. 방법론적으로, 우리는 연구 환경에서 의미를 구성하려는 시도를 보완하기 위해 시각적 방법을 사용할 것을 제안했다. 우리의 연구에서, 우리는 의식적으로 풍부한 그림들을 사용했고, 우리가 rich picture를 사용한다는 결정을 내리게 된 것은 [우리가 시각적이고 언어적인 의미를 끊임없이 형성하고 있다]는 개념을 가지고 있었기 때문이다. 복잡한 상황에서 이러한 의미의 구성에는 직관적 인식이 포함될 수 있으며, '가치 판단을 할 수 있는 것은 감각에 호소하는appeal 것이다'.25 비록 시각적 데이터를 사용하면 참여자들이 그 상황에 대해 더 깊이 관여할 수 있는 것처럼 보였지만, 데이터, 데이터 수집 및 데이터 분석 프로세스의 강도가 샘플링 결정에 영향을 주었다.
If what emerges is an act of choice, we suggest that our study also offers the possibility for an alternative conversation, regarding the art of clinical judgement, in which the act of choice emerges metaphorically. Methodologically, we have suggested using visual methods to complement our attempts to construct meaning in research settings. In our research, we consciously used rich pictures24 and we grounded this decision in the notion that we are constantly constructing meaning that is both visual and verbal. In complex situations, such construction of meaning may involve intuitive perception, which, some authors have argued, can be given form via aesthetics tools: ‘it is the appeal to our senses that enable us to make a value judgment’.25 Although the use of visual data seemed to allow participants to experience a deeper engagement with the situation that enriched the data, the intensity of the data collection and data analysis processes influenced our sampling decisions.
결론적으로, 우리의 연구는 복잡한 상황에서, 숙련된 임상의들의 판단 과정은 주로 문제 해결이 아닌 문제 정의에 초점을 맞춘 것처럼 보인다는 것을 암시한다.'창발emergence'이라는 개념은 [문제 정의]에 관한 뉘앙스를 높이 평가하는 데 도움이 되었다. 특히, 우리는 그 문제를 정의하기 위해 노력하면서 경험 많은 임상의들이 그 상황에 내재된 그들 자신을 묘사한다는 것을 발견했다.
In conclusion, our study suggests that in complex situations, the judgement process of experienced clinicians seems to mainly revolve around problem definition, not problem solving. The notion of ‘emergence’ helped us appreciate the nuances of defining the problem. Particularly, we found that in trying to define the problem, experienced clinicians portrayed themselves as embedded in the situation.
전문가들이 실세계의 복잡한 상황에서 판단을 내릴 때, 문제 정의의 중요성을 강조하는 것은 개인의 수준이 아니라 상황 수준에서만 가능하다. 전문가들은 자신들이 무슨 일이 일어나고 있는지에 대한 이야기를 구성하는데 있어 일부분이라고 볼 수 있다. 자신을 배우actor로 묘사하면서, emerge한 것은 순전히 그들의 선택이었다.
We therefore suggest that it is only at the situation level, not at the individual level, that we are able to foreground the importance of defining the problem when experts make judgements during real-world complex situations. It is at the situation level that experts are able to see themselves as part of constructing the story of what’s going on. In depicting themselves as actors, what emerged were purely their acts of choice.
,51 (2), 207-214
Putting the Puzzle Together: The Role of 'Problem Definition' in Complex Clinical Judgement
Context:We teach judgement in pieces; that is, we talk about each aspect separately (patient, plan, resources, technique, etc.). We also let trainees figure out how to put the pieces together. In complex situations, this might be problematic. Using data from a drawing-based study on surgeons' experiences with complex situations, we explore the notion of 'problem definition' in real-world clinical judgement using the theoretical lens of systems engineering.
Methods:'Emergence', the sensitising concept for analysis, is rooted in two key systems premises: that person and context are inseparable and that what emerges is an act of choice. Via a 'gallery walk' we used these premises to perform analysis on individual drawings as well as cross-comparisons of multiple drawings. Our focus was to understand similarities and differences among the vantage points used by multiple surgeons.
Results:In this paper we challenge two assumptions from current models of clinical judgement: that experts hold a fixed and static definition of the problem and that consequently the focus of the expert's work is on solving the problem. Each situation described by our participants revealed different but complementary perspectives of what a surgical problem might come to be: from concerns about ensuring standard of care, to balancing personal emotions versus care choices, to coordinating resources, and to maintaining control while in the midst of personality clashes.
Conclusion:We suggest that it is only at the situation and system level, not at the individual level, that we are able to appreciate the nuances of defining the problem when experts make judgements during real-world complex situations.
비판적 사고 가르치기: 진단오류를 줄이고 환자안전을 개선하기 위한 인지편향 교육(Acad Med, 2019)
Teaching Critical Thinking: A Case for Instruction in Cognitive Biases to Reduce Diagnostic Errors and Improve Patient Safety
Celeste S. Royce, MD, Margaret M. Hayes, MD, and Richard M. Schwartzstein, MD
환자의 질병과 사망률에서 진단 오류의 역할에 대한 인식이 최근에 증가했다.
Recognition of the role of diagnostic errors in patient morbidity and mortality has recently increased,
의료 오류의 원인으로서 의료 시스템의 기능에 대한 주의에도 불구하고, 진단 오류의 인지적 요소를 다루기 위해 수행된 경우가 상대적으로 거의 없다. 그러나 인지적 요소는 의료 오류 원인의 70%에 이를 수 있다.2–5
Despite the attention given to the function of health care systems as a cause of medical error, relatively little has been done to address the cognitive component of diagnostic error, which may contribute to as many as 70% of medical errors.2–5
진단 오류의 예방은 의료 시스템에 안전 점검을 구축하는 것보다 더 복잡하다. 진단 오류를 예방하려면 진단을 수행하는 임상 추론과 인지 프로세스를 이해해야 한다. 임상 추론(=환자를 진단하고 치료하기 위해 인지적 기술, 지식, 경험을 적용하는 과정)은 본질적으로 평가하기 어렵기 때문에 인지 오류를 발견하기 어렵다. 임상 추론의 단계는 대개 빠르게 발생하며, 거의 문서화되거나 설명되지 않으며, 임상의의 머리 속에서조차 명백하지 않을 수 있다.6,7
Prevention of diagnostic errors is more complex than building safety checks into health care systems; it requires an understanding of the clinical reasoning and cognitive processes through which diagnoses are made. Clinical reasoning— the process of applying cognitive skills, knowledge, and experience to diagnose and treat patients—is inherently difficult to assess, which makes cognitive errors difficult to detect. The steps of clinical reasoning usually occur rapidly, are rarely documented or explained, and may not be apparent even in the mind of the clinician.6,7
진단 오류가 인식되면, 임상적 추론 중 어디에서, 어쩌다 오류가 발생했는지 파악하는 것이 필수적이다. 사전 경험이나 현재 상황의 긴급성에 근거하여 데이터에 대응하려는 인지적 편견이 진단 오류를 야기할 수 있다. 노먼 외8은 최근 지식 부족이 진단 오류의 1차적 원인이라고 주장했지만, 인지적 편견이 진단 오류의 원인이 된다는 것을 시사하는 실질적인 증거가 있다. 진단 오류로 인한 대부분의 실제 의료과실 사례에서 오류는 무지함 때문이 아니라 정확한 진단을 고려하지 않았기 때문이다.3,9
When a diagnostic error is recognized, it is imperative to identify where and how the mistake in clinical reasoning occurred. Cognitive biases, or predispositions to respond to data on the basis of prior experience or the exigencies of current conditions, can contribute to diagnostic errors. Although Norman et al8 recently argued that knowledge deficits are the primary cause for diagnostic errors, there is substantial evidence to suggest that cognitive biases contribute to diagnostic errors. In the majority of real-world malpractice cases attributed to diagnostic error, the errors are not due to ignorance but, rather, to the failure to consider the correct diagnosis.3,9
간디 외 연구진 5는 종결된 의료과실 청구 중 64%에가 진단 오류에 의한 것이며, 이 중 79%는 "판단 실패"를 포함함을 밝혔다. 진단 오류에서 인지편향의 역할은 의사들이 충분히 인식하지 못하며, 이러한 가정들이 의사결정에 어떤 영향을 미치는지 잘 모를 수 있다.6 진단 지연 및 오진에 대한 사례 연구는 진단 실패에서 인지편향의 중심적 역할을 설명해준다. 인지 편향에서 발생하는 오류는 외래 클리닉에서 확인된 진단 오류의 50% 이상에 영향을 미친다. 내과의사가 보고한 진단 오류와 관련된 사례에서는 83%까지 증가한다. 인지적 편견으로 인한 오류가 어떻게 발생하는지를 조사함으로써 실수나 환자 위해를 방지하기 위한 전략을 개발할 수 있다.
Gandhi et al5 found 64% of closed malpractice claims to be due solely to diagnostic error, with 79% of those cases including a “failure of judgment.” The role of cognitive bias in diagnostic error is underappreciated by physicians, who may be unfamiliar with how these assumptions influence their decision making.6 Case studies of diagnostic delay and misdiagnosis illustrate the central role of cognitive bias in diagnostic failure, showing that errors arising from cognitive bias play a role in over 50% of identified cases of diagnostic error in ambulatory clinics and in up to 83% of cases involving physician-reported diagnostic errors.9–12 By examining how errors due to cognitive biases occur, strategies may be developed to avoid mistakes and patient harm.
우리는 비판적 사고의 구성요소로 메타인지와 인지적 편견에 대한 명확한 지침이 진단 오류를 줄이고 따라서 환자 안전을 개선할 수 있는 잠재력을 가지고 있다고 주장한다.
We argue that explicit instruction by medical educators about metacognition and cognitive biases as components of critical thinking has the potential to help reduce diagnostic errors and thus improve patient safety.
진단 프로세스
The Diagnostic Process
인지 과정으로 인한 진단 오류를 예방하는 방법을 알기 위해서는, 우선 의사가 임상 결정을 내리는 방법을 이해하는 것이 중요하다. 인지 심리학자들은 문제 해결과 의사결정이 이중 프로세스 모델을 통해 이루어져야 한다고 제안했다.
시스템 1: 직관적이고 신속한 패턴 기반 의사결정,
시스템 2: 보다 분석적이고 논리적인 추론,
When considering how to prevent diagnostic errors that are due to cognitive processes, it is important to understand how physicians make clinical decisions. Cognitive psychologists have proposed that problem solving and decision making occur through a dual process model:
intuitive, rapid, pattern-based decision making, termed System 1; and
more analytic, logical reasoning, termed System 2.13,14
문헌에는 이중 처리에 대한 많은 설명이 존재하지만, 다음과 같은 일반적인 동의가 있다.
시스템 1은 패턴 인식, 엄지손가락 규칙, 또는 휴리스틱스라고 알려진 정신적 쇼트컷을 사용하여 빠르고 거의 즉각적인 결정을 내리는 것이다.
시스템 2는 문제 해결에 대한 보다 분석적인 접근방식이며, 일반적으로 익숙하지 않은 문제, 어려운 결정 또는 모순된 증거에 직면할 때 사용된다.
Although many descriptions of dual processing exist in the literature,15 there is general agreement that
System 1 is the use of pattern recognition, rules of thumb, or mental short cuts, known as heuristics, to make quick, almost instantaneous decisions.
System 2 is the more analytic approach to problem solving and is typically employed when confronted with an unfamiliar problem, a difficult decision, or contradictory evidence.
이중 처리 이론은 두 시스템이 순차적으로 기능한다는 것을 제시한다. 휴리스틱스는 문제를 즉시 해결하기 위해 사용되며, 분석적 추론은 원래의 인상을 바꾸기 위해 사용될 수 있다(물론 사용되지 않을 수도 있다).
The dual process theory suggests that the two systems function in sequence: Heuristics are used to immediately solve the problem, and analytic reasoning may (or may not) be employed to alter the original impression.16
메타인지는 의사결정을 감시하는 과정에서 자기성찰과 자기조절 능력을 말하며, 어떤 목적을 가지고 시스템2를 활용하여 문제를 해결하고자 자신의 추론에 대해 성찰하고 심사숙고하는 것이다. 메타인지 전략은 종종 시스템 2 의사결정의 활성화를 초래한다. 왜냐하면 성찰의 과정이 사용 가능한 데이터에 대한 더 분석적인 점검을 촉진할 수 있기 때문이다.
Metacognition—the capacity for self-reflection on the process of thinking and self-regulation in monitoring decision making—can be described as the purposeful engagement of System 2 problem solving through reflection and deliberative examination of one’s own reasoning. Metacognitive strategies often result in activation of System 2 decision making because the process of reflection may prompt a more analytic examination of available data.
예를 들어, 상어 공격에 관한 다큐멘터리를 본 후 어떤 동물이 인간의 죽음을 가장 많이 유발하느냐는 질문을 받았을 때, 시스템 1 처리를 사용한 당신의 즉각적인 대답은 "상어"일 가능성이 높다. 곰곰이 생각해보면(메타인지적 실천) 시스템 2 처리를 하고 정답인 모기(모기)에 도달할 수 있다.17
For example, when you are asked which animal causes the most human death after you view a documentary on shark attacks, your immediate answer, using System 1 processing, is likely to be “sharks.” On reflection (a metacognitive practice), you might engage System 2 processing and arrive at the correct answer, which is the mosquito.17
분석적 추론은 가설연역적 또는 귀납적 추론 능력이 필요하지만, 무엇보다 노력이 필요하기 때문에, (진단) 오류는 단순히 손쉽게 휴리스틱스에 의존하는 성향 때문에 발생할 수 있다. 트베르스키와 카네만은 "사람들은 제한된 수의 경험적 원칙에 의존하여, 확률 평가의 복잡한 작업을 단순 작업으로 축소시킨다." 그리고 이것이 "심각한 시스템적 오류"로 이어질 수 있다.
Because analytic reasoning requires effort—as well as an understanding of and the ability to engage in hypothetico-deductive and/ or inductive reasoning—errors may arise simply due to the expediency of depending on heuristics. As Tversky and Kahneman18 note, “people rely on a limited number of heuristic principles which reduce … complex tasks of assessing probabilities … to simpler operations” which can “lead to severe and systemic errors.”
적응적 전문성의 이론은 이중처리이론을 보완한다. 즉 임상문제 해결 시에 효율과 혁신의 균형을 맞추는 것이다.
The theory of adaptive expertise complements the dual process theory with the idea of expert practice—that is, of balancing efficiency and innovation in clinical problem solving.20,21
이 모델에서 일상적 전문성은 기존의 지식을 사용하여 일상적이거나 친숙하거나 복잡하지 않은 문제를 신속하게 해결하는 것이다.
In this model, the routine expert is an individual at any level of training who appropriately uses preexisting knowledge to quickly solve routine, familiar, or uncomplicated problems.
이와는 대조적으로, 적응적 전문성은 깊은 개념적 이해를 습득하고, 성찰에 참여하여, 복잡하거나 생소한 문제에 대한 새로운 해결책을 만들어낼 수 있으므로, 지식 기반, 추론 능력 및 이전에 접하지 못한 사례를 해결하는 능력을 추가해야 한다.22 전문적 실천을 위해서는 성장을 위한 성찰이 필요하다. 이러한 메타인지적 과정이 없이는, 실천은 개선되지 않고, 고정되며, 진단 오류가 발생할 가능성이 증가한다.23 적응적 전문성은 고정된 역량이 아니라 개인의 지식과 문제해결 능력과 함께 발전한다. 이 이론에 따르면,
[임상의는 경험 수준과 무관하게 기본지식이 있다면] 논리와 추론을 채택하여 단순한 시나리오뿐만 아니라 보다 복잡하고 불확실하며 생소한 경우에서도 적절한 진단을 내릴 수 있다.
반대로 [경험이 풍부한 임상의]더라도, 복잡한 문제, 새로운 프레젠테이션 또는 모순된 데이터에 직면했을 때 반성과 혁신의 필요성을 인식하지 못하면 잘못된 진단에 도달할 수 있다.
In contrast, the adaptive expert is able to employ a deep conceptual understanding and engage in reflection to create novel solutions for complicated or unfamiliar problems, thus adding to his or her knowledge base, reasoning capacity, and ability to solve cases not previously encountered.22 Expert practice requires reflection for growth; without engagement in this metacognitive process, practice improvement is stalled, and the chance of diagnostic errors occurring increases.23 Adaptive expertise is not a static competency; rather, it develops as the individual’s knowledge and problem-solving skills grow.
In this theory, a clinician of any experience level who possesses foundational knowledge may make appropriate diagnoses not only in simple scenarios but also in more complex, uncertain, or unfamiliar cases by employing logic and reasoning.
Conversely, an experienced clinician may arrive at an incorrect diagnosis if he or she fails to appreciate the need for reflection or innovation when confronted with a complex problem, a novel presentation, or contradictory data.
이중 프로세스와 적응적 전문성 모델을 함께 사용하면, [일상적 전문가]들이 복잡한 문제 진단에 대한 접근법에 있어 [적응적 전문가]와 어떻게 다른지 설명할 수 있다.
일상적 전문가는 신속하고 정확하게 진단에 도달하여 경험과 지식을 활용하여 경험적 질병 대본을 채택할 수 있다. 그들은 경험하지 않은 문제나 데이터에 직면했을 때 분석적 추론 전략을 사용할 필요성을 인식하지 못하거나, 주로 이전에 접했던 다른 패턴으로 전환하기 위한 목적으로 분석을 사용한다. 진단에 대한 이러한 유형의 이중 프로세스 접근방식은 적절한 임상 지식, 적절한 경험, 인지 과부하가 없는 상태, 필요할 때 성찰 또는 메타인지를 할 수 있는 능력에 근거하고 있으며, 이는 숙련된 임상의사가 임상 의사결정을 내리는 효율을 결정한다.
적응적 전문가은 두 가지 유형의 사고에 모두 관여하며, 혁신의 단계를 추가하는 능력에 의존한다. 즉, 이전의 경험과 지식을 창의적으로 활용하여, 이전에 겪지 않았던 새로운 문제나 복잡한 문제에 대한 새로운 해결책을 설계하는 것이다. 따라서 적응형 전문가들은 시스템 1과 시스템 2 접근방식을 모두 사용하여 문제를 해결하고 새로운 해결책을 도출하기 위해 기초 지식과 학습된 경험을 적용함으로써 변화하는 조건에 대응하여 효율과 혁신의 균형을 맞춘다.
The dual process and adaptive expertise models can be used together to explain how routine experts differ from adaptive experts in their approaches to diagnosing a complex problem.
Routine experts may rapidly and correctly arrive at a diagnosis, drawing on previous experience and knowledge to employ heuristic illness scripts. They may not recognize the need to use analytic reasoning strategies when faced with an unfamiliar problem or data that do not fit into the solution proposed by the heuristic, or they may use analysis primarily to switch to another previously encountered pattern. This type of dual process approach to diagnosis is predicated on adequate clinical knowledge, experience, the lack of distracting cognitive overload, and the ability to engage in reflection or metacognition when indicated, and it results in the efficiency experienced clinicians bring to clinical decision making.23,24
Adaptive expertise relies on the ability to engage in both types of thinking and adds the step of innovation—that is, designing novel solutions to new or complex problems not encountered previously by drawing creatively on prior experience and knowledge. Adaptive experts, therefore, balance efficiency and innovation in response to changing conditions, using both System 1 and System 2 approaches to problem solving and applying their foundational knowledge and learned experience to formulate novel solutions.
학습자가 임상적 의사결정을 효율적으로 하는 경우는 드물다. 학습자는 효율적 임상결정을 위하여 노력으로 휴리스틱스를 써볼 수 있지만, 경험 부족이 부족하기 때문에 휴리스틱스가 실패했을 때 지식의 부족이나 자기조절의 문제를 판단하지 못하고, 경험 있는 임상의보다 실수를 더 많이 한다. 그러나 초보자든 경험이 많은 의사든, 모두 인지편향으로 인한 진단오류를 경험할 수 있다.
Learners are rarely efficient in their clinical decision making. They may try to employ heuristics in an effort to be efficient, but they may be more prone to errors than experienced clinicians, as their lack of experience provides inadequate knowledge or self-regulation to determine when heuristics fail. However, both novices and experienced clinicians can experience diagnostic error due to cognitive bias.
휴리스틱스와 인지 편향 사이의 상호작용이 진단 오류를 초래할 수 있는 임상 상황의 [경고 징후]에 포함되는 것으로는, 하나 이상의 가능한 진단을 생성하지 못하거나 모든 데이터를 설명하지 못하는 것이 있다. 이러한 "적색 깃발"은 임상의사가 사례를 더 분석하게 유도해야 하며, 이는 그 순간에 메타인지를 보여준다고 할 수 있다. 기초과학 연구가 임상지식을 위한 프레임워크의 개발을 통해 의대생들에게 복잡한 과목의 미래 학습을 준비시키듯이, 25 인지적 편견이 휴리스틱과 어떻게 상호작용할 수 있는지에 대한 인식은 메타인지적 성찰 전략을 학습하기 위한 비계를 제공할 수 있다. 또한 학습자가 [휴리스틱스 사용에 내재된 가치와 위험] 두 가지를 모두 이해할 수 있도록 할 수 있다.
Warning signs of clinical situations in which the interaction between heuristics and cognitive bias may lead to diagnostic error include the failure to generate more than one possible diagnosis or the failure to account for all the data. These “red flags” should prompt the clinician to further analyze the case, a cognitive process that represents metacognition in the moment. Just as the study of basic science prepares medical students for future learning of complex subjects through the development of a framework for clinical knowledge,25 an awareness of how cognitive biases may interact with heuristics can provide a scaffolding for learning metacognitive reflective strategies and may allow learners to understand both the value and risk inherent in the use of heuristics.
마지막으로, 진단에 대한 의사 결정은 [질병의 기본 비율, 우도 비율 및 사전 테스트 확률]에 대한 의사의 이해를 사용하여 임상 맥락에서 이루어진다. 진단 테스트의 민감성과 특수성에 대한 이해 외에도 의사의 개인적인 경험은 테스트 결과의 해석과 진단 결정에 기여한다. 일화적 경험("N=1인 상황")때문에 생길 수 있는 잠재적인 편견에 대한 인식이 없다면 아무리 경험이 많은 의사라도 진단 오류를 범할 수 있다.
Lastly, decisions about diagnoses are made in the clinical context, using the physician’s understanding of base rates of disease, likelihood ratios, and pretest probabilities. The physician’s personal experiences, in addition to his or her understanding of the sensitivity and specificity of a diagnostic test, contribute to the interpretation of test results and determination of a diagnosis. Without an awareness of potential bias based on anecdotal experience (the “N of one”), even the most experienced physician can make a diagnostic error.
궁극적으로 임상 추론은 휴리스틱스, 베이지안 임상 역학 원리, 질병의 메커니즘에 대한 철저한 이해에 기초한 귀납적 이성 부여를 포함한 복수의 접근방식을 통합해야 하며, 아래에서 논할 것처럼 인지적 편견의 효과에 대해 반성하고 수정할 수 있는 능력(그림 1)이 필요하다.
Ultimately, clinical reasoning requires integration of multiple approaches including heuristics, Bayesian principles of clinical epidemiology, inductive reasoning based on thorough understanding of mechanisms of disease, and, as we will discuss below, the ability to reflect on and correct for the effect of cognitive biases (Figure 1).
진단 오류에서 인지적 실수의 역할에 대한 증거
Evidence for the Role of Cognitive Mistakes in Diagnostic Errors
진단 오류에서 인지 처리의 역할을 검사할 때 어려운 점 중 하나는, 대부분의 인지 실수가 사례 중 일부에서만 발생한다는 것이다. 이러한 실수는 진단 과정의 여러 단계에서 발생할 수 있다.
One of the challenges of examining the role of cognitive processing in diagnostic error is that most cognitive mistakes are made in a subset of cases. These mistakes can arise at multiple steps in the diagnostic process.
예를 들어, 일반적인 질병의 비전형적 presentation, 혼수상태의 존재, 또는 인지된 기준률base rate을 변경시키는 환자 특성이 있으면, 다음의 인지적 편견으로 인해 부정확하거나 불완전한 진단으로 이어질 수 있다.
앵커링(환자의 초기 프레젠테이션의 특정 기능에 대한 수정, 새로운 정보로 조정 실패)
프레임 설정(문제가 고려되는 임상적 맥락 또는 이전 제공자가 제공한 분석에 의해 영향을 받는 결정)
확증편향ascertainment(의사가 찾기를 희망하거나 기대하는 것에 의해 형성되는 생각).
인지 과부하는 잘못된 추론 전략의 원인이 될 수 있다.
For example, an unusual presentation of a common illness, the presence of comorbidities, or patient characteristics that change the perceived base rate can lead to incorrect or incomplete diagnoses due to the cognitive biases of
anchoring (fixation on specific features of a patient’s initial presentation, failure to adjust with new information),
framing (decisions affected by the clinical context in which a problem is considered or by the analysis provided by a prior provider), or
ascertainment (thinking shaped by what the physician hopes or expects to find).
Cognitive overload may contribute to faulty reasoning strategies.
일상 생활에서 대부분의 경우는 쉽게 알아볼 수 있는 진단이나 일반적인 문제에 대한 전형적 프레젠테이션이며, 즉, "루틴"이다. 이러한 경우 시스템 1의 의사결정은 신속하고 정확하며 적절하다.
In daily practice, most cases are “routine,” with an easily recognizable diagnosis or a classical presentation of a common problem. For these cases, using System 1 decision making is quick, accurate, and appropriate.
진단 오류의 원인을 분석할 때 의사가 전형적 프레젠테이션에서 진단에 도달하는 방법을 연구하는 것은 유용하지 않다.
In analyzing the causes of diagnostic errors, studying how physicians arrive at the diagnosis in classic presentations (even of unusual conditions) is not useful
오히려 인지적 편견을 감지하기 위해 검사해야 하는 것은 의사들이 어떻게 비전형적 프레젠테이션에서 진단에 도달하는가 하는 것이다. 이 때, 어려운 진단에 직면하게 되면 인지적 편향이 드러난다.
Rather, to detect cognitive bias, what must be examined is how physicians arrive at the diagnosis in atypical presentations, where cognitive biases may be unmasked in confronting a difficult diagnosis.27
예를 들어, 한 연구에서 레지던트들은 컴퓨터 기반의 복잡성 차이를 평가하도록 요청받았다.28 그 사례들 중 하나는 일산화탄소 중독의 전형적 임상표현로 구성되었다. 아무리 분석적 추론을 해도 이 진단에 대한 임상의의 마음은 바뀌지 않을 것이며, 경험이 풍부한 의사가 굳이 더 분석적인 접근법을 채택할 이유가 없다.
For example, in one study residents were asked to evaluate computer-based cases of differing complexity.28 One of the cases consisted of a classic presentation of carbon monoxide poisoning. No amount of analytical reasoning will change a clinician’s mind about this diagnosis, and for experienced clinicians, there is no reason to employ a more analytic approach.
이와는 대조적으로, 비전형적 임상표현이 있는 경우 또는 진단 확신이 덜한 모순되거나 복잡한 데이터를 가지고 있는 경우, 경험이 있는 의사라 할지라도, 의대생이나 레지던트보다 진단 정확도가 더 높지 않을 수 있다. 각 사례의 중간에 모순된 정보가 소개된 네 가지 사례를 이용하여, Krupat 외 연구진들은 진단 정확도가 교직원, 레지던트 , 의대생들 간에 다르지 않다는 것을 발견했다. 경험이 많은 의사들은 추가적인 정보가 불일치했음에도 불구하고 초기 인상을 고집하는 경향이 있었다.
In contrast, when presented with cases with atypical presentations or with conflicting or complex data for which the diagnosis is less certain, experienced physicians may have no better diagnostic accuracy than medical students or residents. Using four cases in which contradictory information was introduced midway through each case, Krupat et al29 found that diagnostic accuracy was not different among faculty physicians, residents, and medical students. The more experienced physicians tended to persist with their initial impressions despite the additional discordant information.
비록 소수의 경우를 대표하지만, 비전형적 임상표현은 상당한 환자에 대한 harm으로 이어질 수 있다. 이러한 경우 의사는 엄격한 분석적 추론의 적용과 인지 처리에 대한 더 나은 인식으로부터 이익을 얻을 수 있다.
Unusual presentations, although representing a minority of cases, are the ones that may lead to substantial patient harm. In these cases, physicians would benefit from better awareness of cognitive processing and application of rigorous analytic reasoning.
환자 치료에서 지식 부족은 오진의 원인 중 흔하지 않다. 매사추세츠 주의 23,000건 이상의 의료과실 사례에서 발생한 비공개 클레임 데이터를 분석한 결과, 전체 사례의 20%가 진단 오류로 인한 것으로 나타났다.9 이러한 진단 오류 사례의 73%에서 임상 추론에서 확인 가능한 오류가 있었다. 이와는 대조적으로, 전체 사례의 3%만이 지식의 결핍에 기인했다; 즉, 오류는 의사가 진단에 익숙하지 않아서가 아니라, 의사가 진단을 고려하지 않았기 때문에 일어났다. 성공적인 청구 중 72.1%가 진단 오류와 관련된 1차 진료 의료 과실 청구 분석에서도 유사한 결과가 발견되었다.3 이러한 오류는 궁극적으로 환자 및 가족력을 얻거나 업데이트하거나, 적절한 신체검사를 수행하거나, 적절한 진단 테스트를 오더하거나, 환자를 적절하게 refer하지 못하였기 때문에 발생하였다.
In patient care, a knowledge deficit is an uncommon cause for misdiagnosis. In an analysis of closed claims data from over 23,000 malpractice cases in Massachusetts, 20% of total cases were attributed to diagnostic errors.9 In 73% of these diagnostic error cases, there was an identifiable lapse in clinical reasoning. In contrast, only 3% of total cases were attributed to a knowledge deficit; in these cases, the error occurred not because the doctor was unfamiliar with the diagnosis but, rather, because the doctor did not consider the diagnosis. Similar results were found in an analysis of primary care malpractice claims where 72.1% of successful claims were related to diagnostic errors.3 The errors ultimately attributed to faulty clinical reasoning occurred in the failure to obtain or update a patient and family history, to perform an adequate physical exam, to order appropriate diagnostic tests, and/or to refer patients appropriately.
차트 검토 및 기타 품질 개선 이니셔티브에서 인지 오류로 인한 진단 오류의 빈도를 보여준 바 있다.
Chart reviews and other quality improvement initiatives have demonstrated the frequency of diagnostic errors due to cognitive mistakes.
복통을 나타내는 환자의 차트에 대한 응급의학 검토 결과 35%가 진단 오류를 가지고 있으며, 불완전한 이력 복용, 부정확하거나 의미 없는 테스트 또는 비정상적인 테스트 결과에 대한 후속 조치 부족으로 인한 오류의 69%가 발견되었으며, 30. 지연되거나 누락된 진단은 결핵, HIV 관련 질병, 암, 심혈관 질환과 같이 비전형적 임상표현이 나타날 수 있는 진단에도 흔하다.31 표준화된 환자를 이용해 외래진료소를 찾는 ‘비밀구매자’ 프로그램은 일반 질병으로 10%~15%의 오류율을 보였다. 입원환자 설정에서 83%의 진단 오류가 예방 가능한 것으로 확인되었으며, 반면 부검 연구는 지속적으로 10%에서 20%의 진단 누락을 보여주었다.
An emergency medicine review of the charts of patients presenting with abdominal pain found that 35% had diagnostic errors, with 69% of those errors due to incomplete history taking, incorrect or unindicated testing, or lack of follow-up on abnormal test results.30 Delayed or missed diagnoses are also common for diagnoses that may have unusual presentations, such as tuberculosis, HIV-associated disease, cancer, and cardiovascular disease.31 “Secret shopper” programs, which use standardized patients to visit outpatient clinics, have demonstrated a 10% to 15% error rate with common diseases.31 In the inpatient setting, 83% of diagnostic errors have been found to be preventable,32 whereas autopsy studies have consistently shown a 10% to 20% rate of missed diagnoses.33,34
인지 편향은 진단 오류의 근본 원인으로 잘 인식되지 않는다. 그보다는 의료시스템의 문제가 더 많이 지적된다. 의사들은 의료 인프라에 대해 공개적으로 인정하고 다루지만, 개개인의 실패라고 인식될 수 있는 인지적 실수를 논하는 것은 불편할 수 있다.35
Cognitive bias is less well recognized as a root cause of diagnostic error than are failures of health care systems. Physicians openly acknowledge and address medical infrastructure factors, but they may not be comfortable discussing cognitive mistakes, which are often perceived as individual failings.35
실제 사례에 대한 연구는 인지적 편견이 의사결정에 미칠 수 있는 영향을 입증하여 잘못된 판단과 환자에게 위험 또는 위해를 초래할 수 있다.
Studies of real-world cases have demonstrated the effect that cognitive bias can have on decision making, leading to faulty judgment and possible risk or harm to patients.
개업 의사들의 인지편향에 관한 문헌의 체계적인 검토39에서는 과신, 고정, 가용성 편향(정신적 회수의 용이성에 근거한 사건 발생 가능성을 판단) 및 위험의 허용이 진단 부정확성 또는 부적절한 관리와 관련이 있다는 것을 발견했다. 네덜란드의 차트 검토 결과 (조기 종결, 확증 편향, 과신 등) 인지적 편견으로 인해 정보 처리에 결함이 있는 경우는 정보 수집이 잘못되거나 불완전한 경우보다 진단 오류와 환자 위해로 이어질 가능성이 더 높았다.40
A systematic review39 of the literature on cognitive bias in practicing physicians found that overconfidence, anchoring, availability bias (judging the likelihood of an event based on the ease of mental retrieval), and tolerance of risk were associated with diagnostic inaccuracies or suboptimal management. Chart reviews from the Netherlands found that cases with faulty information processing due to cognitive biases, such as premature closure, confirmation bias, and overconfidence, were more likely to lead to diagnostic error and patient harm than were cases with faulty or incomplete information gathering.40
메타인지의 한 가지 형태인 성찰 능력을 더 많이 보이는 의사의 환자 결과는 더 뛰어날 수 있다. 예 외 연구진 41은 성찰 능력 테스트에서 더 높은 점수를 받은 산부인과 의사들이 제왕절개 분만 후 질 출산 시도의 성공률이 더 높다는 것을 발견했다.
Physicians who display more reflective capacity, a form of metacognition, may have better patient outcomes. Yee et al41 found that obstetricians who scored higher on reflective capacity tests had higher rates of successful attempts of vaginal birth after cesarean delivery.
의료과실 및 진단 오류 문헌은 개선된 임상 추론의 역할을 분명하게 보여주며, 비판적 사고를 가르치기 위한 교육적 개입이 필요하다는 것을 시사한다. 그러한 개입의 방식으로는
인지 전략을 개선하거나,
인지 편향 완화 전략을 가르치거나,
인지 편향에 대한 인식을 높이려고 시도할 수 있다.
The malpractice and diagnostic error literatures clearly demonstrate a role for improved clinical reasoning and suggest that educational interventions for teaching critical thinking are needed. Such interventions may attempt to
improve metacognitive strategies,
teach cognitive bias mitigation strategies, or
increase awareness of cognitive bias.
Norman 등 8명은 최근 인지적 편견을 인정하고 해결하기 위한 교육 전략이 지금까지 성공하지 못했다고 제안했다. 환자 안전이나 결과 면에서 교육적 개입의 효과를 입증하는 것은 어렵다.
Norman et al8 recently suggested that educational strategies to recognize and address cognitive bias have been unsuccessful so far. Demonstrating efficacy of any educational intervention in terms of patient safety or outcomes is difficult.
블루멘탈-바비와 크리거는 학습자의 인지편향에 대한 연구가 생태학적 타당성을 갖는 경우는 거의 없다고 지적했다. 대부분의 연구는 (실제) 임상적 의사결정이 아닌 실험 상황의 사례 vignete에 기초했으며, 연구된 인지적 편견은 몇 가지로 제한되어 있다.
프레이밍
누락(부작용의 부작용보다 더 나쁜 것으로 판단하는 경향)
상대위험(절대위험보다 상대위험이 주어졌을 때 개입을 선호하는 경향)
가용성 편견43
Blumenthal-Barby and Krieger,43 pointed out that few studies of cognitive bias in learners had ecological validity. Most studies were based on experimental case vignettes rather than clinical decision making, and the cognitive biases studied were limited to a few —
framing,
omission (the tendency to judge adverse outcomes of actions as worse than adverse outcomes of inaction),
relative risk (the tendency to prefer to choose an intervention when given the relative risk rather than the absolute risk), and
availability biases.43
그러한 연구의 많은 부분이 임상적 추론과 의사결정에 적용가능성이 의심스럽다. 예를 들어, 노먼 외 연구진은 2년차 레지던트를 "신속 코호트"와 "성찰 코호트"로 구분했다. 그러나 연구의 실험 조건(연습 기간이 경과한 타이머를 표시하는 컴퓨터 모듈)은 저자들이 복제하려고 했던 바쁜 응급실을 정확한 보여주었다고 볼 수 없다.
The applicability of many of such studies to clinical reasoning and decision making is questionable. For example, Norman et al28 divided second-year residents into a “speed cohort” and “reflect cohort.” However, the experimental conditions used (computer modules with a timer displaying elapsed duration of the exercise) are not an accurate representation of a busy emergency department, which the authors were trying to replicate.
반대로, 다른 연구에서는 성찰연습 훈련이 진단 정확도를 향상시킬 수 있다는 것을 발견했다. 내과 레지던트들을 대상으로 한 연구에서 마메데 외 연구진은 1, 2년차 레지던트들에게 향상된 진단 정확도를 보여주었다. 추론 기술, 확률론적 의사결정 및 베이지안 추론에 대한 지침은 특히 조기 종결, 질병의 기본 비율base rate의 무시, 휴리스틱스에 대한 부적절한 의존의 영향을 감소시킴으로써 진단 정확도를 향상시킬 수 있다.45,46
Conversely, others have found that training in reflective practice may improve diagnostic accuracy: In a study of internal medicine residents, Mamede et al44 demonstrated improved diagnostic accuracy in first-and second-year residents. Instruction in reasoning skills, probabilistic decision making, and Bayesian reasoning may improve diagnostic accuracy by decreasing the effects of cognitive biases—in particular premature closure, neglect of base rates of disease, and inappropriate reliance on heuristics.45,46
인지전략이 진단정확성에 미치는 영향
Effect of Metacognitive Strategies on Diagnostic Accuracy
임상 추론을 개선하고 진단 오류를 피하기 위해 [메타인지 기술 교육의 효과]에 대한 데이터를 평가할 때, 연구 대상자의 전문성 수준을 인식하는 것이 중요하다. 임상적 추론에서 인지적 편견에 대한 인식을 높이기 위한 전략을 가르치려는 시도(때로는 인지적 강제력 전략, 약화 전략 또는 인지적 편향 완화라고 함)는 서로 다른 그룹과 상충되는 결과를 보였다.6,47,48
When evaluating the available data on the efficacy of teaching metacognitive skills to improve clinical reasoning and avoid diagnostic error, it is important to recognize the level of expertise in the study population. Attempts to teach strategies to raise awareness of cognitive bias in clinical reasoning—sometimes referred to as cognitive forcing strategies, debiasing strategies, or cognitive bias mitigation—have shown conflicting results with different groups.6,47,48
의대생을 대상으로 한 연구는 진단 정확도의 향상이 제한적임을 보여주었는데, 이는 초기 단계의 학습자에게 내재된 지식의 결핍 때문일 수 있다: 지식의 결핍이 존재한다면, 단기적으로 진단 정확도나 속도를 향상시키지 못할 가능성이 있다.24,47,48 게다가, 학생들은 애초에 앵커링 또는 가용성 편견의 희생양이 될 정도의 충분한 경험이 없었을 수 있다. 따라서 초보 학생이 특별히 인지편향에 면역력이 있지는 않지만, 메타인지 기법이나 debiasing 전략을 배운다고 해서 즉시 이익을 얻지는 못할 수 있다.
Studies involving medical students have demonstrated limited improvement in diagnostic accuracy, which may be due to knowledge deficits inherent in early-stage learners: Debiasing strategies are unlikely to improve diagnostic accuracy or speed in the short term if knowledge deficits exist.24,47,48 Furthermore, students may not have enough experience to fall victim to anchoring or availability biases. Therefore, although novice students are not immune to cognitive bias, they may not immediately benefit from instruction in metacognitive techniques or debiasing strategies.
수련과 레지던트 전환이 진전되면서 지식과 경험을 쌓게 되고 패턴 인식과 휴리스틱스를 이용해 문제를 해결할 가능성이 높아진다. 그러나 경험을 쌓고 질병 대본illness script가 만들어짐에 따라 가용성 편중과 앵커링으로 인해 진단 오류를 범하기 쉬워진다.44 레지던트들에게 메타인지 기술을 가르치려는 노력의 발견이 흥미롭고 이 발달 단계와 일치한다.28,49–53
As students advance in their training and transition to residency, they acquire knowledge and experience, and they become more likely to problem solve using pattern recognition and heuristics. However, as trainees acquire experience and develop illness scripts, they also become more prone to making diagnostic errors due to availability bias and anchoring.44 Findings from efforts to teach metacognitive skills to residents are interesting and consistent with this developmental stage.28,49–53
일반적인 인지 편견과 debiasing 전략을 인식하기 위한 상세한 지침을 제공하는 교육적 개입은 레지던트의 비판적 사고 능력을 단기 및 장기적으로 개선한다는 것이 입증되었다.49,50 메타인지 기술과 debiasing 전략 기반의 종단적 커리큘럼은 공통적 인지 편향에 대한 인식을 증가시켰다. 그리고 환자, 가족, 그리고 동료들과의 토론이 개선되었다. 무엇보다 중요한 것은 이러한 효과가 1년간의 후속 조치에서도 지속되었다는 점이다.49
Educational interventions providing detailed instruction in recognizing common cognitive biases and debiasing strategies have demonstrated both short-and long-term improvements in residents’ critical thinking skills.49,50 A longitudinal curriculum of metacognitive skills and debiasing strategies resulted in increased awareness of common cognitive biases, as well as improved discussions with patients, families, and colleagues. Importantly, this effect persisted at the one-year follow-up.49
시스템 1 의사결정에 의존하는 것이 모든 진단 오류의 원인은 아니다. 실제로, 심사숙고적 사고를 더 많이 했을 때 오류를 야기할 수 있다는 일부 증거가 있다.48 그러나 부적절하거나 검토되지 않은 휴리스틱스를 사용하면 의사결정이 손상될 수 있다.54 그리고 슐츠55가 지적하듯이, "결정을 할 때 잘못된 의사결정을 하는 순간에도 옳은 결정을 하는 것과 같은 느낌을 받는다." 인지적 편견의 영향에 익숙하고 휴리스틱스에 의존하는 함정에 대한 인식을 가지고 있는 의사들 조차도 그들 자신이 그들의 영향에 취약하다고 믿지 않을 수 있으며, 그들은 그들 자신의 의사결정에 있어서 단지 소수의 인지적 편향만을 인정할 수 있다.56
Reliance on System 1 decision making is not the cause for all diagnostic errors; indeed, there is some evidence that more deliberative thinking can also result in errors.48 However, the inappropriate or unexamined use of heuristics can result in impaired decision making,54 and as Schulz55 notes, “when making a decision, making a wrong decision feels the same as making a right decision.” Even physicians who are familiar with the effects of cognitive biases and have an awareness of the pitfalls of dependence on heuristics may not believe themselves to be vulnerable to their influence, and they may only acknowledge a few of many instances of cognitive biases in their own decision making.56
편향적 사고를 피하기 위한 전략 학습 및 실천(즉, debiasing 또는 인지적 강제 전략 필요)을 위해서는 노력과 조심성이 필요하다. 이러한 전략은 [임상 추론의 자동성]을 방해할 때 가장 잘 작용하는 것으로 보인다. 임상의사는 증거의 다시 생각해봄으로써 자신의 초기 사고 과정을 재평가해야 한다.57–59
Learning and practicing strategies to avoid biased thinking—that is, debiasing or cognitive forcing strategies—requires effort and vigilance.6 These strategies seem to work best when they disrupt the automaticity of clinical reasoning, requiring the clinician to reevaluate his or her initial thought processes through reconsideration of the evidence.57–59
자신의 추론에 대한 반성이 가장 중요하다. 의료인은 휴리스틱스(Huristics)를 검사하고, 실수나 편견에 대한 자신의 추론을 모니터링하고, 사고 과정을 스스로 규제하도록 가르칠 수 있고 가르쳐야 한다. 인지적 편견 인식 전략은 다른 비판적 사고 기술과 마찬가지로 환자의 안전과 환자 관리를 향상시키기 위한 잠재적인 도구로서 의학 학습자에게 가르칠 수 있다. 학습자들은 "1분 교수법"으로 알려진 5가지 마이크로스킬 모델, 60과 같은 비판적 사고를 촉진하기 위한 다른 전략과 함께 인지 편향 인식을 배울 수 있다. 환자 인도 시 또는 복잡한 환자를 마주할 때 "diagnostic time-out"(진단을 유도하는 사고 프로세스를 성찰하기 위한 명시적 일시 정지)를 요구하는 것과 같은 간단한 작업만으로도 의사들을 위한 성찰과 메타인지를 촉진할 수 있다.
Reflection on one’s reasoning is of paramount importance. Clinicians can and should be taught to examine heuristics, monitor their own reasoning for mistakes and biases, and self-regulate their thought processes. Cognitive bias awareness strategies, like other critical thinking skills, can be taught to learners in medicine as potential tools to advance patient safety and patient care. Learners can be taught cognitive bias awareness along with other strategies to promote critical thinking, such as the five microskills model known as the “one-minute preceptor,”60 to help them develop habits of mind and healthy skepticism about their own thought processes. Engaging in simple practices such as calling for a “diagnostic time-out” (an explicit pause to reflect on the thinking process leading to the diagnosis) at patient handoff or when confronted with a complex patient promotes reflection and metacognition for physicians at any level.60,61
더 나은 진단 정확성과 환자 결과를 위한 증거
Evidence for Better Diagnostic Accuracy and Patient Outcomes
진단 오류와 환자 위해를 예방하는 인지 바이어스 인식 훈련의 효과를 살펴본 연구는 거의 없었다. 진단 오류를 방지하기 위한 최근 개입 검토 결과 대부분의 개입이 교육적이지 않은 것으로 나타났다. 109개 연구 중 11개 연구만 임상의 교육을 포함했으며, 환자 결과를 보고한 사람은 거의 없었다.62
Few studies have looked at the efficacy of cognitive bias awareness training in preventing diagnostic error and patient harm. A recent review of interventions to prevent diagnostic errors found that the vast majority of interventions were not educational: Only 11 of 109 studies included clinician education, and few reported any patient outcomes.62
종단적 및 통합 커리큘럼은 인지적 편견에 대한 인식 향상과 성찰적 실천의 사용에 효과적이다.49,63 메인 메디컬 센터에서 거주자와 개업 의사를 위한 통합 인지 바이어스 인식 커리큘럼의 도입으로 진단 오류의 보고와 스탠다드에 대한 프로토콜의 증가로 이어졌다.환자를 돌보다64
Longitudinal and integrated curricula are effective at improving awareness of cognitive biases and use of reflective practice.49,63 Introduction of an integrated cognitive bias awareness curriculum for residents and practicing physicians at Maine Medical Center led to an increase in the reporting of diagnostic errors, as well as protocols to standardize patient care.64
이러한 연구는 인지적 편견과 변형에서 지속적인 교육이 환자 결과를 향상시킬 수 있음을 시사한다.
These studies suggest that continuing education in cognitive biases and metacognition may improve patient outcomes.
미래 방향과 결론
Future Directions and Conclusions
의료 교육이 내용 전달에 초점을 맞춘 것에서 비판적 사고와 문제 해결 기술의 발달로 옮겨감에 따라, 교육자들은 학습자가 특정 환자의 이력, 신체 검사 및 실험실 데이터를 설명하기 위해 기초 원리와 개념에서 추론하는 데 필요한 기술을 개발하고 연습하도록 강요해야 한다. 학생이 임상실습을 시작하고, 레지던트 프로그램으로 나아감에 따라 교수진은 이러한 기술을 지속적으로 강화해야 한다. 귀납적 추론과 메타인지 스킬은 규칙적으로 연습하지 않으면 점점 쇠퇴한다.
As medical education shifts from a focus on content transfer to the development of critical thinking and problem-solving skills, educators must push learners to develop and practice the skills needed to reason from foundational principles and concepts to explain the history, physical examination, and laboratory data for a given patient.67,68 As students enter clinical clerkships and progress to residency programs, faculty must continue to reinforce these skills; when not practiced regularly, inductive reasoning and metacognitive skills atrophy.
시간이 지남에 따라, [성찰적 실천]과 [인지적 편향 인식 전략]을 가르치려는 노력은 더 나은 진단 습관을 가져오고 궁극적으로 환자 안전을 향상시킬 수 있다.63
Over time, efforts to teach reflective practice and cognitive bias awareness strategies may lead to better diagnostic habits and ultimately to improved patient safety.63
베이시안 추론과 같은 분석적 접근법을 가르치는 것,
확률적 의사결정 및 가능성 비율에 대한 의사의 이해도 향상
진단 테스트의 특수성 및 민감도에 대한 평가 향상
...등도 인지적 실수로 인해 발생한 진단 오류를 줄이는 데 도움이 될 수 있다.
Teaching analytic approaches such as Bayesian reasoning,
improving physicians’ understanding of probabilistic decision making with likelihood ratios, and
increasing appreciation of diagnostic test specificity and sensitivity
may also help to decrease diagnostic errors made because of cognitive mistakes.
학습자가 적응적 전문지식을 습득할 수 있도록 교육자는 반드시
휴리스틱 추론과 분석적 추론의 적절한 사용과 도전을 인식하도록 도와야 한다.
임상 시나리오에 대한 진단 접근 방식을 조정해야 한다.
불확실한 일에 부딪쳐도 마음이 편해야 한다.
To help learners achieve adaptive expertise, educators must
help them recognize the appropriate use and challenges of both heuristics and analytic reasoning,
adapt their approach to diagnosis to the clinical scenario, and
become comfortable with regular encounters with uncertainty.
작업장 개입은 의료진의 진단 오류를 피하기 위한 노력에 도움이 될 수 있다. 전 세계의 medical practice는 진단 정확도에 대한 피드백을 얻기 어려운 임상 환경으로 변화하고 있으며, 의사들이 실수로부터 배우지 못하게 만들고 있다.33,34
Workplace interventions may assist practicing clinicians in their efforts to avoid diagnostic errors. Global changes in medical practice have led to a clinical environment in which feedback on diagnostic accuracy is difficult to obtain, denying physicians the opportunity to learn from mistakes.33,34
또한 진단 오류에 관한 의학 문헌의 변화가 필요하다. 전문직으로서, 의사는 의료 오류를 초래하는 의료 시스템 요인을 식별하고 다루는 것을 편한하게 느낀다. 반면 진단 오류는 해결하고 예방하기가 더 어려운 것으로 인식된다. 의사들은 그들 자신의 진단 오류를 인정하기를 꺼린다. 특히 실수가 종종 개인적인 실패와 전문적인 과실로 보여질 때, 문화와 의사소통의 작은 변화는 진단에서 불확실성을 인정하고 오류를 인정하는데 더 안전한 환경을 구축하는 데 도움이 될 수 있다. Singh가 제안하든, "진단 오류"를 "진단 기회 누락"으로 명칭을 단순하게 변경하면 이러한 오류를 탈-낙인화하고 비-개인화하는데 도움이 될 수 있다.72 어려운 경우나 환자 핸드오프 시 진단 타임아웃을 일상적으로 통합하는 것과 같은 안전하고 개방적인 의사소통의 문화를 촉진하기 위한 기법을 사용해야 한다.60,61,73 도덕률 및 사망률 회의는 책임 배정에 대한 징벌적 또는 판단적 접근보다는, 추론을 탐구하는 데 초점을 맞춰 진단 오류를 식별하고 학습하는 원래의 취지로 돌아가야 한다.
Further, a change in the culture of medicine regarding diagnostic error is needed. As a profession, physicians have become more comfortable with identifying and addressing health care systems factors that lead to medical error.35 Diagnostic error is perceived as more difficult to address and prevent. Physicians are reluctant to acknowledge their own diagnostic errors, especially when mistakes are often seen as personal failings and professional lapses.64 Small changes in both culture and communication may help establish a safer environment for admitting uncertainty in diagnoses and acknowledging errors. A simple change in name, as suggested by Singh, from “diagnostic errors” to “missed opportunities in diagnosis” may help destigmatize and depersonalize these errors.72 Techniques to promote a culture of safe and open communication should be employed, such as routinely incorporating a diagnostic time-out for difficult cases or at patient handoffs.60,61,73 Morbidity and mortality conferences should return to the original intent: identifying and learning from diagnostic errors, focusing on an exploration of reasoning rather than taking a punitive or judgmental approach to assigning blame.
의사는 불확실성의 개념을 [무지와 무능의 인정]이 아니라 [임상 의학에 대한 정교한 접근]의 표현으로 받아들여야 한다.74 진단 프로세스에서 다른 의료 전문가, 환자 및 가족을 의미 있는 파트너로 받아들이는 것도 잠재적으로 진단 오류를 탐지하고 예방하는 데 강력하다.70 마지막으로, 불확실성과 오류성를 표현하는 한 가지 방법은, "감별 진단"을 "진단 가설"로 재명명하는 것이며, 그렇게 한다면 임상 시나리오가 전개됨에 따라 검증testing을 장려하고, 잠재적으로 결론을 변경할 수 있다.
Physicians should embrace the idea of uncertainty as a mark of a sophisticated approach to clinical medicine, rather than as an admission of ignorance or incompetence.74 Enlisting other health care professionals, patients, and families as meaningful partners in the diagnostic process is also potentially powerful for detection and prevention of diagnostic errors.70 Lastly, relabeling “differential diagnosis” as “diagnostic hypotheses,” as an expression of uncertainty and fallibility, would encourage testing and potentially changing one’s conclusions as a clinical scenario unfolds.75
과학에 기초한 학문으로서의 의학 교육의 표준화가 20세기 의학에 지장을 주지 않는 발전을 가져다 주었듯이, 비판적 사고력의 발달에 대한 집중이 증가함에 따라 금세기에도 유사한 이익을 얻을 수 있을 것이다.
Just as standardization of medical education as a science-based discipline helped bring unimagined improvements to medicine in the 20th century, the increased focus on the development of critical thinking skills may reap similar benefits in this century.
8 Norman GR, Monteiro SD, Sherbino J, Ilgen JS, Schmidt HG, Mamede S. The causes of errors in clinical reasoning: Cognitive biases, knowledge deficits, and dual process thinking. Acad Med. 2017;92:23–30.
29 Krupat E, Wormwood J, Schwartzstein RM, Richards JB. Avoiding premature closure and reaching diagnostic accuracy: Some key predictive factors. Med Educ. 2017;51:1127– 1137. XXX
68 Schwartzstein RM, Roberts DH. Saying goodbye to lectures in medical school— Paradigm shift or passing fad? N Engl J Med. 2017;377:605–607.
,94 (2), 187-194
Teaching Critical Thinking: A Case for Instruction in Cognitive Biases to Reduce Diagnostic Errors and Improve Patient Safety
1C.S. Royce is instructor, Department of Obstetrics and Gynecology, Beth Israel Deaconess Medical Center, Harvard Medical School, Boston, Massachusetts. M.M. Hayes is assistant professor, Department of Medicine, Shapiro Institute for Education and Research, Beth Israel Deaconess Medical Center, Harvard Medical School, Boston, Massachusetts. R.M. Schwartzstein is professor, Department of Medicine, Shapiro Institute for Education and Research, Beth Israel Deaconess Medical Center, Harvard Medical School, Boston, Massachusetts.
Diagnostic errors contribute to as many as 70% of medical errors. Prevention of diagnostic errors is more complex than building safety checks into health care systems; it requires an understanding of critical thinking, of clinical reasoning, and of the cognitive processes through which diagnoses are made. When a diagnostic error is recognized, it is imperative to identify where and how the mistake in clinical reasoning occurred. Cognitive biases may contribute to errors in clinical reasoning. By understanding how physicians make clinical decisions, and examining how errors due to cognitive biases occur, cognitive bias awareness training and debiasing strategies may be developed to decrease diagnostic errors and patient harm. Studies of the impact of teaching critical thinking skills have mixed results but are limited by methodological problems.This Perspective explores the role of clinical reasoning and cognitive bias in diagnostic error, as well as the effect of instruction in metacognitive skills on improvement of diagnostic accuracy for both learners and practitioners. Recent literature questioning whether teaching critical thinking skills increases diagnostic accuracy is critically examined, as are studies suggesting that metacognitive practices result in better patient care and outcomes. Instruction in metacognition, reflective practice, and cognitive bias awareness may help learners move toward adaptive expertise and help clinicians improve diagnostic accuracy. The authors argue that explicit instruction in metacognition in medical education, including awareness of cognitive biases, has the potential to reduce diagnostic errors and thus improve patient safety.
임상 프리셉터로부터 받은 유도 질문에 대한 학생의 이해(Teach Learn Med, 2016)
Medical Students’ Understanding of Directed Questioning by Their Clinical Preceptors
Lawrence Loa and Glenn Regehrb
aCentre for Health Education Scholarship and Division of Geriatric Medicine, Faculty of Medicine, University of British Columbia, Canada; bCentre
for Health Education Scholarship and Department of Surgery, Faculty of Medicine, University of British Columbia, Canada
도입
Introduction
교사와 의대생 간의 언어적 상호작용은 임상 훈련 중에 발생하는 주요 교육 활동 중 하나를 구성한다. 그러한 언어적 상호작용의 많은 형태들 중, 하나의 일반적인 형태는 교수들이 학생들에게 질문을 하는 것을 포함한다. 흔히 "소크라테스 방식"이라고 불리는 이 방법은 20세기 초 의과대학에서 일어난 활동에 대한 Flexner의 설명에서 증명되었듯이 적어도 1세기 동안 널리 퍼져있고, 의심할 여지 없는 의학의 초석이었다. 그러나 이 과정은 1989년 브랑카티1의 풍자 작품에서 유행하여 "핌핑"이라 불렸으며, 의대생에게 잇달아 제기되는 어려운 질문들을 재빨리 연속해서 가리키는 것을 뜻한다.
Verbal interaction between preceptors and medical students constitutes one of the primary educational activities that occur during clinical training. Of the many forms of such verbal interaction, one prevalent form involves preceptors asking students questions. Often labeled the “Socratic method,” it has been a widespread, unchallenged cornerstone of medical education for at least a century, as evidenced by Flexner’s descriptions of the activity occurring in medical schools in the early 20th century.1 However, the process has also been called “pimping,” a term popularized in a satirical piece by Brancati1 in 1989 to refer to a series of difficult questions posed to a medical student in quick succession.
비록 소크라테스 방법과 핌핑이라는 용어가 모두 지시된 질문directed questions을 포함하는 활동을 의미하지만, 그들의 함축은 다르다. 코스트와 첸은 소크라테스식의 정신과는 대조적으로 핌핑이 학습자들에게 부정적인 감정을 불러일으키는 방식을 강조했다.2
Although both the terms Socratic method and pimping refer to activities involving directed questions, their connotations differ. Kost and Chen emphasized the ways in which pimping evokes negative emotions in learners, in contrast to the spirit of the Socratic method.2
웨어와 동료들은 한 기관의 4학년 의대생들의 핌핑에 대한 관점을 탐구하고, 학생들이 감독의사의 동기에 대한 그들의 인식에 따라 어떻게 핌핑을 "좋은" 혹은 "나쁜" 것으로 분류했는지에 대해 설명했다.4
Wear and colleagues did explore the perspectives of 4th-year medical students at one institution regarding pimping and described how students categorized pimping as being either “good” or “bad” depending on their perception of the motive of the supervising physician.4
지식을 시험하거나, 알고 있는 것의 언어화 연습을 유도하거나, 학생에게 사람들 앞에서 수행을 가르치기 위한 의도라고 인식한 질문은 "좋은" 핌핑으로 생각되었다.
Questions from a preceptor that were perceived to be intended to test knowledge, to induce practicing the verbalization of what they know, or to teach students to perform in front of people were thought of as “good” pimping.
이와는 대조적으로, 학생들이 생각하는 것만큼 똑똑하지 않다는 것을 상기시키기 위한 것 같은 질문이나, 학생들이 답을 알지 못한다고 인정한 후에도 지속되는 질문들은 "나쁜" 것으로 보였다.4 이 과정의 "나쁜" 측면은 종종 핌핑이라는 용어를 둘러싼 부정적인 의미를 반영할 수 있다.
In contrast, questions that seemed intended to remind students that they were not as smart as they thought, or questioning that persisted even after students had conceded not knowing the answers, was seen as “bad.”4 This “bad” aspect of the process may reflect the negative connotations often surrounding the term pimping.
좋은 핌핑과 나쁜 핌핑에 대한 설명을 발견했음에도 불구하고, 웨어 등은 전반적으로 학생들이 핌핑을 교육 도구로서 중시했고, 미래에 훈련생들을 포섭하기 위한 의도였다고 보고했다. 학생들은 핌핑이 창피함과 굴욕을 피하기 위해 책을 더 많이 읽도록 동기를 부여했다고 믿었다. 이는 핌핑을 부정성 편견을 강화하는 교수법이라고 기술한 문헌과 일치한다. 즉 인간은 긍정적인 면보다 환경의 부정적인 면에 더 관심을 가지고 영향을 받는다는 생각이다.5 그것은 협박intimidation에 의한 가르침으로 설명되는데, 이를 통해 적절한 답변을 하지 못했던 학생들이 부끄러움을 느끼고 더 열심히 공부한다는 것이다.5 웨어 외 연구결과와 마찬가지로 의대생들이 교수법으로 didactic teaching보다 질문을 선호한다고 보고되었다.
Despite finding descriptions of both good pimping and bad pimping, Wear et al. reported that, overall, students valued pimping as an educational tool and intended to pimp trainees themselves in the future.4 Students believed pimping motivated them to read more in order to avoid embarrassment and humiliation.4 This is consistent with literature that has described pimping as a teaching method that reinforces the negativity bias—the idea that humans are more attentive to and influenced by negative aspects of their environment than positive ones.5 It is described as teaching by intimidation, wherein trainees who cannot produce an acceptable answer are shamed into reading more afterward.5 Consistent with Wear et al.’s findings,4 in a survey study following a radiology conference at which different teaching methods were demonstrated, medical students reported preferring questioning to didactic teaching.6
학생들은 신용credibility을 관리하기 위해 상당한 노력을 기울이며, 불확실성이 있는 상황에서 그렇게 하기 위해 특정한 전략을 사용한다. 예를 들어, 증례 프레젠테이션의 맥락에서 의대생들은 자신의 불확실성이 눈에 띄게 만드는 것은 평가에 부정적인 영향을 미칠 것이기 때문에 자기 자신에게 해를 끼친다는 믿음을 갖고 있었다. 따라서, 학생들은 자신이 모르는 것이 들키지 않게 유도하고, 불안함을 위장하고, 지식을 가지고 있음을 보이고 싶어한다.
students expend considerable effort to manage credibility and that they use specific strategies to do so in circumstances where they have uncertainty. For example, in the context of case presentations, medical students have expressed a belief that drawing attention to one’s own uncertainty is self-detrimental, as it will negatively impact one’s assessment.7 Thus, students try to deflect attention away from their deficits, disguise their insecurities, and assert the knowledge they do possess.
의대생들은 환자 사례를 제시할 때 그들의 전략을 미리 계획하고 연습할 기회를 갖는 반면에, 감독의사로부터 직접적이고 즉흥적인 질문에 답해야 하는 것은 다른 상황이다. 이 경우 학생들은 질문을 받느냐의 선택의 여지가 없고, 준비하거나 예행연습할 기회가 없을 가능성이 높다.
Whereas medical students have the opportunity to premeditate and rehearse their strategies when presenting a patient case, having to answer a direct, unprompted question from a preceptor is a different situation. In this case, the students have no choice in whether they are asked questions, and likely do not have the chance to prepare or rehearse.
방법
Methods
일대일 면접은 학생들과 유사한 질문을 탐구하는 다른 사람들에 의해 사용되어 왔다.4 그리고 이 연구를 위한 비공식 시험에서는 학생들이 질문 맥락에서 사용하는 명시적 전략을 기꺼이 그리고 표현할 수 있다는 것을 암시했다. 따라서, 이 연구는 브리티시 컬럼비아 대학교의 4학년 의대생들과 약 50 6060분 동안 지속되는 반구조적 인터뷰를 포함했다.
One-on-one interviewing has been used by others exploring similar questions with students,4 and informal piloting for this study suggested that, in oneon-one interviews, students were willing and able to articulate explicit strategies that they use in the questioning context. Thus, this study involved semistructured interviews lasting approximately 50–60 minutes with 4th-year medical students in the University of British Columbia undergraduate medical program.
참여자
Participants
우리는 여러 가지 이유로 4학년 의대생을 대상인구로 선정했다. 첫째로, 이 학생들은 그들의 "핵심" 임상실습 로테이션 전체 세트를 이수했다. 따라서 인터뷰한 모든 학생들은 의학, 수술, 소아과, 정신의학, 산부인과, 가정 의학을 포함한 다양한 임상적 특수 환경에서 학습한 개인적인 경험을 가지고 있었다. 따라서, 우리는 이 훈련 단계에서 그들이 질의응답 교환을 위한 기술과 전략을 개발했을 것이고, 여러 임상적 전문지식을 통한 학습 경험을 끌어냄으로써 이러한 전략을 반영할 수 있을 것이라고 가정했다.
We selected 4th-year medical students as the target population for several reasons. First, these students had completed their full set of “core” clinical clerkship rotations (which are conducted in the 3rd year of training in our medical school). Thus all the students interviewed had personal experiences of learning in a wide variety of clinical specialty environments including medicine, surgery, pediatrics, psychiatry, obstetrics/gynecology, and family medicine. We assumed, therefore, that at this stage of training they would have developed skills and strategies for the question–answer exchange and would be able to reflect on these strategies by drawing on learning experiences from across clinical specialties.
그러나, 4학년 의대생으로서 이 그룹은 아직 뚜렷하게 전공이 분리되지는 않았는데, 그 문화적 차이는 연구에 더 많은 복잡성을 더해 주었을 수도 있고, 또는 단 하나의 전공만을 선택함으로써 우리의 연구 결과를 제한하게 했을 수도 있다. 4학년 의대생들을 활용함으로써, 우리는 다양한 맥락에서 의대생으로서의 경험을 구체적으로 반성할 수 있는 비교적 동질적인 참가자들을 인터뷰하고 있었다. .
However, as 4thyear undergraduate medical students, this group had not yet separated into distinct specialty residencies, whose cultural differences might have added a further layer of complexity to the study or might have caused us to limit our findings through the selection of only one specialty. By using 4th-year medical students, we were interviewing a relatively homogenous group of participants who were able to reflect specifically on their experiences as medical students in a variety of contexts.
최종적으로, 우리는 이 학생들이 레지던트 교육을 위한 선발 과정을 마친 후에 연구를 수행했다. 따라서 우리는 면접관(연구가 실시되는 기관에서 노인 의학 담당 의사로 임명되려던 사람)의 눈에는 그들이 "잘 보이려고" 하는 압박감을 덜 느낄 것이라고 믿을 만한 이유가 있어서 우리가 학생들로부터 진정한 성찰을 얻을 가능성을 증가시켰다.
Finally we conducted the study after these students had completed the selection process for residency training. Thus we had reason to believe that they would feel less pressure to “look good” in the eyes of the interviewer (an individual who was about to be appointed as a staff physician in geriatric medicine at the institution where the study was conducted), increasing the likelihood that we would get authentic reflections from the students.
절차
Procedure
각 인터뷰는 연구의 목표에 대한 설명과 임상 의학 교육에 대한 질문 답변 활동의 존재를 강조하는 도입 문구로 시작되었다. 참가자들은 답을 모를 때, 교관들로부터 질문에 대한 답변 접근법, 채용에 대해 인지한 전략, 그리고 질문의 상황에 대한 이해에 어떤 영향을 받았는지를 조사하기 위해 고안된 일련의 질문을 받았다. 반구조화 면접의 기법과 일치하여, 각각의 면접은 개별 학생의 개인적 성찰과 통찰력에 기초하여 조정되었다.
Each interview began with a description of the goals of the research and an introductory statement highlighting the existence of the question–answer activity in clinical medical education. Participants were asked a series of questions designed to probe their approaches to answering questions from their preceptors when they did not know the answer, the strategies they were aware of employing, and how these were affected by their understanding of the circumstances of the questioning. Consistent with the techniques of semistructured interviewing, each interview was adapted based on the individual student’s personal reflections and insights.
분석
Analysis
결과
Results
9명의 참가자들과의 인터뷰가 있었다. 그 결과 270페이지의 면접 성적표에 대한 분석은 몇 가지 주제를 만들었다.
There were nine participant interviews. Analysis of the resulting 270 pages of interview transcripts produced several themes
학습을 최적화하기
Optimizing learning
모든 참여 학생들은 그들의 임상 교수에 의해 질문을 받는 것이 대부분 그들이 배울 수 있는 기회라는 태도를 직간접적으로 표현했다. 한 학생이 말했듯이, "일반적으로 나는 이런 생각을 했다. 이것들은... 의도된 질문들이다. 날 바보처럼 보이게 하려고 거기 있는 게 아니야 그들은 내가 배우게 하고, 나의 지식을 시험하기 위해 거기에 있다. 학생들은 교사를 효과적으로 가르칠 수 있도록 하기 위해 그들이 질문에 어떻게 반응하는지에 대한 예를 제공했다. 이런 점에서, 학생이 답을 모를 때 질문을 "빙빙 돌려" 말하게 된 한 가지 동기는 추가 가르침의 지침으로 알려진 것을 교관에게 분명히 말하는 것이었다. 학생들은 "모른다"고 간단히 말하면, 교수가 너무 낮은 수준에서 가르칠 수도 있다고 생각했다. 그래서 자신이 알고 있는 것을 preceptor에게 말하는 것은 preceptor가 올바른 장소에서 출발할 수 있게 해준다.
All participating students either directly or indirectly expressed the attitude that being asked directed questions by their clinical preceptor was predominantly an opportunity for them to learn. As one student described, “Generally I had the idea … these are … well-intentioned questions. They’re not there to make me look stupid. They’re there for me to learn and kind of test my knowledge” (Interview I2). Students provided examples of how they responded to questions in order to help the preceptor target his or her teaching effectively. In this regard, one motivation for “talking around” a question when a student did not know the answer was to articulate for the preceptor what was known as a guide to further teaching. Students indicated awareness that if one simply says, “I don’t know,” the preceptor might teach at too low a level. So telling the preceptor what one does know allows the preceptor to start in the right place.
이미지 관리
Managing image
학습이 모든 참가자들에 의해 지시된 질문의 중요한 측면으로 인용되었지만, 참가자들은 또한 질문에 대응하는 방식으로 자신의 이미지를 관리하는 것의 중요성을 설명하였다.
Although learning was cited by all participants as being an important aspect of directed questioning, participants also described the importance of managing their image in the way they responded to questions.
참가자들이 이러한 이미지 관리 우선순위와 학습 우선순위를 명시적으로 대조하지는 않았지만, 학습 잠재력을 극대화하기 보다는 긍정적인 인상을 주기 위한 접근법을 설명하였다.
Although participants did not explicitly contrast this image management priority with the learning priority, they did describe approaches intended specifically to make a favorable impression rather than maximize learning potential,
이 발췌문은 또한 좋은 이미지를 관리한다는 것이, 단순히 모든 해답을 알고 있는 것처럼 보이는 것은 아니라는 학생들의 공통된 이해를 보여준다. 오히려 그들이 훌륭한 학습자라는 이미지를 투영해야 한다는 인식도 있었다. 훌륭한 학습자는 학생들에 의해 질문에 대한 답을 알지 않고도 참여, 관심, 그리고 약간의 콘텐츠 지식을 가지고 있는 것으로 묘사되었다.
This excerpt also exemplifies a common understanding among the students that looking good was not merely a case of knowing all the answers. Rather, there was also a perceived need to project an image that they are good learners. A good learner was described by students as engaged, interested, and having some content knowledge without necessarily knowing the answer to the question.
훌륭한 학습자가 되기 위한 중요한 요소는 자신의 사고 과정을 전달하는 능력이었다.
A key component of being a good learner was the ability to communicate one’s thought process:
따라서 학생들의 부분적인 지식을 공유하는 전략은 토론을 지식의 한계점까지 몰고 갈 뿐만 아니라, 동시에 그들이 열성적인 학습자이고 쉽게 가르칠 수 있다는 것을 보여주기 위한 수단이었다.
Thus, the students’ strategy of sharing partial knowledge was not only a means of bringing the discussion to the limits of their knowledge but also, simultaneously, to demonstrate they were enthusiastic learners and easily teachable.
이미지를 관리하는 또 다른 중요한 측면은 자신감의 투영이었다. 참가자들은 교사의 질문에 답할 때 얼마나 자신감 있게 보여야 하는지에 대한 판단이 다양했으며, 어떤 교수들은 일반적으로 불확실성의 정도를 표현하는 것을 더 좋아하고, 어떤 교수들은 일반적으로 매우 확실한 것처럼 들리는 것을 더 선호했다. 그럼에도 불구하고, 참가자들은 일반적으로 자신감의 투영 관리가 유리한 이미지를 촉진하는 중요한 요소라는 것을 인정했다. 참가자들 사이에는 불확실성을 표현하는 것을 선호하거나 특정하게 들리는 것을 선호하는 공통의 원칙이 있었다. 학생이 얼마나 자신감 있게 말해야 하는가는 그 당시 그들이 실제로 얼마나 자신감 있게 느꼈는지 보다는 그들의 preceptor가 어떤 것을 선호하는지에 달려 있었다.
Another important aspect of managing image involved the projection of confidence. Participants varied in their judgments about how confident they ought to appear when answering their preceptors’ questions, with some generally preferring to express a degree of uncertainty and others generally preferring to sound very certain. Nonetheless, participants universally acknowledged that the management of the projection of confidence was an important component of promoting a favorable image. There was a common principle among participants, whether preferring to express uncertainty or preferring to sound certain: How confident they should sound depended on their preceptors’ preferences rather than how confident they actually felt at the time.
프리셉터 의도를 추론하는 것의 중요성
The importance of inferring preceptor intent
비록 참가자들이 preceptor의 눈에 잘 보이기 위한 다양한 접근법을 설명했지만, 이러한 접근법들 중에서 강력한 주제는 '질문자의 의도를 정확하게 유추하는 것'이었다. 한 학생이 묘사했듯이, "글쎄, 나는 그것을 프레이밍했다.나는 왜 그가 질문을 하는지에 대한 아이디어를 얻어야만 했지, 그렇지?" (I2) 다른 학생은 질문자의 의도가 무엇인지 인식하여 구체적인 전략과 연관시켰다.
Although participants described various approaches toward looking good in the eyes of their preceptors, a strong unifying theme among these approaches was accurately inferring the intentions of the questioner. As one student described, “Well, I kind of framed it—I had to get an idea of why he was asking the question, right?” (I2) Another student was more explicit in relating the questioner’s perceived intent to specific strategies,
우리 학생 참가자들은 교사의 의도를 가르치는 것, 평가하는 것, 또는 위계를 설정하거나 유지하는 것 등 세 가지 범주로 나뉘는 것을 인식했다. 학생들이 교사의 의도를 어떤 것으로 인식하느냐에 따라 '잘 해 보이는 것'의 수단은 다양할 것이고, 따라서 학생 I4가 방금 설명한 예에서와 같이 연습생들의 질문에 대한 답변 접근방식이 달라지게 될 것이다. 학생들은 일반적으로,
교사가 [가르치기 위해] 질문을 한다고인식했을 때, 학생들은 보편적으로 제시하기에 가장 유리한 이미지는 "좋은 학습자"라고 생각했다.
교사의 질문 뒤에 숨은 의도가 [학생의 지식 수준을 엄격히 평가]하기 위한 것임을 인식했을 때, 사고 과정을 전달하는 것은 덜 중요했고, 학생들은 간결하고 정확한 답을 목표로 했다.
Our student participants perceived that the intention of preceptors fall into three broad categories: to teach, to assess the trainee, or to establish or maintain hierarchy. Depending on what students perceived the intention of preceptor to be, the means of “looking good” would vary, and thus trainees’ approaches to answering questions would change, as in the examples just described by student I4. In general, when they perceived preceptors to be asking questions in order to teach, students universally believed that the most favorable image to present was being a “good learner.” When students perceived that the intention behind a preceptor’s question was strictly to assess the knowledge level of the student, communicating a thought process was less important and the students aimed to be succinct and accurate.
교사의 의도를 위계적 우월성 보여주는 것이라고 인식했을 때, 학생들은 그들의 능력의 최선에 직설적으로 대답한 다음, 인내심을 가지고 나머지 만남의 시간을 참아냄으로써 이러한 질문들에 접근했다. 물론, 적어도 일부 학생들은 질문의 역학관계는 그 자체로 모든 preceptor가 학생에게는 위계적 특징을 가지고 있다는 것을 의미함을 이해했다.
When the perceived intention of the preceptors was to assert their hierarchical superiority, students approached these questions by straightforwardly answering to the best of their ability, then patiently enduring the rest of the encounter. Of course, at least some participants understood that the power dynamics of questions meant that all preceptor to student questioning situations had a hierarchical quality to them.
...의대생으로서 나는 "당신, 이 질문에 대답하시오."라고 말할 힘이 없다. 그러나 다른 사람들은 모두 나를 보고 "이 질문에 대답하시오."라고 말할 수 있는 힘을 가지고 있다.
…As a medical student I don’t have the power …to say “you, answer this question.” …But everybody else has the power to look at me and say, “[Name], answer this question.”
상환 관리 전략
Strategies to manage the situation
학생들은 자신에게 주어진 특정 질문에 대한 답을 하는 전략을 넘어 질문 상황 자체를 효과적으로 관리하기 위한 다양한 전술을 구사했다. 이러한 접근방식 중 두드러진 패턴은
대화의 과정을 학생이 잘 아는 주제로 유도하고,
더 어려운 질문보다 더 쉬운 질문을 받기 위해 그룹 내에서 참여할 때 시간을 맞추는 것,
질문을 받지 않기 위해 그룹 내에서 회피하는 것을 포함한다.
Beyond their strategies for answering specific questions asked of them, students expressed a range of tactics to effectively manage the questioning situation itself. Predominant patterns among these approaches included
directing the course of the conversation to a topic about which the student is knowledgeable,
timing their participation when in a group in order to receive easier questions rather than more difficult ones, and
shying away when in a group to avoid being asked questions.
Preceptor와의 대화를 지휘하는directing 전술은 학생들이 개선이 필요하다고 느끼는 주제에 초점을 맞춰 학습을 극대화하기 위한 메커니즘으로 쉽게 사용되었을지도 모른다. 그러나 참가자들은 보다 일반적으로 실제 학습기회를 조금 잃더라도, [대화를 자신이 강점 영역으로 이동]시켜 [어려운 질문을 피하거나] 심지어 [(자신이) 지식이 있거나 교육 가능한 것처럼 보이도록 하는 기법]이라고 기술하였다. 이것은 이미지 관리에 관한 섹션의 I5 학생으로부터 인용한 바와 같이, 그 주제에 대해서 자신의 preceptor에게 질문을 하기 직전에, 주제에 대해 몰래 읽는 것과 같은 이 전술이 어떻게 수행되는지에 대한 설명에 의해 뒷받침되었다.
The tactic of directing conversation with a preceptor might easily have been used by students as a mechanism for maximizing their learning by focusing on topics where they felt they needed to improve. However, the participants more commonly described the strategy as a technique to move the conversation into areas of particular strength so as to avoid difficult questions, or even to look knowledgeable or teachable, at the potential cost of real learning opportunities. This was supported by descriptions of how this tactic is carried out, such as reading secretly about a topic immediately before soliciting questions from one’s preceptor on that topic, as quoted from student I5 in the section on managing image.
타이밍을 잘 잡는 것은, 학생들이 질문 맥락을 관리하는 또 다른 전략으로, 세션 후반에 질문하는 질문들이 더 대답하기 어려울 것으로 예상하여, 자기 조에게 질문이 던져질 때 초반에 일찍 답변을 자원하는 것이 포함되었다. 일찍 답변을 자원함으로써 학생들은 그들이 "할당량을 채울 것"이라고 믿었고, preceptor에 의해 적절히 참여했다는 것을 보게 될 것이라고 믿었다. 따라서 그들은 나중에 답을 알지 못할지도 모르는 질문에 대답해야 하는 것에 대해 안도하게 될 것이다.
Timing one’s participation, another strategy by which students managed the questioning context involved volunteering early to answer to questions that are asked to a group, in anticipation that questions asked later in the session will be more difficult to answer. By volunteering to answer early questions, students believed they would “meet their quota” and would be seen by the preceptor to have adequately participated. They would thus be relieved of having to answer later questions to which they might not know the answers.
학생들이 답을 모를 수 있는 질문을 받는 것을 피하기 위한 훨씬 더 간단한 전략은, 조원이 모여있을 때 교사와 눈을 마주치지 않고 그룹에서 분리disengage하는 것을 포함했다. "바닥만 보고 움직이지 않고 가만히 있어. 그러면 거의 눈에 띄지 않을 것이다" (I9) 참가자들은 비록 이 기법이 역효과를 불러 일으켜 교관들이 의도적으로 회피하려는 것으로 인식되는 학생의 질문을 질문하게 하는 것은 가능하지만, 학생들은 종종 질문에 직면하지 않으려는 욕구를 전달하는 학생들의 비언어적 신호를 존중한다는 믿음을 표현했다고 설명했다.
An even more straightforward strategy for avoiding being asked questions to which students may not know the answer involved avoiding eye contact with the preceptor when in a group setting and disengaging from the group. “Just looking at the floor, not moving, staying still. So you’re almost invisible” (I9). Participants explained that although it was possible for this technique to backfire, causing preceptors to deliberately ask questions of a student perceived as trying to shy away, the students expressed a belief that, more often than not, preceptors respected students’ nonverbal cues communicating a desire not to face questions.
맥락적 문제
Contextual complications
많은 미묘한 문맥적 요소들이 질문에 대한 답을 결정할 때 그들의 고려사항에 영향을 주었다. 이러한 문맥적 복잡성은 다음의 세 가지 범주로 분류되었다.
(a) 질문을 받은 상황에 다른 누가 있는지
(b) 질문이 어떤 과 로테이션 중에 발생했는지
(c) 학습자의 훈련 단계
a number of subtle contextual factors influenced their considerations when deciding how to answer a question. These contextual complicators fell into three broad categories:
(a) who else is present in the directed questioning situation,
(b) during which specialty rotation the directed questioning occurs, and
(c) the stage of training of the learner.
환자, 기타 연습생 및 기타 의료 전문가와 같은 다른 사람의 존재는 지시된 질문 동안 이미지 관리에 영향을 미쳤다. 학생들은 환자들이 같이 있는 것이 지시된 질문을 하는 동안 어떻게 상호작용을 변화시켰는지에 대한 설명에서 다양했다. 어떤 이들은 환자의 존재가 학생들의 우선순위를 잘 보이는 것에서 정직하게 보이는 것으로 바꾼다고 했지만, 다른 이들은 환자가 앞에 있으면 유능하고 자신감 있게 보이려는 욕구가 증가했다고 묘사했다.
The presence of other parties, such as patients, other trainees, and members of other healthcare professions, influenced image management during directed questioning. Participants varied in their descriptions of how patients altered the interaction during directed questioning. Whereas some described patients’ presence as shifting the students’ priorities from looking good to being honest, others described an increased desire to appear competent and confident in front of the patient.
흥미롭게도, 몇몇 학생들은, 종종 환자가 있을 때 preceptor가 학생들이 박식한 것처럼 보이도록 하기 위한 노력에 공모complicit하여, 상호작용의 형태를 더욱 shaping한다고 언급했다. 다른 trainee이나 다른 의료전문직이 있는 경우 질문과 관련된 불안감을 증가시켰고 학생들의 '잘 보이기'에 대한 욕구를 고조시켰다. 그러나, 참가자들은 또한 직접적인 질문에 대답하는 예절을 설명했는데, 좋은 이미지를 유지하려면 다음의 것들도 알아야 했다.
언제 너무 '나대지' 말아야 할지
언제 다른 사람들에게 질문에 대답할 기회를 줄지
언제 성공에 대한 답을 "나의 명석함"보다 우연의 일치나 우연의 탓으로 돌려야 할지
언제 스승의 눈에 동료가 잘 보이도록 도와야 할지
Of interest, several students noted that the preceptor would often be complicit in the effort to make the student look knowledgeable when in the presence of a patient, thereby further shaping the form of the interaction. The presence of other trainees or other healthcare professionals increased the anxiety associated with directed questioning and heightened students’ desire to look good. However, participants also described an etiquette in responding to directed questioning, wherein maintaining a good image also called for knowing
when not to be too outspoken,
when to give others a chance to answer questions,
when to modestly attribute successful answering to coincidence or chance rather than “intrinsic brilliance” (I4), and
when to help make colleagues look good in the eyes of the preceptor.
참가자들은 학생들이 미래에 희망하는 전공과 로테이션에서 질문이 발생했을 때, 교관의 눈에는 잘 보여야 한다는 압박감이 더 컸다고 표현했다. 이와는 대조적으로, 많은 참가자들은 학생들이 직업으로 추구하는 것에 관심이 적은 전공분야의 회전 동안, 질문을 받은 경우에 학습learning을 더 높은 우선순위로 정할 수 있다는 것을 인정했다. 그러한 상황에서 그들은 불확실성을 인정하고 지식의 한계를 표시할 가능성이 더 높다고 보고하였다. 그 결과, 일부 참가자들은 자신이 관심이 덜한 로테이션 동안 직접 질문을 통해 더 많은 것을 배울 수 있었다고 느꼈다고 보고했다.
Unanimously, participants expressed that when directed questioning occurred in rotations of the specialties that students were pursuing for future careers, there was more pressure to look good in the eyes of the preceptor. In contrast, many participants acknowledged that, during rotations in specialties for which students were less interested in pursuing as careers, they were more able to prioritize their learning during directed questioning. In such circumstances, they reported being more likely to admit uncertainty and display the limits of their knowledge. As a result, some participants reported feeling that they were able to learn more from directed questioning during the rotations in which they were less interested as a career.
많은 참가자들은 또한 학습자였고 모든 것을 알 것으로 예상되지 않았기 때문에 답을 모른다는 것을 인정하는데 편안함을 느꼈지만, 임상 훈련을 통해 레지던트로 진척되면서 답을 얻지 못하는 것이 덜 받아들여질 것으로 예상한다고 표현했다.
Many participants also expressed that, although they felt comfortable admitting they did not know an answer because they were learners and were not expected to know everything, they anticipated that as they progressed through their clinical training into residency, not having the answers would become less acceptable.
고찰
Discussion
첫째로, 참가자들은 질문의 목적이나 의도는 가르침과 학습에 있다는 것을 인정하면서, 다른 문헌처럼 학생들이 질문이 이 목적을 달성하는 데 효과가 있다고 높이 평가한다는 확인하였다.4
First, participants acknowledged that one purpose or intention of directed questioning was for teaching and learning, affirming other literature which has suggested that students appreciate its effectiveness for this purpose.4
질문이 [학생의 기존 지식의 한계]에 관련된 내용을 타겟으로 할 때 이것은 심지어 교육 및 학습 활동으로서 지시된 질문이 부정성 편견negativity bias을 이용한다는 이전의 제안과 일치한다.5 이 아이디어는 우리의 연구 참가자들이 어떻게 유도된 질문들이 그들이 지식 격차gap를 스스로 확인하는 데 효과적인지에 대한 그들의 설명에서 공유했다.
when questions target content at the limits of the students’ previous knowledge. This is consistent with previous suggestions that even as a teaching and learning activity, directed questioning capitalizes on the negativity bias.5 This idea was shared by our study participants in their descriptions of how directed questions were effective in helping them self-identify knowledge gaps
하지만 학생들은 이미지 최적화에도 큰 관심을 보였다. 또한 직접적인 질문의 맥락에서 바람직한 이미지는 자신감 있고 신뢰할 수 있는 임상의가 아니라 "좋은 학습자"와 "교육 가능한 학생" 중 하나라는 것이 우리의 학생 참여자들의 코호트에서도 흥미로웠다. 이 "좋은 학습자" 이미지 때문인지, 우리 참가자들은 문제에 관심을 표명하고, 이후의 가르침에 효과적으로 초점을 맞추도록 하기 위해 자신이 알고 있는 것을 명확히 하는 한, 질문에 대한 답을 알지 못하더라도 성공적인 상호작용을 할 수 있다고 느꼈다. 이 점에서, 학생들이 교사의 의도가 "teaching opportunity의 시작"이라고 인식했을 때 [학습]과 [이미지 관리]가 양립할 수 있었다.
However, they were also highly attentive to optimizing their image. It was also intriguing in our cohort of student participants that, in the context of directed questioning, the desirable image was not merely the confident, credible clinician but one of the “good learner” and teachable student. Perhaps because of this “good learner” image, our participants felt that they could have a successful interaction even if they did not know the answer to a question as long as they expressed interest in the question and clarified what they did know in order help the preceptor effectively focus subsequent teaching. In this regard, the priorities of learning and image management could be compatible when students perceived that the intention of the preceptor was to initiate a teaching opportunity.
둘째로, 우리의 참가자들은 그들의 대답을 framing할 때 다양한 상황적 요인을 알고 수용해야 한다는 것을 놀랄 만큼 정교하게 이해하고 있었다. 이러한 요소들은 질문자의 의도를 어떻게 인식하느냐를 포함했다(이것이 교육적 probe인지, 신속한 평가 기법인지, 아니면 엄격한 위계의 강조인지). 그러나, 그들은 또한 다른 사람들의 존재, 특히 그들의 이미지가 또한 중요한 다른 연습생들을 포함했다.
Second, our participants showed remarkable sophistication in their understanding that they must be aware of and accommodate a variety of contextual factors when framing their answers. These factors included the perceived intent of the questioner (whether this was a teaching probe, a rapid assessment technique, or strictly an assertion of hierarchy). However, they also included the presence of others, and in particular other trainees whose image was also important to attend to.
지식을 나누지 말아야 할 때를 의식하는 것 또는 (다른 사람(질문자 또는 다른 학습자)보다 더 앞서간 사람(one-upping)으로 인식될 수 있는 경우)답을 알고 있다는 사실을 대단치 않다고 생각하는 것 등이 중요한 고려사항이었다. 이것은 긴스버그와 동료들의 발견을 연상시킨다. 이들은 학생들의 전문적인 추론에서 "당신의 위치를 아는 것"(아마도 훌륭한 학습자 이미지의 한 측면일 것이다)이라는 원칙을 확인했다. 그것은 또한 긴스버그 외 연구진에게 "선배를 나쁘게 보이게 만들지 말라"는 원칙을 말해준다. 이는 팀 플레이어로서의, 직접적인 질문 상호작용(참가자에 의해 명시적으로 표현되지는 않았지만) 동안 학생들의 마음속에 있을 수 있는 또 다른 이미지의 가능성을 제기한다. 그러나, 우리는 이것이 매우 추측성이라는 것을 인정해야 하며, 그것을 확인하고 좀더 충분히 탐구하기 위해서는 이 가능성을 목표로 한 추가 연구가 필요할 것이다.
Being aware of when not to share one’s knowledge, or downplaying the fact that one knows the answer when it might be perceived as “one-upping” another person (the questioner or another learner), became an important consideration. This is reminiscent of the findings of Ginsburg and colleagues, who identified in students’ professional reasoning the principle of “knowing your place” (perhaps an aspect of the good learner image).13 It also speaks to Ginsburg et al.’s principle of “allegiance” to the team (“Don’t make your senior look bad”),13 which raises the possibility of another image that may be in students’ minds during directed questioning interactions (albeit less explicitly articulated by our participants) of being a team player.14 However, we must acknowledge that this is highly speculative, and additional studies targeted at this possibility would be required in order to confirm it and explore it more fully.
세 번째 중요한 발견으로서, 우리는 원래 우리의 연구를 [학생들이 상호작용의 조건에 대해 거의 통제하지 못하는 상황]에 대한 탐구라고 프레임했었다. 질문 상호작용에 내재된 힘의 역동성을 인식하고,15 우리는 학생들이 사례 보고서나 도움 요청을 시작하는 것과 같은 맥락에서보다 상황에 대한 통제력이 더 낮을 것이라고 가정했다. 하지만, 우리 연구에 참가한 학생들이 실제로 상황에 대한 통제력을 발휘하기 위해 몇몇 기법을 설명했다. 일부는 대화를 "안전한" 영역으로 선제적으로 유도하는 것을 포함했다(한 학생은 심지어 더 동등한 힘의 역동성을 유지하는 한 형태로 비임상적 토론으로의 리디렉션하는 전략을 보였다). 다른 사람들은 그들이 그 활동에 관여하고 싶지 않다는 신호를 교장에게 보내는 것을 포함했는데, 학생들은 일반적으로 교사들로부터 존경을 받는다고 느꼈다.
As a third important finding, we note that we originally framed our research as an exploration of a situation in which students had little control over the conditions of the interaction. Recognizing the power dynamic embedded in the questioning interaction,15 we assumed that students would have less control over the situation than in contexts such as the case report or initiating a request for help. However, we found that the students in our study did, in fact, describe several techniques to exert a level of control over the situation. Some of these involved preemptively directing the conversation into “safe” territory (with one student even identifying redirection to nonclinical discussions as a form of maintaining a more equal power dynamic). Others involved sending signals to the preceptor that they did not wish to engage in the activity, which the students generally felt were respected by preceptors.
이러한 가능성은 흥미로우며, directed question에서 비대칭적인 권력 역동에도 불구하고, 학생들이 "단지 사회적 경험에 관해서 불운한 인질만은 아니다."라는 것을 보여준다
the possibility is intriguing and suggests that even in the apparently asymmetric power dynamic of directed questioning, students “are not mere and hapless hostages to the social experience.”16(p53)
한계
Limitations
두 번째 잠재적 한계로서, 우리는 9명의 참가자의 소소한 표본 크기를 가지고 있었다. 관련 질문을 다루는 유사한 참가자 집단을 포함하는 유사한 연구에서, 약 10명의 학생 면접이 이론적 충분함을 제공하는 것으로 밝혀졌으며, 17 우리는 우리가 자발적으로 참여한 사람들을 위해 우리의 연구 질문에 관련된 주제를 효과적으로 포화시키고 있다고 믿는다.
As a second potential limitation, we had a modest sample size of nine participants. In similar studies involving similar participant populations addressing related questions,4,7 around ten student interviews have been found to provide theoretical sufficiency,17 and we do believe that we were achieving effective saturation of the themes relevant to our research question for those who volunteered to participate.
Conclusions
,29 (1), 5-12
Medical Students' Understanding of Directed Questioning by Their Clinical Preceptors
Phenomenon: Throughout clerkship, preceptors ask medical students questions for both assessment and teaching purposes. However, the cognitive and strategic aspects of students' approaches to managing this situation have not been explored. Without an understanding of how students approach the question and answer activity, medical educators are unable to appreciate how effectively this activity fulfills their purposes of assessment or determine the activity's associated educational effects.
Approach:A convenience sample of nine 4th-year medical students participated in semistructured one-on-one interviews exploring their approaches to managing situations in which they have been challenged with questions from preceptors to which they do not know the answer. Through an iterative and recursive analytic reading of the interview transcripts, data were coded and organized to identify themes relevant to the students' considerations in answering such questions.
Findings:Students articulated deliberate strategies for managing the directed questioning activity, which at times focused on the optimization of their learning but always included considerations of image management. Managing image involved projecting not only being knowledgeable but also being teachable. The students indicated that their considerations in selecting an appropriate strategy in a given situation involved their perceptions of their preceptors' intentions and preferences as well as several contextual factors. Insights: The medical students we interviewed were quite sophisticated in their understanding of the social nuances of the directed questioning process and described a variety of contextually invoked strategies to manage the situation and maintain a positive image.
Drawing Boundaries: The Difficulty in Defining Clinical Reasoning
Meredith Young, PhD, Aliki Thomas, PhD, OT, Stuart Lubarsky, MD, MHPE, Tiffany Ballard, MD, David Gordon, MD, Larry D. Gruppen, PhD, Eric Holmboe, MD, Temple Ratcliffe, MD, Joseph Rencic, MD, Lambert Schuwirth, MD, PhD, and Steven J. Durning, MD, PhD
모든 보건 전문가는 정보를 수집하고 합성하고, 가설을 생성하고, 임상적 인상, 예후, 진단, 치료, 관리 및/또는 관리 계획을 수립함으로써 임상 추론에 참여한다. 직업 전반에 걸친 임상 추론의 근본적 특성은 필수적인 임상 추론의 연구(예: 노먼 외 연구진), 교수(예: Eva3당) 및 평가(예: Durning et al4에서와 같이) 모두와 관련된다. 또한, 역량 기반 의료 교육 및 대학원 의료 교육 역량 인증 위원회, CanMEDS, Good Medical Practice와 같은 프레임워크의 채택이 증가하고 있으며, rehabilitation practice의 프레임워크는 졸업과 의료 전문가들을 위한 보다 분명하고 구체적으로 역량을 설명할 것을 요구한다.
Every health professional engages in clinical reasoning—by gathering and synthesizing information; generating hypotheses; and formulating a clinical impression, prognosis, diagnosis, treatment, care, and/or management plan. The foundational nature of clinical reasoning across professions makes research (e.g., as described by Norman et al2), teaching (e.g., per Eva3), and assessment (e.g., as in Durning et al4) of clinical reasoning essential. Furthermore, the growing adoption of competency-based medical education and frameworks such as the Accreditation Council for Graduate Medical Education’s competencies,5 CanMEDS,6 Good Medical Practice,7 and frameworks of rehabilitation practice8 demand more explicit and specific competency descriptions for graduating and practicing health professionals.9–11
임상적 추론이 임상적 실천(예: 힉스 외 연구진)에 필수적인 것으로 생각되며 보건 직업 교육(HPE)과 연구에서 어디에나 있는 것으로 보인다는 점을 감안할 때, 사람들은 임상적 추론이 "무엇인가"에 대한 공통적이거나 합의된 이해를 기대할 수 있다.그러나 임상적 추론을 둘러싼 연구는 역사적으로 단편적으로만 언급되어 왔다. "이것은 많은 공동체의 구성원들이 컨퍼런스에 논쟁하고 참여하는, 제도화된 평행 놀이로 특징지어졌던 것처럼 보인다. 그러나 (연구자들은) 도메인에 대한 그들 자신의 이론을 발전시키기 때문에, 대체로 서로의 데이터를 무시하거나 배척한다."13
Given that clinical reasoning is thought to be essential to clinical practice (e.g., as described by Higgs et al12) and appears to be ubiquitous in health professions education (HPE) and research, one might expect a common or agreed-on understanding of what clinical reasoning “is.” However, research surrounding clinical reasoning has historically been referred to as a fragmented literature, as it “seems to have been marked by this quality of institutionalized parallel play, with many of the community’s members arguing and engaging at conferences, but largely ignoring or dismissing each other’s data as they develop their own theories about the domain.”13
각 페어링 내에서 검토자들은 독립적으로 간행물의 하위 세트를 검토하여 검토에 포함시킬지 여부를 결정하도록 요청받았다. 그러나 이 과정에서 연구에 포함되어야 할 출판물을 검토한 짝을 이룬 구성원들 간의 합의가 현저히 미흡하다는 것을 발견하였다.
Within each pairing, the reviewers were asked to independently review a subset of publications to determine whether they would be included in our review. During this process, however, we discovered remarkably poor agreement between members of each pair of reviewers regarding which publications should be included in the study
이 초기의 예기치 못한 발견은 우리가 검토 과정을 멈추고 가능한 설명에 대해 되돌아보게 했다. 그러므로 이 기사는 우리 팀이 이 낮은 합의에 대응하여 행한 독특한 보조 연습에서 나온 예상치 못한 관찰에 초점을 맞춘다.
This early unexpected finding led us to pause the review process and reflect on possible explanations. This article, therefore, focuses on the unexpected observations that emerged from a unique ancillary exercise our team engaged in response to this low agreement
일시 중지, 성찰
A Pause-and-Reflect Exercise
열악한 평가자간 합의의 잠재적 원인을 탐구하기 위해, 우리는 각 팀원에게 임상 추론의 구성요소로 간주되어야 하고 고려되어서는 안 되는 활동과 과정을 포함하여 임상 추론에 대한 자신의 개인적 정의를 제공하도록 요구하는 성찰적 실천을 고안했다.
To explore potential causes of poor interrater agreement, we devised a reflective exercise in which each team member was asked to provide his or her own personal definitions of clinical reasoning, including processes and activities that should and should not be considered components of clinical reasoning.
임상 추론의 "작업 정의working definition"와 임상 추론의 "구성요소 프로세스component process"로 간주해야 하는 것에 대한 그들의 생각, 그리고 어떤 구성요소가 임상 추론이 "아닌 것outside"으로 간주되어야 하는지에 대한 그들의 생각.
“working definitions” of clinical reasoning, their thoughts on what should be considered “component processes” of clinical reasoning, and their thoughts on which components should be considered “outside” of clinical reasoning.
우리는 주제 분석에서 원칙을 차용하는 질적 설명의 렌즈를 통해 세 가지 목표 질문에 대한 응답에 접근했다. 질적 서술에서는 "연구자가 자료에서 멀리 떨어지거나, 또는 그들의 데이터로 이동하도록 요구"19(p335)하지 않는다.
We approached the responses to the three target questions through the lens of qualitative description,19,20 which borrows principles from thematic analysis. Qualitative description does not “require researchers to move as far from or into their data”19(p335) compared with other approaches to qualitative analysis.
Scoping methodology에서 표준은 아니지만, 우리는 이 "일시중지 및 성찰" 단계가 우리의 공정의 엄격함과 합성에서 생성된 발견의 신뢰성을 보장하기 위해 매우 중요하다고 느꼈다. 이 단계의 목표는 평가자 간 신뢰도를 높이기 위한 목적으로 임상 추론의 단일 정의를 생성하는 것이 아니라, 검토 팀 내의 다양한 정의를 분류하고 문서화하는 것이었다.
Though not standard in scoping methodology,14–18 we felt that this “pause-and-reflect” stage was crucial for ensuring the rigor of our process and the credibility of the findings generated from our synthesis. The goal of this stage was not to generate a single definition of clinical reasoning for the purpose of increasing interrater reliability but, rather, to catalog and document the variety of definitions within our review team.
임상추론의 정의
Definition of Clinical Reasoning
"임상 추론에 대한 당신의 '작업적 정의'는 무엇인가?"
“What is your ‘working definition’ of clinical reasoning?”
팀원들은 임상적 추론을 다음을 목적으로 운영되는 과정으로 여겼다.
진단, 치료 및/또는 관리 계획에 도달
개선된 환자 결과와 웰빙을 위한 노력
Team members considered clinical reasoning to be a process that operates toward the purpose of
arriving at a diagnosis, treatment, and/or management plan, as well as
striving for improved patient outcomes and well-being.
한편, 임상 추론을 "최종 목표" 또는 그 자체가 행동 지향적인 산출물로 보는 것을 넘어, 우리 팀은 임상 추론에 관여하는 요소들이 "무엇"인지 확인했다.
Beyond viewing clinical reasoning as a means to an “end goal” or itself an action-oriented output, our team identified components of “what” is involved in clinical reasoning.
팀원들에 따르면, 이러한 구성 요소는 임상의의 인지 프로세스에 크게 의존한다.
지식(과학적이고 형식적인 지식, 경험적으로 도출된 지식)
실천 이론들
이전의 경험이나 전문 지식
또한 개별 정의에는 임상 추론 과정이 어떻게 전개되는지에 대한 진술이 포함되었다.
의식적이거나 무의식적인 과정,
분석적 또는 비분석적 프로세스,
인과관계 추론,
인지적 표현의 창조,
확률론적 추리
According to team members, these components rest heavily on a clinician’s cognitive processes:
knowledge (scientific and formal knowledge, experientially derived knowledge),
theories of practice, and
previous experience or expertise.
Individual definitions also included statements regarding how the process of clinical reasoning unfolds:
conscious or unconscious processes,
analytic or nonanalytic processes,
causal reasoning,
the creation of a cognitive representation, and
probabilistic reasoning.
일부 팀원은 추론 과정 내에서 상황 및/또는 환경 요인의 중요성을 언급했고, 다른 팀원은 인지적으로 기반한 프로세스만 언급했다.
Some team members mentioned the importance of contextual and/or environmental factors within the reasoning process, and others mentioned only cognitively based processes.
임상추론은 무엇인가?
What Is Clinical Reasoning
팀 구성원은 임상적 만남의 목적을 다양하에 언급했다.
임상 지식,
관찰
데이터 수집,
관련성 있는 임상 결과와 관련되지 않은 임상 결과의 구별
데이터 해석,
문제 표현,
가설 생성,
가설 평가,
진단 검증,
위험 또는 편익에 대한 고려
증거 기반 의약품의 적용,
판단,
행동의 이행, 그리고
개입 결과의 평가
Team members variably included determining the objectives of the clinical encounter, clinical knowledge, observation, data collection, differentiation of relevant from irrelevant clinical findings, data interpretation, problem representation, hypothesis generation, hypothesis evaluation, diagnostic verification, consideration of risks or benefits, application of evidence-based medicine, judgment, implementation of action, and evaluation of the results of intervention.
임상추론이 아닌 것은 무엇인가?
What Is Not Clinical Reasoning
그들은 열거했다.
의사소통 기술,
의료 종사자들 간의 신뢰
증거 기반 관행,
의학적인 맥락 밖의 추론,
환자와의 관계 또는 관계
임상 기술 및 데이터 수집(이력 검사, 신체 검사, 특정 절차 기술)
비판적 사고,
치료 비용에 대한 고려,
기준 확률에 대한 명시적 의존도
알고리즘 사용,
시각 기반 진단(예: 심전도, 방사선학)
인지적 스타일
They listed
communication skills,
trust between health care workers,
evidence-based practice,
reasoning outside of the medical context,
relationship or rapport with patient,
clinical skills and data collection (history taking, physical exam, specific procedural skills),
critical thinking,
consideration for cost of treatment,
explicit reliance on baseline probabilities,
use of algorithms,
visual-based diagnosis (e.g., ECG, radiology), and
cognitive styles.
해석
Interpretation
팀원들의 정의는 매우 다양했다.
Team members varied greatly in their definitions—
이 성찰 연습에서 생성된 정의와 용어는 임상 추론에 대한 다양한 개념화를 보여준다. 이러한 다양한 개념화들은 임상적 추론이 다면적인 구조임을 시사하고 있으며, 문헌과 우리 팀원들 사이에 여러 가지 이해가 공존하고 있다.
The definitions and terminologies generated from this reflective exercise likely represent different conceptualizations of clinical reasoning. These varied conceptualizations suggest that clinical reasoning is a multifaceted construct, with multiple coexisting understandings—both in the literature and amongst members of our team.
이 연습을 통해 두 가지 주요 통찰력이 나타났다. 즉, 우리는 임상 추론이 "무엇인지"에 대한 서로 다른 정의와 개념화를 가지고 있으며, 이러한 상이한 개념화는 부분적으로 임상 추론의 관련 기여자로서 어떤 "계수counts"에 기초하여 다른 것으로 보인다는 것이다.
Two main insights emerged through this exercise: that we hold different definitions and conceptualizations of what clinical reasoning “is,” and that these different conceptualizations appear to differ based, in part, on what “counts” as a pertinent contributor to clinical reasoning.
임상적 추론이 일어나고 있는 상황에 존재가능한 참가자는 다음과 같다.
Consider some of the possible players in a clinical encounter in which clinical reasoning is taking place:
1. 의료 전문가: 추론이 "두뇌"되고 있는 초점 개인.
2. 환자: 이력, 신체검사 결과, 실험실 결과 및 진단 단서 출처
3. 기타 의료 전문가: 컨설턴트, 팀원, 전문가 의견을 제공하는 사람 또는 실험실 결과의 해석을 제공하는 사람
4. 가족 또는 병력의 기타 제공자: 불만사항 또는 환자 선호도에 대한 정보를 제공하는 개인
5. 의료 환경 또는 시스템: 환자 차트(전자식 또는 기타), 환자를 볼 수 있는 시간 제한 또는 이 환자의 이전 기록.
1. The health care professional: The focal individual in whose “head” the reasoning is occurring;
2. The patient: The source of history, physical examination findings, lab results, and diagnostic cues;
3. Other health care professionals: Whether a consultant, a team member, someone providing expert opinion, or someone providing an interpretation of lab findings;
4. A family member or other provider of collateral history: An individual providing information on the context of the complaint or patient preferences; and
5. The health care environment or system: Patient charts (electronic or otherwise), restrictions on the time available to see a patient, or previous history with this patient.
일부는 임상 추론을 [의료 전문가의 개별 인지 프로세스(의식적이든 무의식적이든)]로 제한하였고, 어떤 연구진은 [임상 추론의 관련 요소(예: 전자 건강 기록과의 상호작용)로서 인간 기술 또는 인간 체계의 상호작용]을 포함하였다. 팀원들은 임상 추론의 특정한 영역을 강조하여, 무엇이 임상 추론의 연구, 교육 또는 평가를 위한 정당한 대상인지에 대해 다른 고려사항을 제시했다.
Some restricted clinical reasoning to the health care professional’s individual cognitive processes (whether conscious or unconscious), and others included human–technology or human– system interactions as being relevant components of clinical reasoning (e.g., interactions with electronic health records). Team members highlighted specific areas of focus of clinical reasoning , suggesting different considerations for what may be legitimate targets for research, teaching, or assessment of clinical reasoning.
예를 들어, 팀원들이 가지고 있는 임상 추론 개념의 범위는 다음과 같이 다양하였다.
For example, team members’ conceptualizations of clinical reasoning were variably limited to:
1. 의료 제공자 개인의 인지 프로세스
2. 환자와 의료 제공자 간의 상호 작용
3. 환자와 의료 제공자 간의 상호작용과, 여기에 그 외 데이터 출처를 허용(예: 실험실 보고서, 전문가의 의견)
4. 거의 범위제한이 없음. 즉, "추론의 최종 결과에 기여"하는 어떤 것이든 임상 추론의 구성요소로 포함되고 허용
1. The individual cognitive processes of the health care provider;
2. The interaction between patient and health care provider;
3. The interaction between patient and heath care provider, with allowance for other data sources (such as lab reports, expert opinion); or
4. Very few limits, where anything that “contributed to the final outcome of reasoning” was included and permissible as a component of clinical reasoning.
경계 긋기
Drawing Boundaries
우리의 관찰을 해석하는 것을 돕기 위해, 우리는 수학에서 흔히 볼 수 있는 연습인 경계 조건의 서술에 비유하는 것이 유용하다는 것을 알았다.
To help us interpret our observations, we found it useful to draw an analogy to a practice common in mathematics: the delineation of boundary conditions.
경계조건은 수학에서 미분 방정식 분야의 핵심 개념이다.21 그것은 "미분방정식에 대한 가능한 해결책을 제한하는 명시적 제한"이다. 어떤 작업에서, 사용 중인 경계 조건을 명시하는 목적은 구성된 방정식이 작동할 것으로 예상되는 조건을 명확하게 설명하기 위함이다.
경계조건 내부에서, 방정식은 설명력을 가져야 하며 주어진 매개변수 내의 해결책이 가능해야 한다.
경계조건 외부에서, 공식이 기능할 것이라는 기대는 없다.
따라서 특정 경계 조건을 설정할 때 수학자들은 이론이나 모델이 보유할 것으로 예상되는 문제 공간을 명확하게 기술한다.
A boundary condition is a notion core to the field of differential equations in mathematics.21 It is “a stated restriction, usually in the form of an equation, that limits the possible solutions to a differential equation.”22 The purpose of stating the boundary conditions at play in your work is to clearly delineate the conditions under which you expect the constructed equation to operate—within the boundaries, the equation should have explanatory power and a solution within given parameters should be possible; outside of the boundary conditions, there is no expectation for the formula to function. In setting specific boundary conditions, mathematicians therefore clearly delineate the problem space in which their theory or model is expected to hold.
이 수학적 원리를 임상추론의 맥락에 확장하면
If we extend this mathematical principle to the current context,
예를 들어, 예시 이론과 같은 인지 이론은 다층 의료팀을 조사하기 위해 설계된 연구에 사용된다면 예측력의 일부를 잃을 수 있다.
또는, 성찰적 실천과 같이 메타인지에 뿌리를 둔 이론은 신속한 영상검사 해석을 검토할 때 설명력이나 서술력이 떨어질 수 있다.
이러한 예들은 연구 설계 또는 집중 영역과 서로 다른 개념화 또는 임상 추론 이론의 기초가 되는 경계 조건 사이의 불일치를 강조한다.
For example, a cognitive theory such as exemplar theory23 may lose some of its predictive power if used in a study designed to examine multileader health care teams.
Or, a theory rooted in metacognition, such as reflective practice,24 may have less explanatory or descriptive power when examining rapid radiographic interpretation.
These examples highlight a mismatch between study design or area of focus and the boundary conditions that underlie different conceptualizations or theories of clinical reasoning.
우리는 경계 조건과 연습 결과의 유추를 이용하여 두 가지 추측성 결론을 도출할 수 있다.
Using the analogy of boundary conditions and the findings from our exercise, we are able to draw two speculative conclusions.
첫 번째 추정은 임상 추론 문헌에서 우리가 관찰한 단편화를 생각하면, 저자들은 서로 다른 경계 조건 내에서 작동하는 경향이 있다는 것이다. 서로 다른 작업 체계는 그들이 지지하는 임상 추론의 [서로 다른 개념화]가 [서로 다른 경계 조건]에 의해 틀이 만들어지기 때문에 거의 합치되지 않을 것이다. 예를 들어 임상적 충돌 동안에 임상의사가 관여하는 인지적 과정으로 임상적 추론의 정의를 제한하는 경계는 추론에 대한 환경적 또는 기술적 영향의 영향을 포함하는 광범위한 경계 조건과 잘 일치할 것 같지 않다. 특정 연구의 경계 조건 외부에 위치한 연구자들은 자신의 경계조건에 부합하지 않는 연구를 정당하다고 여기기가 어렵거나, 그 문헌에서 나온 연구 결과를 그 현상에 대한 그들 자신의 이해에 매핑하기가 어려울 수 있다.
The first speculation is that the fragmentation we have observed in the clinical reasoning literature13 may represent authors’ tendencies to operate within different boundary conditions. Different bodies of work would rarely coalesce because the different conceptualizations of clinical reasoning they espouse are framed by different boundary conditions—for example, boundaries that limit the definition of clinical reasoning to the cognitive processes engaged by clinicians during clinical encounters are unlikely to align well with the wider set of boundary conditions encompassing the influence of environmental or technological influences on reasoning. Researchers exploring literature situated outside of their boundary condition are likely to struggle to engage with it as legitimate research, or struggle to map the findings from that literature onto their own understanding of the phenomenon.
두 번째 추정은 유사한 경계 조건 내에서 작업하는 연구자, 교육자 및 실무자들과 관련이 있다. 임상적 추론에서 출판 패턴에 대한 피상적인 검토는 서로 활발히 engage하는 저자들은 유사한 경계 조건 내에서 활동할 가능성을 보여준다. 예를 들어, 우리는 인간 인식이라는 경계 조건 내에서 일하는 저자들이 (서로서로는) 풍부하고 열정적으로 관여하지만, 다른 경계 조건 내에서 활동하는 저자들의 작품을 거의 인용하지 않는 것을 관찰했다.
The second speculation relates to the researchers, educators, and practitioners who operate within similar boundary conditions. A cursory review of publication patterns in clinical reasoning suggests that the authors who engage actively with each other (and typically disagree) operate within similar boundary conditions—for example, we have observed that the authors who work within boundary conditions limited to human cognition (representing several different conceptual frameworks and theoretical lenses) engage profusely and enthusiastically, but seem to rarely cite work from those operating within a different set of boundary conditions.
[경계 조건]이라는 은유는 검토 과정 동안 우리 자신의 연구팀 내에서 발생하는 의견 불일치를 조명하는 데 우리에게 꽤 유용했다.
The analogy of boundary conditions has been quite useful for us in shedding light on the disagreements occurring within our own research team during the review process.
성찰
Reflections
임상적 추론에 대한 개개인의 이해를 명시적으로 하는 과정은 우리 팀 내의 서로 다른 관점에 대한 귀중한 통찰력을 가져왔다.
The process of rendering our individual understandings of clinical reasoning explicit resulted in valuable insights into the differing viewpoints within our team,
팀원 간의 차이는 주로 임상 추론이 "끝나는" 위치(=목적)가 어디이며, 추론 프로세스가 작동하는 경계 조건이 무엇인지에 대한 것이다.
Disparities amongst team members primarily pertained to individual demarcations regarding where clinical reasoning “ends” and the boundary conditions under which the reasoning processes operates.
문헌에서 임상 추론 연구는 다양하고 역사적으로 단편화되어있다. 그러므로 이 문헌이 구성요소 프로세스와 기여 요인 주위에 배치될 수 있는 복수의 정의와 복수의 가능한 한도의 공존을 구체적으로 나타내는 것은 놀랄 일이 아니다.. 다양한 정의 또는 개념화가 병렬적으로 존재하는 이러한 모습은 "전문직업성", 26 "타당도", 27 및 "역량"28 등 HPE25의 다른 영역에서도 자주 언급되며, 임상추론에만 국한되지 않는다.
Clinical reasoning research represents a diverse and historically fragmented literature10; it is not surprising, then, that this literature may represent multiple notions of what clinical reasoning “is”— specifically the coexistence of multiple definitions and multiple possible limits to be placed around component processes and contributing factors. This coexistence of multiple parallel definitions or conceptualizations has been documented in other domains in HPE25 such as “professionalism,”26 “validity,”27 and “competence”28—and so is not limited to the construct of clinical reasoning.
(연구자는) 스스로 자신의 경계 조건들을 "라벨링"함으로써, 다루고자 하는 문제와 우리가 연구하려고 하는 현상의 세부사항들을 기술할 의무가 있으며, 우리의 이론들이 사실일 것으로 기대되는 조건에 대해 명시할 수 밖에 없다. 그것은 또한 다른 사람들이 우리의 연구를 적절히 비평할 수 있게 할 것이고 경계 조건이나 이론적 틀에 걸친 협력 증대를 위한 문을 열 수 있게 할 것이다.
“Labeling” our boundary conditions would oblige us to delineate the problem we are trying to address and the specifics of the phenomenon we are attempting to study, and compel us to be explicit about the conditions under which we expect our theories to hold true. It would also allow others to appropriately critique our research work and may open doors for increased collaborations across boundary conditions or theoretical frames.
시사점 및 한계점
Implications and Limitations
경계 조건의 수학적 개념은 유용한 비유로 작용했다.
The mathematical concept of boundary conditions has served as a useful analogy
그러나 경계 조건의 개념은 불변의 장벽, 지식의 비전송성, 정해진 조건, 그리고 이론 프레임의 비교 불가능한 차이를 시사한다.
However, the notion of boundary conditions suggests impermeable barriers, nontransferability of knowledge, set conditions, and incommensurable differences in theoretical frames.
우리는 대신에 임상추론을 개념화하는 경계가 투과성을 가진다고 제안하고 싶다. 이 분야의 연구자들이 이론이나 경계 조건에 걸쳐 겹치는 영역, 즉 상호보완성을 찾기 위해 노력한다면, 임상 추론의 교육 및 평가를 종합적으로 지원하고, 그 개념에 대한 우리의 기본적 이해를 더욱 발전시킬 것이다.
We would like to suggest, instead, that the boundaries within which clinical reasoning is conceived have the potential to become permeable, as researchers in the field work to find areas of overlap, or complementarity, across theories or boundary conditions to comprehensively support the teaching and assessment of clinical reasoning and to further develop our foundational understanding of the concept.
임상 추론에 대한 통일된 정의는 달성할 수 있지 않으며, 심지어 바람직하다고도 할 수 없다. 오히려, 경계에 대한 개방적인 인정은 임상 추론과 그 구성요소 프로세스에 대한 보다 포괄적인 이해를 구축하기 위해 임상 추론에 종사하는 사람들 간에 더 나은 의사소통을 촉진할 수 있다.
It is unlikely that a unified definition of clinical reasoning is achievable, or even desirable; rather, the open acknowledgment of the boundaries could facilitate better communication amongst those working in clinical reasoning to build a more comprehensive understanding of clinical reasoning and its component processes.
이번 성찰적 연습에 따르면, 임상 교사들이 모두 임상 추론의 동일한 개념화를 공유하고 있을 가능성은 매우 낮다. 또한 임상 추론의 개념을 논의할 때 학생과 교사가 동일한 이해를 공유할 가능성도 낮다. 이는 교육 팀이 커리큘럼을 설계하거나 역량의 합의된 정의를 위해 작업하거나 교육 결과를 설명할 때 어려움을 초래할 수 있다. 또한 임상 추론에 "관련된" 기여자인 것에 대한 다른 개념으로 인해 학습자에게 "좋은" 임상 추론의 "올바른" 버전을 가르치는 데 유용하거나 필요한 것으로 보이는 다른 작업이 발생할 수 있다. 중요한 것은 HPE 커뮤니티가 이러한 다양한 개념화 및 경계 조건이 임상적 추론을 가르치고 평가하는 방법 및 암묵적 경계 조건의 예상하지 못한 결과에 영향을 미치는 경우 어떻게 "어떻게" 반성할 것을 촉구한다.
On the basis of this reflective exercise, it is unlikely that clinical teachers all share the same conceptualization of clinical reasoning, and also unlikely that students and teachers share the same understanding when discussing the concept of clinical reasoning. This may lead to difficulty when educational teams design curricula, work toward consensus definitions of competencies, or describe educational outcomes. It is also possible that different notions of what is a “relevant” contributor to clinical reasoning would result in different tasks seen as useful or necessary for teaching learners the “right” version of “good” clinical reasoning.
중요한 것은, HPE 커뮤니티가 이러한 다양한 개념화 및 경계 조건이 [우리가 임상적 추론을 가르치고 평가하는 방법과 암묵적 경계 조건의 가능한 의도하지 않은 결과]에 영향을 미치는지, 미친다면 어떻게 영향을 미치는지 성찰할 것을 촉구한다.
Importantly, we urge the HPE community to reflect on “if and how” these varied conceptualizations and boundary conditions affect the ways in which we teach and assess clinical reasoning and the possible unintended consequences of implicit boundary conditions.
14 Thomas A, Lubarsky S, Durning SJ, Young ME. Knowledge syntheses in medical education: Demystifying scoping reviews. Acad Med. 2017;92:161–166.
17 Gordon M. Are we talking the same paradigm? Considering methodological choices in health education systematic review. Med Teach. 2016;38:746–750.
4 Durning SJ, Artino AR Jr, Schuwirth L, van der Vleuten C. Clarifying assumptions to enhance our understanding and assessment of clinical reasoning. Acad Med. 2013;88:442–448.
27 St-Onge C, Young M, Eva KW, Hodges B. Validity: One word with a plurality of meanings. Adv Health Sci Educ Theory Pract. 2017;22:853–867.
,93 (7), 990-995
Drawing Boundaries: The Difficulty in Defining Clinical Reasoning
1M. Young is assistant professor, Department of Medicine, and research scientist, Centre for Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada. A. Thomas is assistant professor, School of Physical and Occupational Therapy, and research scientist, Centre for Medical Education, Faculty of Medicine, McGill University; and researcher, Centre for Interdisciplinary Research in Rehabilitation of Greater Montreal, Montreal, Quebec, Canada. S. Lubarsky is assistant professor, Department of Neurology, and core member, Centre for Medical Education, Faculty of Medicine, McGill University, Montreal, Quebec, Canada. T. Ballard is a plastic surgery resident, University of Michigan, Ann Arbor, Michigan. D. Gordon is associate professor, Division of Emergency Medicine, Department of Surgery, Duke University School of Medicine, Durham, North Carolina. L.D. Gruppen is professor, Department of Learning Health Sciences, University of Michigan Medical School, Ann Arbor, Michigan, United States. E. Holmboe is senior vice president for milestone evaluation and development, Accreditation Council for Graduate Medical Education, Chicago, Illinois, and adjunct professor of medicine, Yale University, New Haven, Connecticut, and Feinberg School of Medicine, Northwestern University, Chicago, Illinois. T. Ratcliffe is associate professor, Department of Medicine, University of Texas Health Science Center, San Antonio, Texas. J. Rencic is associate professor of medicine, Tufts University School of Medicine, and member, Division of General Internal Medicine, Tufts Medical Center, Boston, Massachusetts. L. Schuwirth is professor of medical education, Flinders University, and director, Flinders University Prideaux Centre for Research in Health Professions Education, Adelaide, South Australia, Australia; and professor of medical education, Maastricht University, Maastricht, the Netherlands; Chang Gung University, Taoyuan City, Taiwan; and Uniformed Services University of the Health Sciences, Bethesda, Maryland. S.J. Durning is professor of medicine and director of graduate programs in health professions education, Uniformed Services University of the Health Sciences, Bethesda, Maryland.
Clinical reasoning is an essential component of a health professional's practice. Yet clinical reasoning research has produced a notably fragmented body of literature. In this article, the authors describe the pause-and-reflect exercise they undertook during the execution of a synthesis of the literature on clinical reasoning in the health professions. Confronted with the challenge of establishing a shared understanding of the nature and relevant components of clinical reasoning, members of the review team paused to independently generate their own personal definitions and conceptualizations of the construct. Here, the authors describe the variability of definitions and conceptualizations of clinical reasoning present within their own team. Drawing on an analogy from mathematics, they hypothesize that the presence of differing "boundary conditions" could help explain individuals' differing conceptualizations of clinical reasoning and the fragmentation at play in the wider sphere of research on clinical reasoning. Specifically, boundary conditions refer to the practice of describing the conditions under which a given theory is expected to hold, or expected to have explanatory power. Given multiple theoretical frameworks, research methodologies, and assessment approaches contained within the clinical reasoning literature, different boundary conditions are likely at play. Open acknowledgment of different boundary conditions and explicit description of the conceptualization of clinical reasoning being adopted within a given study would improve research communication, support comprehensive approaches to teaching and assessing clinical reasoning, and perhaps encourage new collaborative partnerships among researchers who adopt different boundary conditions.
Renowned Physicians’ Perceptions of Expert Diagnostic Practice
Maria Mylopoulos, PhD, Lynne Lohfeld, PhD, Geoffrey R. Norman, PhD, Gurpreet Dhaliwal, MD, and Kevin W. Eva, PhD
보건 전문가 커뮤니티의 교육자들은 전문가 퍼포먼스를 이해하고 보다 효과적인 전문가를 개발하는 데 사용할 수 있는 적절한 역량 프레임워크를 만들기 위해 광범위한 노력을 해왔다. 의학 분야에서 이러한 전문지식의 탐구들은 전통적으로 의사의 진단적 통찰력에 초점을 맞추었으며, 효과적이고 효율적인 임상적 추론을 뒷받침하는 지식을 이해하는 데 중점을 두고 있다. 연구자들이 의사의 조직과 지식의 사용에 있어 중요한 전문가의 차이를 확인한 반면에, 연구자들은 모든 의사가 동일한 수준의 전문가 성과를 달성하는 것은 아니며, 일부 의사들은 그냥 '그저그런 정도에 머무는' 것을 점점 더 인식하고 있다.2
Educators in the health professions community have made extensive efforts both to understand expert performance and to create appropriate competency frameworks that can be translated into developing more effective experts. In the field of medicine, these explorations of expertise have traditionally focused on physicians’ diagnostic acumen, with an emphasis on understanding the knowledge that underpins effective and efficient clinical reasoning. Whereas researchers have identified important expert–novice differences in physicians’ organization and use of knowledge,1 researchers also increasingly recognize that not all physicians achieve the same level of expert performance, with some merely “swelling the ranks of the mediocre.”2
의사의 진단적 통찰력을 뛰어넘는 전문가 수행의 측면을 탐구하는 연구는 이러한 현실을 강화시켰다. 본 연구는 "적응적 전문가adaptive expert"는 지식을 효과적으로 사용할 뿐만 아니라, 그 실천과정에서 새로움을 접하면 새로운 지식을 구축할 수 있는 방법을 강조하여, 지속적인 실천 개선 과정에 참여하는 것을 강조한다.3 또한, 걸출한exceptional 의료 실천에 대해 의사가 어떤 개념을 가지고있는지가 더 한 사람이 가지고 있는 지식을 넘어서는 다양한 기술과 전문적인 적합성을 반영하고 있다는 것을 보여주었다.4
Studies exploring facets of expert performance that range beyond physicians’ diagnostic acumen have reinforced this reality. This research has emphasized the ways in which “adaptive experts” not only use knowledge effectively but also are able to construct new knowledge in response to novelty in their practice, thereby engaging in a process of sustained practice improvement.3 Moreover, our own research has shown that physicians’ conceptions of exceptional medical practice increasingly reflect a diverse set of skills and professional aptitudes that extend beyond the knowledge that one possesses.4
방법
Method
2008년부터 2010년까지, 우리는 전문가 진단 실습의 실질적인 이론의 개발에 기여하기 위하여, 구성주의적 근거이론의 인터뷰 기반 연구를 수행했다.
From 2008 to 2010, we conducted a constructivist grounded theory,5 interview-based study, intended to contribute to the development of a substantive theory of expert diagnostic practice.
참가자
Participants
우리의 목표 샘플링 접근방식은 기준과 이론적 샘플링 전략을 결합했다.6
Our purposive sampling approach combined both criterion and theoretical sampling strategies.6
우리의 샘플을 내과 교수진들로 제한하는 것은 그들이 특별한 동료들을 지명하는 이유의 변동성을 단순히 전문분야에 걸친 다양성에 기인할 수 없다는 것을 보장했다.
Restricting our sample to internal medicine faculty ensured that any variability in their reasons for nominating an exceptional colleague could not be attributed simply to the variability across specialties.
우리는 이메일을 통해 모든 내과 교수들에게 그들이 "뛰어난 의사"로 간주하는 동료들을 지명하는 웹 기반의 조사를 완료하도록 요청했다. 응답자들이 특정한 실천적 측면에 편견을 갖지 않도록 하기 위해, 우리는 "뛰어난 실무자"라는 문구를 정의하지는 않았다. 그 후 응답자에게 "걸출한 진단가"와 "걸출한전문가"를 추천하도록 요청하였다.4 전자에 대해 더 자세히 설명하지는 않았지만 후자를 "윤리적인 의사결정, 의사소통 능력 또는 환자와의 관계에 근거한 것"이라고 정의했다.
We asked all internal medicine faculty via e-mail to complete a Web-based survey nominating peers whom they considered to be “outstanding practitioners.” To avoid biasing respondents to particular aspects of practice, we did not define the phrase “outstanding practitioner” any further. We then asked respondents to nominate “exceptional diagnosticians” and “exceptional professionals.”4 We did not elaborate further on the former term but did define the latter as being “based on ethical decision-making, communication skills, or relationships with patients.”
Our saturation sample7 included 34 participants: 20 nominated as exceptional diagnosticians, 14 nominated as exceptional professionals.
자료 수집
Data collection
본 연구의 2단계인 현재 연구를 위해, 우리는 각 참가자들과 1시간 반의 구조적인 인터뷰를 실시했다. 우리는 우리 연구팀의 구성원들과 4명의 연구 과학자 그리고/또는 일반 전문 문헌에 대한 강한 지식을 가진 의료 교육자들이 포함된 하루 동안의 회의 동안에 협의 과정에서 인터뷰 프로토콜을 개발했다. 우리는 먼저 각 참가자의 뛰어난 임상 실습, 진단적 통찰력, 전문가 문제 해결, 개인 생활 및 경력 궤적에 대한 개념화를 탐구했다. 그런 다음 참가자들에게 "쉬운", "힘든" 또는 "스텀퍼"로 판명된 진단 경험(즉, 결코 해결할 수 없는 경우)을 설명해 달라고 요청했다.
For our current study, phase two of the project, we conducted a one-hour, semistructured interview with each participant. We developed the interview protocol in a consultative process during a daylong meeting that included members of our research team and four research scientists and/or medical educators with strong knowledge of the general expertise literature. We first explored each participant’s conceptualizations of outstanding clinical practice, diagnostic acumen, expert problem solving, and personal life and career trajectory. We then asked the participants to describe diagnostic experiences that they found to be “easy,” “hard,” or “stumpers” (i.e., cases they were never able to solve).
자료 분석
Data analysis
우리는 면접 성적표에 대한 구성주의적 근거 이론 분석을 실시했다. 각 연구팀원(연구현장 3명, 연구보조원 1명)은 일정한 비교분석을 용이하게 하기 위해 자료수집 과정에서 나타난 예비코드를 개별적으로 파악했다.7 우리의 구성주의 기반 이론 접근방식과 일관되게, 팀의 각 구성원은 데이터를 탐색하기 위해 자신의 이론 렌즈를 사용했고, 그 결과 데이터에서 나올 때 유도적인 주제와 연역적 연구자들이 그들의 이전 데이터 및 이론적 관점을 의도적으로 개발하기 위해 사용한 분석 프로세스를 만들었다.그는 주제 구조를 드러내고 있다.
We conducted a constructivist grounded theory analysis of the interview transcripts. Each member of the research team (five investigators from three of the research sites and a research assistant) individually identified the preliminary codes as they emerged during data collection to facilitate the constant comparative analysis.7 Consistent with our constructivist grounded theory approach, each member of the team used his or her own theoretical lens to explore the data, resulting in an analytic process that was both inductive—themes developed as they emerged from the data—and deductive—researchers purposefully used their prior data and theoretical perspectives to develop the emerging thematic structure.
결과
Results
의사들이 전문가 진단 관행을 개념화하는 방법에 대한 이해를 나타내는 4개의 상호 연결된 테마가 인터뷰 기록에 대한 분석에서 나타났다.
(1) 의료 실무에 대한 목적적이고 지속적인 참여를 통해 구축된 광범위한 지식 보유
(2) 환자 "스토리"를 효과적으로 수집할 수 있는 기술의 보유
(3) 해당 지식과 진단 중 환자 이야기를 반영하여 통합
(4) 임상실습을 통한 지속적인 학습
Four interconnected themes informing our understanding of how physicians conceptualize expert diagnostic practice emerged from our analysis of the interview transcripts:
(1) possession of extensive knowledge built through purposeful, continuous engagement in clinical practice,
(2) possession of the skills to effectively gather patient “stories,”
(3) reflective integration of that knowledge and those patient stories during diagnosis, and
(4) continuous learning through clinical practice.
주제 1: 임상 실습에서 목적적이고 지속적인 참여를 통해 구축된 광범위한 지식 보유
Theme 1: Possession of extensive knowledge built through purposeful, continuous engagement in clinical practice
참석자들은 폭넓은 지식 기반을 확보하고 유지하는 것이 중요하다고 강조했다. 특히, 그들은 지식의 개발과 유지보수를 의료실무에 지속적으로 관여하는 적극적인 과정으로 보았다.
Participants emphasized the importance of acquiring and maintaining an extensive knowledge base. Notably, they saw the development and maintenance of knowledge as an active process of continued engagement in clinical practice:
참가자들은 [임상적 실천을 통해 이루어지는 일상적인 학습]이 우수성을 뒷받침하는 광범위한 지식기반의 유지에 필수적이라고 강조한 반면, 그들은 또한 [자신의 전문분야에 대한 깊은 지식]을 유지하고 [여러 의료영역에 걸쳐 광범위하게 넓히는 데] 있어서 독서reading의 중요성에 대해 언급했다.:
Whereas participants emphasized that the daily learning that takes place through clinical practice is integral to the maintenance of the extensive knowledge base underpinning excellence, they also commented on the importance of reading both for maintaining a deep knowledge in their specialty and for gaining breadth across the broader medical domain:
비록 그 점이나 그 논문이 내가 현재 하고 있는 어떤 일에도 사실 전혀 무관한 것처럼 보이지만, 지금부터 6개월 내지 8개월 후에 그것이 관련될지도 모른다. 그리고 사실대로 말하자면 나는 아주 자세하게 기억하지 못할 것이다. 그러나, 그것은 나에게 어떤 임상적인 점에 대한 나의 결정에 영향을 미칠 수 있는 추가적인 약간의 지식을 가질 수 있는 계층화, 배경화 그리고 능력을 주는 것 같다.
Even though that point or that article is seemingly actually quite irrelevant to anything I’m doing currently, six or eight months from now that might become relevant. And to tell you the truth I won’t remember a lot in great detail. But, it seems to give me that layering and background and ability to then have that additional little bit of knowledge that maybe influences my decision about some clinical point.
주제 2: 환자 이야기를 효과적으로 수집하는 기술 보유
Theme 2: Possession of the skills to effectively gather patient stories
참가자들은 진단 과정에서 환자 이야기라고 기술한 지식을 습득하는 것이 중요하다는 점에 주목했다. 그들은 신체 검진와 관련된 효과적인 의사소통 및 기술력을 포함하여 이러한 이야기를 습득할 수 있는 기술을 강조하였다.
Participants noted the importance of acquiring knowledge that they described as patient stories during the diagnostic process. They highlighted the skills that enabled them to acquire these stories, including effective communication and technical skills related to physical examination:
사실, 나는 듣는 것을 배우는 것이 가장 중요하다고 생각해. 이 기술은 [환자가 당신에게 말하고자 하는 것]을 실제로 듣고, [환자가 당신이 듣고자 하는 것만 말하도록 하지 않도록 하는] 기술이다. 그것들은 매우 다른 것이다. 나는 숙련되지 않은 임상의가, 경험이 적은 임상의가 계속 질문을 할수록 환자가 실제로 가만히 앉아서 무슨 말을 해야 하는지를 듣는 것이 아니라 환자에게 지시하는 것이라고 생각한다. 왜냐하면 대부분의 진단은 당신의 눈이 아니라 귀로 발생하기 때문이다.
Actually, I think most important is learning to listen. It’s the skill of actually hearing what the patient wants to tell you and not trying to get the patient to tell you what you want to hear. Those are two very different things. I think the less skilled clinician, less experienced clinician interrupts, keeps asking questions, directs the patient rather than actually sitting back and actually hearing what the patient has to say because the vast majority of diagnosis happens with your ears, not with your eyes.
참가자들은 또한 [사용 가능한 모든 지식을 환자 이야기와 관련지어 관찰 및 분석하는 것]을 통하여, 환자의 상호작용을 이해하는 것의 중요성에 대해 언급했다.
Participants also commented on the importance of understanding patient interactions through observing and collating all available knowledge into a patient story:
엘리트 임상의는 지식과 기술력뿐만 아니라, 듣고 보고 두드리고 나서 모든 것을 종합해 볼 수 있는 능력이 있는데, 이것은 그들이 가지고 있는 또 다른 재능이다.
Elite clinicians not only knowledge and technical skills, but they have the ability to pick up the physical things by hearing, looking at it, percussing it, and then have to put it all together, which is another talent they have.
주제 3: 진단 중 해당 지식과 환자 이야기를 반영하여 통합
Theme 3: Reflective integration of that knowledge and those patient stories during diagnosis
참가자들은 [과거의 지식]과 [경험을 현재]의 [환자 이야기]와 통합하여 발생하는 진단 과정을 이해하였다.
Participants understood the process of diagnosis to occur through the integration of past knowledge and experience with a current patient story:
또한 참가자들은 진단 과정 중에 지식을 효율적으로 통합하고 사용하기 위한 패턴 인식의 우선성을 인식했다.
In addition, participants recognized the primacy of pattern recognition for integrating and using knowledge efficiently during the diagnostic process:
경험적 데이터베이스를 가져가야 할 것 같다. 휴리스틱스나 패턴 인식을 위해 지름길을 만들 수 있도록 말이다. 그것은 오직 경험으로만 올 수 있다. 여러분은 심장마비라는 주제에 대한 20가지의 다른 변형을 봐야만 한다. 심장마비라는 미묘한 비정형적 표현뿐만 아니라 공통점을 인식할 수 있기 때문이다.
So I think you have to take your experiential database … to allow you to kind of make short cuts to have those heuristics, that pattern recognition. That only can come with experience. You have to have seen 20 different variations of the theme of heart attacks to be able to recognize the common as well as the subtle atypical presentations.
그러나 참여자들은 패턴 인식이 오진을 초래할 수 있다는 가능성을 인식하였고, 진화하는evolving 진단을 위해 성찰적 자세가 필요하고, 보완적임을 명시하였다.
However, participants also articulated a necessary and complementary reflective stance toward the evolving diagnosis, thereby recognizing the possibility that pattern recognition can lead to misdiagnosis:
내가 가끔 빠져드는 함정이나 함정 중 하나는 이것이 패턴에 해당한다고 가정하고 어떤 상태에 고정되는 것이다. 그리고 네모난 펙트를 잘못된 구멍에 집어넣으려고 하는 것과는 반대로 "좋아, 또 무슨 일이 일어날 수 있지?" "왜 이게 맞지 않는 거지?"라고 말하는 사고의 융통성을 유지하기는 어렵다.
One of my traps or pitfalls that I fall into sometimes is that you kind of assume this is going to fall into the pattern and you kind of get anchored to a certain condition. And it’s hard to keep the flexibility of thought to say, “Okay, what else could be going on?” and “Why is this not fitting?” as opposed to trying to jam a square peg into the wrong hole.
또한 참가자들은 자신의 경험을 활용하여, 기존 지식이 필요한 진단을 위해 불충분할 때를 인식하는 것과 현재 환자 평가를 자신의 임상 영역에 대한 깊은 이해를 증진시키는 기회로 사용하는 것이 중요하다는 점에 주목하였다.
Moreover, participants noted the importance both of using their experience to recognize when their existing knowledge was insufficient for the necessary diagnosis and of using their current patient assessment as an opportunity to cultivate a deep understanding of their clinical domain:
주제 4: 임상 실습을 통한 지속적인 학습
Theme 4: Continuous learning through clinical practice
진단 활동에 대한 성찰적 접근방식은 medical practice에 대한 광범위한 접근방식을 보여주는 것이었다. 이러한 태도는 그들을 평생학습자로 만들었다. 왜냐하면 [실천에 기초한 학습에 종사하는 임상의사로서 겸손]의 필요성뿐만 아니라 [그들 자신의 지식에 대한 회의적인 입장]을 갖게 했기 때문이다.
For participants, the reflective approach to the activity of diagnosis was mirrored by their broader approach to medical practice that shaped them as lifelong learners through the adoption of a skeptical stance toward their own knowledge as well as the need for humility as clinicians engaged in practice- based learning;
겸손한 것 같아. 겸손은 당신의 실수로부터 배우는 것을 의미한다고 생각한다. 왜냐하면 당신이 근본적인 것을 하지 않았기 때문에 다음 번에는 그것을 하지 않기 때문이다. 그것도 전문가로서의 한 부분이다.
I think being humble. I think humility means learning from your mistakes also because you remember when you didn’t do something fundamental so you don’t do it the next time. That’s part of being an expert too.
고찰
Discussion
우리의 결과는 네 가지의 상호 연결된 진단 관행을 강조하는 탁월함의 모델을 보여준다.
Our results reveal a model of excellence that emphasizes four interconnected dimensions of diagnostic practice.
의학 교육에 있어서의 현재 담론의 맥락 안에서 우리의 결과를 탐구하는 것은 이러한 우수한 진단능력을 구성하는 두 가지 주요 특징을 전면에 내세운다.
(1) 진단 프로세스를 뒷받침하는 의료 역량의 통합적 특성
(2) 진단 프로세스의 "최적 적응" 특성.
Exploring our results within the context of current discourses in medical education brings to the forefront two key features of this construct of diagnostic excellence:
(1) the integrated nature of the medical competencies that underpin the diagnostic process, and
(2) the “optimally adaptive”3 nature of the diagnostic process.
대학원 의학 교육 위원회(ACGME)의 핵심 역량9 및 CanMEDS 의사 역할10은 강력한 지식 기반을 넘어 광범위한 기술을 유지하는 의사의 중요성을 강조한다. 우리의 연구에서 나온 우수성의 모델은 [진단 전문가로서의 능력을 유지하고 향상시키기 위하여] [진단 프로세스 및 광범위한 접근 방식에서 의사가 다양한 역량을 어떻게 통합하는지]를 강조한다.
The Accreditation Council for Graduate Medical Education (ACGME) core competencies9 and the CanMEDS physician roles10 emphasize the importance of physicians maintaining a broad skill set beyond a strong knowledge base. The model of excellence that emerged from our study highlights the ways in which physicians integrate different competencies both during the diagnostic process and in their broader approach to maintaining and improving their skills as diagnosticians.
예를 들어, 우리의 연구결과는 뛰어난 의사가 진단적 실천을 생각하는 방식이 다음의 밀접한 관계를 반영한다는 것을 시사한다.
CanMEDS 역할에서 의료 전문가, 의사 전달자 및 학자
ACGME 역량에서 의료 지식, 대인 관계 및 커뮤니케이션 기술, 연습 기반 학습 및 개선
For example, our findings suggest that the way in which reputed physicians conceive of diagnostic practice reflects a close entwining of
the medical expert, communicator, and scholar CanMEDS roles, or
the medical knowledge, interpersonal and communication skills, and practice-based learning and improvement ACGME competencies.
우리가 여기서 보고한 결과는 한 가지 능력이나 역할을 훌륭히 해내는 것만으로 뛰어난 의사가 되기에는 부족하다는 것을 시사한다. 게다가, 그들은 의사들이 통합적 구조로서 그들 자신과 다른 사람들의 의료 행위를 이해한다는 것을 증명한다.
the results that we report here suggest that excelling in any one competency or role alone is insufficient to be an exceptional physician. Moreover, they demonstrate that physicians understand their own and others’ medical practice as an integrated construct,
기본적으로, 학생과 전공의가 진단 전문 지식과 뛰어난 의료 지식을 위해 노력하는 것을 돕는데 있어서, 우리는 그들의 실천기반 학습과 의사소통 기술을 동시에 길러야 한다. 이러한 기술들을 그들의 진단적 우수성의 발전을 위한 중요한 수단이며, 단순히 양호한 임상 수행의 독립적인 요소가 아니다. 이와 관련하여, 특정 역량에 의도적으로 초점을 맞추는 평가 관행은 역효과를 낳을 수 있기에, 역량이 독립적으로 평가되어야 한다는 wisdom에 더욱 의문을 제기할 수 있다.
Essentially, in helping students and residents strive for diagnostic expertise and outstanding medical knowledge, we must simultaneously cultivate their practice-based learning and communication skills and treat these skills as a crucial means toward their development of diagnostic excellence, rather than simply as independent components of good clinical performance. In this regard, assessment practices that deliberately focus on a particular competency may be counterproductive, bringing further into question the wisdom of assessing competencies independently.11
참가자들은 진단 정의에서 이러한 기술의 통합은 사전 지식과 환자 이야기를 결합하는 과정으로 설명하면서 환자가 마주치는 동안 진화하는 진단에 대한 성찰적 자세를 채택했다. 예를 들어, 참가자는 지식을 [패턴 인식 과정을 통해 환자를 효율적으로 진단하는 수단]으로서뿐만 아니라 [까다로운 진단 사례에서 새로운 지식을 구성하기 위한 자료]로서 설명하였다. 적응성 전문 이론가들이 말한 바와 같이, 이러한 행위는 의사가 "최적 적응성 경로"을 따르는 것으로 이해해야 한다.
Participants described this integration of skills in their definition of diagnosis as a process of combining prior knowledge with patient stories while adopting a reflective12,13 stance toward a diagnosis as it evolves during a patient encounter. For example, participants described using knowledge not only as a means to efficiently diagnose a patient through a process of pattern recognition but also as a resource to construct new knowledge in challenging diagnostic cases. We understand this process to be at work when a physician is working within the “optimal adaptability corridor,”3 as described by adaptive expertise theorists.
optimal adaptability corridor OAC 란 적응적 전문가가 실천의 효율(과거 지식의 사용)과 혁신(새로운 지식의 구축 및 학습) 치수 사이에서 효과적인 균형을 유지할 수 있는 능력을 말한다. 실제로 이러한 전문가들은 그 한계로 인해 제약이나 misled 없이 과거의 지식을 활용할 수 있는 동시에 필요할 때 효과적인 문제 해결을 위한 새로운 지식을 구축할 수 있다. OAC를 따르게 되면, 본 연구에서 "임상실천을 통한 지속적인 학습"으로 개념화한 프로세스인, 문제 해결과정을 통한 지속적 학습이 가능하다
The optimal adaptability corridor refers to the ability of adaptive experts to maintain an effective balance between complementary efficient (use of past knowledge) and innovative (construction and learning of new knowledge) dimensions of their practice. In effect, these experts are able to use their past knowledge without being constrained or misled by its limitations, while also constructing new knowledge for effective problem solving when necessary. Working within the optimal adaptability corridor allows experts to continuously learn as they problem solve, a process that participants conceptualized as “continuous learning through clinical practice.”
,87 (10), 1413-7
Renowned Physicians' Perceptions of Expert Diagnostic Practice
Purpose:To further the development of a substantive theory of expert diagnostic practice, the authors explored the ways in which exceptional physicians, nominated by their peers, conceptualized their own diagnostic expertise specifically and diagnostic excellence generally.
Method:In this grounded theory, interview-based study, physicians at six North American research sites were nominated by their peers as exceptional diagnosticians and exceptional professionals and invited to participate in the study. A saturation sample included 34 participants, 20 exceptional diagnosticians, and 14 exceptional professionals. Using a constant comparative approach, the authors conducted one-on-one interviews with participants, transcribed the audiotapes of those interviews, and analyzed them for emergent themes. They developed a stable thematic structure and applied it to the entire data set.
Results:Four interconnected themes emerged that inform the community's understanding of how physicians conceptualize expert diagnostic practice: (1) possession of extensive knowledge built through purposeful, continuous engagement in clinical practice, (2) possession of the skills to effectively gather patient stories, (3) reflective integration of that knowledge and those patient stories during diagnosis, and (4) continuous learning through clinical practice.
Conclusions:Exploring these results within the context of current discourses in medical education brings to the forefront two key features of physicians' construction of diagnostic excellence: (1) the integrated nature of the medical competencies that underpin the diagnostic process and (2) the optimally adaptive nature of the diagnostic process. These findings can inform the development of practical and effective pedagogical strategies to guide trainees, clinicians, and medical educators who strive for excellence.
The Causes of Errors in Clinical Reasoning: Cognitive Biases, Knowledge Deficits, and Dual Process Thinking
Geoffrey R. Norman, PhD, Sandra D. Monteiro, PhD, Jonathan Sherbino, MD, Jonathan S. Ilgen, MD, Henk G. Schmidt, PhD, and Silvia Mamede, MD, PhD
의료오류는 2000년 획기적인 의학연구소(IOM) 보고서인 "The Errr Is Human: Building a Safer Health System"이 발표된 이후 상당한 주목을 받아왔다. 그 보고서는 의료 오류에 대한 사회적 비용이 크다는 점에 대해 구체적인 주의를 환기시켰다. IOM의 2015년 후속 보고서도 다음과 같이 덧붙였다.
Medical errors have received considerable attention since the publication of the landmark Institute of Medicine (IOM) report “To Err Is Human: Building a Safer Health System” in 2000.1 The report called specific attention to the large societal cost of medical errors. A 2015 follow-up report also from the IOM added that
의료전달시스템은 수십 년 동안 사각지대를 가지고 유지되어 왔다. 바로 진단 오류이다. 이는 정확하지 않거나 지연된 진단을 말하며, 모든 진료 환경 전반에 분포하고 있으며, 지속적으로 납을할 수 없을 만큼 많은 수의 환자를 계속 해친다.2
[t]he delivery of health care has proceeded for decades with a blind spot: Diagnostic errors—inaccurate or delayed diagnoses—persist throughout all settings of care and continue to harm an unacceptable number of patients.2
이 후속 보고서에서 IOM은 의사, 가족, 시스템을 포함한 여러 가지 진단 오류의 원인을 강조하였다. 그러나 진단을 목적으로 하는 추론 과정에 대한 설명은 전적으로 임상의의 인지 과정에 국한되었다. 이러한 초점이 맞춰지는 한 가지 이유는 결국 "임상추론은 의사의 마음 속에서 일어난다"는 것일 수 있다.2
In this follow-up report, the IOM highlighted the multiple causes of diagnostic error, including the clinician, the family, and the system. However, the description of the process of reasoning directed at making a diagnosis was entirely restricted to the cognitive processes of the clinician. One reason for this focus may be that, at the end of the day, “clinical reasoning occurs within clinicians’ minds.”2
확실히, 1970년대와 1980년대의 첫 번째 연구로 거슬러 올라가는 초창기 임상추론 연구는 심리학적 관점에 의해 지배되어 왔으며, 개인 임상의사의 사고 과정을 탐구했다.
Certainly, research in clinical reasoning, dating back to the first studies in the 1970s and 1980s,3,4 has been dominated by a psychological perspective, exploring the thinking processes of the individual clinician.
그루펜과 동료5는 1차 진료의사들이 78%의 사례에서 CC만을 근거로 정확한 진단을 내렸다는 것을 발견했다. 보다 최근에 펠라키아와 동료6은 응급의사들운 환자를 만나기 전에 이미 25%의 가설을, 임상적 만남의 첫 5분 동안 75%의 가설을 생성했다는 것을 보여주었다.
Gruppen and colleagues5 found that primary care physicians had the correct diagnosis based on just the chief complaint in 78% of cases. More recently, Pelaccia and colleagues6 showed that emergency physicians generated 25% of hypotheses before meeting the patient and 75% of hypotheses in the first five minutes of the clinical encounter.
이러한 발견은 사고의 "이중 프로세스 모델"을 기술하는 심리학에서 다수의 문헌에서 나온 결과와 일치한다.7–13 특정한 이론은 다를 수 있지만, 일반적인 특징은 사고에는 두 가지 시스템이 관련되어 있다는 것이다.
더 빠른 시스템인 타입 1은 자동적이고, 무의식적이며, 겉보기에는 힘이 없어 보이는 반면,
느린 시스템인 타입 2는 통제되고, 의식적이며, 노력한다.
에반스와 스타노비치13이 설명했듯이
시스템1은 "직관적이고, 휴리스틱하며,
시스템2는 "반사적이고, 분석적"이다.
These findings are consistent with the findings from a large body of literature in psychology that describes “dual process models” of thinking.7–13 Although particular theories may differ, a common feature is that thinking involves two systems. The faster system, Type 1, is automatic, unconscious, and seemingly effortless, whereas the slower system, Type 2, is controlled, conscious, and effortful. As Evans and Stanovich13 described it, Type 1 is “intuitive, heuristic,” and Type 2 is “reflective, analytic.”
많은 저자들은 제1형 사고와 관련된 휴리스틱스와 그로 인한 인지적 편견이 진단 오류를 초래할 수 있는 가능성에 관심을 가져왔다.18–20 2015년 IOM 보고서는 휴리스틱스와 진단 오류의 관계에 대해 상당히 자세히 설명하였다.
Many authors have drawn attention to the heuristics associated with Type 1 thinking and to the possibility that the resulting cognitive biases may lead to diagnostic errors.18–20 The 2015 IOM report went into considerable detail about the relationship between heuristics and diagnostic errors:
휴리스틱스(Heuristics)는 인식 전략 또는 무의식적으로 채택되는 정신적 지름길로서, 의사결정에 특히 중요하다. 휴리스틱스는 의사결정을 용이하게 할 수 있지만 오류를 일으킬 수도 있다. 휴리스틱이 실패할 때, 그것은 인지적 편견이라고 불린다.2
Heuristics—cognitive strategies or mental shortcuts that are automatically and unconsciously employed—are particularly important for decision making. Heuristics can facilitate decision making but can also lead to errors. When a heuristic fails, it is referred to as a cognitive bias.2
비록 이 진술이 절대적인 것처럼 보이지만, 인간 추론에서 편향의 증거는 상당부분 상식 수준에서, 전문지식이 없이 질문에 대답하는 학부 심리학과 학생들의 연구에서 도출되었다.21 IOM 보고서는 이러한 연구를 광범위하게 인용하였으나 임상 추론에서 편견의 역할에 대한 증거를 검토하지 않았다.2
Although this statement appears definitive, much of the evidence of bias in human reasoning has been derived from studies of undergraduate psychology students answering commonsense and expertise-free questions.21 The IOM report extensively cited these studies but did not examine evidence of the role of biases in clinical reasoning.2
기억과 이중 처리의 구조
The Architecture of Memory and Dual Processing
인간의 추론은 왜 빠른 직관적 처리와 휴리스틱스에 의존하는가? 답은 사고와 기억의 특징 때문이다. 정신은 모든 계산이 발생하는 [제한된 용량의 작업 메모리]와 새로운 정보와의 연관성의 강도에 기초하여 메모리를 검색하는, [본질적으로 용량이 제한되지 않은 장기적 연관 기억]을 모두 포함한다.22
Why does human reasoning rely on rapid intuitive processing and heuristics? The answer lies in the nature of thinking and memory. The mind contains both a working memory of limited capacity in which all computations occur and a long-term, associative memory of essentially limitless capacity, whereby memories are retrieved based on the strength of their association with the new information.22
유형 1 사고는 새로운 정보와 기억 속의 유사한 예제 사이에 직접적인 연관성을 만드는 것으로 볼 수 있다.23 그러한 메모리 검색은 매일 매 시간마다 수천 번 발생한다.
Type 1 processing can be viewed as making a direct association between new information and a similar example in one’s memory.23 Such memory searches occur thousands of times every hour of every day;
이러한 연관성 만드는 작업은 노력없이 이뤄지며, 작업 메모리에 과부하를 주지 않는다.13 유사한 예를 검색할 가능성은 오류를 야기할 수 있는 여러 요인에 의해 영향을 받을 수 있는 연관성의 강도와 관련이 있다.24
These associations are effortless and do not overload our working memory.13 The likelihood of retrieving a similar example is related to the strength of the association, which can be influenced by a number of factors, that may lead to errors.24
과거에 연고가 관찰된 횟수,
기억 속에 저장된 예시 횟수 또는
공통적인 특징의 개수,
최근성이나 생동감 같은 외부 특성의 개수,
the number of times the association has been observed in the past,
the number of examples stored in one’s memory, or
the number of common features,
the number of extraneous characteristics, such as recency or vividness,
반대로, 타입 2 프로세싱은 자신의 작업 메모리에 있는 연산에 기초한다. 예를 들어, 사례에 존재하는 진단 범주에서 피쳐를 식별하고 특정 질병의 가능성을 추정한다.23 타입 2 프로세싱은 그 성격상 추상적이고 규범적이거나 논리적인 규칙과 일치하기 때문에 작업기억에 무거운 부담을 지운다. 따라서 제한된 작업 메모리에 대한 부하가 증가함에 따라 계산 오류가 발생할 가능성이 발생한다.13
Conversely, Type 2 processing is based on computations in one’s working memory—for example, identifying the features from a diagnostic category that are present in a case and estimating the likelihood of a particular disease.23 Type 2 processing is, by its nature, abstract and normative—or consistent with logical rules—so it places a heavy burden on one’s working memory. Thus, the possibility arises that computational errors may occur as a result of the increased load on one’s limited working memory.13
그렇다면 이 두 과정과 추론 오류 사이의 관계는 무엇인가? 한 가지 관점은 [모든 오류는 유형 1 추론에서 발생하며, 유형 2 추론에 의해서는 수정되지 않는다]는 관점이다.
What is the relationship, then, between these two processes and reasoning errors? One view is that all errors originate from the heuristics that are employed in Type 1 reasoning and not corrected by Type 2 reasoning:
직관적 판단의 오류는 두 시스템의 고장을 모두 포함한다. 오류를 발생시킨 시스템 1과 오류를 감지하고 수정하지 못한 시스템 2.25
Errors of intuitive judgment involve failures of both systems: System 1, which generated the error, and System 2, which failed to detect and correct it.25
대안적 관점은 [두 프로세스 모두에서 오류가 발생]한다는 것이다.
An alternative view is that errors arise from both processes:
아마도 이중 과정 이론에 대한 인식에서 가장 끈질긴 오류는 제1종 프로세스(직관적, 휴리스틱)가 모든 나쁜 사고를 책임지고 제2종 프로세스(반사적, 분석적)가 반드시 올바른 반응을 이끌어 낸다는 생각일 것이다.... 그래서 이 좋은 생각의 본질은 나쁜 생각이고 어떤 이중 과정 이론들은 그것을 그들의 핵심 용어로 만들었다.13
Perhaps the most persistent fallacy in the perception of dual-process theories is the idea that Type 1 processes (intuitive, heuristic) are responsible for all bad thinking and that Type 2 processes (reflective, analytic) necessarily lead to correct responses.… So ingrained is this good–bad thinking idea that some dual- process theories have built it into their core terminology.13
그렇다면 어떻게 하면 오류를 줄일 수 있을까? 위의 첫 번째 공식에서 오류는 유형 1 처리에 있어서 유선 연결된 인지적 편견의 결과이기 때문에, 해결책은 편견이 발생할 수 있는 시기를 감지하는 것을 학습한 다음 분석 유형 2 추론을 사용하여 다음과 같이 수정하는 것이다.
How can we reduce errors, then? In the first formulation above, because errors are a consequence of hardwired, cognitive biases in Type 1 processing, the solution is to learn to detect when a bias may arise and then use analytical Type 2 reasoning to correct it:
시스템 1에서 비롯되는 오류를 차단하는 방법은 원칙적으로 간단하다: 인지 지뢰밭에 있다는 징후를 인식하고 속도를 늦추고 시스템 2에 보강을 요청한다.
The way to block errors that originate in System 1 is simple in principle: recognize the signs that you are in a cognitive minefield, slow down, and ask for reinforcement from System 2.26
이 관점은 오류가 지식의 결핍에서 발생할 수 있다는 것을 인정하거나 (분석적이든 경험적이든) 도메인에서 지식을 증가시키는 것이 오류의 감소로 이어질 것임을 시사하지 않는다. 그 대신, 이 관점은 오류로 이어질 수 있는 사고 과정의 결함에 초점을 맞추고 있다.
This view does not acknowledge that errors may arise from knowledge deficits or suggest that increasing knowledge in a domain (either analytical or experiential) will lead to fewer errors. Instead, the focus is on flaws in the thinking processes that may lead to errors.
다른 이론가들은 이 두 과정이 다른 종류의 지식을 반영한다고 본다.
제1종 프로세싱은 무의식적인 연관성의 과정을 통해 개별 경험의 검색을 수반하는 반면,
제2종 프로세싱은 "상징적으로 표현된 ...지식"을 사용한다9
프로세스에 집중하는 것과는 대조적으로, 이 관점은 각 유형의 생각에서 요구되는 지식의 종류와 그 지식이 어떻게 학습되는지를 명시적으로 검토한다.
Other theorists believe that the two processes reflect different kinds of knowledge. Type 1 processing involves the retrieval of individual experiences through a process of unconscious association, while Type 2 uses “symbolically represented … knowledge.”9 In contrast to a focus on processes, this perspective explicitly examines the kinds of knowledge required by each type of thinking and how that knowledge is learned.
만약 오류가 인지적 편견의 결과라면,
If errors are a consequence of cognitive biases, then:
1. 지식과 경험의 증가와 오류의 관계는 없을 것이다.
1. There will be no relationship between increasing knowledge and experience and errors.
2. (속도감 있는 작업이나 주의 산만과 같은) 제약조건은 제2형식 분석 처리에 영향을 미치고 더 많은 오류를 초래할 것이다.12
2. Constraints such as speeded tasks or distractions will affect Type 2 analytical processing and lead to more errors.12
3. 오류는 인지편향을 명시적으로 인식하고 오차를 시정하기 위한 분석전략을 발동하는 학습을 통해 교정될 것이다.19
3. Errors will be corrected by learning to explicitly recognize a cognitive bias and invoke analytical strategies to correct the error.19
반대로 오류가 지식 결손의 결과라면,
Conversely, if errors are a consequence of knowledge deficits, then:
1. 경험이 많아지면 분석적 지식이나 경험적 지식 모두 커져서 오류가 줄어든다.
1. More experience will lead to greater knowledge, both analytical and experiential, and result in fewer errors.
2. 제1형 처리가 전문지식을 밑거름으로 하는 한, 신속한 작업이나 산만함이 정확도에 미치는 영향은 미미할 것이다.
2. To the extent that Type 1 processing underlies expertise, speeded tasks or distractions will have minimal effect on accuracy.
3.오류는 구체적인 지식을 적용한다면 시정될 것이다.
3. Errors will be corrected by applying specific knowledge.
오류의 원인에 대한 두 가지 넓은 관점을 검토하기 위해, 인지 편향이나 지식 부족을 우리는 문헌에 대한 검토를 either/or 이분법적으로 프레이밍했다. 그러나 실제로는 두 가지 결손 모두 오류의 원인이 될 가능성이 높다.
To examine the two broad perspectives on the causes of errors—cognitive bias or knowledge deficiency—we have framed our review of the literature as an either/or dichotomy. In fact, it is likely that both deficits contribute to errors.
의학 임상 추론 연구의 증거
Evidence From Clinical Reasoning Studies in Medicine
임상적 추론의 오류는 인지적 편견에 의해 야기되는가?
Are errors in clinical reasoning caused by cognitive biases?
Evans12가 지적한 바와 같이, 오류는 유형 1 처리의 휴리스틱에서 발생하여 유형 2 처리의 개입에 의해 수정되는 한 가지 증거는 오류와 진단 속도 사이의 관계다. 진단을 철저히 하기 위해 더 긴 시간을 사용하거나 속도를 늦추라는 지침은 제2형식 처리를 더 많이 사용할 수 있어야 하며 따라서 더 높은 정확도를 산출해야 한다.
As Evans12 indicated, one kind of evidence that errors arise from the heuristics of Type 1 processing and are corrected by the interventions of Type 2 processing is the relationship between errors and the speed of diagnosis. A longer time to a diagnosis, or instructions to slow down, to be thorough, etc., should permit more use of Type 2 processing and hence produce greater accuracy.
이러한 모든 연구는 시간을 증가시키고, 따라서 타입 2 처리에 더 많이 의존하는 것은 오류를 개선시키지 않는다는 것을 시사한다. 그러나, 최근의 한 연구는 시간을 심하게 제약하는 것이 초보자의 오류를 증가시킨다는 것을 보여주었다.32
All of these studies suggest that increasing time, and thus relying more heavily on Type 2 processing, does not ameliorate errors. However, one recent study showed that severely constraining time does increase novices’ errors.32
문헌에서 나온 증거에 따르면, 더 많은 처리 시간은 일반적으로 더 적은 수의 오류가 아니라 더 많은 오류와 연관되어 있다. 만일 오류가 유형 1 처리의 인지적 편견에 의해 야기되고 유형 2 처리에 의해 해결된다면, 그 반대가 사실일 것이다. 이 발견에 대한 한 가지 설명은 두 시스템 모두에서 오류가 발생할 수 있다는 것이다. 예를 들어, 조기 종결(진단 오류의 가장 일반적인 원인으로 확인됨3)와 확증편향 모두 데이터 수집 및 합성 과정에서 발생하는 현상이기 때문에 유형 2 프로세싱과 연관될 가능성이 더 높다.34 더욱이 오류 해결은 단순히 추가적인 분석 노력을 기울이는 경우가 아니며, 충분한 지식이 없으면 추가 처리가 오류를 해결하는 데 도움이 되지 않을 것 같다. 우리는 적절한 시기에 이 과정에서 지식의 역할에 대해 자세히 설명할 것이다.
According to this evidence from the literature, more processing time is generally associated with more, not fewer, errors. If errors are caused by cognitive biases in Type 1 processing and resolved by Type 2 processing, the reverse would be true. One explanation for this finding is that errors can arise in both systems; for example, both premature closure (which has been identified as the most common contributor to diagnostic error33) and confirmation bias are phenomena that arise during the process of data gathering and synthesis, so they are more likely to be associated with Type 2 processing.34 Moreover, the resolution of errors is not simply a case of exerting additional analytical effort; without sufficient knowledge, additional processing is not likely to be helpful in resolving errors. We will elaborate on the role of knowledge in this process in due course.
임상 추론의 오류가 제1형 처리와 관련되어 있는가?
Are errors in clinical reasoning associated with Type 1 processing?
지금까지 일반 문헌에는 100개 이상의 인지편견이, 의학 문헌에는 적어도 38개 이상의 인지편향에 대해 기술되어 있다.19 인지편향과 진단오차를 연관짓는 글의 두드러진 점을 감안할 때, 진단추론에서 인지편향에 대한 경험적 실증적 실증이 비교적 적다는 것은 다소 놀라운 일이다. 최근 체계적인 검토에서 보건의료에서 인지편향에 대한 213개의 연구가 확인되었지만, 많은 사람들이 진단추론이 아닌 치료선택(추론)과의 관련성을 검토했다.39 이 기사를 검토한 후, 우리는 15개의 연구만이 진단오류에서 인지편향의 역할을 검사했고, 7개의 편견만 검사했다고 결론지었다.
To date, over 100 cognitive biases have been described in the general literature and at least 38 in the medical literature.19 Given the prominence of writings associating cognitive bias with diagnostic error,14–20,35–38 it is somewhat surprising that there are relatively few empirical demonstrations of cognitive bias in diagnostic reasoning. A recent systematic review identified 213 studies of cognitive bias in health care; however, many examined the therapeutic choices , not diagnostic reasoning.39 After reviewing this article, we concluded that only 15 of the studies examined the role of cognitive bias in diagnostic error, and only 7 biases were examined.
실제로 존재하는 진단 추론에서 인지편향의 역할에 대한 증거는 다음 두 종류의 연구에서 도출된다.
(1) 편견을 설명하기 위해 자극이 특별히 조작되는 실험 연구 (예: 연구 초기에 참가자에게 사례를 보여 준 다음, [가용성 편향] 시퀀스 후반에 유사한 사례를 진단하도록 요청함)
(2) 오류가 발생한 경우에 대해, 후향적으로 검토하여 가능한 오류의 원인을 판단한다.
The evidence of the role of cognitive bias in diagnostic reasoning that does exist is derived from two kinds of studies:
(1) experimental studies in which the stimuli are specifically manipulated to illustrate a bias (e.g., by showing participants a case early in the study, then asking them to diagnose a similar case later in the sequence [availability bias]); and
(2) retrospective reviews of cases where an error has occurred, to determine the possible cause of the error.
많은 실험 연구들이 다양한 인지적 편견을 보여주었다.
A number of experimental studies have demonstrated various cognitive biases.
다른 여러 연구에서는 유사한 사례에 대한 참가자의 최근 경험과 다른 진단으로 인해 오류가 발생한 "가용성" 편향을 입증했다.
Several other studies have demonstrated “availability” bias, where participants’ recent experience with a similar case but a different diagnosis led to errors.
그러나 피부과에서의 두 가지 연구에서 동일한 카테고리의 사례를 직전에 본 경우, 정확한 진단을 더 용이하게 할 수 있다는 것이 밝혀졌다.44,4,45
However, availability bias seems to work both ways—two studies in dermatology showed that a prior example from the same category can facilitate accurate diagnosis.44,45
모든 연구가 인지적 편견을 유도할 수 있었던 것은 아니었다. 크리스텐슨과 동료 46명은 연구에 사용된 8가지 사례 중 두 가지 사례에만, 최소한의 편견만이 존재한다는 것을 발견했다.
Not all studies were able to induce a cognitive bias. Christensen and colleagues46 found that minimal bias was present in only two of the eight cases used in the study.
따라서, 편견을 유도하기 위해 특별히 설계된 자료를 사용한 많은 연구가 임상의사가 인지적 편견, 특히 가용성 편견을 보일 수 있다는 것을 보여주었지만, 그들은 이러한 편견이 실제로 발생할 수 있는 정도에 대한 통찰력을 제공하지 못했다. 또한 어떤 연구에서는 가용성 편향이 정확성을 감소시킬수도, 개선할 수 있다는 연구 결과가 나왔다.44,45
Thus, although a number of studies that used materials specifically designed to induce bias showed that clinicians can exhibit cognitive biases, particularly availability bias, they provided no insight into the extent to which these biases may arise in practice. Moreover, some studies showed that availability bias may both reduce and improve accuracy.44,45
진단 추론에서 인지편향의 역할을 조사하는 두 번째 연구 부류는 실제 오류에 대한 후향적 검토다. Graber와 동료들은 응급실에서 발생한 100건의 진단 오류 사례를 연구했다. 그들은 사례의 약 68%가 인지적 편견, 주로 조기 폐쇄(즉, 중요한 정보를 얻지 못한 채 접견을 종료)와 관련이 있다는 것을 발견했다. 그러나 또 다른 연구는 인지적 편견의 인과관계에 대한 증거를 찾지 못했다.48
The second class of studies that examine the role of cognitive bias in diagnostic reasoning are retrospective reviews of actual errors. Graber and colleagues33 studied 100 cases of diagnostic errors committed in the emergency department. They found that about 68% of cases were associated with a cognitive bias, primarily premature closure (i.e., terminating the encounter without getting the critical information). However, another study found no evidence of a causal role of cognitive biases.48
최근 한 연구는 특정 편향을 예시하지는 않았지만 두 가지 동일한 가능성이 있는 진단을 받았기 때문에 선택된 경우, 진단 오류 전문가들에게 인지적 편견을 식별하도록 요청했다..49 전문가들 사이에서 특정 편차의 유무에 대한 동의는 0에 가까웠다. 더욱이, 이 연구는 후향적 검토 자체가 사후 판단 편향에 취약하다는 것을 보여주었는데, 동일한 사례 연구에서도 진단이 잘못되었던 경우 진단이 옳았던 경우보다 두 배나 많은 편견을 식별하게 되었다.
A recent study asked experts in diagnostic errors to identify cognitive biases in case workups that were chosen because they did not exemplify a particular bias but had two equally probable diagnoses.49 Agreement on the presence or absence of specific biases among the experts was close to zero. Furthermore, the study showed that retrospective review is itself vulnerable to hindsight bias, where an incorrect diagnosis resulted in the identification of twice as many biases as a correct diagnosis in an otherwise identical case workup.
이것은 임상의사의 사후판단편성의 분명한 예다. 전문가들이 특정 편견에 동의할 수 없고 사후 판단 편향에 취약하다면, 어떻게 편견의 정의를 가르치는 것이 오류 감소로 이어질 수 있는가?
This is a clear example of hindsight bias in the clinicians. If experts cannot agree on specific biases and are vulnerable to hindsight bias, how can teaching definitions of biases lead to error reduction?
임상적 추론의 오류는 지식의 결핍에 의한 것인가?
Are errors in clinical reasoning caused by knowledge deficits?
놀랄 것도 없이, 추가 교육과 지식이 오류 감소와 관련이 있다는 실질적인 증거가 있다. 이러한 증거의 대부분은 임상의사 시니어 레지던트가 주니어 레지던트보다 오류율이 낮다는 것을 보여주는 연구에서 도출되었다. 비록 이것이 항상 그런 것은 아니지만, 실제 경험이 실천을 향상시킨다는 것은 문헌에서 덜 명확하다; 대부분의 연구는 작은 부정적인 면을 보여준다. 즉, 진단 정확도와 나이 사이의 negative 관계가 있다.
Not surprisingly, there is substantial evidence that additional education and knowledge are associated with reduced error rates. Much of this evidence is derived from studies of postgraduate trainees that show that practicing clinicians and/or senior residents have lower error rates than junior residents,41,50,51 although this is not always the case.52 It is less clear from the literature that experience in practice leads to improved practice; most studies show a small negative relationship between diagnostic accuracy and age.53,54
실제 임상 진단 수행에 대한 한 연구에서 Zwaan과 동료들48은 "최적화되지 못한 임상 행위"의 원인이 불충분한 지식이라는 증거를 발견했다.
In one study of actual clinical diagnostic performance, Zwaan and colleagues48 found evidence of insufficient knowledge as a basis for “suboptimal clinical acts.”
그러나 이러한 연구는 어떤 종류의 전문지식이 오류와 관련되어있는지를 식별하지 못한다.
경험적experiential 지식의 정확성과 측정 사이의 긍정적인 연관성은 전문지식이 제1형 처리와 관련이 있음을 시사할 수 있다.
공식적formal 지식의 측정과의 연관성은 전문지식이 부분적으로 더 광범위한 분석적 지식기반에 존재함을 의미할 수 있으며, 따라서 제2형 처리에 기여할 것이다.
However, these studies do not identify the kind of knowledge that is related to errors and expertise.
A positive association between accuracy and measures of experiential knowledge would suggest that expertise is related to Type 1 processing;
an association with measures of formal knowledge would imply that expertise resides in part in a more extensive analytical knowledge base, and thus would contribute to Type 2 processing.
우리는 문헌에서 두 가지 관계에 대한 증거를 발견했다.
We found evidence for both relationships in the literature.
임상 추론 오류 감소 전략
Strategies for reducing errors in clinical reasoning
문헌에는 일반 전략, 휴리스틱 기반 전략, 지식 기반 전략 등 최소 세 가지 종류의 개입이 설명되어 있다.55
At least three classes of interventions have been described in the literature: general strategies, heuristic- based strategies, and knowledge-based strategies.55
일반 오류 감소 전략.
General error reduction strategies.
아마도 오류를 줄이기 위한 가장 간단한 전략은 "속도를 줄이고 시스템 2에서 보완을 요청하라"는 Kaneman의 지시에 따라, 임상의사에게 신중하고 체계적으로 그리고 모든 대안을 모색하라고 훈계하는 것일 것이다. 이러한 유형의 개입을 검토하기 위한 전형적인 연구전략은, 타입 2 처리에 이용 가능한 시간을 수정하기 위해, 한 집단은 "조심하고, 체계적이며, 철저하다"라고 하고, 다른 집단은 "가능한 한 빨리 가라"라고 하는 두 집단 설계를 이용하는 것이다. 이 전략을 사용한 세 가지 연구는 진단 정확도에 차이가 없음을 보여주었다.29,30,56 반면에 Mamede와 동료들은 비슷한 전략을 사용하였고 어느 정도 성공하였다.
Perhaps the simplest strategy to reduce errors is to admonish clinicians to be careful and systematic and to explore all alternatives, following Kahneman’s26 directive to “slow down and ask for reinforcement from System 2.” A typical research strategy to examine this type of intervention is to use a two-group design in which one group is told to be “careful, systematic, thorough” and the other group is told to “go as quickly as possible,” with a view to modifying the time available for Type 2 processing. Three studies using this strategy showed no difference in diagnostic accuracy.29,30,56 On the other hand, Mamede and colleagues57 used similar strategies with some success.
경험적 기반 오류 감소 전략.
Heuristic-based error reduction strategies.
인지적 편견의 영향을 줄이기 위한 전략은 이러한 인식이 진단 오류를 감소시킬 것이라는 가정 하에 참가자들에게 발생가능한 편견을 교육하기 위해 고안되었다. 몇몇 연구들은 단순히 편견을 확인하는 데 초점을 맞춰왔다.
Strategies directed at reducing the effect of cognitive biases are designed to educate participants about possible biases, with the assumption that this awareness will reduce diagnostic errors. Several studies have focused on simply identifying biases.
본드와 동료는 응급의학 전공의에게 인지적 편견에 대한 강의를 했다. 전공의들이 편견에 대해 배웠다고 인식했지만, 다시 한번 진단 오류에 대한 개입의 효과는 테스트되지 않았다. Ogdie와 동료들61은 전공의들이 인지편향과 진단오류 경험에 대한 성찰적 글쓰기 및 토론 과제를 완료하는 과정을 구현했다. 비록 전공의들이 인지적 편견을 보인 사건을 상기할 수 있었지만, 그 편향을 독립적으로 확인하지 못했고, 그 편향이 그들의 진단 정확도에 미치는 영향의 측정도 없었다.
Bond and colleagues60 taught a course on cognitive biases to emergency medicine residents. Although residents perceived that they had learned about biases, again, the effect of the intervention on diagnostic errors was not tested. Ogdie and colleagues61 implemented a course where residents completed reflective writing and discussion assignments about their experience with cognitive bias and diagnostic error. Although the residents were able to recall an episode where they exhibited a cognitive bias, there was no independent confirmation of that bias and no measurement of its effect on their diagnostic accuracy.
오직 세 가지 연구만이 참가자들에게 진단 추론에서 특정한 인지적 편견을 인식하도록 가르치기 위해 고안된 교육적 개입의 효과를 조사했다.62–64 이러한 연구들 중 두 가지는 응급의학 교대로 사무직 학생에 대한 교육적 개입을 테스트했고, 이어서 서면 사례 기반 사후 테스트가 있었다.62,63 개입에 따른 오류의 감소는 없었다.
Only three studies examined the effect of an educational intervention designed to teach participants to recognize specific cognitive biases in diagnostic reasoning.62–64 Two of these studies tested an educational intervention on clerkship students in an emergency medicine rotation, followed by a written case-based posttest.62,63 There was no reduction in errors from the intervention.
다른 연구에서는 [debiasing 체크리스트의 효과("내가 경험적 사고의 내재적 결함을 고려했는가?"와 같은 질문 포함)] 대 [25개의 가능한 차등 진단에 대한 사례별 체크리스트의 효과]65를 비교했다. 저자들은 debiasing 체크리스트의 유의한 이점은 찾지 못했다. 그러나 사례별 체크리스트는 진단 정확도를 크게 향상시켰다.
One other study directly compared the effect of a debiasing checklist (with questions like “Did I consider the inherent flaws of heuristic thinking?”) versus the effect of a case-specific checklist of 25 possible differential diagnoses.65 The authors found no significant benefit to the debiasing probe; however, the case- specific checklist resulted in a significant improvement in diagnostic accuracy.
따라서 다수의 연구가 레지던트가 인지적 편견을 정의하는 법을 배울 수 있다는 것을 증명했고, 특정한 편견을 설명하기 위해 설계된 서면 및 비디오 사례 작업에서 편견을 인식할 수 있다는 약한 증거가 있지만, 놀랍게도 [인지적 편견을 식별하는 능력]과 [편견과 진단 오류의 감소] 사이의 연관성을 연구한 연구는 거의 없다. 이 관계를 연구한 사람들은 그러한 개입에 아무런 도움이 되지 않았다.
Thus, although a number of studies have demonstrated that residents can learn to define cognitive biases, and there is weak evidence that they may be able to recognize biases in written and video case workups that are designed to illustrate specific biases, surprisingly few studies have examined the link between their ability to identify cognitive biases and a decrease in diagnostic errors. Those that did study this relationship showed no benefit to such interventions.
지식 기반 오류 감소 전략.
Knowledge-based error reduction strategies.
아마도 가장 광범위하게 연구된 개입은 Mamede, Schmidt 및 동료들이 개발한 기술인 의도적 성찰일 것이다.42,43,666670 그들의 전략은 [작업 진단working diagnosis이 정확하지 않다는 것을 인식하는 열쇠가 그 진단과 모순되는 증거를 식별하는 것]이라는 가정에 기초한다. 이 기법은 사례로 돌아가서 그 특징을 모두 기록한 다음 작업 진단과 일치하지 않는 특징을 식별해야 한다.
Perhaps the most widely studied intervention is deliberate reflection, a technique developed by Mamede, Schmidt, and colleagues.42,43,66–70 Their strategy is based on the assumption that the key to recognizing that a working diagnosis is not correct is identifying evidence that is inconsistent with that diagnosis. This technique requires going back to the case, writing down all of its features, and then identifying any features that are discordant with the working diagnosis.
이 전략은 분석적(타입 2) 사고에 근거한 시정조치를 권장하지만, 그것은 분명히 (잘못에 대한 인지적 휴리스틱을 식별하는 것이 아니라) 적절한 지식을 식별하는 데 초점을 맞추고 있으며, 진단적 관련 정보의 검색 및 재구성에 대한 구조적 접근방식으로 가장 잘 설명될 수 있다.
Although this strategy encourages a corrective action based on analytical (Type 2) thinking, it is clearly focused on identifying the appropriate knowledge, not on identifying the cognitive heuristic at fault, and may best be described as a structured approach to the retrieval and reorganization of diagnostically relevant information.
한 연구는 단순 사례와 복잡한 사례 진단에 대한 성찰 효과와 지시되지 않은 추론의 효과를 대조하였다.69 복잡한 사례 진단에서 성찰의 긍정적인 효과가 주로 주목되었다.
One study contrasted the effects of reflection and those of undirected reasoning on diagnosing simple versus complex cases.69 The positive effect of reflection was primarily noted in diagnosing complex cases.
세 번째 연구 52. 간단한 사례를 해결하는 레지던트의 경우, 저자들은 진단 정확도에 차이가 없음을 발견했고, 복잡한 사례를 해결하는 사람들에게는 '의식적인 사고' 조건에서 결과가 우월했다. 반대로, 이 개입은 의대생들이 간단한 사건을 해결하는 데 도움이 되었지만, 복잡한 사건을 해결하는 데는 도움이 되지 않았다. 이 연구결과는 이 개입이 분석지식을 동원했다는 것을 시사하는데, 초보자들에게는 [단순한 사례의 해결]이 개선되고, 반면 더 advanced 의사에게는 [복잡한 사례의 해결]에 효과적이었다.
A third study 52. For residents solving simple cases, the authors found no difference in their diagnostic accuracy; for those solving complex cases, the results of the conscious thought condition were superior. Conversely, the intervention benefited medical students solving simple cases but not those solving complex cases. This finding suggests that the intervention mobilized analytical knowledge, which for novices resulted in improvement in solving simple cases and for more advanced clinicians was effective for solving complex cases.
salient distracting feature가 있는(즉, 임상의의 정확한 진단을 방해하기 위해 의도적으로 포함된 특징) 연구에서, 성찰적 추론을 사용하도록 권장된 레지던트들은 예시-기반 추론을 사용하라는 말을 들었을 때보다 더 정확했다.68 그러나 저자들은 의대생들에게 아무런 차이를 발견하지 못했다. 다시 말하지만, 이 발견은 레지던트의 보다 광범위한 분석적 지식을 보여주는 것일지도 모른다.
In a study of salient distracting features (i.e., features deliberately included to distract the clinician from the correct diagnosis), residents encouraged to use reflective reasoning were more accurate than when they were told to use exemplar-based reasoning.68 However, the authors found no difference for medical students. Again, this finding may reflect residents’ more extensive analytical knowledge.
두 가지 연구에 따르면, 성찰을 위한 추가 시간이 레지던트와 경험 있는 의사들 사이에서 진단 정확도의 큰 증가를 이루었다.71,72 그러나 반사 단계에는 참여자의 정확도 향상에 큰 기여를 할 수 있는 추가 임상 데이터의 제시도 포함되었다.
Two studies showed that additional time for reflection resulted in a large increase in diagnostic accuracy, among both residents and experienced physicians.71,72 However the reflection phase also involved the presentation of additional clinical data, which may be a major contributor to participants’ increased accuracy.
이러한 연구를 통해 우리는 학습자의 수준과 사례의 난이도가 영향을 미치기는 하지만, 성찰이 상당히 일관되게 유익하다고 결론지을 수 있다. 이러한 차이는 [문제해결에 필요한 적절한 지식의 가용성]의 차이로 인한 결과인 듯 하다. 성찰이 효과적인 경우에는, 참가자들이 자신의 지식을 식별하고 재구성하도록 장려했기 때문에 그러한 결과를 달성한 것이다.
From these studies, we conclude that reflection is fairly consistently beneficial, although the level of the learners and the difficulty of the cases do affect its impact. This mitigation appears to be a consequence of the availability of appropriate knowledge to resolve the problem; to the extent that reflection is effective, it achieves these results by encouraging participants to identify and reconfigure their knowledge.
이 전략은 복잡한 사례를 해결하는 주니어 임상의에게는 효과적이지 않다. 왜냐하면 그들은 처음부터 사건을 해결할 충분한 지식을 가지고 있지 않기 때문이다. 반대로, 전문가들은 그러한 문제들을 처음부터 쉽게 해결할 수 있기 때문에 단순한 경우를 해결하는 데 있어서 성찰의 혜택을 받지 못한다.
This strategy is ineffective for junior clinicians solving complex cases because they simply do not have sufficient knowledge to resolve the case from the start. Conversely, experts do not benefit from reflection in solving simple cases, because they can solve such problems easily from the start.
이러한 개입에 대해 한 가지 더 고려할 점이 있다. 일반적으로 모든 경우에 대한 성찰은 두 번째 패스로 요구되며, 원래의 서면 케이스가 이용 가능하다. 실제로 유용하기 위해서는, Kahneman이 말하는 것처럼, 임상의는 "자신이 지뢰밭에서 있다는 것을 인식해야" 하며, 자신이 실수를 저질렀다고 믿고, 더 이상 return할 case description이 없을 때 추가 검토를 시작해야 한다. 그렇다면 문제는 [의사는 과연 주어진 상황이 문제가 있다는 것을 인식하고 스스로 오류를 고칠 수 있는가] 하는 것이다.
There is one further consideration regarding these interventions. the reflection is usually required for all cases as a second pass, with the original written case available. To be useful in practice, the clinician must, as Kahneman26 says, “recognize [she is] in a minefield” and initiate additional review when she believes she has committed an error and does not have a case description to which to return. The question then is: Can clinicians recognize that a situation is problematic and correct the error on their own?
답은 "약간만 그렇다"인 것 같다. 인턴, 레지던트, 의대생들을 대상으로 프리드먼과 동료 73명이 실시한 대규모 연구에서 참가자들의 자기평가 신뢰도가 잘못 진단한 경우보다 올바르게 진단된 경우에 더 높은 것으로 나타났다. 전문지식이 높아짐에 따라 정확성과 신뢰성이 향상되었지만, 저자들은 과신 및 저신뢰의 많은 예를 확인하였다.
The answer appears to be “a bit.” A large study by Friedman and colleagues73 involving practicing internists, residents, and medical students showed that participants’ self-assessed confidence was higher for cases they diagnosed correctly than for those they diagnosed incorrectly. Increasing expertise led to greater accuracy and confidence, although the authors identified many instances of both over- and underconfidence.
결론적으로, 여러 근거에 따르면, 휴리스틱스 및 편견의 식별을 통한 오류 감소에 대한 개입이 진단 오류에 아무런 영향을 미치지 않는다는 것을 암시한다. 이와는 대조적으로, 임상의가 자신의 지식을 동원하고 재구성하거나 사례의 내용을 성찰하도록 장려하는 다양한 전략을 사용하는 여러 연구에서는 어느 정도 이점이 나타났다. 즉, 이는 참가자가 문제와 관련된 추가 지식을 identify해야 한다는 것을 보여주는 결과일 가능성이 높다.
In conclusion, the evidence suggests that interventions directed at error reduction through the identification of heuristics and biases have no effect on diagnostic errors. By contrast, a number of studies using various strategies that encourage clinicians to mobilize and reorganize their knowledge or to reflect on the content of the case showed some benefit, which is presumably a consequence of directing participants to identify additional knowledge that is relevant to the problem.
결론
Conclusions
(1) 임상 추론의 오류가 주로 많은 저자가 제시한 하나의 처리 전략(타입 1)에서 발생하는지
(2) 이러한 오류가 인지적 편견 또는 지식 결손의 결과인지 여부.
(1) whether errors in clinical reasoning arise primarily from one processing strategy (Type 1) as suggested by many authors, and
(2) whether these errors are a consequence of cognitive biases or knowledge deficits.
우리가 문헌에서 발견한 증거는 일관성이 있는 것 같다. 임상 추론의 오류가 주로 제1형식 처리에서 발생하며 제2형식 처리에 의해 수정된다는 이론적 입장은 너무 단순하다. 오류는 두 종류의 처리에서 모두 발생할 수 있다. 무엇이 오류를 일으키고 그것들을 줄이기 위해 무엇을 할 수 있는지에 대해, 현재까지 문헌은 Graber와 동료들의 결론에 부합한다. "이러한 개입의 폭과 열의 사이에는 큰 차이가 있지만... 실제 개입의 빈약함[그리고 진단 정확도나 오류를 다루는 매우 제한된 증거]이 있다."
The evidence we found in the literature appears consistent. The theoretical position that errors in clinical reasoning arise primarily from Type 1 processing and are corrected by Type 2 processing is simplistic. Errors can arise from both kinds of processing. As to what causes errors and what can be done to reduce them, the literature to date aligns with Graber and colleagues’55 conclusion that there is “a major discrepancy between the breadth and enthusiasm for these interventions … but a paucity of actual interventions [and] very limited evidence addressing diagnostic accuracy or errors.”
그럼에도 불구하고, 우리가 검토한 연구에서 몇 가지 결론은 가능하다. 첫째, 지금까지의 근거는 [대부분의 오류는 인지적 편견의 결과이며, 의사들이 편견을 인식하도록 훈련시킴으로써 감소될 수 있다]는 가정을 지지하지 않는다. 마찬가지로, "속도를 늦추거나, 성찰하거나, 주의하고, 체계적으로 행동하라"는 일반적인 경고는 진단 과정을 늦추는 것 이상의 효과는 그다지 없어 보인다. 이와는 대조적으로, 지식이 부족한 것이 진단 오류의 중요한 원인이 되며, 지식의 일부 재조직화를 유도하는 전략은 작지만 일관된 이점이 있는 것으로 보인다.
Nevertheless, some conclusions are possible from the studies we reviewed. First, the assumption that most errors are a consequence of cognitive biases and could be reduced by training physicians to recognize biases is not borne out by the evidence. Similarly, general admonitions to slow down, reflect, or be careful and systematic likely have minimal effect beyond slowing the diagnostic process. By contrast, knowledge deficits are a significant contributor to diagnostic error, and strategies to induce some reorganization of knowledge appear to have small but consistent benefits.
개별 수준에서 오류 감소를 지향하는 다양한 교육 전략을 검토했지만, 다른 수준의 다른 접근 방식도 제안되었다. 집단 의사결정은 시뮬레이션 트라우마 사례를 사용하여 연구된 그러한 가능성 중 하나이다.74 컴퓨터 의사결정 지원 시스템은 오랜 역사를 가지고 있다. 그러나, 그러한 시스템이 의사에게 주는 이점은 크지 않다.75 그리고 앞에서 논의한 바와 같이, 의사들은 종종 자신의 오류를 인식하지 못하기 때문에 의사결정에서 서포트를 얻고자 하지 않는다.
While we have examined various educational strategies directed at error reduction at an individual level, other approaches at different levels also have been suggested. Group decision making is one such possibility that has been studied using simulated trauma cases.74 Computer decision support systems have a long history; however, the benefit of such systems to physicians is not large,75 and, as we discussed earlier, physicians often are not aware of their errors, so they do not seek out decision support.73
하지만 한 가지는 분명하다. [진단 오류는 인지적 편견에서 비롯되며], [비교적 단순하고 빠른 전략이 편견을 식별하고 제거하는 것이 오류를 줄일 수 있다]는 가정이 얼마나 매력적이든간에, 근거는 이러한 전략이 효과성이 없거나 제한적이라는 것을 일관되게 입증한다. 지식이 중요하다.인지적 편견에서 오류의 일부 비율이 발생하더라도 오류를 해결하기 위해서는 임상적 지식의 적용이 필요한데, 이러한 지식이 부족한 것이 초반의 실수의 원인이었을 수 있다.77 오류 감소에 관한 과학이 있다면 그것은 유아기에 있으며, 우리는 아직 갈 길이 멀다.
One thing is clear though. However attractive the assumption is that diagnostic errors originate in cognitive biases, and the implication that relatively simple and quick strategies directed at identifying and eliminating biases can reduce errors, the evidence is consistent in demonstrating that such strategies have no or limited effectiveness.76 Knowledge matters. Even if some proportion of errors arise from cognitive biases, the resolution of errors also involves the application of clinical knowledge, which may underlie the initial mistake.77 If there is a science of error reduction, it is in its infancy, and we have far to go.
마지막으로, 진단 오류의 실제 비율에는, 약간의 불확실성이 있지만, 이러한 오류를 방지할 수 있는 범위에는 훨씬 더 큰 불확실성이 존재한다는 점에 주의해야 한다. 임상에서 모호함은 상수다. 절대적 진단을 내릴 정보가 불충분하기 때문에, 어떤 오류는 발생할 수밖에 없다. 모든 오류를 없애기 위해 마법의 총알이 등장할 것이라는 가정은 희망사항에 지나지 않을 것이다.
Finally, we must caution that, while there is some uncertainty in the actual rate of diagnostic errors, there is far greater uncertainty in the extent to which these errors are preventable. Ambiguity is a constant in clinical practice; it is inevitable that some errors will arise simply because there is insufficient information to make a definitive diagnosis. The assumption that a magic bullet will emerge to eliminate all errors is likely nothing more than wishful thinking.
2 Balogh EP, Miller BT, Ball JR, eds. Improving Diagnosis in Health Care. Washington, DC: National Academies Press; 2015.
Comment
,92 (1), 23-30
The Causes of Errors in Clinical Reasoning: Cognitive Biases, Knowledge Deficits, and Dual Process Thinking
1G.R. Norman is emeritus professor, Department of Clinical Epidemiology and Biostatistics, McMaster University, Hamilton, Ontario, Canada. S.D. Monteiro is assistant professor, Department of Clinical Epidemiology and Biostatistics, McMaster University, Hamilton, Ontario, Canada. J. Sherbino is associate professor, Department of Medicine, McMaster University, Hamilton, Ontario, Canada. J.S. Ilgen is associate professor, Department of Medicine, University of Washington School of Medicine, Seattle, Washington. H.G. Schmidt is professor, Department of Psychology, Erasmus University, Rotterdam, the Netherlands. S. Mamede is associate professor, Department of Psychology, Erasmus University, Rotterdam, the Netherlands.
Contemporary theories of clinical reasoning espouse a dual processing model, which consists of a rapid, intuitive component (Type 1) and a slower, logical and analytical component (Type 2). Although the general consensus is that this dual processing model is a valid representation of clinical reasoning, the causes of diagnostic errors remain unclear. Cognitive theories about human memory propose that such errors may arise from both Type 1 and Type 2 reasoning. Errors in Type 1 reasoning may be a consequence of the associative nature of memory, which can lead to cognitive biases. However, the literature indicates that, with increasing expertise (and knowledge), the likelihood of errors decreases. Errors in Type 2 reasoning may result from the limited capacity of working memory, which constrains computational processes. In this article, the authors review the medical literature to answer two substantial questions that arise from this work: (1) To what extent do diagnostic errors originate in Type 1 (intuitive) processes versus in Type 2 (analytical) processes? (2) To what extent are errors a consequence of cognitive biases versus a consequence of knowledge deficits?The literature suggests that both Type 1 and Type 2 processes contribute to errors. Although it is possible to experimentally induce cognitive biases, particularly availability bias, the extent to which these biases actually contribute to diagnostic errors is not well established. Educational strategies directed at the recognition of biases are ineffective in reducing errors; conversely, strategies focused on the reorganization of knowledge to reduce errors have small but consistent benefits.
The terminology of clinical reasoning in health professions education: Implications and considerations
Meredith Younga,b , Aliki Thomasa,c,d , David Gordone, Larry Gruppenf , Stuart Lubarskyb,g, Joseph Rencich,i , Tiffany Ballardf, Eric Holmboej,k,l , Ana Da Silvam , Temple Ratcliffen , Lambert Schuwirtho,p,q,r and Steven J. Durningr
임상 추론은 보건 전문가(Higs et al. 2008)의 핵심 요소로 간주되며, 보건 직업 교육(Eva 2005; Young et al. 2018a의 요약)에서 교육 및 평가에 중요한 초점이 되어 왔다.
Clinical reasoning is considered a core component of being a health professional (Higgs et al. 2008) and has been an important focus for teaching and assessment in health professions education (summaries in Eva 2005; Young et al. 2018a).
그러나 임상 추론은 동질적 구인이 아니다. 임상 추론에 관한 문헌은 광범위하고 다양하여 다양한 직업과 이론적 프레임워크를 나타낸다(Eva 2005; Norman 2005; Ilgen et al. 2012; Cutrer et al. 2013; Holmboe & Durning 2014; Norman et al. 2014; Bluumal-Barby and Kriger 2015). 임상추론에 관한 여러 가지 서로 다른 이론적 틀 외에도, 임상 추론을 가리키는 용어도 많다. 보건 전문직 전반에 걸친 임상 추론과 관련하여 100개 이상의 용어가 확인되었다.
However, clinical reasoning is not a homogeneous construct—the literature on clinical reasoning is broad and diverse, representing many different professions and theoretical frameworks (Eva 2005; Norman 2005; Ilgen et al. 2012; Cutrer et al. 2013; Holmboe & Durning 2014; Norman et al. 2014; Blumenthal-Barby and Krieger 2015). In addition to several different theoretical frameworks within the literature, there are a large number of terms used to refer to clinical reasoning. A recent review identified over one hundred terms used in reference to clinical reasoning across the health professions (Young et al. under review).
용어의 다양성(예: 진단 추론, 직관적 프로세스, 상황별 추론, 비판적 사고, 공유 의사 결정)은 다음으로 이어진다.
교육적 개입에서 다양한 타겟,
평가에서 다양한 초점
임상적 추론이 무엇인지에 대한 서로 다양한 이해
이러한 용어는 명시적으로 정의되는 경우는 거의 없고, 주로 독자에게 해석이 맡겨져 있다.
The diversity of terms (e.g. diagnostic reasoning, intuitive processes, contextualized reasoning, critical thinking, shared decision making) leads to different targets for specific teaching interventions, different areas of focus for assessment, and likely different understandings of what clinical reasoning is. These terms are seldom explicitly defined (Young et al. under review), leaving interpretation up to the reader.
방법론
Methodology
이 범위 연구는 검토에 포함된 625개 논문에서 임상 추론을 언급하는 데 사용되는 용어를 식별하고 분류하였다.
This scoping study identified and categorized terms used to refer to clinical reasoning across 625 papers included in the review.
데이터 추출
Data extraction
분석
Analysis
용어의 분류가 특정 전문적 배경의 영향을 받을 가능성이 있다는 것을 인지하고, 분석 과정의 엄격성과 신뢰도를 높이기 위해 분류 과정(그림 1에서 요약)에 다양한 전문 분야(연구자 또는 임상 교육자)를 가진 5명의 팀원(MY, AT, SL, DG, LG)이 포함되었다.
연구자 또는 의사교육자
의사 또는 직업 치료사
연구 및/또는 교육 책임의 핵심 중점 분야로서의 임상 추론을 다루는 사람
Recognizing that the categorization of terminology is likely influenced by particular professional backgrounds, the categorization process (summarized in Figure 1) involved five team members (MY, AT, SL, DG, LG) with various areas of expertise (researcher or clinical educator; physician or occupational therapist; clinical reasoning as a core focus area of research and/or educational responsibility), in order to increase the rigor and trustworthiness of the analytical process.
1단계: 카테고리 구조 개발
Phase 1: developing category structure
2단계: 테스트 카테고리 구조
Phase 2: testing category structure
3단계: 불일치 조정
Phase 3: reconciling disagreement
결과
Results
13개의 코더들이 임상적 추론을 언급하는 데 사용되는 것으로 625개의 논문에서 110개의 용어를 확인했다(영 외). 검토 중인 110개 항은 625개 논문에서 모두 693차례 확인됐다.
Thirteen coders identified 110 terms, across 625 papers, as being used to refer to clinical reasoning (Young et al. under review). The 110 terms were identified a total of 693 times across the 625 papers.
용어 및 코드 설명 범주
Categories of terms and code descriptions
아래의 6개 범주에 대해 설명하고 각 범주와 관련된 합의 용어를 표 1에 제시한다. 코딩 프로세스를 통해 개발되고 개선된 용어의 범주는 다음과 같았다.
The six categories of terms are described below and consensus terms associated with each category are presented in Table 1. The categories of terms, developed and refined through our coding process, were:
1. 추론의 목적: 임상추론을 하는 목적, 과제 또는 목표(예: 환자 관리)와 관련된 용어
1. Purpose/goal of reasoning terms referred to the purpose, task, or goal for engaging in reasoning (e.g. patient management).
2. 추론의 결과: 용어는 과정이나 추론에 대한 접근(예: 진단)보다는, 임상 추론의 성과나 산출물, 또는 정의된 추론의 종결점end-point에 초점을 맞춘다.
2. Outcome of reasoning: terms reflect a focus on the product or output of clinical reasoning or on a defined end-point of reasoning, with little emphasis on process or approach to reasoning (e.g. diagnosis).
3. 추론 수행능력: 추론의 성과나 과정의 숙달(예: 임상 역량, 전문가적 추론) 또는 추론 결과의 퀄리티(예: 판단 오류)에 관한 용어
3. Reasoning performance: terms reflect the mastery of performance or process(es) of reasoning (e.g. clinical competence, expert reasoning), or the quality of outcome of reasoning (e.g. judgment error).
4. 추론 프로세스: 문제 해결에 사용되는 프로세스, 전략, 구성 요소, 단계 또는 근거를 포함하는 임상 추론의 프로세스 구성요소에 초점을 맞춘 용어. 추론 과정을 반영하는 용어는 다양한 인지적 또는 심리학적 기반 프레임워크(예: 패턴 인식)와 밀접하게 연계되는 경향이 있었다.
4. Reasoning process: terms focus on the process components of clinical reasoning, encompassing processes, strategies, components, steps, or rationale used to solve a problem. Terms reflecting reasoning process tended to be tightly linked to a variety of cognitive or psychology-based frameworks (e.g. pattern recognition).
5. 추론 기술: 이 용어에서 임상추론(또는 구성요소 프로세스)이라는 용어는 안정적이고 일반화 가능하다. 확장extension을 통해서 교육가능, 학습가능, 훈련가능한 작업이나 기술들의 광범위한 집합이다(예: 비판적 사고).
5. Reasoning Skills: terms imply clinical reasoning (or component processes) is stable and generalizable; a set of broad tasks or skills that are teachable, trainable, and/ or by extension learnable (e.g. critical thinking).
6. 추론의 맥락: 이 범주는 환경, 사회, 환자 또는 제공자 특성이 임상 추론에 미치는 영향(예: 상황 인식)을 반영한다.
6. Context of reasoning: This category reflects the influence of environmental, social, patient, or provider characteristics on clinical reasoning (e.g. situational awareness).
임상적 추론을 가리키는 용어의 분류
Categorization of terms used to refer to clinical reasoning
1. 가장 적절한 분류(n1⁄474)에 대해 완전한 합의가 가능했던 용어. 표 1을 참조한다.
1. Terms for which complete consensus was possible regarding the most appropriate categorization (n¼74); see Table 1.
2. 다수결 합의(코더 3개 중 2개로 정의)는 가능했지만 합의가 불가능했던 용어(n1⁄416); 표 2를 참조한다.
2. Terms for which majority agreement (defined as two of three coders) was possible, but no consensus was possible (n¼16); see Table 2.
3. 동의나 합의가 불가능했던 용어(n1⁄420); 표 3을 참조한다.
3. Terminology for which no agreement or consensus was possible (n¼20); see Table 3.
4. 표 4의 임상적 추론을 언급하기 위해 가장 일반적으로 사용되는 5가지 용어와 그 분류(해당되는 경우)에 관한 합의.
4. Agreement regarding the five most commonly used terms to refer to clinical reasoning, and their categorization (where applicable), in Table 4.
고찰
Discussion
심층적이고 반복적이며 다단계 코딩 프로세스를 통해 다음과 같은 6가지 주요 용어 범주를 파악했다.
기술로서의 추론,
하나의 과정으로서 추론,
목표 지향적인 추론,
결과의 수단으로서의 추론,
문맥적으로 자극된 추론, 또는
추리 수행
Through an in-depth, iterative, and multi-stage coding process, we identified six main categories of terms:
reasoning as a skill,
reasoning as a process,
reasoning as goal-oriented,
reasoning as a means to an outcome,
reasoning as contextually-influenced, or
reasoning performance.
대다수의 용어(110개 중 74개)에 대해서는 합의가 이루어졌지만 임상 추론을 지칭하는 용어의 거의 3분의 1에 대해서는 분류의 차이를 해소할 수 없었다.
Though consensus was reached for the majority of terms (74 out of 110), we were unable to resolve differences in categorization for nearly one third of terms used to refer to clinical reasoning.
우리는 이 조건들에 대한 협상된 공통의 이해를 통해 합의를 도출하는 것이 우리의 의견 불일치를 문서화하는 것만큼 유익하지 않다고 판단했다. 추측이지만, 이 가장 일반적인 용어들 중 일부는 똑같이 광범위한 임상 추론 구조를 위한 넓은 대체물로 사용될 수 있다. 따라서, [초점, 훈련, 입장, 교육이나 평가 대상, 또는 무엇이 임상추론을 구성하는지에 대한 개념화]에 따라 다르게 해석되는 경향이 있다.
We decided that creating consensus through a negotiated common understanding of these terms was not as beneficial as documenting our disagreement. While speculative, it may be that some of these most common terms are used as broad substitutes for the equally broad construct of clinical reasoning, and, as such, tend to be interpreted differently depending on the focus, training, stance, teaching or assessment target, or even conceptualization of what constitutes clinical reasoning (Young et al. 2018b).
"임상추론"이라는 용어가 서로 다르게 사용되며 서로 다르게 이해되는 매우 광범위한 개념일 뿐만 아니라, 이러한 [일반적 대체 용어]는 용어에 대한 로르샤흐 시험의 기능을 할 수 있다. 즉, 사람마다 임상 추론을 이해할 때 자신의 특별한 렌즈를 통해 용어를 해석하는 것이다.
It may be that in addition to the term “clinical reasoning” being a very broad concept that is differentially used (Young 2018) and differentially understood (Young et al. 2018b), these common substitute terms may function as terminological Rorschach test—with individuals interpreting these terms through the lens of their particular understanding of clinical reasoning.
우리 팀 전체의 합의가 부족하다는 것은 중요한 의미를 지닌다. 임상추론을 가리키는 용어의 [유추된 의미]에 모호함이 있음을 시사한다.
The lack of consensus across our team has important implications. It suggests that there is ambiguity in the inferred meaning of terms used to refer to clinical reasoning.
교육 및 평가 실무의 맥락에서, 이것은 임상 추론을 언급하기 위해 사용되는 용어에 대한 일관되지 않은 이해가 있을 수 있다는 것을 의미한다. 사람마다 교육 및 평가의 함의에 대해서 동일한 의미를 서로 다른 의미로 사용할 수 있다. —임상 교육자, 프로그램 감독자 또는 학습자 중 어느 쪽이든 —
In the context of teaching and assessment practices, this could mean that there may be inconsistent understanding of the terms being used to refer to clinical reasoning. Individuals—whether clinical educators, program directors, or learners—may use the same terms with different intended meanings with potentially concerning pedagogical and assessment implications.
예를 들어, 교육 세션의 주제가 "진단 판단"에 있는 경우
—이 개념은 다르게 이해될 수 있다.
추론 목적(임상적 추론 뒤에 있는 "이유")으로,
추리 기술(좋은 임상 추론의 "행복"), 또는
추리 수행(숙달되어야 할 것)으로서.
For example, if the topic of a teaching session is on “diagnostic judgment”—that concept could be understood differently;
either as a reasoning purpose (the “why” behind clinical reasoning),
a reasoning skill (the “habits” of good clinical reasoning), or as
a reasoning performance (something to be mastered).
또한 진단 판단에 대한 이러한 상이한 이해는 매우 다른 평가 관행을 초래할 수 있다.
어떤 사람은 formal rationale로 의사결정을 정당화할 수 있는 능력에 초점을 맞출 수 있다.
다른 사람은 판단을 위한 정보출처로 복수의 증거 자료를 얼마나 일관되게 사용하는지를 조사할 수 있다.
또 다른 사람은 시간이 지남에 따라 진단의 정확도가 향상되었다는 문서화된 증거가 있는지 검사할 수 있다.
Further, these different understandings of diagnostic judgement would likely result in very different assessment practices—
one might focus on the ability to justify a decision with a formal rationale (assessing the “why”),
the other might examine how consistently one uses multiple sources of evidence to inform judgment (assessing the “habits”), and
another might examine whether there is documented evidence of improved accuracy of diagnosis across time (assessing mastery).
용어는 또한 교사와 학습자 사이에서도 서로 다르게 이해될 수 있다. 학습자가 competent reasoner가 되기 위해 어떤 행동을 보여 주어야 하는지에 관한 혼동을 초래할 수 있다(2015년).
Terms may also be differentially understood between teachers and learners— potentially leading to confusion regarding what behaviors learners should be demonstrating to appear as competent reasoners (similar to procedural variation work done by Arpamian et al. (2015)).
용어를 사람마다 서로 다르게 이해하는 문제는 임상추론에 국한되지 않는다. 예를 들어, 어떤 구성의 서로 다른 이해와 관련된 유사한 문제는 전문직업성에서 확인되었다(Wynia et al.2014). 임상 추론의 경우, 우리가 모두가 공통의 이해 또는 의도된 해석을 한다고 가정하지만, 임상추론이라는 용어의 의도된 의미에 대한 혼동이 존재하면 역량 프레임워크 내에서 특히 문제가 될 수 있다.
The potential of multiple different understandings of a key term are not limited to clinical reasoning; for example,similar issues around different understandings of a construct have been identified in professionalism (Wynia et al.2014). In the case of clinical reasoning, confusion regarding the intended meanings of terms could be particularly problematic within competency frameworks if we assume a common understanding, or intended interpretation
우리는 우리가 의도적으로 완전히 합의된 방법에 관여하려고 하지 않았다는 것을 반복하고 싶다. 델파이 방법론을 사용하거나 델파이 방법론을 채택하거나 "주요 규칙" 분류 또는 코드화 규칙을 부과하는 것이 가능했을지라도, 합의를 지지하기 위한 과정에 참여하는 것은 우리의 분석 과정에 의해 밝혀지는 중요한 불일치를 얼버무렸을 것이다. 의견 불일치를 해소하기 위해 노력하기보다는, 임상추론에 대한 여러 용어에 대한 이해의 차이에 관한 논의를 촉진하는 편이 낫다고 판단했다.
We want to reiterate that we intentionally did not seek to fully engage in consensus methods. Though it may have been possible to use a Delphi, or adapted Delphi methodology, or to impose a “majority rules” categorization or coding rule, engaging in a process intended to support consensus would have glossed over important disagreements brought to light by our analysis process. Rather than trying to resolve disagreement, we decided to report it to facilitate a discussion regarding differences in our understandings of the many terms for clinical reasoning.
Conclusion
이 연구는 또한 임상추론은 다양한 용어로 표현되는 다차원적 개념이며, 일반적으로 이해되는 하나의 통일된 구조라기 보다는 암묵적 의미와 유추된 의미 모두를 가진 다차원 개념임을 시사한다.
This work also suggests that clinical reasoning is a multidimensional concept, with a wealth of associated language, and a multiplicity of both implied and inferred meanings, rather than a singular, unified, commonly understood construct.
Young ME, Dory V, Lubarsky S, Thomas AT. 2018a. How different theories of clinical reasoning influence teaching and assessment. Acad Med. 93:1415. (AM Last Page)
Young ME, Thomas A, Lubarsky S, Ballard T, Gordon D, Gruppen L, Holmboe E, Ratcliffe T, Rencic J, Schuwirth L, Durning S. 2018b. Drawing boundaries: the difficulty of defining clinical reasoning. Acad Med. 93:990–995.
Wynia MK, Papadakis M, Sullivan WM, Hafferty FW. 2014. More than a list of values and desired behaviors: a foundational understanding of medical professionalism. Acad Med. 89:712–714.
,41 (11), 1277-1284
The Terminology of Clinical Reasoning in Health Professions Education: Implications and Considerations
Introduction:Clinical reasoning is considered to be at the core of health practice. Here, we report on the diversity and inferred meanings of the terms used to refer to clinical reasoning and consider implications for teaching and assessment.Methods:In the context of a Best Evidence Medical Education (BEME) review of 625 papers drawn from 18 health professions, we identified 110 terms for clinical reasoning. We focus on iterative categorization of these terms across three phases of coding and considerations for how terminology influences educational practices.Results:Following iterative coding with 5 team members, consensus was possible for 74, majority coding was possible for 16, and full team disagreement existed for 20 terms. Categories of terms included: purpose/goal of reasoning, outcome of reasoning, reasoning performance, reasoning processes, reasoning skills, and context of reasoning.Discussion:Findings suggest that terms used in reference to clinical reasoning are non-synonymous, not uniformly understood, and the level of agreement differed across terms. If the language we use to describe, to teach, or to assess clinical reasoning is not similarly understood across clinical teachers, program directors, and learners, this could lead to confusion regarding what the educational or assessment targets are for "clinical reasoning."
교육환경평가도구(ECI): 전임상과 임상단계에서 의과대학생의 인식 측정(Acad Med, 2017)
The Educational Climate Inventory: Measuring Students’ Perceptions of the Preclerkship and Clerkship Settings
Edward Krupat, PhD, Nicole J. Borges, PhD, Richard D. Brower, MD, Paul M. Haidet, MD, MPH, W. Scott Schroth, MD, MPH, Thomas J. Fleenor Jr, MEd, and Sebastian Uijtdehaage, PhD
초등학교부터 레지던트까지의 환경에서는 학습환경에 대한 학생들의 긍정적 인식이 학습 의욕 증가, 성취도 향상, 피로감 감소 등 다양한 결과와 연관되어 있음을 입증했다.1 66 이와 일관되게 미국과 캐나다에서는 의료교육연락위원회7과 캐나다 의과대학 인가위원회8은 긍정적인 환경이 존재함을 보장한다는 목표를 가지고 의과대학이 학습환경을 감시할 것을 명시적으로 요구한다.
In settings from elementary school through residency, it has been demonstrated that students’ perceptions of the learning environment as positive are associated with a variety of outcomes such as greater motivation for learning, higher levels of achievement, and lower levels of burnout.1–6 Consistent with this, in the United States and Canada, the Liaison Committee on Medical Education7 and the Committee on Accreditation of Canadian Medical Schools8 explicitly require medical schools to monitor their learning environments, with the goal of ensuring that a positive environment exists.
의과대학 학습환경을 평가하기 위한 여러 척도가 존재하며, 졸업후의학교육환경을 평가하는 도구도 등장하기 시작하고 있다.10 그러나, 최근 2014,11,12, 2010,13에 발표된 의과대학 기울기 환경기구에 대한 세 가지 체계적인 리뷰는 이러한 계측기 대부분이 적절한 심리측정적 표준을 충족하지 않음을 보여준다.
Several instruments exist to assess the medical school learning environment, and instruments that assess the graduate medical education environment are beginning to appear.10 However, three recent systematic reviews of medical school leaning environment instruments, published in 2014,11 2012,12 and 2010,13 indicated that most of these instruments do not meet appropriate psychometric standards.
환경 심리학자들이 지적한 바와 같이 "환경"은 여러 가지 방법으로 특징 지을 수 있다.14,15 의과대학 환경을 평가하는 대부분의 기구들은 여러 가지 관점에서 폭넓게 고려한다. 전세계적으로 널리 사용되고 있는 던디 레디 교육 환경 측정 16,17은 4요소 구조를 가지고 있다. 의대 학습환경조사, 18,19 최근 수정하여 28개 학교 연구의 일부로 사용, 18개 또한 다양한 영역을 다룬다.
As noted by environmental psychologists, the “environment” can be characterized in many different ways.14,15 Most instruments that assess the medical school environment consider it broadly, from multiple perspectives. The Dundee Ready Educational Environment Measure,16,17 which has been used widely throughout the world, has a four-factor structure . The Medical School Learning Environment Survey,18,19 recently modified and used as part of a 28-school study,18 also covers a variety of domains
존스 홉킨스 학습 환경 척도20,21은 동급생 커뮤니티("다른 SOM [의학 학교] 학생들과 얼마나 연결되어 있다고 생각하십니까?")에서 포함 및 안전("SOM에서 학생들이 학대를 당할까 염려된다")에 이르는 7가지 항목으로 구성되어 있다.
The Johns Hopkins Learning Environment Scale20,21 has seven subscales ranging from
community of peers (“How connected do you feel to other SOM [school of medicine] students?”) to
inclusion and safety (“I am concerned that students are mistreated at the SOM”).
이와는 대조적으로, 우리가 여기서 소개하는 기구는 의대 환경의 한 가지 중요한 측면인 교육 분위기climate에 초점을 맞추고 있다. 잘 존중되는 캐롤 드벡222424의 이론적 모델을 의학 교육에 접목시켜 우리는 의과대학의 교육적 가치와 문화가 두 가지 방법 중 하나로 집중될 수 있다는 점에 주목한다.
In contrast, the instrument we introduce here is focused on one critical aspect of the medical school environment, the educational climate. Adapting the well- respected theoretical model of Carol Dweck22–24 to medical training, we note that the educational values and culture of a medical school can be focused in one of two ways.
학습 지향적 또는 숙달 지향적 환경에서는, 커리큘럼(공식적·비공식적)이 지식과 기술을 향상시킬 뿐만 아니라 비판적 사고와 자기주도적 학습을 장려하는 쪽으로 맞춰지는 풍토를 조성하는 데 초점이 맞춰져 있다. 그러한 환경에서는 불확실성은 두려워하기 보다는 수용되어야 할 것으로 여겨진다; 교수들은 학생들의 답이 옳은지 아닌 이성적인 능력을 중시한다; 그리고 학생들은 많은 세부적인 피드백을 받고 어떻게 개선할 것인지에 대해 성찰하도록 권장된다. 형성적 평가 시스템 개발 필요성에 대한 최근의 논의는 이 접근법과 일치한다.25,26
In a learning- or mastery- oriented climate, the focus is on students’ development and growth, on creating a climate in which the curriculum (formal and informal) is geared toward not only increasing knowledge and skills but also encouraging critical thinking and self-directed learning. In such a climate, uncertainty is to be embraced rather than feared; faculty value students’ ability to reason, not just whether their answers are correct; and students receive a great deal of detailed feedback and are encouraged to reflect on how to improve. Recent discussions about the need to develop formative assessment systems are consistent with this approach.25,26
이와는 대조적으로, 성과 지향적인 분위기는 역량의 발전보다는 역량의 demonstration에 중점을 둔다. 이런 분위기 속에서 학생들은 역량의 성장보다 역량의 외관에 더 신경을 쓴다. 그들은 다른 사람들의 눈에는 자신만만한 것처럼 보이려고 애쓰면서, 그리고 부정적인 결과를 초래할 수 있는 것에 대한 두려움 때문에 피드백을 피하려고 애쓰면서, 불확실성을 감추기 쉽다.
In contrast, a performance-oriented climate places the emphasis on the demonstration of competence rather than its development. In such a climate, students are concerned more about the appearance of competence than the growth of competence. They are likely to hide their uncertainty, while trying to seem confident in the eyes of others, and to avoid feedback for fear of its possible negative consequences.
방법
Method
자료 수집
Data collection
2014년 봄 6개 의과대학에서 자료를 수집했다.
Data were collected in spring 2014 at six medical schools.
비록 이것이 의과대학의 무작위 표본은 아니었지만, 6개는 지리적 위치, 크기, 민간의 지위가 다양하며, 그들의 주요 교육 임무에서는 상당히 다르다. 자료수집 당시 이들 학교 중 3곳은 최소 3단계 이상 등급이 매겨진 전점제를, 3곳은 단순 합격불합격제를 사용했다. 6개 학교 모두 핵심 사무소에서 학생들에게 점수를 주었다.
Although this was not a random sample of medical schools, the six are diverse in geographical location, size, and public–private status, and they differ considerably in their primary educational missions. At the time of data collection, three of these schools used a preclerkship grading system with at least three levels of grades, and three used a simple pass–fail system. All six schools gave grades to students in their core clerkships.
확장 개발 및 관리
Scale development and administration
의대 교실이나 임상 환경과 동등하게 관련이 있다고 표현된 50개 항목의 풀은 학생들의 평가를 위해 생성되었다. 대부분의 항목은 첫 번째 작성자(E.K)가 작성했으며, 모든 항목은 전체 공동연구자에 의해 피드백과 가능한 수정에 대해 검토되었다. 이 문항들은 드벡의 학습-퍼포먼스 구별의 다양한 측면을 포착하기 위해 의도적으로 작성되었다.22–24 블루프린트는 다음의 차원이 포함한다.
학습의 목표 또는 집중(예: 적용 대 사실 유지)
교직원 관계와 학생 관계의 특성
숨겨진 커리큘럼의 존재(즉, 명시된 목표와 실제 정책 및 교수진의 조치 사이의 불일치)
A pool of 50 items, phrased to be equally relevant to the medical school classroom or clinical setting, was generated for rating by students. Most items were written by the first author (E.K.), and all were reviewed for feedback and possible revision by the full set of co-investigators. The items were written intentionally to capture various aspects of Dweck’s learning–performance distinction.22–24 The blueprint included specific dimensions, such as
goal or focus of learning (e.g., application vs. retention of facts);
nature of faculty–student relationships and student–student relationships; and
presence of a hidden curriculum (i.e., inconsistencies between stated goals and actual policies and actions by faculty).
50문항은 긍정적이고 부정적인 단어를 모두 포함했다. 모든 응답은 "강력하게 동의한다"부터 "강력하게 반대한다"에 이르는 4개항의 리커트 척도를 사용하여 이루어졌다. 분석을 위해, 모든 부정적으로 단어화된 항목은 역코딩되어 더 높은 점수가 항상 더 학습 지향적인 환경을 반영하도록 하였다.
The 50 items included both positively and negatively worded items. All responses were made using a four-point Likert scale, which ranged from “strongly agree” to “strongly disagree.” For analysis purposes, all negatively worded items were reverse coded so that a higher score always reflected a more learning-oriented climate.
이 평가도구에서는 학생들에게 "의과대학"에서 경험했던 대로 "PRECLERKSHIP (또는 3학년 학생, CLERKSHIP) 학습 환경에 관한 느낌"을 제공하도록 요청했다. 학생들은 50개 항목에 동의하거나 동의하지 않는 정도를 나타내기 위해 4점 척도를 사용하도록 지시받았고, 의대에 대한 만족도를 2개 항목으로 평가하도록 했다(지금까지 의과대학에서의 경험에 대해 극도로 만족한다, 친구가 물어보면 우리 의과대학에 오라고 적극 추천하고 싶다). 그리고 직업으로서의 의학의 선택(1항목: 나는 내가 의학에 들어갈 때 올바른 선택을 했다고 확신한다.)을 물어보았다. 학생들에게는 제한된 인구통계학적 정보를 제공하도록 요청하였.
The instrument’s instructions asked students to provide their “feelings concerning the PRECLERKSHIP [or for third-year students, CLERKSHIP] learning environment as you have experienced it here at [medical school name].” Students were instructed to use the four-point scale to indicate the extent to which they agreed or disagreed with the 50 items as well as to rate their satisfaction with their medical school (2 items: “I am extremely satisfied with my medical school experience so far”; “If asked by a friend, I would strongly recommend that he or she go to my medical school”) and their choice of medicine as a career (1 item: “I feel certain that I made the right choice in going into medicine”). They were also asked to supply limited demographic information.
마지막으로, 학생들은 그들의 노력과 성적에 따라 평가받기를 원하는 비율과 성과에 기초하여 평가받기를 원하는 비율을 표시함으로써, 그들의 노력과 성적에 따라 평가 받는 것에 대한 선호도를 100퍼센트까지 증가시키기 위해 평가하도록 요구받았다. 학생들이 실제 숫자로 노력 대 평가 수행에 선호되는 상대적 가중치를 나타냈지만, 분석 목적을 위해 이 변수는 세 가지 범주로 분류되었다.
노력보다 성과(이상 51%)로 평가받기를 더 좋아하는 사람,
50대 50을 선호하는 사람
성과보다 노력(이상 51%)으로 평가받기를 더 좋아하는 사람.
Finally, students were asked to rate their preference for being judged by faculty according to their effort versus their performance, by indicating the percentage they desired to be assessed based on effort and the percentage based on performance, to add up to 100%. Although students indicated in real numbers the relative weight that they preferred to be given to effort versus performance in assessments, for analysis purposes this variable was coded into three categories:
those who preferred to be judged more by their performance (≥ 51%) than by their effort,
those who preferred a 50–50 split, and
those who preferred to be judged more by their effort (≥ 51%) than by their performance.
임상 전 학생들에게 보내진 평가 계측기 사본은 http://links.lww.com/ACADMED/A452에서 보충 디지털 부록 1로 이용할 수 있다. 임상 학생에게 보낸 기구는 위에서 언급한 한 가지 예외를 제외하고 동일했다.
A copy of the survey instrument that was sent to preclinical students is available as Supplemental Digital Appendix 1 at http://links.lww.com/ACADMED/A452. The instrument sent to clinical students was identical, with the one exception noted above.
척도 분석
Scale analysis
총 표본의 크기가 안정된 요인 분석 결과를 생성하는 데 필요한 항목별 응답 비율을 훨씬 초과했기 때문에,31 우리는 50개 항목에 대한 탐색 요인 분석(EFA)을 수행하기 위해 표본의 절반을 무작위로 선택했다. EFA의 경우, 최대우도 분석과 함께 구획의 상호 상관 관계를 설명하기 위해 판촉 회전을 사용했다. 요인은 생성된 스크리 플롯의 팔꿈치 위에 있고 고유값이 1보다 높은 경우 유지되었다. 이러한 요인 내의 항목은 1차 요인에 대해 ≥ 0.40을 로드한 경우 또는 1차 요인에 대해서만 0.35를 로드한 경우 유지되었다.
Because the size of the total sample far exceeded the respondents-per-items ratio required to generate stable factor analytic results,31 we selected half the sample at random to perform an exploratory factor analysis (EFA) on the 50 items. For the EFA, we used a promax rotation to account for the subscales’ intercorrelation along with a maximum likelihood analysis. Factors were retained if they were above the elbow of the generated scree plot and had eigenvalues > 1. Items within those factors were retained if they loaded ≥ 0.40 on their primary factor— or, if they were not factorially complex, if they loaded ≥ 0.35 on one factor only.
EFA의 경험적 발견을 이용하여 저울의 기초구조를 확립한 결과, 보유품목만을 이용하여 표본의 나머지 절반에 대해 확인인자분석(CFA)을 수행하였다. 이는 계측기의 잠재적 구조를 검증하고, 항목 요인 관계의 패턴을 검증하며, 적절한 요인의 수를 추가로 결정하기 위해 수행되었다.
Having established the underlying structure of the scale using the empirical findings of the EFA, we performed confirmatory factor analysis (CFA) on the other half of the sample using the retained items only. This was done to verify the latent structure of the instrument, validate the pattern of item–factor relationships, and further determine the appropriate number of factors.
결과
Results
표본
The sample
총 1441명의 학생이 설문조사를 완료했으며, 조사 대상 6개 학교 각각에서 99~407명의 응답자가 응답했다. 학교 A–F의 응답률은 각각 59%, 47%, 78%, 49%, 81%, 22%로 전체 응답률은 56%(1,441/2,590명)로 나타났다.
A total of 1,441 students completed the surveys, with 99 to 407 respondents from each of the six schools surveyed. The response rates of Schools A–F, respectively, were 59%, 47%, 78%, 49%, 81%, and 22%, yielding an overall response rate of 56% (1,441/2,590).
총표본의 특성은 표 1에 대략 절반의 남성(48%)이었다.
The characteristics of the total sample, which was approximately half male (48%), are reported in Table 1.
요인 분석 및 ECI 항목 선택
Factor analysis and ECI item selection
50개 항목의 평균 점수 중 어느 것도 너무 극단적이지 않았고 표준 편차도 너무 좁지 않았다. 결과적으로 모든 항목은 EFA에 대해 유지되었다.
None of the 50 items’ mean scores were too extreme, nor were their standard deviations too narrow; as a result, all items were retained for the EFA.
보유기준을 충족하지 못한 품목을 삭제한 후 각각 10, 6, 4개 항목으로 3가지 요소를 남겨 두었다(표 2 참조).
After eliminating items that did not meet the criteria for retention, we were left with three factors of 10, 6, and 4 items, respectively (see Table 2).
요인 1에 대해서는 "학습 중심성과 상호존중"이라고 표기된 항목(0.65)이 가장 많았다.(0.65)는 "이 의과대학에서는 발견의 감각과 탐구에 대한 열정에 초점을 맞추고 있다" "나는 종종 어떻게 개선할 것인가에 대한 교직원의 가치 있고 지지적인 조언을 받는다."
For Factor 1, labeled “centrality of learning and mutual respect,” the highest loading items (0.65) were “In this medical school, we focus on a sense of discovery and the excitement of inquiry” and “I often get invaluable and supportive advice from faculty on how to improve.”
요인 2에 대해서는, "경쟁과 스트레스"라는 라벨을 붙였다. 가장 loading이 큰 문항은 "여기의 분위기는 경쟁이 심하다""이곳 주변은 자신이 하는 것이 뭔지 몰라도 당당하게 행동해야 한다"라고 하는 것이 가장 많았다.
For Factor 2, labeled “competiveness and stress,” the highest loading items were “The atmosphere here is highly competitive” and “Around here you have to act confidently even if you have little idea what you are doing.”
요인 3은 "수동적 학습과 암기"라고 명명했으며, "여기서 하는 일은 대부분 지식의 수동적 전달에 초점이 맞춰져 있다" "여기에서의 교육은 가능한 한 많은 내용을 암기하는 것"의 loading이 가장 컸다.
For Factor 3, labeled “passive learning and memorization,” the highest loading items were “Most of what we do here is focused on the passive transfer of knowledge” and “Education here is all about memorizing as much content as you can.”
표본의 무작위화된 하반기를 사용하는 CFA는 EFA에서 추출한 3인자 구조를 지원했다.
The CFA using the randomized second half of the sample supported the three- factor structure extracted from the EFA.
ECI 점수와 다른 변수 간의 관계
Relationship of ECI scores to other variables
학교 전체에 걸쳐 변동성이 존재하는지 여부를 판단하기 위해, 각 학교의 평균 점수(총 규모와 세 가지 요인 각각에 대해)를 비교했다(표 3 참조). 6개 학교의 점수는 상당히 달랐다(P < .001, eta2 = 0.08). 더욱이, 요소들이 적당히 상관관계가 있었지만, 주어진 요소들에 대한 학교의 상대적 지위는 다른 요소들에 대해 동일한 상대적 지위를 유지한다는 것을 보장하지 않았다.
To determine whether variability existed across schools, we compared the mean scores for each school, both for the total scale and for each of the three factors (see Table 3). Scores for the six schools differed considerably (P < .001, eta2 = 0.08). Moreover, although the factors were moderately correlated, a school’s relative standing on any given factor did not ensure that it would hold the same relative standing for a different factor.
표 4에서 보듯이, 응답자 성별이나 대학 전공에 따른 총점수에서 차이가 없음을 발견했다.그러나 (노력보다는) 성과에 의해 평가받는 것을 선호하는 학생들은, 특히 요인 2(경쟁력 및 스트레스)의 측면에서, 학교 환경을 더 learning oriented되어있다고 볼 가능성이 상당히 높았다.
As shown in Table 4, we found no differences on total score according to respondent sex or college major. However, students who preferred to be judged more by performance than by effort were significantly more likely to see their school’s environment as learning oriented, most notably on Factor 2 (competitiveness and stress)
임상실습 학생들의 총 점수는 전임상실습 학생들에 비해 현저히 낮았고, 임상실습 학생들이 학습 환경을 상당히 더 성과(퍼포먼스) 지향적인 것으로 평가했음을 나타낸다(점원 = 58.4, 점원 = 52.9, P < .001; eta2 = 0.07).
the total scores of the clerkship students were significantly lower than those of the preclerkship students, indicating that the clerkship students rated their learning climate as significantly more performance oriented (preclerkship = 58.4; clerkship = 52.9; P < .001; eta2 = 0.07).
또한 학습기후를 보다 숙달지향적으로 인식한 학생들과 비교했을 때, 자신의 환경을 보다 성과지향적으로 본 학생들은 자신의 의과대학에 대한 만족도가 낮고(5.79 대 7.29; P < .001; eta2 = 0.25)과 직업으로서의 의학을 추구하기로 한 결정에 대한 만족도가 낮았다(3.35 대 3.77; P <001; eta2 = 0.10). 이러한 관계는 학생들이 임상 또는 재직 연도에 관계없이 동일했다.
In addition, compared with students who perceived their learning climate as more mastery oriented, students who viewed their environments as more performance oriented were less satisfied with their own medical school (5.79 vs. 7.29; P < .001; eta2 = 0.25) as well as their decision to pursue medicine as a career (3.35 vs. 3.77; P < .001; eta2 = 0.10). This relationship was the same regardless of whether students were in their clinical or preclerkship years
마지막으로, 훨씬 더 많은 수의 전임상 학생들이 노력(20%)보다 그들의 성적에 의해 더 많이 평가 받는 것을 선호한다고 말했다. 이러한 관계는 임상실습 학생들 사이에서 역전되었는데, 그 중 성적(27%)보다는 노력(41%)에 의해 평가받는 것을 더 선호한 비율이 더 높았다(P < .001).
Finally, a far greater percentage of preclerkship students indicated that they preferred to be judged more by their performance (56%) than by their effort (20%). This relationship was reversed among clerkship students, among whom a greater percentage preferred to be judged more by their effort (41%) than by their performance (27%) (P < .001).
고찰
Discussion
우리의 예측과 일치하여
학생들에 의해 전임상(교실) 경험보다 임상실습 경험이 더 성과performance 지향적인 것으로 평가되었고,
학생들의 전임상실습 학습 분위기에 대한 평가는 P-F 시스템 학교보다 grade 시스템 학교에서 성과performance 지향적이라고 여겨졌다(후자의 효과 크기는 작았다)
Consistent with our predictions, we found that the clerkship experience was rated by students as more performance oriented than the medical school classroom experience, and that students’ ratings of the preclerkship learning climate were more performance oriented in schools with grades than in schools with a pass–fail system, although the effect size for the latter was small.
ECI 점수는 또한 만족스러운 일관된 연관성을 보여주었다. 자신의 환경을 보다 performance oriented된 것으로 인식한 학생들은 (mastery oriented된 것으로 인식하는 학생들에 비해) 직업으로서의 의대 선택과 의대 자체에 만족하지 않았다.
ECI scores also demonstrated a consistent set of associations with satisfaction: Students who perceived their environment as more performance oriented were less satisfied with both their choice of medicine as a career and with their medical school itself compared with students who perceived their learning climate as more mastery oriented.
ECI의 신뢰성 및 유효성
Reliability and validity of the ECI
한계
Limitations
한 가지 주목할 만한 제한은 학교 전체의 응답률의 변동성에 관한 것이며, 전체 비율은 22%에서 81%까지 개별 학교 비율에서 파생된 56%이다. 많은 의학 교육 연구자들이 "조사 결과를 신뢰할 수 없다고 보아야 하는 절대적인 기준"을 갖고 있지만, 이것을 심층적으로 연구한 사회과학자들은 서로 다른 결론에 도달했다. Singer36은 이 문제에 전념하는 여론 분기 특별호에서 "조사 추정치가 반드시 편향되었다고 볼 수 있는 최소 응답률은 없으며, 반대로 절대 편향되지 않았다고 볼 응답률 기준도 없다"고 결론지었다. 최근, Meterko와 동료들은 "‘낮은’ 응답률 조사의 결과는 인구의 태도를 정확하게 나타낼 수 있다. 따라서 응답률이 낮다고 해서 결과를 uninformative라고 치부해서는 안 된다고 말했다.
One notable limitation concerns the variability in response rates across the schools, with an overall rate of 56% derived from individual school rates as low as 22% and as high as 81%. While many medical education researchers have set absolute thresholds below which they believe survey findings cannot be trusted, social scientists who have studied this in depth have come to differing conclusions. In a special issue of the Public Opinion Quarterly devoted to this issue, Singer36 concluded that “there is no minimum response rate below which a survey estimate is necessarily biased; and conversely, no response rate above which it is never biased.” More recently, Meterko and colleagues37 stated, “Results from ‘low’ response rate surveys may accurately represent attitudes of the population. Therefore, low response rates should not be cited as reasons to dismiss results as uninformative.”
학생들이 평가받기를 원하는 방법
How students want to be assessed
전임상시기의 대다수의 학생들이 그들의 성적에 의해 평가되는 것을 선호한다는 것은 놀라운 일이 아니다. 이들은 의과대학에 들어가기 위해 꾸준히 높은 성취를 보이는 교실 수행자들이어야 했기 때문이다. 그러나 이러한 학생들을 위하여 많은 교육자들이 학습과 숙달을 지원하는 교육적 환경을 조성하려고 시도하고 있음에도 이러한(노력보다 성과로 평가받길 원하는) 결과가 나온 것은 아이러니하다.
It is not surprising that the majority of students in their preclerkship years indicated that they preferred to be judged by their performance, as they had to be consistently high-achieving classroom performers to get into medical school, although it is ironic that many educators are attempting to create educational climates for these students that support learning and mastery—that is, environments consistent with assessment on effort over performance.
우리는 학생들이 (임상교수들이 높은 수준의 성과를 기대하는) 필수 임상실습을 마쳤을 때 이 패턴이 뒤집어진다는 것에 다소 놀랐다. 이에 대한 한 가지 가능한 설명은 일단 병동에서 학생들의 임상 능력에 대한 불확실성과 교직원과 거주자의 높은 기준에 따라 수행하지 못할지도 모른다는 두려움이 학생들을 그들이 통제할 수 있는 한 가지 것에 따라 평가받기를 원하게 만든다는 것이다.
We were somewhat surprised to find the reverse pattern for students completing their core clerkships, where high levels of performance are expected by clinical faculty. One possible explanation for this is that once on the wards, students’ uncertainty about their clinical competence and fear that they may not be able to perform to the high standards of the faculty and residents lead students to want to be judged according to the one thing they can control: their effort.
이 설명과 일관되게, 학습자의 선호(노력에 따른 평가 vs 성과에 따른 평가)는 시간에 따라 달라질 수 있다
초보자(예: 핵심 실습 또는 레지던트 1학년)인 환경에서는, 노력에 근거한 평가를 선호할 수 있다.
더 경험이 많고 자신감 있는 상황(예를 들어, 서브인터네셔널이나 레지던트 3학년)에서는 수행 능력에 따라 판단되는 것을 선호하게 된다.
Consistent with this explanation, we would predict that the preference for being judged on effort versus performance may vary over time as learners move
from settings in which they are novices (e.g., core clerkships or first year of residency), where they may prefer assessment based on their effort,
to settings in which they are more experienced and confident (e.g., subinternships or third year of residency), where they may prefer to be judged according to their ability to perform.
Conclusions
Multicenter Study
,92 (12), 1757-1764
The Educational Climate Inventory: Measuring Students' Perceptions of the Preclerkship and Clerkship Settings
1E. Krupat is associate professor of psychology, Department of Psychiatry, Beth Israel Deaconess Medical Center, Boston, Massachusetts. At the time of the research, the author was also director, Center for Evaluation, Harvard Medical School, Boston, Massachusetts. N.J. Borges is assistant dean, Medical Education Research and Scholarship, and professor, Department of Pediatrics, University of Mississippi Medical Center, Jackson, Mississippi. At the time of the research, the author was on the faculty of Wright State University Boonshoft School of Medicine, Dayton, Ohio. R.D. Brower is associate dean for medical education, associate professor of medical education, and clinical associate professor of neurology, Paul L. Foster School of Medicine at Texas Tech University Health Sciences Center, El Paso, Texas. P.M. Haidet is professor of medicine, humanities, and public health sciences and director of medical education research, Penn State College of Medicine, Hershey, Pennsylvania. W.S. Schroth was associate dean for administration, George Washington University School of Medicine and Health Sciences, Washington, DC, at the time of the research. T.J. Fleenor Jr is project manager, Office of Educational Quality Improvement, Harvard Medical School, Boston, Massachusetts. S. Uijtdehaage is professor of medicine and associate director, graduate programs in health professions education, Uniformed Services University of the Health Sciences, Bethesda, Maryland. At the time of the research, the author was on the faculty of the David Geffen School of Medicine at the University of California, Los Angeles, California.
Purpose:To develop an instrument to assess educational climate, a critical aspect of the medical school learning environment that previous tools have not explored in depth.
Method:Fifty items were written, capturing aspects of Dweck's performance-learning distinction, to distinguish students' perceptions of the educational climate as learning/mastery oriented (where the goal is growth and development) versus performance oriented (where the goal is appearance of competence). These items were included in a 2014 survey of first-, second-, and third-year students at six diverse medical schools. Students rated their preclerkship or clerkship experiences and provided demographic and other data. The final Educational Climate Inventory (ECI) was determined via exploratory and confirmatory factor analysis. Relationships between scale scores and other variables were calculated.
Results:Responses were received from 1,441/2,590 students (56%). The 20-item ECI resulted, with three factors: centrality of learning and mutual respect; competitiveness and stress; and passive learning and memorization. Clerkship students' ratings of their learning climate were more performance oriented than preclerkship students' ratings (P < .001). Among preclerkship students, ECI scores were more performance oriented in schools with grading versus pass-fail systems (P < .04). Students who viewed their climate as more performance oriented were less satisfied with their medical school (P < .001) and choice of medicine as a career (P < .001).
Conclusions:The ECI allows educators to assess students' perceptions of the learning climate. It has potential as an evaluation instrument to determine the efficacy of attempts to move health professions education toward learning and mastery.
Conceptualizing Learning Environments in the Health Professions
Larry D. Gruppen, PhD, David M. Irby, MDiv, PhD, Steven J. Durning, MD, PhD, and Lauren A. Maggio, MS(LIS), PhD
교육자, 연구자, 인증관련 담당자는 보건 직업 교육에 대한 학습 환경(LEs)의 긍정적 효과와 부정적인 영향을 모두 강조해 왔다.133 학습자는 환영, 참여, 지원, 도전을 받는 환경에서는 잘 성장하지만, 학습자가 LE에서 배제당하거나, 지지받지 못하거나, 학대당한다고 인식할 경우 일반적으로 높은 수준의 우울증, 소진, 한계화 및/또는 탈진으로 이어진다.
Educators, researchers, and accreditors have highlighted both the positive and negative effects of learning environments (LEs) on health professions education.1–3 Learners thrive in settings where they are welcomed, engaged, supported, and challenged, but when learners perceive the LE to be exclusionary, unsupportive, and/or abusive, this typically leads to high levels of depression, burnout, marginalization, and/or exhaustion.
그러나 LE의 정의나 LE를 측정하는 도구에는 균일성이 거의 없다.4,5
yet there is little uniformity in definitions and measuring instruments.4,5
환경이라는 용어는 중세 프랑스어 엔비론(environ)에서 온 말로, ‘주변’으로 번역된다. 그러므로 환경은 "주변에 있거나 둘러싸고 있는 것:으로서, '특정 환경의 물리적 또는 사회적 세계'를 의미한다. 그래서 "학습 환경"은 문자 그대로 "배움을 둘러싸고 있는 환경"을 의미한다. 또 다른 정의는 "각 상황에 성격, 정신, 문화를 부여하고 그 조직 내에서 학습자가 되는 것이 어떤 것인지 설명하는 특징들의 집합"이다7(p554)
The term “environment” comes from the Middle French word “environ,” which is translated as “around.” Thus, environment means “that which is around or surrounds”—the physical or social world of a particular setting.6 So the “learning environment” literally means “that which surrounds learning.” Another definition is “a set of features that gives each circumstance and institution a personality, a spirit, a culture and describes what it is like to be a learner within that organization.”7(p554)
LE는 분위기, 학습기후, 조직문화 또는 환경, 교육환경과 자주 동의어처럼 쓰인다. 그것은 사람들이 서로 교류하는 일상적인 방식과 사회문화적 풍토의 어조뿐만 아니라 학습을 둘러싸고 있는 조직구조와 물리적 공간을 묘사한다.8 LE와 관련된 연구 전반에 걸쳐 일관된 것은 [LE의 목적은 그 환경 내에서 모든 것의 학습과 개발을 지원하는 것]이라는 관측이다.
LE is a term that is often used synonymously with atmosphere, learning climate, organizational culture or milieu, and educational environment. It describes the routine ways in which people interact with each other and the tone of the social and cultural climate as well as the organizational structures and physical spaces that surround learning.8 What is consistent across research pertaining to the LE is the observation that its purpose is to support the learning and development of all within that setting.
Josiah Macy Jr.를 위해 실시된 범위 검토에 기초하여. 2018년 4월 보건 분야의 학습 환경 개선에 관한 기초 합의 회의. 우리는 LE에 대해 다음과 같은 정의를 제안했다.
"학습 환경은 학습자의 경험, 인식, 학습을 둘러싸고 형성하는 사회적 상호작용, 조직 문화와 구조, 물리적·가상적 공간을 말한다."
On the basis of a scoping review conducted for a Josiah Macy Jr. Foundation consensus conference on improving environments for learning in the health professions in April 2018,9 we proposed the following definition:
“Learning environment refers to the social interactions, organizational culture and structures, and physical and virtual spaces that surround and shape the learners’ experiences, perceptions, and learning.”
LE 개념틀 개발
Developing a Conceptual Framework for LEs
특히 LE의 구성은 특정 이론이나 관점이 "소유"하고 있는 것이 아니다. 실제로, 학습 이론에서 LE가 무시되는 경우가 너무 잦아서, LE의 구조는 이론적인 애매모호한 무언가에 남겨진다. LE의 강력한 개념적 프레임워크를 이용할 수 있을 때까지, LE의 평가와 개선에는 한계가 있을 것이다.
Notably, the construct of the LE is not “owned” by any particular theory or perspective. Indeed, all too often the LE is ignored in theories of learning, leaving this construct in something of a theoretical limbo. Until a robust conceptual framework of the LE is available, there will be limited progress in assessing and improving the LE.
2012년 숄록-아데마와 동료들의 문헌 검토에 따르면, 이전에 LE를 frame하려는 시도가 있었다고 한다.
첫 번째 틀은 1938년 머레이의 작품에서 비롯되었다. 그는 개인의 성격과 이것이 환경에 대한 인식에 어떤 영향을 미치는지 설명하는 데 초점을 맞췄다.
두 번째 틀은 1970년대 무스의 작품이었다. 고등교육의 맥락에서 일하면서 Mos는 각 LE를 세 가지 넓은 영역으로 개념화했다.
개인적 개발 또는 목표 지향: 교육 목표, 건설적 비판 및 피드백, 관련 학습 내용과 관련된
관계: 학습자와 교직원이 서로를 어떻게 지원하는지에 초점을 맞추고, 제휴와 정서적 지지를 보여주며, 공개적인 커뮤니케이션
시스템 유지와 시스템 변화:명확한 기대, 개방적이고 질서 있는 환경, 혁신, 학생 영향력의 범위와 같은 것
There have been previous attempts to frame the LE, according to a 2012 review of the literature by Schönrock-Adema and colleagues.4
The first framework arose from the work of Murray10 in 1938. He focused on describing the individual’s personality and how this influenced his or her perceptions of the environment.
The second framework was the work of Moos11,12 in the 1970s. Working in the context of higher education, Moos conceptualized each LE in terms of three broad domains:
personal development or goal direction, which relates to educational goals, constructive criticism and feedback, and relevant learning content;
relationships, which focus on how learners and faculty members support each other, demonstrate affiliation and emotional support, and have open communication; and
system maintenance and system change, which addresses such things as clear expectations, an open and orderly environment, innovation, and the extent of student influence.
Moos의 프레임워크는 LE의 많은 기존 학습자 자체 보고서 척도에 사용되어 왔으며, 그러한 계측기 항목의 90% 이상을 차지한다. 숄록-아데마와 동료들은 Moos의 프레임워크를 기반으로 건강 전문가들을 위한 LE의 3-도메인 프레임워크를 주장하고 있다. 목표 지향, 관계, 조직/규제.
Moos’s framework has been used in many of the existing learner self-report measures of the LE and accounts for over 90% of the items in those instruments.4 Building on Moos’s framework, Schönrock-Adema and colleagues4 argue for a three-domain framework of the LE for the health professions: goal orientation, relationships, and organization/regulation.
Genn의 2001년 LE 분석에서는, 학습에 영향을 미칠 경우 거의 모든 것이 LE의 일부로 간주될 수 있다고 지적하면서, LE의 이론을 발전시키기 위한 주요 도전을 강조한다. 그는 시간표, 수업 구성, 여가 시간, 임상 팀원 등 많은 변수로 이러한 복잡성을 설명한다. Genn이 제시한 포괄적인 프레임은 반대로 [LE가 아닌 것이 무엇인가]에 대한 의문을 제기한다. LE의 개념적 틀은 [무엇을 포함하느냐] 만큼 [무엇을 배제하느냐]를 제시하는 것으로서 가치가 있다.
Genn’s5,13 2001 analysis of the LE highlights a major challenge to developing a theory of the LE when he notes that almost anything can be considered part of the LE if it has an impact on learning. He illustrates this complexity with a number of variables, such as time tables, class composition, leisure time, clinical team members, and many others. Such a comprehensive framing raises the question of what isn’t part of the LE. A conceptual framework of the LE is valuable as much for what it would leave out as for what it would include.
우리는 LE란 [특정한 환경에서 개인, 사회 그룹 및 조직에 의해 고취되고 상황별 분위기와 문화에 의해 형성되는 복잡한 정신-사회-물리적 구조]라고 생각할 수 있다고 주장한다.8
We argue that the LE can be thought of as a complex psycho-social-physical construct that is cocreated by individuals, social groups, and organizations in a particular setting and shaped by contextual climate and culture.8
위에서 설명한 각 프레임워크는 [타인과의 상호작용과 협업의 중요성]을 강조한다. 왜냐하면, (상호작용과 협업은) "[다른 사람들로부터 지식과 기술을 배움으로써, 또한 자신이 속한 지역사회에 존재하는 규범과 문화적 신념과 태도와 친숙하게 됨으로써] 학생들이 학습하고 참여하는 수단이기 때문이다. 그러나 LE는 단순한 사회적 상호작용이 아니다. 또한 물리적 공간과 가상(디지털) 환경뿐만 아니라 개별적인 심리적 특성을 포함해야 한다.
Each of the frameworks described above emphasizes the importance of interactions and collaborations with others “as the means for students’ learning/participation, both through learning knowledge and skills from others, and through becoming familiar with the norms, cultural beliefs and attitudes existing in the communities to which they (the learners) are being introduced.”4(p739) However, the LE is more than just social interactions. It must also encompass intraindividual psychological characteristics as well as physical spaces and virtual (digital) environments.
우리는 심리사회적 관점이 개념적 틀을 구축하기 위한 확고한 기초를 제공한다고 믿는다.
We believe that a psychosocial perspective provides a solid foundation for building a conceptual framework.
situated learning 관점에서, 학습은 적극적인 참여를 통해 (공동체의 일원이 됨) 새로운 지식 공동체로의 적응을 수반한다.14
Within a situated learning perspective, learning involves acculturation into a new knowledge community (becoming a member of a community) through active participation.14
생태 심리학이나 근무지 학습과 같은 관련 이론들은 학습자들이 적극적으로 참여하는 환경의 여유에 의해 학습과 관련된 사회적 상호작용이 촉진된다는 것을 강조한다.15
Related theories, such as ecological psychology and workplace learning, emphasize that social interactions related to learning are facilitated by affordances in the environment with which learners actively engage.15
인지 및 활동 이론16 또한 학습자의 사회적 특성과 환경과의 상호작용을 강조한다. 구체적으로는 지식이 습득되는 활동, 맥락, 문화에 내재되어 있다.17
Situated cognition and activity theory16 also emphasizes the social character of learning and the interactions of the learner with the environment. Specifically, knowledge is embedded in the activity, context, and culture in which it is learned.17
사회물질성 이론은 기술, 업무, 조직의 교차점에 기초하고 있다. 이 이론에서는 작업의 물질적 차원과 심리사회적 차원이 서로 얽히고설켜 불가분의 관계에 있다고 상정한다.
Sociomateriality theory builds on the intersection of technology, work, and organizations—suggesting that the material dimensions and psychosocial dimensions of work are intertwined and inseparable.18,19
LE를 위한 개념틀 제안
Proposing a Conceptual Framework for the LE
LE의 규범적 이론이 없었기 때문에, 우리는 생명시스템 관점(모든 생명 시스템, 그들의 구조, 상호작용, 행동 및 개발에 관한 일반적인 이론)을 따라 다중 개념 프레임워크를 합성하고 2차원을 형성하는 5개의 중첩 및 쌍방향 핵심 구성요소를 식별했다.
Lacking a canonical theory of the LE, we followed a living systems perspective20 (a general theory about all living systems, their structure, interaction, behavior, and development) to synthesize multiple conceptual frameworks3,4,11–13,19,21,22 and identified five overlapping and interactive core components that form two dimensions.
LE의 여러 측면
aspects of the LE (Figure 1).
심리사회적 차원
Psychosocial dimension
개인 요소
Personal component.
LE의 개인 구성 요소: 개별 학습자가 어떻게 LE와 상호 작용하는지, 어떻게 LE에 대한 인식을 개발하는지, 어떻게 (LE가) 개인의 성장에 관여하며, 전문직 정체성을 개발하는지.
The personal component of the LE : how individual learners interact with the LE, develop perceptions of the LE, engage in personal growth, and develop professional identity.
Scoping review 에서 우리는 LE의 개인 수준 요소와 긍정적으로 연관된 개입 또는 요인을 식별했다.
직접 환자 치료에 집중하는 시간,
동료들의 공동체를 갖는 것,
좋은 삶의 질과 높은 수준의 회복력,
웰빙 훈련,
"의미있는" 실천으로 배우는 것,
학습자를 지원하는 규제된 제도를 신뢰하다.
From our scoping review,9 we identified interventions or factors positively associated with the personal component of the LE:
time focused on direct patient care,
having a community of peers,
a good quality of life and high levels of resilience,
training in well-being,
learning in a “meaningful” practice, and
trust in a regulated system that supports learners.
LE와 부정적인 연관성을 가진 요인은
삶의 질이 나빠지면 더 감정적으로 지치는 것
도덕적 디스트레스
탈인간화
미래까지 버틸 수 있는지와 자기 능력에 대한 걱정
Factors with negative associations with the LE were
poor quality of life leading to more emotional exhaustion,
moral distress,
depersonalization, and
worries about future endurance and capacity.
교육자들에게 있어, LE에 대한 학습자들의 개인요인은 가장 중요하다. LE의 이러한 개인적이고 학습자 중심적인 구성요소는 학습자 경험, 학습자 및 인식에 강하게 영향을 미친다. 실제로, LE를 측정하기 위해 고안된 대부분의 도구들은 개별 학습자가 LE를 인지하는 방식에 초점을 맞추고 있지만, 이러한 척도는 LE의 더 큰 사회적, 조직적, 물리적, 가상적 요소를 다루지 못하면서 개인에 집중한다는 한계가 있다.
For educators, the personal dimensions of their learners are of paramount importance. This personal, learner-centered component of the LE strongly influences learner experience, learning, and perceptions. Indeed, most inventories designed to measure the LE are focused on how individual learners perceive it, but this imposes a limitation by focusing on the individual while failing to address the larger social, organizational, physical, and virtual components of the LE.
사회 요소
Social component.
(개인적인 차원에 더해져서) LE의 사회적 요소는 다른 사람들과의 상호작용과 사회적 관계에 대한 부분을 다룬다. 이러한 관계에는 다음의 요소가 있다.
동료-대-동료(경쟁력, 협업, 공유 가치 및 학습자 문화)
학습자-대-교수/직원(신뢰, 피드백, 기대의 명확성, 커뮤니케이션, 교육 전략, 멘토링)
학습자-대-환자(책임, 수용, 신뢰)
The social component of the LE characterizes interactions and social relations with others, thus adding to the personal dimension. These relationships include
peer-to-peer (competition, cooperation, shared values and learner culture),
learner-to-faculty/staff (trust, feedback, clarity of expectations, communication, instructional strategies, mentoring), and
사회적 구성요소는 이러한 상호작용의 퀄리티를 설명한다(형평성과 inclusion, 학습자의 괴롭힘과 학대를 포함) .
The social component describes the quality of these interactions, including equity and inclusion, and harassment and abuse of learners.
사회적 요소를 개선하기 위해 설계된 개입에는 다음이 있다.
긍정적인 학습 환경을 조성하는 데 초점을 맞춘 교수개발 워크숍,
동료 코칭 프로그램,
다양성/자본성/적폐성 교육,
팀워크 교육
Interventions designed to improve the social component include
faculty development workshops focusing on creating a positive learning climate,
peer coaching programs,
diversity/ equity/inclusion training, and
teamwork training.9
사회적 요소에 대한 조사는 전형적으로 사회학자, 인류학자, 민족지학자들의 관심사이며, 이 연구자들은 개인이 시스템 내에서 어떻게 상호작용하는지에 높은 가치를 둔다.
Investigations of the social component typically fall under the purview of sociologists, anthropologists, and ethnographers, who place high value on how individuals interact with each other and within a system.
이 요소와 관련된 이론은 위치 학습, 위치 인식, 사회 물질성 및 신중한 실천을 포함한다.
Theories that pertain to this component include situated learning, situated cognition, sociomateriality, and deliberate practice.
조직 요소
Organizational component.
사회적 요소와는 달리, 조직 요소는 주로 다음을 다룬다.
아티팩트(또는 사람들이 환경의 물체나 요소와 상호작용하는 방법)
일군의 개인(개인의 일반적인 사회적 영역에 속하지 않는 사람들)
unlike the social component, the organizational component primarily addresses
artifacts (or how people interact with objects or elements in their environment) and/or
groups of individuals (who are not just a part of the individual’s typical social circle).
따라서 이 요소는 개인이 어떻게 정책과 상호 작용하는지, 어떻게 조직 성과 척도에 대응하는지, 어떻게 문화 및 특정한 리더십에 대응하는지 등이 포함된다.
Thus, this component emphasizes how individuals interact with policies, navigate organizational performance measures, and respond to culture and/or particular leadership actions.
조직은 학습을 위한 구조, 지침, 지원을 제공한다. 이러한 지원은 커리큘럼 자원, 지리적 배치 및 인증 규칙뿐만 아니라 조직 관행, 문화 및 정책(예: 근무 시간, 규제 환경, 교사 통제, 커리큘럼)의 형태를 취할 수 있다.
Organizations provide structure, guidance, and/or support for learning. This support can take the form of curriculum resources, geographic placements, and accreditation rules, as well as organizational practices, culture, and policies (such as duty hours, regulatory environment, teacher control, curriculum).
우리는 또한 이 조직 구성 요소의 지역사회(지리적 설정/위치)에 배치placement도 포함한다.
We also include placements in the community (geographical settings/locations) in this organizational component.
계약, 규제 기관 및 정책 입안자는 일반적으로 LE의 조직 요소에 초점을 맞춘다.
Deans, regulatory bodies, and policy makers typically focus on the organizational component of the LE.
물질 차원
Material dimension
물리적 공간
Physical spaces.
LE 프레임워크의 물질적 차원은 다음을 포함한다.
학습과 실습이 이루어지는 물리적/가상적 공간
학습에 영향을 미치는 환경의 객체object (예: 전자 건강 기록 및 주문 입력 시스템, 청진기, 복강경).
The material dimension of our LE framework includes
the physical and virtual spaces in which learning and practice occur as well as
objects (artifacts) in the environment that affect learning (e.g., electronic health record and order entry systems, stethoscopes, laparoscopes).
물리적 공간은 벽돌로 된 캠퍼스 기반의 교육 및 학습 건물, 병원과 클리닉 및 커뮤니티 사이트를 포함한다. 학생들은 공부, 토론, 팀 배움의 좋은 장소를 찾는다. 작은 회의실은 환자 진료가 한창인 상황에서 임상 교육에 매우 중요하다. 학생과 레지던트가 일반적으로 환자를 진찰하는 데 전문의보다 시간이 더 오래 걸리는 점을 감안할 때, 적절한 수의 진찰실을 이용할 수 있는 것은 임상 학습에 필수적이다.
Physical space includes brick-and-mortar campus-based teaching and learning buildings, hospitals and clinics, and community sites. Students search for conducive spaces for study, discussion, and team learning. Small conference rooms are critical to clinical education in the midst of patient care. Availability of an adequate number of examination rooms is essential for clinical learning, given that students and residents typically take longer to examine patients than do board-certified physicians.
물리적 공간과 관련된 LE를 개선하기 위해 설계된 개입에는 종단적 실습 또는 지역사회 배치가 포함된다.9 공간은 또한 시뮬레이션 시설, 해부 실험실, 컴퓨터화된 시험실 등 다양한 교육 자원의 핵심이다. LE의 공간 구성요소는 주로 특정 학습 활동에 관련된 공간의 양과 질에 대한 것이다.
Interventions designed to improve the LE associated with physical space include longitudinal and community placements.9 Space is also key to various educational resources, such as simulation facilities, anatomy labs, and computerized testing rooms. The space component of the LE directs attention to the quantity and quality of spaces relevant to specific learning activities.
가상 공간
Virtual spaces.
물리적 공간 외에도 학습자에게 콘텐츠를 전달하고 상호 작용과 학습을 위한 포럼을 제공하는 전자 학습 환경, 커리큘럼 관리 도구, 디지털 도우미가 모두 물질 차원에 속한다. 그러나 재료 차원에는 환경의 다른 어포던스(예: 전자 건강 기록 시스템에 내장된 적시 학습, 휴대용 장치, 컴퓨터 네트워크)도 포함된다.
In addition to physical space, the electronic learning environments, curriculum management tools, and digital assistants that deliver content to learners and provide forums for interaction and learning are all part of the material dimension. However, the material dimension also includes other affordances in the environment (e.g., just-in-time learning built into electronic health record systems, handheld devices, computer networks).
사회 물질성 이론과 일치하여 물질적 차원은 두 차원이 불가분의 상호작용을 할 수 없는 심리사회적 차원과 "실천에서 얽히게entangled in practice"된다.18,19 예를 들어 EHR은 가상공간에 존재하는 LE이지만, 이러한 환경은 일반적으로 학습자마다, 팀마다, 기관마다 다르게 정의되고 경험된다.
In alignment with sociomateriality theory, the material dimension is “entangled in practice” with the psychosocial dimension such that the two dimensions inextricably interact.18,19 For example, the electronic health record is a virtual LE, but this environment is typically defined and experienced differently for the individual learner, the medical team, and the institution overall.
물리적 공간을 개선하고 온라인 강좌를 설계하는 데 전념하는 자원에도 불구하고, 문헌에서 물질 차원의 영향에 대한 연구는 충분하지 않으며, LE에 관련해서도 그렇다. 이는 LE의 물질적 차원이 연구자로 하여금 정신사회적 및 물질적 차원의 통합을 연구할 것을 강력히 권고하는 환경심리학, 비즈니스 및 고등교육에서 수행된 연구와 대조된다.18,26
Despite the resources devoted to improving physical spaces and designing online courses, the study of the impact of the material dimension is underrepresented in the literature25 and notably so in the study of the LE.9 This contrasts with studies undertaken in environmental psychology, business, and higher education where the material dimension of the LE has led researchers to strongly recommend studying the integration of the psychosocial and material dimensions.18,26
개념틀 적용
Applying the Conceptual Framework
지역사회 병원 실습
Community placements
서호주의 시골임상학교는 1학년 의대생을 10개의 다른 시골과 외딴 곳에 3-10명의 회원으로 구성된 세로 통합 사무소에 배치한다.27
The Rural Clinical School of Western Australia places first-year medical students in longitudinal integrated clerkships, in groups of 3 to 10 members, in 10 different rural and remote sites.27
소규모 사이트와 대규모 사이트 간에는 결과 차이가 없었다. 중간기간의 인터뷰는 학생들의 인식 면에서 DREEM 설문지의 조사 결과와 상당히 관련이 있는 것으로 나타났다. 소규모 사이트의 학생들은 더 큰 사이트의 학생들보다 그들의 교육 경험에 더 만족했다. 연말 성적과 학습자 만족도는 사이트 규모 간에 차이가 없었다.
There were no differences in results between smaller sites and larger sites. Midyear interviews were shown to correlate significantly with the findings from the DREEM questionnaire in terms of student perceptions. Students at small sites were more satisfied with their educational experience than those at the larger sites. End-of-year grades and learner satisfaction showed no differences among site sizes.
동료학습공동체와 웰빙
Peer learning community and well-being
한 국제 연구는 LE에 대한 호의적인 학생 인식과 삶의 질, 고갈, 공감에 대한 학생 보고서 사이의 관계를 조사했다.29 그들의 발견은 긍정적인 LE 인식이 웰빙과 밀접하게 연관되어 있고 동료 커뮤니티를 육성하는 것이 삶의 질을 향상시키고 고갈을 줄일 수 있다는 것을 보여주었다. 그러나 LE에 대한 인식과 공감은 밀접한 상관관계가 없었다.
An international study examined the relationship between favorable student perceptions of the LE and student reports on quality of life, burnout, and empathy.29 Their findings indicated that positive LE perceptions were closely associated with well-being and that fostering peer community may enhance quality of life and reduce burnout. However, perceptions of the LE and empathy were not closely correlated.
LE의 문제진단 예시
Diagnosing a problem in the LE
예를 들어, 의과대학은 3학년 학생들의 경험에 대한 일상적인 감시를 통해 전반적인 학생 스트레스가 갑자기 증가한다는 것을 발견할 수 있다.
For example, a medical school might discover through its routine surveillance of third-year student perceptions of their experiences that there is a sudden increase in overall student stress.
우선 심리사회적 차원의 개인적 요소를 고려하면, 행정부는 이러한 갑작스런 스트레스의 증가에 기여하는 개인의 특성을 고려할 수 있다. 스트레스가 소수의 학습자에게만 국한된 경우, 공유 속성(예: 대학 1세대, 의학에서 잘 표현되지 않음, 경제적 지위, 회복력)이 있을 수 있다. 만약 스트레스가 광범위하게 분포되어 있다면, 개인의 특성은 덜 가능성이 있어 보일 것이다.
Considering first the personal component of the psychosocial dimension, the administration might consider individual characteristics that are contributing to this sudden rise in stress. If the stress is limited to a small number of learners, there may be a shared attribute (e.g., first generation in college, underrepresented in medicine, economic status, resilience). If the stress was broadly distributed, individual characteristics would seem less likely.
심리사회적 차원의 사회적 또는 대인관계적 요소는 스트레스를 유발하는 역학 또는 사건의 발생원이 될 가능성이 있다. 학습자들 사이에 스트레스가 널리 퍼지면 사회적 요소가 일을 할 가능성이 더 높다. 이 경우에 고려해야 할 사회적 원인은 갑작스런 경쟁의 증가, 수업의 부분들 간의 갈등, 교직원과 학생들 간의 건강하지 못한 상호작용, 또는 학생 괴롭힘과 학대에 대한 널리 공유된 인식일 수 있다. 갑작스런 스트레스의 시작은 이러한 잠재적인 원인들 중 일부를 더 가능성 있게 만들 것이다.
The social or interpersonal component of the psychosocial dimension would be a likely source of stress-inducing dynamics or events. The social component is more likely to be at work if the stress is widely disseminated among learners. Social causes to consider in this case might be a sudden increase in competition, conflicts among segments of the class, unhealthy interactions between faculty and students, or broadly shared perceptions of student harassment and mistreatment. The sudden onset of stress would make some of these potential causes more likely.
조직적 요소나 제도적 요소도 기여자가 될 수 있다. 원 소속 기관에서 떨어진 기관에서의 필수 로테이션, 교직원과 행정 사이의 갈등, 병원의 합병과 확장, 또는 새로운 리더십에 따라 교육과정 변화는 모두 환경이 위협적이거나 불확실한 톤을 취한다면 학생들의 스트레스에 영향을 미칠 수 있는 기관 수준의 사건들이다.
The organizational or institutional component may also be a contributor. Curriculum changes with required rotations away from home, strife between faculty and administration, mergers and expansions of hospitals, or new leadership are all institutional events that can trickle down to affect student stress if the environment takes on a threatening or uncertain tone.
물질 차원에서도, 연구와 사회적 상호작용을 위한 공식적으로 접근 가능한 공간이 오프라인으로 전환되거나 건설이 접근과 수용량을 방해하는 경우(예: 도서관 시간 및 강의실 접속이 축소되는 경우) 물리적 공간은 스트레스에 기여할 수 있다. 마찬가지로 가상 인프라는 LE에서 스트레스를 유발할 수 있다.
On the material dimension, physical spaces may also contribute to the stress, if formally accessible spaces for study and social interaction are taken offline or construction interferes with access and capacity (e.g., library hours and classroom access curtailed). Similarly, virtual infrastructure can trigger stress in the LE.
이 예는 또한 작업 환경work environment과 LE 사이의 상호작용을 강조한다. 보건직업교육은 실생활에서의 학습과 밀접하게 연관되어 있기 때문에, workplace의 특성과 역학관계도 LE의 일부가 된다. 본 연구의 모델에서도 작업 환경의 영향을 연과지을 수 있다.
개인 수준 요소의 경우, 작업 환경은 성능, 역량 및 실패의 결과에 대한 개인의 불안으로 인해 발생하는 스트레스를 강조할 수 있다.
작업 환경은 또한 연습과 학습을 위한 대인관계의 내용, 형식 및 속도에 큰 영향을 미치기 때문에 LE의 대인관계에 영향을 미친다. 괴롭힘과 학대가 없는 환영하고 포용적인 근무 환경은 긍정적인 LE를 창출한다.
그것은 아마도 조직 차원에서 작업 환경이 LE에 가장 큰 영향을 미치는 것이다. 임상 생산성, 조직 구조, 다른 임상 시스템과의 합병 및 경쟁에 관한 제도적 정책 및 많은 다른 측면은 모두 학습이 이루어지는 환경에 기여한다. 이것은 의사 소진이 자주 발생하는 곳으로, LE의 사회적 상호작용에 직접적인 영향을 미친다.
마찬가지로 작업 환경은 실습과 학습을 위한 물리적 공간 내에서, 학습자가 숙지하고 사용해야 하는 가상 공간과 시스템(예: 전자 의료 기록 시스템) 내에서 발생한다.
This example also highlights the interaction between the work environment and the LE. Health professions education is tightly tied to learning in practice, so the characteristics and dynamics of the workplace also become part of the LE. The influence of the work environment can be considered within each of the components of our model.
For the personal component, the work environment may accentuate stress created by individual anxiety about performance, competence, and the consequences of failure.
The work environment also affects the interpersonal component of the LE because it heavily influences the content, format, and pace of interpersonal interactions, both for practice and for learning. A welcoming and inclusive work environment, free of harassment and abuse, creates a positive LE.
It is, perhaps, at the level of the organization that the work environment has its greatest impact on the LE. Institutional policies on clinical productivity, organizational structure, mergers and competition with other clinical systems, and many other facets all contribute to the environment in which learning takes place. This is where physician burnout often occurs, which has a direct impact on the social interactions of the LE.
Similarly, the work environment takes place within the physical spaces for practice and learning and the virtual spaces and systems (e.g., electronic medical record system) that the learners must master and use.
마무리
Concluding Observations
우리의 정신 사회/물질적 프레임워크는 몇 가지 장점을 가지고 있다. LE의 사회적 측면과 물리적 측면을 통합함으로써 다른 개념적 프레임워크보다 더 포괄적이다. 그것은 사회적 상호작용이 ([심리사회적 차원]과 [특정 LE의 구성요소들 사이의 복잡한 상호작용을 생각하는 비계scaffold]를 따라) 다층적 수준(개인, 사회, 조직)에서 일어난다는 것을 인식한다.
our psychosocial/materiality framework has several strengths. By incorporating the social and the physical aspects of the LE, it is more inclusive than other conceptual frameworks. It recognizes that social interactions take place at multiple levels (personal, social, organizational) along the psychosocial dimension and scaffolds thinking about complex interactions among the components of any given LE.
우리의 개념적 틀은 자연스럽게 많은 권고사항으로 이어진다.
첫째, 학술 저널은 저자가 LE를 정의하지 않은 경우 또는 저자가 자신들의 개념적 프레임워크와 구체적인 LE를 고려하지 않은 경우 논문을 발행해서는 안 된다.
둘째, 연구자들은 LE의 전체 차원성을 정확하게 평가하기 위해 심리사회적, 물질적 차원를 반영하는 평가 방법을 개발할 필요가 있다.
셋째, 연구자들은 LE에 대한 [학습자 인식]마나 사용하는 현실을 넘어서야 한다. 대신 물리적 공간과 가상 공간을 평가하는 것은 물론 사회적, 조직적 차원에서 대책을 개발할 필요가 있다.
넷째, 교육자들은 이 구조의 중요성을 인식해야 하며, 교육 혁신을 제안하고 시험하기 위해 문헌에 기반할 필요가 있다.
Our conceptual framework naturally leads to a number of recommendations.
First, academic journals should not publish articles on the LE without the authors having defined the LE, describing their conceptual framework and specific LE(s) under discussion.
Second, researchers need to develop assessment methods that reflect the psychosocial and material dimensions to accurately assess the full dimensionality of LEs.
Third, researchers need to move beyond the sole use of learner perceptions of the LE. Instead, they need to develop measures at the social and organizational level, as well as assess physical and virtual spaces.
Fourth, educators need to recognize the importance of this construct and use the literature to propose and test educational innovations.
9 Gruppen L, Irby DM, Durning S, Maggio L. Interventions designed to improve the learning environment in the health professions: A scoping review. https:// www.mededpublish.org/manuscripts/1944. Published 2018. Accessed March 4, 2019.
29 Tackett S, Wright S, Lubin R, Li J, Pan H. International study of medical school learning environments and their relationship with student well-being and empathy. Med Educ. 2017;51:280–289.
,94 (7), 969-974
Conceptualizing Learning Environments in the Health Professions
1L.D. Gruppen is professor, Department of Learning Health Sciences, University of Michigan Medical School, Ann Arbor, Michigan; ORCID: http://orcid.org/0000-0002-2107-012. D.M. Irby is professor emeritus, Department of Medicine, University of California, San Francisco, San Francisco, California. S.J. Durning is professor, Department of Medicine, and director, Graduate Programs in Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, Maryland. L.A. Maggio is associate professor, Department of Medicine, and associate director, Graduate Programs in Health Professions Education, Uniformed Services University of the Health Sciences, Bethesda, Maryland; ORCID: http://orcid.org/0000-0002-2997-6133.
The learning environment (LE) is an important and frequently discussed topic in the health professions education literature. However, there is considerable inconsistency in how the LE is defined and described. The authors propose a definition of the LE and a conceptual framework to facilitate health professions educators in understanding, studying, and designing interventions to improve the LE. To arrive at this conceptual framework, the authors employed a living systems perspective that draws on various frameworks and theories, including ecological psychology, workplace learning, situated cognition, and sociomateriality theory. The conceptual framework identifies five overlapping and interactive core components that form two dimensions: the psychosocial dimension and material dimension. The psychosocial dimension comprises three components: the personal, social, and organizational. Intertwined with the psychosocial dimension at each level is the material dimension, which encompasses physical and virtual spaces. This theoretical lens can facilitate identifying and analyzing problems in the LE and guide development of interventions to mitigate them. The authors conclude with several practical suggestions for health professions educators, investigators, and editors.
평가에 의해서 가려진 것: 내과 WBA에서 증례발표에 대한 학습자와 교수자의 관점(Acad Med, 2019)
Overshadowed by Assessment: Understanding Trainee and Supervisor Perspectives on the Oral Case Presentation in Internal Medicine Workplace-Based Assessment
Lindsay Melvin, MD, MHPE, James Rassos, MD, Daniel Panisko, MD, MPH, Erik Driessen, PhD, Kulamakan M. Kulasegaram, PhD, and Ayelet Kuper, MD, DPhil
구두증례발표(OCP)는 의사들 간의 의사소통에 필수적인 역할을 한다.1 33 의대생들은 환자의 사례를 제시하는 기술을 일찍 배워 여러 해에 걸쳐 익힌다.4 OCP는 임상 지식의 향상, 환자 커뮤니케이션, 데이터 수집, 해석 및 구두 프레젠테이션을 포함한 많은 기술을 통합하도록 훈련자에게 요구한다.4,5 나아가 OCPs는 연수생과 감독관 간 밀접한 전문적 접촉의 순간을 허용한다.
The oral case presentation (OCP) plays an essential role in communication between physicians.1–3 Medical students learn the skill of presenting a patient’s case early and hone it over many years.4 OCPs require trainees to integrate many skill sets, including the refinement of clinical knowledge, patient communication, data gathering, interpretation, and verbal presentation.4,5 Further, OCPs allow moments of close professional contact between trainees and supervisors.
그러나, 훈련 프로그램에서 OCP는 공식적인 평가로서 표준화되어있지 않다. OCP의 의료 교육 및 특히 IM 훈련에서 잘 확립된 역할에도 불구하고, 감독관이 전체론적 연습생 평가에 OCP를 어떻게 통합하는지, 연습생이 의학교육에서 OCP를 어떻게 인지하는지에 대한 이해는 여전히 부족하다.
However, OCPs are not standardized as formal assessment in training programs. Despite the OCP’s well-entrenched role in medical education and specifically in IM training, there remains a paucity of understanding around how supervisors integrate OCPs in holistic trainee assessment or how trainees perceive the OCP in their medical education.
우리가 아는 바로는, 지금까지 이 분야의 연구는 OCP의 내용, 형태 또는 스타일의 정량화에 초점을 맞추었다. 이전 연구에서 OCP가 연습생 평가에 기여한다는 것이 광범위하게 드러났지만, 8개의 OCP 평가에 대한 최근 연구는 주로 개별 OCP의 내용 및 프레젠테이션 스타일의 체크리스트 평가 형식을 가정했으며, 임상적 추론은 거의 다루지 않았다.5,9–13
To our knowledge, research in this domain to date has focused on quantification of content, form, or style of an OCP. Although previous studies have shown broadly that an OCP contributes to a trainee’s evaluation,8 recent work on evaluation of OCPs has predominantly assumed the form of checklist assessments of content and presentation style of individual OCPs, with few addressing clinical reasoning.5,9–13
의대생들은 OCP를 데이터 수집 및 공유에 있어 structured exercise으로 보는 반면, 임상의사들은 OCP를 flexible narrative로 본다.4 링가드와 하버14는 또한 감독 임상의가 OCP의 "관련성relevance" 개념에 중요시한다는 점을 상세히 설명했다. "관련성"은 (임상적으로나 수사적으로나) 맥락에 따라 달라지며, 연수생이 OCP에서 유연해야 할 필요성을 강조한다.
Medical students have been described as viewing OCPs as a structured exercise in data gathering and sharing, whereas attending clinicians view OCPs as a flexible narrative.4 Lingard and Haber14 have also elaborated on the importance that supervising clinicians place on the concept of “relevance” in the OCP. “Relevance” is clinically and rhetorically context dependent, highlighting the need for trainees to be flexible in their OCPs.
역량 기반 의료 교육(CBME) 프레임워크에서는 WBA가 핵심적이다. CBME는 authentic formative 평가를 위해 Workplace-based 활동을 이해하고 최적화하는 교육자의 관심을 새롭게 했다.
In a competency-based medical education (CBME) framework, workplace-based assessment is pivotal. CBME has renewed educators’ interest in understanding and optimizing workplace-based activities for authentic formative assessment.
OCP는 즉각적으로 관찰가능한 활동이며, 내재된 교육적 잠재력을 가지고 있다.16 OCP에 대한 훈련자 및 감독자의 OCP 경험은, 특히 평가와 관해서는 동일한 퍼즐의 두 조각을 나타낸다. CBME 교육 모델의 구성요소로 OCP를 공식화하려면 연습생 교육 및 평가에 OCP가 어떻게 사용되는지 명확히 이해해야 한다.
The OCP is an immediately observable activity, ripe with inherent educational potential.16 Trainee and supervisor experiences with OCPs, particularly in assessment, represent two pieces of the same puzzle. Formalization of the OCP as a component of CBME training models6,17 necessitates that we clearly understand how OCPs are used in trainee education and assessment.
방법
Method
내과의 임상 감독자에 의한 전공의 교육 및 평가에서 OCP의 역할을 탐구하기 위해 구성주의자 기반 이론 접근법을 사용했다. 구성주의 기반 이론에서, 지식은 특정 환경과 맥락 안에서 참여자의 경험에 대한 연구자의 탐구를 통해 형성된다. 참가자와 연구자의 경험과 견해는 모두 사회 활동을 둘러싼 의미 구축에 영향을 미친다. 우리 연구팀은 이 연구에 다양한 임상 및 교육적 전문지식을 가져왔다.
We used a constructivist grounded theory approach to explore the role of the oral OCP in trainee education and assessment by clinical supervisors within IM. In constructivist grounded theory, knowledge is constructed through the researcher’s exploration of participants’ experiences within specific settings and contexts.18,19 Both participants’ and researchers’ experiences and views affect the construction of meaning around a social activity.18 Our research team brought varying expertise in clinical and educational work to this study.
세팅
Setting
토론토 대학의 일반 IM 임상 강의실에서, OCP는 하룻밤 사이에 입원한 환자들의 아침 식사 중에 발생한다. OCP의 수는 매일 평균 1-4건이다. 케이스는 보통 후배 연수생(의대생 또는 1학년 레지던트)이 감독관에게 직접 발표한다. 본 연구에서 "훈련자"는 3학년 또는 4학년 의대생과 IM 레지던트를 가리킨다. 본 수련 프로그램에서, 개별 OCP는 공식적으로 평가되지 않는다. 레지던트와 학생을 위한 최종 ITER은 전체 로테이션에 대해서 평가하며, OCP의 요소들은 "의료 전문가" 및 "커뮤니케이터" 카테고리에 포함되어있고, 이를 바탕으로 CanMEDS 영역에서 1에서 5점까지의 등급으로 평가한다.
At the University of Toronto on a general IM clinical teaching unit, OCPs occur during the morning intake of patients admitted overnight on call. The number of OCPs averages between one and four cases daily. Cases are usually presented by junior trainees (medical students or first-year residents) directly to supervisors. In this study, “trainees” refers to clinically based third-or fourth-year medical students and residents in IM. In our training programs, individual OCPs are not formally evaluated. Final in-training evaluation reports for residents and students reflect the entire rotation and employ a 1–5 rating scale across the CanMEDS domains of practice, with elements of OCPs encompassed under the “medical expert” and “communicator” categories.
샘플
Sample
참가자의 샘플링에 대한 이론적 전략을 따랐으며, 이에 따라 데이터 수집과 분석은 후속 데이터 수집에 정보를 제공하였다.19,20
We followed a theoretical strategy for participant sampling, whereby data collection and analyses informed subsequent data collection.19,20
우리는 연령, 성별 및 연도에 따라 다양한 참가자를 선별하기 위해 목표 샘플링을 사용했으며, 이는 우리의 연구 질문에 대한 이해를 증진시키고 상세히 설명할 수 있다.
We used purposive sampling to select participants varied in age, gender, and years of experience who would be able to enrich and elaborate on our developing understanding of our research questions.19,20
모집
Recruitment
자료수집
Data collection
자료 수집과 분석은 반복적이었으며, 근거 이론에 부합한다.
Data collection and analysis was iterative, consistent with grounded theory.20
면접자는 스터디 팀이 작성하고 다듬은 반구조화된 인터뷰 가이드(http://links.lww.com/ACADMED/A599 참조)를 사용했으며 연습생 학습, 평가 및 평가에서 OCP 사용에 관한 개방형 질문 및 잘 했거나 잘 못했던 OCP의 구체적 특징을 묻는 질문으로 구성되었다. 우리는 발생하는 주제와 개념을 탐구하기 위해 인터뷰 가이드를 반복적으로 수정했다. 분석하기 전에 모든 데이터가 deidentified되었다.
Interviewers used a semistructured interview guide created and refined by the study team (see Supplemental Digital Appendixes 1 and 2, available at http://links.lww.com/ACADMED/A599) and consisting of open-ended questions regarding the use of the OCP in trainee learning, evaluation, and assessment as well as questions about specific features of strong and weak OCPs. We iteratively revised the interview guides to explore arising themes and concepts.19 Interviews were audio-recorded and transcribed verbatim. All data were deidentified prior to analysis.
자료분석
Data analysis
우리는 반복적이고 지속적인 비교 방식으로 구성주의적 근거 이론적 접근법을 사용하여 모든 기록을 분석하였다.19,21,22 이론적 샘플링은 데이터 분석과 함께 반복적으로 지속되어 새롭게 부상하는 프레임워크의 차이를 해결하고 코드의 전체 범위의 의미에 대한 이해를 공고히 하였다.19,21–23 분석이 이루어지는 동안, 우리는 데이터 세트를 결합하고 비교하기 전에, 각 참가자를 별도로 그룹화하였다.
We analyzed all transcripts using a constructivist grounded theory approach, in an iterative, constant comparative fashion.19,21,22 Theoretical sampling continued iteratively alongside data analysis to address gaps in the emerging framework and solidify understanding of the full range of meaning of the codes.19,21–23 During analysis, we considered each participant group separately before combining and comparing the data sets for further analysis.
두 명의 면접관(L.M.과 J.R)은 초기 코드를 개발하기 위해 라인 바이 라인 코딩을 실시했다. 그리고 나서 우리는 각 세트의 첫 세 번의 인터뷰 후에 새롭게 등장하는 코드와 개념에 대해 토론하기 위해 만났다. 우리는 새로운 코드가 나타나지 않을 때까지 계속하여 코드의 예를 확인하고 확인하지 않기 위해 반복 코딩에 대한 지속적인 비교 접근방식을 사용했다. 우리는 코딩 구조를 다듬고, 테마 간의 관계를 탐구하고, 전체 데이터 세트에 근거한 분석의 측면에 도전하고, 이론적 모델을 다듬기 위해 여러 번 만났다.22 연구팀의 각 구성원은 분석에 다양한 연구와 교육적 전문지식을 가져왔다. 그 후, 몇몇 작가(K.M.K., D.P., A.K)는 각각 코드화되지 않은 대본을 읽어 부호화 구조와 이론적 모델을 검증하였다. 이론적 포화 상태가 달성될 때까지 데이터 수집이 계속되었으며, 새로운 테마가 발생하지 않았고 데이터가 교육 실무에서 OCP의 사용을 충분히 이해할 수 있다고 그룹 합의에 의해 결정되었다.23,24
The two interviewers (L.M. and J.R.) conducted line-by-line coding to develop initial codes. We then met to discuss emerging codes and concepts after the first three interviews of each set. We used a constant comparative approach to iterative coding in which transcripts were read multiple times to ascertain confirming and disconfirming examples of codes, continuing until no new codes emerged. We met several times to refine the coding structure, explore relationships among themes, challenge aspects of the analysis based on the full data set, and refine a theoretical model.22 Each member of the research team brought varied research and educational expertise to the analysis. Subsequently, several authors (K.M.K., D.P., and A.K.) each read uncoded transcripts to verify the coding structure and theoretical model. Data collection continued until theoretical saturation was achieved, determined by group consensus that no new themes were arising and the data were sufficient to understand the use of OCPs in educational practice.23,24
우리는 연구 주제와 해석에 대한 잠재적 영향과 관련하여 우리 개개인의 입장을 반영할 수 있도록 주의를 기울였다. 이러한 입장은 연구팀 회의에서 논의되었다. 연구에 참여하지 않은 임상의와 교육 전문가와의 구성원 확인은 우리의 연구 결과를 확인하는 데 사용되었다.
We took care to be reflexive about our individual positions in relation to the research subject and potential effects on interpretation. These stances were discussed at research team meetings. Member checking with clinicians and educational experts who had not participated in the study was used to confirm the resonance of our findings.
결과
Results
모든 인터뷰 대상자는 IM에서 OCP의 필수 요소에 대한 공유된 정신 모델shared mental model을 보여주었다. OCP 내용 및 프레임워크의 세부사항을 둘러싸고 감독자와 연습생들 사이에 긴장감은 없었다.
All interviewees demonstrated a shared mental model of the required elements of OCPs in IM. There was no tension between supervisors and trainees around the details of OCP content and framework.
역량 평가를 위한 OCP
The OCP in assessment of competence
가장 중요한 발견은 [환자 진료를 위한 정보 공유]라는OCP의 명백한 목적이 [임상 역량을 평가하고자 OCP를 암묵적으로 사용]하게 되면 가려진다overshadowed는 것이다. OCP는 trainee가 자신의 역량을시연하는 활동이자, 감독자가 trainee의 역량을 평가하는 활동이다. OCP는 [적절한 환자 진료를 보장하기 위한 것]과 [의료 교육 내의 성과 평가]라는 두 가지 차원에서 동시에 이뤄진다. 데이터 분석은 WBA에서 감독자와 연습생 모두 OCP를 어떻게 인지했는지를 설명하는 이론적 프레임워크를 개발했다(그림 1 참조).
The overarching finding was that the explicit purpose of an oral OCP in information sharing for patient care appeared to be overshadowed by the implicit use of OCPs in assessment of clinical competence and educational standing. The OCP is an activity centered around trainee demonstration, and supervisor assessment, of competence. OCPs are assessed concurrently on two levels: for ensuring appropriate patient care and as a performance assessment within medical education. Data analysis resulted in the development of a theoretical framework addressing how OCPs were perceived by both supervisors and trainees in workplace-based assessment (see Figure 1).
환자에 대한 공통 이해 개발
Developing a shared understanding of the patient
겉보기에 OCP의 주된 목적은 환자 치료에 필요한 정보를 전달하는 것이다. 훈련생과 감독관 모두 이와 관련하여 일반적으로 OCP의 중요성을 언급하면서, OCP의 성공이 환자와 환자의 문제를 명확히 이해하게 된다고 설명했다.
Ostensibly, the primary purpose of an OCP is communicating necessary information required for patient care. Trainees and supervisors alike spoke of the importance of OCPs generically in this regard, explaining that a successful OCP results in a clear understanding of the patient and the patient’s problems:
감독자는 이해하고 싶어한다
Supervisors seek understanding
감독관들은 환자를 이해하기 위한 수단으로 OCP에 접근했고, 이를 통해 훈련생을 평가했다.
Supervisors approached the OCP as a means to understand the patient and, through their ability to do so, subsequently assess the trainee.
서사
Narrative
환자 프레젠테이션에 대한 이해를 증진하는 과정에서, 감독자들은 환자에 대한 understanding의 발전과정에 대해서 유연성을 허용했다. [서사로서 증례 프레젠테이션]의 개념이이 이러한 shared understanding을 구성하는 본질이었다. 서사의 명확성이 부족하면 trainee의 OCP가 부적절함을 의미할 수 있다.
In building understanding of a patient presentation, supervisors allowed for flexibility around how comprehension is developed. Inherent to constructing this shared understanding was the concept of the case presentation as a narrative. Lack of clarity in a narrative could signify an inadequate OCP by the trainee:
정보 통합 및 관련성 이해
Information synthesis and understanding relevance
성공적인 OCP의 가장 중요한 것은 적절한 정보 통합과 필터링 능력이었다. 효과적인 OCP는 "관련성"을 어떻게 이해하느냐에 달려있다.
Crucial to a successful OCP was the ability of a trainee to show adequate information synthesis and filtering. An effective OCP hinges on the understanding of “relevance,”
감독자들은 OCP에서의 임상 추론의 정교함이란, 관련성을 종합하고 이해함으로써 입증할 수 있으며, 훈련생들의 능력을 설명했다고 말했다. (감독자와 연습생 모두) trainee가 이것을 잘 하지 못한다는 것은 뭔가 어려움을 겪고 있다는 신호라고 말했다.
Supervisors described that the sophistication of clinical reasoning in an OCP, demonstrated through synthesis and understanding relevance, delineated trainees’ abilities. Both supervisors and trainees described that failings in these features, may signal a learner in difficulty.
불확실성 관리
Managing uncertainty
감독자들은 임상적 불확실성이 종종 발생한다는 것을 인지했다. 감독관들은 자신의 한계에 대한 이해를 표현하는 훈련생들을 칭찬하였으며, trainee들이 어떻게 임상적 불확실성을 식별하고 관리하는지를 보여주었다.
Supervisors recognized that clinical uncertainty often arises. Supervisors lauded trainees who express an understanding of their limitations, demonstrating how they identify and manage clinical uncertainty.
전공의는 통제하고 싶어한다
Trainees seeking control
훈련생들은 감독관이 [환자 관리]와 [수련생 평가] 모두에서 OCP를 사용한다는 사실을 알고 있었다. 따라서, 훈련생에게 OCP는 자신이 develop한 환자에 대한 공통이해를 통제하기 위한 과정으로 보았다. 조심스러운 performance은 감독자의 암묵적 선호에 따라 조정되었고, 밤을 새워 선배 전공의를 거치며 다듬어졌다. 예를 들어, 연습생들은 information synthesis를 [감독관에게 자신의 능력을 증명하기 위한 방법]으로 프레이밍했다.
Trainees were cognizant of the fact that supervisors use OCPs in both patient care and assessment. Thus, trainees viewed the OCP as an exercise in controlling the shared understanding of a patient that is developed. The careful performance was adapted to oft-implicit supervisor preferences and polished by senior residents overnight. For example, trainees often framed information synthesis as a way to demonstrate their ability to the supervisor:
평가에 참여하여 연습생들은 [감독관이 그들의 환자관리 결정에 동의할 수 있도록], OCP에서 의도적으로 이야기를 구성하고자 하는 욕구를 나타냈다. 훈련생들은 종종 OCP를 "논쟁" 또는 "이야기 판매"라고 묘사한다.
Attuned to assessment, trainees expressed a desire to purposefully construct the OCP’s narrative such that the supervisor would agree with their management decisions, or “buy into (the) plan” (R2-11). Trainees often described OCPs as an “argument” (R3-12), or of “selling a story” (R2-11)
불확실성 회피
Avoiding uncertainty
통제에 대한 열망에 걸맞게, trainee는 불확실성의 표현을 가치있게 여기지 않았다. 감독관들의 인식과는 달리, 연습생들은 불확실성을 (강점보다는) 약점으로 비유했다. 훈련자는 표시된 불확실성 수준을 최소화하기 위해 OCP를 제어하는 것에 대해 말했다.
Fitting with the desire for control, the expression of uncertainty was not valued by trainees. In contrast to the perceptions of supervisors, trainees equated uncertainty to weakness rather than strength. Trainees spoke of controlling the OCP to minimize the level of uncertainty displayed:
The OCP as a performance
연습생 면담에서는 [(학습보다) 평가에서 OCP의 활용]에 대한 토론이 주를 이뤘다. OCP의 평가 역할에 대한 훈련자의 의식은 다음과 같은 만남에서 강한 성과 추론을 초래했다.
trainee interviews were dominated by discussions of OCPs’ use in assessment, rather than learning. Trainees’ consciousness of the OCP’s role in assessment resulted in a strong overtone of performance in the encounter:
버퍼로서 선배 전공의
Senior resident as buffer
선배 전공의는 [경험과 감독자 선호에 대한 사전 지식]을 통해 후배들이 이 performance을 무사히 navigate할 수 있도록 돕는 데 중추적인 역할을 한다고 묘사되었다. 하룻밤 사이에 선배 레지던트와 함께 한 첫 OCP는 일종의 리허설이었고, 선배들은 감독관과의 아침 프레젠테이션 전에 후배들의 OCP를 다듬어주었을 것이다.
Senior residents were described as being pivotal in helping juniors navigate this performance through experience and prior knowledge of supervisor preferences. The first OCP with the senior resident overnight was often used as a practice run, and seniors may have polished the juniors’ OCP prior to the morning presentation with the supervisor:
연습생과 감독자 모두, OCP를 심사숙고해서 구성하기 때문에, 평가에서 과대평가될 수 있으며, 이 경우 아마도 진짜 능력을 잘못 나타내는 것일 수 있다는 사실을 인식했다.
Both trainees and supervisors displayed awareness of the fact that carefully constructed OCPs were perhaps a misleading representation of true abilities if the OCP is overvalued in assessment:
슈퍼바이저의 선호에 적응
Adapting to supervisor preferences
OCP가 명백히 평가에 가중치를 갖기 때문에, 연습생들은 어떤 감독관이 종종 암묵적이거나 특이한 성향을 보일 때 좌절감을 언급했다.
Because of the OCP’s apparent weight in assessment, trainees also described frustrations with often-implicit and idiosyncratic supervisor preferences for OCPs:
고찰
Discussion
연수생과 감독관 모두에게, 환자관리 및 의학교육이라는 OCP의 명백한 목적은 synchronous informal assessment activity라는 특성에 의해 가려졌다.
both trainees and supervisors, the explicit purpose of the OCP in IM patient care and medical education was overshadowed by the synchronous informal assessment activity.
임상 감독관들은 OCP를 사용하여 서술적 사용, 정보 합성, 불확실성 탐색과 같은 연습생 데모 기술을 통해 환자에 대한 이해를 형성했다. 결과적으로, 훈련생들은 선배 전공의에 의해 다듬어진, [각 감독관의 개별 선호도에 맞춘 퍼포먼스]로서 OCP를 통제하려고 했다. (훈련생과 슈퍼바이저는) OCP의 핵심 요소들의 정신 모델을 공유함에도 불구하고, OCP에 대한 기대가 대체로 암묵적이었기에 긴장이 고조되었다.
Clinical supervisors used OCPs to form an understanding of the patient through trainee-demonstrated skills such as using narratives, information synthesis, and the navigation of uncertainty. Consequently, trainees sought to control the OCP, viewing it as a performance tailored to each supervisor’s individual preferences, refined by senior residents. Tensions arose due to the largely implicit expectations of the activity, despite the shared mental model of the core elements of an OCP.
효과적인 OCP는 여러 영역에서 역량을 입증하는 것을 나타내며 교육 발전의 창을 제공한다. OCP에서 지식 통합과 합성이 무엇보다 중요하다는 사실은 [OCP에서 내용만을 평가하는 것이 아니라는 것]을 입증하는 다른 연구와도 부합한다.8,11,13,25 "관련성"의 이해를 통해 임상적 추론을 입증하는 것은 성공적인 OCP에 매우 중요하다. 그러나 '관련성'은 환자, 컨텍스트 및 감독자 선호도에 따라 달라지는 것이다
An effective OCP represents the demonstration of competence in multiple domains and offers a window into educational development. The finding that knowledge integration and synthesis is paramount in the OCP is supported by other studies which demonstrate that content alone is not the only evaluated aspect of an OCP.8,11,13,25 Demonstrating clinical reasoning through the understanding of “relevance” is critical to a successful OCP. However, relevance is a shifting target for trainees, depending on the patient, context, and supervisor preferences.14
물밑으로 흐르는 평가의 분위기는 연습생과 감독자 사이의 동태를 변화시킨다. 평가가 있었기에, trainee들은 OCP를 역량을 입증하는 performance로 보았다. 훈련생들은 심사원의 approval을 얻으려고 쇼맨십 멘탈리티를 취했다. 이것은 LaDonna와 동료들의 연구 결과를 보완하는데, 26 더 나아가 OCP는 학습자의 행동에 의도하지 않은 결과를 초래하는 임상적 관행을 관찰하는 형태임을 시사한다. Lo and Regehr의 연구 결과와 비슷하게, 본 연구에서도 연습생들은 OCP에서 이미지 관리에 몰두했다. 그러나, 그들의 연구와는 달리, 훈련의 모든 단계에 걸친 우리의 참여자들은 OCP를 가르치는 것과 배우는 것에 쉽게 연관시키지 않았다. Trainee가 [평가와 성과에 대한 관심]을 주로 갖고 있었기에, OCP의 초점은 풍부한 WBL에서 벗어나게 되었다
The undercurrent of assessment throughout the encounter alters the dynamic between trainee and supervisor. Driven by assessment, the trainees we interviewed viewed the OCP as a performance in demonstrating competence. Trainees assume a showmanship mentality, seeking approval from the assessor. This complements findings from LaDonna and colleagues,26 further suggesting that the OCP is a form of observation of clinical practice with unintended consequences on learner behavior. Similar to the findings of Lo and Regehr,27 trainees from our study were preoccupied with image management during the OCP. However, unlike their study, our participants across all stages of training did not readily associate OCPs with teaching and learning. Trainee concern with assessment and performance diverts the focus of the OCP away from rich workplace-based learning.
이러한 발견은 앞선 연구를 보완하며, 의학교육 내에서 OCP 동안 발생하는 WBA와 WBL 사이의 긴장을 보여준다.4,15,28
These findings elaborate on earlier work, demonstrating further tensions during OCPs between workplace-based assessment and learning within medical education.4,15,28
[불확실성 탐색]에 대한 이질적인 관점도 긴장 상태를 보여준다. 이전의 연구 결과와 일관되게, 훈련생들은 불확실성을 피해야 할 약점이라고 말했다.28 감독관들이 불확실성의 논의를 강점으로 보는 사실은 대부분 훈련생들에게 알려지지 않았다.
The disparate views of navigating uncertainty also exemplify the tension: Trainees spoke of uncertainty as a weakness to be avoided, consistent with previous findings.28 The fact that supervisors view discussions of uncertainty as a strength is largely unbeknownst to trainees.
그러나, 평가를 우선시한 나머지 trainee는 무능해 보일 것을 우려하여 불확실성에 대처하는 능력을 강조했다. 또 다시 이런 방식으로 WBA는 WBL보다 우선한다.
However, overarching assessment deemphasizes to trainees the ability to cope with uncertainty, for fear of seeming incompetent. In this way, assessment supersedes formative workplace learning.
우리의 연구는 OCP가 CBM의 WBA에서 OCP의 잠재적 사용을 정당화하면서 역량을 평가하고 입증하는 수단으로 받아들여진다는 것을 증명한다.
our study demonstrates that OCPs are accepted as a means of assessing and demonstrating competence, legitimizing the potential use of OCPs in CBME workplace-based assessment.
또한 이번 연구에서는 선배 레지던트들이 의학교육 apprenticeship을 통하여 영향력을 행사하는 것을 밝혀냈다. 선임 레지던트들은 OCP의 학습을 형성하고, 감독관들에게 최종 OCP를 위한 후배들을 지도하고 준비하는데 필수적이다. 이전의 문헌은 실무에서의 코칭과 평가의 분리를 요구해 왔다.32,33 이 연구를 통해 우리는 선배 레지던트들이 중요한 sideline 코치라는 것을 알 수 있다. 이것의 요소들은 이미 실제에 있는 것으로 보인다.34
Our findings also shed light on the influential role of senior residents as near-peers in medical education apprenticeship. Senior residents are essential in shaping learning of and from OCPs, guiding and preparing juniors for the final OCP to supervisors. Previous literature has called for the separation of coaching and assessment in practice.32,33 Through this study, we see that senior residents are crucial sideline coaches. it appears that elements of this are already in practice.34
OCP에서 슈퍼바이저의 성향에 대해 훈련생들과 감독관들은 서로 다른 이야기를 했다. 그러한 선호preference는 대개 함축적이며 상황에 매우 의존적이다.4,14 훈련생들은 [외관상 무작위로 보이는 스타일적 차이]가 평가에 영향을 미친다고 생각하여, 이를 두려워하는 것으로 보인다.
Trainees and supervisors spoke of differing supervisor preferences for OCPs. Such preferences are usually implicit and often highly dependent on context.4,14 Trainees appear to dread these seemingly random stylistic discrepancies, as they are perceived to affect assessment.
Apramian과 동료들은 감독관들이 performance가 아니라 사실은 preference를 얼마나 잘 흉내내는지를 평가하고 있는 것이 아닌지 대해 의문을 제기했다. OCP를 평가 활동으로 검토할 때 이와 유사한 질문이 발생한다.35 OCP는 진실한 임상적으로 내재된 활동이지만, 선배 레지던트와 감독자가 선호하는 것을 모방하고 모델링하는 데 집중하게 되면 평가의 타당성을 떨어뜨릴 수 있다.
Apramian and colleagues raised questions of whether supervisors are assessing the mimicry of preference, rather than performance. A similar question arises when examining the OCP as an assessment activity.35 Though the OCP is an authentic, clinically embedded activity, mimicry and modeling of senior residents and supervisor preferences may detract from its assessment validity.
OCP의 결점에도 불구하고, 그것은 잘 알려진 비공식 평가 방법과 훈련생들의 in vivo 역량을 평가하고 감독자들이 능력을 평가하는 수단으로 남아있다.
Despite the OCP’s flaws, it remains a well-recognized method of informal assessment and a means for trainees to demonstrate and for supervisors to assess competence “in vivo.”
CBME에서는 임상적으로나 교육적으로 유의하지 않은 직접 관찰을 사용하는 새로운 형태의 평가를 추가할 위험이 있다. 우리는 authentic한 임상적 맥락 안에 존재하는 WBA를 최적화해야 한다. OCP는 병력청취검사 또는 신체검사 기술에 대한 대리지표가 아니며, 그보다는 임상 추론을 직접 관찰할 수 있는 기회이다: 임상추론은 의학 교육에서 중요한 기술이지만, 여전히 평가 측면에서는 모호한 점이 있다.
In CBME, there is a risk of adding new forms of assessment employing direct observation that are not clinically or educationally meaningful. We must optimize workplace-based assessments that exist within authentic clinical contexts. The OCP is not a surrogate for direct observation of history-taking or physical examination skills, but an opportunity for the direct observation of clinical reasoning: a crucial skill in medical education, yet elusive in evaluation.40–42
OCP는 [환자 관리의 핵심 요소]이자, [연습생 교육 및 평가]를 위한 authentic, clinically embedded encounter의 역할을 한다. 그러나 평가에 집중하면 연습생들이 성과 지향적인 행동에 관심을 갖게 된다.
The OCP serves both as a core element in patient care and an authentic, clinically embedded encounter for trainee education and assessment. However, focus on assessment leads trainee attention toward performance-oriented behaviors.
중요한 것은, 감독자는 OCP의 서사, 통합, 불확실성 관리와 같은 핵심 측면을 연습생에게 다시 강조할 필요가 있다는 점이다. 감독자가 평가의 미묘한 요소를 명시적으로 명확히 한다면, 과제의 formative nature를 활용가능할 것이며, 연습생이 performance와 control에 초점을 두어 행동하는 것을 막아줄 것이다.
Importantly, supervisors can reemphasize for trainees key aspects of the OCP, such as the narrative, synthesis, and managing uncertainty. Faculty development for supervisors to explicitly clarify subtle elements of the assessment would harness the formative nature of the task and redirect trainee behavior away from performance and control.43,44
결론적으로, 우리가 인터뷰한 감독관과 훈련생들 모두 OCP를 평가에서 중요한 역할을 하는 임상 활동으로 보았다.
In conclusion, both the supervisors and trainees we interviewed viewed the OCP as a clinical activity with an important role in assessment.
Limitations
Conclusion
36 ten Cate O, Hart D, Ankel F, et al; International Competency-Based Medical Education Collaborators. Entrustment decision making in clinical training. Acad Med. 2016;91:191–198.
38 Sklar DP. Competencies, milestones, and entrustable professional activities: What they are, what they could be. Acad Med. 2015;90:395–397.
27 Lo L, Regehr G. Medical students’ understanding of directed questioning by their clinical preceptors. Teach Learn Med. 2017;29:5–12.
33 Watling C. The uneasy alliance of assessment and feedback. Perspect Med Educ. 2016;5:262–264.
,94 (2), 244-250
Overshadowed by Assessment: Understanding Trainee and Supervisor Perspectives on the Oral Case Presentation in Internal Medicine Workplace-Based Assessment
1L. Melvin is assistant professor, Department of Medicine, University of Toronto, and staff physician, Division of General Internal Medicine, University Health Network, Toronto, Ontario, Canada. J. Rassos is a fifth-year resident, general internal medicine subspecialty training program, Department of Medicine, University of Toronto, Toronto, Ontario, Canada. D. Panisko is professor, Department of Medicine, University of Toronto, and staff physician, Division of General Internal Medicine, University Health Network, Toronto, Ontario, Canada. E. Driessen is professor of medical education and chair, Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, the Netherlands. K.M. Kulasegaram is scientist and assistant professor, Department of Family and Community Medicine, Wilson Centre, University Health Network and Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada. A. Kuper is associate professor, Department of Medicine, scientist and associate director, Wilson Centre for Research in Education, University Health Network, University of Toronto, and staff physician, Division of General Internal Medicine, Sunnybrook Health Sciences Centre, Toronto, Ontario, Canada.
Purpose:The oral case presentation (OCP) is an essential part of daily clinical practice in internal medicine (IM) and a key competency in medical education. It is not known how supervisors and trainees perceive OCPs in workplace-based learning and assessment.
Method:Using a constructivist grounded theory approach, 26 semistructured interviews were held with trainees and supervisors (18 clinical clerks and first- through third-year postgraduate trainees, and 8 supervisors) on the IM clinical teaching unit at the University of Toronto, 2015-2016. Interviews focused on how the OCP was viewed by both trainees and supervisors in clinical practice as a tool for patient care, learning, and assessment. Iterative, constant comparative techniques were used to analyze the interviews and develop a framework to understand trainee and supervisor perspectives.
Results:Supervisors and trainees viewed the OCP as an important part of informal trainee assessment in IM. Supervisors used OCPs to understand the patient through trainee-demonstrated skills including the use of narratives, information synthesis, and management of uncertainty. However, because of awareness of assessment, trainees sought to control the OCP, viewing it as a performance demonstrating their competence, mediated by senior residents and tailored to supervisor preferences.
Conclusions:Preoccupied with assessment around OCPs, trainees often lost sight of the valuable learning taking place. Use of OCPs in assessment necessitates optimization of the educational activity for trainees. Providing explicit direction to both trainees and supervisors, defining expectations, and clarifying the assessment activity of the OCP can optimize the encounter for best educational practice
Core Clerkship Grading: The Illusion of Objectivity
Karen E. Hauer, MD, PhD, and Catherine R. Lucey, MD
성적은 유치원부터 대학까지 보편적으로 받아들여지고 겉으로 보기에 객관적으로 보이는 성취의 척도다. 고학년 평균은 대학, 졸업생 또는 전문학교에 입학할 수 있는 학생의 능력에 종종 도움이 된다. 그러므로 의과 교육적인 측면에서 레지던트 프로그램이 그들이 그들의 프로그램에 들어가고 싶어하는 졸업 의대생을 선발하기 위해 핵심 임상실습 성적에 의존하도록 발달해온 것은 놀랄 일이 아니다.
Grades are a universally accepted and seemingly objective measure of accomplishment from kindergarten through college. High grade point averages are frequently instrumental to a student’s ability to earn entrance into college, graduate, or professional school. It is therefore not surprising that, in the medical education context, residency programs have developed a reliance on core clerkship grades to select the graduating medical students they would most like to enter their programs.
핵심 임상실습 성적을 사용하는 근거는 (미적분학 과정의 시험 점수의 평균과 마찬가지로) 성적이란 [어떤 학생이 과거에 성취한 것은미래에 유사한 상황에서 유사한 성적을 낼 수 있는 가능성에 대한 척도]라는 것이다. 더욱이 한 학생을 다른 학생과 비교하여 순위를 매기기 위해 성적을 사용하는 것이 공정하고 공평하며 필요한 것이라는 가정이 있다.
The rationale behind the use of core clerkship grades is that they, like the average of test scores in a calculus course, are a measure of a student’s achievement and the likelihood of future similar performance by that student in similar circumstances. Moreover, there is an assumption that it is fair, equitable, and necessary to use grades to rank one student in comparison with another.
의대 2학년 때 핵심 임상실습을 시작하려는 전국적인 경향에도 불구하고, 핵심 임상실습 성적에 대한 이러한 의존은 오늘날에도 여전히 유효하다. 이 말은, 특정 전공분야에서 어떤 학생이 미래 성공할지 여부가 의대 교육이 절반도 지나지 않은 시점에 평가될 수 있다는 것을 의미한다.
This reliance on core clerkship grades remains true today, despite the national trend to begin core clerkships in year two of medical school, meaning that a student’s aptitude for future success in a given specialty may be judged before the halfway point in his or her medical school education.
핵심 임상실습에서 점수의 과녁을 놓치는 이유
How Core Clerkship Grades Miss the Mark
복잡성
Complexity
성적은 많은 교육적 맥락에서 유용하지만, 핵심 임상실습은 미적분학 수업이 아니다. 학생이 숙달할 것으로 예상되는 [역량의 복잡성]과 학생이 귀속되어 학습하게 될 [맥락의 가변성]은 쉽게 성적에 반영되지 않는다.
Although grades are useful in many educational contexts, core clerkships are not calculus classes. The complexity of competencies a student is expected to master and the variability of contexts in which they are expected to learn do not translate readily to grades.
그럼에도 불구하고, 학생과 교수들은 모두 성적으로 환산된 정량적 점수가 복잡한 임상 환경에서 학생들의 수행 정도를 정확하게 측정한다는 객관성의 환상에 굴복한다. 전국의 의과대학은 학생들의 웰빙를 장려하고 학습을 강화하기 위해 교육과정 초기에 합격/불합격 등급을 사용하는 경우가 많지만, 같은 학교에서는 학생을 차별화하기 위해 "명예" "고등 합격" "통과" 등과 같이 총괄적 성적을 부여한다.1
And yet, students and faculty alike succumb to the illusion of objectivity—that quantitative ratings converted to grades convey accurate measures of students’ performance in complex clinical environments. Although medical schools across the country commonly use pass/fail grading early in the curriculum to encourage student well-being and enhance learning, the same schools assign summative clerkship grades of “honors,” “high pass,” and “pass” to differentiate students.1
자료의 오류
Flawed data
게다가, 그 성적을 산출하기 위해 수집된 자료들이 자주 결함이 있다는 충분한 증거가 있다. 학생을 감독하는 교직원과 레지던트는 학생들이 환자에게 임상 기술을 수행하는 상황을 거의 관찰하지 않는다고 보고하면서도, 동시에 병력청취, 신체 검사, 환자 의사소통을 포함한 학생들의 능력을 일상적으로 평가한다.4 아마도 감독자들은 회진 중 구두 발표 기술 등 대리 정보로 이러한 기술을 평가하거나, 학생을 관찰한 다른 사람의 의견을 구할 것이다.
In addition , there is ample evidence that the data collected to support that grade are frequently flawed. Supervising faculty and residents routinely rate students’ skills including history taking, physical examination, and patient communication, although students report rarely being observed performing these clinical skills with patients.4 Presumably, supervisors rate these skills by inferring from proxy information, such as oral presentation skills during rounds, or seek input from others who have observed the student.
문제는 의학교육의 로테이션 모델로 인해서 더 심각해진다. 교수들이 자주 교대함에 따라서 이들에게 감독받는 학생들은 관찰 기반 피드백을 받을 기회가 적어지고, 받은 피드백에 응답할respond 수 있는 능력을 보여주기가 점점 더 어려워지기 때문이다.3,6 교수들은 심지어 학생들을 관찰하고 있는 상황에서조차, 교수마다 관찰 결과를 등급으로 변환하는 방법이나, 성과 기대치를 이해하는 방법은 매우 다양하다. 평가자의 인식에 관한 문헌에 따르면, 교수들이 등급을 매기는rating 복잡한 과정을 지나치게 단순화해서는 안 된다. 왜냐하면 평가자들마다 개별적인 관점과 편견에 영향을 받기 때문이고, 학생들에게 주어진 학생-환자 조우의 특정한 측면에 의해서도 영향을 받기 때문이다.
The rotational model of medical training exacerbates the problem of assessment as students supervised by faculty who rotate frequently are increasingly challenged to find opportunities to receive observation-based feedback and to demonstrate their ability to respond to feedback.3,6 Even when faculty do observe students, the ways that they translate those observations to ratings and understand performance expectations are widely variable. Literature on rater cognition urges caution in oversimplifying the complex processes by which faculty make ratings, which are inherently informed by their individual perspectives and biases as well as the specific aspects of particular student–patient encounters.7
학생들의 성적에 대한 서술형 평가도 한계가 있다. 학습과 개선에 있어 성과에 대한 서술적 피드백은 필수적이지만, 학생들은 임상실습 동안 유용한 서술적 피드백을 거의 받지 못한다고 보고한다. 일반적으로 서술적 정보를 포함하고 있는 총괄 평가에서 [개선을 위한 영역]이 언급되어있으면, 마치 performance가 나빴던 것으로 간주된다. 서술형 코멘트는 슈버파이저들이 직무과정에서 학습한, 하지만 학생들은 모호하고 애매하다고 느끼는 "암호화된" 언어로 가득 차 있다.8
Narrative evaluations of student performance suffer shortcomings as well. Although narrative feedback on performance is essential for learning and improvement, students report rarely receiving useful narrative feedback during clerkships. In summative evaluations, which do typically contain narrative information, mention of areas for improvement are considered to signal bad performance. Narratives can be replete with “code” language that supervisors learn on the job but that students find obscure and ambiguous.8
불균등한 기회
Unequal opportunities
모든 학생들이 핵심 임상실습에 대한 중압감은 똑같이 느끼지 않는다. 시간에 쫓기고 상대평가로 등급이 매겨지는 환경에서, 초반부터 빠르게 적응하고 잘 수행하는 학생들은, 비록 모든 학생이 최종적으로 동일한 기대성과를 달성하더라도, 다른 학생들보다 더 좋은 점수를 받을 것이다. 이러한 현실은 본질적으로 의대 이전에 얻은 이점을 가져다 주는 학생들에게 유리하다. 의사 가족을 둔 학생들 또는 의료 또는 다른 전문적 경험을 가진 학생들은 이미 임상 환경의 언어와 규범 중 일부를 이해하고 있다. 현실에서 그들은 "빠른 학습자"가 아니라, 이미 적응할fit in 줄 아는 학습자들이다.
Grading pressures in core clerkships are not felt equally by all students. In a time-challenged, normatively graded environment, students who adapt quickly and perform well from the start may be rated more favorably than other students, even if they all eventually achieve expected competency. This reality inherently favors students who bring advantages acquired before medical school. Students who come from families of physicians or other health providers, and those who have medical or other professional experience, already understand some of the language and norms of the clinical environment. In reality, they are not “quick learners” but, rather, learners who already know how to fit in.
원래 자신이 가지고 있던 경험이나 문화적 배경이 임상 실습의 전문적인 환경과 다른 학생들은 자연스럽게 적응하는 데 더 많은 시간이 필요할 수 있다. 비록 더 많은 것을 배울 수 있는 이러한 학생들은 많은 노력을 기울이고 빠른 속도로 배울 수 있지만, 어떤 평가자들은 이 학생들을 다른 학생들보다 더 낮게 평가한다. 하지만 학생들마다 배우는 속도는 다르더라도, 같은 성과에 도달할 수 있다.
Students whose experience or cultural background differs from the professional environment of clinical practice may naturally need more time to acclimate. Although these students who have more to learn may apply great effort and learn at a rapid rate, their assessors frequently rate them as lower-performing than some of their peers. Students can learn at different rates and get to the same point
외향과 자신감을 더 강한 수행의 지표로 추천할 수 있는 환경에서, 선천적으로 조용하거나 사고 과정에 더 내향적인 학생들은 다른 기술과 상관없이 덜 능력 있는less competent 학생으로 간주될 수 있다.
In an environment where extroversion and confidence may be commended as indicators of a stronger performance, students who are naturally quiet or who are more introverted in their thought processes may be viewed as less competent, regardless of their other skills.
특히, 현재 핵심 임상실습은 평가와 채점 관행은 URM 학생들에게 불리하게 작용할 수 있는 방식이다. 표준화된 시험성적에서 모집단간 차이는 소수민족과 다수민족 사이에 존재하는 것으로 알려져 있으며, 오랜 기간 동안 지속된 구조적 인종차별에 기인한다. 임상 성과보다 표준화된 시험에 상당한 비중을 두는 등급 패러다임은 이러한 구조적 문제의 영향을 증폭시킬 수 있다.
Particularly concerning are the ways that current assessment and grading practices in core clerkships may disadvantage students who are underrepresented in medicine. Population group differences in standardized exam performance are known to exist between minority and majority populations and are attributed to long-standing structural racism. Grading paradigms that give substantial weight to standardized exams over clinical performance may amplify the impact of these structural issues.
초점의 이동
Shifting the Focus
의과대학의 일차적 책임은 학생을 서열화하는 것이 아니라 모든 졸업생이 다음 교육 단계로 이행하는 데 필요한 필수 역량을 갖추도록 하는 것이다.
The primary responsibility of medical school is not to rank students but to ensure that every graduate is prepared with the requisite competencies needed to transition into the next phase of education
학생들이 진로 선택권을 유지하기 위해 honor 등급을 받아야 한다고 느낄 때,
그들은 배움과 향상보다는 보여주기performing에 초점을 맞추고 있다.
그들은 마음을 여는 질문을 환영하기 보다는 두려워한다.
그들은 교정 피드백을 찾기 보다는 두려워한다.
그들은 또래와 협력하기 보다는 경쟁한다.
그들은 환자들로부터 배울 수 있는 기회에 활력을 느끼기보다는 스트레스를 받는다.
When students feel compelled to earn an honors grade to maintain their career options,
they focus on performing rather than on learning and improving,
they dread rather than welcome questions that stretch their minds,
they fear rather than seek out corrective feedback,
they compete rather than collaborate with peers, and
they feel stressed rather than energized by the opportunity to learn from their patients
임상실습이 표준화된(쉘프) 시험에 의존하여 성적 과제의 객관성을 높이려고 할 때, 학생들은 그들의 직접적인 환자 관리와 전문가 간 팀 능력을 최적화하는 것보다 [시험을 위한 공부]를 우선시한다.
시간에 쫓기는 교수들이 자신의 평가 역할을 우등생인지 아닌지를 판단하는 것으로 볼 때, 학생들은 미래의 성공을 위한 코칭보다는 [즉각적인 성과를 판단]하는 데 더 초점을 맞춘다.
When clerkships attempt to increase the objectivity of grade assignments by relying on standardized (shelf) exams, students prioritize studying for the test over optimizing their direct patient care and interprofessional team skills.
When time-challenged faculty view their assessment role as determining whether or not the student is an honors candidate, they focus more on judging immediate performance rather than coaching for future success.
평가에 대한 새로운 접근
A new approach to assessment
의과대학은 측정의 우선순위를 정하고 학생 역량 개발을 지속적으로 진전시키는 평가 프로그램의 설계와 구현에 노력을 다시 집중해야 할 시점이다(표 1).
It is time for medical schools to refocus their efforts on designing and implementing programs of assessment that prioritize measuring and continuously advancing student competency development (Table 1).
학습을 위한 평가AfL는 학생의 발전, 성찰, 평생학습 능력을 촉진하는 관찰과 피드백을 수반한다. 학생들은 누군가가 보고 있을 때 좋은 성적을 내는 것 만이 아니라 [학습과 향상을 보여준 것에 대해 보상]을 받아야 한다.12
Assessment for learning entails frequent observation and feedback that promote students’ development, reflection, and lifelong learning skills. Students should be rewarded for demonstrating learning and improvement, rather than only for performing well when someone is watching.12
교육자는 핵심 임상실습의 시작부터 학생 및 학생의 다른 교육자와 협력하여 각 학생의 출발점에 대한 이해를 학습 및 평가 과정에 포함시켜야 한다. (한 임상실습 학생에 대한 수행 정보가 다음 임상실습으로 제공되는) 학생들이 "Feed Forward"를 교수들을 편향시키는 정보라고 두려워하기 보다는, 종단적 학습의 전략으로 포용하게 되어야 한다.
Educators must work with students and students’ other educators from the beginning of a core clerkship to incorporate understanding of each student’s starting point into the learning and assessment process. “Feed forward,” in which performance information about a student from one clerkship is provided to the next clerkship, should be embraced as a strategy for longitudinal learning rather than feared by students as information that biases their teachers.
학생들이 성장과 발전을 보여줄 수 있는 기회
Opportunities for students to demonstrate growth and development
지속적인 학습을 위한 평가의 마인드 습관 기르기
Fostering the habit of mind of assessment for continuous learning
학생들의 성적평가는 핵심 임상실습 성적 할당에 초점을 맞추기보다는 학습 진척도에 대한 전문가의 판단을 반영해야 한다. 예를 들어, 임상교육위원회는 정량적 점수 및 서술적 코멘트를 포함한 학생들의 평가 데이터를 한 과의 임상실습과 전체 임상슬습에 걸쳐 검토할 수 있다. 학생들은 자신의 performance 데이터를 검토하여 상대적 강도의 영역과 추가적인 성장을 위한 영역을 자체 평가할 수 있다. 이러한 접근방식은 학생들이 핵심 임상실습에서 [보여주기]보다는 [학습]에 집중할 수 있게 할 것이다. 그 결과 서브인턴을 포함한 4학년 임상실습에서 최고의 성과를 보여줄 준비가 될 것이다.
Rather than focusing on assigning grades in the core clerkships, student performance review should incorporate expert judgment of learning progress. For example, a committee of clerkship educators can review assessment data for students, including both quantitative scores and narrative comments, within and across clerkships. Students could simultaneously review their own performance data to self-assess areas of relative strength and areas for further growth. This approach would enable students to focus on learning rather than performance during the core clerkships, so that they are ready to demonstrate their best performance during final-year clinical rotations, including subinternships.
최종 학년에서 grading으로 돌아가는 것은 각 학생의 레지던트 수행 능력에 대한 가장 최근의 평가를 반영하기 때문에 논쟁이 있다.
There is an argument to be made for returning to grading during final-year rotations because those rotations reflect the most current assessment of each student’s ability to perform well in residency.
전공의 선발에 미치는 영향
The effect on residency selection
의대와 레지던트 프로그램 이사는 지식과 기술을 향상시키면서 뛰어난 환자 진료를 제공할 레지던트 프로그램에 학생을 매칭하는 것을 같은 목표로 삼고 있다. 전공의 선발을 위한 최선의 정보는 학생들의 가장 최근의 역량 업적을 기술하는 하위 인터네셔널의 성적, 내러티브 및 추천서의 조합에서 찾을 수 있다.
Medical schools and residency program directors share the same goal: to match students to the residency programs in which they will provide outstanding patient care while advancing their knowledge and skills. The best information to achieve this goal is found in the combination of grades, narratives, and letters of recommendation from subinternships that describe students’ most recent competency achievements.
학생들이 어떻게 그들의 학습에 접근하고, 팀원들과 함께 일하며, 그들의 기술을 향상시키기 위해 피드백을 통합하는 정직하고, 솔직한 묘사를 묘사하는 핵심 사무직 내러티브들은 레지던트 이사와 관련된 여러 기술에 대한 귀중한 정보를 제공할 것이다.
Core clerkship narratives that portray honest, forthright descriptions of how students
approached their learning,
worked with team members, and
incorporated feedback to improve their skills would provide valuable information about multiple skills relevant to residency directors,
교육자들은 프로그램이 예비 후보들에 대한 전체적인 검토에 더 많은 시간을 할애할 수 있도록 레지던트 프로그램 자라에 대한 지원자의 수를 제한하는 국가 전략을 옹호해야 한다.
Educators should advocate for national strategies to decrease the high volume of applicants per residency program position so that programs can spend more time on a holistic review of potential candidates.
결론
Conclusion
임상실습 성적 부여는 학습자에게 그들의 궁극적인 독립적 관행에 대한 함축과 함께 의도하지 않은 여러 결과를 초래한다. 점수는 조기 학습자에게 스트레스와 혼란을 야기하며, 이는 학습에 대한 바람직한 접근법을 방해하고 불평등을 심화시키는 방식으로 학생들에게 불리하게 작용할 수 있다. 학습을 위한 평가에 초점을 맞춘 성적을 없애는 것은 필수 환자 관리 및 팀워크 기술을 개발하는 과정에 학습자를 참여시키고 평생 학습 습관의 개발을 촉진할 수 있는 가능성을 가지고 있다.
Clerkship grading causes multiple unintended consequences for learners with implications for their eventual independent practice. Grading generates stress and confusion for early learners, and that can interfere with desired approaches to learning and disadvantage students in ways that exacerbate inequities. Eliminating grades focused on assessment for learning holds promise to engage learners in the process of developing essential patient care and teamwork skills and to foster their development of lifelong learning habits.
10 Krupat E, Borges NJ, Brower RD, et al. The Educational Climate Inventory: Measuring students’ perceptions of the preclerkship and clerkship settings. Acad Med. 2017;92:1757– 1764.
12 Boud D. Feedback: Ensuring that it leads to enhanced learning. Clin Teach. 2015;12:3–7.
,94 (4), 469-472
Core Clerkship Grading: The Illusion of Objectivity
1K.E. Hauer is associate dean for assessment and professor, Department of Medicine, University of California, San Francisco, San Francisco, California; ORCID: https://orcid.org/0000-0002-8812-4045. C.R. Lucey is vice dean for education and professor, Department of Medicine, University of California, San Francisco, San Francisco, California.
Core clerkship grading creates multiple challenges that produce high stress for medical students, interfere with learning, and create inequitable learning environments. Students and faculty alike succumb to the illusion of objectivity-that quantitative ratings converted to grades convey accurate measures of the complexity of clinical performance.Clerkship grading is the first high-stakes assessment within medical school and occurs just as students are newly immersed full-time in an environment in which patient care supersedes their needs as learners. Students earning high marks situate themselves to earn entry into competitive residency programs and selective specialties. However, there is no commonly accepted standard for how to assign clerkship grades, and the process is vulnerable to imprecision and bias. Rewarding learners for the speed with which they adapt inherently favors students who bring advantages acquired before medical school and discounts the goal of all learners achieving competence.The authors propose that, rather than focusing on assigning core clerkship grades, assessment of student performance should incorporate expert judgment of learning progress. Competency-based medical education is predicated on the articulation of stepwise expectations for learners, with the support and time allocated for each learner to meet those expectations. Concurrently, students should ideally review their own performance data with coaches to self-assess areas of relative strength and areas for further growth. Eliminating grades in favor of competency-based assessment for learning holds promise to engage learners in developing essential patient care and teamwork skills and to foster their development of lifelong learning habits.
학습을 위한 평가 AfL 가 대형강의에서도 가능한가? 과제와 대응전략(Asia-Pacific Journal of Teacher Education, 2019)
Is assessment for learning feasible in large classes? Challenges and coping strategies from three case studies
Yueting Xua and Gary Harfittb
aSchool of English and Education, Guangdong University of Foreign Studies, Guangzhou, China; bFaculty of Education, The University of Hong Kong, Hong Kong SAR, China
도입
Introduction
학습에 대한 평가(AfL)는 설계와 실습에서 학생 학습을 우선시하는 평가 접근방식으로서, 잘 구현되면 학생 학습의 중요한 동인으로 널리 인식되고 있다(Wiliam, 2011). AfL은 학습 잠재력 때문에 중국을 포함하여 고등교육(HE) 교육학의 일부가 되었다(Carless, 2017; Sambell, McDowell & Montgomery, 2013).
Assessment for learning (AfL), an assessment approach that prioritises student learning in its design and practice, is widely recognised as a critical driver of student learning when implemented well (Wiliam, 2011). Due to its learning potential, AfL has become part of higher education (HE) pedagogy (Carless, 2017; Sambell, McDowell, & Montgomery, 2013), including the Chinese contexts.
AoL의 원칙은 중국에서 평가의 문화와 잘 맞지만, AfL, 또는 "학습자 및 교사들이 [학습에 사용할 증거]를 찾고 해석하여, 학습자가 어디에 있고, 어디로 가야 하며, 어떻게 가장 잘 도달해야 하는지를 결정하는 과정"(ARG, 2002, 페이지 1)은 "도입된" 개념이다. 평가의 형성적목적을 강조하고, 학습의 다음 단계에서 사용할 수 있는 설명을 만드는 것을 목표로 한다(베리, 2011). ARG가 확인한 세 가지 요인 중,
학습자가 어디에 있는지 판단하는 것은 수업이나 시험에서 교사들이 수집한 정보를 통해 이루어질 수 있다;
학생들을 그들이 가야 할 곳으로 이동시키는 것은 교사들이 학습 기준을 명확히 하고 학생들의 현재 학습에 기반을 둘 것을 요구한다.
원하는 목표를 달성하는 최선의 방법은 효과적인 피드백 및 피드포워드를 통해 이뤄질 수 있다
분명히, 이 모든 것들은 평가에서 교사의 지식과 기술, 즉 평가문해력(AL)을 요구한다(Smith, 2011).
While principles of AoL are aligned with the culture of testing in China, AfL, or “the process of seeking and interpreting evidence for use by learners and their teachers to decide where the learners are in their learning, where they need to go and how best to get there” (ARG, 2002, p. 1), is an “imported” concept. It emphasises the formative purpose of assessment and aims at creating descriptions that can be used in the next stage of learning (Berry, 2011). Among the three factors identified by the ARG,
judgments about where learners are can be made through teachers’ gleaning information from class work or tests;
moving students forward to where they need to go requires teachers to clarify learning criteria and to build on students’ current learning; and
the best way to get to the desired goal can be achieved through effective feedback and/or feed forward.
Clearly, all these require teachers’ knowledge and skills in assessment, namely assessment literacy(AL) (Smith, 2011).
유교 문화권에서, AfL은 한정된 목적(예: 총괄평가의 평성적 사용)부터 확장된 목적(예: 포트폴리오)에 이르기까지 형성적 평가의 "연속체" 상에서 여러 가지 형태를 취할 수 있지만, 중국 교육적 맥락에서의 구현은 복잡하다(베리, 2011). AfL은 교사의 업무의 맥락 안에서 상호작용하는 다양한 요소들(예: 교사, 학생, 기관) 사이의 관여와 공생을 요구한다(Carless, 2011). 그러나 현실은 이러한 각각의 요인들이 시행 과정에서 실질적인 장벽을 전면에 내세울 수 있다는 것이다.
Although AfL can take many forms on a formative “continuum” from a restricted end (e.g., formative use of summative tests) to an extended one (e.g., portfolios) in a Confucius-heritage culture (Carless, 2011), its implementation in a Chinese educational context is complicated (Berry, 2011). It requires engagement and symbiosis among various factors (e.g., teacher, students, and institution) that interact within the context of teachers’ work (Carless, 2011). The reality, however, is that each of these factors may bring to the fore practical barriers in the process of implementation.
제도적 요소를 예로 들면, 커리큘럼과의 오정렬misalignment, 큰 학급 규모, 시간 제약(Liu & Su, 2017) 등은 모두 AfL을 실천하는 데 생기는 실질적인 장애물이다. 중국에서, 큰 학급 크기는 중국 특이적인 맥락적 문제다. CE 교실의 학생-교사 비율은 대학 등록이 급속히 확대됨에 따라 163:1(왕, 2009년)로 보고되고 있다(Xie, 2014년). 또 다른 변수는 교사 요인이다. AfL을 시행하는 교사들은 그들의 신념과 전문지식 면에서 그러한 과정에 대한 준비가 되어 있지 않다(Marshall & Drummond, 2006).
Taking the institution factor as an example, misalignment with curriculum, large class size, and time constraint (Liu & Xu, 2017) are all practical obstacles to AfL practice. In China, large class size is a particular contextual challenge. The student-teacher ratio in CE classrooms is reported to be 163:1 (Wang, 2009) due to the rapid expansion of university enrollment (Xie, 2014). Another variable is the teacher factor. Teachers who implement AfL are unprepared for such processes in terms of their beliefs and expertise (Marshall & Drummond, 2006).
대규모 수업 AfL 실천 프레이밍: 생태학적 관점에서 본 교사의 주체성
Framing AfL practice in large classes: teacher agency from an ecological perspective
대규모 수업은 종종 학생 학습에 부정적인 영향을 미친다고 인식되지만(Bigs, 1999), 다음과 같은 평가 관행에 내재된 장애물이 보고되었다.
채점에 소요되는 고된 시간과 노력(Harfitt, 2013)
수업 지원에 대한 접근 감소(Ballantyne, Hughes & Mylonas, 2002)
대화형 피드백을 위한 기회 감소(Carless, 2015).
While large classes are often perceived to have negative effects on student learning (Biggs, 1999), inherent obstacles to assessment practice have been reported, including
an arduous amount of time and effort spent on marking (Harfitt, 2013),
reduced access to tutorial support (Ballantyne, Hughes, & Mylonas, 2002), and
reduced opportunities for dialogic feedback (Carless, 2015).
이러한 어려움들이 위압적으로 들릴지 모르지만, 대규모 학급에서 평가를 어떻게 그리고 어느 정도까지 방해하는지에 대한 추정이 쉽지는 않다. 그 효과가 다양하고 맥락적인 것으로 볼 때(Bigs, 1999), 학급 규모가 그 자체로 학생 수행의 두드러진 특징이 아닐 수도 있다(Hornsby & Osman, 2014). 이보다 더 중요한 것은 참가자들, 즉 학습자들과 교사들이다. 수상 경력이 있는 많은 교사들이 대형 강의(카리스, 2015년)에 참여했다는 점을 감안하면 대형 강의의 효과를 판단하는 데 있어 교사의 역할과 영향력이 더 두드러진 것으로 보인다.
Although these challenges may sound daunting, easy extrapolations cannot be made concerning how and to what extent large classes impede assessment. Given that its effects are varied and contextual (Biggs, 1999), class size in and of itself is arguably not a distinguishing feature of student performance (Hornsby & Osman, 2014). What matters instead are the participants, namely, learners and their teachers. Given that many awardwinning teachers have been involved in teaching large classes (Carless, 2015), it seems that the role and influence of teachers are more prominent in determining the effectiveness of teaching large classes.
그러나, [교사들의 효과적인 실천]은 그들에게 주어진 특정한 생태학적 조건과 상황에서, [어떻게 그리고 어느 정도까지 agency를 행사할 수 있느냐]에 따라 크게 좌우된다. 이것은 행위자actor들이 "문제상황에 대한 그들의 반응을 비판적으로 형성하는" 방식에 관한 것이다. 교사들이 교육 시나리오에 어떻게 반응하는지를 평가하기 위해, 기관은 "행위자-상황 transaction의 새로운 현상"으로 이해될 필요가 있다는 것을 의미한다. 즉, agency란 교사들이 가지고 있는 자질이 아니라, 교사들의 "시간 관계적 맥락과 행동"을 가진 "engagement의 질"이다.
Effective practice of teachers, however, largely depends on how and to what degree they are able to exercise agency in and through particular ecological conditions and circumstances; this concerns the way in which actors “critically shape their responses to problematic situations” (Biesta & Tedder, 2007, p. 138). It means that to evaluate how teachers respond to educational scenarios, agency needs to be understood as “an emergent phenomenon of actor-situation transaction” (Biesta, Priestley, & Robinson, 2015, p. 626). In other words, agency is not a quality that teachers have, but “a quality of the engagement” of teachers “with temporal-relational contexts-for-actions” (Biesta et al., 2015,p.626).
우리는 이 논문에서 기관의 생태학적 관점을 채택하고 공간적으로 그리고 시간적으로 agency의 이해의 중요성을 강조한다. 즉, agency의 성과는 과거의 경험, 현재와의 투사적 평가 및 가능성에서 비롯된 개인의 노력과 특정한 환경에서 이용 가능한 문화, 구조 및 물질적 자원 및 제약 사이의 상호 작용이다. 교사들이 그들의 agency을 enact할 수 있는 정도는 [어떻게 교사가 상황적 가능성과 제약들 사이에서 그들의 믿음, 가치 그리고 속성을 동원하느냐]에 달려 있다(Priestley, Edwards, Priestley, 2012). 교사들이 전문적 agency의 enact을 지원할 수 있는 긍정적인 속성은 탄력성, 책임성, 헌신, 자율성 및 관리를 포함할 수 있다(Edward, 2015).
We adopt this ecological perspective of agency in this paper and emphasise the importance of understanding agency both spatially and temporally. In other words, achievement of agency is an interplay between individual efforts which derived fromone’s past experience, projective evaluations and possibilities with the present, and cultural, structural and material resources and constraints available in particular settings. The extent to which teachers are able to enact their agency depends on how they mobilise their beliefs, values and attributes among contextual possibilities and constraints (Priestley, Edwards, Priestley, & Miller, 2012). Positive attributes that may support teachers to enact their professional agency can include resilience, responsibility, commitment, autonomy and care (Edward, 2015).
특정한 생태학적 조건 하에서, 주체적agentic 교사들은 학생 배움을 지원하기 위해 적절한 전략을 채택하여, 대규모 학급에서 발생하는 도전을 혁신의 기회로 전환할 수 있다. (Hornsby & Osman, 2014) 일부 연구는 오디오 피드백(Savin-Baden, 2010)과 혼합 학습 접근법(Snowball, 2014)의 온라인 교수 및 학습과 같은 기술이 교사가 학습자에게 보다 간결한 피드백을 제공하는 데 도움이 될 수 있다고 제안한다. 또한 동료 평가는 학생들이 평가 과제에 대비하고 필요한 물류를 자동화할 경우 교사의 평가 작업량을 줄일 수 있다(Ballantyne et al., 2002; Mostert & Snowball, 2013). 또한 지속적인 평가는 대규모 수업에서의 자습서 참석을 개선할 수 있다(예, 2009).
Under particular ecological conditions, agentic teachers adopting appropriate strategies are able to convert specific challenges brought by large classes into innovative opportunities in support of student learning (Hornsby & Osman, 2014). Some studies suggest that technology such as audio feedback (Savin-Baden, 2010) and online teaching and learning in a blended learning approach (Snowball, 2014), may help teachers provide more succinct feedback to learners. In addition, peer assessment may reduce teachers’ assessment workloads if he/she prepares students for the assessment tasks and automates the necessary logistics (Ballantyne et al., 2002; Mostert & Snowball, 2013). Continuous assessment may also improve tutorial attendance in large classes (Yeh, 2009).
그러나 이러한 생태학적 조건, 즉 행동의 맥락(Biesta & Tedder, 2007)은 [이 과정에서 적극적인 역할을 수행하지 못할 경우] 자동으로 교사들이 쉽게 사용할 수 있는 자원이 되지는 않을 것이다. 따라서, 학급 규모 자체보다는 전문적인 주체적 교사들을 확보하는 데 더 연구초점을 두어야 한다(Mulryan-Kyne, 2010).
These ecological conditions, or contexts-for-actions (Biesta & Tedder, 2007), however, will not automatically become resources readily available for teachers’ use if they fail to play an active role in the process. Thus, research suggests that a heavier focus should be placed on ensuring professionally agentic teachers, rather than on class size per se (Mulryan-Kyne, 2010).
방법
Methods
RQ1: 대규모 학급이 교사의 아프리카 관행에 어떤 도전 과제를 제시하는가?
RQ1: What challenges do large classes present to teachers’ AfL practices?
RQ2: 대형 강의실의 교사들은 어떤 대처 전략을 사용하는가?
RQ2: What coping strategies do teachers of large classes use?
연구 맥락
Research context
3명의 참가자가 가르치는 수업은 각각 57명, 50명, 45명으로 구성됐다. 모든 학생들은 그들의 전반적인 영어 실력을 향상시키기 위해 고안된 일반 영어 강좌에 등록되었다. 세 명의 교사가 사용한 평가 계획은 다양했지만(표 1 참조), 이들의 공통점에는 최종 시험과 수업 출석의 많은 비율과 비논리적 요소로서의 참여 우선순위가 포함되었다.
The classes taught by the three participants consisted of 57, 50, and 45 students respectively. All of the students were enrolled in a General English course designed to enhance their overall English proficiency. Although the assessment plans used by the three teachers varied (see Table 1), their commonalities included the large proportion of the final examination and class attendance and participation being prioritised as an inherent component.
참가자
Participants
데이터 수집
Data collection
데이터 분석
Data analysis
분석을 용이하게 하기 위해 정성 데이터 분석 소프트웨어인 NVivo 9.0을 사용했다.
A qualitative data analysis software, NVivo 9.0, was used to facilitate the analysis.
한계
Limitations
결과
Findings
불충분한 주의집중 대처하기
Dealing with inadequate attention to individual students
첫 번째로 관찰된 과제는 개별 학생의 부적절한 관심으로, 이는 교사가 학생들의 진행 상황을 모니터링하고 이후의 교육 및 피드백 활동에 필요한 학습 데이터 수집을 방해했다. 그것은 교사와 대규모 수업의 학생들 사이에 신체적 근접성이 낮은 것에 따르는 직접적인 효과다.
The first observed challenge is inadequate attention to individual students, which hindered the teachers’ ability to monitor student progress and to collect learning data necessary for subsequent instruction and feedback actions. It is a direct effect of a low degree of physical proximity between the teacher and students in large classes.
린다의 수업에서는 57명의 학생들 모두가 집단으로 앉도록 요구받았지만, 그녀는 덜 반응하는 그룹들은 무시하면서 좀더 활동적인 그룹에만 관심을 기울일 수 있었다(린다: [CO-EPs-2, 3, 5, 8, 11, 13]. 로사의 경우, 그녀는 고정된 좌석 배치 때문에 교실 뒤에 앉아 있는 학생들을 항상 보고 들을 수 없었다(로사: [CO-EPs-2-14]). 마찬가지로 메이는 "멀티미디어" 교실에서 그녀와 눈을 마주치지 않기 위해 일부러 컴퓨터 화면 뒤에 숨었기 때문에 그녀의 학생들 중 일부를 볼 수 없었다.
In Linda’s class, even though all of the 57 students were required to sit in clustered groups, she only managed to pay attention to the more active groups while neglecting the less responsive ones (Linda: [CO-EPs-2, 3, 5, 8, 11, 13]). In Rosa’s case, she could not always see and hear those students sitting at the back of the classroomdue to the fixed seating arrangements (Rosa: [CO-EPs-2-14]). Similarly, May could not see some of her students because they deliberately hid behind their computer screens to avoid eye contact with her in their “multi-media” classroom (May:[CO-EPs-1-10]).
린다는 그 후 그룹화 전략을 강제했다. 그녀는 학생들을 무작위로 그룹으로 묶고, 수업 시간에 그룹으로 함께 앉아 수업이 끝난 후 몇 가지 과제에 대해 협력할 것을 요구했다(린다:[CO-EPs-1-14]). Linda는 나중에 이러한 전략이 자신이 추가적인 관심과 지원을 제공할 수 있는 [반응도가 낮은 그룹을 식별]하는 데 유용하다는 것을 알게 되었다(Linda:[COEPs-2-14]).
Linda then mandated a grouping strategy. She put students in groups randomly, and required them to sit together as groups in class and to collaborate on some tasks after class (Linda:[CO-EPs-1-14]). Linda later found this strategy useful in identifying the less responsive groups to whom she could provide extra attention and support (Linda:[COEPs-2-14]).
같은 도전에 대응해 메이가 내놓은 해법은 이름과 얼굴을 외우는 것이었다. 첫 번째 수업에서 그녀는 모든 학생들의 머리 사진을 찍고 첫 주(5월:[CO-EP-1]) 동안 각 학생들을 알아보려고 했다. 어떤 학생이라도 이름을 부르며 쉽게 찾아올 수 있는 이 능력은 그녀의 학생들에게 깊은 인상을 주었다.
Responding to the same challenge, May’s solution was to match names with faces. In the first class, she took headshots of every student and tried to recognise each of them during the first week (May:[CO-EP-1]). This ability to effortlessly call on any student by name impressed her students (May: [CO-EPs-2-8]).
대규모 수업에서 학생들의 의도적인 익명성에도 불구하고, 메이의 전략은 효과적으로 개인 가시성을 높이고 결석을 줄였다(May:[CO-EPs-3-10]). 그것은 좋은 환경을 육성하고 유지하기 위한 노력의 일환이었다. 즉, 학생들이 아프리엘의 필수 목표인 자기 규제 학습자가 되도록 하는 "진료의 에토스"(Sutton, 2012, p. 39)가 되었다.
Despite students’ deliberate anonymity in large classes, May’s strategy effectively increased individual visibility and reduced absenteeism (May:[CO-EPs-3-10). It was part of her effort to nurture and maintain a conducive environment, or “ethos of care” (Sutton, 2012, p. 39), which would lead to students’ becoming self-regulated learners, an essential goal of AfL.
개별화된 피드백 제공기회 감소에 대한 대처
Coping with reduced opportunities for individualised feedback
두 번째 어려움은 개별화된 피드백의 기회 감소이다. 세 교사 모두 시간적 제약을 한 요인으로 꼽았다.
The second challenge is reduced opportunities for individualised feedback. All three teachers pointed to time constraints as a factor.
커리큘럼(및 다른 교사들)에 보조를 맞추어야 한다는 강한 압력을 감안하여, 로자와 메이는 주로 전체 수업 방식(Rosa:[CO-EPs-13]), 5월:[CO-EPs-1-10])을 채택했고, 종종 전체 반에 문제를 제시하고, 어떤 학생으로부터 신속하고 정확한 응답을 기다리고 있다. 만약 빠른 응답이 나오지 않는다면, 교사가 스스로 질문에 대답할 것이다. 이러한 방식의 파장은 학생 대다수를 좌절시키는 동시에 적극적 학생만 참여시켰다는 것이었다.
Given the intense pressure to keep pace with the curriculum (and other teachers), Rosa and May largely adopted a whole-class teaching style (Rosa:[CO-EPs-1-13]); May:[CO-EPs-1-10]), often posing a question to the entire class and waiting for a quick, correct response from any student. If a quick response was not forthcoming, they would answer the question themselves. The repercussions of this practice were that it only engaged high performers while discouraging and disengaging the majority of the class.
이에 대처하기 위해 린다는 두 가지 전략을 채택했다. 하나는 "온라인 청취 모듈"을 위한 시간대를 이용하여 작성 컨퍼런스(Linda : [CO-EPs-3,7,10,13])를 실시하는 것으로, 이 세션은 언어 실험실에서 듣기 연습을 실시하도록 요구하는 "학습 모국어 자체" 세션이다. 비록 린다가 신체적으로 수업에 있을 필요는 없었고, "많은 동료들처럼 채점이나 학술적인 독서를 하기 위해 시간을 쓸 수도 있었다"(린다:[I-4: LL23], 그녀는 자발적으로 자신의 자유시간을 희생해 개별 학생들과 글쓰기 숙제에 대해 이야기를 나누었다.
To cope, Linda adopted two strategies. One was to conduct writing conferences (Linda: [CO-EPs-3,7,10,13]) using the timeslots for “online listening modules”, which are “learning-on-your own” sessions that require students to do listening exercises in the language laboratory. Although Linda did not have to physically be in class, or could have used the time to “do some marking or academic reading like many colleagues” (Linda:[I-4: LL23], she voluntarily sacrificed her free time to talk with individual students about their writing assignments.
Linda의 두 번째 전략은 인지적 비계 및 사회적 영향을 주는 지원을 통해 동료 피드백을 가능하게 하여 교사 피드백을 보충할 수 있도록 하는 것이었다(Linda:[CO-EP -3,6,10,13]). 다음 수업 발췌문은 학생 구두 발표 중 린다의 피드백을 설명하였다. 첫 번째 예에서, 그녀는 학생들이 "체면을 챙기는" 걱정을 버리고 비판적인 논평을 하도록 격려함으로써 사회적 영향을 주는 지원을 제공했다. 두 번째 예에서, 그녀는 학생들에게 프레젠테이션에 대한 질문을 제기하는 방법을 모델링하고 이해를 증진시키기 위해 동료 피드백을 바꾸는 인지적 비계를 제공했다.
Linda’s second strategy was to enable peer feedback through cognitive scaffolding and social-affective support so that it could supplement teacher feedback (Linda:[CO-EPs -3,6,10,13]). The following class excerpts illustrated Linda’s feedback enabling processes during student oral presentations. In the first example, she offered social-affective support by encouraging students to abandon the “face-saving” concern and to give critical comments. In the second example, she provided students with cognitive scaffolding by modelling how to raise questions for a presentation and rephrasing peer feedback to enhance comprehension.
린다와 달리 로사는 위챗(중국에서 가장 인기 있는 소셜 미디어 플랫폼)을 통해 학생들과 함께 오디오 피드백을 사용했다. 학생들의 프레젠테이션 개요를 받은 후, 그녀는 이 온라인 그룹(Rosa:[D-WeChat])을 통해 오디오 피드백을 전달했고, 이 그룹은 그 후 전 학급이 접근할 수 있었다.
Unlike Linda, Rosa used audio feedback with her students via WeChat (the most popular social media platform in China). After she received students’ presentation outlines, she delivered audio feedback through this online group (Rosa:[D-WeChat]), which was then accessible to the entire class.
이와는 대조적으로, 메이느 개별화된 피드백에 대한 기회 감소의 도전을 극복하는 데 거의 기여하지 않았으며([CO-EPs-3-14]), 두 가지 설명적 요인(5월: [I-7-LL78-96])을 제시하였다. 첫째, 그녀는 먼 새 캠퍼스에서 집으로 가는 버스(80km 떨어진 곳)를 놓칠 수 없었기 때문에 개인들에게 피드백을 주기 위해 방과 후에 머물 수 없었다. 둘째, 그녀는 소셜 미디어를 거의 사용하지 않았고, 따라서 이러한 플랫폼을 통해 학생들과 학습에 대해 이야기할 기회를 놓쳤다. 메이의 상황에서 개인화된 피드백이 거의 불가능해 보이는 것은 유감스러운 일이었다.
In contrast, May did little to overcome the challenge of reduced opportunities for individualised feedback (May: [CO-EPs-3-14]) and offered two explanatory factors (May: [I-7-LL78-96]). First, she could not stay after class to give feedback to individuals because she could not afford to miss her bus home (80 km away) from the distant new campus. Second, she rarely used social media, and thus missed the opportunity to talk with students about their learning via these platforms. It was unfortunate that individualised feedback seemed almost impossible in May’s practice.
압도적인 채점 업무 관리
Handling overwhelming marking responsibilities
또 다른 문제는 채점이었다. 표시하기 위한 많은 쓰기 과제들이 교사들이 신뢰할 수 있고 시기적절하게 표시하는 능력에 영향을 주고 방해했다.
Another challenge was marking. A heavy number of writing assignments to mark influenced and impeded the teachers’ abilities to mark in a reliable and timely manner.
그 후 로사는 공식 점검을 위해 "기술적으로 편리한" 캠퍼스를 보여주기 위해 그녀의 대학이 구입한 자동 에세이 채점(AES) 웹사이트에 적극적으로 지원을 요청했다(Rosa: [D-AES]. 이 웹사이트의 존재는 지속가능하기 보다는 무작위였지만, 제출된 에세이마다 문법, 단어 선택, 구조 및 기계적 문제에 관한 등급과 피드백을 모두 제공하였다. 제출된 초안이 많을수록 피드백이 증가하고 수정이 많을수록 부여된 등급이 높아진다(Rosa: [D-AES]).
Rosa then actively sought support from an automatic essay scoring (AES) website that her university had purchased to showcase their “technologically facilitated” campus for the official inspection (Rosa: [D-AES]). While the existence of this website was random rather than sustainable, it provided both grades and feedback concerning grammar, word choice, structure, and mechanical issues for each submitted essay. The more drafts submitted, the more feedback obtained and the more revisions made, the higher the grades awarded (Rosa: [D-AES]).
좋은 샘플에만 피드백을 제공하는 Rosa의 관행은 문제가 있어 보일 수 있지만, 그녀는 더 많은 전반적global 이슈(즉, 내용과 구조)에 그녀의 피드백을 집중하는 방식으로, AES 웹사이트를 잘 이용했다(5월 : [D-AES]. 이와는 대조적으로, 린다와 메이는 이 웹사이트에 접속하지 못했고, 학생 과제를 적시에 표시하지 못한 것을 후회했다.
Although Rosa’s practice of providing feedback to the good samples only might seem problematic, she did make good use of the AES website by focusing her feedback on more global issues (i.e., content and structure) (May: [D-AES]). By contrast, Linda and May did not have access to this website and regretted not being able to mark student assignments in a timely manner.
학생을 평가에 참여시킴으로써 위기를 기회로 전환
Turning challenges into opportunities by involving students in assessment
교사들이 직면하고 있는 네 번째 도전은 수업 중에 학생들을 평가에 참여시킬 기회가 적다는 것이었다. 이는 동료 평가 활동에는 대개 다른 사람의 작업을 평가하는 방법에 대한 관련 교육이 필요하기 때문이며, 이는 매우 시간이 많이 소요될 수 있고 따라서 대규모의 환경에서 더 비현실적으로 보일 수 있다.
The fourth challenge confronting the teachers was fewer chances to involve students in assessment during class. This is because peer assessment activities usually require relevant training on howto evaluate others’ work, which can be very time-consuming and therefore seems more impractical in large-class settings.
이 전략은 시간 제약 문제를 해결했지만, 학생과 교사 모두에게 더 많은 헌신을 요구했다. 일부 학생들은 처음에 추가 작업에 대해 불평했지만, 로사는 완료된 피드백 시트에 대해 추가 학점을 제공했다(Rosa: [CO-EPs-4-13]. 결국 대부분의 동료 피드백은 "양심적으로" 수행되었다. (로사: [I-5: L3])
While this strategy remedied the issue of time constraints, it demanded more commitment from both students and teachers. Although some students complained about the extra work at the beginning, Rosa offered extra credits for completed feedback sheets (Rosa: [CO-EPs-4-13). Eventually most of the peer feedback was done “quite conscientiously.” (Rosa: [I-5: L3])
로자와는 달리 메이는 퀴즈 관리 방식을 바꿔 학생들을 '피평가자'에서 '평가자'로 변화시켰다(5월: [CO-EPs-4-8]). 퀴즈는 전통적으로 학습된 내용이 실제로 학습되었는지 여부를 측정하는 것을 목표로 하는 AoL 활동이다. 그녀의 처음 두 번의 받아쓰기가 학생들을 낙담시켰을 때, 메이는 그녀의 연습을 적응시켰다. 세 번째 퀴즈부터, 그녀는 학생들에게 그룹별로 최소한 한 개의 받아쓰기 목록을 작성하도록 요구했는데, 그 중에서 그녀는 무작위로 하나를 선택했다.
Unlike Rosa, May transformed her students from “‘assessees” to “assessors” by changing how she administered quizzes (May: [CO-EPs-4-8]). Quizzes are conventionally an AoL activity aiming at measuring whether what was taught has actually been learned. When her first two dictations discouraged her students, May adapted her practice. From the third quiz onwards, she required students to work out at least one dictation list in groups, from which she would randomly pick one.
고찰
Discussion
대규모강의에서 유용한 AfL의 형태
Useful forms of AfL in large classes
AfL의 타당성 : 교사기관과 시간적, 상황적 조건 간의 타협
Feasibility of AfL: compromises made between teacher agency and temporal and contextual conditions
대규모 수업의 도전과 교사들의 대처 전략과 관련된 발견들은 AfL의 실현가능성은 교사의 agency와 시간적, 상황적 조건 사이의 타협이라는 것을 암시한다. 조사 결과를 면밀히 살펴보면 시간적, 상황적 조건이 AfL의 실현가능성을 위해 필요하지만 불충분한 조건을 구성하여 교사의 주체적agentic 선택과 행동에 가능성과 도전을 모두 제공할 수 있음을 알 수 있다. 이 주장은 기관의 적절하고 적절한 자원의 제공을 강조한 이전 연구(MulryanKyne, 2010)와 일치하지만, 우리의 연구결과는 이러한 맥락적 및 시간적 조건이 작용하는 두 가지 상황을 명시한다. 한 상황에서, 어떤 조건들이 촉진적으로 보일 수 있지만, 일시적일 뿐이며, 교사 agency가 없이 자동적으로 행동의 기회로 바뀌지는 않는다.
Findings related to the challenges of large classes and the teachers’ coping strategies suggest that the feasibility of AfL is something of a compromise between teacher agency and specific temporal and contextual conditions. A scrutiny of the findings reveals that temporal and contextual conditions constitute a necessary but insufficient condition for feasibility of AfL, providing both possibilities and challenges for teacher agentic choices and actions. While this argument aligns with prior research that highlighted the provision of adequate and appropriate resources by the institution (MulryanKyne, 2010), our findings specify two situations where these contextual and temporal conditions work. In one situation, these conditions might seem facilitative, but often transient and do not automatically turn into opportunities for actions without teacher agency.
위와 같은 교사들의 agentic 선택과 행동에 대한 분석은, 교사의 agency가 대규모 수업에서 주로 AfL 실현가능성의 정도를 결정하는 원동력임을 보여준다. 그러나, 어떻게 교사 기관이 시간적, 상황적 조건을 갖춘 학생 학습을 위해 유용한 타협을 할 수 있느냐는 교사들이 인지적이고 정서적으로 어느 정도 준비가 되어 있느냐에 달려 있다.
The above analyses of the teachers’ agentic choices and actions indicate that teacher agency is the driving force that mainly decides the extent of AfL feasibility in large classes. However, how teacher agency is able to make useful compromises for student learning with temporal and contextual conditions largely depends on the extent to which teachers are cognitively and affectively prepared.
인지적 준비는 교사의 과거 경험을 자원으로 크게 끌어들이는 교사 agency의 시간적 차원에 의해 가능하게 할 수 있다. 이상적으로, 교사들은 그들의 과거 경험이나 현재 진행중인 교사 교육 프로그램에서 상당한 수준의 AL을 획득하고 특정 교실에서 적응적으로 사용하는 방법을 배울 것으로 예상된다. 특히, 우리는 드루카 외 연구진(2015)의 견해뿐만 아니라, AL 제정에 대한 Smith의 결론에 따르면, 성공적인 AfL 실천을 위한 전제조건으로 적절한 교육적 맥락에서 교사들은AfL의 근거, 원칙 및 특징을 알 필요가 있다.
Cognitive preparations can be made possible on the temporality dimension of teacher agency that draws heavily on teachers’ past experiences as resources. Ideally, teachers are expected to acquire a substantial level of AL in their preand in-service teacher education programmes and learn how to use it adaptively in specific classrooms (MacLellan, 2004;Xu&Brown,2016). Specifically, we support Smith’s(2011) conclusion about AL as the prerequisite to successful AfL enactment, as well as DeLuca et al.’s(2015) view concerning the rationale, principles, and features of AfL required by teachers in appropriate educational contexts.
이러한 지식은 평가 과정이나 워크숍과 같은 공식적인 훈련 기회를 통해 교사들에게 전통적으로 전달되지만, 세 가지 사례 교사들의 경험은 [직장에서 배우는 것]과 [스스로 배우는 것]이 그들의 AL을 준비하는 두 가지 실용적인 방법이라는 것을 암시한다. 예를 들어, 방문 학자로서 린다의 관찰 경험은 그녀의 AL을 작문 컨퍼런스를 개최하고 동료들의 피드백을 가능하게 하기 위해 준비했다. 또 다른 예에서, 로사의 기술에 대한 독학적인 전문지식은 AES 웹사이트와 오디오 피드백을 비교적 쉽게 사용할 수 있도록 그녀의 AL을 준비했다. 비록 불충분하지만, 무작위로 수집된 이러한 경험들은 교사들이 기관의 달성에 대해 인지적으로 준비한 AL 선생님에게 중요한 입력이다.
While such knowledge is conventionally delivered to teachers through formal training opportunities, such as assessment courses and workshops, the three case teachers’ experiences suggest that learning on the job and teaching oneself are two practical ways of preparing their AL. For example, Linda’s observational experience as a visiting scholar had prepared her AL for conducting writing conferences and enabling peer feedback. In another example, Rosa’s self-taught expertise in technology had prepared her AL in terms of using the AES website and audio feedback with relative ease. Although insufficient, these randomly collected experiences are important input for teacher AL, which prepared teachers cognitively for their achievement of agency.
그러나 인지적 대비만으로는 교사들이 그들의 대리점을 행사하고 시간적, 상황적 조건으로 학생들의 학습에 도움이 되는 타협을 하기에는 충분하지 않다. 우리의 발견은 그것이 회복력, 책임감, 보살핌과 같은 긍정적인 믿음, 가치, 속성을 수반하는 감정적 대비가 결합될 필요가 있음을 시사한다(Edward, 2015; Priestley et al., 2012). 이 사례에서 주목할 만한 예로는 린다가 컨퍼런스 작성에 소요된 여분의 시간, 이름과 얼굴을 일치시키기 위해 메이즈 스포트, 로사의 오디오 피드백과 AES 웹사이트 사용 등이 있는데, 이 모든 것들은 추가적인 노력이 필요했다. 기관 성취에 대한 감정적인 레퍼토리의 일부로서 이러한 속성은 실제로 교사들이 그들의 AL을 활성화하고 학생 배움을 위한 전문적인 결정을 내리는 것을 지원했다.
Cognitive preparedness alone, however, is not sufficient for teachers to exercise their agency and make compromises that benefit student learning with the temporal and contextual conditions. Our finding suggests that it needs to be joined by affective preparedness, which entails positive beliefs, values, and attributes such as resilience, responsibility, and care (Edward, 2015; Priestley et al., 2012). Notable examples from the cases include the extra time that Linda spent on writing conferences, May’sefforts to match faces with names, and Rosa’s use of audio feedback and AES website, all of which required extra commitment. These attributes as part of affective repertoire for agency achievement actually supported teachers to activate their AL and to make professional decisions for student learning.
결론
Conclusions
우리의 중심적인 발견은 AfL이 여전히 대규모 수업에서 실현가능하지만, 선생님들이 그들 자신의 주체성agency과 시간적 그리고 상황적 조건 사이에서 내리는 타협에 달려있다는 것을 암시한다. 그들의 타협이 학생들의 학습에 용이하게 하는 정도는, 다시 말해서, 교사를 얼마나 인지적으로(즉, AL능력) 그리고 정서적으로(즉, AfL에 대한 헌신) 준비시키는가에 달려 있다.
Our central finding suggests that AfL is still feasible in large classes but depends on the compromises that teachers make between their own agency and temporal and contextual conditions. The extent to which their compromises made are facilitative to student learning, in turn, relies on how cognitively (i.e., AL) and affectively (i.e., commitment to AfL) prepared teachers are.
교사들이 기술을 이용하고 학생들이 참여시킨 평가를 이용하는 것은 유용한 타협안의 예들이다. 그것은 인지적으로 그리고 정서적으로 준비된 agency가 대규모 학급(또는 이와 유사한 불이익 구조적 환경)의 부정적인 영향을 최소화하고 AfL의 학습적 잠재력을 가져올 수 있음을 시사한다. 대규모 학급이 현실인 상황의 경우, 동료가 관여하는 AfL 활동뿐만 아니라 기술 중심의 커리큘럼과 학습 커뮤니티를 개발하기 위해 자원이 더 잘 할당될 수 있다(재할당될 수 있다.
The case teachers’ use of technology-facilitated and student-involved assessments are examples of useful compromises made. It suggests that agentic practitioners who are both cognitively and affectively ready can minimise the negative effects of large classes (or any other similar disadvantaged structural environment) and bring out the learning potential of AfL. For those contexts where large classes are a reality, resources might be better (re)allocated to develop technology-facilitated curricula and learning communities, as well as peer-involved AfL activities.
Is assessment for learning feasible in large classes? Challenges and coping strategies from three case studies
Pages 472-486 | Received 10 May 2017, Accepted 24 Nov 2018, Published online: 11 Dec 2018
ABSTRACT
While assessment for learning (AfL) has been widely used in college English classrooms in China where teachers usually teach large classes, how AfL is implemented in the large-class higher education (HE) context is relatively underexplored. To address this gap, this study explores some of the challenges presented by large classes and the teachers’ coping strategies through case studies of three university English teachers’ AfL practices. Challenges are identified surrounding how the teachers dealt with (a) inadequate attention to individual students, (b) reduced opportunities for individualised feedback, (c) overwhelming marking responsibilities, and (d) involving students in assessment, with strategies of putting students in groups, matching names with faces, conducting teacher-student conferences, utilising technology to facilitate feedback processes, enabling peer feedback, and transforming students from assessees to assessors. Findings are framed around useful forms of AfL in large classes and the feasibility of AfL in terms of compromises between teacher agency and their temporal and contextual conditions. The paper concludes with implications for teacher assessment training, teacher education and policy-making.
임상교육 지도 상황에서 입다물기(MUM): 개인적 생각과 공공의 판단(Med Educ, 2019)
Keeping mum in clinical supervision: private thoughts and public judgements
Catherine E Scarff,1 Margaret Bearman,2 Neville Chiavaroli1 & Steve Trumble1
도입
INTRODUCTION
이 시나리오를 상상해보라. 바쁜 클리닉이나 긴 병동 회진의 끝이며, 당신은 직장 평가에서 훈련생을 관찰할 예정이다. 그렇게 할 때, 당신은 연습생이 그 일에 고군분투하고 있는 것을 보게 되고 당신은 줄 '부정적 피드백'을 갖게 된다. 무슨 생각을 하고 있는 거야? 그리고 나서, 너는 어떻게 생각하니?
Imagine this scenario. It is the end of a busy clinic or long ward round and you are scheduled to observe a trainee in a workplace assessment. As you do so, you see that the trainee is struggling with the task and you have ‘negative feedback’ to give. What goes through your mind? And then, what do you say?
많은 임상 감독자들은 학습자의 성과에 대한 바람직하지 않은 관점을 갖게 될 때, 감독자는 자신의 생각을 말하기를 꺼린다.12 이것은 학습자가 자신의 성과에 대해, 특히 뭔가 문제가 있을 때, 충분한 정보를 제공받지 못하는 '피드백 소실'로 이어질 수 있다. 3 극단적으로, 이것은 기준을 충족하지 못하는 학습자의 'failure to fail'를 초래한다.1,2,4 그러한 바람직하지 않은 평가 뉴스를 전달하기를 꺼리는 것은, 본질적으로 종합적이든 형태적이든, 때때로 'MUM 효과'라고 알려진 심리 현상에 직접적으로 연관될 수 있다.
Many clinical supervisors are reluctant to speak their mind when they have formed an unfavourable view of a learner’s performance.1,2 This can lead to ‘vanishing feedback’,3 where a learner is not given sufficient information about their performance, in particular that their work is unsatisfactory. At an extreme, this results in the ‘failure to fail’ those learners who do not meet standards.1,2,4 Such reluctance to communicate unfavourable assessment news, whether summative or formative in nature, can at times, be directly linked to a psychological phenomenon known as ‘the MUM effect’.
1970년대 이후, 다양한 심리학과 경영학 연구는 일반적으로, 사람들이 불쾌감을 주는 메시지에 대해 Mum(MUM)한다는 것을 확인시켜 주었다.5 이러한 경험적 연구의 focused body는 의학 교육 문헌에서 상대적으로 탐구되지 않은 영역이지만, 어떤 상황에서는 직접적으로 표현을 하지 못하는 "예의바름"에 대해서 설명하기 위해 구성주의적 관념을 사용해 왔다. 의학 교육은 MUM 효과 문헌에서 참고할 것이많은데, 특히 우리의 최선의 노력에도 불구하고 'failure to fail'이 임상 감독에서 지속될 경우 더욱 그러하다.
Since the 1970s, a range of psychological and management studies have confirmed that, in general, people are likely to keep Mum about Unpleasant Messages (MUM).5 This focused body of empirical research remains relatively unexplored in the medical education literature, although constructionist notions of politeness have been used to explain a lack of direct expression in some circumstances.6 The MUM effect literature has much to offer medical education, particularly when ‘failure to fail’ persists in clinical supervision, despite our best efforts.4
1970년 조지아대 심리학과에서 로젠과 테서는 '사람들은 긍정적인 정보보다 부정적인 정보 전달을 더 꺼릴 것'이라는 상식적 개념을 시험해 보려고 했다. 5 이 기념비적인 MUM 효과 실험은 메시지의 성격과 전달 방법 사이의 관계를 조사했다.5 급한 메시지를 전달할 기회가 주어졌을 때, MUM에 대해 연구되고 있다는 것을 알지 못했던 피험자들은, (좋은 소식에 비해서) 나쁜 소식을 완전히 전달하지 못했다.5 저자들은 그 후 '무소식은 희소식'이라는 진언론을 '무소식은 비소식'으로 다시 표현했다.
In 1970, in the Department of Psychology at the University of Georgia, Rosen and Tesser sought to test the ‘common sense notion that people will be more reluctant to communicate information which is negative rather than positive for the recipient’.5 This seminal MUM effect experiment examined the relationship between the nature of the message and how people deliver it.5 Subjects, who were unaware that they were being studied about MUM, when given an opportunity to deliver an urgent message, did not deliver it as completely when the news was bad compared with good.5 The authors subsequently rephrased the aphorism ‘no news is good news’ to ‘no news is bad news’.7
MUM은 의료 교육 문헌에 거의 나타나지 않는다. 단, 평가자의 rating이 학습자 성과를 어떻게 적절하게 반영하는지 이해하는 데 초점을 맞추고 있다.17 비록 '불쾌한 리퍼커션'18에 대한 우려가 rating에 영향을 미치는 것으로 알려져 있지만, 이것은 '맥락적' 요인17 또는 등급 '변동성variability'의 출처source로 간주된다.18 MUM 효과에서는 초점이 다르다. 여기서는 적절한 rating 판단을 하더라도 평가자가 이러한 판단(등급, 서면 의견 또는 구두 피드백 정보)을 학습자에게 전달하지 않을 수 있음을 의미한다.
MUM appears rarely in the medical education literature, except fleetingly as a possible explanation for rater bias.16 However, rater cognition literature is predominantly focused on understanding how assessors’ ratings appropriately reflect learner performance.17 Although concern about ‘unpleasant repercussions’18 is noted as influencing ratings, it is considered as a ‘contextual’ factor17 or a source of rating ‘variability’.18 The MUM literature has a different focus. It suggests that, even if the appropriate assessment judgements are made, the assessor may not communicate these judgements (as ratings, written comments or verbal feedback information) to the learner.
임상 감독관들이 [개인적 생각]을 [공적 판단]으로 변환시킬 수 없는 것은 임상 평가와 의료에 심각한 영향을 미친다.
첫째, 이는 평가자 인식 문헌에 기술된 바와 같이 학생평가에서 오류의 원인이 된다. 이것은 복수의 평가자를 사용함으로써 다소 개선될 수 있으며, 이를 위해 최근 의료 교육 평가에 대한 '프로그램적' 접근방식은 복수의 평가자로부터 빈번한 형성적 '저부담' 평가에 의존한다.
둘째로, 의학교육 피드백 문헌에 따르면 평가자들은 학습자의 수행능력에 대한 정보를 주지 않으며(관대함 편향), 이는 학습자의 적절한 학습 기회를 막는다. 30여 년 전, 엔데는 같은 문제에 주목했는데, 그는 이를 '사라지는 피드백'이라고 불렀다. '... 교사는 선의 때문에 학생의 문제를 둘러서 이야기하거나, 완전히 난해하게 할 정도로 간접적인 표현을 사용한다. 부정적인 평가를 두려워하는 학생은, 선생님의 이같은 회피 행위를 지지하고 강화한다. 그 결과 최고의 의도에도 불구하고, 어떤 실질적인 가치도 전달되지도, 수신되지도 않는다.'
마지막으로, 아무리 극단적으로라도, 임상 감독관은 학습자가 필요한 기준을 아직 충족하지 못했을 때 합격하게 놔두게 한다. 'Failure to fail'는 제대로 수행하지 못한 연습생에 대한 교정조치나 추가 지원이 없는 것을 뜻하며, 이는 (환자에게 해를 입히는 등) 심각한 결과가 발생하기 전에 개입하여 성과를 개선할 수 있는 기회를 놓치게 만든다. 결정적으로, failure to fail을 해결하기 위한 개입은(교수개발 포함)아주 제한된 개선만을 가져왔다. 즉, FtF는 의료 교육 및 실천에서 광범위한 영향을 미치는, 지속적으로 발생하는 결과이다.
Clinical supervisors’ inability to turn private thoughts into public judgements has serious implications for clinical assessment and health care more broadly.
Firstly, it is a source of error in rating learners, as is described in the rater cognition literature.18 This may be somewhat ameliorated by the use of multiple raters and to this end, recent ‘programmatic’ approaches to medical education assessment rely on frequent formative ‘low stakes’ assessments from multiple raters.19–21
Secondly, the medical education feedback literature suggests assessors withhold information about performance (‘leniency bias’), which prevents trainees from learning appropriately.22 Over 30 years ago, Ende noted the same issue, which he called ‘vanishing feedback’: ‘... the well-intentioned teacher talks around the problem or uses such indirect statements as to obfuscate the message entirely. The student, fearing a negative evaluation, supports and reinforces the teacher’s avoidance. The result is that despite the best of intentions, nothing of any real value gets transmitted or received’.3
Finally, at the most extreme, clinical supervisors let learners pass when they have not yet met the required standard.4 ‘Failure to fail’ denies remediation or extra support to poorly performing trainees and results in a missed opportunity to intervene and improve performance before a serious consequence occurs, such as harm to patients. Critically, interventions aimed at addressing failure to fail, including faculty development, have resulted in only limited improvements.4 In other words, this is a persistent problem with wide-ranging consequences for health care education and practice.
아래 우리가 약술한 바와 같이, MUM 문헌은 '입을 닫는 것'을 유지하는 상태가 팽배하다고 말한다.23 2626 더 유용하게, MUM 효과 연구는 또한 개개인마다 서로 다른 방식으로 침묵을 지킨다는 것을 지적한다. 또한 'Mum 행동을 engage하는 정도도 다양하다.'30
As we outline below, the MUM literature suggests that keeping mum is pervasive.23–26 More usefully, the MUM effect research also notes that individuals keep mum in different ways27–29 and ‘vary in the extent they engage in these behaviors’.30
기사에서 나온 연구결과는 세 가지 테마로 함께 묶였다. 즉, MUM 행동이 어떻게 생겼는지를 설명하는 주제, MUM 효과의 잠재적 이유를 탐구하는 주제, 그리고 MUM 행동에 영향을 줄 수 있는 요소를 고려하는 테마.
The findings from the articles were clustered together into three themes:
those that describe what MUM behaviours look like,
those that explore potential reasons for the MUM effect and
those that consider factors that can influence MUM behaviours.
MUM효과의 행동적 표현
BEHAVIOURAL MANIFESTATIONS OF THE MUM EFFECT
미루기
Delaying behaviours
가장 초기의 연구는 MUM 효과가 나쁜 소식을 전달하는데 있어서 '미루기' 형태로 나타난다는 것을 지적한다.5,27,38 예를 들어, 테서,로젠,테서는 현장 연구에서 나쁜 소식 전달이 좋은 소식과 비교하여 지연되었다는 것을 보여주었다.27 비슷하게 베네딕트와 레빈도 성과 평가에 관한 실험에서 [시뮬레이션된 감독자들이 하위 성과자들에게 수행 등급을 부여하는 것을 지연시켰다는 것]을 보여주었다. .29
The earliest research notes the MUM effect manifests as a ‘delay’ in delivering bad news.5,27,38 For example, Tesser, Rosen and Tesser showed in a field study that bad news delivery (rejection of a disability financial aid application) was delayed compared with good.27 Similarly, Benedict and Levine showed in an experiment about performance appraisal that simulated supervisors delayed giving performance ratings to lower performers.29
어떤 상황에서는 지연이 의사소통에 도움이 될 수 있다. 왜냐하면, 어떤 메시지를 받게 될지에 대한 valence를 알리고, teller를 돕는 '사회적 기능'을 할 수 있다.
it is noted that delay may even be beneficial to communication in some situations, serving a ‘social function’ 26 of announcing the valence of the message to come and so helping tellers in their task.9,26
왜곡하기
Distorting behaviours
불쾌한 메시지를 왜곡하는 모습은 실험실 설정에서도 관찰되었으며 28,29,36 메시지의 왜곡은 비즈니스 환경에서 '설탕발림'으로 보고되었다.34,39
Distorting an unpleasant message has also been observed in laboratory settings28,29,36 and distortion of the message has been reported in business settings as ‘sugarcoating’.34,39
조직적 학습에서 '설탕발림'의 효과를 모델링하는 것은, 메시지에 대한 약간의 왜곡이 사실 의사소통을 촉진할 수 있지만, 특정 지점을 넘어서면 효과적인 의사소통이 악화될 수 있음을 시사한다.34 이것은 긴스부르크 등이 언급한 언어 분석과 일치한다. 임상 작업 기반 평가에서 서면 코멘트를 수행했으며, 이는 좋은 수행자와 나쁜 수행자 모두에 대해서 광범위한 '헷징'이 발생함을 보여준다.6
Modelling the effects of ‘sugarcoating’ in organisational learning suggests some small amount of distortion of the message may in fact promote communication but when present beyond a certain point, effective communication deteriorates.34 This aligns with the linguistic analysis that Ginsburg et al. have conducted on written comments in clinical work- based assessments, which shows extensive ‘hedging’ for both good and bad performers.6
회피하기
Avoidant behaviours
중요한 것은, 나쁜 소식을 전달하는 사람들은 부정적인 메시지를 전달하는 것을 회피할 수 있다는 것이다.5,11,33,39 예를 들어, 2006년 자연주의 연구에서 인터뷰한 교장들 중 절반 이상이 처음에 성적이 나쁜 교사들의 문제를 무시하거나 회피한 것을 인정했다. 교장이 학생들의 실패를 관리하지 않기 위해 학생들에게 행동을 해 달라고 애원하는 극단적인 예를 포함한다.
Significantly, communicators of bad news may avoid delivering some or all of a negative message.5,11,33,39 For example, over half of the principals interviewed in a 2006 naturalistic study admitted to initially ignoring or avoiding the problem of underperforming teachers, including an extreme example of a principal begging students to behave to avoid managing their teacher’s failings.11
MUM효과는 왜 발생하는가?
WHY DOES THE MUM EFFECT OCCUR?
의사소통자의 성격이나 조직 분위기가 부정적인 메시지 전달에 상당한 영향을 미칠 수 있다는 점도 주목할 필요가 있다.39,41,42
It is worth noting that there are also factors in play; the communicator’s personality or the climate of an organisation may have a significant impact on delivery of negative messages.39,41,42
자신에 대한 걱정
Self-concern
Rosen과 Tesser는 '불쾌한 메시지의 전송을 가능하게 하는 상황에 놓이는 것은, 그가 실제로 메시지를 전송하는지 여부에 관계없이 개인 내면의 긴장을 조성한다'.5 초기 실험 연구에서는 의사소통자들이 나쁜 소식을 공유할 때 죄책감을 경험할 수 있다는 것을 보여주었다.
MUM behaviours may result from a communicator’s desire to avoid bad feelings in themselves, although Rosen and Tesser highlight that ‘being put into a situation that makes transmission of unpleasant messages possible creates a tension system within the individual regardless of whether or not he actually transmits the message’.5 Early experimental studies5,43 showed that communicators may experience feelings of guilt when sharing bad news
메시지 전달자는 수신자가 소식을 어떻게 볼지를 명시적으로 고려할 수 있으며, 의도적으로 메시지를 지연시키는 것은 메시지를 전달하는 자신에 대한 부정적인 평가를 최소화하기 위한 것일 수 있다.23 MUM 행동에 대한 추가적인 이유는 나쁜 소식을 전달할 때 (또는 실제로 요구되는) 의사소통자의 기분 변화를 피하기 위함이다.35 이는 임상평가 문헌에 반영된다: 많은 연구에서 평가자도 trainee를 fail시킬 때, 정서적으로 댓가를 치름을 보고한다.4
Communicators may explicitly consider how their delivery of news will be viewed by receivers24 and the deliberate use of delay may be intended to minimise a negative evaluation of the communicator.23 A further reason given for MUM behaviours is to avoid the negative change in the communicator’s mood that occurs (or in fact is required) when delivering bad news.35 This resonates with the clinical assessment literature: many studies report the emotional toll on clinical assessors when failing a trainee.4
타인에 대한 걱정
Concern for others
메시지 전달자는 불쾌한 메시지를 받는 사람에 대한 우려를 하기 때문에 MUM 행동이 발생할 수 있다. 일반적으로 사람들은 [다른 사람이 좋은 소식을 받고 싶어할 것이고, 반대로 나쁜 소식을 받고 싶어하지 않을 것]이라고 가정하기에, 이것이 행동에 영향을 미칠 수 있다는 것이다.35
The communicator’s concern for the recipient of an undesirable message can also lead to MUM behaviours. The common assumption is that people will want to receive good news and, conversely, not want to receive bad news and this may influence the communicator’s behaviour.35
Conlee와 Tesser에 따르면, 나쁜 소식조차도 듣고 싶어하는 수신인의 욕구를 분명하게 밝힌 상황에서, 메시지 전달자가 이것을 알고 있더라도, 정보 전달을 증가시켰지만, 완전히 MUM 효과를 없앤 것은 아니라는 것을 발견했다.44
Conlee and Tesser tested the effect of clearly stating a recipient’s desire to be told news, even if bad. They found that although knowledge of the recipient’s desire to hear news did increase its transmission, it did not entirely eliminate the MUM effect.44
받는 사람이 부정적인 메시지에 어떻게 반응할 것인지에 대한 의사소통자의 믿음도 MUM 결정에 영향을 미칠 수 있다. '발신자는 수신자를 부정적인 감정 상태로 만들지 않는 것을 선호한다'35 그리고 '특정 메시지가 관련 받는 사람에게 미칠 정서적 영향에 민감하게 보인다'.35 이것들은 대부분 고통을 주고 싶어하지 않기 때문에 매우 자연스러운 공감 반응으로 보인다. 부정적인 메시지를 전달하기 위한 유혹은 다른 사람에게 불행을 야기시키지 않기를 바라는 메시지 전달자의 소망, (진정할 시킬 수 없을지도 모르는) 나쁜 소식에 화가 난 사람과 함께 있는 것에 대한 두려움, 또는 수신자가 발신자를 가혹하게 판단할 것이라는 두려움 때문일 것이다.35
A communicator’s belief of how a recipient may respond to a negative message can influence his or her decision to tell or not. ‘Communicators prefer not to put the recipient in a negative affective state’35 and appear sensitive to the ‘emotional impact a particular message would have on the relevant recipient’.35 These seem like very natural empathetic responses, as most do not wish to cause distress. Reluctance to deliver a negative message may be because of
the communicator’s wish to avoid causing unhappiness in another,
their fear of being with a person who is upset by bad news, whom they may be unable to calm down, or
their fear that an emotional recipient will judge them harshly.35
규범에 대한 우려
The communicator’s concern with norms
사회 규칙이나 규범을 준수하려는 전달자의 욕구는 MUM행동에 관한 세 번째 가능한 설명을 나타낸다.35 이것은 임상평가에서 탐구된 '예의바름 이론'의 개념과 일치한다.6 여기서 좋은 소식을 주는 것은 '체면을 살리는 것'으로 보여지고 따라서 규범적인 것이다. 다시, 이것은 '의학 내에서 [훈련생]과의 비판적인 논의를 자주 피하는 문화가 있다'는 임상평가 설정에서 일어나는 것으로 보고된다.46
Communicators’ desires to conform to societal rules or norms represent a third possible explanation for MUM behaviours.35 This aligns with notions of ‘politeness theory’ explored in clinical assessment,6 where giving good news is seen as ‘face saving’ and therefore normative. Again, this is reported to occur in the clinical assessment setting: ‘there is sometimes a culture within medicine where the critical discussions with [trainees] are often avoided’.46
MUM행동은 무엇에 영향을 받는가?
WHAT CAN INFLUENCE MUM BEHAVIOURS?
의사소통 책임
Responsibility to communicate
의사소통자에게 부정적인 메시지를 전달하기 위한 책임을 명확하게 할당하는 것은 행동에 영향을 미치는 것으로 나타났다.
Clearly assigning responsibility to communicate a negative message to a communicator has been shown to affect behaviour.
참가자들에게 뉴스를 전달할 책임이 주어지는 실험에서, 그들은 그렇게 해야 할 의무가 있다고 느꼈고, 그들이 결정하지 않도록 요청받거나 어디에서 결정하도록 허용된 사람들과 비교했다.
in an experiment where participants were given the responsibility to communicate a piece of news, they felt more obliged to do so, compared with those who were asked not to or where they were allowed to decide;
메시지의 결과
Consequence of the message
결과에 대한 인식이 MUM 행동에 영향을 미칠 수 있다. 성과 평가의 중요성이 증가함에 따라, 성과 관리 환경에서 메시지 전달자의 불편함 수준도 증가했다.49
Perception of consequences may affect MUM behaviours. In a performance management setting, as the importance of a performance appraisal increased, so too did communicators’ levels of discomfort.49
결과에 대한 불확실성은 메시지의 전달에도 영향을 미칠 수 있다. Weenig의 실험적인 연구는 [뒤따르는 결과가 불확실한 나쁜 뉴스]가 [뒤따르는 결과가 확실한 가진 나쁜 뉴스]보다 더 쉽게 전달된다는 것을 암시한다. 그 결과 전자는 '더 급하고 더 도움이 된다'.51
Uncertainty about the consequence may also affect the delivery of the message. Weenig’s experimental work suggests that bad news with indefinite consequences is delivered more readily than bad news with definite consequences, as a result of the former being regarded as ‘more urgent and more helpful’.51
익명성
Anonymity
MUM 효과는 여전히 익명의 상황에서 발생할 수 있다.52 그러나 익명성이 MUM 행동에 미치는 영향에 대한 연구는 혼합되어 있다.23,53
The MUM effect may still occur in anonymous situations;52 however, studies are mixed as to the influence of anonymity on MUM behaviours.23,53
직무만족
Job satisfaction
의사소통자의 작업 상황에 대한 만족도가 영향을 미칠 수 있다.
A communicator’s level of satisfaction with their work situation may influence
콕스 등은 메시지 전달자의 직무만족도나, 전달자 자신의 감독관에 대해 갖는 신뢰의 수준이 스스로 보고된 MUM 행동과 부정적인 관계가 있음을 시사한다. 15 비젤은 고용 안정과 같은 요인들이 나쁜 소식을 전달하려는 의지에 영향을 미칠 수 있다고 지적한다.33
Cox et al. suggest levels of job satisfaction and trust in a supervisor are negatively related to self-reported MUM behaviours;15 Bisel notes that factors such as job security may affect willingness to deliver bad news.33
기존 관계
Pre-existing relationship
일반적으로, MUM 행동은 통신자와 수신자 사이에 기존에 존재하는 관계에 의해 바뀔 수 있다. 위에서 언급한 바와 같이, 감독자에 대한 신뢰는 MUM 행동의 가능성을 감소시킬 수 있다. Weenig 등은 둘 사이의 관계가 가까울수록 정보 교환이 발생할 가능성이 더 높지만, 다른 연구의 결과는 덜 확정적이다.8
In general, MUM behaviours may be modified by the presence of a pre-existing relationship between the communicator and the recipient. As noted above, trust in a supervisor may decrease the likelihood of MUM behaviours. Weenig et al. suggest that the closer the relationship between the two, the more likely that information exchange will occur,51,55 although results of other studies are less conclusive.8
(위계) 차이도 관련이 있다. 예를 들어, Ploeger, Kelly, Bisel은 부하들이 자신들보다 더 높은 직원에 대해 MUM을 유지할 가능성이 더 높다는 것을 보여주었다.40 이러한 관계 발견은 의학 교육과 매우 관련이 있다.
differences are also relevant. For example, Ploeger, Kelly and Bisel showed that subordinates were more likely to keep MUM to an employee senior to them.40 These relationship findings are highly relevant to medical education,
매체
Medium
어떤 매체로 전달되느냐도 중요할 수도 있지만, 이것은 여전히 논쟁의 대상이다.
The medium of the message may be significant, but this is still a matter for debate.
메타 분석 결과 응답자들이 전화 인터뷰의 질문에 매우 긍정적인 반응을 보일 가능성이 더 높았으며, 다른 덜 직접적인 방법과 비교하였다.59 대조적으로, Dibble은 전달 방식이 의사소통을 꺼리는 자기 보고 수준에 영향을 미치지 않는다는 것을 발견했다(대면 vs 전자 메일).26
a meta-analysis showed that respondents were more likely to give extremely positive responses to questions in telephone interviews, compared with other less direct methods.59 By contrast, Dibble found that mode of delivery did not affect the self- reported level of reluctance to communicate (e-mail in comparison with face to face),26
문화적 차이
Cultural differences
MUM 효과는 '광범위한' 경향으로 설명되어 왔으며, 60개의 MUM 행동에 대한 보고가 많은 환경에서 나왔다.
The MUM effect has been described as a ‘widespread’ tendency,60 and reports of MUM behaviours have come from many settings
의학교육의 실질적 함의
PRACTICAL IMPLICATIONS FOR MEDICAL EDUCATION
이 문헌 검토는 MUM 효과가 만연하고, 바람직하지 않은 메시지를 전달하거나 왜곡하는 것을 완전히 피할 수 있으며, 문화와 작업장에 걸쳐 지속된다는 것을 시사한다.
This literature review suggests that the MUM effect is pervasive, can lead to a complete avoidance of delivering or distortion of an undesirable message, and persists across cultures and workplaces.
임상 성과 평가 설정에 대한 이 작업의 즉각적이고 실질적인 함축은 5가지다.
There are five immediate, practical implications of this work for clinical performance assessment settings.
1 MUM 효과는 불가피하게 발생할 것이다.
1 The MUM effect will inevitably occur.
MUM 효과가 만연하하다면, 이는 프로그램적 평가의 가치를 뒷받침한다. 사람마다 그들의 MUM 행동의 범위에서 다양한 것으로 보인다. 따라서, 낮은 이해관계를 가지는 많은 다른 평가자들로부터 많은 평가 지점을 갖는 것은 MUM 효과의 발생을 제거하지는 않지만, MUM 효과의 영향을 줄여줄 것이다
If the MUM effect is pervasive, then this supports the value of the programmatic assessment movement.19–21 It appears that people vary in the extent of their MUM behaviours; therefore, having many points of assessment from many different assessors, each with low stakes, should reduce the impact of the MUM effect, although not eliminate its occurrence.
2 학습자를 위한 메시지의 이점에 초점을 맞추면 평가자와 관련 MUM 행동의 불편함을 줄일 수 있다.
2 Focusing on the benefit of the message for the learner may reduce the discomfort for assessors and associated MUM behaviours.
교육은 성과 평가와 같지 않다. 교육에서, 나쁜 퍼포먼스 메시지는 배울 수 있는 좋은 기회, 혹은 심지어 '좋은 소식'으로 생각될 수 있다. 이것은 교육 동맹의 개념과 일치한다. 학습자는 자신들에게 가장 큰 관심을 가지고 있다고 믿는 감독자를 신뢰하게 될 것이다.56 이는 기존 관계가 MUM 행동에 어떤 영향을 미칠 수 있는지를 이해하는 열쇠가 될 수 있다. [누군가에게 최고의 이익이 되고자 하는 것]은 분명히 [어떤 불편함으로부터 그들을 보호하는 것]과 같지 않다.
Education is not the same as performance appraisal. In education, poor performance messages can be thought of as good opportunities to learn, or even ‘good news’. This aligns with the notion of the educational alliance, where the trainee will trust a supervisor who they believe has their best interests at heart.56 This may be the key to understanding how a pre-existing relationship can affect MUM behaviours; working towards someone’s best interests is clearly not the same as protecting them from any discomfort.
3 [불편한 메시지 전달]이 job의 일부로 간주될 때 MUM은 감소한다.
3 MUM manifestations reduce when delivery of an undesirable message is seen as a part of the job.
임상의가 환자에게 나쁜 소식을 전달하는 것을 피하지 않는 것과 마찬가지로, 우리는 의료 감독자들이 스스로를 교육자로 보도록 장려하고 지원할 수 있으며, 이와 함께 불편한 메시지를 피드백 프로세스의 일부로 제공할 필요가 있다. 이는 일부 감독자들이 부정적인 피드백을 제공하는 것을 꺼린다고 보고하고, 일부는 교육과 평가 사이의 역할 충돌을 보고하기 때문에 중요하다.63
In the same way that clinicians don’t avoid delivering bad news to patients, we can encourage and support clinical supervisors to see themselves as educators, and with this comes the need to provide undesirable messages as part of feedback processes. This is important as some supervisors report reluctance to provide negative feedback62 and some report a role conflict between teaching and assessing.63
4 모든 MUM 행동이 해롭지는 않을 수 있다. – 정도는 관련이 있다.
4 Not all MUM behaviours may be harmful – the extent is relevant.
강조된 바와 같이, 메시지 전달이 다소 지연될 경우 이점이 있을 수 있다.9,26 일부 '설탕발림'이 메시지를 더 '맛있게' 만들 수도 있다. 설탕 코팅64의 효능을 의심하는 이유는 있지만, 진정성은 매우 중요하다.65 달달하게 만드는 것은 퍼포먼스에 대한 정보라기보다는, 동기부여적 격려로 볼 수 있다. 이것은 추가적인 조사가 필요한 영역이다.
As highlighted, there may be benefits to some delay in delivering messages.9,26 It may also be that some ‘sugarcoating’34 may make the message more ‘palatable’, although there is reason to doubt the efficacy of sugarcoating64 and sincerity is very important.65 It may be that sweetening can be seen as motivational encouragement rather than part of the information on performance; this is an area for further investigation, not just within the MUM literature.
5 우리는 우리의 평가자에게 더 관대해야 한다.
5 We should be more forgiving of our assessors.
여러 연구에 따르면 MUM은 인간의 자연스러운 경향이며 따라서 세계의 모든 교수개발을 동원해도 불편한 메시지를 숨기는 침묵을 해소하지 못할 수도 있음을 시사한다. MUM 효과에 대한 정보를 임상 감독자에게 제공하는 것이 반드시 문제를 '수정'하는 것은 아닐 것이다. 그러나 그러나 평가자는 왜, 언제, 어떻게 그들이 훈련생들로부터 정보를 보류하는지 이해해야 하고, 자신의 행동을 조절하기 위한 조치가 필요한지 이해해야 한다. 또한 만약 그들이 MUM 효과가 너무 강력하다고 판단되면 피드백이나 평가 의무를 스스로 내려놓아야 한다. (어떤 시스템에서든) 평가자는 수행기준을 충족하지 못하는 연습생이 진행되지 않도록 보장하는 책임을 질 수 있음을 깨닫는 것이 중요하다.
This body of work suggests that MUM is a natural human tendency and therefore all the faculty development in the world may not resolve the reticence to deliver undesirable messages. Providing clinical supervisors with information about the MUM effect will not necessarily ‘fix’ the problem, but it may permit assessors to understand why, when and how they withhold information from trainees and therefore take steps towards regulating their behaviour or allow them to excuse themselves from feedback or assessment duties if they find the effect to be overpowering. It is important that assessors realise that, regardless of the system, they can take responsibility for ensuring that trainees who do not meet performance standards are not allowed to progress.
비록 MUM 효과가 만연할 수 있지만, 보편적인 것은 아니며 다른 평가 맥락은 특정한 행동을 구속하거나 가능하게 할 수 있다. 한 가지 심오한 차이점은 평가의 목적이 주로 피드백(형성적)인지 아니면, 주로 progress 판단을 기록하기 위한 것인지(총괄적)이다.
Although the MUM effect may be pervasive, it is not universal and different assessment contexts may constrain or enable certain behaviours. One profound difference is whether the assessment’s purpose is primarily as feedback (formative) or if it is primarily for recording a judgement of progress (summative).
임상 감독관들은 피드백이 그들의 소관의 핵심 부분이라는 것을 매우 잘 알고 있다; 보건 전문직 전반에서 임상 감독관들은 피드백을 교수 개발을 위한 가장 시급한 영역 중 하나로 식별한다.66 Bing-You 등은 적절한 감독관 몇 명이 피드백 역할을 전문화 해야한다고 제안한다. 이것은 MUM 효과를 감소시키는 한 가지 방법이 될 수 있다.
Clinical supervisors are acutely aware that feedback is a core part of their remit; across the health professions clinical supervisors identify feedback as one of the most urgent areas for faculty development.66 Bing-You et al. suggest22 that a few suitable supervisors should specialise in the feedback role and we should target our efforts to building these clinicians’ sense of identity as educators. This may be one way to reduce the MUM effect;
또한, 피드백이 단순한 메시지 이상의 것에 맞춘다면, [성과에 관한 정보]는 단지 더 큰 일련의 피드백 교환이나 관계의 한 부분이다; Bing-You의 비유로 보자면, 탱고 댄스의 한 스텝에 불과한 것이다.
Additionally, in line with feedback being more than just the message,67 this places provision of information on performance as just one part of a larger series of feedback exchanges or relationships; to use Bing-You’s analogy, just one step in the dance.22
때때로 평가 메시지는 발달적developmental이지 않다. 이러한 경우, 평가의 주된 목적이 progress에 대한 고부담 결정을 결정하는 경우, MUM 효과를 '제어'하는 다른 접근법이 있을 수 있다. 다시 한 번, 임상 감독관이 메시지 전달이 자신의 핵심 업무의 일부라는 것을 알게 하는 것은 매우 중요하다. 이것을 넘어, 복수의 메시지 전달자를 활용하면 MUM 효과를 개선시킬 수 있다. 이것은 두 가지 방법으로 가능하다.
Sometimes, assessment messages are not developmental. In these instances, when the primary purpose of assessment is making high- stakes decisions on progress, then there may be other approaches to ‘control’ the MUM effect. Once again, ensuring that clinical supervisors see that delivery of the message is part of their core job is very important. Beyond this, it may be that multiple message givers may ameliorate the MUMeffect. This is possible in two ways.
첫째, 프로그램적 평가에서와 같이 복수의 메시지를 수집할 수 있다. 그러나 MUM 문헌의 주요 통찰력 중 하나는 '나쁜 소식'이 충분히 표현되지 않을 것이라는 점이기 때문에, 단 한번의 좋지 않은 평가 결과가 다른 평가들을 더 세밀하게 조사하게 하는 결과를 초래해야 한다는 점을 고려할 가치가 있을 것이다. 물론 이는 단일한 평가 결과가 다소 정확하다는 것을 암시하지는 않는다. 그러나 전반적으로 평가자는 불편한 메시지를 전달하기보다 묵혀둘 가능성이 더 높기 때문에, (한두 건의) 부정적인 평가라고 해서 간과해서는 안 된다.
Firstly, multiple messages may be collated, as in programmatic assessment. However, as one of the key insights from the MUM literature is that ‘bad news’ will be under-represented, it may be worth considering that singular poor assessment results should result in other assessments being given stronger scrutiny. Of course, this does not suggest that a singular poor assessment result is more or less accurate; however, because, across the population, assessors are more likely to withhold undesirable messages than deliver them, a negative assessment should not be overlooked.
둘째로, 메시지 전달 자체가 패널이나 그룹을 통해 이루어질 수 있기 때문에, 나쁜 뉴스의 전달자가 되기 위해 개인에게 의존하기보다는, 합의를 통해 MUM 경향에 신경쓸 수 있다.
Secondly, delivery of the message itself can be through a panel or a group, so that the natural MUM tendencies can be attended to through consensus rather than relying on an individual to be the bearer of bad news.
LIMITATIONS OF THIS REVIEW
CONCLUSIONS
17 Kogan JR, Conforti L, Bernabeo E, Iobst W, Holmboe E. Opening the black box of clinical skills assessment via observation: a conceptual model. Med Educ 2011;45 (10):1048–60.
18 Gingerich A, Kogan JR, Yeates P, Govaerts MJB, Holmboe ES. Seeing the ‘Black Box’ differently: assesssor cognition from three research perspectives. Med Educ 2014;48:1055–68.
6 Ginsburg S, van der Vleuten C, Eva KW, Lingard L. Hedging to save face: a linguistic analysis of written comments on in-training evaluation reports. Adv Health Sci Educ 2016;21 (1):175–88.
66 Bearman M, Tai J, Kent F, Edouard V, Nestel D, Molloy E. What should we teach the teachers? Identifying the learning priorities of clinical supervisors Adv Health Sci Educ 2018;23 (1):29–41.
Review
,53 (2), 133-142
Keeping Mum in Clinical Supervision: Private Thoughts and Public Judgements
Context:The seemingly obvious claim that people prefer to keep mum about undesirable messages - termed 'the MUM effect' - was initially reported in the psychology literature in the 1970s. More recently, it has been discussed in contexts including performance appraisals and the reporting of unsuccessful projects in workplace settings, but only sparsely in educational ones. We wished to review the published literature on the MUM effect in order to understand the implications for clinical assessment.
Methods:We performed a narrative literature review on the MUM effect and clustered findings together into three themes: those that describe what MUM behaviours look like, those that explore potential reasons for the MUM effect and those that consider factors that can influence MUM behaviours.
Results:This paper summarises the extensive literature on the MUM effect, including its manifestations and modifiers and discusses how the effect may be used to consider issues faced by many clinical supervisors faced with delivering 'negative' assessment messages to trainees.
Discussion:We suggest, that as a pervasive phenomenon, the MUM effect can both help to explain the difficulties that some assessors face when delivering undesirable messages (including feedback or ratings) and offer new insights in how to deal with such issues.
Cognitive Behavioural Coaching principles and basic tools to support trainees
Jenny Gavriel
Milton Keynes GP STP, Milton Keynes Hospital, Milton Keynes, UK
인지행동치료(CBT)
Cognitive Behavioural Therapy (CBT)
또한 CBT에 사용되는 도구는 비임상 상황에서 더 폭넓게 사용된다. – 개인이 낮은 수준의 스트레스와 낮은 자기 효율성과 같은 어려움을 처리할 수 있도록 돕는다. 이를 인지행동코칭(CBC)이라고 하며, 늑장, 주장부족, 리스크 테이크/의사결정능력 개발 등과 같은 문제에 도움이 되도록 개발되었다.[1]
the tools used in CBT also have a wider use in non-clinical situations – helping individuals to deal with difficulties like low level stress and low self-efficacy. This is called Cognitive Behavioural Coaching (CBC) and has been developed to help with problems like procrastination, lack of assertiveness, risk-taking/decision-making skills development and so on.[1]
역사
History
인지 행동 접근법의 논리는 아마도 "우리가 생각하는 것이 우리가 행동하는 방식에 영향을 미친다"일 것이다. 그러나, [인지 세계]와 [행동 세계] 사이의 이러한 협력이 항상 존재했던 것은 아니다.
The logic of the cognitive behavioural approach seems perhaps obvious – what we think effects how we behave. However, this collaboration between the cognitive world and the behavioural world has not always existed.
인지 기반 치료법은 심리역동적이다. 정신의 깊숙한 곳에서 일어날지도 모르는 일을 노출시키는 데 초점을 맞춘 치료법으로, 무의식에 집중하기 때문이다. 행동 요법은 자극 – 결과 모델에 기초하고, 보상은 원하는 행동을 강화하기 위해 사용된다.
Cognitive based therapies are psychodynamic – concentrating on the unconscious mind with therapies focused on exposing what might be happening deep down in the mind. Whereas behavioural therapies are based on a stimulus – outcome model; rewards are used to reinforce the desired behaviours.
이러한 요법이 요건을 충족하지 못하는 상황이 증가함에 따라, 치료사들은 순수한 인지적 접근법과 순수한 행동 접근법 둘 다에 불만족스러워하고 있었다. 이것은 그 둘을 결합시킨 새로운 치료법의 기초를 닦았다.
Therapists were becoming dissatisfied with both the pure cognitive approach and the pure behavioural approach as there were increasing situations where these therapies did not meet requirements. This laid the foundations for a new therapy that combined the two.
CBC의 가장 중요한 원칙은 우리가 어떤 것에 대해 생각하는 방식이 그것에 대해 어떻게 생각하는지에 영향을 미친다는 것이다. 우리가 생각을 통제할 수 있기 때문에, 따라서 우리는 우리의 반응과 행동에도 영향을 미칠 수 있다.
The overriding principle of CBC is that the way we think about something affects how we feel about it. Since we are able to control our thoughts we can therefore effect our reactions and behaviours.
ABC
ABC
ABC 모델(알베르트 엘리스 박사가 개발한, 그림 1 참조)은 사건, 신념 및 결과(행동)의 연관성을 설명한다. 활성화된 사건(A)은 자동적 사고, 감정 또는 행동이 될 수 있는 개인으로부터 반응(C)을 유발하는 실제적이거나 상상된 사건일 수 있다. 하지만, 우리는 [사건에서 결과로 가는 단순한 단계]보다 더 복잡하다; 우리는 모두 우리의 경험이 처리되는 일련의 핵심 신념을 가지고 있다. 같은 사건이 다른 개인에게 다른 생각, 감정, 행동을 야기할 수 있는 이유다.
The ABC model (developed by Dr Albert Ellis, see Figure 1) describes the link between events, beliefs and consequences (behaviours). The activating event (A) may be a real or imagined event that provokes a response (C) from the individual which could be an automatic thought, an emotion or a behaviour. However, we are more complex than this simple step from event to outcome; we all have a set of core beliefs through which our experiences are processed. This is why the same event can result in different thoughts, emotions and behaviours in different individuals.
기본 신념과 기본 요구
Basic beliefs and basic demands
우리의 핵심 신념은 일반적으로 우리 자신, 다른 사람, 그리고 세계에 대한 guiding principle이다. 때때로 이러한 핵심 신념들은 또한 우리가 우리 자신이나 다른 사람들 또는 세계의 요구의 형태를 취할 수 있다.
Our core beliefs are guiding principles about ourselves, about other people and about the world more generally. Sometimes these core beliefs can also take the form of demands that we make of ourselves or of other people or of the world.
부정적 자동사고
Negative automatic thoughts
어떤 사건이 일어난 직후, 건강하지 못한 핵심 신념은 수행을 방해할 가능성이 있는 생각을 불러일으킬 것이다. 이것들은 종종 부정적인 자동 사고라고 불리며 도움이 되지 않는 행동을 초래하는 경향이 있는 여러 가지 다른 유형으로 떨어진다(표 1 [3] 참조).
In the immediate moments following an event, unhealthy core beliefs will give rise to thoughts that are likely to be performance inhibiting. These are often called negative automatic thoughts and they fall into a number of different types that tend to result in unhelpful behaviours (see Table 1 [3]).
이러한 유형의 생각을 하기 쉬운 훈련생들은 불안을 줄이거나 당면한 과제에 대한 집중을 촉진함으로써 성과를 향상시키기 위해 이들을 인식하고 도전하는 데 도움을 받을 수 있다. 여기서 CBT 도구는 이러한 부정적인 자동적 사고를 식별하고 변화시키고 핵심 신념에 도전하는 데 유용하다.
Trainees who are prone to these types of thoughts can be helped to recognise and challenge them in order to improve performance by reducing anxiety or promoting focus on the task at hand. It is here that the tools of CBT are useful to help identify and alter these negative automatic thoughts and challenge the core beliefs.
CBC - 도구상자
CBC – tool kit
스페이스 모델
SPACE model
SPACE 모델[4]은 생각, 감정 및 물리적 반응이 상호 작용하는 방법을 보여주는 도구다. 도표를 완성하도록 유도해 어떤 사건이나 상황에 대한 수습자의 대응을 논의하는 틀이다. 부분적으로 이것은 해명도구로서, '언제 ...을 느꼈는가?'라는 질문을 던져서 '어려웠다'와 같은 대답을 얻는 것이 일반적이다. 물론 '어려움'은 실제로 감정이 아니고, 감정 상자에 '어려움'을 쓸 수 없고, 그 대신에 수련자는 그 상황에서 그들이 어떻게 느꼈는지를 정확히 생각할 수밖에 없다. 대화를 위한 가이드가 마련됨으로써, 의도하지 않게 오락가락하는 답변이 받아들여지기 쉽지 않다. 그 결과는 문제를 매우 명확하게 보여준다. 그림 2는 임상 기술 평가(CSA) 이전에 GP 연습생들의 도표가 어떻게 보일지 보여준다. 이 경우 다음과 같은 여러 영역을 다루도록 선택할 수 있다.
The SPACE Model [4] is a tool to demonstrate the ways in which thoughts, emotions and physical responses interact. It is a framework to discuss the trainee’s response to an event or a situation by encouraging them to complete the diagram. In part this is a clarification tool, it is common to ask the question ‘how did you feel when …?’ only to get an answer like ‘it was difficult’. Of course ‘difficult’ is not actually an emotion, one cannot write ‘difficult’ in the emotions box, instead the trainee is forced to consider exactly how they did feel in that situation. By having a guide for the conversation, it is less easy for unintentionally diversionary answers to be accepted. The result is a really clear picture of the problem; Figure 2 shows what the diagram may look like for a GP trainee prior to their Clinical Skills Assessment (CSA). In this instance you could choose to tackle a number of areas:
(1) 관련 생각을 토의하고, 소크라테스적 질문을 사용하여 사고의 기반을 이루는 근거에 도전한다. 만약 그들의 언어가 영구적이고 일반화되어 있다면, 일시적이고 구체화하도록 만들어야 한다: '나는 시험에 희망이 없다'라고 하는 대신, '지금 당장은 나는 이런 유형의 시험에서 수행하는 것이 어렵다는 것을 깨달았다'가 된다.
(1) Discuss the associated thoughts; use socratic questioning to challenge the evidence base of the thoughts. If their language is permanent and generalised, challenge it to become temporary and specific: ‘I am hopeless in exams’ becomes ‘At the moment I am finding it challenging to perform in this type of exam’.
(2) 그들이 감정 상태를 조절할 수 있고 따라서 시험 전에 스트레스의 신체적 증상을 줄일 수 있다는 자신감을 줄 수 있는 약간의 이완 기법으로 그들을 돕는다 – 이것은 자기 효능감의 수준을 증가시키는 것으로 밝혀졌다.[5]
(2) Help them with some relaxation techniques to give them confidence that they can control their emotional state and therefore reduce the physical symptoms of stress before the exam – this has been shown to increase the level of self-efficacy.[5]
(3) 시험의 준비 및 실습을 최대한 지원한다. 이 모델의 상호 관련성은 준비 행동의 지원이 다른 측면에 어떻게 도움이 되는지 보여준다. 부정적인 생각에 직접 도전하지 않는다면, 앞으로 부정적인 자동적 생각이 계속 영향을 미칠 것이다.
(3) Support them in preparing and practising the exam as much as possible. The interrelated nature of this model shows how support in the actions of preparing will help with the other aspects. Though without directly challenging the negative thoughts, it is likely the negative automatic thoughts will continue to have an impact in the future.
추론 사슬
Inference chaining
추론 체인은 '만약 ...이라면? 이라는 질문을 반복적으로 던지는 것이다.그 생각은 당신이 핵심 신념의 형태로 [진정한 근본적인 우려를 발견하는 지경에 이를 때까지 사고의 장벽을 제거하는 것]이다. 사실 추가적인 부드러운 도전이 장기적으로 더 유익할 수 있을 때, 지원이나 확신을 주기 위해 대화에서 '탈출exit'해 버리는 것은 종종 유혹적이다. 예를 들면 다음과 같다.
Inference chaining is a very simple strategy that involves repeatedly asking versions of ‘What if …?’ The idea is to remove the barriers to thinking until you reach the point of uncovering the real underlying concern in the form of a core belief. It is often tempting to take an ‘exit’ to a conversation in order to provide support or reassurance, when in fact additional, gentle challenge could be more beneficial in the long term. For example:
강사: 만약 당신이 이 '신규 학습된 절차'를 수행한다면 어떻게 될 것인가?
Trainer: What would happen if you had a go at carrying out this ‘newly learned procedure?’
교육자: 내가 틀릴지도 몰라.(훈련자가 관찰한 내용을 이해하고 모델에서 수행할 수 있다는 점을 안심시킬 수 있는 방법을 선택할 수 있음)
Trainee: I might get it wrong.(Trainer could choose to reassure that the trainee has observed it, they understand it and can do it on a model)
강사: 그리고 만약 네가 틀렸다면?
Trainer: And what if you did get it wrong?
교육자: 환자가 불평할 수도 있다.(트레인저는 다시 안심시킬 수 있다 – 이런 일이 일어날 것 같지 않다)
Trainee: The patient might complain.(Trainer could reassure again – it is unlikely that this will happen)
강사: 그리고 만약 환자가 불평을 했다면?
Trainer: And what if the patient did complain?
교육자: 나는 그 환자와 어려운 대화를 해야 하는 것이 정말 두렵다.(강사는 불만사항에 대처하는 것이 좋은 학습점이며 혼자서는 그렇게 하지 않을 것이라고 설명할 수 있다.)
Trainee: I really dread having to have a difficult conversation with the patient.(Trainer could explain that dealing with complaints is a good learning point and they wouldn’t be expected to do it alone)
강사: 그리고 만약 당신이 어려운 대화를 해야만 했다면?
Trainer: And what if you did have to have a difficult conversation?
교육자: 나는 당황하고 스트레스를 받을 것이다.(강사가 어려운 대화를 하는 방법을 안심시키고 지원할 수 있음)
Trainee: I would get flustered and stressed.(Trainer could reassure and provide support for how to have a difficult conversation)
강사: 하지만 만약 당신이 당황하고 스트레스를 받는다면 당신은 무엇을 걱정하는가?
Trainer: But what are you worried about if you did get flustered and stressed?
교육자: 그 환자는 나에 대한 존경을 잃게 될 것이다.
Trainee: The patient would lose respect for me.
강사: 그리고 만약 당신이 환자의 존경을 잃었다면?
Trainer: And what if you did lose the respect of the patient?
교육자: 그들은 다른 환자와 그것에 대해 이야기 할 수도 있다.
Trainee: They might talk about it with other patients.
강사: 만약 그들이 다른 환자와 그것에 대해 이야기한다면 그것은 무엇을 의미할까?
Trainer: What would it mean if they did talk about it with other patients?
교육자: 모두들 나를 쓰레기라고 생각할 것이다.
Trainee: Everyone would think I am rubbish.
여기서 핵심적인 믿음이 밝혀졌다. 이 수련자는 그들이 쓰레기라고 믿고 있으며, 그들이 새로운 어떤 알려지지 않은 것을 시도함으로써 그들이 이것을 알아내는 다른 사람들에게 자신을 노출시킬까 걱정한다. 지금 CBC 접근법은 이 문제에 도전하는 것이다.
이 믿음에 대한 증거의 균형을 논하고
어떤 규칙을 논의하기 위해 핵심 믿음의 다트보드(그림 3 [6])와 같은 것을 사용한다.
요구와 생각은 수행을 방해할 수 있는 이 핵심 신념에서 비롯된다.
논리적이고 소크라테스적 대화에 의해 쉽게 challenge되는 [핵심 신념의 영향에 대한 통찰]은 프로세스와의 참여를 강화할 수 있다.
Here a core belief has been uncovered – this trainee believes that they are rubbish and is worried that by attempting something new and unknown they expose themselves to other people finding this out. The CBC approach now is to challenge this –
discuss the balance of evidence for and against this belief,
use something like the core belief dartboard (Figure 3 [6]) to discuss what rules,
demands and thoughts stem from this core belief that may be inhibiting performance.
Insight into the impact of core beliefs that are easily challenged by logical, socratic dialogue can enhance the engagement with the process.
자존심에서부터 꾸물거림에 이르기까지 광범위한 문제에 대한 다른 전략도 많지만, [행동과 감정적 반응에 영향 주기 위해서, 자신의 생각을 통찰하고 통제한다는 동일한 근본원리]에 기초하고 있다.
There are many other strategies for a wide range of problems, from self-esteem to procrastinating, but each of them are based on the same fundamental principles of insight into and control over one’s thoughts in order to influence behaviours and emotional responses.
,27(4), 326-9
Cognitive Behavioural Coaching Principles and Basic Tools to Support Trainees
오해와 불일치: 총괄평가 피드백에 대한 집단적 환멸(Research in Education, 2017)
Misunderstandings and mismatches: The collective disillusionment of written summative assessment feedback
Jane Rand
York St John University, UK
피드백은 '미끌미끌'하다(Boud and Molloy, 2013a: 5). 그 목적은 수정correction에서 종적 발달에 이르기까지 넓고(Price et al., 2010), 종종 (단순화되어) daulism과 연관된다. 예를 들어 형성적 또는 총괄적, 튜터- 또는 피어-, 서면 또는 언어 등과 같다. dualism이 도움이 되지 않는 경우도 많지만, '해석적 이원론'은 개념으로서 피드백의 '실용적, 이론적 감'을 잡는 데 도움이 될 수 있다. 피드백의 지각 한계 내에 있는 공간은 여러분이 점유하는 공간에 따라 피드백의 의미가 바뀌기 때문에 미끄럽다. 즉, 학습자, 교사, 외부 심사관, 몇 가지 이름을 붙일 수 있는 품질 보증인이기 때문이다.
Feedback is ‘slippery’ (Boud and Molloy, 2013a: 5). Ranging in purpose from correction to longitudinal development (Price et al., 2010), it is often associated with (simplified) dualisms, for example formative and summative, tutorand peer-, written, and verbal; although dualisms are often unhelpful, ‘interpretive dualism’, Soja’s (1996: 5) principle of describing perceptual limits (or the points beyond which things no longer exist), can help to make ‘practical and theoretical sense’ of feedback as a concept. The space(s) within these perceptual limits of feedback are slippery because the meaning of feedback changes according to the space(s) you occupy: learner, teacher, external examiner, quality assurer to name a few.
이원주의의 위험은 [양 극단 binary limit 안쪽에서 차이를 위장하기 때문에] 한 쪽이 다른 한 쪽과의 비교를 통해서 평가될 수 있도록 허용한다는 것이다(Pile, 1994) 그러나 피드백은 다음 두 가지의 사이에 있다고 볼 수 있다.
Carless(2015)가 말하는 '구 패러다임' 사고, 즉 '교육적 반응이 옳은지 그른지를 학습자에게 알리는 데 사용되는 수많은 절차 중 하나' (Kulhavy, 1977: 211)
현대적 사고: '학생들이 다양한 소스의 피드백에 참여하여 이를 활용하여 그들의 일을 향상시키고 학습을 발전시키는 과정'
이 현대적 패러다임은 'telling'에서 다음으로 옮겨간다.
The danger with dualisms is that they permit one side to be valued over the other (Pile, 1994) because they disguise differences within the binary limits. Feedback, however, can be perceived between what Carless (2015) refers to as ‘old paradigm’ thinking: ‘any of the numerous procedures that are used to tell a learner if an instructional response is right or wrong’ (Kulhavy, 1977: 211), and contemporary thinking: as ‘a process in which students engage with feedback from various sources and make use of it to improve their work and/or develop their learning’ (Carless, 2015: 192). This, contemporary paradigm, moves from ‘telling’ to
학습자가 [교사를 포함한 다양한 출처로부터] 작업에 대한 정보를 얻는 과정. 최종 목적은 일을 개선하는 것이다. 이를 위해서 [주어진 작업에 대한 적절한 기준과 작업 자체의 품질 사이의 유사성과 차이점]을 인식해야 한다.
(Boud and Molloy, 2013a: 6)
...[a] process whereby learners obtain information about their work [from a variety of sources, including but not limited to teachers] in order to appreciate the similarities and differences between the appropriate standards for any given work, and the qualities of the work itself, in order to generate improved work. (Boud and Molloy, 2013a: 6)
학생들의 보고된 피드백에 대한 불만족에 관한 현대 연구 내에서 공통적인 주제는 다음과 같다:
너무 일반적이거나 모호하다.
지침이 부족하다(또는 개선을 위한 제안은 포함하지 않는다).
그것은 부정적인 것에 초점을 맞추고, 종종 명확하지 않으며, 평가 기준과 관련이 없다(Higins et al., 2001; Rae and Cochrane, 2008; Weaver, 2006).
Themes common within contemporary research around students’ reported dissatisfaction with feedback include that:
it is too general, or vague;
it lacks guidance (or includes no suggestions for improvement);
it focuses on the negative, is often not clear, and is unrelated to assessment criteria (Higgins et al., 2001; Rae and Cochrane, 2008; Weaver, 2006).
그러나 반면에, 초보(그리고 때로는 neophyte가 아닌) 학습자들은 피드백의 존재 자체가 개선된 성과를 가져오기에 충분하다는 것을 때때로 지각한다(Beard et al., 2014; O'Donovan et al., 2015). 문제는 많은 학생들이 자신이 받은 (서면) 피드백을 절대 읽지 않는다고 보고한다는 것이다.
Yet, on the other hand, neophyte (and sometimes, not-so-neophyte) learners sometimes perceive that the presence of feedback, in and of itself, is sufficient to bring about improved performance (Beard et al., 2014; O’Donovan et al., 2015), even though many students report never reading the (written) feedback that they receive (Weaver, 2006).
이론적으로, 피드백은 학생들의 성장, 개발, 학습, 성취에 가장 강력한 영향 중 하나로 간주된다(Rae와 Cochrane, 2008). 실제로 그것은 고등 교육의 대량화와 병행하여 증가하는 척도에서 경쟁적이고 다중적인 관점이 되었다.
Theoretically, feedback is considered as one of the most powerful influences on student growth, development, learning, and achievement (Rae and Cochrane, 2008); in practice it has become contested and multiperspectival in increasing measure, in parallel with the massification of higher education.
본 논문은 특히 '줄글로 전달되는 학생 수행능력에 관한 정보'(Jolly and Boud, 2013: 105)를 학습 단위의 평가(총괄 평가)에 초점을 맞춘다. 나는 피드백에서 '집단적 환멸'에 대한 Hounsell의 주장(2008: 2)에서 더 나아간다.
학생들이 평가 피드백을 잘못 이해하거나 대부분 접근할 수 없다고inaccessible 보는 것(Carless, 2006; Higgins et al., 2001; Weaver, 2006)
학생 해석과 강의자 의도의 불일치(Rae and Cochrane, 2008; Sopina and McNeill, 2015; Weaver, 2006).
This paper focuses specifically on written feedback: ‘information about student performance conveyed by prose’ (Jolly and Boud, 2013: 105) on assessment at the end of a unit of study (summative assessment). I develop Hounsell’s argument (2008: 2) around ‘collective disillusionment’ in feedback:
the result(s) of students misunderstanding assessment feedback discourses or finding them largely inaccessible (Carless, 2006; Higgins et al., 2001; Weaver, 2006), and
the mismatches between student interpretations and lecturers’ intentions of feedback (Rae and Cochrane, 2008; Sopina and McNeill, 2015; Weaver, 2006).
피드백 위험에 대한 집단적 환멸은, 보르디외(1984, 2010)의 용어, 반박과 부정으로 궁극적으로는 제거된다. 그러나 피드백은 학습에 대한 가장 강력한 단일 영향 중 하나로 동시에 위치한다.
Collective disillusionment in feedback risks, in Bordieu’s (1984, 2010) terms, refusals and negations and ultimately therefore elimination; yet feedback is simultaneously positioned as one of the most powerful single influences on learning.
서면(요약) 피드백
Written (summative) feedback
서면(요약) 피드백은 여전히 학술 프로그램에서 가장 일반적인 관행 중 하나이다. 그것은 1대1 토론과 (재)드래프트를 위한 기회와 함께 위치하는 지원적이고 형태적인 (Oxford/Cambridge 튜토리얼) 학습 지원 시스템 내에서 시작되었으나 현재는 대부분 분리되었다(Nicol, 2010).
Written (summative) feedback is still one of the most common practices in academic programmes. It originated within, but is now largely detached from, a supportive and formative (Oxford/Cambridge tutorial) learning support system, positioned alongside one-to-one discussion and opportunities for (re-)drafting (Nicol, 2010).
현대의 담론에서 그것은 다음과 같이 이해된다.
'...평가 대상 작업에 해당 속성이 있는지 여부를 나타내기 위해 특정 기준 또는 특성에 대한 상자에 체크 표시를 포함할 수 있는 사전 설계 등급 일람표, 양식 또는 '점수 시트'를 사용하여 제공되는 정보(Jolly and Boud, 2013: 105).
Within contemporary discourse it is understood as:
‘...information given [often] using pre-designed rating schedules, forms or ‘‘score sheets’’ that might contain a tick in a box against a particular criterion or characteristic to indicate whether the work being assessed has that attribute’ (Jolly and Boud, 2013: 105).
컨텍스트에서 평가 피드백 저하: 대량화, 시장화, 오해 및 불일치
Assessment feedback discourses in context: Massification, marketisation, misunderstandings, and mismatches
대량화의 영향(고등교육에 참여하는 적격 인구의 15~40%를 가리키는 말로 이해됨)은 문제가 있다. 교육을 하나의 산업으로 형성하는 포스트모던 이념은 긴장 상태에 있으며, 이는 교육을 '잔혹한 낙관론'으로 규정하며, 인간 발전을 지향하는 학원에 의해 설립되고 지배되기 때문에, 학생 등록과 소득 창출을 지향하는 제도에 박차를 가하기 때문이다. (Barnett, 1997: 6; McCardle-Clinton, 2008). 학자들에게 있어서 소비자 사회로의 전환에 따른 대량화 및 시장화 고등 교육 시스템은 '고등 교육의 과정과 지점에 대한 부적절한 개념'(Barnett, 1997: 163), 교육은 '준비된 식사'와 같은 '포장'이 되고 '쉽게 소비하기 위해' 만들어진다(Mcardle-Clinton, 2008: 95).
The impact of massification (understood as the term that refers to 15–40% of an eligible population participating in Higher Education) is problematic. The postmodern ideology that shapes education as an industry is in tension, subject to what Berlant (2011) defies as ‘cruel optimism’, because it is founded on, and dominated by an academy geared towards human development, thrust into a system that is geared towards student enrolment and income generation (Barnett, 1997: 6; McCardle-Clinton, 2008). For academics, a massified and marketised higher education system, predicated on the shift to a consumer society, results in ‘inadequate notions of the process and point of higher education’ (Barnett, 1997: 163), where education has become ‘encapsulated’, like a ready-meal, and ‘packaged for easy consumption’ (McCardle-Clinton, 2008: 95).
HE의 대량화는 학습의 틀을 좁히는 결과를 가져왔고, 이는 일반적으로 역사적으로 보다 반복성이 덜하다(Nicol, 2010; Rae and Cochrane, 2008; Taras, 2006).
Massification of HE has resulted in a narrow framework of learning, and one which is typically less iterative than historically (Nicol, 2010; Rae and Cochrane, 2008; Taras, 2006).
캡슐화된 교육 실습에서의 규모의 경제가 평가 실무에서는 복제되지 않았다(Glover와 Brown, 2006). 모듈화는 지도, 상호작용, 실습 및 학생들의 수행에 대한 체계적인 지식 개발 기회를 감소시켰다(Boud and Molloy, 2013b; Hounsell, 2008). 지식과 피드백은 단편적이 되었으며, 한 모듈에서 다른 모듈로 학습을 진전시킬 기회가 감소했다(Yorke, 2001).
The economies of scale in capsule education teaching practice have not been replicated in assessment practice (Glover and Brown, 2006). Modularisation has resulted in decreased opportunities for guidance, interaction, practice, and students’ development of systematic knowledge of their performance (Boud and Molloy, 2013b; Hounsell, 2008). Knowledge and feedback is piecemeal in nature (Glover and Brown, 2006), and there are reduced opportunities to carry forward learning from one module to another (Yorke, 2001).
피드백의 표현
The representation of feedback
학생들이 피드백에 만족하지 않는다는 것을 인식하는 것은 한 가지다.
Recognising that students are dissatisfied with feedback is one thing
이것이 가치 있는 이유 탐구.
Exploring why this might be is valuable;
평가 피드백은 대부분 오해되거나 적어도 학습자가 완전히 접근할 수 없다(Carless, 2006; Higgins et al., 2001; Weaver, 2006). (암묵적 가정을 포함하여) 학생들은 피드백의 이해와 사용에 대한 조언이 필요하다. 그래야만 피드백에 engage하고, 그것으로부터 배울 수 있는 능력을 개발하고, 피드백이 '배움의 잠재력을 방해'하는 장벽이 되지 않을 수 있다.
Assessment feedback discourses are largely misunderstood or at least not fully accessible to learners (Carless, 2006; Higgins et al., 2001; Weaver, 2006). Students need advice on understanding and using feedback, including its tacit assumptions, in order both to develop the capacity to engage with it and learn from it (Carless, 2006; Hounsell, 2008; Weaver, 2006) and to avoid feedback becoming a barrier that ‘distort[s] the potential for learning’ (Carless, 2006: 220).
연구에 따르면, 학생들의 해석과 강의자들의 피드백의 의도는 종종 일치하지 않는 것으로 나타났다. (Rae와 Cochrane, 2008; Sopina와 McNeill, 2015; Weaver, 2006) 학생과 강사는 피드백을 극단적으로 달리 개념화할 가능성이 높으며(Higgins et al., 2001), 피드백의 성격에 대한 인식과 그것이 사용되는 사용 간의 차이를 초래한다(Glover와 Brown, 2006).
Research indicates that student interpretations, and lecturers’ intentions, of feedback are often mismatched (Rae and Cochrane, 2008; Sopina and McNeill, 2015; Weaver, 2006). Students and lecturers are likely to conceptualise feedback in dramatically different ways (Higgins et al., 2001), resulting in a disparity between the perceptions of the nature of feedback and the use to which it is put (Glover and Brown, 2006):
이러한 포지션은 '집단적 환멸'의 주제로 피드백을 제공한다(Hounsell, 2008: 2; 강조 추가). 학생 성장, 개발, 학습, 성취에 가장 강력한 단일 영향 중 하나인 피드백이, 집단적 환멸로 인하여 피드백에 대한 불만족이나, 반박과 부정으로 이어질 수 있고, 따라서 결국 제거될 수 있기 때문에 문제가 된다.
This positions feedback as the subject of ‘collective disillusionment’ (Hounsell, 2008: 2; emphasis added). This is problematic because collective disillusionment in feedback – one of the most powerful single influences on student growth, development, learning, and achievement – could result in disaffection towards it (Ahmed, 2014) or, in Bordieu’s terms in refusals and negations (1984, 2010), and ultimately therefore in elimination.
현대의 서면 피드백은 transmission 모드로 작동하며, '빈약한 대화'로 특징지어지는 less-iterative 시스템을 나타낸다(Nicol, 2010: 501). 그것은 '...개선을 위한 1차적 수단이라는 부담을 지우고, 교사학생 토론(Nicol, 2010; Sadler, 2010: 541)에 근거한 역사적 관행을 대체할 것으로 기대된다.
Contemporary written feedback operates in a transmission mode (Rae and Cochrane, 2008), symptomatic of a less-iterative system characterised by ‘impoverished dialogue’ (Nicol, 2010: 501). It is expected to ‘...carry the burden of being the primary instrument for improvement’ and to replace historic practice based on teacher–student discussion (Nicol, 2010; Sadler, 2010: 541).
여기 다시 긴장감이 감돈다. 피드백(학생들이 학습 개선의 근거로 사용하는 정보로서 넓은 원칙으로 이해)이 오해와 불일치에 의해 지배된다면, 집단적 환멸이 크게 나타난다. 현대의 (대규모) 고등 교육 프레임워크에서, 글로 쓰여진 피드백은 거부와 부정의 위험이 있는 동시에, 학습에 가장 강력한 단일 영향 중 하나이기도 하다. 그 결과, 배움은 심각하게 위협받고 있다.
Here is the tension again. If feedback (understood in broad principle as being information used by students as a basis for improving learning) is dominated by misunderstandings and mismatches, collective disillusionment looms large. Written feedback within a contemporary (mass) higher education framework is at risk of refusal and negation, whilst simultaneously being positioned as one of the most powerful single influences on learning. Learning then is seriously threatened
피드백의 표현은 어떤 종류의 일을 하는가?
What kind of work does the representation of feedback do?
본 논문은 영국 대학의 모듈화된 학부 사회과학 프로그램에 종사하는 학생들과 관련된 소규모 연구의 경험적 자료를 바탕으로 한다. 이 연구는 학생연구원이 연구팀 내에 위치하는 파트너십 기반 모델을 채택했다.
this paper draws on empirical data from a small-scale study involving students engaged in a modularised undergraduate social science programme in a British University. The study adopted a partnership-based model in which a student-researcher was positioned within a research team
참가자로서뿐만 아니라 연구 설계, 수행 및 평가 내에서 학생들을 참여시키는 것은 우리의 연구, 실습 및 연구 실천을 향상시키는 데 핵심적인 역할을 한다. 이러한 파트너십 기반의 접근방식이 '용맹'인지(O'Donovan et al., 2015)를 고려했을 때, 위험에 직면했을 때 용기를 보여주는 것인지에 관심이 쏠린다. 우리가 차지하고 있는 공간에 따라 반응이 달라질 것이다. 이 공간들은, 또 다른 이원론을 그리기 위해, 노르덴스바 ̈rd(2011년)가 '소비자 은유 대 시민 은유'로 식별하는 지각 한계 안에 있다.
Engaging students within the design, conduct, and evaluation of research, and not just as participants, is central to improving our research, our practice, and our research practice. Considering whether such a partnership-based approach is ‘brave’ (O’Donovan et al., 2015), whether it demonstrates courage in the face of danger is intriguing. Responses will differ according to the space(s) we occupy. Those spaces, to draw on another dualism, lie within the perceptual limits of what Nordensva¨rd (2011) identifies as ‘[T]he consumer metaphor versus the citizen metaphor’.
피드백 양식의 수정사항(과정 제출 및 서면 피드백의 전자 프로세스에 포함됨)은 다음과 같은 세 가지 주요 특징으로 구성되었다.
The modifications to the feedback form (embedded within an electronic process of coursework submission and return of written feedback) comprised three key features:
. 피드백을 위한 섹션(제출된 작업이 텍스트 내 주석을 동반하거나 더 상세하지만 전면 시트에 국한될 수 있는 범위에서 요약 평가)
. a section for feed-back (a summary evaluation of the extent to which the submitted work demonstrated the module learning outcomes) that could be either short and accompanied by in-text annotations, or more detailed but limited to the front-sheet;
. 개발을 위한 세 가지 우선순위 측면을 중심으로 구성된 피드 포워드를 위한 섹션(미래 작업 개선을 위한 영역에 집중) 이러한 섹션은 (숫자) 등급 표시기 앞에 있으며, 그 뒤에 (수정된 양식에서) 다음과 같은 내용이 뒤따랐다.
. a section for feed-forward (focussing on areas for improvement in future work) structured around three priority aspects for development. These sections preceded the (numeric) grade indicator, which (in the modified form) was followed by;
. 학생들이 (수치) 세분화된 등급을 더 잘 평가할 수 있도록 하기 위해 대학 종합 평가 기준(등급 밴드별로 구분된 일련의 기준)을 시각적으로 분석할 수 있는 물리적 강조.
. the physical highlighting of the University generic assessment criteria (a series of criteria differentiated by grade band) to provide a visual analysis of strengths and areas for development, geared towards helping students better appreciate the (numeric) fine-grading.
연구 설계 및 실행 시 고려 사항
Considerations in the design and practice of the study
이 후 학생 연구자('EM')는 현재의 연구와 실무를 숙지하기 위해 평가 피드백에 관한 문헌의 초기 검토를 이끌었다.
After this the student-researcher (‘EM’) led an initial review of the literature on assessment feedback to familiarise herself with current research and practice.
EM은 조사를 위한 초기 영역을 식별했다(표 1).
EM identified initial areas for investigation (Table 1).
전자파 및 나 자신 사이에서 이러한 주제에 대한 논의는 탐사를 위한 세 가지 광범위한 목표를 식별하는 것으로 이어졌다.
Discussion of these themes between EM and myself led to the identification of three broad objectives for exploration:
1. 학생들이 (서면) 총괄 피드백에 어떻게 engage하는가? 즉, 학생들은 어떻게 종합 피드백을 이해하고 접근하며 경험하는가?
1. How do students engage with (written) summative feedback? That is, how do students understand, approach, and experience summative feedback?
2. 총괄적 피드백의 결과로 학생들이 자신의 업무의 강점과 발전에 대한 이해를 얼마나 포괄적으로 하고 있는가?
2. How comprehensive is students’ understanding of the strengths and areas for development of their work as a result of the summative feedback?
3. 학생들은 종합 피드백을 받은 결과 무엇을 하는가?
3. What do students do as a result of receiving summative feedback?
EM는 그러한 그룹 토론을 용이하게 한 이전의 경험이 없기 때문에 EM과 나 자신 사이의 논의 후에 포커스 그룹 내에서 사용하기 위한 일련의 프롬프트가 생성되었다. 이 프롬프트는 서면 요약 피드백에 대한 학생들의 경험의 탐구를 지원하는 것 외에도 학생들이 (필로 표시된) 피드백 양식을 평가하고 개선을 위한 권고사항을 제시하는 방법에 대해 대화를 할 수 있도록 설계되었다.
A series of prompts for use within the focus group were created, following discussion between EMand myself, as EMhad no previous experience of facilitating such a group discussion. In addition to supporting the exploration of students’ experience(s) of their written summative feedback, the prompts were designed to enable students also to engage in dialogue around how they would evaluate, and make recommendations for improvement to, the (piloted) feedback form(Table 2).
정규 학생 30명은 1학년에서 2학년까지의 비율을 약 1:2로 하여, 4개의 뚜렷한 학습 프로그램(학과의 프로그램의 약 절반)을 대표하는 연구에 참여하기로 동의했다.
Thirty full-time students consented to participate in the research, representing four distinct programmes of study (approximately half of the Department’s programmes), with a ratio of firstto second-year student of approximately 1:2.
5개의 포커스 그룹 회의가 열렸다. EM은 각각의 오디오 녹음을 기록하고 포스트 잇 노트를 수집했다.전자적으로 TM 데이터. 우리는 전체 대본을 검토하고, 초기 반응을 논의하며, 서로의 질문을 하고(해명과 검증을 위해), 떠오르는 '의미단위'를 고려하고(웰링턴, 2015) 보다 심층적인 분석의 기초가 되는 주제를 파악하기 위해 만났다.
Five focus group meetings were held; EM transcribed the audio-recording for each and collated the post-it noteTM data electronically. We met to review the full transcripts, discuss our initial reactions, ask questions of each other (for clarification and verification), consider emerging ‘units of meaning’ (Wellington, 2015), and discern themes for the basis of a deeper analysis.
학생들은 어떻게 종합 피드백을 이해하고, 접근하고, 경험하는가?
How do students understand, approach, and experience (written) summative feedback?.
학생들이 어떻게 서면 피드백을 경험하는지에 대해 들은 내용은 문헌에서 잘 리허설되었다(예: Boud and Molloy, 2013a,b; Carless, 2006; Glover and Brown, 2006; Hounsell, 2008; Weaver, 2006; Zimbardi 등, 2016 참조). 거의 모든 학생들은 코멘트 내용을 읽기 전에 (양식 하단의) 성적부터 본다고 보고했다. 비록 많은 학생들이 글을 읽지 않는다고 보고했지만, 대부분의 학생들은 필기된 코멘트들을 이차적으로 검토했고, 종종 학생이 점수가 '나쁘다'고 인식했을 때 특히 코멘트를 읽는 것을 미룬다고 보고했다. 대부분의 학생들은 코멘트를 한 번만 읽는다고 보고했다. 이렇게 하는 것에 대한 명확한 근거는 없었고, 오히려 피드백은 읽고 버리는 것, 또는 어떤 면에서 '일회용'으로 개념화되는 것으로 보였다. 일부 학생들은 피드백이 후속 모듈과는 관련이 없을 것이라고 생각했기 때문에 피드백을 한 번만 읽는다고 보고했다.
What we heard about how students experience written feedback is well rehearsed in the literature (see for example, Boud and Molloy, 2013a,b; Carless, 2006, 2007; Glover and Brown, 2006; Hounsell, 2008; Weaver, 2006; Zimbardi et al., 2016). Overwhelmingly, students reported locating their grade (at the bottom of the form) before reading the written comments. Most students reviewed the written comments as a secondary activity, although many reported never reading the written comments, and often students reported delaying reading the comments particularly if they perceived the grade as ‘bad’. Most students reported reading the comments only once. There was no explicit rationale for this, rather feedback appeared to be conceptualised as disposable or in some way ‘single-use’. Some students reported reading the feedback only once because they felt it would have no relevance to subsequent modules.
학생들은 자신의 피드백을 자주 이해하지 못한다고 설명했으며, 종종 다음과 같이 자신을 혼란스럽게 했다.
Students described not understanding their feedback more often than understanding it, often reporting themselves as confused by:
1. 모호함:
2. 생소하거나 불필요하게 전문화된 것으로 인식되는 용어의 사용:
3. 불일치:
1. Vagueness:
2. The use of terms that are unfamiliar, or perceived as unnecessarily specialised:
3. Inconsistencies:
학생들은 일반적으로 모듈을 통과했을 때 안도감을 느꼈고 피드백을 이해하기 어려울 때 좌절감을 느꼈다고 보고했다. 비록 예전에 갖고 있던 '단일 사용' 또는 일회용 피드백이래는 개념이 현대 'throw away' 사회 또는 학습에 대한 의도적인 표면 접근법의 반영이 될 수 있지만, 대체적인 해석은 피드백의 수용에 있어서 연구되지 않은 영역임을 시사한다.
Students generally reported experiencing relief when they passed modules, and frustration when feedback was difficult to understand; and, although the (earlier) conceptualisation of ‘single-use’ or disposable feedback could be a reflection of a contemporary ‘throw away’ society or of deliberate surface approaches to learning (Nicol, 2010), an alternative interpretation suggests the under-researched area of emotional investment in the receipt of feedback (Poulos and Mahony, 2008).
영향(감정을 넘어선 반응력)에 대한 그녀의 연구에서, 아메드(2014년)는 감정affect는 object에 대해서 가까워지거나 멀어지는 결과를 초래할 수 있다고 경고한다. 그리고 새들러(2010: 539)는 비동기적이고 일반적으로 독백적인 성격 때문에 쓰여진 것에 대해 상당한 'affective outlay'을 하도록 피드백 작성자들에게 주의를 준다. 피드백을 영향력 있고 관계 있는 것으로 경험하는 방법의 특성(만약, 그렇다면/따라서)도 데이터에서 명백했다.
In her work on affect (responsive forces beyond emotion), Ahmed (2014) warns of the risk that affect can result in towardness or awayness in relation to its object(s), in this case: feedback. And Sadler (2010: 539) cautions writers of feedback to ensure they commit considerable ‘affective outlay’ to what is written, because of its asynchronous, typically monologic, nature. The nature of how feedback is experienced as affective and relational (if, then/so) was also evident in the data:
피드백의 결과로 학생들이 자신의 업무의 강점과 영역을 이해하는 것은 얼마나 포괄적인가?
How comprehensive is students’ understanding of the strengths and areas for development of their work as a result of the feedback?.
학생들은 요약 서면 피드백에서 장점이나 긍정적인 진술을 식별하기 어려웠으며, 그 결과 요약과 텍스트 내 의견 사이의 불일치가 있을 때 특히 오해가 발생했다고 설명했다.
Students described finding it hard to discern strengths or positive statements in the summary written feedback, resulting in misunderstandings particularly connected to inconsistencies between the summary and in-text comments:
학생들은 긍정적인 것에 대한 분명한 욕구를 표현했다. 또한 binary하게, (건설적) 비판에 대한 반대한다.
Students expressed an explicit desire for positives, as approval, and in binary opposition to their perception of the disapproval of (constructive) criticism:
학생들은 서면 요약 피드백을 받은 결과 무엇을 하는가?
What do students do as a result of receiving written summative feedback?.
압도적으로 학생들은 요약 서술문 또는 텍스트 내 코멘트를 읽기 전에 점수부터 확인했다고 밝혔다.
overwhelmingly students identified that they located the grade before reading the summary narrative or in-text comments (if at all):
세 가지 우선순위 개발 지점이 일반적으로 도움이 된다고 여겨졌지만, 이것은 대체로 그것들이 summary narrative의 '분해' 즉 증류로 인식되었기 때문이다. 이 증류로부터, 한 학생은 더 상세하고 분석적이며 자율적인 반응을 보고했다: '그래, 나는 먼저 점수를 보고, 그 다음에 내 과제를 다시 읽어서 강조된 내용을 확인했고, 거기에 주석을 단 어떤 것이든 그것을 피드백 시트와 연결하려고 했다.'
Whilst the three priority development points were generally considered to be helpful, this was largely because they were perceived as ‘breaking down’, or distilling, the summary narrative. From this distillation, one student reported a more detailed, analytic, autonomous response: ‘Yeah I looked at the mark first and reread my assignment to see what had been highlighted as well, and anything annotated on there as well and tried to link that with the feedback sheet’.
시범 형태에 대한 학생들의 평가.
Students’ evaluation of the piloted form.
학생들은 자신에게 도움이 되는 서면 피드백을 제공하는 상위 세 가지 특성을 고려하도록 요청받았고, 다음과 같이 식별되었다.
Students were asked to consider the top three characteristics that make any written feedback helpful to them, and identified:
1. 후속 평가를 개선할 수 있는 방법의 명확한 식별.
2. 긍정적 코멘트가 있음
3. 접근성/가용성(전자적 형식은 피드백을 읽을 수 있고 '향후 사용을 위해 저장'할 수 있다는 것을 의미한다.
1. Clear identification of ways to improve subsequent assessments.
2. The inclusion of positive comments.
3. Accessibility/availability (an electronic format means that feedback is legible and could be ‘saved for future use’).
기준 (2)는 '장점'의 식별과 '긍정적' 코멘트를 명시적 구별한다는 것을 확인했다는 점에서 흥미롭다. 즉, 개선 방법이 논리적으로 따라올 수 있는 평가 요약보다는, 학생들은 (개선해야 할 방법과 함께) 칭찬 또는 승인에 대한 선호가 있음을 보여준다. 이는 교육의 affective fabric을 보여준다(Staunaes, 2016): 피드백의 형식에 의해서 학생들의 정서적 회복력이 무력화되기도 한다.
Criterion (2) is interesting insofar as it confirms the explicit distinction of ‘positive’ comments from the identification of ‘strengths’; suggesting a preference for praise or approval alongside ways in which to improve, rather than an evaluative summary from which ways to improve might logically follow. This illuminates the affective fabric of education (Staunaes, 2016): students’ emotional resilience appears in some way disabled by the format of the feedback.
학생들이 양식에 대해 어떤 개선을 권고할 것인지를 묻는 질문에 학생들은 압도적으로 양식의 하단에서 상단으로 점수(grade)을 재배치할 것을 제안했다. 많은 이들은 또한 요약 서술과 우선순위 개발 영역 간의 균형을 변경하여 전자의 수를 줄이고 후자의 것을 더 많이 요청하며, '비판'을 받을 기회를 줄이고 '사물을 바르게' 하는데 필요한 것을 더 많이 식별할 것을 제안했다.
When asked what recommendations for improvement(s) to the form students would make, overwhelmingly they suggested relocating the grade from the bottom to the top of the form. Many also suggested an alteration in the balance between the summary narrative and the priority development areas, requesting less of the former and more of the latter; suggesting less opportunity to receive ‘criticism’ and more identification of what is necessary to ‘put things right’.
영향?
Impact?
그럼에도 불구하고 중요한 한 가지 결과는 학생들이 후속 연도에 유용한 것으로 보고되었다. 즉, 성적은 피드백 양식의 상단으로 재배치되었다. 어떤 의미에서 이것은 'brave'한 것이다. (O'Donovan et al., 2015; 이것은 확실히 논쟁적이고, 평가 피드백에 대한 학습 이론과 현대 문헌에 부합하지 않으며, 지역적이고, 맥락화된 근거에 기반한 것이고, (국지적으로) 피드백이 어떤 representation을 갖는지에 의해서 정당화된다.
One small, but nonetheless significant, outcome was reported by students as being useful them in the follow-up year: the grade was repositioned to the top of the feedback form. In some senses this is ‘brave’ (O’Donovan et al., 2015); it is certainly controversial, and justified not through engagement with learning theory and the contemporary canon of literature on assessment feedback, but through attending to a local, contextualised, evidence base and paying attention to the kind of work the (local) representation of feedback does.
연구자 및 지식인으로서 우리는 '체계적이고 비판적이며 자기 비판적인 조사'에 대한 윤리적 책임을 지고 있다(Bassey, 1990: 35; 강조). 학생들과 연구에 참여하고 또한 우리의 연구의 설계, 수행 및 평가 내에서 학생들을 참여시키는 것은 우리의 연구, 우리의 관행, 그리고 우리의 연구 관행을 향상시키는 데 중심적이다. 이것은 또한 '이론적으로 건전한 접근법(To Evalually sound approachs to evaluation feedures)' (O'Donovan et al., 2015)을 채택할 수 있는 진정한, 상황화된, 근거 기반을 채택할 수 있는 방법이다.
As researchers and intellectuals we have an ethical responsibility for ‘systematic, critical and self-critical inquiry’ (Bassey, 1990: 35; emphasis added). Engaging with students in research and also engaging students within the design, conduct, and evaluation of our research is central to improving our research, our practice(s), and our research practice(s). It is also a way in which genuine, contextualised, evidence bases, from which ‘theoretically sound approaches [to assessment feedback]’ (O’Donovan et al., 2015) can be adopted.
도발자의 역할을 가정하면
Assuming the role of provocateur
학습은 심각한 위협을 받고 있다. 대규모화되고 시장화된 고등 교육 시스템에서 피드백의 표현representation of feedback이 학생들에게 하는 일work의 종류는 직접적으로 그러한 위협에 기여한다.
There is a danger that learning is under serious threat. The kind(s) of work the representation of feedback does for students in a massified and marketised Higher Education system directly contributes to that threat.
지식사회는 학습이 의미하는 사회적 인식론을 운영한다. 이 때 학습은 '... 목적을 함양하고 대응, 또는 의식적 사고를 가능하게 하는 가치 있는 종류의 발전' 이다. 학습은 '학생들이 다양한 소스의 피드백에 참여하여 그것을 개선하기 위해 사용하는 과정'에서 발전하는 것이다. 가치있는 종류의 학습을 개발하기 위해서, 그것은 피드백을 따른다.
A knowledge society operates a social epistemology (Barnett, 1997) in which learning means ‘... developments of worthwhile kinds, with some insight, that fosters purpose and that enables response, or conscious thinking’ (Barnett, 1997: 159), and learning is understood to develop from ‘process[es] in which students engage with feedback from various sources and make use of it to improve’ (Carless, 2015: 192). To develop worthwhile kinds of learning then, it follows that feedback
대상자가 학생이라면, 우리는 오늘날의 학생들이 (정책적으로) 소비자로서, 대학 시장에서 상품과 서비스의 제공자로서 위치하며, 지적 변화를 나타내는 "being"에서 "having"으로의 이동이 있었다는 것을 인정해야 한다.일부 학생들은 이론적 내용과의 투쟁에 반대하여 권리를 이행하는 데 만족을 추구한다(Williams, 2011: 172).
If the subjects are students, we must appreciate that today’s students are positioned (by policy) as consumers, in a market of universities as providers of products and services, and there has been ‘...a move from‘‘being’’ to ‘‘having’’ [that] represents an intellectual shift...with some students seeking satisfaction in the fulfilment of their rights as opposed to a struggle with theoretical content’ (Williams, 2011: 172).
그리고 대상이 학생이고, 평가 피드백이 (학생) 학습에 가장 강력한 단일 영향 중 하나라면, 사회 인식학에 필수적인 피드백은 학생들 내에서의 목적을 증진시키고 학생들에게 유용해야 한다. – 그것은 가치있어야 한다. 하지만 Boud와 Molloy는 경고한다. '[대량화와 모듈화 때문에] 보다 최근의 평가 체제는 가치 있는 학습 기회를 희생함으로써 발생했다.'
And if the subjects are students, and if assessment feedback is one of the most powerful single influences on (student) learning, then feedback integral to a social epistemology must foster purpose within students and be useful to students – it must be valuable. Yet Boud and Molloy (2013b: 699) warn that ‘[the] more recent regime of assessment may have arisen [because of massification and modularisation] at the expense of worthwhile learning opportunities’.
피드백은 참여를 위하여 재구성되어야 한다. 상호작용이 가능하고 독립적인 피드백(Boud and Molloy, 2013b)은 물론 피험자가 학생만이 아님을 인식한다. 학생과 학자 모두가 피드백을 정의하는 미끄러운 공간을 차지하고 있다.
Feedback must be reframed for participation. Mutually constructed and codependent feedback (Boud and Molloy, 2013b) recognises, of course, that the subjects are not only students. Students and academics (and others) occupy the slippery spaces that define feedback.
학생과 학자들이 피드백을 정의하는 공간을 공유한다면 피드백에 대한 집단적 환멸은 같은 방식으로 존재할 수 없다. 피드백에 대한 공동 연구를 통해 환멸을 줄일 수 있는데, 여기서 정책 동인의 꼬리가 학습견을 흔들어 보려는 시도가 중단된다(적어도). 그러나 이것은 새롭고 용감하며 접근법을 필요로 할 것이다. '규칙, 프로세스 및 자원 배분에 대한 근본적인 변화를 수반하는 것 같다.' (O'Donovan et al., 2015: 946).
Collective disillusionment in feedback cannot exist in the same way if students and academics share the spaces that define feedback. Disillusionment can be reduced through shared research into feedback, where the tail of policy drivers is interrupted (at least) in its attempt(s) to wag the learning dog. But this will require new, brave, approaches, ‘...likely to involve fundamental changes to rules, processes and resource allocations’ (O’Donovan et al., 2015: 946).
Misunderstandings and mismatches: The collective disillusionment of written summative assessment feedback
Feedback is slippery, its meaning changes according to the space(s) you occupy within the perceptual limits that define it; these can range from feedback perceived as correction, to feedback perceived as longitudinal developmental. This provocation focuses on written summative assessment feedback, a format that remains one of the most common practices within academic programmes, that has the potential to be one of the most powerful influences on student growth, development, and learning, and yet which many students report never reading. I develop the argument that written summative assessment feedback is the subject of collective disillusionment – the result of students misunderstanding assessment feedback discourses, and the mismatch(es) between student interpretations and lecturers’ intentions of feedback. As provocateur, I argue that collective disillusionment not only risks the negation of written feedback, but it also seriously threatens learning. I draw upon empirical data to illuminate how paying attention to the kind(s) of work the representation of feedback does can contribute to feedback being reframed for participation and offer an open invitation for further dialogue viaResearch in Education.
Filling the feedback gap: the unrecognised roles of shame and guilt in the feedback cycle
William E Bynum IV
이 저널의 이 에디션에 게재된 메타 리뷰에서, 반 드 리더 외 연구진.1은 이러한 질문에 대한 통찰력을 제공한다. 그들의 분석은 피드백 프로세스, 효과 또는 둘 모두에 영향을 미치는 33개의 변수를 식별했다. 그들은 변수를 피드백 사이클의 네 가지 단계에 매핑하고 미래 단계와 전체적인 피드백 효과에 대한 그들의 영향을 분석하였다.
In their meta-review published in this edition of the journal, van de Ridder et al.1 provide insight into these questions. Their analysis identified 33 variables that influence the feedback process, effect or both. They mapped the variables to the four phases of the feedback cycle and analysed their influence on future phases and the overall feedback effect.
연구진의 분석은 피드백을 수집하는 데 사용되는 프로세스에 영향을 미치는 변수에 대한 강력한 결과를 산출하지만(A 및 B 페이지), 피드백의 통신과 수신에 영향을 미치는 변수에 대한 정보의 상대적 부족을 보여준다(C 및 D 페이지). 저자들은 피드백 효과가 자존심에 위협적인 것으로 인식되면 낮춘다고 결론짓지만, 단계 C와 D에 대한 데이터가 상대적으로 부족하기 때문에 이 강력한 발견에 대한 더 깊은 이해가 불가능하다고 결론짓는다. 따라서, 이 연구는 의미 있는 피드백을 가장 잘 수집하고 준비하는 방법에 대한 설득력 있는 정보를 제공하지만, 이를 효과적으로 전달하고 건설적인 방식으로 수신할 수 있도록 보장하는 방법에 대해서는 중대한 gap이 있음을 보여준다.
While the analysis yields robust findings about variables that influence the processes used to collect feedback (phases A and B), it reveals a relative paucity of information about the variables that influence the communication and reception of the feedback (phases C and D). The authors conclude that feedback effectiveness is lowered if it is perceived as threatening to self-esteem,1 but the relative lack of data about phases C and D preclude a deeper understanding of this powerful finding. Thus, although the study provides compelling information about how to best gather and prepare meaningful feedback, it identifies a critical gap in our understanding about how to effectively communicate it and ensure that it is received in a constructive manner.
이 격차를 해소하기 위해, 우리는 피드백 과정에서 수치심과 죄책감이 작용하는 역할을 조사할 수 있다. 피드백을 받은 사람이
피드백을 받는 사람이, 검사를 받게 된 동작이나 행동이 아니라, 자신의 자신에 대한 부정적인 평가를 하게 될 때 수치심을 유발한다. 그 결과, 수치스러운 개인은 작고 열등하며 노출되었다고 느끼고, 스스로를 결함이 있고 가치가 없다고 볼 수도 있다.
반면에 죄책감은 불편한 피드백을 받았을 때 자기자신보다는 행동이나 동작에 집중하는 방식으로 대처하는 경향이다. 죄책감을 느끼는 사람들은 '내가 한 일은 나쁘지만 나는 나쁘지 않다'라고 말할 수 있다. 죄책감과 동반되는 부정적인 정서적 반응이 있지만, 그것은 자신에게 일반화되지 않으므로, 따라서 자기 평가를 해치는 것으로 이어지지 않는다.5
To begin addressing this gap, we might examine the roles played by shame and guilt in the feedback process.
Feedback leads to shame when the recipient receives it and adopts a negative evaluation of his or her self, as opposed to the behaviour or action under scrutiny.2,3 As a result, shamed individuals feel small, inferior and exposed and may see themselves as defective and unworthy.2
Guilt, on the other hand, is the tendency to respond to difficult feedback by focusing on the action or behaviour rather than the self.4 People who experience guilt are able to say: ‘This thing I did was bad, but I am not bad.’ Although there is still a negative affective reaction with guilt, it does not generalise to the self and thus does not lead to damaging self-assessments.5
내가 피드백을 주었던 레지던트는 그것을 self-level에서 해석했고, 자신을 1학년 레지던트(죄의식 대응)의 전형적인 도전에 허덕이는 능력 있는 학습자라기보다는 부족하고 부족하다고 보았다.
The resident to whom I provided feedback interpreted it at the self-level, and viewed himself as deficient and not good enough (a shame response), rather than as a capable learner who was struggling with typical challenges for a first-year resident (a guilt response).
수치심과 죄책감을 구별하는 것은 매우 중요하다. 왜냐하면 수치심과 죄책감은 학습에 중요한 의미를 지닌 다른 결과로 이어지기 때문이다.
수치심은 뒤로 물러서버리거나 숨기거나, 책임을 부인하며, 당면한 문제를 무시하려는 욕구로 이어진다.
이와는 대조적으로, 죄책감은 교정reparative 행동을 자극하고, 그 상황에서 성장하려고 시도하며 그 행동이 다시 일어나는 것을 막는다.
Distinguishing between shame and guilt is critically important because they lead to different outcomes with significant implications for learning.
Shame leads to a desire to withdraw or hide, deny responsibility, and ignore the problem at hand.2,3,6
Guilt, by contrast, stimulates reparative action and attempts to grow from the situation and prevent the behaviour from happening again.3,6
이것이 학습에 적용되면,
수치심은 비판적 학습 과정으로부터 멀어져버리게 만들 잠재력을 가지고 있다.
죄책감은 반대로 참여를 자극할 수 있는 잠재력을 가지고 있다. 따라서 죄책감이 피드백 프로세스의 주요 최종 목표가 되어야 한다.
Applied to learning,
shame has the potential to promote detachment from critical learning processes, whereas
guilt has the potential to stimulate engagement, the latter of which should be a primary end goal of the feedback process.
피드백을 전달할 때(C단계) 아무리 선의의 교사라도 학습자의 행동이 아닌 학습자 자신self에 대한 피드백을 일반화하게 되면 수치심을 유발할 수 있다. 학습자의 self에 초점을 맞춘 피드백은 그 효과성이 떨어지고 회피 행동, 자기 효과성 감소, 그만두려는 욕구 증가 등 해로운 결과를 초래하는 것으로 나타났는데, 이 모든 것은 수치스러운 반응과 일치한다. 이러한 결과를 피하고 학습자를 보다 건설적인 대응으로 이끌기 위해, 교사들은 학습자가 변화시킬 수 있는 특정 행동에 초점을 맞춰야 한다.7
When communicating feedback (phase C)1, even the most wellintentioned teachers can induce shame by generalising the feedback to the learner’s self, rather than his or her actions. Feedback that focuses on the learner’s self has been shown to decrease in its effectiveness and lead to damaging outcomes including avoidance behaviour, decreased self-efficacy, and an increased desire to quit,7–10 all of which are consistent with a shame response. To avoid this outcome and steer a learner towards a more constructive response, teachers should focus on specific actions that the learner can change, rather than core, unchangeable facets of his or her personality.7
굴욕적인 방식으로 전달되는 피드백은 수신자에게 수치심을 유발할 수도 있다. 의학의 교육에서는 humiliation, 즉 다른 사람을 비하하고 비하하는 행위가 불안하게 만연하고 있다. 굴욕적인 피드백에 대응하여 수치심을 경험하는 학습자는 그 치료가 정당하고 정확하며 합당하다고 믿는다. 그 결과 굴욕감이 주는 메시지, 즉 자기는 원래 부족한 사람이라고 믿음으로써 자신에 대한 부정적인 시각을 채택할 수도 있다.
Feedback that is communicated in a humiliating manner may also induce shame in the recipient.11 Humiliation, or the act of putting another in a lowered, debased position, is disturbingly prevalent in medical education.12 A learner who experiences shame in response to humiliating feedback believes that the treatment is justified, accurate and deserved.13 As a result, he may adopt a negative view of himself by believing in the message that humiliation sends: that he is inherently deficient.
W박사와의 세션에서 나는 행동 중심의, non-humiliating 방식으로 피드백을 전달했지만, 그럼에도 불구하고 그는 수치심을 경험했다. 이는 피드백 수신자의 수치심 경험 성향에 영향을 미치는 추가 요인의 존재를 시사한다. 심리학 문헌은 수치심에 대한 감수성과 근본적인 우울, 불안, 과거의 수치스러운 사건 등과 연관이 있음을 보여준다.
In my session with Dr W, I communicated the feedback in an actionfocused and non-humiliating way and yet as he received it (phase D)1, he experienced shame. This suggests the presence of additional factors that influence the feedback recipient’s tendency to experience shame. The psychology literature makes associations between susceptibility to shame and underlying depression,5 anxiety14 and past shaming events.15,16
임상 훈련은 철저한 조사scrutiny의 시간이며, 이 때 자신의 약점, 나쁜 습관, 지식 부족을 발견하게 되는 시간이다. 이처럼 높은 수준의 노출과 비판을 각오하지 않은 학습자, 특히 classroom에서 높은 학문적 성공을 거둔 학습자와 완벽을 기하기 위해 노력하는 학습자는 이 환경에서 심각한 도전에 당면할 수도 있다. 그 결과, 학생들은 자신의 부족함이 드러나는 자기 평가와 높은 수치심에 취약해지는 경향이 생길 수 있다. 이 뒤를 이어 정상적이고 기대되는 학습이 이어지는데, 여기에는 일상적이고 필요한 건설적 피드백 커뮤니케이션, 약점의 노출, 의료 오류 발생 등이 포함된다.
Clinical training is a time of intense scrutiny and the necessary ‘unearthing’ of weaknesses, bad habits and knowledge deficits. As such, it may present serious challenges for learners who are not prepared for such a high degree of exposure and criticism, especially those who achieved high academic success in the classroom and those who strive for perfection. As a result, they may be predisposed to damaging self-assessments and high levels of shame susceptibility following normal and expected facets of learning,17 including the routine and necessary communication of constructive feedback, exposure of weaknesses, and occurrence of medical error.
피드백으로 인한 수치심을 어떻게 피할 수 있을까? W 박사에게 수치스러운 반응을 인식한 것은 나에게 의학을 배우는 나 자신의 고군분투(오늘도 계속됨), 자신의 불완전함에 대한 커져가는 위안, 그리고 그들 둘 다 나에게 매일 개선을 위해 주는 동기 등에 대해 그에게 마음을 열 수 있는 기회를 주었다. 그렇게 함으로써, 나는 정상화와 취약성을 모델링하려고 시도했는데, 이 두 가지 방법 모두 학습자가 수치스러운 반응으로부터 멀어지게 하는 데 도움이 될 수 있다.
How can feedback-induced shame be avoided? The recognition of a shame response in Dr W provided me the opportunity to open up to him about my own struggles in learning medicine (which continue today), my growing comfort with my own imperfection, and the motivation they both give me to improve every day. In doing so, I attempted to utilise normalisation and to model vulnerability, both of which may help guide learners away from shame responses.18,19
1 van de Ridder JMM, McGaghie WC, Stokking KM, ten Cate OTJ. Variables that affect the process and outcome of feedback: a meta-review. Med Educ 2015;49:658–73.
Comment
,49 (7), 644-7
Filling the Feedback Gap: The Unrecognised Roles of Shame and Guilt in the Feedback Cycle
