의학교육의 혁신(n engl j med, 2014)

Innovation in Medical Education

David A. Asch, M.D., and Debra F. Weinstein, M.D.




2014년 7월 29일, IOM(Institute of Medical Institute of Medical Education)의 거버넌스 및 자금조달에 관한 보고서를 발표하였다.1 IOM 연구의 중요한 부수적인 발견은 GME의 실질, 조직, 자금조달의 향후 방향을 알리기 위해 이용할 수 있는 근거의 기반이 상당히 제한적이라는 것이었다. 근거가 제한적이라는 것은, 의료 분야에 대한 체계적인 연구 투자 부족을 반영한다. 

On July 29, 2014, the Institute of Medicine (IOM) released its report on the governance and financing of graduate medical education (GME).1 An important incidental finding of the IOM’s study was that the evidence base available to inform future directions for the substance, organization, and financing of GME is quite limited. The limited evidence reflects a systematic lack of research investment in an area of health care that we believe deserves better.


우리 나라의 의학교육에서의 연구 부족은 산업, 자선 단체, 그리고 대중이 후원하는 거대하고 필수적인 생명 의학 연구에 대한 헌신과 극명하게 대조된다.

Our nation’s lack of research in medical education contrasts starkly with the large and essential commitment to biomedical research funded by industry, philanthropic organizations, and the public.


의학교육연구가 생의학의 발전을 전달하고 이끌 수 있는 인력을 창출하는 데 핵심적 역할을 함에도 불구하고, 의학교육연구에 대한 펀딩은 심각하게 부족하다.

despite medical education’s central role in creating a workforce capable of delivering the resulting biomedical advances funding for medical education research is conspicuously absent.


GME의 현재 지속시간, 설정 및 조직은 근거의 산물이라기 보다는 전통의 산물이며 환자와 치료 제공 시스템의 상당한 변화에도 불구하고 거의 변하지 않았다.2

The current duration, settings, and organization of GME are more the product of tradition than of evidence and have changed little in the face of substantial changes in the health needs of patients and the systems for delivering care.2


학부 의대에서 어떤 변화가 있어야 하는가?

20년에서 30년 정도 실무에 임하는 의사들의 지속적인 역량을 어떻게 보장해야 하는가?

What should change in undergraduate medical education, and how should we ensure the continued competence of physicians 20 to 30 years into practice?


어느 정도까지, 연방 GME 기금은 의료 사업자의 지리적 또는 전문적 분포의 불균형을 해결하기 위한 효과적이거나 적절한 수단이다.

to what extent federal GME funding is an effective or appropriate tool for addressing imbalances in the geographic or specialty distribution of health care providers.


전반적으로 미국은 연간 약 3조 달러의 의료비를 지출하는데, 거의 모든 의료비 지출이 임상의사를 통해 이루어진다. 그러나 바로 이 의료진이 양성되는 방법을 개선하는 데 초점을 둔 조직화된 연구 투자는 존재하지 않는다.

Overall, the United States spends nearly $3 trillion a year on health care, nearly all of it delivered through clinicians, with no organized research investment directed at improving the way those clinicians are produced.


IOM 위원회는 이 공백을 메우기 위해 "전환 기금"을 제안했다.

The IOM committee has proposed a “Transformation Fund” to fill this void.


우리는 다음과 같은 접근법을 제안한다.

We propose the following approach.


첫째, 수련training 성공의 타당하고 실현 가능한 조치들을 규정할 필요가 있다. 의료 훈련의 기본 목표는 변화하는 환경에서, 환자와 모집단의 건강을 개선하는, 경제적으로 지속 가능한 관리care를 제공할 수 있는 인력의 양성이다. 우리의 의학교육 시스템은 그러한 목표에 따라 평가되어야 한다.3 그러나 현재의 의학교육은 프로세스 척도(전공의가 충분한 사례, 충분한 강의, 충분한 수면를 보장받았는가) 또는 시험성과 같은 중간 성과를 통해 평가되고 있다. 

First, valid and feasible measures of training success need to be defined. The fundamental goal of medical training is the production of a workforce capable of delivering economically sustainable care that will improve the health of patients and populations in a changing environment. Our system of medical education should be judged against those goals.3 Medical education is currently assessed through process measures (whether residents get enough cases, enough lectures, enough sleep) or intermediate outcomes such as exam performance. 


역량 평가가 점차 더 많은 관심을 받고 있지만, 레지던트의 역량과 환자 결과 사이의 연관성은 입증된 것이 아니고, 그럴 것이라 가정하는 것일 뿐이다. 의학교육의 대안적 프로세스를 평가하기 위해, 우리는 학교와 훈련 프로그램의 졸업생들이 제공하는 치료의 질, 분배, 비용 등 의미 있는 결과를 일상적으로 평가하기 위한 시스템이 필요하다. 결과 중심 접근방식은 혁신을 촉진하는 데 있어서 추가적인 이점을 가지고 있다. 왜냐하면 성공이 결과에 의해 결정되는 경우, 대안적 프로세스가 그 결과를 달성하는 방법으로서 시도될 수 있기 때문이다.4

Although competency assessment is receiving increased attention, the connections between resident competency and patient outcomes are assumed rather than demonstrated. In order to evaluate alternative processes of medical education, we need systems for routinely assessing meaningful outcomes: the quality, distribution, and cost of care delivered by the graduates of our schools and training programs. Outcomes-driven approaches have the additional advantage of fostering innovation, because when success is determined by outcomes, alternative processes can be tried as ways to get there.4


둘째, 의학교육의 구조와 내용에 대한 근본적인 변화를 검토할 필요가 있다. 의료 훈련을 위한 최적의 접근방식은 현재의 관행과 극적으로 다를 수 있다. 의미 있는 결과 조치를 취하면 다음과 같은 보다 근본적인 질문을 검토할 수 있다. 

  • 의대를 졸업하거나 레지던트 교육을 받는 것이 시간 기반이 되어야 하는지 아니면 역량 기반이 되어야 하는지

  • 현재 전공과 세부전공의 구분방식delineation이 국가의 의료 요구와 일치하는지 여부 

  • diverse public의 넓고 변화하는 요구에 효율적으로 봉사할 수 있는 졸업생을 배출하는 커리큘럼을 제공하기 위해 어떤 교육 전략이 가장 좋은지

Second, we need to examine fundamental changes to the structure and content of medical education. Optimal approaches for medical training may differ dramatically from current practice. With meaningful outcomes measures in hand, we can examine more fundamental questions, such as 

  • whether graduation from medical school or residency training should be time-based or competency-based, 

  • whether the current delineation of specialties and subspecialties aligns with the country’s health care needs, and 

  • which teaching strategies are best for delivering a curriculum that produces graduates who can efficiently serve the broad and changing needs of a diverse public. 

우리는 또한 임상 훈련장소가 어떻게 조합되었을 때 가장 유용한지, 헬스테크놀로지의 진화하는 능력을 어떻게 활용하는 것이 최선인지에 대한 결정에 도움이 되는 연구가 필요하다. 실제로 치료 지점point of care에서 의료 정보의 가용성이 증가하면, 새로운 의사를 만드는 시간과 비용을 줄이고, 기존 의사의 관행은 현재처럼 유지하는 방향으로 일부 자원을 전환할 수 있다.

We also need research that can inform decisions about the most useful mix of clinical training sites and the best ways to utilize the evolving capabilities of health information technology. Indeed, the increasing availability of medical information at the point of care might allow us to reduce the time and cost of creating new physicians and redirect some resources toward keeping the practices of established physicians current.


셋째, 의학교육 자금 지원을 위한 새로운 모델들이 시범 운영될 수 있다. GME가 그렇게 많은 관심을 받는 한 가지 이유는 많은 돈이 그것을 통해 흘러 들어가기 때문이다.

Third, new models for financing medical education could be piloted. One reason that GME gets so much attention is that a lot of money flows through it.


지원자가 적은 분야나 지역에 따라서는 더 큰 payment를 사용하거나 stipends를 없앨 수도 있을 것이다. 심지어 지나치게 subscribed되는 세부전공에 대해서는 tuition을 charge하는 것도 가능할 것이다.

Other experiments might assess the effect of using larger payments to direct trainees toward undersupplied specialties or geographic areas, or eliminating stipends — or even charging tuition — for subspecialties that are oversubscribed.5


오늘날 우리에게 증거가 부족하다고 해서 우리가 10년 또는 20년 후에 전달할 교육이나 해야 할 정책 변화에 대해서도 증거를 가질 수 없다는 것을 의미하지는 않는다.

The fact that we lack evidence today doesn’t mean that we can’t have evidence for the education we will deliver or the policy changes we will need to make in 10 or 20 years.


우리가 암환자에게 제공하는 치료는 화학요법, 방사선요법 또는 수술이 필요할 수 있으며, 각각의 치료법은 그 뒤에 증거기반이 있는데, 그것은 우리가 혁신하고 개선할 수 있도록 하는 연구투자의 지원을 받는 것이다. 이러한 치료의 이면에는 임상의사가 있다. 그리고 이들의 개발/양성development 또한 혁신의 가치가 있다.

The care we deliver to patients with cancer may require chemotherapy, radiation therapy, or surgery, and each of those treatments has an evidence base behind it — one that’s supported by a research investment that allows us to innovate and improve. Behind each of these treatments are also clinicians, and their development is also worthy of innovation.




 2014 Aug 28;371(9):794-5. doi: 10.1056/NEJMp1407463. Epub 2014 Jul 30.

Innovation in medical education.

Author information

1
From the Center for Health Care Innovation, Perelman School of Medicine, and the Wharton School, University of Pennsylvania, and the Center for Health Equity Research and Promotion, Philadelphia Veterans Affairs Medical Center - both in Philadelphia (D.A.A.); and the Department of Medicine, Massachusetts General Hospital, Partners Health Care System, and Harvard Medical School - all in Boston (D.F.W.).
PMID:
 
25075620
 
DOI:
 
10.1056/NEJMp1407463


잠재교육과정 이용하기: 임상실습에서 성찰적 역량을 개발, 강화하는 데 단계(Adv in Health Sci Educ, 2014)

Harnessing the hidden curriculum: a four-step approach to developing and reinforcing reflective competencies in medical clinical clerkship

Cheryl L. Holmes • Ilene B. Harris • Alan J. Schwartz •

Glenn Regehr





배경

Background


의료 행위와 관련된 광범위한 영역에서 문제적 행동이 묘사되어 왔다.

Problematic behavior has been described in a wide range of domains related to medical practice,


이러한 문제들은 다양한 접근법을 이용한 개혁에 집중된 노력에도 불구하고 현저하게 지속되어 왔다. 지식과 기술이 아니라 전문직 문화의 문제일 수도 있기 때문이다. 

These issues have been remarkably persistent despite concentrated efforts at reform using a variety of approaches, perhaps because they are issues not of knowledge and skill, but of professional culture.


이러한 문제를 수정하기 위한 [한 가지 접근방식은 행동이 enact되는 시스템 구조를 변경]하는 것이다.(Amalberti et al. 2005;Kohnetal).1999; Leape et al. 2012a). 환자안전운동은 아마도 이 접근방식을 가장 잘 표현한다. 예를 들어, 환자 안전에 관한 IOM(Institutes of Medicine) 보고서인 'To Err is Human'은 사람들이 [잘못된 일을 하는 것은 어렵게 하고, 옳은 일을 하는 것을 쉽게 하는] 시스템으로 바꿀 필요성을 강조했다(Kohn et al. 1999).

One approach to redressing these issues has focused on trying to change the system structures in which the behaviours are being enacted (Amalberti et al. 2005;Kohnetal.1999; Leape et al. 2012a). This approach is perhaps best represented by the patient safety movement. The Institutes of Medicine (IOM) report on patient safety, ‘‘To Err is Human’’, for example, accentuated the need to change the system in order to make it hard for people to do the wrong thing and easy for people to do the right thing (Kohn et al. 1999).


그러나 보고서가 발표된 지 12년이 지난 지금, 이 보고서의 핵심 참여자는 다음과 같이 말했다.

Yet 12 years after the report’s release a prominent participant in the development of the report stated,


그러나 우리는, 우리의 진보가 느린 근본적인 원인은 노하우나 자원의 부족이 아니라 변화에 저항하는 기능장애적 문화dysfunctional culture라고 믿는다. 이 문화의 중심에는 개인의 특권과 자율성을 선호하는 의사들의 ethos가 있다. 즉, 무례한 행동으로 이어질 수 있는 가치들이 의료에 스며드는 기능장애적 문화의 '근원 원인'이다...(Leape et al. 2012a).

We believe, however, that the fundamental cause of our slow progress is not lack of know-how or resources but a dysfunctional culture that resists change. Central to this culture is a physician ethos that favors individual privilege and autonomy—values that can lead to disrespectful behavior…the ‘root cause’ of the dysfunctional culture that permeates health care…(Leape et al. 2012a).


Leape의 논평은 이러한 문제를 해결하기 위한 두 번째 접근법을 강조한다. 즉, 이러한 분야에서 의사들의 행동을 변화시키기 위해 [개별 의사의 지속적인 전문적 발전]에 초점을 맞추고 있다(Kulier et al. 2008; Brigley et al. 1997). 불행히도, 문헌에는 이러한 노력도 역시 현재까지 실질적인 변화를 이끌어내지 못했다고 보고있으며, 그래버(2009)는 의사들의 관심 부족으로 환자 안전 의제가 교착상태에 빠졌음을 암시했다.

Leape’s comment highlights a second approach to addressing these issues: one that has concentrated on the continuing professional development of individual physicians in order to change their behavior in these areas (Kulier et al. 2008; Brigley et al. 1997). Unfortunately, there is a sense in the literature that these efforts, too, have failed to produce substantive change to date, leading Graber (2009) to suggest that the patient safety agenda has stalled due to lack of doctor interest.


이러한 좌절을 겪으며, 많은 사람들은 관행을 개선하기 위한 최선의 해결책은 [다음 세대의 의사들을 더 잘 교육시키는 데 우리의 노력을 집중하는 것]이라고 제안했다. Graber는 이 접근법을 명시적으로 설명하면서, "우리는 다음 세대 의사들은 "그것을 깨달을get it" 가능성에 큰 희망을 가지고 본다."(2009, 페이지 1125),

As a result of these frustrations, many have suggested that the best solution to improving practice is to concentrate our efforts on better educating the next generation of physicians. Graber articulates this approach explicitly, stating, ‘‘We look with great hope at the possibility that the next generation of clinicians will ‘get it’’’ (2009, p. 1125),


우리가 이 논문에서 더 깊이 탐구할 것은 학생들을 [문화 변화의 파트너로 참여시키는 세 번째 선택]이다. 학생들이 해결책의 일부가 될 수 있도록 하는 데 있어 큰 잠재력을 인정하면서, 이 논문의 초점은 이 목적을 향해 학생들을 교육하는 데 고려되어야 할 특정한 문제에 있을 것이다.

It is this third option of engaging students as partners in culture change that we will explore more deeply in this paper. recognizing the great potential in empowering students to be part of the solution, the focus of this paper will be on the particular issues that should be considered in educating students toward this end.


우리는 의도적인 선택의 전제조건은 성찰이고, 의도적인 성찰의 전제조건은 반성이 필요할 때 알아차리는 것이고, 알아차리는 것의 전제조건은 (우리가 "priming"라고 부르는 것을) 무언가를 알아차릴 필요가 있음을 인식하는 것이라고 주장한다.

We argue that a prerequisite of intentional choice is reflection, a prerequisite of intentional reflection is noticing when reflection is necessary, and that a prerequisite of noticing is becoming aware that there is something requiring noticing (what we are calling ‘‘priming’’).



개념적 이슈들

Conceptual issues


많은 사람들이 다음 세대 전문가를 교육하는 것이 현재 의학에서 직면하고 있는 많은 전문적 문제에 대한 해결책이 될 수 있다고 제안했지만, 이 과정에는 추가적인 고려와 공들여 필요한 것 같은 몇 가지 개념적 문제들이 있다.

While many have suggested that the education of the next generation of professionals might be the solution to many of the professionalism issues currently faced in medicine, there are several conceptual issues in this process that seem to require further consideration and elaboration.


  • (1) 교육의 목표(우리가 정확히 무엇을 위해 교육하고 있는가) 

  • (2) 이러한 목표를 달성하기 위한 (및 잠재적 해결책)의 어려움 

  • (3) 이러한 문화 변화에 대한 접근법에서 잠재적 위험(그리고 이러한 위험을 최소화하는 메커니즘)이 있다.


(1) The goals of education (what exactly are we educating for); 

(2) The difficulties of (and potential solutions for) achieving these goals; and 

(3) The potential dangers (and mechanisms to minimize these dangers) in this approach to culture change.


의대생들의 교육을 통한 의학의 문화변혁의 목표

The goal of effecting a culture change in medicine through the education of medical students


첫째, 많은 저자들은 학생들이 교육을 잘 받고 제대로 권한을 부여받으면 모든 의사들의 변화의 힘으로 작용할 수 있다고 주장해왔다(파파파디모스와 머레이 2008). 즉, 이 문헌에 따르면, 학생들은 긍정적인 역할 모델과 부정적인 역할 모델 모두에서 전문적인 행동을 알아차리고 감사하며 배울 것이다(Jochemsen-van der Leeuw et al. 2013; Karnieli-Miller et al. 2010). 따라서 학생들은 적절한 코칭을 받으면 선배 동료들이 프로페셔널리즘의 과실lapse을 보이는 상황을 파악하고 개입할 수 있을 것이다.

First, many authors have argued that if students are well educated and properly empowered, they could function as a force for change of all physicians (Papadimos and Murray 2008). That is, the literature suggests that students notice, appreciate and learn about professional behavior from both positive and negative role models (Jochemsen-van der Leeuw et al. 2013; Karnieli-Miller et al. 2010). Thus, with coaching, they might be able to identify and intervene in situations where their senior colleagues demonstrate lapses in professionalism practices.


예를 들어, 영국의 의학적 윤리 및 법률 학부 교수에 관한 컨센서스 보고서는 내부고발 행위를 핵심 커리큘럼 목표로 권고하고 있다(UK-Consensus-Statement 1998). 마찬가지로 캐나다 의료보호청(CMPA) 모범사례 가이드는 의대생들이 목소리를 높이도록 교육하기 위해 고안된 온라인 학습 모듈(즉 CMPA가 'effective assertiveness'라고 부르는 것)을 제공한다.

The UK Consensus Statement on undergraduate teaching of medical ethics and law, for example, recommends whistle-blowing as a core curricular goal (UK-Consensus-Statement 1998). Similarly, the Canadian Medical Protection Agency (CMPA) Good Practice Guide offers on-line learning modules designed to train medical students to speak up: an activity the CMPA has termed ‘‘effective assertiveness’’ (2012).


그러나 어떤 사람들에게 이러한 접근은 현재의 의학 문화에서 비현실적으로 보인다. 무엇보다 학생들은 시스템 내에서 특히 취약한 집단이기 때문에 이런 식으로 개입하는 것이 어렵다(Goldie et al. 2003).

To others, however, this approach seems unrealistic in the current culture of medicine. Students are a particularly vulnerable group in the system, making it difficult for them to intervene in this way (Goldie et al. 2003).


(Gaufberg et al. 2010)


내가 수술 후 열이 나는 한 가지에 대해 입증되지 않은 요법을 사용하거나 아미노글리코시드를 처방하는 것에 대해 외과의사에게 이의를 제기하지 않는지 알겠는가? 특히 노출 후 프로필라스가 없을 때 바늘봉에 대해 소란을 피우지 말라는 것을 나는 알고 있는가? 우리가 선택한 수술 기법이 종양의 씨앗을 뿌릴 위험이 있다는 나의 우려를 어떻게 적절히 제기해야 하는지 알고 있는가? 그리고 이러한 문헌이 뒷받침하는 우려가 거부될 때 어떻게 하면 단순히 의사가 원하는 것이기 때문에 잘못된 시술을 할 수 있을까? 물론이다(p. 1712).

Do I know not to challenge a surgeon about using disproved regimens or prescribing aminoglycosides for a single post-op fever? Do I know not to make a fuss about needle sticks, especially when there’s no post-exposure prophylaxis? Do I know how to appropriately raise my concern that our chosen surgical technique risks seeding a tumor and how to keep quiet when these literature-supported concerns are rejected so that the wrong procedure can be undertaken simply because that’s what the surgeon wants to do? Absolutely (p. 1712).


더욱이 전문성 문제의 맥락에서 권위에 대한 예우는 단순한 생존 전략 이상의 것일 수 있다. 그것은 기대치에 대한 순응, 다른 사람의 승인 획득, 권위를 존중하고 질서를 유지하는 것으로 특징지어지는 의료 정체성medical identity 발달의 한 부분이다(Patenaude et al. 2003). 

Moreover, in the context of professionalism issues, deference to authority may be more than simply a survival strategy; it is a part of the development of medical identity, characterized by 

    • conformity to expectations, 

    • gaining approval of others, 

    • respecting authority and 

    • maintaining order (Patenaude et al. 2003). 


학생들이 직접 문제를 제기하고, 그에 따라 교사의 행동을 형성하기를 기대하는 것은 (전문화에서 이 중요한 상황적 요소를 무시하기 때문에) 성공할 가능성이 낮다(Brainard 및 Brislen 2007; Goldie et al. 2003; Rennie and Crosby 2002).

Expecting students to directly challenge and thereby shape the behaviors of their preceptors ignores this important contextual factor in professionalization and is therefore unlikely to be successful (Brainard and Brislen 2007; Goldie et al. 2003; Rennie and Crosby 2002).


대안적이고 덜 극단적인 접근방식은, 학생들이 부정적인 역할 모델에 의해 보여지고 있는 안전하지 않거나 전문적이지 않은 관행을 채택해야 하는 압력에 저항하는 것을 돕는 것이다. 예를 들면, 어떤 학생은 다른 팀원들이 그렇게 하지 않을 때에도, 환자의 방에 들어가기 전에 손을 씻는 것과 같은 바람직한 행동을 할 것이다. 그런 행위는 확신에서 비롯된 조용한 용기quiet courage of conviction를 필요로 한다. 이러한 작은 행위들은 종종 '긍정적 일탈'이라고 불리는 것을 형성하는데, 이는 성공적인 아웃라이어가 되는 것이다(블랜턴과 Christie). 이 접근방식의 어려움은 임상적 맥락에서 practice의 현실에 직면했을 때, 학생들의 가치와 표준이 침식된다는 것이다(Bombeke et al. 2010; Coulehan and Williams 2001; Neumann et al. 2011).

An alternative, and perhaps less extreme, approach would involve helping students to resist the pressure to adopt the unsafe or unprofessional practices being exhibited by negative role models. Thus, the student would enact a desired behavior, such as washing hands before going into the patient’s room, even when the rest of the team doesn’t. Such an act takes a quiet courage of conviction. These small acts form what is often referred to as ‘‘positive deviance’’, being the successful outlier (Blanton and Christie 2003). The challenge with this approach is that students’ values and standards erode when they are confronted by the realities of practice in the clinical context (Bombeke et al. 2010; Coulehan and Williams 2001; Neumann et al. 2011).


우리가 의학 교육 문헌을 읽었을 때, 이 두 가지 접근법이 잘 분리되어 있지 않다는 것을 알 수 있다.

Our reading of the medical education literature suggests that these two approaches are not well separated.


두 가지 접근법 모두 가치가 있다. 학생들이 말을 크게 할 수 있도록 하는 것은, 만약 성공한다면, 상급 의사들의 행동을 변화시킴으로써 의료 행위 문화를 더 빨리 바꿀 수 있는 가능성을 가지고 있다.

Both approaches have value. Empowering students to speak up, if successful, has the potential to change the culture of medical practice more quickly by changing senior physicians’ behavior.


그러나, 우리는 두 번째 접근법이 학생들이 그들의 멘토들에게 직접적으로 문제를 제기하기를 요구하지 않기 때문에 더 성공가능성이 높다고 믿는다. 따라서 본 논문의 뒷부분에서, 우리는 두 번째 접근법, 즉 학생들이 [그들이 목격하게 된 비전문적 행동을 채택하라는 압력에 저항할 수 있도록 돕는 것]에 초점을 맞출 것이다.

However, we believe that the second approach may be more achievable since it does not require students to directly challenge their mentors. For the remainder of this paper, therefore, we will focus on the second approach, i.e., helping students to resist pressures to adopt the unprofessional behaviors that they may witness



우리의 노력을 저해하는 숨겨진 커리큘럼의 힘

The power of the hidden curriculum to undermine our efforts


우리가 학생들이 비전문적인 행동에 직면하여 조용하지만 자신있게 전문직업성을 유지할 수 있도록 하는 것을 목표로 한다고 가정할 때, 그 과정은 여전히 불명확하다. 그러한 노력의 복잡성과 어려움은 잘 문서화되어 있다(Brainard and Brislen 2007). 예를 들어, 피셔는 학생과 레지던트가 의료 오류로부터 배우는 방법에 영향을 미치는 상황 요인의 중요성을 기술했다.

Assuming that we aim toward the goal of empowering students to quietly and confidently remain professional in the face of unprofessional behavior, the process remains unclear. The complexities and difficulties of such an effort are well documented (Brainard and Brislen 2007). Fischer, for example, described the importance of contextual factors in influencing how students and residents learn from medical errors, stating that,


어떤 학습자들은 그들의 개인적 성향이 무엇이든 간에 훈련을 시작하면서 재빨리 '의료계적 관점'을 수용한다고 암시했다. 대부분의 학습자들은 이렇게 "adopt한" 의료 문화의 영향이 개인의 윤리를 넘어선다고 생각했다(Fischer et al. 2006, 페이지 420).

Some learners indicated that whatever their personal tendencies, they quickly assumed the ‘perspective of medicine’ as they began training…. Most learners felt that the influence of this ‘adopted’ medical culture superseded their individual ethic (Fischer et al. 2006, p. 420).


    • Jarvis-Selinger 외 연구진(2012년)은 우리의 의료전문직정체성의 많은 부분이 [커뮤니티의 일에 참여하며 규칙적이고 규범적인 방법으로 적응하는 과정을 거치며] 잠재의식 수준에서 형성된다고 제안했다. 

    • 마찬가지로, Lave와 Wenger(1991)는 그들의 [실천 공동체] 이론에서 [정체성과 멤버십이 새로운 직업의 필수 지식과 기술을 개발하기 위한 핵심 동기]라고 묘사한다. 

    • 역할 모델링이 행동에 미치는 강력한 영향에 대한 이론적 근거는 반두라의 사회적 인지 이론에서 찾을 수 있다; 이것은 사람들이 다른 사람들이 하는 것을 보고 모방함으로써 배운다는 것을 나타낸다(반두라 1986; 반두라, 허스턴 1961).

    • Jarvis-Selinger et al. (2012) have suggested that much of our medical professional identity is shaped at the subconscious level by a process of acculturation into the regulative and normative ways of being and participating in the community’s work. 

    • Similarly, Lave and Wenger (1991) in their theory of communities of practice, describe the importance of identity and membership as a key motivational force to develop the requisite knowledge and skills of a new profession. 

    • A theoretical basis for the powerful influence of role modeling on behavior can be found in Bandura’s social cognitive theory; which indicates that people learn by watching and mimicking what others do (Bandura 1986; Bandura and Huston 1961).


교육자의 언어를 빌리자면(Jackson 1968), Hafferty(1998)는 이러한 의학의 문화를 "숨겨진 커리큘럼"으로 묘사했으며, 이는 현재 많은 사람들에 의해 공식적인 커리큘럼보다 더 강력한 의대생 행동 결정 요소로 인식되고 있다(Gaufberg et al. 2010; Ginsburg et al. 2003; Hafferty 1998). 따라서, 공식적인 커리큘럼은 학생들에게 적절한 전문적인 행동을 가르치는 것 외에 내용과 교육적인 방법을 포함해야 한다(Graber 2009).

Borrowing the language of educators (Jackson 1968), Hafferty (1998) described this transmission of the culture of medicine as the ‘‘hidden curriculum’’ which is now recognized by many as a more powerful determinant of medical student behavior than the formal curriculum (Gaufberg et al. 2010; Ginsburg et al. 2003; Hafferty 1998). A formal curriculum, therefore, must include content and instructional methods other than just teaching appropriate professional behaviors to students (Graber 2009).


학생들이 숨겨진 커리큘럼의 힘을 효과적으로 관리하도록 도울 목적으로 커리큘럼을 설계하려면 

    • 준수compliance(관찰된 행동에 대한 묵인)와 

    • 순응conformity(자신의 행동 변화)의 문제를 고려해야 한다. 

Designing a curriculum with the intent of helping students effectively manage the power of the hidden curriculum will require consideration of the issues of 

    • compliance (acquiescence to an observed behavior) and 

    • conformity (changing one’s own behavior). 


적합성, 적합성 및 반 적합성에 관한 문헌에 따르면 순응conforming은 부분적으로 맥락에 달려 있으며, 부분적으로는 개인의 특성이다(Asch 1951; Hornsey et al. 2003, 2007).

The literature on compliance, conformity and counter-conformity tells us that the likelihood of conforming is, in part, a function of context and, in part, a function of the characteristics of the individual (Asch 1951; Hornsey et al. 2003, 2007),


    • 순응은 우리가 현실에 대한 정확한 인식을 형성하고, 그에 따라 반응하고, 의미 있는 사회적 관계를 발전시키고 보존하며, 호의적인 자기 개념을 유지하도록 돕는 데 가치가 있지만, 우리는 동시에 다른 사람들과 우리 자신을 구별하고자 하는 동기가 있다(Cialdini and Goldstein 2004). 

    • 따라서 일탈조절이론(DRT)개인이 바람직한 방식으로 기준집단 규범에서 벗어나는 행동을 함으로써 때때로 의미있는 정체성을 창조하는 방법을 강조한다(블랜턴과 크리스티 2003).

    • while conformity is valuable in helping us to form accurate perceptions of reality and react accordingly, to develop and preserve meaningful social relationships, and to maintain a favorable self-concept, we are also motivated to distinguish ourselves from others (Cialdini and Goldstein 2004). 

    • Deviance regulation theory (DRT), therefore, highlights how individuals will sometimes create meaningful identities by engaging in actions that deviate from reference group norms in desirable ways (Blanton and Christie 2003).


따라서, 개인이 반규범적 행동에 관여하도록 동기를 부여하는 상황, 즉 인식된 행동 규범과는 정반대로 행동을 하는 상황이 있다. 예를 들어, 만약 여러분이 상대방이 당신보다 더 많이 마시고 있고 술을 마시는 것이 바람직하지 않다고 믿는다면, 여러분은 더 적게 마셔서 긍정적인 정체성을 얻는다(Ferer et al. 2012). 우리 학생들의 긍정적인 일탈에 대한 그러한 경향을 강화하고 활용함으로써, 바람직하지 않은 행동조차 모방하게 만드는 강력한 사회적 및 전문직업적 영향력에 counteract하는 기회를 제공할 수 있다.

Thus, there are situations in which individuals are motivated to engage in counter-normative behavior; behavior that is the opposite of the perceived behavioral norm. For instance, if you believe that your counterparts are drinking more than you and drinking is undesirable, then you derive positive identity by drinking even less (Ferrer et al. 2012). Reinforcing and leveraging such tendencies toward positive deviance in our students may offer opportunities counteract the powerful socializing and professionalizing influences to conform even when the behaviors they are emulating are undesirable.


저항에 대한 교육의 장애물

Some caveats to educating for resistance


그러나 긍정적인 일탈을 유발하는 이러한 접근방식은 그 나름의 위험을 가지고 있다. 앞에서 기술한 바와 같이, 숨겨진 커리큘럼은 단순히 부적절한 관행의 원천이 아니라, 적절한 실천의 원천이기도 하며, 따라서 다음 세대에 직업의 가치와 관점을 주입하는 핵심 메커니즘으로 간주될 수 있다. 그러므로 우리가 만약 학생들에게 저항하는 것을 가르치고 있다면, 우리는 [그들이 실제로 의사가 되는 것이 무엇을 의미하는지 배우지 못하는 상황]을 만들지 않도록, 주의 깊게 해야 한다는 것을 알아야 한다. 즉, 만약 우리가 학생들에게 역할 모델링에 대한 일반적인 저항을 가르친다면, 우리는 continuous한 실천 공동체의 느낌을 주는 가치, 기술, 수행의 연속성을 한 세대에서 다음 세대로 전수하지 못할 수도 있다.

This approach of instilling positive deviance, however, has its own dangers. As described earlier, the hidden curriculum is not merely a source of inappropriate practices, but also a source of appropriate practices, and thus might be considered a key mechanism for instilling the values and perspectives of the profession in the next generation. We therefore need to be aware that if we are teaching students to resist, we must do this carefully so that we don’t create circumstances in which they fail to learn what it means to be a physician in practice. That is, if we teach our students generic resistance to role modeling, we may lose the continuity of the values, skills and performance from one generation to the next that gives the profession the sense of a continuous community of practice.


게다가, 학생들은 workplace에서 보여지는 행동 중 적절한 것과 부적절한 것을 구별하는 것이 때때로 어려울 수 있다. 이 문제는 전문가 관행의 특성상 발생하는데, 이는 종종 애매한 상황의 "스웜피 저지대"에서 전문가를 발견한다(Scho ̈n 1987). 쇼 ̈n은 우리가 올바른 대답이나 표준 절차가 없는 임상 상황에서 우리 학생들이 능숙하게 기능할 수 있도록 하는 데 어려움을 겪고 있으며, professional schools는 종종 학생들이 indeterminate zone of practice에 필요한 역량을 준비시켜주지 않는다고 주장한다.

Moreover, it may sometimes be difficult for students to distinguish between appropriate and inappropriate behaviors modeled in the workplace. This issue arises because of the very nature of professional practice, which often finds the expert in the ‘‘swampy lowlands’’ of ambiguous situations (Scho¨n 1987). Scho¨n asserts that we fail to equip our students to function competently in clinical situations where there are no right answers or standard procedures, and that professional schools often do not prepare students for competence in the indeterminate zones of practice.


전문적 전문가 관행의 핵심은 [언제 확립된 프로토콜과 안전한 관행에 따라야 하는지를 알 뿐만 아니라, 적절할 때 프로토콜을 포기할 수 있는] 직업적 독립성의 창의성과 확신을 갖는 것이다. 상황이 복잡하고 어려운 선택이 필요할 때, 프로토콜에 반하여 적절한 판단을 내리고 창의적 해결책을 적용하는 것은 adaptive expert의 특징으로 간주된다(Mylopoulos 및 Regehr 2007).

Central to expert professional practice is not only knowing when to conform to known protocols and safe practices, but also having the creativity and the conviction of professional independence to abandon the protocols when appropriate. When situations are complex and require difficult choices, the appropriate application of counter-protocol judgment calls and creative solutions is considered the hallmark of the adaptive expert (Mylopoulos and Regehr 2007).


따라서 학생은 환자에게 정보를 주지 않는 것을 '거짓말'로 해석할 수 있는 반면, 실제 임상의는 환자의 질문에 대한 답변을 회피할 수 있으며, 적시에(필요한 정보를 모두 이용할 수 있을 때), 적절한 장소에서 적절한 지원을 통해 환자 및 가족에 대한 적절한 지원을 선택할 수 있다. (긴스버그 외 2008) 그러므로, 학생들이 그들의 선배 동료들이 모델링하는 적응적 행동의 미묘한 점을 인식하고 배우는 것이 중요하다. 그렇지 않으면 우리가 긍정적인 일탈을 촉진하는데 조심하지 않을 때, 우리는 이 과정을 약화시킬 수도 있다.

Thus, a student may interpret the withholding of information froma patient as ‘‘lying’’, whereas a clinician in practice may evade responding to questions by the patient, choosing to break bad news at the right time (when all the requisite information is available), in the right place and with the right supports ready for the patient and her family (Ginsburg et al. 2008). It is, therefore, important that the student appreciate and learn the subtleties of the adaptive behaviors that their more senior colleagues model, a process we may undermine if we are not careful in our promotion of positive deviance.


개념적 이슈의 요약

Summary of the conceptual issues


다음 세대의 의사들에게 바람직한 전문직업적 실천을 시행하도록 교육하는 것은 의학 문화의 기능 장애 측면을 변화시키기 위한 한 가지 접근법으로 보여진다. 

    • 일부 사람들은 내부고발(즉, 학생들이 직업의 경찰요원이 됨)을 가능하게 함으로써 이러한 변화가 일어날 것이라고 제안했지만, 

    • 더 합리적인 목표는 롤모델이 바람직한 행동을 모델링하지 않는 상황에서도, 학생들이 적절한 행동을 유지할 수 있도록 하는 것일 수 있다. 

Educating the upcoming generation of physicians to enact desirable professional practices is seen as one approach to change the dysfunctional aspects of the culture of medicine. 

    • While some have suggested that this change will happen by enabling whistle-blowing (i.e., students become the policing agents of the profession), 

    • a more reasonable goal might be to enable them to enact appropriate behavior even in the context of role models who do not necessarily model these behaviors. 

그러나 이 덜 야심찬 목표조차도 반드시 달성하기가 쉬운 것은 아니다.

Yet even this less ambitious goal is not necessarily easy to achieve.


사회적 학습 이론은 대부분의 학생들이 배우는 것이 우리가 명시적으로 가르치는 것이 아니라 그들의 환경에 위치해 있다는 것situated을 알려준다. 또한 학생들은 comply and conform해야 할 강력한 사회화 동기부여에 직면해 있다. 사회적 일탈 이론은 긍정적인 일탈을 장려하기 위한 흥미로운 개념적 틀을 제공한다. 그러나, 우리는 [순응에 대한 저항]을 조심스럽게 발생시켜야 하며, 그렇지 않으면 멘토들이 모델링하는 긍정적인 전문적 가치와 적응적 전문지식의 연속성을 잃을 위험이 있다.

Social learning theory informs us that most of what students learn is situated in their environment, and not what we explicitly teach them, and they are faced with powerful socializing motivations to comply and conform. Social deviance theory offers an interesting conceptual framework for encouraging positive deviance. However, we must invoke resistance to conformity carefully or run the risk of losing the continuity of positive professional values and adaptive expertise that their mentors also model.


변화를 위한 커리큘럼 개발의 의미

Implications for developing a curriculum for change


그렇다면, 어떻게 하면 학생들이 이러한 강력한 사회적 세력에 효과적으로 대응하면서 적절한 전문화와 전문지식의 개발을 보존할 수 있는 명시적이고 공식적인 교과과정을 개발할 수 있을까?

How, then, might we develop an explicit, formal curriculum that enables students to effectively counter-act these powerful social forces in developing poor habits, while preserving appropriate professionalization and development of expertise?


우리는 숨겨진 커리큘럼(크립과 비그놀드 1999; Harris 1993; Portelli 1993)을 "숨기지 말아야unhide" 할 필요가 있을 것이고, 학생들이 직장에서 직면하게 될 압력에 대한 인식을 심어주고, 그들이 경험하는 것을 이해시키기 위해 그들과 함께 전략을 짜야 할 것이다. 그러므로, 우리의 최고의 전문적인 행동을 제정하기 위해 차세대 의사들을 훈련시키려면, 학생들이 그들의 직업 활동 동안 자신의 추론과 결정을 비판적으로 고려하도록 도와주는 커리큘럼이 필요할 것이다. 우리는 이제 그러한 커리큘럼의 보다 상세한 목표를 제안하고 기술한다.

We would need to ‘‘unhide’’ the hidden curriculum (Cribb and Bignold 1999; Harris 1993; Portelli 1993), bring awareness to our internal motivations to conform, be explicit about the pressures that students will face in the workplace, and co-construct strategies with them to make sense of what they experience. Thus, training the next generation of doctors to enact our best professional behaviors, will require a curriculum that helps students to critically consider their own reasoning and decisions during their professional activities. We now propose and describe the more detailed goals of such a curriculum.


행동을 목적으로 하는 의도적 선택

Intentional choice of behaviors as a goal


궁극적으로, 우리는 우리 학생들이 그들의 독특한 의학적 정체성을 개발하면서 그들의 포부를 검증하고 강화하는 행동을 의도적으로 선택하기를 희망한다.

Ultimately, what we hope to enable our students to do is to intentionally select behaviors that validate and reinforce their aspirations as they develop their unique medical identity.


사회적 영향 연구는 직장 상황에서의 역할 모델링의 힘에도 불구하고, 강력한 지식에 기반을 둔, 이전의 경험을 통해 체계적으로 형성된 태도가 있다면 (바람직한) 행동이 guide될 수 있다는 것을 보여준다(Zimbardo and Leippe 1991). 그렇다면 어떻게 하면 우리 학생들이 그들의 새로운 전문적인 실습에서 이러한 의도적인 긍정적인 선택을 할 수 있을까?

Social influence research indicates that despite the power of role modeling in situations of the workplace, behavior can be guided by attitudes that have a strong knowledge base and that were systematically formed through prior experience (Zimbardo and Leippe 1991). So how do we enable our students to make these intentional positive choices in their new professional practice?


선택을 가능하게 하는 성찰의 역할

The role of reflection in enabling choice


우리는 택의 중요한 precursor는 성찰이라고 제안한다. Harris'(2011년)의 직장 학습에 관한 문헌 검토는 전문적 정체성과 변화적 학습의 발전에 있어서 성찰적 실천의 역할을 조명한다. 의학 교육에 대한 반성을 위한 권고는 도널드 쇼 ̈n의 이론에 그 기원을 두고 있다.

We suggest that a critical precursor to choosing is reflecting. Harris’ (2011) review of the literature on workplace learning illuminates the role of reflective practice in the development of professional identity and transformative learning. Recommendations for reflection in medical education have their origins in the theories of Donald Scho¨n.


Scho ̈n의 (1987) reflection-on-action은 Kolb(1984년)에 의해 상세히 기술된 경험적 학습 주기의 목표와 과정과 매우 유사하다. 그러나 메지로(1990년)는 콜브처럼 성찰과 행동이 양극화되어서는 안 된다고 단언한다. 따라서 성찰은 행동의 필수적인 부분이 된다.

Scho¨n’s (1987) Reflection-on-action is very similar to the goals and processes of the experiential learning cycle elaborated by Kolb (1984): However, Mezirow (1990) posits that reflection and action should not be polarized as in Kolb. Thus, reflection becomes an integral part of action.


Sandars는 Kolb의 (반성 후 상황)와 Scho ̈n의 (반성 후 상황) 작업에 기반을 두고 있으며, 핵심 반영 능력, 반사 전 상황을 추가한다. 이 논의를 위해 Sandars(2009)의 성찰에 대한 정의를 사용할 것이다.

Sandars builds on Kolb’s (reflection-after-situations) and Scho¨n’s (reflection-during-situations) work and adds a key reflective competency, reflection-before-situations. For this discussion, we will use Sandars’ (2009) definition of reflection as,


자아와 상황 모두를 더 잘 이해할 수 있도록 이해를 더욱 발전시키며, 이로서 미래의 상황에 조우했을 때 과거의 조우에서 정보를 얻을 수 있도록 하기 위한 목적으로, 상황 전/중/후에 일어나는 메타인지 과정(p. 685)이다.

A metacognitive process that occurs before, during and after situations with the purpose of developing greater understanding of both the self and the situation so that future encounters with the situation are informed from previous encounters (p. 685).


중요한 것은, 여러 저자들이 "자기 성찰"을 넘어서서 반사의 개념을 추진해왔고, 개개인별 성찰 외에 지도적이고 집단적인 비판적 성찰의 중요성을 강조했다는 점이다(Brookfield 1987; Frankford 등). 2000; Mezirow 1990; Sandars 2009. 보건 직업 교육에 대한 성찰 관행을 체계적으로 검토한 결과, 성찰적 실천의 개발을 가능하게 하는 가장 영향력 있는 요소은 다음과 같다. 

    • 지적으로나 감정적으로나 지지적인 환경. 

    • 정확한 컨텍스트 

    • 학습 방식의 개별 차이에 대한 수용 

    • 멘토링; 

    • 그룹 토론; 

    • 서포트 

    • 자유로운 의견 표현

Importantly, several authors have pushed the concept of reflection beyond ‘‘selfreflection’’ and have emphasized the importance of guided and group critical reflection in addition to individual reflection (Brookfield 1987; Frankford et al. 2000; Mezirow 1990; Sandars 2009). In a systematic review of reflective practice in health professions education, Mann et al. (2009) summarized the most influential elements in enabling the development of reflective practice: 

    • a supportive environment, both intellectually and emotionally; 

    • an authentic context; 

    • accommodation for individual differences in learning style; 

    • mentoring; 

    • group discussion; 

    • support; and 

    • free expression of opinions.


이 조사자들은 자기 성찰self reflection보다 공동 성찰shared reflection이 더 효과적이라고 주장하는데, 이는 자기 평가에 관한 문헌에서 지적하듯, 다양한 출처의 관점이 추가되었기 때문일 가능성이 높다(Eva and Regehr 2008). Mann et al. (2009) 문헌 검토에서는 적절한 지침guidance과 감독이 성찰의 핵심이라고 반복해서 제안했다. 이것은 메지로(1990년)에 의해서도 유사하게 강조되었다.

These investigators argue that shared reflection is more effective than self-reflection, likely due to the addition of perspectives from multiple sources, consistent with the literature on self-assessment (Eva and Regehr 2008). Mann et al. (2009) literature review suggested repeatedly that appropriate guidance and supervision were key to reflection. This was similarly emphasized by Mezirow (1990).


집단 성찰은 단지 우리 자신을 속이는 것을 피하기 위해서만이 아니라, 그렇게 함으로써 안전하고 응집력 있는 학습 공동체를 만들 수 있기 때문에 중요하다. 변혁적 학습에 대한 성찰은 일반적으로 실천공동체의 사회적 맥락에서 일어난다는 해리스(2011년)의 논평이 있다. 프랭크포드(Frankford 등) 2000년)은 [집단은 그것을 구성하는 개인의 합보다 더 큰 정체성을 유지한다]고 제안한다. 이 목표를 향상시키기 위해, guided group reflection를 제안한다.

Group reflection is important, not just to avoid deluding ourselves, but also because in doing so we create a safe and cohesive learning community. Harris (2011) comments that reflection for transformative learning typically occurs in the social context of a community of practice. Frankford (Frankford et al. 2000) suggests that the group maintains an identity that is more than the sum of the individuals who compose it. To enhance this goal, guided group reflection is suggested.


가이드의 역할은 [학생이 달성하고자 하는 자질을 공식화하고, 그것들을 생산하는produce 방법을 탐구]하는 데 도움을 주는 사람으로서, 메지로우 해방적 교육자의 개념을 모델로 삼을 수 있다(메지로 1990). 학생이 이러한 능력을 개발하기 위해서는, 정보를 elicit하기 보다는 가정을 elicit하기 위한 비판적 질문 역량 개발이 필요하다(Mezirow 1990).

The role of the guide can be modeled on Mezirow’s concept of the emancipatory educator, as one who helps the student to formulate the qualities he or she wants to achieve and explores ways to produce them (Mezirow 1990). This involves developing critical questioning competencies, designed to elicit assumptions rather than to elicit information (Mezirow 1990).


의료 교육자들은 임상실습에서 모델링된 행동을 채택하거나 채택하지 않을 때 선택할 수 있는 구체적인 방법으로서 group and guided reflection을 추가로 제안했다.

Medical educators have further suggested group and guided reflection as a specific way to inform choices in adopting or not adopting modeled behavior in the clinical clerkships.


트레드웨이와 채터지(2011년) 코멘트,

Treadway and Chatterjee (2011) comment,


성찰과 토론을 위한 '안전한 공간'을 만든다면, 잠재 교육과정을 노출시킴으로써 그것을 무력화시킬 수 있다. 또한 긍정적인 경험과 부정적인 경험을 모두 emotionally engaged physician을 양성하는 데 도움이 되는 가치와 행동을 강화하는 데 사용할 수 있다(p. 1192).

The creation of a ‘‘safe space’’ for reflection and discussion can disempower the hidden curriculum by exposing it, allowing both positive and negative experiences to be used to reinforce values and behaviors conducive to the development of compassionate, emotionally engaged physicians (p. 1192).


따라서 guided 또는 그룹으로 임상실습 경험에 대한 비판적 성찰은 의학에 숨겨진 커리큘럼을 노출시키고 이 커리큘럼의 어떤 측면을 채택하거나 거부할 수 있는 의도적인 선택을 가능하게 하는 핵심 접근방식으로 제안된다.

Thus critical reflection about clerkship experiences in a guided or group exercise is proposed as a key approach to exposing the hidden curriculum in medicine and enabling intentional choices about which aspects of this curriculum to adopt or reject.


성찰을 활성화하는 데 있어 noticing의 역할

The role of noticing in enabling reflection


성찰이 일어나기 위해서는 우선 우리가 성찰할 일이 일어났다는 것을 알아야 한다. 쇼 ̈n(1987년)은 예상치 못한 결과인 'surprise'를 언급한다. 우리가 하는 일이 우리의 기대에 미치지 못할 때, 우리는 그것을 옆으로 치워두거나(평소의 패턴의 항상성을 보존하기 위해), 성찰할 수 있다. 그러므로 감정적으로 불협화음을 일으키는 상황에서 우리가 개인적인 동기를 인식하는 '알아챔'은 이 과정에서 중요한 기술이다.

For reflection to occur, we first have to be aware that something has happened that we need to process. Scho¨n(1987) refers to the ‘‘surprise’’, an unexpected outcome. When something we do fails to meet our expectations, we can either brush it aside (to preserve the constancy of our usual patterns), or we can reflect on it. Thus ‘‘noticing’’, whereby we recognize our personal motivations in situations that invoke an emotionally dissonant response is a critical skill in this process.


Sandars(2009)는 알아챔에 대한 두 가지 핵심 요소를 강조한다; 

    • 습 속도를 늦추기

    • 황 인식

Sandars (2009) highlights the two key components of noticing; slowing down the learning and situational awareness. 


상황 인식은 분석적 프로세스를 필요로하는 [환경과 우리 자신의 단서]를 인식하는 것을 수반하며, 전문성 개발의 핵심 기능으로 식별되었다(Moulton 등 2007). 이 방아쇠는 메지로(1990년)의 'disorienting dilemma' 인식과 유사하다. 선택이 어려운 이러한 경험에 대해 효과적으로 성찰된다면 변혁적 학습의 기회로 활용될 수 있다.

Situational awareness entails recognition of cues in the environment and in ourselves that require us to engage our analytic processes, and has been identified as a key function of developing expertise (Moulton et al. 2007). This trigger is analogous to Mezirow’s (1990) recognition of a ‘‘disorienting dilemma’’. These experiences, where choices are difficult to make, can be harnessed as opportunities for transformative learning if effectively reflected on.


감정과 느낌은 학습 환경에서 이용할 수 있는 정보를 어떻게 식별, 인식 및 해석하는지와 학습 및 실습에서 이용할 수 있는 정보에 대해 얼마나 잘 행동하는지와 깊이 연관되어 있다(McConnell 및 Eva 2012). 그러므로 '알아챔'이라는 것은 자신의 감정 상태에 대한 스스로의 인식, 그리고 감정이 어떻게 우리의 인식, 해석, 행동을 편향시킬 수 있는지를 포함한다.

Emotions and feelings are deeply interconnected with how we identify, perceive and interpret information available in learning environments as well as with howwell we act on the information available in learning and practice (McConnell and Eva 2012). Noticing, therefore, involves our awareness of our emotional state and how our emotions may bias perceptions, interpretations and actions.


Noticing을 가능하게 하는 Priming의 역할

The role of priming in enabling noticing


이러한 인식을 달성하려면, 우리는 학생들이 그들의 개인적, 전문적, 그리고 환자 치료 환경에 순응하는 경향성이 있음을 notice하도록 prime해야 한다. 하지만 이것은 겉으로 보이는 것보다 더 어려울 수도 있다. 누구도 자신이 공언된avowed 원칙에 순응하고 있을 뿐이라는 것을 믿고 싶어하지 않는다(블랜턴과 크리스티 2003; 놀란 외 2008).

In order to achieve this awareness, we must prime students to notice their tendencies to conform in their personal, professional and patient care environments. But this may be more difficult than it seems on the surface. None of us like to believe that we are prone to conformity against our avowed principles (Blanton and Christie 2003; Nolan et al. 2008).


게다가, 우리가 이러한 사회적 압력에 굴복할 때, 우리는 종종 감정적인 불편함을 피하기 위해 그 행동에 대한 우리의 의견을 수정한다. 이 무의식적인 과정은 인지 부조화를 줄이기 위한 노력으로 우리의 행동을 합리화함으로써 우리의 자아 개념을 유지하는 효과를 갖는다(Festinger 1957; Nisbett and Wilson 1977). 그러나, mental contamination에 대한 연구에 따르면, [unwanted agent가 우리의 판단에 영향을 줄 수 있다는 것을 알게 되었을 때에야, 우리는 이러한 영향들을 교정할 수 있을 것]이라는 것을 암시한다. (Wilson and Breke 1994)

Moreover, when we do succumb to these social pressures, we often revise our opinions about the behavior, to avoid emotional discomfort. This unconscious process has the effect of maintaining our self-concept by rationalizing our actions in an effort to reduce cognitive dissonance (Festinger 1957; Nisbett and Wilson 1977). Yet, research on mental contamination suggests that when we are made aware that unwanted agents may be influencing our judgment, we may be able to correct for these influences (Wilson and Brekke 1994)


결과적으로, 우리는 학생들에게 그들이 특정한 상황에서 순응하기 쉽다는 것을 설득하는 것이 필수적이며, 학생들이 이것을 받아들이려면 자신은 이러한 사회적 압력에 면역이 있다는 그들의 자기 개념과 믿음을 수정해야 할 것이다.

Consequently, it is imperative that we convince students that they will be prone to conforming in certain situations, which will involve modifying their self-concept and their beliefs that they are immune to these social pressures.


그렇다면 순응에 면역이 된다는 학생들의 근본적인 믿음을 수정하기 위한 전략은 무엇인가? 우선 [순응해야 하는 압력을 알아차기 위해서]는 [순응이 우리의 의식적 인식conscious awareness 바깥에 존재하는 정신적 과정으로부터 비롯되는 행동]이라는 것을 이해하는 것에서부터 prime되어야 한다(Bargh and Chartrand 1999).

So what are some strategies to modify students’ fundamental beliefs that they are immune to conformity? Noticing a pressure to conform requires us to first be primed to understand that conformity is a behavior that originates from a mental process that may be outside our conscious awareness, occurring with automaticity (Bargh and Chartrand 1999).


학생들을 priming하는 한 가지 접근방식은, 이 모든 과정이 그들의 일상 생활에서 일상적으로 일어나고 있다는 것을, 예를 제공하고 유사한 예에 대한 그들 자신의 인생 경험을 탐구하도록 격려함으로써, 그들에게 이 사실을 증명하는 것이다. Sandars(2009)는 이것을 '행동 이전의 성찰'이라고 표현하고 있는데, 이것은 특정한 학습 목표나 도전할 수 있는 인식을 가지고 상황에 접근하는 효과적인 방법이다.

One approach to priming students is to demonstrate to them that all of these processes are occurring routinely in their everyday lives, by providing examples and encouraging them to explore their own life experiences for similar examples. Sandars (2009) describes this as ‘‘reflection before an action’’, an effective way of approaching a situation with a particular learning goal or a perception that can be challenged.


순응해야 하는 압력에 대해 명시적으로 언급하고, 경험 전에 성찰을 자극함으로써, 우리는 학생들이 (적절치 않다고 느끼는 상황에서) 사회의 압력이 방식으로 행동하고 있는 상황을 알아차리도록 학생들 priming시키고 있다. 이것은 모델링된 행동을 채택할 것인지 아니면 거부할 것인지에 대한 선택을 내릴 때 조금 더 intentional하도록 만드는 첫 번째 단계이다. 메지로(1990)는 "...성찰적인 사람이 된다는 것은... 다른 사람이 아니라, 자기 스스로 경험을 통제하는 것이다."(p. 375).


In being explicit about the pressures to conform, by stimulating reflection before experience, we are priming students to notice situations in which they may feel social pressure to act in a way that may not feel is appropriate, as a first step toward the goal of being more intentional about choices they make about whether to adopt or resist modeled behaviors. To quote Mezirow (1990), ‘‘…in becoming reflective…we control our experiences rather than being controlled by them’’ (p. 375).


성찰역량 교육과정에서 네 단계의 구성요소 

Components of a four-step reflective competency curriculum


우리는 반사 능력 커리큘럼을 네 가지 반복 활동, 즉 반사-행동(선정), 반사-행동(선정), 마지막으로 특정한 모델링된 행동을 채택하거나 피하기 위한 의도적인 결정(선정)으로 구성되는 4가지 활동으로 구상한다. 표 1.

we envision a reflective competency curriculum as consisting of four recurring activities: 

  • reflection-before-action (Priming); 

  • reflection-inaction (Noticing); 

  • reflection-on-action (Processing), and finally 

  • making intentional decisions to adopt or avoid certain modeled behaviors (Choosing). Table 1


Priming은 이러한 challenge가 발생할 가능성이 높은 상황에 학생들이 들어가기 전에 이뤄질 수 있으며, 순응에 대한 압력의 사례를 제시하고 토론하는 것을 포함한다. 학습은 학생들이 그들이 그러한 압력의 대상이 될 가능성에 대한 민감성을 높이기 위해 과거의 경험을 성찰하는 것으로 시작할 수 있다. 그런 다음 그들은 임상 세계에서 이러한 도전이 어디서 일어날 수 있는지 미래를 예측하도록 요청받을 수 있다.

Priming would occur prior to introducing of students to the contexts in which these challenges are likely to occur and involves presentation and discussion of examples of pressures to conform. Learning could begin with students reflecting on past experiences, in order to sensitize them to the possibility that they are subject to such pressures. They could then be asked to anticipate where these challenges might occur for them in the clinical world.


Noticing은 학생들이 원치 않는 행동을 따르거나 준수하도록 만드는 압력에 대해 priming한 후에, 새로운 임상 역할에 대한 자신의 경험을 관찰하고 문서화하는 것을 포함한다. 한 가지 주목할 만한 기법은 자가 모니터링(전자 노트 또는 필기 일지 보관)이다. 이에 따라 학생은 자신의 교양과정에 대한 참가자 관찰자(Kawulich 2005) 또는 자기 이해자(Feudtner 및 Christakis 1994)로 활동한다. 이 단계의 중요한 특징은 기억의 오염을 피하기 위해 즉시 메모를 하는 것이다. 왜냐하면 우리는 우리의 자아 개념을 유지하기 위해 기억을 재구성하는 놀라운 능력을 가지고 있기 때문이다(Laftus 2003; Eva and Regehr 2008).

Noticing would involve students observing and documenting their experiences in their new clinical roles, after priming them to observe pressures to conform or comply with unwanted behaviors. One noticing technique that might be used is self-monitoring (keeping electronic notes or a written diary), whereby the student acts as a participant observer (Kawulich 2005) or self-ethnographer (Feudtner and Christakis 1994) of his or her own acculturation process. An important feature of this step is taking notes immediately to avoid contamination of the memory, as we have a remarkable ability to reconstruct memory to maintain our self-concept (Loftus 2003; Eva and Regehr 2008).


성찰은 학습자가 자신의 경험을 이해하도록 하는 학습의 중요한 단계다. 여기에는 학생들이 블로그, 내러티브, 반성적 에세이를 쓰거나 이러한 경험을 기록한 디지털 스토리를 만든 다음, 교직원의 지도guide와 함께 자신의 경험을 보고하고 집단적으로 성찰하기 위해 다시 모일 수 있다(Sandars et al. 2008). 성찰 문헌에 따르면, 우리는 학습자들이 성찰의 과정을 추진drive하는 collaborative inquiry model을 추천한다. 이 과정에서, 학생들은 [비판적 탐구critical inquiry를 통한 변혁적 학습]에 대한 전문성이 있는 guide에 의한 support를 받는다(Brookfield 1987; Frankford 등). 2000; Mezirow 1990; Sandars and Murray 2011).

Reflecting is a crucial step in learning, whereby learners make sense of their experiences. This could involve students writing blogs, narratives, reflective essays or creating digital stories documenting these experiences, and then bringing them back together to report on and collectively reflect on their experiences, with guidance from a faculty member (Sandars et al. 2008). Informed by the reflection literature, we recommend a collaborative inquiry model, whereby learners drive the process of reflection, supported by a guide with specific expertise in transformative learning through critical inquiry (Brookfield 1987; Frankford et al. 2000; Mezirow 1990; Sandars and Murray 2011).


선택은 우리가 제안하는 성찰 과정의 마지막 단계다. [사회화 압력과 이러한 압력에 대한 그들의 경험, 그리고 사회적 압력에 대한 그들의 경험]을 priming, noticing, reflecting하는 세 단계는 궁극적으로 학생들이 개인적, 전문적, 그리고 환자 치료 역할에서 행동과 행동에 대한 선택을 통제할 수 있도록 하기 위해 마련된다. 선택은 실제로 특정한 행동을 채택하거나 채택하지 않는 순간에 발생한다. 그 순간에 최선의 선택을 내리는 것이 커리큘럼의 궁극적인 결과지만, 성찰의 사이클에 따르자면, 이것이 교육과정의 종점이 되어서는 안 된다. 따라서 이러한 선택은 문서화되어야 한다. 그런 다음 학생들은 관찰된 행동을 채택하지 않는 선택과 관련된 어려움을 어떻게 관리했는지를 그룹과 공유할 수 있다.

Choosing is the final step in the reflective process proposed. The first three steps, priming, noticing and reflecting on socialization pressures and their experiences with these pressures are geared ultimately to empower students to be in control of their choices in behaviors and actions in their personal, professional and patient care roles. Choosing occurs in the moment of adopting or not adopting certain behaviors in practice. Making good choices in the moment is the ultimate outcome of the curriculum, but consistent with the literature on the cycle of reflection, should not be the endpoint of the curriculum. Thus, these choices should be documented. Students could then share with their group (guided reflection-on-action) how they managed the difficulties associated with choosing not to adopt observed behaviors.


다시, 이러한 활동은 비판단적이고 안전한 환경에서 발생해야 하며, 여기서 관계와 신뢰가 형성되어 존경의 문화가 유지되어야 한다(Leape et al. 2012b).

Again, these activities should occur in a non-judgmental and safe environment, where rapport and trust have been built, maintaining a culture of respect (Leape et al. 2012b).


요약

Summary


우리 학생들이 새로운 임상적 역할로 전환함에 따라, 그들은 임상 의학의 현실과 공식적인 커리큘럼에서 배운 관점을 포함하여 이상화된 관점을 경험한다(Gaufberg et al. 2010; Ginsburg et al. 2002; Treadway and Chatterjee 2011). 선택이 어려운 이러한 경험들은 효과적으로 성찰한다면 변혁적인 학습의 기회로 활용될 수 있다. 그렇게 함으로써, 우리는 숨겨진 교과과정에 직면하여 학생들에게 힘을 실어준다. 메지로우(1990년)는 '이러한 변혁적 학습은 우리 자신과 우리의 삶에 대한 중요한 주인 의식sense of agency을 강화시킨다'고 요약한다.

As our students transition to their new clinical role, they experience a tension between the realities of clinical medicine and previously held idealized perspectives, including those learned in the formal curriculum(Gaufberg et al. 2010; Ginsburg et al. 2002; Treadway and Chatterjee 2011). These experiences, where choices are difficult to make, can be harnessed as opportunities for transformative learning if effectively reflected on. In doing so, we empower students in the face of the hidden curriculum. Mezirow (1990) summarizes, ‘‘Such transformative learning enhances our crucial sense of agency over ourselves and our lives.’’ (p. 361).






 2015 Dec;20(5):1355-70. doi: 10.1007/s10459-014-9558-9. Epub 2014 Oct 16.

Harnessing the hidden curriculum: a four-step approach to developing and reinforcing reflectivecompetencies in medical clinical clerkship.

Author information

1
UBC Department of Medicine and Center for Health Education Scholarship, UBC Southern Medical Program, Clinical Academic Campus, 2nd Floor, 2312 Pandosy Street, Kelowna, BC, V1Y 1T3, Canada. Cheryl.Holmes@ubc.ca.
2
Department of Medical Education, College of Medicine at Chicago, University of Illinois, Chicago, IL, USA.
3
Department of Surgery and Center for Health Education Scholarship, University of British Columbia, Vancouver, BC, Canada.

Abstract

Changing the culture of medicine through the education of medical students has been proposed as a solution to the intractable problems of our profession. Yet few have explored the issues associated with making students partners in this change. There is a powerful hiddencurriculum that perpetuates not only desired attitudes and behaviors but also those that are less than desirable. So, how do we educate medical students to resist adopting unprofessional practices they see modeled by supervisors and mentors in the clinical environment? This paper explores these issues and, informed by the literature, we propose a specific set of reflective competencies for medical students as they transition from classroom curricula to clinical practice in a four-step approach: (1) Priming-students about hidden curriculum in their clinicalenvironment and their motivations to conform or comply with external pressures; (2) Noticing-educating students to be aware of their motivations and actions in situations where they experience pressures to conform to practices that they may view as unprofessional; (3) Processing-guiding students to analyze their experiences in collaborative reflective exercises and finally; (4) Choosing-supporting students in selecting behaviors that validate and reinforce their aspirations to develop their best professional identity.

KEYWORDS:

Clinical clerkshipHidden curriculumMedical education; Patient safety; Professional identify formation; Reflection

PMID:
 
25319835
 
DOI:
 
10.1007/s10459-014-9558-9


우리는 무엇을 하는가? 의학교육리더의 실천과 학습전략(Med Teach, 2012)

What do we do? Practices and learning strategies of medical education leaders

SUSAN LIEFF & MATHIEU ALBERT

University of Toronto, Canada




도입

Introduction


의대 및 레지던트 프로그램은 근본적으로 변화하여 교수진들이 새롭고 다양한 교육 개발에서 주도적인 역할을 하도록 요구하고 있다(Cooke et al. 2010; FMEC 2010).

Medical schools and residency programmes are fundamentally changing requiring faculty members to take leading roles in new and varied educational developments (Cooke et al. 2010; FMEC 2010).


본 기사의 목적상, 우리는 medical education leader를 "의학교육 프로그램을 이끌고 관리하기 위한 목적으로 의학교육에서 공식적인 권위자 지위를 차지하고 있는 자"로 정의한다.

For the purpose of this article, we define medical education leaders as those who are occupy formal authority positions in medical education for the purpose of leading and managing a medical education programme.


대학의학 영역에서, 현재 또는 미래 리더들은 다음의 능력이 필요하다고 말하였다.(Taylor et al. 2008). 

In the academic medicine realm, practicing and aspiring leaders identified 

  • knowledge of academic role-related and health professional practice, 

  • interpersonal/social skills, 

  • vision and organizational orientation 

...as desired abilities of academic physicians (Taylor et al. 2008). 


리치 외 연구진(2008)은 의대 학장의 바람직한 자질에 대한 문헌 리뷰에서 다음이 필요함을 확인했다.

  • 다양한 경영 및 리더십 기술과 태도, 

  • 대학의학의 거버넌스, 의학교육 과정, 법적 문제, 교수진의 기대와 관련된 구체적인 지식

Rich et al.’s (2008) literature review of desirable qualities of medical school deans identified 

  • a variety of management and leadership skills and attitudes as well as 

  • specific knowledge regarding academic medical governance, processes of medical education, legal issues and challenges and expectations of faculty.


의학 교육에서 리더십 관련된 연구는 제한적이다. 효과적인 의학교육 지도자의 행동에 대한 블랜드와 워샬의 문학 리뷰는 전적으로 커리큘럼 변화에 초점을 맞췄다. 이러한 관점에서, 효과적인 행동에는 다음이 포함되었다.

  • 비전의 공유함에 있어서 유연성과 의사소통, 

  • 다중적 인식 프레임의 사용, 

  • 적극적 참여적 거버넌스, 

  • 목표 및 공동의 조직 문화와 가치 설정(Bland et al. 1999). 

The medical education leadership literature is more limited. Bland and Wersal’s (2002) literature review of effective medical education leadership behaviours was focused exclusively on curricular change. For that purpose, effective behaviours included 

  • flexibility and communication of a shared vision, 

  • use of multiple perceptual frames, 

  • assertive participative governance, 

  • goal setting and building a common organizational culture and value set (Bland et al. 1999). 


보건 전문 교육 프로그램의 고용주들은 미래의 교육 지도자들에게 다음을 원했다(Bordage 등). 2000).

  • 의사소통, 

  • 대인관계, 

  • 문제해결 및 의사결정, 

  • 팀워크, 

  • 교육 설계 

  • 재정 관리 기술

Employers of health professional educational programme directors desired skills of 

  • communication, 

  • interpersonal, 

  • problem solving and decision making, 

  • team working, 

  • educational design and 

  • fiscal management skills in prospective education leaders (Bordage et al. 2000).


리더들은 어떻게 리더십을 배우는가? 유클(2010년)은 가장 효과적인 리더십 기술은 공식적인 훈련 프로그램보다는 경험에서 배운다고 믿는다. 이 결과는 맥킴의 건강 전문 교육 지도자들과의 연구(2004년)와도 비슷하다. 리더들은 리더십 개발 프로그램을 원했지만 찾을 수 없었다. Kouzes and Posner(2003)는 효과적인 리더가 주로 

  • 험(시행과 오류), 

  • 예시(타인을 관찰) 

  • 육(공식 훈련)

...에서 배운다는 것을 확인했다(Kouzes & Posner 2003).

What about how leaders learn to lead? Yukl (2010) believes that the most effective leadership skills are learnt from experience rather than formal training programmes. This finding was echoed in McKimm’s (2004) work with health professional education leaders. Her sample also desired, but had not been able to access leadership development programmes. Kouzes and Posner (2003) identified that effective leaders learn primarily from 

  • experience (trial and error), 

  • example (observing others) and 

  • education (formal training) (Kouzes & Posner 2003).



방법

Methods


연구 설계

Study design


이 정성적 사례 연구는 참여자들의 'lived experience'의 본질에 초점을 맞춘 현상학적 접근법을 채택했다(Yin 2009). 우리들 중 한 사람(SusanLieff)은 토론토 대학의 의과대학에서 16명의 의과 교육 지도자들을 인터뷰했다.

This qualitative case study adopted a phenomenological approach which focused on the essence of the ‘lived experiences’ of participants (Yin 2009). One of us (SusanLieff) interviewed 16 medical education leaders in the Faculty of Medicine at the University of Toronto.


면접에 대한 반구조적 접근방식은 참가자와 면접자가 이미 서로를 알고 있다는 사실을 다루기 위해 사용되었다. 참가자의 맥락과 기술적 언어에 대한 이해와 친숙성이 더 크기 때문에 더 깊은 정보와 이해가 생성되기를 바랐다(Britton 1995). 인터뷰 동안, 참가자들은 그들의 일의 성격, 성공과 실패, 인지된 역할과 능력, 학습 전략과 커리큘럼 권고사항에 대해 상세히 설명하도록 요청 받았다. 

A semi-structured approach to interviewing was used to address the fact that some of the participants and the interviewer already knew each other. We hoped that a greater depth of information and understanding might be generated because there would be greater familiarity with and understanding of the context and technical language of participants (Britten 1995). During the interviews, participants were asked to elaborate on the nature of their work, successes and failures, perceived roles and abilities, learning strategies and curriculum recommendations. 


쇼 ̈n의 (1984년)처럼, 우리는 실무자들이 ['think on their feet'할 때 사용하는 은유와 개인적인 이론]뿐만 아니라, [나중에 성찰할 때 생기는 경험과 이해]를 묘사해주기를 바랐다. 각각의 인터뷰는 오디오로 녹음되었고, 인터뷰 진행자는 프로세스에 대한 현장 노트를 기록하였다(인터뷰 질문은 부록 참조).

Like Scho¨n’s (1984) work on reflective practice, we hoped that practitioners would be able to describe the metaphors and personal theories they use when they ‘think on their feet’ as well as the experiences and understandings generated when they reflect afterwards. Each interview was audio recorded, and the interviewer recorded field notes on the process (See Appendix for interview questions).


분석

Analysis


우리는 인터뷰의 내용을 주제별로 분석하여, 인터뷰 진행자의 현장 노트로 보완하여, emergent theme을 밝혔다. 참가자들의 리더십 관행과 학습 전략을 설명하는 발췌문을 파악하는 데 초점을 맞췄다. 주제 분석을 이용하여, 우리는 이러한 인터뷰 기록들을 독립적으로 검토했고 코드를 개발하고 할당했다. 몇 번의 인터뷰를 검토한 후, 우리는 차이점을 조정하고 코드를 수정할 수 있을 때까지 우리의 코드 할당을 비교하고 토론했다. 코드 관련과 그룹화를 반복하는 과정을 통해 공동 저자들은 주요 주제와 요인으로 나눈 코드 구조를 결정했고, 그 후 수잔 리프가 나머지 녹취록에 적용했다.

We thematically analysed transcripts of the interviews, supplemented by the interviewers’ field notes, to reveal emergent themes. The focus was on identifying excerpts that described participants’ leadership practices and learning strategies. Using thematic analysis, we independently reviewed these interview transcripts and developed and assigned codes. After reviewing a few interviews, we compared and discussed our code assignments until we could reconcile the differences and revise the codes. Through an iterative process of relating and grouping of codes, the co-authors decided on a coding structure divided into major themes and factors which Susan Lieff then applied to the remaining transcripts.


결과

Results


참가자

Participants


리더십 실천: 무엇을 하고 어떻게 하는가

Leadership practices – what they do and how they do it 


4가지 주요 리더십 연습 주제: 내성, 대인 관계, 조직 및 체계적(표 1)

four key leadership practice themes: intrapersonal, interpersonal, organizational and systemic (Table 1).



내면적 실천

Intrapersonal practices.


내면적 실천은 지도자 자신들에게 초점을 맞춘 행동이다. 그들은 자신의 동기, 가치, 강점과 한계를 스스로 자각하고 있었다. 그들은 그들이 역할 모델이라는 것을 인식하고 있었으며, 자신의 행동이 [자신이 관심을 가지고 있거나 중요하게 여기는 것]을 모델링하는 것에 의도적으로 주의를 기울였다. 특히, 그들은 진실성과 투명성이 성공을 위한 중요한 가치라고 믿었다. 

Intrapersonal practices focused on the leader themselves. They were self-aware of their motivation, values, strengths and limitations. They recognized that they were role models and deliberately attended to ensuring that their behaviour modelled what they cared about or was important. In particular, they believed that integrity and transparency were critical values for success. 


인간적이고, 배려심이 많고, 접근하기 쉬운 것도 그들의 일에 중요한 자질이었다.

Being human, caring and approachable were also important qualities for their work.


당신이 이끌어야 할 사람들에게 주어야 할 중요한 긍정적인 메시지라고 생각했다다...당신이 그들을 아끼고, 심지어 당신이 같은 방에 있지 않을 때에도 그들을 생각하고, 그들의 관심을 큰 그림 계획에 반영한다는 사실이다. (L14 – CEPDleader) 

I thought they were important positive messages to give to the people that you need to lead...that you care about them, are thinking about them even when you are not in the same room and you are factoring their interests into the big picture plan. (L14 – CEPDleader) 


그들은 신뢰성이 다른 사람들이 관심을 갖고, 동기부여를 받고, 그들을 존중할 수 있도록 해준다고 생각했다. 이는 주제 전문지식을 개발하거나(자격증 또는 입증된 지식으로) 임상의사 및 교육자로서의 경험에 근거하여 구성될 수 있다.

They perceived that credibility enabled others to attend to,be motivated by and respect them. This could be constructed by either developing subject matter expertise (with a credential or demonstrated knowledge) or by being grounded in experience as a clinician and educator.


효과적이고 명확한 의사소통은 다른 사람들의 참여와 이해를 가능하게 하는데 필수적이었다. 그들은 의사소통의 대상자가 누구냐에 따라 메시지를 다양하게 craft했고, 다양한 방식으로 engage했다. 

Effective and clear communication was essential to enabling engagement and understanding of others. They crafted different messages and engaged in different behaviours for different audiences. 


네가 조금만 더 카멜레온이 될 수 있다면 너는 더 성공적일 것이다. 특정 집단을 상대할 때 힘의 균형은 내가 다른 사람, 다른 목소리 톤, 다른 속도, 다른 바디랭귀지 같은 것이다. (L7 – PGME 리더) 

You will be more successful if you can be a bit of achameleon. When dealing with certain groups, thepower balance is such that I am a different person,different tone of voice, different speed, differentbody language. (L7 – PGME leader) 


대인관계적 실천

Interpersonal practices.


지도자의 개인 또는 단체에 대한 관여에 초점을 맞추었다.

Interpersonal practices focused on the leader’s involvement with individuals or groups.


개인

Individual.


이 지도자들은 사람들을 잘 알고, 그들로부터 최고의 것을 이끌어내는 것이 그들의 프로그램의 성공에 중요하다고 강하게 믿었다. 그들은 개인의 장점, 기술, 동기 부여, 흥미, 잠재력을 이해하는 데 투자했다.그들은 사람들이 그들의 일에 가져다 준 가치, 관점, 스타일을 높이 평가하였다. 이 지식은 그들의 과제, 의사소통, 영향력 전략 수립에 도움이 되었다.

These leaders strongly believed that getting to know and bringing out the best in people was critical for their programme’s success. They invested in understanding individual’s strengths, skills, motivations, interests and potential.They appreciated the values, perspectives and styles that people brought to their work. This knowledge informed their assignments, communication and influence strategies. 


그들은 사람들에게 개발 기회, 도전적인 일, 그리고 새로운 책임을 제공함으로써 배움과 직업적 성장을 장려했다. 멘토링은 그들의 역할의 필수적인 측면으로 생각했지만, 리더에 따라서는 충족시켜야 할 특정한 의제를 가지고 있었기 때문에 갈등을 느끼기도 했다.

They encouraged learning and career growth by providing people with development opportunities, challenging work and new responsibilities. While mentoring was seen as an essential aspect of their role, some felt a potential for conflict as they also had specific agendas that needed to be met. 


사람들을 동기부여시키고, 참여시키고, 영향을 주는 것을 늘 생각했다. 가치를 인정하고, 경청하고, 권한을 부여하는 것의 중요성은 과소평가될 수 없다. 그들은 그들의 열정이나 카리스마가 사람들을 열정으로 감염시킬 수 있다는 것을 인식했다. 

Motivating, engaging and influencing people were preoccupations for participants. The importance of explicit valuing,listening and empowering could not be underestimated. They recognized that their passion or charisma could infect people with enthusiasm. 


고립감과 외로움의 감정은 리더쉽 역할의 한 측면이기 때문에, 참가자들은 종종 지원, 정보, 조언 그리고 피드백을 위해 동료들을 찾았다. 

Because feelings of isolation and loneliness are an aspect of leadership roles, participants often sought out othe rcolleagues for support, information, advice and feedback. 


정상에는 약간의 고립과 외로움이 있다...사람들이 실제로 지금 오고 있는 사람은 바로 나야.(L6 – 교육 연구 개발 책임자) 

There is a little bit of isolation and loneliness at the top...I am the one, who people are actually coming to now. (L6 – Education research and development leader) 



그룹

Group.


분쟁 조정과 협상은 흔한 일이었기 때문에, 그들은 언제 어떻게 개입할 것인가에 대한 판단을 했다. 문제를 공개적으로 해결하기 위한 명확하고 투명한 과정, 감정과 관점이 이 작업을 가능하게 했다. 

As mediating conflict and negotiating were frequent occurrences, they exercised judgment about when and how to get involved. Having clear and transparent processes to openly address the issues, feelings and perspectives enabled this work. 


이 일의 상당부분은 갈등에 대해 생각해고 어떤 갈등에 개입할 것인지에 대해 생각하는 것이다. (L3 – UGME 리더) 

An enormous amount of this job is thinking about those conflicts and which ones to intervene in. (L3 – UGME leader) 


그들은 집단의 효과를 위해 올바른 구성의 집단을 만드는 것과 그들을 어떻게 관리해야 하는지에 대해 매우 신중하게 생각했다.

They thought very carefully about creating the right composition of people for group effectiveness and how to manage them.


그들은 사회적 네트워크가 공통의 관심사를 중심으로 발전하기를 원했기 때문에, 사람들 사이에 비공식적인 연계를 조성했다. 이것은 또한 그들과 다른 사람들이 그들의 사회적 자본을 건설하는 것을 도왔다.

Because they wanted social networks to develop around common interests, they fostered informal linkages amongst people. This also helped them and others build their social capital.


내 일의 일부는 [주어진 아이디어나 프로젝트 주변에서 개인 또는 개인의 이익을 연결하기 위한 기회를 엿듣고 식별하는] 커넥터(...)가 되는 것이다. (L14 – CEPD 리더)

Part of the job is to be the connector (...) listening for and identifying opportunities for connecting individuals or interests of individuals around a given idea or project. (L14 – CEPD leader) 



조직

Organizational


조직 수준의 실천은 포트폴리오나 프로그램에 초점을 맞추었다. 그들은 그것을 특정한 방향으로 이동시키기 위해 무엇을 할 수 있었을까? 참가자들은 구성원들이 오너십을 느낄 수 있는 공유된 비전을 개발하기위해서 교수진의 의미 있는 참여와 기여의 중요성을 강조했다. 

Organizational practices focused on their portfolio or programme. What could they do to move it in a particular direction? Participants stressed the importance of meaningful faculty engagement in and contribution to the development of a shared vision that they could then feel ownership of. 


그들의 많은 관심은 변화를 촉진하는 [개인의 역할]과 [문화를 이해]하는 데 집중되었다.이것은 조직적 저항을 분산시키고, 태도와 문화를 변화시키기 위한 다양한 노력을 발전시키는 결과를 낳았다.

Much of their attention was given to understanding the role of individuals and the culture in the facilitation of change.This resulted in developing a diversity of efforts at diffusing organizational resistance as well as shifting attitudes and culture.


그들은 시작할 때 기획, 거버넌스, 또는 자원 관리를 이해하는 것에 어려움을 느꼈다. 

They felt challenged by their limited understanding of planning, governance or resource management when they started. 


나는 정말로 누가 어떤 결정을 내리고 어떤 결정을 내려야 하는지 전혀 알지 못했다. 나는 그 모든 것을 알아내야 했다. 그 중 일부는 실수에 의한 것이었고 일부는 ____에 전화를 걸어 누구의 결정이냐고 말하는 것이었다. (L8 – PGME 리더) 

I really didn’t have a clue who made what decisions and what were my decisions to make. I had to figure all of that out. Some of it was by mistakes and some of it was by phoning up the ____ and saying whose decision is this? (L8 – PGME leader) 


시스템

Systemic.


시스템적 실천은 포트폴리오 밖의 세계에 초점을 맞추었다. 이들 지도자는 의제를 진전시키는 과정에서 '큰 그림'과 동향을 이해하고, 평가하고, 그 의미를 성찰하기 위해 적극적으로 외부와 교류했다. 학문적 맥락academic context에서의 개개인, 프로세스, 구조에 대한 정치적 탐색navigation은 성공에 필수적이었다. 그들은 정치, 권력, 문화, 이슈에 대해 배우기 위해 의도적으로 특정 그룹과 관여함으로써 방향을 잡았다. 그들은 '올바른 테이블'을 이기기 위해 노력했고, 누구와 접촉해야 하는지, 언제 그리고 그들의 행동에 대한 체계적인 영향을 예상해야 하는지에 대해 사려깊게 생각하도록 했다.

Systemic practices focused on the world outside of their portfolio. In the service of advancing their agendas, these leaders proactively got involved with the outside world in order to understand and appreciate the ‘big picture’ and trends and reflect on the significance. Political navigation of individuals, processes and structures of their academic con-texts was essential for their success. They oriented themselves by deliberately engaging with certain groups in order to learn about the politics, power, culture and issues. They tried to beat the ‘right tables,’ be thoughtful about who to contact and when and anticipate the systemic impact of their actions.


나는 그 부서에 대해 많은 것을 알아내려고 노력한다. 그리고 어떻게 교육 사람들이 지원을 받고 있는지 그리고 그 부서 내에서 일어나는 몇몇 역학관계들을...그들이 일하는 방식 그것은 내가 사람들과 협상하려고 할 때 매우 도움이 되었다.예를 들어...을 고용할 때. 내가 이사장에게 접근하기 전에 그들의 학과장과 어떻게 대화해야 하는지, 그리고 어떻게 결정을 내려야 하는지, 그리고 누가 교육 인프라로 돈을 벌어야 하는지 정확히 이해하는 것이 매우 중요했다.(L6 – Education R 및 D Leader) 

I try to find out as much about the department and how the education people are supported and some of the dynamics that occur within the department ...the way they operate. That has been very helpful when I try to negotiate with people ...for example in hiring .... It was very important that I understood exactly how to speak with their department chair and how decisions are made and who to get the buy in from with the education infrastructure before I approached the chair.(L6 – Education R and D leader) 



학습전략

Learning strategies


참가자들은 경험, 성찰적 실천, 공식 또는 전략적 멘토링, 고급 훈련 또는 다른 리더를 관찰함으로써 배웠다(예). 경험을 통해 배우는 것은 그들이 그 때 발견한 기회를 얻는 것과 관련이 있었다. 그들은 그들의 능력을 발전시켰다.

Participants learned from experience, reflective practice, formal or strategic mentoring, advanced training or watching other leaders (example). Learning from experience involved taking on opportunities that they then found developed their abilities.


성찰적 실천자로서, 이러한 리더들은 자기 평가에 참여했고, 그들의 능력을 측정하고, 그들의 성과에 대한 결정을 내리고, 개발 요구를 확인하기 위해 피드백을 요청했다. 그들은 피드백을 받기 위한 보다 공식적인 메커니즘을 원했다.

As reflective practitioners, these leaders engaged in self-assessment, solicited feedback in order to gage their capabilities, make decisions about their performance and identify development needs. They desired more formal mechanisms to receive feedback.


나는 사실 성찰이 필요했고, 나와 함께 일하는 사람들에게 계속 물어보았다. 그게 까다로운 이유는 그들이 언제나 너에게 솔직하고 싶어하지는 않을 수도 있기 때문이다. 하지만 당신이 그들에게 강제적인 선택을 한다면...여기 5가지가 있는데 이것들 중 몇몇은 다른 것들보다 더 낫다는 것을 안다. 내가 특히 잘하는 게 무엇이고, 정말 네가 해야 할 말이 있다면 네 리스트에서 가장 낮은 것이 무엇이라고 생각하니? (L5 – CEPD 리더)

I actually asked for reflections and continue to ask from people who work with me. Now that is tricky because they may not always want to be honest with you...but if you give them a forced choice ...here are 5 things and I know some of these are better than others. Which ones do you think I am particularly good at and which if you really had to say would be the lowest on your list? (L5 – CEPD leader)


많은 사람들이 전략적 멘토링에 종사하고 있다; 경험, 지식 또는 조언에 대해 다른 사람들에게 윤리적으로 요청한다. 많은 사람들이 멘토 프로그램을 원했다.

Many engaged in strategic mentoring; episodically soliciting others for their experience, knowledge or advice. Many desired a mentorship programme.


어떤 사람들은 어떤 학술적 또는 교육적 정규 교육이 그들의 역할에 유용하다고 믿었다. 대부분은 참여경험은 없었지만 리더쉽 개발을 원했다. 다른 지도자들을 지켜보는 것 또한 그들의 학문을 위한 비옥한 토대였다.

Some believed that some type of formal education in scholarship or education was useful to their roles. Most had not participated in but desired leadership development. Watching other leaders was also fertile ground for their learning.



고찰

Discussion


개인적 영역은 부분적으로 리치 외 연구진(2008)의 문학 검토와 의과대학 학장의 바람직한 자질에 대한 전문가의 의견에 잘 들어맞는다. 그는 효과적인 리더쉽을 위해서는 '자아를 아는 것'의 퀄리티(자신의 강점과 약점-자신이 누구이며 누가 아닌지에 대한 날카로운 감각)가 중요하다고 말했다.

The personal domain of practice resonates in part with Rich et al.’s (2008) literature review and expert opinions of desirable qualities of medical school deans. He identifies the quality of ‘knowing self’ (an acute sense of their own strengths and weaknesses – who they are and who they are not) as important for effective leadership. 


우리의 연구는 또한 의학 교육 지도자들이 의도적으로 모범을 보이고, 실제로 그들의 가치를 인식하고 있다는 것을 규명할 수 있었다. 마찬가지로 코우즈와 포스너(2002년)는 효과적인 지도자를 개인의 가치를 명확히 하고 그들의 행동을 공유 가치와 일치시키는 모범을 보이는 것으로 묘사하고 있다. 이러한 교육 지도자들의 청렴성과 투명성의 높은 가치는 또한 수바와 데이(2006)의 학술 보건 과학 센터 지도자들의 가장 본질적인 가치와 일치한다. 

Our study was also able to establish that medical education leaders deliberately role model and were aware, in fact, of their values. Similarly, Kouzes and Posner (2002) describe effective leaders as clarifying their personal values and setting the example of aligning their actions with shared values. The high value of integrity and transparency of these education leaders also aligns with Souba and Day’s (2006) academic health science centre leaders’ (Deans and CEO’s) most essential value. 


신뢰는 우리의 지도자들이 일하는 중요한 토대였다. 이것이 의료 교육 리더십에만 국한된 것은 아니지만, 우리의 연구는 [의학교육에서의 역량이나 경험의 중요성을 포함시킴으로써] '당신이 하겠다고 말한 것을 실천하는 것'에 대한 정의를 더욱 풍부하게 한다(Kouzes and Posner 2004). 의과 대학 학장과 교육 프로그램 감독에서 원하는 속성에 대한 연구는 이전에 의사소통 및 의사결정 기술의 중요성을 확인하였다(Bordage 등). 2000; Rich 등 2008).

Credibility was a critical foundation to our leaders work. While this is not unique to medical education leadership, our study goes further in enriching the definition from ‘doing what you say you will do’ to include the importance of competence or experience in medical education (Kouzes and Posner 2004). Studies of desired attributes in medical school deans and education programme directors have previously identified the importance of communication and decision-making skills (Bordage et al. 2000; Rich et al. 2008). 


그러나 이러한 연구들은 의학 교육 지도자들이 아닌, 학술 보건 과학 센터의 지도자들의 조사와 의견으로부터 그들의 정보를 얻었다. 우리의 연구는 실제로 의학교육 지도자들의 관점을 탐구함으로써 이러한 연구 결과를 더욱 풍부하게 한다.

These studies, however, derived their information from surveys and opinions of leaders of academic health science centres and not medical education leaders themselves. Our research enriches those findings by actually inductively exploring the perspectives of practicing medical education leaders.


대인관계 영역에서, 우리의 연구는 의학교육 지도자들이 그들이 다른 사람들에게 관심을 갖고 있다는 것을 보여주는 것에 투자했고, 그들과의 관계를 개발하고 평가하는데 투자했다는 것을 보여준다. 그들은 학습, 성장, 발전을 장려하고 다른 사람들을 자극하고 참여시키는 데 힘썼다. 학문적 리더십 분야에서 볼만과 갈로스(2011년)는 이러한 실천이 인간의 창의성과 공헌을 촉발하는 업무 환경을 조성한다고 믿는다. 우리의 연구 결과는 교육 리더십 문헌과도 일치한다.

In the interpersonal domain, our study demonstrates that medical education leaders invested in demonstrating caring behaviour and developing and valuing relationships with their people. They encouraged learning, growth and development and worked at motivating and engaging others. In the domain of academic leadership, Bolman and Gallos (2011) believe that such practices create a work environment that unleashes human creativity and contribution. Our findings are consistent with the educational leadership literature.


초, 중등학교에서 풀란(2008)은 '직원을 사랑하는 것'을 교육 변화에 중요하다고 묘사했다. 그는 이것을 배려하고caring, 그들의 기술을 향상시키며, 그들이 목표를 달성함으로써 의미와 개인적인 만족을 찾도록 돕는 것으로 묘사한다. 같은 분야에서 Leithwood 등(2009)은 교육 리더십의 모범 사례에 대한 국제적 검토에서 개별화된 지원, 정서적 이해 및 지적 자극을 제공하는 것을 확인했다.

In primary and secondary schools, Fullan (2008) described ‘loving your employees’ as important for education change. He describes this as caring, increasing their skills and helping them to find meaning and personal satisfaction by goal fulfilment. In the same field, Leithwood et al. (2009) identified providing individualized support, emotional understanding and intellectual stimulation in their international review of best practices in education leadership.


의학에서 테일러 외 연구진(2008)의 요구분석은 이러한 의사 지도자의 역할을 맡은 사람들에게 있어서 [경청하고 주의를 기울이려는 의지]는 매우 바람직한 자질임을 지적했다. 우리의 연구결과는 이러한 행동들이 실제로 의학교육 지도자의 실천에서도 일어나고 있다는 것을 확인하였다. 흥미롭게도, 우리의 지도자들이 다른 사람들을 지도하는 것 외에도, 그들은 분명히 멘토링을 필요로 했으며, 그들 자신에 대한 서포트의 필요성을 느꼈다. 그들은 정기적으로 지원, 조언, 피드백을 요청했다. 이는 리더쉽 행동에 관한 문헌에는 언급되지 않았지만, 조지 등 이것이 진성 리더십authentic leadership을 위한 필수적인 실천이라고 하였다.

In medicine, Taylor et al.’s (2008) needs assessment indicated that a willingness to listen and pay attention was a highly desired quality by practicing and aspiring these physician leaders. Our findings build on opinions by ascertaining that these behaviours are actually occurring in the practices of physicians who are medical education leaders. Interestingly, in addition to our leaders mentoring others, they clearly felt a need for mentorship and support themselves. They regularly solicited support, advice and feedback. While this has not been described in the literature on leadership behaviours, George et al. (2007) advocate for it as an essential practice for authentic leadership.


그룹 차원에서 보면 갈등을 중재하고 협상하거나 그룹을 관리하는 행동이 놀랍지 않다. 그러나 우리 지도자들이 집단을 만드는 데 투입한 숙고적 생각은 직관적으로 보이지만, 리더십 문헌에서 리더십 실천으로 묘사되지는 않았다. 흥미롭게도, Zimmerman과 Hayday(2009년), Weisbord와 Janoff(2008년)은 모두 복잡한 작업complex work에서는, 리더들은 그들이 generative and effective하기 위해서는 그룹을 구성하는 것에 대해 사려 깊을 필요가 있다고 권고한다. 

From a group perspective, the practice of mediating and negotiating conflict or managing groups is not surprising. However, the deliberate thought that our leaders put into creating groups, while it seems intuitive, has not been described as a leadership practice in the leadership literature. Interestingly, both Zimmerman and Hayday (2009) and Weisbord and Janoff (2008) recommend that for complex work, leaders need to be thoughtful about constructing groups in order for them to be generative and effective. 


이번 연구에서는 리더의 커뮤니티의 구성원 사이에서 발전할 수 있는 비공식 네트워크를 육성하는 것에 대한 것도 확인되었는데, 이 역시 이전에는 설명되지 않았다. 그러나 Westley 등(2006)은 복잡한complex 환경에서 사회적 변혁을 가능하게 하기 위해 시스템을 주도direct할 능력이 있는 사람들 사이의 상호작용, 네트워킹 및 정보 교환을 지원할 필요성을 옹호한다.

Our identification of fostering informal networks to develop amongst people in the leader’s community has also not been previously described. Westley et al. (2006), however, advocate for the necessity of supporting interactions, networking and information exchange amongst those who have the potential to direct a system in order to enable social transformation in complex environments.


조직 영역 내에서, 우리의 지도자들은 성공을 가능하게 하기 위해 전체 프로그램 수준에 집중했다. 우리의 연구는 의학 교육 지도자들이 [개별 단위unit의 변화나 움직임]과 [그러한 변화를 가능하게 하는 전략]에 몰두하고 있다는 것을 보여준다. 확실히, 이것은 리더쉽의 기초적인 관행이다. 

Within the organizational domain, our leaders focused at the level of their entire programme to enable success. Our study demonstrates that medical education leaders are preoccupied with change or movement in their unit and strategies to enable such change. Certainly, this is a foundational practice of leadership (Kotter 1990). 


리더들은 공유된 비전과 소유권을 창출하기 위하여 노력하였는데, 이것은 employer의 니즈 평가에 기반을 두고 있었다. 즉 니즈 평가는 중요하며, Leithwood 등(2009)은 초등 학교 리더십의 핵심 관행을 이해하는 것과 일치한다(Bordage 등). 2000). 조직의 성공을 가능하게 하기 위한 계획과 자원 관리 또한 의과 대학 학장과 교육 프로그램 감독들에게 필요한 기술로 확인되었다.

Our findings of participants’ efforts at creating a shared vision and ownership builds on needs assessments of their employers that highlight its importance and are consistent with Leithwood et al.’s (2009) understanding of core practices of primary school leadership (Bordage et al. 2000). Planning and resource management to enable organizational success have also been identified as necessary skills for medical school deans and education programme directors.


시스템 영역 내에서, 우리의 지도자들은 자신이 속한 환경에 대해 배우고 큰 그림을 이해하기 위해 그들의 기관이나 프로그램 밖의 세계world에 관심을 기울였다.

Within the systemic domain, our leaders attended to the world outside of their institution or programme in order to learn about their environment and get a sense of the big picture.


Stefl(2008)은 의료 환경에 대한 지식을 의료 리더에게 중요한 역량으로 식별했다. 민츠버그(2009년)는 다양한 분야의 매니저들이 그들 조직의 '신경 중추'가 될 수 있도록 스스로 정보를 모니터하고 수집하는 것을 관찰했다. 볼만과 딜(2003)은 영향력을 행사하기 위해서는 정치 지형도 매핑하는 것과 같은 정치적 인식awareness이 지도자들에게 필수적인 기술로 필요하다고 옹호한다. 정보를 얻음과 동시에 영향을 미치기 위해서는, 전략적인 항해를 할 때 자신이 올바른 테이블에 있는지 확인하는 것이 포함된다.

Stefl (2008) have identified knowledge of the health care environment as an important competence for health care leaders. Mintzberg (2009) observed that managers in a variety of sectors monitor and collect information for its own sake to enable them to be ‘nerve centres’ of their organization. Bolman and Deal (2003) advocate that political awareness such as mapping the political terrain as an essential skill for leaders in order to influence. Strategic navigation involves ensuring that you are at the right tables in order to be informed as well as influence.


'테이블에 있지 않으면 메뉴에 오를 수도 있다(먹잇감이 될 수 있다)'는 출처 불명의 암시가 이 문제를 잘 조명한다. 우리의 리더들이 관여했던 네트워크 빌딩은 두 가지 이유로 가치가 있다. Kotter(1982)는 고위 간부들을 대상으로 한 연구에서 네트워킹이 리더십 효과의 중요한 결정 요인이라는 것을 발견했다. 주요 구성 요소들과 관계를 맺는 것은 리더들이 그들이 필요로 할 때 도움을 받는 것을 더 쉽게 할 수 있게 했다. Kouzes와 Posner(2002)는 이러한 연결고리를 개발하는 것이 리더들의 사회적 자본을 구축하며, 이는 다시 필요할 때 상호성, 정보 흐름 및 집단 행동을 가능하게 한다는 점에 주목한다.

The aphorism of unknown origin that ‘if you are not at the table, you may end up being on the menu’ well illuminates this issue. The network building that our leaders engaged in has value for two reasons. Kotter (1982) in his study of senior executives found that networking was a key determinant of leadership effectiveness. Building relationships with key constituents enabled leaders to have an easier time getting help when they needed it. Kouzes and Posner (2002) note that developing these connections builds the social capital of leaders which in turn enables reciprocity, information flow and collective action when needed.


비록 우리 의료 교육 지도자들은 공식적인 지도 교육을 원했지만, 그들은 주로 경험(시행과 실수)과 예(타인을 관찰)로부터 배웠다. 테일러 외 연구진(2009)의 내과의사 지도자에 대한 연구와 마찬가지로, 우리와 참여자들은 역할 모델링을 중시했고 조언과 지원을 위해 다양한 개인과의 바람직한 '전략적' 멘토 상호 작용을 사용했다. 그들은 공식적인 멘토링을 원했지만, 대부분은 그것을 이용하지 않았다.

Although our medical education leaders desired formal leadership education, they had learned primarily from experience (trial and error) and example (observing others). Similar to Taylor et al.’s (2009) study of physician leaders, our and participants valued role modelling and made use of desired ‘strategic’ mentoring interactions with various individuals for advice and support. While they desired formal mentoring, most were not making use of it.


교수진 육성에 대한 시사점

Implications for faculty development


특히, [개인의 리더십 능력, 가치, 역할 모델링에 대한 자기 인식 및 신뢰도의 구축과 유지]의 개발을 권장한다. 리더들은 리더들의 일반적인 대인 관계 관행을 넘어서, 다른 사람들 사이의 비공식적인 네트워크의 개발을 촉진할 뿐만 아니라 자신에 대한 지원을 모색할 필요가 있다는 것을 인식할 필요가 있다. 대부분의 의학교육 리더십 프로그램은 시스템적 실천에 주의를 기울이지 않는 것이 우리의 경험이다. 그들의 프로그램 밖의 세계와 협력하여 권력과 영향력의 원천을 알리고, 옹호하고, 감사하며, 지지와 동맹의 네트워크를 발전시키는 것은 리더십 개발에 있어 중요한 측면이어야 한다.

In particular, we encourage developing self-awareness of personal leadership capabilities, values, role modelling and the construction and maintenance of credibility. Leaders need to appreciate that beyond usual interpersonal practices of leaders, they need to seek out support for themselves as well as facilitate the development of informal networks amongst others. It is our experience that most medical education leadership programmes do not attend to the elements of systemic practice. Engaging with the world outside of their programme in order to be informed, advocate, appreciate sources of power and influence and develop networks of support and alliances should be critical aspects of leadership development.


예를 들어, 시스템적 실천에 관한 모듈은 '큰 그림'을 이해하기 위해 지역, 국가 및 국제 수준에서 더 큰 교육 및 의료 환경에 대한 인식을 개발하는 데 초점을 맞출 것이다. 이를 통해 [권력, 문화, 네트워크 개발 이슈에 관심을두고] 관련된 맥락와 선수를context and player 분석하는 법을 배울 것이다.

For example, a module on systemic practices would focus on developing awareness of the greater educational and health care environment at a local, national and international level in order to get the ‘big picture’. Participants would be navigation encouraged to learn analysis and of relevant contexts and players with attention to issues of power, culture and network development.


우리의 결과는 또한 실현 가능하고 선호하는 의료 교육 지도자들의 학습 방법을 조명한다. 민츠버그(2004)는 참가자들이 리더십 개발 프로그램의 최대 이익을 얻기 위해 공식적 또는 비공식적 리더십 연습에 참여해야 한다고 주장했다. 이 연구는 연습 기반 학습으로 참가자들의 경험을 끌어 올릴 기회를 극대화할 수 있기 때문에 이러한 개념을 뒷받침한다. 리더쉽 연습은 또한 다른 이들의 바람직한 관찰과 피드백을 위한 기회를 제공할 수 있기 때문에, 개발 프로그램은 이것을 중요한 선택 기준으로 고려해야 한다.

Our results also illuminate feasible and preferred learning methods of medical education leaders. Mintzberg (2004) has argued that participants should be engaged in a formal or informal leadership practice in order to maximally benefit from a leadership development programme. This study supports this notion as it would maximize the opportunity to draw on participants’ experiences with practice-based learning. Since a leadership practice can also provide an opportunity for desired observation and feedback by others, development programmes should consider this as an important selection criteria.



한계

Limitations


개인들은 자기평가 능력이 떨어진다고 인식되기 때문에, 이들의 교수개발 권고는 실제의 필요성을 반영하지 못할 수 있다. 그러나 인터뷰의 대다수가 그들의 실제 행동에 초점을 맞추었으며, perceived needs를 말한 것이 아니었다.

it is recognized that individuals are poor self-assessors hence their faculty development recommendations may not reflect actual need in practice. This is mitigated, however, by the fact that the majority of the interviews focused on their practice and not perceived needs.


결론

Conclusions


학문적 건강 과학 센터에서 끊임없이 변화하는 요구와 증가하는 교육 사명의 복잡성을 감안할 때, 현재보다 이러한 프로그램을 설계하기에 적합한 시기는 없을 것이다.

Given the constantly changing demands and increasing complexity of the educational mission in academic health science centres, there is no time like the present to be designing such programmes.




 2012;34(4):312-9. doi: 10.3109/0142159X.2012.643835.

What do we do? Practices and learning strategies of medical education leaders.

Author information

1
Faculty of Medicine, Department of Psychiatry, Baycrest, University of Toronto, Canada. s.lieff@utoronto.ca

Abstract

BACKGROUND:

Continuous changes in undergraduate and postgraduate medical education require faculty to assume a variety of new leadership roles. While numerous faculty development programmes have been developed, there is little evidence about the specific practicesof medical education leaders or their learning strategies to help inform their design.

AIM:

This study aimed to explore what medical education leaders' actually do, their learning strategies and recommendations for faculty development.

METHOD:

A total of 16 medical education leaders from a variety of contexts within the faculty of medicine of a large North American medicalschool participated in semi-structured interviews to explore the nature of their work and the learning strategies they employ. Using thematic analysis, interview transcripts were coded inductively and then clustered into emergent themes.

RESULTS:

Findings clustered into four key themes of practice: (1) intrapersonal (e.g., self-awareness), (2) interpersonal (e.g., fostering informal networks), (3) organizational (e.g., creating a shared vision) and (4) systemic (e.g. strategic navigation). Learning strategiesemployed included learning from experience and example, reflective practice, strategic mentoring or advanced training.

CONCLUSIONS:

Our findings illuminate a four-domain framework for understanding medical education leader practices and their learningpreferences. While some of these findings are not unknown in the general leadership literature, our understanding of their application in medical education is unique. These practices and preferences have a potential utility for conceptualizing a coherent and relevant approach to the design of faculty development strategies for medical education leadership.

PMID:
 
22455700
 
DOI:
 
10.3109/0142159X.2012.643835


미래에 대한 학습 준비: 보건전문직 교육의 잃어버린 역량? (Med Educ, 2016)

Preparation for future learning: a missing competency in health professions education?

Maria Mylopoulos,1 Ryan Brydges,2 Nicole N Woods,3 Julian Manzone4 & Daniel L Schwartz5




도입

INTRODUCTION


현재 자료에 따르면, 의사들은 커리어를 쌓아감에 따라 환자들에 대한 경험을 통해 강력한 사례 지식을 개발한다고 한다.2-4 동시에, 의사들은 그들의 임상 문제 해결에 필요하지만, '새로운, 상충되는 정보'를 습득하지 않을 수 있다. 5,6 즉, 의사들이 모든 형태의 환자 치료로부터 지속적으로 배울 준비가 되어있는것은 아님을 시사한다.

Current data suggest that as their careers progress, doctors do develop a strong body of case knowledge through their experiences with patients.2–4 At the same time, doctors may not incorporate ‘novel, conflicting information’ as much as needed into their clinical problem solving,5,6 suggesting that they are not adequately prepared to learn continuously through all forms of patient care.



지속적인 학습을 위해 의사들을 준비하는 데 있어 중요한 어려움은 현재 임상의사 준비의 평가가 후향적/소급적retrospective 경향이 있다는 것이다.

A major challenge in preparing doctors for continued learning is that current assessments of clinician preparation tend to be retrospective.


예를 들어, Tamblyn et al.8에 의한 대규모 데이터베이스 연구는 trainee가 받은 시험점수가 미래의 임상 성과와 일관된 관계를 갖지 않는다는 것을 보여주었다.

For instance, a large database study by Tamblyn et al.8 showed that how trainees scored on their exam did not have a consistent relationship with their future clinical performance.


유사한 연구에서 Asch 등 9.9는 산부인과 의사 면허 시험 점수는 [레지던트 훈련 기관와 출산 합병증 비율 사이의 견고한 관계]에 영향을 미치지 않는다는 것을 발견했다.

In a similar study, Asch et al.9 found that accounting for obstetricians’ licensure exam scores did not affect the robust relationship between location of residency training and birth complication rates in practice.


이 두 가지 연구에서 가장 낙관적이지 않은 해석은 현재의 의료면허시험이 누가 그 직장에서 잘 배울지를 알아내는 데 도움이 되지 않으며, 최고의 레지던트 프로그램에도 등록한다고 해서 의사들이 미래의 학습에 대해 포괄적으로 준비가 되어 있는 것은 아니라는 것이다.

The least optimistic interpretation of these two studies is that current medical licensure exams do not help us identify who will learn well on the job, and that enrollment in even the best residency programmes does not guarantee that doctors are comprehensively prepared for future learning.


현재의 시험은 직접 가르침을 받는 시기를 벗어났을 때, 미래 학습에 얼마나 준비되었느냐보다, 이전에 배운 지식의 적용을 강조한다.

current exams emphasise application of previously learned knowledge rather than preparation for future learning outside of the confines of direct instruction.


'미래 학습을 위한 준비'의 개념적 토대
CONCEPTUAL UNDERPINNINGS OF PREPARATION FOR FUTURE LEARNING


미래의 학습을 위한 준비(PFL)'[실제 학습과 문제 해결을 지원하기 위해] 새로운 정보를 배우고, 자원을 효과적으로 활용하고, 새로운 procedure를 고안하는 능력'으로 이해된다.10

Preparation for future learning (PFL) is ‘understood as the ability to learn new information, make effective use of resources, and invent new procedures in order to support learning and problem solving in practice’.10


예를 들어, 임상의사가 진료를 할 때, 특히 새롭고 복잡한 상황에서, 그들은 자신의 지식을 유연하게 사용하여 자신이 속한 환자, 사회, 시스템 맥락 안에서 효과적인 해결책을 개발해야 한다.11

For example, as clinicians work, particularly in situations of novelty and complexity, they are required to use their knowledge flexibly to develop an effective solution within the patient, social and system contexts in which they find themselves.11


반대로, adaptive하지 않은 의사들도 여전히 일상적인 문제를 해결할 수는 있지만, 이들은 불확실성, 새로움, 복잡성의 상황에서는 잘 수행하지 못할 가능성이 있다. 더욱이, 그들은 무심코 일상적이지 않은 문제에 일상적인 해결책을 적용하려고 들 수도 있다.5

By contrast, those who are not adaptive can still solve routine problems, but will likely not perform well in situations of uncertainty, novelty or complexity. Moreover, they may inadvertently apply their routine solutions to non-routine problems.5


이 두 가지 형태의 전문지식은 각각 '적응적 전문성'과 '루틴 전문성'으로 설명되어 왔다.7,10 

  • 루틴 전문성효율성에 대한 프리미엄이 있는 안정적이고 반복적인 작업에 유용하다. 

  • 적응적 전문성높은 수준의 변동성과 변화가 있을 때 유용하며, 새로운 아이디어와 결과 달성을 위한 방법을 배우는 것이 중요하다.

These two forms of expertise have been described as ‘adaptive’ and ‘routine’, respectively.7,10 Routine expertise is useful for stable, recurrent tasks where there is a premium on efficient completion. Adaptive expertise is useful where there is a high degree of variability and change, and it is important to learn new ideas and ways of accomplishing outcomes.


적응형 전문가들은 과거의 지식을 이용하여 '새로운 것에서 옛 것'을 볼 수 있다. 그들은 또한 필요에 따라 그들의 관행을 재고하고 진화시킴으로써 '오래된 것에서 새로운 것'를 볼 수 있다.

Adaptive experts are able to see the ‘old in the new’ by using their past knowledge. They can also find the ‘new in the old’12 by reconceptualising and evolving their practice as necessary.


의사들이 의료행위를 하는 과정에서, [배울 가치가 있는 새로운 것이 있다]는 강한 신호를 늘상 받는 것은 아니다. 더구나 어떻게 적응해야 하는지에 대한 단서 자체가 자명하지 않을 수도 있다. 사람들이 새로운 학습의 기회를 인식하고 행동하도록 돕는 한 가지 방법은 적응adaptation을 지원하는 환경을 만드는 것이다. 예를 들어, 의료 훈련생들은 익숙한 상황에서도 새로운 것이 무엇일지를 직간접적으로 알려줄 수 있는 전문와 함께 로테이션을 완료해야 한다13

doctors may not always receive equally strong signals that there is something new that is worth learning in their practice. Moreover, the cues for how to adapt may not be self-evident. One way to help people recognise and act upon opportunities for new learning is to create environments that support adaptation. Medical trainees may, for example, complete their rotations with an expert doctor who may, directly or indirectly, indicate what is new about an otherwise familiar situation.13


보건 직업 교육에서의 현대의 교육 및 평가 시스템은 '루틴 전문성'을 개발하고 유지하는 데 집중되어 있다.14~16 의사가 실습을 하기 전에 반드시 익혀야 하는 기술들이 많이 있으며, 미리 알 수 있는 그러한 기술들에 대해서는 표준 평가가 적당하다. 그러나 의사들이 새로운 것에 적응할 준비가 되어 있는지 결정하기 위해서는 적응적 전문성을 개발하는 것을 목표로 하는 혁신적인 교육 및 평가 설계가 필요하다.

Contemporary systems of instruction and assessment in health professions education are heavily focused on developing and maintaining routine expertise.14–16 There are many skills that doctors must master before they graduate into practice, and for those skills that can be known in advance, standard assessments are adequate. However, to determine whether doctors are prepared to adapt to what is new, we need innovative instructional and assessment designs aimed at developing adaptive expertise.



평가가능한 구인으로서 PFL: 이중 전이

PFL AS AN ASSESSABLE CONSTRUCT: DOUBLE TRANSFER


현재 평가는 PFL을 측정하지 않기 때문에 의학교육에서 학생이 미래의 학습을 준비하고 있는지 여부를 쉽게 알 수 있는 방법이 없다. 대신 현재 의학교육에서 대부분의 평가는 학습자의 축적된 지식의 현재 상태에 대한 스냅샷만 제공한. 'Zone of proximal development'이라는 문구를 만든 레프 비고츠키는 [사람들이 알고 있는 것뿐만 아니라 그들이 배울 준비가 되어 있는 것]을 측정하는 것이 중요하다고 제안했다.

Currently, there is no easy way to tell if medical education is preparing trainees for future learning because current assessments do not measure PFL. Instead most assessments only offer a snapshot of the current state of learners’ accumulated knowledge. Lev Vygotsky,17 who coined the felicitous phrase ‘zone of proximal development’, proposed that it is important to measure, not just what people know, but also what they are prepared to learn:


마치 수확을 위해 종을 평가하는 정원사가 [과수원의 익은 열매]만을 생각하고 [아직 성숙한 열매를 맺지 못한 나무의 상태를 어떻게 평가해야 할지] 몰랐다면, 그는 잘 못 하는 것이다. 또한 [성숙 과정에 있는 것]을 제쳐두고 [이미 성숙한 것]만을 확인하는 심리학자는 결코 전체 발전의 내부 상태에 대한 어떤 종류의 진실되고 완전한 표현을 얻을 수 없을 것이다.

Like a gardener who in appraising species for yield would proceed incorrectly if he considered only the ripe fruit in the orchard and did not know how to evaluate the condition of the trees that had not yet produced mature fruit, the psychologist who is limited to ascertaining what has matured, leaving what is maturing aside, will never be able to obtain any kind of true and complete representation of the internal state of the whole development.



Feurstein은 비고츠키를 토대로, 사람들이 배울 수 있는지 직접적으로 측정하는 동적 평가의 개념을 개척했다.

Feurstein,18 building on Vygotsky, pioneered the idea of dynamic assessments that directly measure whether people can learn.


비판적으로, 퍼스타인의 동적 평가에는 supervised instruction이 포함되었지만, 현실에서 대부분의 의사들은 [새로운 학습의 필요성에 대한 명백한 단서가 없는 채로] 적응adaptation을 해야 하는 상황이 생긴다. 의사들은 자신의 사전 지식이 어디에 적용되고 언제 적응해야 하는지를 자발적으로 인식해야 한다. Bransford와 Schwartz10은 정확히 언제 무엇을 배워야 하는지를 말하지 않았을 때 학습의 고유한 요구를 반영하기 위해 PFL을 평가하기 위한 '이중 전이 방법론'을 개발했다.

Critically, Feurstein’s dynamic assessments included supervised instruction, but most doctors will need to adapt without overt cues to needs for new learning. Doctors must spontaneously recognise where their prior knowledge is applicable and when it needs to be adapted. Bransford and Schwartz10 developed the ‘double transfer methodology’ to assess PFL in order to reflect the unique demands of learning when not being told exactly when and what to learn.


그림 1은 그들의 논리에 대한 개략도를 제공한다.

Figure 1 provides a schematic of their logic.




저자들은 두 가지 경우에, STP에 대해서는 성과가 유사했지만, TTP문제에 대해서는 성과에 큰 차이가 있다는 것을 발견했다.

The authors found that the two instructional treatments led to similar performance on the standard transfer problem, but there were large differences in performance on the target transfer problem.


의학에서, 이중 전이 설계는 현재 다양한 형태의 교육이 PFL에 미치는 영향을 자세히 설명하는 데 도움이 되고 있다.

In medicine, double transfer designs are now helping to elaborate the impact of different forms of instruction on PFL.22


임상 지식과 기초 생물의학 지식의 통합은 질병 범주에 대한 더 깊은 이해를 만들어, 초보자들로 하여금 고립된 임상 사실에 의해 지식 기반이 지배되는 동료들을 능가할 수 있게 한다. 그러나 이러한 수행능력상의 이득은 지연된 'transfer out' 평가만을 사용하여 연구되어왔다.

The integration of clinical knowledge and basic biomedical knowledge creates a deeper understanding of disease categories, allowing novices to outperform their peers whose knowledge base is dominated by isolated clinical facts. However, this outperformance has been studied only using delayed ‘transfer out’ assessments


그러나 (transfer out 외에도) 새로운 자료를 얼마나 잘 배워서 최종 평가로 옮기는지에 큰 차이가 있었다. 이중 전송 설계는 모든 평가가 다른 형태의 지시의 영향을 가시적으로 만들 수 없다는 점을 강화한다.

there was a significant difference in how well they learned new material and transferred it out to a final assessment. Double transfer designs reinforce the point that not all assessments can make visible the impact of different forms of instruction.


이중 전이 패러다임은 초기 지침의 효과에 대한 상대적으로 부담스러운 시험이다.

The double transfer paradigm is a relatively onerous test of the effectiveness of initial instruction,


(이중 전이 패러다임은) 많은 학습과 시험이 필요하기 때문에 실현 가능성이 잠재적으로 제한된다.

feasibility becomes a potential limitation, given that so many learning and testing episodes are required


그럼에도 불구하고, 전반적 설계는 많은 의사들이 직면하고 있는 실제 상황을 반영하는데, 의학교육 초반에 어떻게 배우는지가 그들이 [새로운 문제를 다루는 방법]에 영향을 미칠 뿐만 아니라, 자신의 [실천을 지속적으로 개선하기 위해 새로운 문제들로부터 배우는지 여부]에도 영향을 미친다.

Nevertheless, the overall design does reflect the situation facing many doctors, whose initial medical instruction not only influences how they handle new problems, but also whether they learn from those problems to improve subsequent practice.


무엇보다, PFL 지향적 교육방식이 효과적이라면, 학생들이 미래에 더 효과적으로 배울 준비가 되었기 때문에, 추가적인 saving이 있을 것이다.

More importantly, if PFL minded instruction is effective, then there will be additional savings down the line, because students have been prepared to learn more effectively in the future.


평가가능한 구인으로서 PFL: 학습 프로세스 측정

PFL AS AN ASSESSABLE CONSTRUCT: MEASURING LEARNING PROCESSES


미래 학습은 기술의지에 따라 좌우된다는 가정 하에, 이러한 평가는 미래의 학습을 지원하는 전략을 사용하려는 연습생들의 의지를 포착하기 위한 것이다.

Premised on the assumption that future learning depends on both skill and will, these assessments seek to capture trainees’ willingness to use strategies that support learning in the future.


연구 결과에 따르면 PFL이 보건 직업 교육에 대한 개입의 의도된 결과인 경우, 연구자들은 보다 전략적으로 PFL 관련 행동을 평가해야 한다. PFL관련 행동에는 다음과 같은 것들이 있다.

findings show that if PFL is the intended outcome of an intervention in health profession education, researchers must assess PFL-related behaviours, such as 


  • 더 전략적으로 피드백을 구하고, 

  • 환자 치료에 대한 적응형 솔루션을 만들고,

  • 동료들에게 그것에 대해 가르치고, 

  • 다학제 회진에서 좀 더 적절한 질문을 하는 것

  • seeking feedback more strategically, 

  • creating an adaptive solution to patient care and 

  • teaching colleagues about it, and 

  • asking more pertinent questions during multidisciplinary rounds.


PFL 관련 행동들은 건강 전문가 교육에서 체계적으로 연구되지 않았다.

PFL-related behaviours have not been systematically studied in health professions education.


연습생들이 학습하는 동안 학습에 필요한 정보를 얻는 방법, 자신의 선택을 선택을 이해하기 위한 노력(예: 어떻게 피드백을 찾는가? 어떤 종류?)

how trainees take action to gain the information needed to learn or seek to capture trainees’ choices as they learn (e.g. How do they seek feedback? What kind?)


참가자들이 자료를 검토하는데 시간을 쓰는 것. 이것은 자신의 오류를 수정하는 방법에 집중했다는 것 뿐만 아니라 (즉, 자신감과 실제 수행능력을 align하기 위해)자신의 성과를 스스로 모니터링하는 것에 집중했다는 것을 보여준다.

how participants spent time reviewing the material revealed that they concentrated on how to correct errors in their performance as well as in how they self-monitored their performance (i.e. to better align confidence and performance).


접근의 두 가지 주요 패턴: (i) 성적이 높은 학생들은 대개 그들의 우수한 성과의 특성을 설명하는 페이지보다는 동료들과 비교하는 방법을 보여주는 페이지를 보았고, (ii) 시험을 '그냥 통과한' 학생들은 웹사이트를 가장 적게 보았다.

two major patterns of access: (i) high performing students mostly viewed pages showing how they compared with peers, rather than pages explaining the nature of their superior performance, and (ii) students who ‘just passed’ the examination viewed the website least often.


학생들이 피드백을 찾는 방식을 연구한 결과, 학생들은 [현재의 학습 요구를 확인하는 것]보다는, 자신의 수행능력에 대한 긍정적인 확신을 얻기 위해 피드백을 사용했다는 것을 암시하여 우려를 자아낸다.

how students seek feedback revealed somewhat worrisome patterns suggesting students used feedback for positive affirmation (‘I’m better than everyone’ or ‘Woo, I passed!’), rather than for identifying current learning needs.



어떤 학습조건이 PFL을 촉진하는가?
WHICH INSTRUCTIONAL CONDITIONS PROMOTE PFL?


교육자들이 자연스럽게 물을 수 있는 질문은, 그렇다면 미래의 학습을 준비할 수 있는 교육방식이 무엇이냐는 것이다.

the natural question for educators to ask is how to design instruction that prepares trainees for future learning.


증거들은 점점 더 guided discoverydirect instructional approach을 결합할 수 있는 가능성을 보여주고 있다.30 guided discovery은 학생들이 실제로 해결책이나 설명을 발견해야 한다는 것을 의미하는 것이 아니라, 오히려 학생이 그 과정에 참여해야 한다는 것을 의미한다. guided discovery 학습 활동은 연습생들로 하여금 그들이 결코 문제로서 경험하지 못한 과제에 대해 잘 알고 있는 해결책을 베끼는 것이 아니라, 자신이 해결해야 할 문제에 대한 그들의 이해를 발전시키도록 자극한다.

evidence is increasingly showing the promise of combining guided discovery and direct instructional approaches.30 Guided discovery does not mean that students must actually discover the solution or explanation, but rather that they need to engage in the attempt. Guided discovery learning activities stimulate trainees to develop their understanding of a problem to be solved, in contrast to copying a told solution for a task they never experienced as a problem.


비록 잘 디자인된 발견의 이점들에도 불구하고, 30 guided discovery는 강사의 direct guidance를 받을 때 더 유익해 보인다. 예를 들어, 군사 훈련에서의 학습은 대부분 디브리핑 동안 일어난다. 연습이 없다면, 디브리핑 내용은 공허할 것이지만, 디브리핑을 하지 않으면, 군인들은 그러한 훈련과 다른 훈련들에 적용되는 더 넓은 원칙을 배우지 못할 것이다. 

Although the benefits of well-designed discovery ,30 it seems that guided discovery is highly beneficial when followed by direct guidance from an instructor. For instance, much of the learning from military exercises occurs during the debriefing. Without the exercises, the debriefing would be hollow, but without the debrief-ing, soldiers would not learn the broader principles that apply to those exercises and others. 


실험 교육 연구는 유사한 결론에 도달했다. 예를 들어, 초등학생들을 대상으로 한 연구는 "발견 후 설명" 집단이 "설명 후 발견" 집단에 비해 뛰어난 개념적 지식을 나타낸다는 것을 보여주었다.

Experimental education research has reached similar conclusions. For example, a study of primary school students showed that a discover-then-tell group displayed superior conceptual knowledge compared with a tell-then-practice group


대부분의 커리큘럼에서, 먼저 강의가 진행된 이후 학생들이 연습하도록 하는 것이 일반적인 접근법임을 감안할 때, 발견-후-설명을 지지하는 증거는 논쟁적이다. 강사와 연습생 모두의 시간을 더 효율적으로 사용하는 것처럼 보이는 초기 직접 교육은 연습생의 초점을 지나치게 협소화시킬 위험을 가져온다. 훈련생들은 해결책이 적용되는 문제의 본질에 대한 주의를 흐리게 하는 설명된 해결책에 주의를 기울인다.

Given that the conventional approach in most curricula is to lecture first and allow trainees to practise second, the increasing evidence supporting the discover-then-tell sequence is controversial. Initial direct instruction, which seems to be a more efficient use of both instructors’ and trainees’ time, brings with it the danger of overly narrowing a trainee’s focus. Trainees pay attention to the told solution, which overshadows their attention to the nature of the problem to which the solution applies.


선교육 후발견 방식에서, 종종 학생들은 자신의 지식을 활성화하고 문제를 이해하고 해결하는 (비록 틀렸더라도) 여러 가지 잠재적 경로를 경험하지 않고 '올바른 대답'에만 관심을 갖는다

Tell-first instruction often emphasises ‘correct answers’ without allowing trainees to activate their own knowledge and to experience multiple potential (albeit incorrect) pathways to comprehending and solving a problem.


전반적으로, PFL 관련 지표에 대한 지침 설계 관련 문헌은 개방형 학습 활동 중 '생산적 실패'를 허용하는 훈련이 학습을 강화시키는 도전적인 조건을 조성한다는 것을 시사한다.32 이러한 형태의 지침은 실제 환자 사례에서 임상의사가 경험하는 조건을 authentic하게 보여줄 강력한 기회를 제공한다. 즉, 의사들은 자신이 문제가 있다는 것을 인식하고 정의해야 하며, 문제를 자신의 지식과 연관시켜야 하며, 늘 그런 것은 아니더라도, 여러 가지 잠재적 해결책을 만드는 과정에서 실패를 경험할 가능성이 높다.

Overall, the literature relating instructional designs to PFL-related metrics suggests that training that permits ‘productive failure’ during open-ended learning activities creates challenging conditions that enhance learning.32 these forms of instruction offer a powerful opportunity that authentically represents the conditions clinicians experience during challenging patient cases in practice: they must recognise and define that they have a problem, they must relate the problem to their own knowledge, and they will likely, though not necessarily, fail as they create multiple potential solutions.


나아가기: 보건전문직 교육의 PFL

MOVING FORWARD: PFL IN HEALTH PROFESSIONS EDUCATION


어떤 교육적 설계가 PFL을 장려하는가? 첫 단계는 적응형 전문지식과 PFL 관련 행동에 대한 경험적 근거의 이해를 개발하는 것이다. 

  • 강의실 맥락에서, 연구는 PFL 평가에서 어떤 교육설계가 개선된 결과를 초래하는지, 또한 초기 학습 중에 관찰된 행동과 전략은 PFL 평가 결과와 상관관계가 있는지 탐구할 필요가 있을 것이다. 

  • 임상적 맥락에서 연구는 실제 적응형 전문가 활동이 의료 사업장에서 어떻게 전개되는지를 탐구할 필요가 있을 것이다.36–38

To identify which instructional designs encourage PFL, a foundational step will be to develop an empirically grounded understanding of adaptive expertise broadly and PFL-related behaviours specifically. 

  • In the classroom context, studies will need to explore which instructional designs result in improved performance on PFL assessments, as well as which behaviours and strategies observed during initial learning correlate with PFL assessment outcomes. 

  • In the clinical context, studies will need to explore how real-world adaptive expert activity unfolds in the health care workplace.36–38


사회문화적 관점에서, authentic 학습 기회와 잘 조화된 평가가 강력한 교육 촉매라는 것을 시사하는 증거가 형성되고 있다.40

From a sociocultural perspective, evidence is building to suggest that assessments that map onto authentic learning opportunities are powerful educational catalysts.40


예를 들어, 한 최근의 연구는 의료의 질과 임상 효율을 강조하기 때문에 임상 환경에서 학습하는 시간이 제한될 수 있다는 것을 보여주었다.41

For example, one recent study showed that time for learning in the clinical context may be limited due to the emphasis on quality of health care and clinical efficiency (i.e. ‘getting the patient out’).41


마지막으로, 현대의 대부분의 의료면허시험은 과거의 지식을 입증하는 것에 초점을 두고 있으며, 이러한 스냅샷 방식의, 격리된 평가는 trainee로 하여금 루틴 전문성 개발만을 우선시하는 고정적인 학습 관점을 배양한다. 

Finally, most, if not all, contemporary medical licensure examinations employ a form of snapshot, sequestered assessment, which emphasises demonstrating past knowledge and cultivates a static perspective of learning that can lead trainees to prioritise developing routine expertise alone.


결론

CONCLUSIONS


더 넓은 점은 새로운 평가 시스템에서 바람직한 능력으로서 PFL을 캡슐화하여 모든 전문 지식을 평가할 수 있는 교육자의 능력을 확대하는 것이다.

The broader point is to encapsulate PFL as a desirable capability in new assessment systems, thereby expanding educators’ abilities to assess all facets of expertise.


모든 교육 및 평가 시스템의 궁극적인 목표는 연습생들이 

  • 기존에 쓰던 유용한 전략을 복제하여 새로운 것에서 오래된 것을 볼 수 있도록 하고, 

  • 새로운 적응 전략을 혁신하고 탐구함으로써 오래된 것에서 새로운 것을 볼 수 있도록 하는 것이다.12

The ultimate goal of any system of instruction and assessment is to enable trainees 

  • to see the old in the new by replicating previously useful strategies, and 

  • to see the new in the old by innovating and exploring new adaptive strategies.12


PFL이 적응형 전문지식에 중요하긴 하지만, 일부 임상실무 환경에서 학습이 항상 목표는 아니며, 마찬가지로 일부 교육 환경에서는 항상 PFL이 목표가 되는 것은 아니다. 모든 문제가 혁신이 필요한 것은 아니다. 일상적인 문제를 해결하기 위해 지식을 효율적으로 적용하거나 복제하는 임상의는 효과적인 실천의 핵심 측면을 보여주고 있다.43

Although PFL is critical to adaptive expertise, in some clinical practice settings learning is not always the goal and, likewise, in some education settings PFL is not always the goal. Not every problem requires innovation. A clinician who efficiently applies or replicates knowledge to solve routine problems is exhibiting a key aspect of effective practice.43


교육자와 연구자는 자신의 교육 설계가 학습 경험의 원하는 결과와 어떻게 일치하는지 신중하게 고려할 때 이러한 전문 지식의 여러 측면에 주의를 기울여야 한다(예: 보존, 이전 또는 이전할 것인지).

Educators and researchers must attend to these multiple facets of expertise as they carefully consider how their instructional designs align with the desired outcomes of a learning experience (e.g. do we want to cultivate retention, transfer in or transfer out?).


4 Mylopoulos M, Lohfeld L, Norman GR, Dhaliwal G, Eva KW. Renowned physicians’ perceptions of expert diagnostic practice. Acad Med 2012; 87 (10):1413–7.


34 Asch DA, Weinstein DF. Innovation in medical (9):794–5. education. N Engl J Med 2014;







 2016 Jan;50(1):115-23. doi: 10.1111/medu.12893.

Preparation for future learning: a missing competency in health professions education?

Author information

1
Wilson Centre, Undergraduate Medical Professions Education and Department of Paediatrics, University of Toronto, Toronto, Ontario, Canada.
2
Wilson Centre and Department of Medicine, University of Toronto, Toronto, Ontario, Canada.
3
Wilson Centre and Department of Surgery, University of Toronto, Toronto, Ontario, Canada.
4
Wilson Centre, Institute of Medical Science, University of Toronto, Toronto, Ontario, Canada.
5
Graduate School of Education, Stanford University, Stanford, California, USA.

Abstract

CONTEXT:

Evidence suggests that clinicians may not be learning effectively from all facets of their practice, potentially because their training has not fully prepared them to do so. To address this gap, we argue that there is a need to identify systems of instruction and assessment that enhance clinicians' 'preparation for future learning'. Preparation for future learning (PFL) is understood to be the capacity to learn new information, to use resources effectively and innovatively, and to invent new strategies for learning and problem solving in practice.

CURRENT STATE:

Education researchers have developed study designs that use dynamic assessments to measure what trainees have acquired in the past, as well as what they are able to learn in the present. More recently, researchers have also started to emphasise and measure whether and how trainees take action to gain the information they need to learn. Knowing that there are study designs and emerging metrics for assessing PFL, the next question is how to design instruction that helps trainees develop PFL capacities. Although research evidence is still accumulating, the current evidence base suggests training that encourages 'productive failure' through guided discovery learning (i.e. where trainees solve problems and perform tasks without direct instruction, though often with some form of feedback) creates challenging conditions that enhance learning and equip trainees with PFL-related behaviours.

CONCLUSIONS:

Preparation for future learning and the associated capacity of being adaptive as one learns in and from training and clinical practice have been missed in most contemporary training and assessment systems. We propose a research agenda that (i) explores how real-world adaptive expert activity unfolds in the health care workplace to inform the design of instruction for developing PFL, (ii) identifies measures of behaviours that relate to PFL, and (iii) addresses potential sociocultural barriers that limit clinicians' opportunities to learn from their daily practice.

PMID:
 
26695471
 
DOI:
 
10.1111/medu.12893


원인과 효과: 기초과학의 인지적 통합을 위한 메커니즘과 방법 검증(Acad Med, 2015)

Cause and Effect: Testing a Mechanism and Method for the Cognitive Integration of Basic Science

Kulamakan Kulasegaram, PhD, Julian C. Manzone, MSc, Cheryl Ku, MSc, Aimee Skye, PhD, Veronica Wadey, MD, and Nicole N. Woods, PhD




기초과학을 통합하는 것은 학부 의학의 영원한 고민이다.

Integrating basic science is an enduring concern for undergraduate medical education.


우리는 최근에 학부 의과정에 기초과학의 성공적인 통합의 증거를 위해 8개의 문헌을 검토했다. 통합은 종종 커리큘럼의 모든 수준에서 설명되었지만, 9,10 통합 방법에 대한 가장 설득력 있는 증거는 교육 세션 수준의 연구들에서 발견되었다.

we recently reviewed8 the literature for evidence of successful integration of basic science in undergraduate medical curricula. Although integration was often described at all levels of the curriculum,9,10 the most compelling evidence for how to successfully integrate was found in studies at the level of teaching sessions.


또 통합은 기초과학과 임상과학의 관계를 형성하는 방식으로 기초과학 정보를 제시해야 한다는 의견도 제시했다.

The review also suggested that integration requires presenting basic science information in a manner that creates relationships between basic and clinical science.


우즈17 등은 이런 관계 형성의 이점을 '개념적 공생conceptual coherence'의 창조라고 규정했다. 개념적으로 일관된 임상 및 기초 과학 정보의 정신 표상을 개발하면 학습자가 임상 문제에서 의미를 찾는데 도움이 될 수 있다17;

Woods17 and others have labeled the advantage of this relationship formation as the creation of “conceptual coherence.” Developing a conceptually coherent mental representation of clinical and basic science information can help learners find meaning in clinical problems17;


이 모델은 유망하지만, 개념적 공생과 그에 따른 통합을 어떻게 가장 잘 만들 것인가에 대한 해답이 없는 질문들이 있다.

Although this model is promising, there are unanswered questions as to how best to create conceptual coherence and thus integration.


한 가지 선호하는 옵션은 기초과학 지식과 임상 개념의 가르침 사이의 시간적, 공간적 거리를 줄이는 것 또는 더 나아가 개념적으로 구별된 두 개념을 동시에 제시하는 것이다.

One favored8 option is to decrease the temporal and spatial distance between the teaching of basic science knowledge and clinical concepts or even to present them simultaneously while keeping both areas conceptually distinct.


교육을 동시화synchronize하는 것 또는 정렬하는 것은 의학 교육에서 일반적인 통합 방법21,22이며, 하든의 통합 사다리에서도 다루고 있다.

Synchronizing or aligning teaching is a common method of integration in medical education21,22 and is addressed in Harden’s23 Integration Ladder.


개념적 공생통합이 궁극적으로 학습자의 인지 활동이라는 가설을 전제로 한다. 다른 연구에서 입증되었듯이, 이것은 쉽거나 자발적인 과정이 아니라 숙고와 노력이 필요하다. 우리는 인지 통합이 특정 기초과학 메커니즘과 학습자에게 임상적 특징 사이의 관계를 명시적으로 노출시킬 것을 주장한다.

Conceptual coherence is premised on the hypothesis that integration is ultimately a cognitive activity of the learner. As evidenced by other work, this is not an easy or spontaneous process24–27 but is deliberate and effortful. We argue that cognitive integration requires explicitly exposing relationships11–16 between specific basic science mechanisms and clinical features to learners.


예를 들어, 뇌척수증의 진단

For example, the diagnosis of a brainstem stroke


통합을 위해서, 개념적 공생 모델을 따른다면, brainstem의 생리적, 해부학적 기능과의 관계(예: 안구 근육을 제어하는 신경은 뇌계에서 발생하며 기능 상실은 이중 시력으로 이어진다)와 함께 각각의 징후나 증상을 제시할 것을 제안할 것이다.

for integration, the conceptual coherence model would suggest presenting each sign or symptom along with its relationship to the physiology and anatomy functions of the brainstem (e.g., the nerves that control eyeball muscles arise in the brainstem, and loss of their function leads to double vision).


이 방법은 인과관계를 노출하는 통합방법으로서, 학습자에게 holistic presentation을 할 것을 요구한다.15 이러한 인과관계 임베딩이 더 효과적일 수 있지만, 또한 더 노동집약적이고 자원집약적일 수 있다. 교육자료는 종종 이런 식으로 만들어지지 않는다. 8 그리고 모든 개념이 이런 방식으로 정복될 수 있는 것은 아니다.

This method of creating integration—exposing causal relationships—requires a holistic presentation to learners.15 Although this causal embedding may be more efficacious, it may also be more laborious and resource intensive. Instructional materials are often not created this way, 8 and not all concepts can be mastered in this fashion.


방법

Method


집단

Population


First-year에 대학생 의료(nx82), 보조(nx9)간호대 학생들은 토론토 대학과 그랜트 MacEwan 대학에서(n=10)이 연구를 신규 채용되었다.2011년과 2014년까지 실시되었다.

First-year undergraduate medical (n = 82), physician assistant (n = 9), and nursing students (n = 10) at the University of Toronto and Grant MacEwan University were recruited for this study, which was conducted between 2011 and 2014.


참가자는 네 가지 연구 조건 중 하나에 무작위로 할당되었다. 

Participants were randomly allocated to one of four study conditions: 


  • (1) 과학 기반 인과적 설명(SC)을 사용하여 특정 임상적 특징과 기초 과학 지식을 연결하는 단락을 제공했다. 

  • (2) 먼저 기초과학과 분리한 후 임상적 특징을 나타내며, 기초과학에 이어 임상적 특징(BC)을 기술하는 단락을 제공했다. 

  • (3) 임상적 특징으로 분리한 후 기초과학(CB)을 사용한다. 

  • (4) 임상적 특징 목록(FL)으로, 관련 역학과 함께 진단을 위한 관련 징후 및 증상의 단락을 제공했다.

  • (1) science-based causal explanations, which provided a paragraph linking specific clinical features to basic science knowledge using cause-and-effect-type explanations (SC); 

  • (2) separated with basic science first followed by clinical features, which provided a paragraph describing the basic science followed by the clinical features (BC); 

  • (3) separated with clinical features followed by basic science (CB); and 

  • (4) a clinical feature list (FL), which provided a paragraph of the relevant signs and symptoms for diagnosis along with relevant epidemiology.


학습자료

Learning materials



신경학(또 뇌졸중 그룹, 척수 압축, polyneuropathy, 근 무력증 gravis)과 류머티스학(피부 경화증, 강직성 척추염, 낭창, 류머티스성 관절염)의 네 가지 질병이 있습니다. 참가자들은 한 가지에만 노출되었다. 이 연구에 사용했다. 참가자들은 (질병에 대한 관련 진단 정보를 제공하기 위해) 임상의가 작성한 설명을 보았다.

Four disorders in neurology (brainstem stroke, spinal cord compression, polyneuropathy, and myasthenia gravis) and rheumatology (scleroderma, ankylosing spondylitis, lupus, and rheumatoid arthritis) were used in this study, though participants were only exposed to one set of disorders. Participants viewed explanations written by a clinician that were intended to provide relevant diagnostic information on the disorders.


FL그룹은 각각의 질병에 중요한 진단 증상과 징후 목록을 받았다. 이 역학 정보뿐만 아니라 특정한 임상 기능(예를 들어, 복시와 없이 연하 곤란brainstem를 보여 주는 징후이다)을 포함했다.

The FL group was given a list of key diagnostic signs and symptoms for each of the disorders. This included epidemiological information as well as specific clinical features (e.g., diplopia and dysphagia are symptomatic of brainstem stroke).


분리된 근접 교육을 위하여 두 가지 버전이 생성되었다. 

    • 한 버전에서, 설명은 장애에 의해 영향을 받는 지역의 생리학과 해부학을 설명하는 기초 과학의 단락으로 구성되었고, 그 다음으로 임상적 특징(BC)을 설명하는 두 번째 단락으로 구성되었다. 

    • 다른 버전에서, 임상적 특징 단락이 기초과학(CB)보다 먼저 제시되었다. 

Two versions of separated proximity teaching were created. 

    • In one version, the explanations consisted of a paragraph of basic science describing the physiology and anatomy in the region affected by the disorder followed by a second paragraph outlining the clinical features (BC). 

    • In an alternate version, the clinical features paragraph was presented before the basic science (CB). 


기초과학에 앞서 임상적 제시를 하는 이러한 조작은 제시 순서의 효과를 검토하고 분리되었지만 근접한 가르침의 다른 가능한 변형을 나타내기 위해 수행되었다. 두 그룹의 경우, 단락은 작은 공간으로 구분된 동일한 페이지에 표시되었다.

This manipulation of presenting clinical prior to basic science was done to examine the effect of order of presentation and to represent other possible variations of separated but proximate teaching. For both groups, the paragraphs were presented on the same page separated by a small space.


SC를 그룹은 각각 따로 제시되었던 동일한 내용이 해부학과 생리학의 성분과 임상 특징 사이에 인과적 연결을 설명하기 위해 재기술되어 제시되었다. 이 조건의 참가자들은 질병과 관련된 기본적인 과학 메커니즘을 사용하여 특정 징후나 증상이 보이는 이유를 강조하는 인과관계 내러티브에 노출되었다.

In the SC group, the same content was presented as the separated groups but rewritten to explain the causal links between a component of anatomy and physiology and the clinical features. Participants in this condition were exposed to cause-and-effect narratives that highlighted the reason for observing a specific sign or symptom using a basic science mechanism relevant to the disorder.


설명의 모든 유형의 예를 들어, 표 1참조하십시오.

For an example of all types of explanations, see Table 1.


암기 시험

Memory testing


두가지 형태의 시험이 이 연구에 사용되었다. 기억 시험을 8개의 true-or-false 문제, 객관식 문제, 간략한 short-answer 질문 순이다. 질문은 지식의 설명에서 리콜을 측정하기 위해 고안되었다. 이 시험은 학생들에게 정답의 형태로 피드백을 제공했다. 두 가지 버전이 균형 조정을 위해 만들어졌으며, 참가자의 절반이 즉시 또는 지연된 테스트에서 각 버전을 보았다. 기억력 테스트는 전문가 임상의에 의해 만들어졌고 다른 독립적인 임상 전문가에 의해 검증되었다.

Two types of testing were used in this study. A memory test consisting of eight true-or-false and multiple-choice questions followed by brief short-answer questions. The questions were designed to measure recall of knowledge from the explanations. This test provided feedback in the form of the right answer for students. Two versions were created for counterbalancing with half of participants seeing each version at either immediate or delayed testing. The memory test was created by an expert clinician and verified by another independent clinical expert.



진단 시험

Diagnostic testing


진단 테스트는 학생들이 네 가지 가능한 장애 목록으로부터 정확한 진단을 식별해야 하는 12개의 임상 기록으로 구성되었다. 각 vignette는 환자의 인구통계에 대한 설명을 제공했으며, 기초 장애와 관련된 4-5개의 징후와 증상으로 구성되었다. 또한 즉각 테스트와 지연 테스트에서 균형 잡힌 관리를 통해 총 24개의 사례에 대해 두 가지 버전이 생성되었다. 각 테스트에 대한 총 시간과 vignette당 시간 데이터도 수집되었다. 

The diagnostic test consisted of 12 clinical vignettes for which students had to identify the correct diagnosis from a list of four possible disorders. Each vignette provided a description of a patient’s demographics and consisted of four or five signs and symptoms associated with the underlying disorder. Two versions were also created for a total of 24 cases with counterbalanced administration at immediate and delayed testing. Data on total time for each test and time per vignette were also collected. 


이러한 시험사례는 우리의 학습 자료와 마찬가지로 학부 실습생들을 가르친 경험이 있는 전문 임상의사에 의해 만들어졌으며, 또 다른 독립적인 임상 전문가에 의해 추가로 검증되었다. 이 사례들은 유사한 프로토콜과 자극을 사용한 기초과학 통합에 관한 세 가지 이전 연구에서 사용되었다.11–13 이 평가들은 기존 연구에서 의대생의 학습과 진단 추리 과정을 연구하기 위한 목적으로 적절함이 입증되었다. 임상 환경에서의 성과로 전이하는 것은 이러한 자료로 평가되지 않았지만, 우리는 이 자료들이 보건전문직 학생들의 학습 메커니즘을 연구하는 데 적합하다고 생각했다.

These test cases, as with our learning materials, were created by an expert clinician with experience in teaching undergraduate trainees and further validated by another independent clinical expert. The cases were used in three previous studies of basic science integration using a similar protocol and stimulus.11–13 These assessments have previously demonstrated adequate measurement properties for the purposes of studying medical students’ learning and diagnostic reasoning processes. Although transfer to performance in clinical settings has not been assessed with these materials, we deemed them appropriate for studying the mechanisms of learning in health professions students.



절차

Procedures


참가자들은 맞춤 설계된 컴퓨터 프로그램을 사용하여 개별적으로 이 연구를 완료했다. 프로그램 작동 방법과 연구의 흐름에 대한 지침을 받은 후, 참가자들은 테스트로 이동하기 전에 각각의 설명을 주의 깊게 읽도록 요청 받았다. 참가자는 시험 중 시간이 제한되지는 않았지만 학습 단계에서는 30분 이상 허용되지 않았다. 

Participants completed this study individually using a custom-designed computer program. After receiving instructions on how to operate the program and the flow of the study, participants were asked to read each explanation carefully prior to moving on to the tests. Participants were not allowed more than 30 minutes during the learning phase, though they were not time restricted during testing. 


참가자들은 먼저 메모리 테스트를 완료한 후 진단 테스트를 완료했다. 진단 테스트에 대한 피드백이 제공되지 않았다. 1주일 후에, 참가자들은 다시 시험을 보기 위해 돌아왔다. 참가자들은 학습한 장애의 이름을 간략히 상기시켜 주고, 그 후에 진단 테스트의 대체 버전과 대체 메모리 테스트를 실시하였다. 참가자가 기억력 테스트에 의해 준비되지 않았고 진단에 대한 성과가 참가자의 이전 학습에 기초하도록 시험 응시 순서를 변경했다. 설계 및 절차에 대한 요약은 그림 1을 참조하십시오.

Participants first completed the memory test followed by the diagnostic test. No feedback was given for the diagnostic test. After a one-week delay, participants returned for testing again. Participants were briefly given a reminder of the names of the disorders they learned, after which they took the alternate versions of the diagnostic test followed by the alternate memory test. The order of test taking was switched to ensure that participants were not primed by the memory test and so that performance on diagnosis was based on participants’ previous learning. Please see Figure 1 for a summary of the design and procedure.



분석

Analysis


1차 분석은 대상 간 요인(FL, BC, CB, SC)을 그룹(FL, CB, SC)으로 하는 공분산(ANCOVA)의 혼합된 반복측정 분석을 사용하여 진단 테스트(즉시 및 지연)에 대한 성능이었다.

The primary analysis was performance on the diagnostic test using a mixed, repeated-measures analysis of covariance (ANCOVA) with group (FL, BC, CB, SC) as the between-subjects factor and test (immediate and delayed) as the repeated factor.


결과

Results


테스트 시 vignette/case당 학습 시간과 시간에 대한 그룹 간의 차이는 통계적으로 유의하지 않았지만(F[3,94] = 0.54, P < 0.63; F[3,94] = 0.12, P < 2.8) 지연 시 총 스터디 시간과 진단 테스트 성능 사이의 약하지만 유의한 상관관계를 감지했다(r = 0.26, P <01).t 또한 즉각적인 진단(r = 0.27, P < .008) 및 지연 진단 테스트(r = 0.29, P < .005)에 대한 즉각적인 테스트.

Differences between groups for time on learning and time per vignette/case at testing were not statistically significant (F[3,94] = 0.54, P < .63; F[3,94] = 0.12, P < .28); however, we detected weak but significant correlations between total study time and diagnostic test performance at delay (r = 0.26, P < .01), as well as with time per vignette at immediate testing for both immediate diagnostic (r = 0.27, P < .008) and delayed diagnostic testing (r = 0.29, P < .005).


메모리 테스트(F[3,92] = 3.1, P < 04, η 2 = 0.056)의 복수 선택 및 참/거짓 부분에 대한 지연의 통계적으로 유의한 영향을 감지했으며, 1의 참가자는 지연에서 73%로, 68%로 떨어졌다. 4개 그룹(F[3,92] = 0.59, P < .73) 또는 시간 지연과의 상호작용(F[3,92] = 1.12, P < .14)에는 유의미한 차이가 없었다. 메모리 테스트의 성능은 즉각적인 진단 평가(r = -0.11, P < .48) 또는 지연 테스트(r = 0.15, P < .32)에서의 성능과는 상관관계가 없었다.

We detected a statistically significant effect of delay on the multiple-choice and true/false sections of the memory test (F[3,92] = 3.1, P < .04, η 2 = 0.056), with participants at time 1 scoring at 73% with a drop to 68% at delay. There was no significant difference between the four groups (F[3,92] = 0.59, P < .73) or interaction with time delay (F[3,92] = 1.12, P < .14). Performance on the memory test was not correlated with performance on the diagnostic assessment at either immediate (r = −0.11, P < .48) or delayed testing (r = 0.15, P < .32).


즉시 및 지연 진단 테스트의 표준 오류와 함께 그룹별 평균 성능을 그림 2에 요약하였다.

Average performance by group along with standard error on the immediate and delayed diagnostic test is summarized in Figure 2.



Discussion


우리의 결과는 즉각적인 테스트에서는 모든 그룹이 진단 작업에서 유사한 성능을 보였다는 것을 보여주었다. 모든 그룹이 지연에서 성능 저하를 경험했지만 원인 설명 그룹은 가장 작은 하락을 보였다. 대조적으로, 기초 과학 설명이 없었던 그룹, 그리고 기초 과학보다 먼저 임상적 특징을 설명한 그룹들은 지연 시험에서 20% 이상 감소를 경험했다. 임상적 특징보다 기초과학을 먼저 학습한 집단은 감소가 더 적었지만, 여전히 지연시험에서 이 집단보다 인과적 설명을 받은 집단이 더 높은 성과를 보였다.

Our results revealed that at immediate testing, all groups had similar performance on the diagnostic task. Although all groups experienced a drop in performance at delay, the causal explanation group experienced the smallest drop. In contrast, the groups taught without basic science and with clinical features preceding basic science experienced a drop of 20% or more at delayed testing. Although the group with basic science preceding clinical features experienced a smaller drop, this group was still outperformed by the causal explanation group at the delayed test.


이러한 결과는 임상 추론에서 기초 과학의 가치를 연구한 다른 연구자들의 연구 결과와 일치한다.18,19,28

These results are consistent with findings by other researchers who have examined the value of basic sciences in clinical reasoning.18,19,28


이 연구의 결과는 단순히 기초과학을 임상 지식에 근접하게 제시하는 것만으로는 통합적 이익을 보장하지 못할 수 있다는 것을 시사한다. 대신에, 우리의 연구결과는 통합적인 이해를 위해서는 holistic contents를 만들 필요가 있다는 것을 암시한다. 그 결과는 인지 활동으로서의 통합이란, [다른 유형의 지식들 사이의 연결의 생성]이라는 점점 늘어나는 연구결과들과도 일치한다.28,29 이처럼 (기초와 임상의) 연결을 명확히 노출된 형태로 교육 자료를 제시함으로써 학습자들을 통합적 이해를 갖출 수 있게 한다. 

The results from this study suggest that simply presenting basic science in close proximity to clinical knowledge may not guarantee the putative benefits of integration. Instead, our findings suggest that integrated understanding requires the creation of holistic content. The results are consistent with and add to a growing body of literature which argues that integration as a cognitive activity is best understood as the creation of connections between different types of knowledge.28,29 Presenting instructional materials in a form that already exposes these connections likely enables learners to form an integrated understanding.


기초과학 지식을 먼저 교육받은 그룹은 임상적 특징을 먼저 교육 받은 그룹보다 retention시험에서 높은 점수를 받았다. 이러한 차이에 대한 한 가지 설명은 프레젠테이션 순서가 자료의 목적적합성에 대한 평가나 프라이머시 효과를 만든다는 것이다. 임상적 특징을 먼저 제공하는 것은 참가자들이 이 정보를 더 중요하게 여기고 기초 과학 콘텐츠에 대한 관심을 줄이도록 이끌었을 수 있다. 다른 연구자들은 학생들이 임상 내용에 비해 기초과학의 관련성에 대한 평가가 낮을 수 있으며, 이 메커니즘이 작동 중일 수 있다고 지적했다.

the group receiving the basic science knowledge first having higher scores at the retention test compared with the group that received the clinical features first. One explanation for this difference is that the order of presentation creates a primacy effect or an appraisal of relevance of the material. Providing clinical features first may have led participants to consider this information to be more important and to reduce their attention to basic science content. Other researchers have noted that students may have a lower appraisal of the relevance of basic science32 compared with clinical content, and this mechanism may be at play.


우리의 결과는 기초과학 가르침의 가치를 극대화하는 방법으로서 개념적 일관성conceptual coherence 모델과 인과적 설명에 증거를 제공한다.

Our results lend evidence to the conceptual coherence model and causal explanations as ways of maximizing the value of basic science teaching.


기초과학을 맥락에 따라 내장embed하여 가르치는 것은 학습자가 기초과학의 임상적 개념과의 연결 및 그 의미를 볼 수 있도록 한다. 이것은 또한 보다 전문가와 같은 임상 스키마를 만들기 위한 비계를 지원한다.19,20 비록 이것이 직관적으로 보이지만, 이것을 실천으로 변환하는 것이 간단하지 않을 수 있음을 암시한다. 인지 통합을 촉진하려면, 특정 콘텐츠 수준에서 인과 관계를 보여주는 고도로 상세하고 주의 깊은 조작manipulation이 필요할 수 있다.

Teaching basic science in an embedded, contextualized manner allows learners to see connections and meaning in clinical concepts; this also supports scaffolding for building more expert-like clinical schemas.19,20 Although this may be an intuitive concept, our results suggest that translating this into practice may not be straightforward. It may require highly detailed and attentive manipulation to causal relationships at the level of specific content to facilitate cognitive integration.


그러나 통합을 이러한 관점으로 바라보는 기존 커리큘럼은 거의 없다. 그보다, 시간적으로 분리해두었지만 근접하게 배치한 상태를 "통합"이라 묘사할 가능성이 더 높다.8

However, few curricula create integration with this perspective. Instead, a scaled version of our separated but proximate conditions is more likely to be described as integration.8


비록 기초 과학교육과 임상의학교육을 시간적으로 점점 더 가까이 두는 것이 가치 있는 일일 수 있지만, 우리의 결과는 이것이 특정한 개념을 서로 의도적으로 연결하는 것만큼 효과적이지 않을 수 있다는 것을 암시한다. 즉 기초과학과 임상개념 강의를 연속적으로 하는 것, 또는 같은 날이나 같은 주에 하는 것은 통합을 보장하지 않는다. 근접성은 통합의 기회를 만들 수도 있지만, 궁극적으로는 교사들과 학습자들에 의해 능동적이고 목적적인 연계가 이루어져야 하는 것이다.

Although increasing proximity with basic science teaching can be valuable, our results suggest that this might not be as efficacious as purposefully linking discrete and specific concepts together. In other words, putting a basic science and a clinical concepts lecture back-to-back, or on the same day or week, is no guarantee of integration. Proximity may create an opportunity for integration, but ultimately, it seems that active, purposeful linkages must be made by teachers and learners.


우리는 통합의 메커니즘을 명확히 하기 위해 해부학과 생리학을 이 연구의 기본 과학 내용으로 하는 인과적 설명을 사용했다. 그러나 많은 장애들은 복잡한 사회적, 구조적 원인을 포함한다. 게다가 여러 질병들은 기본적인 과학 메커니즘의 관점에서 원인을 잘 이해하지 못했다. 분명히, 인과적 설명이 모든 상태나 임상 활동에 적합하지 않을 수 있다.

We used causal explanations with anatomy and physiology as the basic science content for this study to clarify mechanisms of integration. But many disorders involve complex social and structural causes. Furthermore, several diseases have poorly understood causes from the perspective of basic science mechanisms. Clearly, causal explanations may not be appropriate for every condition or clinical activity.


원인 설명은 통합을 뒷받침하는 많은 가능한 방법들 중 하나일 것이다. 다른 교수 형식과 실습(예: 문제 기반 학습, 사례 기반 학습, 실무 경험)은 개념 일관성 개발을 지원하는 한 통합을 지원하는 데 기능할 수 있다. 일상적인 가르침의 맥락에서, 교사들이 지식 영역 간의 관계를 만들고 통합을 지원할 수 있는 다양한 방법이 있을 것이다. 여러 가지 유사한 전략을 사용하는 기초 과학의 상황 파악은 학습자에게 가장 큰 영향을 미칠 수 있다.

Causal explanations are likely only one of many possible ways to support integration. Other teaching formats and practice (e.g., problem-based learning, case-based learning, practical experiences) may function to support integration, so long as they support the development of conceptual coherence. In the context of everyday teaching, there are likely multiple ways teachers can create relationships between knowledge domains and support integration. Contextualization of basic science using multiple, similar strategies may have the greatest impact on learners.


결론

Conclusions


이 개념적 일관성은 두 도메인이 뚜렷하게 그러나 근접하게 제시되어 있을 때에도 자발적으로 발생하는 것이 아니다. 진단 추론을 이용하려면 학습자가 연결과 관계에 직접 노출되어야 한다.

This conceptual coherence does not occur spontaneously, even when both domains are presented distinctly but in proximity. To benefit diagnostic reasoning, learners must be exposed directly to the connections and relationships.





 2015 Nov;90(11 Suppl):S63-9. doi: 10.1097/ACM.0000000000000896.

Cause and EffectTesting a Mechanism and Method for the Cognitive Integration of BasicScience.

Abstract

BACKGROUND:

Methods of integrating basic science with clinical knowledge are still debated in medical training. One possibility is increasing the spatial and temporal proximity of clinical content to basic science. An alternative model argues that teaching must purposefully expose relationships between the domains. The authors compared different methods of integrating basic science: causal explanations linking basic science to clinical features, presenting both domains separately but in proximity, and simply presenting clinical features

METHOD:

First-year undergraduate health professions students were randomized to four conditions: (1) science-causal explanations (SC), (2) basic science before clinical concepts (BC), (3) clinical concepts before basic science (CB), and (4) clinical features list only (FL). Based on assigned conditions, participants were given explanations for four disorders in neurology or rheumatology followed by a memory quiz and diagnostic test consisting of 12 cases which were repeated after one week.

RESULTS:

Ninety-four participants completed the study. No difference was found on memory test performance, but on the diagnostic test, a condition by time interaction was found (F[3,88] = 3.05, P < .03, ηp = 0.10). Although all groups had similar immediate performance, the SC group had a minimal decrease in performance on delayed testing; the CB and FL groups had the greatest decreases.

CONCLUSIONS:

These results suggest that creating proximity between basic science and clinical concepts may not guarantee cognitiveintegration. Although cause-and-effect explanations may not be possible for all domains, making explicit and specific connections between domains will likely facilitate the benefits of integration for learners.

PMID:
 
26505104
 
DOI:
 
10.1097/ACM.0000000000000896


의과대학생을 미래학습에 준비시키는 용도로 기초의학교육 (Med Educ, 2014)

Preparing medical students for future learning using basic science instruction

Maria Mylopoulos1 & Nicole Woods2




도입

INTRODUCTION


'미래 학습을 위한 준비(PFL)'의 구인는 

  • 가용 자원으로부터 새로운 정보를 배우고, 

  • 새로운 학습을 과거의 경험과 연관시키며, 

  • 문제 해결에 있어 혁신과 유연성을 증명하는 능력으로 이해된다.1

The construct of ‘preparation for future learning’ (PFL) is understood as the ability to learn new information from available resources, relate new learning to past experiences and demonstrate innovation and flexibility in problem solving.1


적응적 전문지식Adaptive expertise 은 임상 실무에서 탁월함을 나타내는 것으로 이해되며, 비판적으로, 훈련 내내 개발되어야 하는 학습 기술이다.4,5

Adaptive expertise is understood to represent excellence in clinical practice2,3 and, critically, to be the product of a learned skill set that must be developed throughout training.4,5


PFL은 학생들이 [하나의 문제 해결 상황에서 다음 문제 해결 시점으로 자신의 지식을 전달할 수 있는 정도]를 탐구하는 학습 전이에 관한 연구를 통해 교육 문헌에 나타났다.1

Preparation for future learning has emerged in the education literature through studies in the area of learning transfer, which explore the extent to which students are able to transfer their knowledge from one problem-solving situation to the next.1


최근 연구원들은 가장 훌륭한 문제 해결 교육일지라도 학생들이 실제로 마주칠 수 있는 모든 상황에 대비할 가능성은 낮다는 사실에 초점을 맞추고 있다. 예를 들어, 학생들이 가능한 한 많은 문제 해결 컨텍스트를 경험할 수 있도록 하기 위한 의료 교육자들의 노력에도 불구하고, 의사는 이전에 본 적이 없는 새로운 문제와 컨텍스트에 직면할 수밖에 없다.

recently researchers have focused on the fact that even the finest problem-solving instruction is unlikely to prepare students for every situation they might come across in practice. For example, despite the efforts of medical educators to ensure that students experience as many problem-solving contexts as possible,6 it is inevitable that physicians will encounter new problems and contexts they have never seen before.


습득한 지식을 적용하고 복제하는 능력은 의사들이 효과적으로 의료행위를 수행할 준비로는 충분하지 않다. 더욱이 적응적 전문가는 습득한 지식을 효과적이고 효율적으로 사용할 수 있을 뿐만 아니라, 새로운 문제에 직면했을 때 새로운 해결책을 세울 수 있을 것으로 기대된다.7

the ability to apply and replicate acquired knowledge is insufficient to enable physicians to perform effectively. Moreover, adaptive experts are expected to be both able to use their acquired knowledge effectively and efficiently, and able to construct new solutions when faced with novel problems.7


교과과정에 기초과학을 포함시키는 가장 강력한 주장은 그것이 미래의 학습을 위한 준비도구 역할을 한다는 것이다. 우즈12는 기초과학 훈련의 가치는 학생들에게 [임상 지식의 이해를 위한 일관된 프레임워크의 개발]을 돕는 것이라고 주장한다.

the most powerful argument for the inclusion of basic science in the curriculum is that it serves as a preparatory tool for future learning. Woods12 argues that the value of basic science training is its ability to assist students with the development of a coherent framework for the understanding of clinical knowledge.


따라서 기초 과학 교육을 사용하여 훈련된 학생들은 그들의 현존하는 정신적 표현에 새로운 임상 정보를 더 잘 통합할 수 있을 것이고 새로운 진단 문제를 더 빨리 해결할 수 있을 것이다. 따라서 기초과학교육은 PFL지침의 일종으로 볼 수 있다.

Students trained using basic science instruction might therefore be better able to incorporate novel clinical information into their existing mental representations and more quickly solve new diagnostic problems . Therefore, basic science instruction can be considered to be a form of PFL instruction


본 연구의 목적은 PFL 평가(PFLA)에 대한 임상적으로 성능에 초점을 맞춘 지침과 기초 과학 지침의 영향을 비교하는 것이었다.

The objective of this research was to compare the impact of basic science instruction with that of clinically focused instruction on performance on a PFL assessment (PFLA).


방법

METHODS


설계

Design


본 연구는 PFLA가 두 가지 교육 방법 중 하나를 사용하여 훈련된 학생들 사이의 성능 차이를 드러낼 수 있는지 여부를 결정하기 위해 Bransford와 Schwartz,1,8에서 채택된 '이중 전이' 설계를 채택했다.

This study employed a ‘double transfer’ design, adapted from Bransford and Schwartz,1,8 to determine whether a PFLA can reveal differences in performance between students trained using one of two instructional methods (clinically focused instruction and basic science instruction, respectively)


(Fig. 1).


자료 개발

Material development


교육 자료

Instruction materials


임상 컨설턴트와 함께, 연구팀의 구성원들은 이전의 실험에서 적응한 8개 범주의 신경 질환에 대한 기초적인 과학 메커니즘을 기술하는 징후와 증상 및 구절 목록을 작성했다.13,14 4개 범주의 범주는 신경 질환의 일반적인 분류(상기 운동 니어)를 나타낸다.유론병변, 운동신경병변, 신경근육 접합 장애 및 근육 질환). 다른 네 가지 범주는 이러한 분류(뇌졸중, 골수중력, 척수압축, 다낭성)의 보다 구체적인 예였다.

Along with the clinical consultants, members of the research team created a list of signs and symptoms and passages describing the underlying basic science mechanisms for eight categories of neurological disease adapted from previous experiments.13,14 

    • Four of the categories represented general classifications of neurological disease (upper motor neuron lesions, lower motor neuron lesions, neuromuscular junction disorders and muscle disease). 

    • The other four categories were more specific examples of these classifications (brainstem stroke, myasthenia gravis, spinal cord compression and polyneuropathy).


연구의 초기 지침 단계에서는 각 일반 분류를 설명하는 4개의 개별 서술 구절로 구성된 2개의 학습 자료를 작성했다. 

    • 임상적 징후와 증상만 기술한 한 세트의 교육 자료, 

    • 두 번째 세트는 징후와 증상 및 기본적인 과학 메커니즘을 포함했다.

For the initial instruction phase of the study, we created two sets of learning materials each consisting of four separate narrative passages describing each of the general classifications. One set of instructional materials described only the clinical signs and symptoms; the second set included the signs and symptoms plus underlying basic science mechanisms.


평가 자료

Assessment materials


암기 퀴즈

Memory quizzes


초기 학습 후 평가와 PFL 명령 단계 후 평가는 메모리 쿼리 진단 평가의 두 가지 구성 요소로 이루어졌다. 첫째, 참가자의 학습 자료에 대한 기초적 획득을 독립적으로 평가하기 위해 기억에서 대답할 일련의 객관식 질문(MCQ)을 사용하였다. 이러한 짧은 퀴즈는 문제 해결보다는 사실의 인식을 평가하도록 설계되었기 때문에 초기 평가 및 PFLA와 구별되는 것으로 간주되었다.

Assessment after initial learning and after the PFL instruction phase consisted of two components: memory quizzes, and diagnostic assessments. First, a series of multiple-choice questions (MCQs) to be answered from memory were used to independently assess participants’ basic acquisition of the learning material. These short quizzes were considered as distinct from the initial assessment and the PFLA as they were designed to assess the recognition of facts rather than problem solving.


초기 평가와 PFLA 진단검사

Initial assessment and PFLA diagnostic tests


기억력 퀴즈와 대조적으로, 초기 평가와 PFLA는 학생들이 단순히 임상 사실을 상기하지 않고 임상 사례를 해결하도록 요구하였다.

By contrast with the memory quizzes, the initial assessment and the PFLA required that students solve clinical cases and not simply recall clinical facts.


이 과정의 최종 결과는 4개의 광범위한 범주에서 도출한 16개의 사례로 구성된 초기 평가와 4개의 특정 질병을 언급하는 16개의 사례로 구성된 PFLA이다.

The end result of this process was the initial assessment, which consisted of 16 cases drawn from the four broader categories, and the PFLA, which consisted of 16 cases referring to the four specific diseases.


참여자와 자료수집

Participants and data collection


참가자들은 먼저 맞춤형 컴퓨터 프로그램을 통해 네 가지 광범위한 분류 범주(상부 운동 뉴런 병변, 하부 운동 뉴런 병변, 신경근육 접합 장애 및 근육 질환)를 배우도록 요청받은 초기 학습 단계를 완료했다.

Participants first completed the initial instruction phase in which they were asked to learn four broad classification categories (upper motor neuron lesions, lower motor neuron lesions, neuromuscular junction disorders and muscle disease) via a custom designed computer program.


BS 조건의 참가자들은 각 질병의 임상적 특징과 각 특징이 발생하는 이유를 설명하는 기본 과학 메커니즘을 포함하는 네 가지 기초 과학 질병 설명을 검토했다.

Participants in the BS condition reviewed four basic science disease descriptions, which included the clinical features of the respective diseases and basic science mechanisms explaining why each feature occurred.


CL 조건의 참가자들은 4개의 해당 임상 질병 설명을 검토했으며, 여기에는 수반되는 역학 요인이 포함된 임상 특징이 포함되었다.

Participants in the CL condition reviewed four corresponding clinical disease descriptions, which included clinical features with accompanying epidemiological factors.


초기 지침 단계에 따라, 두 조건의 참가자들에게 초기 학습 자료의 임상적 측면에 대한 기억 시험을 완료하도록 요청하였다. 그런 다음 학생들은 진단 기술을 평가하기 위해 설계된 초기 평가를 완료했다. 참가자들은 총 16개의 환자 사례를 읽고 가장 적절한 진단을 선택해야 했다.

Following the initial instruction phase, participants in both conditions were asked to complete a memory test of the clinical aspects of the initial learning material. Students then completed the initial assessment designed to assess diagnostic skill. Participants were required to read a total of 16 patient cases and to select the most appropriate diagnosis.


그런 다음 참가자들에게 PFL 학습 단계를 완료하도록 요청하였다. 이미 신경 질환의 일반적인 분류를 배운 학생들은 이제 그러한 범주의 네 가지 구체적인 예를 배워야 했다. 학생들은 초기 교육 단계에서 제시되지 않았던 4개의 새로운 질병 설명을 읽는다.

Participants were then asked to complete the PFL instruction phase. Having already learned the general classifications of neurological diseases, students were now required to learn four specific examples of those categories. Students read four novel disease passages that had not been presented in the initial instruction phase.


학생들에게 20개의 새로운 기억력 테스트 항목이 제시되었다. 새로운 질병의 임상적 특징에 대한 그들의 지식을 평가하기 위해서. 마지막으로 참가자들은 새로운 질병 상태를 바탕으로 16개의 새로운 환자 사례를 진단해야 하는 PFLA를 완료했다.

Students were then presented with 20 new memory test items assessing their knowledge of the clinical features of the novel diseases. Finally, participants completed the PFLA, which required them to diagnose 16 new patient cases based on the novel disease conditions.


자료 분석

Data analysis



결과

RESULTS


(Fig. 2).


고찰

DISCUSSION


우리의 결과는 기초과학 교육을 함께 받은 참가자들이, 임상적으로만 초점을 둔 교육을 받은 참가자들보다 새로운 관련 내용을 더 잘 배운다는 것을 보여준다.

our results indicate that participants who received basic science instruction demonstrated better learning of novel related content than did those who received only clinically focused instruction.


적응적 전문성을 탐구하는 연구자들은 적응 전문가가 새로운 문제 해결 맥락에서 지식을 유연하게 사용하는 능력은 해석적 지식(knowing with)에 초점을 맞춘 교육과 평가를 통해 학습되며, 복제적(knowing that)이나 적용적(knowing how)를 통해 학습되는 것이 아니라고 말한다.

researchers exploring adaptive expertise have suggested that the ability of adaptive experts to flexibly use knowledge in new problem-solving contexts is learned through instruction and assessment that focus on interpretive knowing (knowing with), rather than replicative (knowing that) or applicative (knowing how) knowing.1,15 


기초과학 교육을 포함하는 것은 이러한 형태의 학습을 지원하고 따라서 적응적 전문지식의 개발을 더욱 광범위하게 지원하는 것으로 보인다.

The inclusion of basic science instruction appears to support this form of learning and thus the development of adaptive expertise more broadly.


일부 연구자들은 기초과학의 긍정적인 영향을 밝혀내기 위한 이것과 다른 유사한 연구들의 실패가 그러한 영향은 존재하지 않는다는 주장을 뒷받침한다고 결론지었다.911 더구나 임상교사와 학생들은 종종 기초과학 연수의 가치를 보기 위해 애쓴다.16 우리의 결과는 기존 연구에 대한 다른 해석을 제안한다.

Some researchers have concluded that the failure of this and other similar studies to uncover the positive impact of basic science supports the claim that no such impact exists.9–11 Moreover, clinical teachers and students often struggle to see the value of basic science training.16 Our results imply a different interpretation of this body of research


전통적으로 의학교육에서의 평가는 학습 자료를 복제replicate하고 적용apply하는 학생들의 능력을 평가하는 반면, PFL 평가는 학생들이 새로운 내용을 학습하는 데 지식을 사용할 수 있는 정도를 평가한다. 따라서 PFL 평가는 어떤 의학교육이 [학생들이 미래 문제 해결에서 혁신적이고 유연하게 대처할 수 있도록 가장 잘 준비시키는지]를 판단하는 데 사용될 수 있다.

whereas assessment in medical education traditionally evaluates students’ ability to replicate and apply learning material, PFL assessments that explore the extent to which students are able to use their knowledge to learn new content can be used to determine which educational practices in medicine (e.g. basic science instruction, test-enhanced learning17,18) are best able to prepare students to be innovative and flexible in their future problem solving.



특히, 지식의 응용이나 복제의 입증보다 [새롭게 내용을 배우는 것에 중점을 두는 것]은 평가에 대한 우리의 이해에 중요한 의미를 가진다.

In particular, an emphasis on learning novel content rather than demonstrating the application or replication of prior knowledge has significant implications for our understanding of assessment


적응형 전문가들은 'optimal adaptability corridor'라는 것을 발휘한다. 즉, 이는 직무수행 중 효율적 문제해결과 혁신적 문제해결의 균형을 맞추는 것이다. 적응형 전문지식을 개발하려면 발달과정 내내 동일한 균형을 유지해야 하므로, [효율적 실천]과 [혁신적 실천] 모두에 초점을 맞춘 교육이 필요하다.7 따라서 적응형 전문성 개발을 위해서는 전통적인 방식과 PFL 지침과 평가를 모두 할 수 있는 여지가 있다고 주장할 수 있다.19,20

Adaptive experts work within what has been described as the ‘optimal adaptability corridor’, balancing efficient and innovative problem solving in their work. Developing adaptive expertise requires that the same balance be maintained throughout development, thus requiring instruction that is focused on both the efficiencyand the innovation-related dimensions of practice.7 It can be argued therefore that there is a place for both traditional and PFL instruction and assessments in the development of adaptive expertise.19,20


유사한 조건에서 자발적인 지식 전이의 사례를 찾으려는 많은 연구에서, 성공적인 전이는 관찰하기 어렵다는 결론을 내려왔다.21,22 한 문제의 해결책을 새로운 문제의 해결에 직접 적용해야 하는 기존의 transfer에 연구와 달리, PFL은 성공적인 전이를 [새로운 문제의 해결을 위한 플랫폼으로서 기존 경험의 사용]으로 정의한다. 학습자가 특정 해결책을 어떻게 전이하는지를 평가하는 것에서, 새로운 지식의 습득을 위한 기초를 제공하는 것으로 초점을 옮겼다는 사실은 아마도 다른 사람들이 실패한 곳에서 성공적인 전이가 발견되었다는 것을 설명해 줄 것이다.

it is important to note that a large body of research attempting to find instances of spontaneous transfer of knowledge under similar conditions has revealed that successful transfer is notoriously difficult to observe.21,22 Unlike traditional investigations of transfer, which require the direct application of the solution of one problem to a novel problem, PFL defines successful transfer as the use of the prior experience as a platform for the solution of novel problems. The fact that we shifted our focus from assessing how learners’ transfer a specific solution to giving them a foundation for the acquisition of new knowledge probably explains our finding of successful transfer where others have failed.








 2014 Jul;48(7):667-73. doi: 10.1111/medu.12426.

Preparing medical students for future learning using basic science instruction.

Author information

1
SickKids Learning Institute, The Hospital for Sick Children and The Wilson Centre University of Toronto, Toronto, Ontario, Canada.

Abstract

OBJECTIVES:

The construct of 'preparation for future learning' (PFL) is understood as the ability to learn new information from available resources, relate new learning to past experiences and demonstrate innovation and flexibility in problem solving. Preparation for futurelearning has been proposed as a key competence of adaptive expertise. There is a need for educators to ensure that opportunities are provided for students to develop PFL ability and that assessments accurately measure the development of this form of competence. The objective of this research was to compare the relative impacts of basic science instruction and clinically focused instruction on performance on a PFL assessment (PFLA).

METHODS:

This study employed a 'double transfer' design. Fifty-one pre-clerkship students were randomly assigned to either basic scienceinstruction or clinically focused instruction to learn four categories of disease. After completing an initial assessment on the learned material, all participants received clinically focused instruction for four novel diseases and completed a PFLA. The data from the initial assessment and the PFLA were submitted to independent-sample t-tests.

RESULTS:

Mean ± standard deviation [SD] scores on the diagnostic cases in the initial assessment were similar for participants in the basicscience (0.65 ± 0.11) and clinical learning (0.62 ± 0.11) conditions. The difference was not significant (t[42] = 0.90, p = 0.37, d = 0.27). Analysis of the diagnostic cases on the PFLA revealed significantly higher mean ± SD scores for participants in the basic science learningcondition (0.72 ± 0.14) compared with those in the clinical learning condition (0.63 ± 0.15) (t[42] = 2.02, p = 0.05, d = 0.62).

CONCLUSIONS:

Our results show that the inclusion of basic science instruction enhanced the learning of novel related content. We discuss this finding within the broader context of research on basic science instruction, development of adaptive expertise and assessment in medicaleducation.

PMID:
 
24909528
 
DOI:
 
10.1111/medu.12426


전이를 최적화하기 위한 기초의학교육(Med Teach, 2009)

Teaching basic science to optimize transfer

GEOFF NORMAN

McMaster University, Canada




Flexner 시대 이후, 전 세계의 의학 교육은 2년 이상의 전임상 교육과, 이어지는 비슷한 기간의 임상 훈련 시간으로 구성되었다. 그러한 arrangement는 의료행위를 생물학, 심리학 및 기타 분야의 과학적 기반과 연결시키는 Flexner의 우려를 정당화한다. 그러나 이러한 보편적 접근의 기반은 학습의 본질에 대한 100년도 넘은 오래된 관점; 즉, "기초"과목을 먼저 배우고, 그 이후에 그 과목과 관련된 일반적 "mental faculties"를 심어준다는 생각이다.

Since the time of Flexner, medical education worldwide has consisted of 2 or more years of preclinical education followed by an equivalent time of clinical training. Such an arrangement legitimizes Flexner’s concerns about linking the practice of medicine to the scientific underpinnings in biology, psychology, and other disciplines. Yet this universal approach rests on a century old perspective on the nature of learning; the notion that there are ‘‘foundational’’ subjects that can be taught early, and will inculcate general ‘‘mental faculties’’ related to the subject matter.


1950년대까지 이 철학을 인용한 교육자들은, [라틴어가 모든 서양 언어의 근본이고 철학이 과학의 기초]라는 입장을 취하여, 공립학교 학생들에게 라틴어 강좌와 논리학을 강요하였다. 슬프게도, 그러한 관행에 의해 길러진 "general mental facilities"의 개념은 손다이크(1913년)에 의해 틀리다는 것이 증명되었지만, 그 관습은 이후에도 적어도 50년은 더 지속되었다.

Until the 1950s, educators who ascribed to this philosophy took the position that Latin was the underlying foundation of all Western languages, and philosophy was the basis of science, so inflicted courses in Latin and logic on public school students. Sadly, although the notion of ‘‘general mental facilities’’ fostered by such practices was disproved by Thorndike (1913), the practice survived for at least another 50 years.


그러나 교육학에 대한 이와 같은 역사적 관점과 더불어, 심리학은 행동주의에 의해 지배되었는데, 행동주의의 기본 전제는 모든 학습은 (특정)자극에 따른 반응에 해당하며 일반화되지 않는다는 것이다. 이 이론적 틀에서, 모든 반응은 특정한 자극에 조건화되기 때문에, 그 반응이 새로운 상황에 일반화되는 것은 도저히 가능하지 않았다.

However, paralleling this historical view in education, psychology in the last century was dominated by behaviorism, whose fundamental premise is that all learning amount to stimulus – response links, with no generalization. From this theoretical framework, generalization to novel situations was simply not possible, since all responses are conditioned to specific stimuli.


일반화와 전이현상에 대한 보다 온건한 견해가 1960년대부터 시작된 인지심리의 혁명으로 나타났다. 초기에, 인지에 대한 은유로서 심리학에서는 '장기 기억', '작업 기억', '감각 입력 시스템'과 같은 컴퓨터에서의 개념을 사용하였다. 인지적 관점에서, 학습은 장기기억의 변화였으며, 그 이상도, 이하도 아니었다.

A more moderate view of the phenomenon of generalization and transfer has emerged with the revolution in the cognitive psychology beginning in 1960s. Cognitive on metaphor, psychology was initially based a computer with concepts like ‘‘long-term memory’’, ‘‘working memory’’, and ‘‘sensory input systems’’. in the cognitive view, learning amounts to changes in long-term memory – no more and no less,


많은 교육자들에게 기억과 학습에 대한 인지적 관점은 환원주의적이며, 인간 학습의 본질과 풍부함에 대한 광범위한 견해와 양립할 수 없는 것처럼 보일 수 있다. (인지적 관점은) 학습에 있어서의 사회적 요인에 대한 고려나 동기 부여와 같은 정서적 영향을 명확하게 배제하며, 흔히 학습에 영향을 미칠 수 있는 지적 능력이나 공간적 능력 등의 개인별 적성 차이도 examine하지 않는다. 그럼에도 불구하고 인지적 관점은 학습, 사고, 추론의 많은 측면을 설명하는 데 상당한 성공을 거두었다.

To many educators, the cognitive view of memory and learning may seem reductionist and incompatible with broader views of the nature and richness of human learning. It clearly excludes considerations of social factors in learning, or emotional influences such as motivation, nor does it typically examine individual differences in aptitude that may influence learning, such as intelligence or spatial ability. Nevertheless, the cognitive perspective has had considerable success in explaining many aspects of learning, thinking, and reasoning.


인지 심리학에서 반복되는 연구 주제는 "전이transfer"이라는 개념이다. 즉, 한 맥락에서 습득한 지식을 사용하여 다른 맥락에서 새로운 다른 문제를 해결하는 것이다.

One recurring research theme in cognitive psychology is the idea of ‘‘transfer’’ – using knowledge acquired in one context to solve a new dissimilar problem in another context.


전형적으로, 하나의 문제 맥락에서 개념을 배운 학생들은 새로운 문제를 해결하기 위해 개념을 적용하는 데 있어 10-30%의 성공률을 가질 뿐이다.

Typically, students who have learned a concept in one problem context will only have a 10–30% success rate in applying the concept to solve a new problem.


의학 교육자들은 이 문제를 확실히 인식했다. 과학을 배우고, 시험에 합격했지만, 실제 문제를 해결하거나 설명하는 데에는 이 지식을 적용하지 못하는 의대생들의 이야기는 흔한 일이다.

Medical educators have certainly recognized the issue. basic Stories of medical students who have learned the science, passed the examinations, but were then unable to apply this knowledge to solve or explain problems, are commonplace.


지난 50년 동안 가장 중요한 두 가지 혁신은 1950년대의 케이스 웨스턴 리저브 대학의 장기 시스템 접근법과 1960년대 후반 맥매스터가 개척한 문제 기반 학습(PBL)이다. 이러한 두 가지 혁신의 상당한 보급에도 불구하고, 그들이 실제로 기초과학과 임상과학의 통합을 개선하는 데 성공했다는 증거는 거의 없다.

The two most significant innovations of the past 50 years, the organ system approach of Case Western Reserve University in the 1950s and problem-based learning (PBL), pioneered by McMaster in the late 1960s were both directed to integrating basic science and clinical learning. Despite the significant dissemination of these two innovations, there is little evidence that they have actually succeeded in improving the integration of basic and clinical science.


커리큘럼 수준에서의 비교는 (교육과정에 따른) 차이가 작거나 전혀 없음을 보여준다. 맥락을 활용한 학습이 성과에 있어 극적인 이점을 갖지 않는다고 봐도 무방하다.

curriculum-level comparisons show small or no differences; it is safe to say that no dramatic advantages in performance have emerged from learning in context.


흥미롭게도, 몇몇 저자들은 PBL이 실제로 전이을 방해할 수도 있다고 주장했다. Bransford 외 연구진(1999)은 학생들이 하나의 문제 맥락에서 개념을 배울 때, 그 개념은 맥락에 너무 밀접하게 '묶여' 있어서 맥락 없이out of context 학습한 경우보다 전이에 덜 이용될 수 있다고 주장했다. 로스(1987년)는 이것에 대한 증거를 입증했다.

Interestingly, several authors have argued that PBL may actually impede transfer. Bransford et al. (1999) has argued that when students learn a concept in one problem context, the concept is so tightly bound to the context that it may be less available for transfer than if it were learned out of context. Ross (1987) has demonstrated evidence of this,


...학습의 초기단계에서, 사전에 제시된 사례에 의해서만 원리를 이해한다. 이 시기에 원칙과 사례는 함께 묶여 있다. 학습자에게 원칙이나 공식이 주어진다 하더라도, 그들은 현재의 문제에 어떻게 그 원리를 적용할지를 알아내는 데 앞서 본 문제의 세부사항을 사용할 것이다.

...during early learning, the principle is only understood in terms of the earlier example ...the principle and example are bound together. Even if learners are given the principle or formula, they would use the details of the earlier problem in figuring out how to apply that principle to the current problem



개념 학습의 모델

A model of concept learning


단순성을 위해, 우리는 선형 흐름을 가정한다.

For simplicity, we assume a linear flow.


첫째, 학습자가 개념을 습득한다introduced. 이것은 텍스트, 첨부된 사진이 있는 텍스트, 강의, e-러닝 모듈 또는 그 사이에 있는 어떤 것일 수 있다. 그러나 본질적인 요소는 내용-배워야 할 개념이다.

First, the learner is introduced to the concept. This may be as text, or text with accompanying picture, a lecture, an e-learning module, or anything in between. But the essential element is the content – the to-be-learned concept.


둘째, 학습자는 개념이 적용되는 사례를 본다. 즉, 개념이 어떻게 '실제적 세계'에서 발생하는지 말이다. 기호를 포함할 수 있고 추상적일 수 있는 원래의 개념과는 대조적으로, 이 단계에서는 그 개념이 프로토타입적 사례에 의도적으로 내재되어 있다. 이 단계에서 기본 요소는 개념과 상황 정보를 모두 포함하는 예시적 사례다.

Second, the learner may well see an example of the concept – how the concept arises ‘‘in the real world’’. In contrast to the original concept, which may involve symbols and is abstract, in this phase, the concept is deliberately imbedded in a prototypical example. In this stage, the basic element is the illustrative example containing both concept and contextual information.


마지막으로, 학습자는 연습 문제에 참여하도록 권장될 수 있다. 이것들은 모두 방금 학습한 동일한 원리를 적용하는 예시일 수도 있고(blocked), 또는 의도적으로 다른 관련 개념을 설명하여 혼동을 유발할 수 있는 예(mixed)일 수도 있다. 그러나 본질적으로는, 여러 가지 연습 문제를 접하는 것이다.

Finally, the learner may be encouraged to engage in practice problems. These may all be illustrations of the same principle just learned (blocked practice), or may deliberately contain confusable examples illustrating other related concepts (mixed practice). But the essential element is multiple practice problems.


  • 원리만 가르친다면 새로운 문제로 전이될 가능성은 약 5%이다(Quilici & Mayer 1996). 

  • 원리가 단일 프로토타입의 예와 함께 설명된다면, 전이는 약 25%에 이를 수 있다. 

  • 원리가 여러 예와 함께 설명될 경우, 전이율은 47%에 이를 수 있다(Catrambone & Holyoak 1989; Lowensteinet al. 2003). 

 if only the principleis taught, likelihood of transfer to new problems is about 5%(Quilici & Mayer 1996). If the principle is illustrated with asingle prototypical example, transfer may go to about 25%. Ifthe principle is illustrated with multiple examples, transfer canbe as high as 47% (Catrambone & Holyoak 1989; Lowensteinet al. 2003). 



왜 그렇게 어려운가?

Why is it so difficult?


새로운 문제를 해결하기 위해 학습된 개념을 retrieve하는 것은 왜 그렇게 어려운가? 난관은 정신적 표상에 있다.

Why is it so difficult to retrieve a learned concept to solve a new problem? The difficulty lies in the mental representation.


문제를 어렵게 만드는 흔한 이유는 문제가 적어도 표면적으로는 다른 예와 유사하게 보이지 않는다는 것이다. 실제로, 만약 어떤 사람이 그 문제를 본질적으로 해결할 수 있는 정확한 비유를 찾을 수 있다면 문제를 해결할 수 있을 것이다. 그러나 이것은 생각하는 것보다 더 어려워 보인다.

frequently, what makes the problem difficult is that it does not, on the surface, look analogous to other examples. Indeed, if one can find the correct analogy, that essentially solves the problem, but this appears more difficult than one might think.


왜 이렇게 어려운가? 간단히 말해서 유사성을 식별하기 위해서는 깊은 (개념적인) 구조 수준에서 동일성을 파악해야 하기 때문이다. 밝혀진 대로 이것은 학습자가 아니라 전문가의 특징이다. 한 예(Chi et al. 1981) 전문가 물리학자들은 말 그대로 문제를 초보자와 전혀 다르게 "볼" 것이다. 초보자들은 이를 "공을 굴리는" 문제로, 전문가는 "에너지 보존" 문제로 표현할 수 있다.

Why is it so difficult? Simply, because in order to identify the analogy, the similarity must be identified at the level of the deep (conceptual) structure. As it turns out, this is a characteristic of experts, not learners. As one example (Chi et al. 1981) expert physicists will literally ‘‘see’’ a problem differently from novices – novices may describe it as a ‘‘ball rolling down a plane’’ problem; experts as a ‘‘conservation of energy’’ problem.


그리고 문제의 깊은 구조를 보는 것이 왜 그렇게 어려운가? 인지 심리학에서 한 이론은 근본적으로 다른 두 가지 사고방식이 있다고 단언한다. 시스템 1은 물리적 물체의 식별과 관련하여 빠르고 무의식적이며 구체적이며 맥락적이다. 시스템2는 느리고, 심의적이며, 개념적이며, 추상화와 관련이 있다.

And why is it so difficult to see the deep structure of a problem? One theory in cognitive psychology posits that there are two fundamentally different ways of thinking. System 1 is rapid, unconscious, concrete, and contextual, associated with identification of physical objects. System2 is slow, deliberative, and conceptual, and associated with abstractions.


  • 초보자들은, (기계학과 같은 추상적인 분야에서 이용할 수 있는) 구체적인 예만 가지고 있어서, 표면적 구조만을 문제로 바라본다. 

  • 대조적으로, 전문가들은 추상적인 문제들에 대한 수많은 예들을 가지고 있기 때문에, 이 문제를 보다 정교한 시스템 1 사고를 이용하여 근본적인 원리로 볼 수 있다. 

확실히, 우리는 의학에서 전문가 진단이 시스템 1, 비분석적 추론에 의해 지배되고 있다는 충분한 증거를 가지고 있다(Norman et al. 2007b).

novices, who only have concrete examples available in an abstract field such as mechanics, represent problems by surface structure. Experts, by contrast, have numerous examples of abstract problems to draw on, so can see the problem as an underlying principle, using a more refined System 1 thinking. Certainly, we have ample evidence in medicine that expert diagnosis is dominated by System 1, non-analytic reasoning (Norman et al. 2007b).


촉진 요인

Facilitating factors


초기 개념 학습

Initial concept learning


비유의 활용

Use of analogy.


학습의 인지적 관점에 따르면, 학습이란 우리가 이미 알고 있는 것에 비추어 새로운 지식을 해석하는 것에 해당한다. 이를 위해 새로운 개념을 알려진 것이 학습을 촉진하는 것으로 보인다. (예: '펄서 항성'과 명시적으로 연계시키는 지침은 실제로 두 반대 방향으로 빛의 흐름을 발산하고 있다. 회전하면서 마치 등대가 그러하듯이 맥동하는 것처럼 보인다.(Donnely & McDaniel 1993; Norman et al. 2007a).

The cognitive perspective of learning proposes that learning amounts to interpreting new knowledge in light of what we already know. To that end, instruction that explicitly links the new concept to something known (e.g. ‘‘a pulsar star actually is emitting streams of light in two opposite directions. As it rotates, it appears to pulsate, just like a lighthouse would’’) has been shown to facilitate learning. (Donnelly & McDaniel 1993; Norman et al. 2007a).



멀티미디어 학습의 효과

Impact or not of multimedia learning.


메이어(1997)는 멀티미디어 학습에 관한 문헌을 검토했다.

Mayer (1997) reviewed literature on multimedia learning,


일련의 연구에 따르면, 전달방식medium에 따른 차이는 없었다. 컴퓨터 애니메이션은 도면이 있는 종이에 대한 프레젠테이션보다 아무런 이점이 없었고 평균은 컴퓨터 7.5, 책 7.3이었다. 이와는 대조적으로, 텍스트 설명만 제시한 것에 비해서 (텍스트와 일러스트레이션을) 복합적 교육combined instruction의 극적인 효과를 보여주었다. 평균 효과는 내레이션과 애니메이션으로 100% 증가했으며 텍스트와 일러스트레이션 대 텍스트로 67% 증가하였다.

Over a series of studies, there was no demonstrable effect of the medium – a computer animation had no advantage over a presentation on paper with drawings – with a mean of 7.5 for computer and 7.3 for book. By contrast, he showed dramatic effects of combined instruction (text and illustration) against a text explanation alone. Average effect was 100% gain with narration and animation, and 67% gain with text and illustration vs. text.


마지막으로 메이어는 텍스트와 그림을 함께 제공하는 것이 놀라울 정도로 큰 효과를 보여 주었다. 평균 62%의 이득.

Finally, Mayer has shown surprisingly large effects from simply providing text and picture together vs. apart (contiguity); an average gain of 62%.


문제 맥락과 개념의 관계

Relation between problem context and concept.


PBL의 본질은 학습해야 할 개념을 문제 맥락에서 imbedding하는 것이다. 단, 단일 문제의 사용과 관련된 불이익이 수반될 수 있다. 그렇다면 PBL과 같은 조작이 전이를 용이하게 하거나 방해할 수 있다는 증거는 무엇인가?

The essence of PBL is the idea of imbedding the concept to be learned in a problem context. However, there may be accompanying disadvantages, related to the use of a single problem. What then is the evidence that PBL-like manipulations can facilitate or impede transfer?


이러한 조작이 PBL의 효과를 포착하는 범위까지, 우리는 원리를 문제에 imbed하는 것은 잠재적으로 작은 이익이 있다고 결론지을 수 있다. 그러나 메커니즘은 다소 불명확한 상태로 남아 있다.

To the extent that these manipulations capture the effect of PBL, we might conclude that there is a potential small benefit for imbedding principles on problems. However, the mechanism remains somewhat unclear.


사례 교육을 위하여

For teaching examples


예를 들어, 로웬슈타인 등이 있다. (2003)은 두 가지 개입을 대조했다. 학생들이 원칙을 가르치고 전이 과제에 대한 하나의 예(공통 연습) 수행을 했을 때 19%가 되었다. 예를 설명해야 한다면, 실적은 44%이다. 암묵적 원리로 두 가지 예를 제공하면 38%의 전송 정확도가 나왔다. 그러나 분명한 비교와 함께 두 가지 경우 정확도는 61%로 거의 세 배나 높았다.

For example, Lowenstein et al. (2003) contrasted two interventions; When students were 

    • taught a principle and given a single example (common practice) performance on a transfer task was 19%. 

    • If they had to explain the example, performance was 44%. 

    • Providing two examples with an implicit principle yielded a transfer accuracy of 38%. 

    • But two cases, with an explicit comparison, yielded an accuracy of 61%, nearly three times as great.


결론은 명백하다. "여러 개"가 고작 "두 개"인 경우에조차, 학생들을 여러 개의 교육 사례에 참여시킴으로써 실질적인 이득을 얻을 수 있다. 학생들이 매우 다르게 보이는 사례들 사이의 깊은 구조적 유사성을 식별하기 위해 적극적으로 비교하고 대조하도록 함으로써 추가적인 이득이 발생한다.

the evidence is quite clear. Substantial gains can be achieved by engaging students in multiple teaching examples, even where multiple is two. Additional gain results from getting students to actively compare and contrast to identify the deep structural similarities between examples that appear very different.


실천을 위하여 

For practice


"챕터 끝 문제"는 두 가지 심각한 결손을 가지고 있다. 

    • 첫째, 우리는 그것이 어떤 종류의 문제인지 이미 알고 있다. "t-test" 챕터 끝의 문제는 항상 t-시험 문제다. 

    • 둘째로, 그 실천은 지식이 "신선할 때" 이루어지지만, 지식이 썩을 시간이 생긴 후에는 반복되지 않는다.

the ‘‘problems at the end of the chapter’’ has two serious deficits. First, we already know what kind of problem it is. Problems at the end of the ‘‘t-test’’ chapter are always t-test problems. Second, the practice takes place while the knowledge is fresh, but are not repeated after the knowledge has had time to decay.


첫 번째 이슈는 '블록' 대 '혼합' 연습의 개념과 관련된다. 이번 주에 일련의 t-테스트 문제, 그리고 다음 주에 분산 분석 문제를 하는 것은 "블록"연습이다. 그것들을 섞어서 학습자는 그것이 어떤 종류의 문제인지(혼합 연습)를 해결하려고 노력해야 한다.

The first issue is captured in the notion of ‘‘blocked’’ vs. ‘‘mixed’’ practice. Doing a series of t-test problems this week, then some ANOVA problems next week, is ‘‘blocked’’ practice. Mixing them up, so the learner must try to work out what kind of problem it is (mixed practice) can lead to substantial gains in transfer.



문헌에서 흔히 볼 수 있는 다른 연습 조작은 "집중" 대 "분산" 연습이다. 이 연습은 모두 한 세션에서 수행되거나 여러 세션에 걸쳐 배포된다.

The other practice manipulation common in the literature is ‘‘massed’’ vs. ‘‘distributed’’ practice, where the practice is all done in a single session or is distributed over several sessions.


Conclusions




 2009 Sep;31(9):807-11.

Teaching basic science to optimize transfer.

Author information

1
McMaster University, Canada. norman@mcmaster.ca

Abstract

BACKGROUND:

Basic science teachers share the concern that much of what they teach is soon forgotten. Although some evidence suggests that relatively little basic science is forgotten, it may not appear so, as students commonly have difficulty using these concepts to solve or explain clinical problems: This phenomenon, using a concept learned in one context to solve a problem in a different context, is known to cognitive psychologists as transfer. The psychology literature shows that transfer is difficult; typically, even though students may know a concept, fewer than 30% will be able to use it to solve new problems. However a number of strategies to improve transfer can be adopted at the time of initial teaching of the concept, in the use of exemplars to illustrate the concept, and in practice with additional problems.

AIM:

In this article, we review the literature in psychology to identify practical strategies to improve transfer.

METHODS:

Critical review of psychology literature to identify factors that enhance or impede transfer.

RESULTS:

There are a number of strategies available to teachers to facilitate transfer. These include active problem-solving at the time of initial learning, imbedding the concept in a problem context, using everyday analogies, and critically, practice with multiple dissimilar problems. Further, mixed practice, where problems illustrating different concepts are mixed together, and distributed practice, spread out over time, can result in significant and large gains.

CONCLUSION:

Transfer is difficult, but specific teaching strategies can enhance this skill by factors of two or three.

PMID:
 
19811185


어떻게를 아는 것과 왜를 아는 것: 절차적 술기 전이에 대한 인지적 통합의 영향(Adv in Health Sci Educ, 2017)

Knowing How and Knowing Why: testing the effect of instruction designed for cognitive integration on procedural skills transfer

Jeffrey J. H. Cheung1,2 • Kulamakan M. Kulasegaram1,3 • Nicole N. Woods1,3 • Carol-anne Moulton1,4 • Charlotte V. Ringsted5 • Ryan Brydges1,6,7





도입

Introduction


시뮬레이션 기반 훈련이 가질 것으로 생각되는 이점은 연습생들이 학습한 내용을 후속 학습 경험 및 궁극적으로는 임상 실습으로 전이transfer하는 것이다(Hamstra et al. 2014).

An assumed benefit of simulation-based training is that trainees will transfer what they learn effectively into subsequent learning experiences, and ultimately, into their clinical practice (Hamstra et al. 2014).


  • 사후 시험 및 보존 시험은 정보를 회수하거나 성능을 재현하는 연습자의 능력을 평가하는 반면, 

  • 전이transfer 시험은 기존 지식과 기술을 새로운 맥락에 적용하는 연습자의 능력을 평가한다(Chi and VanLehn 2012; Needham and Begg 1991). 

Post-tests and retention tests assess a trainee’s ability to recall information or reproduce performance, whereas transfer tests assess a trainee’s ability to apply previous knowledge and skills to new contexts (Chi and VanLehn 2012; Needham and Begg 1991). 


따라서 시뮬레이션 기반 훈련에 관한 문헌의 대부분의 경험적 연구와 리뷰는 [교육자가 어떻게 전이를 개선하기 위한 훈련을 설계해야 하는지]를 다루지 않았다.

Hence, most empirical studies and reviews of the literature on simulation-based training have not addressed whether and how educators can design training to improve transfer.


개선된 이전 결과와 연계된 한 가지 교육적 manipulation에는 학습자에게 [관련 지식 유형 사이에 의미 있는 관계를 만들도록 지시하는 것(인지적 통합cognitive integration이라 불리는 프로세스)]을 포함한다(Kulasegaram et al. 2013, 2015). 예를 들어 학습자에게 임상 진단을 하도록 가르칠 때의 인지적 통합은 진단에 필요한 임상 징후와 증상(예: 임상과학)과 함께 질병의 기본 메커니즘(예: 기초과학 지식)에 대한 개념적 설명을 제시하는 교육 자료에 의해 가장 잘 support되는 것으로 보인다(Baghda).dy et al. 2014a; Kulasegaram et al. 2013, 2015). 

One instructional design manipulation linked to improved transfer outcomes involves directing learners to create meaningful relationships between relevant types of knowledge—a process called cognitive integration (Kulasegaram et al. 2013, 2015). When teaching learners to make clinical diagnoses, for example, cognitive integration appears to be best supported by instructional materials presenting conceptual explanations about the underlying mechanisms of disease (e.g., basic science knowledge) alongside the clinical signs and symptoms required for diagnosis (e.g., clinical science) (Baghdady et al. 2014a; Kulasegaram et al. 2013, 2015). 


이러한 통합적 교육은 초보 학습자의 임상 추론 퍼포먼스의 retention을 향상시키는 것으로 보인다(Baghdady 등). 2009년, 2013년, 2014a, b; Woods 등, 2005년, 2006년, 2007a) 또한 더 어려운 임상 사례에서 정확하게 진단을 내릴 수 있는 능력이라 할 수 있는 새로운 문제에 대한 전이transfer 능력도 향상시키는 것으로 보인다(Woods 등, 2007b).

Such integrated instruction appears to enhance novice learners’ retention of clinical reasoning performance (Baghdady et al. 2009, 2013, 2014a, b; Woods et al. 2005, 2006, 2007a), as well as their ability to transfer learning to novel problems, as measured by the ability to diagnose more difficult clinical cases accurately (Woods et al. 2007b).


임상 추론에서처럼, 인지적 통합은 학습자가 [정신운동 기술의 학습과 전이을 위한 underlying 기억 구조]를 개발하는 데 도움이 되는 과정일 수 있다(Schmidt 1975). Psychomotor 기술은 고도로 인지적인 활동으로서, 과제의 계획, 조율, 조절, 해석과 같은 수많은 의사결정 과정을 필요로 한다(Starkes and Allard 1993).

Like in clinical reasoning, cognitive integration may be a process that helps learners develop the underlying memory structures for psychomotor skills learning and transfer (Schmidt 1975). Psychomotor skills are highly cognitive, requiring numerous decision making processes such as planning, coordinating, regulating, and interpreting movement tasks (Starkes and Allard 1993).


통합적인 교육은 학습자에게 정신운동 기술에 대한 학습을 보다 효율적이고 효과적으로 상세하게 하기 위한 개념적 기질을 제공할 수 있다.

Integrated instruction, then, may provide learners with the conceptual substrate to more efficiently and effectively elaborate their learning of psychomotor skills.


기존에 임상추론 기술에 대해 이루어진 [인지적 통합]에 관한 연구를 시뮬레이션 기반 기술 훈련으로 적용시키기 위해서는 [학습자가 반드시 통합해야 하는 지식의 유형]을 파악할 필요가 있다. 임상 추론에서는 임상과학과 기초과학을 통합하는 데 초점이 맞춰져 왔다. 이 두 종류의 지식은 각각 절차적 지식개념적 지식으로 더 광범위하게 분류될 수 있다(de Jong과 Ferguson-Hessler 1996).

To translate the work on cognitive integration from clinical reasoning skills to simulation-based procedural skills training, we need to identify the types of knowledge that learners must integrate. In clinical reasoning, the focus has been on integrating clinical science and basic science. These two types of knowledge can be more broadly categorized as procedural and conceptual knowledge, respectively (de Jong and Ferguson-Hessler 1996).


  • 절차적 지식은 'knowing how'로 특징지을 수 있으며, 여기에 해당하는 지식은 특정 목표를 달성하기 위하여 필요한 구체적인 단계에 대한 지식으로 정의될 수 있고, 이 단계를 실행하기 위한 능력도 포함한다(Baroody et al. 2007). 

  • 개념적 지식은 'knowing why'로 특징지을 수 있으며, [특정 문제나 절차에 반드시 얽매이지 않는] 일반화와 원칙에 대한 지식으로 정의된다(Baroody et al. 2007). 이 지식은 해부학과 생리학을 포함한 기초과학으로 생각되는 것을 포함할 수 있다.

  • Procedural knowledge can be characterized as ‘knowing how’, and is defined by knowledge of the specific steps to achieve a particular goal, including the ability to execute these steps (Baroody et al. 2007). 

  • Conceptual knowledge can be characterized as ‘knowing why’, and is defined as knowledge of generalizations and principles that are not necessarily tied to particular problems or procedures (Baroody et al. 2007). This knowledge can include what is thought of as basic sciences, including anatomy and physiology.



Methods


참여자

Participants


절차적 숙련도의 retention과 transfer에 대한 통합적 교육의 효과 크기에 대한 기존 연구가 없었기 때문에, 우리는 관련 영역의 이전 연구를 기반으로 표본 크기를 선택하는 원칙을 사용했다(Norman 등, 2012). 시뮬레이션에서 지침 설계 특징을 비교할 때 유의한 큰 효과를 발견한 연구의 중간 표본 크기를 나타내는 30명의 참가자를 모집하기로 했다(Cook et al. 2013). 특히, 30명의 참가자는 simple mediation analysis을 사용하는 사회 심리학 연구에서 lower end에 있다(Rucker 등, 2011).

Without previous studies on the effect size of integrated instruction on procedural skills retention and transfer, we used the principle of selecting sample size based on previous studies in a related domain (Norman et al. 2012). We chose to recruit 30 participants, which represents the median sample size of studies that have detected significant large effects when comparing instructional design features in simulation (Cook et al. 2013). Notably, 30 participants is within the range (on the lower end) of studies in social psychology that employ simple mediation analyses (Rucker et al. 2011).


학습 자료

Learning materials


기존 비디오(Haji 등 2016)를 수정하여 How 및 How에 대한 지침 비디오를 개발했다. How 그룹과 How and Why 그룹. 두 비디오 모두 lateral decubitus position에서 시뮬레이션된 환자에게 LP 단계의 구두 지시와 전문가 데모가 어떻게 이루어지는지 동일한 절차를 포함했다. How and Why 그룹의 비디오를 위해, 우리는 How 그룹의 비디오에 [왜에 대한 구두 및 시각적 지침(즉, 핵심 절차 단계의 기초가 되는 인과적 설명)]을 통합했다.

We modified pre-existing videos (Haji et al. 2016) to develop the instructional videos for the How and How ? Why groups. Both videos included the same procedural how verbal instructions and expert demonstrations of the steps of LP on a simulated patient in the lateral decubitus position. For the How ? Why group’s video, we integrated conceptual why verbal and visual instructions (i.e., causal explanations underlying key procedural steps) into the How group’s video.


두 동영상을 비교한 예는 그림 1에 제시되어 있다.

An example comparing the two videos is provided in Fig. 1.



절차

Procedure


참가자들은 개별적으로 이 연구를 완료했다. 우리는 참가자를 자가 조절 시뮬레이션 기반 LP 교육 세션에서 서로 다른 교육 자료에 대한 접근 권한을 받은 두 그룹으로 무작위화했다. 한 그룹은 지시 비디오(어떻게 그룹)와 다른 그룹은 개념적 이유와 함께 동일한 절차적 지침이 있는 비디오를 어떻게 받았는가(어떻게? 왜 그룹인가.)

Participants completed this study individually. We randomized participants into two groups that received access to different instructional materials during a self-regulated simulation-based LP training session. One group received the procedural how instructional video (How group) and the other received a video with the same procedural instructions, along with conceptual why explanations (How-Why group).


우리는 연수생들에게 제공되는 지식의 종류와 양에 대한 잠재적 차이를 통제하기 위해 외부 피드백을 제공하지 않기로 결정했다. 외부 피드백의 부족이 학습에 문제가 있는 것처럼 보일 수 있지만, 우리의 연구 설계는 참가자들이 각 LP 시도 전후에 교육용 비디오에 대한 자기조절적접근을 보장했다. 실제로, 자기조절적 observational practice는 강사가 통제하는 연습에 비해 운동 기술 학습을 향상시키는 것으로 여러 번 확인되었다(Chung et al. 2016; Domuracki et al. 2015; Wulf 2007).

We chose not to provide external feedback to control for potential differences in the type and quantity of knowledge provided to trainees. While the lack of external feedback may seem problematic for learning, our study design ensured participants had self-regulated access to the instructional video before, during, or after each LP attempt. Indeed, self-regulated observational practice has been repeatedly shown to enhance learning of motor skills compared to instructor-controlled practice (Cheung et al. 2016; Domuracki et al. 2015; Wulf 2007).



절차지식과 개념지식 평가

Procedural and conceptual knowledge testing


참가자들이 교육용 비디오에 제공된 절차 및 개념 지식을 얼마나 잘 이해하고 있는지를 테스트하기 위해, 우리는 두 가지 필기 시험을 개발했다. 절차적 지식 테스트는 참가자들에게 13단계의 LP를 적절한 순서로 정렬할 것을 요구하였다.

To test how well participants understood the procedural and conceptual knowledge provided in the instructional videos, we developed two written tests. The procedural knowledge test required participants to sort 13 steps of LP into the appropriate order.


(i) 왜 바늘을 15도 각도로 맞추는가?(1점)

(ii) 왜 바늘이 환자의 옆구리를 향하게 하는가? (3점)

(iii) L3–L4 또는 L4–L5 영역에 입력하는 이유(1점)

(iv) 왜 우리는 삽입 장소의 중앙에서 바깥쪽으로 청소하는가? (2점)

(v) 스타일릿이 있는 상태에서 바늘을 삽입하고 제거하는 이유는? (3점)

(i) Why do you angle your needle at 15 degrees? (1 points)

(ii) Why do you have the bevel of the needle facing the patient’s side? (3 points)

(iii) Why do we you enter at the L3–L4 or L4–L5 area? (1 points)

(iv) Why do we you clean in an outward fashion from the centre of the insertion site? (2 points)

(v) Why do we you insert and remove the needle with the stylet in place? (3 points)


요추천자 평가 시나리오

Lumbar puncture performance testing scenarios


참가자들은 다발성 경화증을 배제하기 위해 일상적인 LP가 필요한 건강한 환자로 구성된 훈련, 시험 후 및 보존 시나리오를 경험했다(Haji 등 2016). 훈련, 시험 후, 그리고 보존 테스트의 경우 시뮬레이터를 측면 디커비투스 위치에 놓고, 정상적인 연조직과 정상적인 척추 해부학을 나타내는 척추 삽입물을 사용했다. 

Participants experienced training, post-test, and retention scenarios consisting of a healthy patient requiring a routine LP to rule out multiple sclerosis (Haji et al. 2016). For training, post-test, and retention test, we positioned the simulator in the lateral decubitus position, and used a spine insert representing normal soft tissue and normal spinal anatomy. 


전이 테스트 시나리오의 경우 시뮬레이터를 똑바로 앉은 자세로 배치하고, 정상 척추 해부학으로 비만 환자를 나타내는 척추 삽입물을 사용했다. 임상적 줄기는 환자가 열이 나고, 수막염을 배제하기 위해 LP가 필요하며, 옆으로 누워 있는 것을 참을 수 없다는 점에 주목했다. 특히 '비만' 인서트에는 연조직 층이 두껍게 되어 있어 LP 시술에 대한 랜드마킹의 어려움을 가중시킨다.

For the transfer test scenario, we positioned the simulator in the upright sitting position, and used a spine insert representing an obese patient with normal spinal anatomy. The clinical stem noted that the patient was feverish, required LP to rule out meningitis, and could not tolerate lying on his side. Notably, the ‘obese’ insert has a thicker layer of soft tissue that increases the difficulty of landmarking for the LP procedure.


학습 성과

Study outcomes


동일한 두 명의 blinded rater가 LP용으로 개발된 45개 항목별 작업별 점검표(CL)와 5점 리커트 척도로 6차원을 기록한 글로벌 등급 척도(GRS)를 사용하여 각 성과를 독립적으로 채점했다(Martin et al. 1997). 이전 연구에서는 이러한 평가 도구 두 개가 모두 연구 연구에 사용하기에 유리한 유효성 증거를 가지고 있음을 입증하였다(Brydges et al. 2012). 시뮬레이션 기반 연구(Brydges et al. 2012; Igen et al. 2015)에서 CL에 비해서 GRS가 타당성 근거가 더 나은 것을 토대로, retention 및 transfer 테스트에 대해서는 GRS 점수를 주요 결과로 간주하였다.

The same two blinded raters independently scored each performance using a 45-item task-specific checklist (CL) developed for LP (Lammers et al. 2005) and a global rating scale (GRS) with 6 dimensions scored on a 5-point Likert scale (Martin et al. 1997). Previous studies have demonstrated that both of these assessment tools have favourable validity evidence for use in a research study (Brydges et al. 2012). Based on consistent findings of better validity evidence for GRS versus CL data in simulation-based studies (Brydges et al. 2012; Ilgen et al. 2015), we consider GRS scores on retention and transfer test as the primary outcomes.


통계 분석

Statistical analyses


그룹 간 및 사전 훈련 및 보존 테스트에서 개념적 및 절차적 지식 테스트 점수를 비교하기 위해 2 9 2(그룹 9 테스트) 반복 측정 분산 분석(ANOVA)을 사용했다.

To compare conceptual and procedural knowledge test scores between groups and across pre-training and retention tests we used a 2 9 2 (group 9 test) repeated measures mixed analysis of variance (ANOVA).


간단한 조정 회귀 분석(즉, 경로 분석의 한 형태)을 수행하기 위해(Hayes 2013; Leppink 2015; Rucker et al. 2011), SPSS 버전 22(Hayes 2013에서 제공) PROCESS 매크로를 사용하여 참가자의 할당된 그룹, 개념 지식 점수, 보유 및 전송 테스트 점수를 평가했다. 이러한 분석을 통해 모델에서 개념 지식 점수를 중재자로 포함시킬 때 그룹 처리의 직간접적 영향(그림 3A)과 LP 성능에 대한 그룹 처리의 총 효과를 평가할 수 있었다(그림 3B).

To conduct our simple mediation regression analyses (i.e., a form of path analysis) (Hayes 2013; Leppink 2015; Rucker et al. 2011), we used the PROCESS macro for SPSS Version 22 (provided in Hayes 2013) to assess relationships between participants’ assigned group, their conceptual knowledge scores, and their retention and transfer test scores. These analyses allowed us to assess the total effect of our group treatment on LP performance (Fig. 3A), as well as the direct and indirect effect of our group treatment when including conceptual knowledge scores as a mediator in the model (Fig. 3B).



결과

Results


절차지식과 개념지식 평가

Procedural and conceptual knowledge test performance


우리의 상관관계 분석 결과 retention(r = .47, p = .01)과 transfer(r = .43, p = .02) 모두에서 GRS 점수와 긍정적이고 유의하게 개념적 지식 시험 점수가 관련된 것으로 나타났다. 

Our correlation analyses revealed conceptual knowledge test scores related positively and significantly with GRS scores at both retention (r = .47, p = .01) and transfer (r = .43, p = .02). 


반대로 절차적 지식 시험 점수는 보존(r =-03, p = .89) 또는 전송(r = .19, p = .32)에서 GRS 점수와 유의하게 상관관계가 없었다.

Conversely, the procedural knowledge test scores did not correlate significantly with GRS scores at either retention (r =-.03, p = .89) or transfer (r = .19, p = .32).


Retention과 Transfer GRS 점수 사이에는 유의한 상관관계가 없었다(r = 28, p = .14).

retention and transfer GRS scores did not correlate significantly (r = .28, p = .14),


시험 후 GRS 점수는 어떤 결과 측정값과도 유의하게 상관관계가 없었다.

post-test GRS scores did not correlate significantly with any outcome measure.



요추천자 

LP performance tests


그림 4A의 경로 c는 그룹이 보존(c =-.13) 또는 전송(c =-.26)에 미치는 유의한 총 영향이 없음을 보여준다. 그림 4B는 모델의 개념적 지식 점수를 중재자 변수로 회계처리할 때 GRS 유지 및 이전 점수의 단순한 조정 분석을 나타낸다.

Path c in Fig. 4A shows there was no significant total effect of group on retention (c =-.13) or transfer (c =-.26). Figure 4B depicts the simple mediation analysis of GRS retention and transfer scores when accounting for conceptual knowledge scores in the model as a mediator variable.



고찰

Discussion


우리는 시뮬레이션 기반 LP 기술을 가지고, 초보 학습자에게 "왜"에 대한 개념적 설명을 "어떻게"에 절차적 교육에 통합하였을 때 retention and transfer에 어떤 영향을 주는지를 조사했다. 우리의 결과는 cognitive integration을 향상시키기 위해서 설계된 교육이 retention과 transfer를 높였음을 보여주었으며, 이러한 효과는 학습자의 conceptual knowledge 향상에 의해서 중재되었다. 그러나 통합적 교육과 retention/transfer의 유의한 total effect는 없었다.

We examined the effects of integrating conceptual why explanations with procedural how instructions on novice learners’ skill retention and transfer of simulation-based LP skills. Our results demonstrated an indirect effect of instruction designed to enhance cognitive integration on the retention and transfer of LP skills, an effect that was mediated by participants’ improved conceptual knowledge. There was however, no significant total effect of integrated instruction on either retention, or transfer.


우리의 결과를 교육 효과의 관점에서 해석하면, 데이터는 동일한 개념적 지식 시험 점수를 가진 두 참가자의 경우, 어떻게+왜 그룹이 retention GRS에서 평균 0.93점, transfer GRS에서 평균 0.59점을 더 얻는다. 이것은 5점 만점에 19%와 12%의 차이이다.

Interpreting our results in terms of educational effect, the data show that for two participants with the same conceptual knowledge test score, a participant in the How ? Why group would score an average of .93 more points on the GRS at retention and an average of .59 more at transfer. Scored out of 5, this translates to a difference of 19 and 12%, respectively.


우리의 가설과 관련하여, 통합적 교육은 개념적 지식 점수의 개선과 직접적으로 연관되었고, R & T 결과 개선과 간접적으로 연관되었다.

Related to our hypotheses, the integrated instruction was associated directly with improved conceptual knowledge scores, and it was associated indirectly with improved transfer and retention outcomes.


가설과 마찬가지로, 즉각적 post-test 점수는 다른 변수와 통계적으로 유의한 관계를 발견하지 못했다.

As hypothesized, we found no statistically significant relationship between immediate post-test scores and any other variable.


우리의 결과는 임상 추론 기술에 대한 인지적 통합을 강화하도록 설계된 지침의 이점을 시뮬레이션 기반 절차 기술 훈련(즉, 정신 운동 기술의 숙련된 성능)으로 입증하는 이전의 연구 결과를 확장한다. 임상 추론을 가르칠 때 임상 및 기초 과학 지식을 인지적으로 통합하면cognitive integration 학습자가 결과적으로 개념적 일관성conceptual coherence을 발달시킴으로써 진단 능력에 도움이 된다고 생각된다(Kulasegaram et al. 2013). 진단적 추론에서 개념적 일관성은 학습자가 [기초과학 개념에 의해 구조화된 coherent mental representation]에다가 [임상 지식을 조직화organize]할 수 있을 때 생겨난다(Woods 2007; Woods et al. 2007a).

Our results extend previous findings showing benefits of instruction designed to enhance cognitive integration for clinical reasoning skills to the training of simulation-based procedural skills (i.e., skilled performance of a psychomotor skill). When teaching clinical reasoning, cognitive integration of clinical and basic science knowledge is thought to benefit diagnostic ability through the resulting conceptual coherence developed by learners (Kulasegaram et al. 2013). Conceptual coherence, in diagnostic reasoning, is present when learners can organize their clinical knowledge into coherent mental representations, structured by basic science concepts (Woods 2007; Woods et al. 2007a).


절차 기술을 가르칠 때, 통합적 교육은 학습자가 신체적 행동을 조직화하는데 필요한 개념적 일관성conceptual coherence을 만드는 데 도움이 될 수 있다. 즉, R & T 결과에 대한 통합적 교육의 간접적, 긍정적인 효과는 향상된 개념적 지식이 참여자들이 LP의 절차 단계를 구성하고 수행할 수 있도록 더 잘 지원할 수 있음을 의미한다.

When teaching procedural skills, integrated instruction may also help learners to create conceptual coherence that organizes their physical actions. That is, the indirect positive effect of integrated instruction on transfer and retention outcomes implies that improved conceptual knowledge may have better enabled participants to organize and perform the procedural steps of LP.


교육설계와 전이를 위한 통합적교육의 함의

Implications of integrated instruction for instructional design and transfer


우리의 연구결과는 절차적 지식과 개념적 지식의 인지적 통합을 지원하는 교육설계에 의해 시뮬레이션 기반의 procedural skill의 transfer가 개선될 수 있음을 시사한다. 현재는, 시뮬레이션 기반 교육에 대한 교육설계적 특징에 통합적 지침이 생략되어 있다(Cook et al. 2012; Issenberg et al. 2005; McGagie et al. 2010). 통합이 언급되더라도, 인지 통합이 가장 잘 지원되는 세션session 레벨이 아니라 커리큘럼 레벨(예: 한 프로그램에서 4개의 시뮬레이션 반나절 포함)에서 논의된다(예: 각 4시간 반일 동안 시뮬레이션을 어떻게 사용할지 정확히 계획).

Our findings suggest that transfer of simulation-based procedural skills can be improved by instructional designs that support cognitive integration of procedural and conceptual knowledge. Current lists of instructional design features recommended for simulation-based training omit integrated instruction (Cook et al. 2012; Issenberg et al. 2005; McGaghie et al. 2010). When integration is described, it is discussed at the curriculum level (e.g., including four simulation half-days in a program), rather than at the session level where cognitive integration is best supported (e.g., scheduling exactly how simulation will be used during each 4-h half-day) (Kulasegaram et al. 2013).


교육 및 임상 추론(Mylopoulos et al. 2016; Mylopoulos and Woods 2014)의 연구결과에 따르면, Retention에 도움이 되는 인지 메커니즘과 그에 따른 교육설계는 Transfer에 도움이 되는 메커니즘 및 설계와 동일하지 않을 수 있다.

Findings from education and in clinical reasoning (Mylopoulos et al. 2016; Mylopoulos and Woods 2014) suggest the cognitive mechanisms, and thus the instructional designs, supporting retention may not be the same as those supporting transfer.


한계

Limitations and future directions


Conclusions


우리의 연구는 지금껏 간과되어온 교육 설계의 특징을 잡아낸다. 즉, procedure를 교육할 때에는 [절차적 지식]과 [그 이유에 대한 개념적 지식] 사이에 관계를 형성하는 데 도움이 되도록 통합적 교육을 해야한다.

our study adds an instructional design feature that has largely been over-looked in this domain: integrated instruction that helps learners form relationships between their procedural knowledge of how and their conceptual knowledge of why when learning a procedure.



Domuracki, K., Wong, A., Olivieri, L., & Grierson, L. E. M. (2015). The impacts of observing flawed and flawless demonstrations on clinical skill learning. Medical Education, 49(2), 186–192. doi:10.1111/ medu.12631.


Hamstra, S. J., Brydges, R., Hatala, R., Zendejas, B., & Cook, D. A. (2014). Reconsidering fidelity in simulation-based training: Academic medicine, 89(3), 387–392. doi:10.1097/ACM. 0000000000000130.


Ilgen, J. S., Ma, I. W. Y., Hatala, R., & Cook, D. A. (2015). A systematic review of validity evidence for checklists versus global rating scales in simulation-based assessment. Medical Education, 49(2), 161–173. doi:10.1111/medu.12621.


Kulasegaram, K. M., Manzone, J. C., Ku, C., Skye, A., Wadey, V., & Woods, N. N. (2015). Cause and effect: Testing a mechanism and method for the cognitive integration of basic science. Academic Medicine, 90, S63–S69. doi:10.1097/ACM.0000000000000896.


Kulasegaram, K. M., Martimianakis, M. A., Mylopoulos, M., Whitehead, C. R., & Woods, N. N. (2013). Cognition before curriculum: Rethinking the integration of basic science and clinical learning. Academic Medicine, 88(10), 1578–1585. doi:10.1097/ACM.0b013e3182a45def.


Mylopoulos, M., Brydges, R., Woods, N. N., Manzone, J., & Schwartz, D. L. (2016). Preparation for future learning: A missing competency in health professions education? Medical Education, 50(1), 115–123. doi:10.1111/medu.12893.


Mylopoulos, M., & Woods, N. (2014). Preparing medical students for future learning using basic science instruction. Medical Education, 48(7), 667–673. doi:10.1111/medu.12426.










 2018 Mar;23(1):61-74. doi: 10.1007/s10459-017-9774-1. Epub 2017 Apr 22.

Knowing How and Knowing Whytesting the effect of instruction designed for cognitiveintegration on procedural skills transfer.

Author information

1
The Wilson Centre, University Health Network, University of Toronto, Toronto, Canada. jeffreyjcheung@gmail.com.
2
SickKids Learning Institute, Hospital for Sick Children, Toronto, Canada. jeffreyjcheung@gmail.com.
3
The Wilson Centre, University Health Network, University of Toronto, Toronto, Canada.
4
Department of Family and Community Medicine, University of Toronto, Toronto, Canada.
5
Department of Surgery, University of Toronto, Toronto, Canada.
6
Centre for Health Science Education, Faculty of Health, Aarhus University, Århus, Denmark.
7
Department of Medicine, University of Toronto, Toronto, Canada.
8
Allan Waters Family Simulation Centre, St. Michael's Hospital, Toronto, Canada.

Abstract

Transfer is a desired outcome of simulation-based training, yet evidence for how instructional design features promote transfer is lacking. In clinical reasoning, transfer is improved when trainees experience instruction integrating basic science explanations with clinical signs and symptoms. To test whether integrated instruction has similar effects in procedural skills (i.e., psychomotor skills) training, we studied the impact of instruction that integrates conceptual (why) and procedural (how) knowledge on the retention and transfer of simulation-based lumbar puncture (LP) skill. Medical students (N = 30) were randomized into two groups that accessed different instructional videos during a 60-min self-regulated training session. An unintegrated video provided procedural How instruction via step-by-step demonstrations of LP, and an integrated video provided the same How instruction with integrated conceptual Why explanations (e.g., anatomy) for key steps. Two blinded raters scored post-test, retention, and transfer performances using a global rating scale. Participants also completed written procedural and conceptual knowledge tests. We used simple mediation regression analyses to assess the total and indirect effects (mediated by conceptual knowledge) of integrated instruction on retention and transfer. Integrated instruction was associated with improved conceptual (p < .001) but not procedural knowledge test scores (p = .11). We found no total effect of group (p > .05). We did find a positive indirect group effect on skill retention (B ab  = .93, p < .05) and transfer (B ab  = .59, p < .05), mediated through participants improved conceptual knowledge. Integrated instruction may improve trainees' skill retention and transfer through gains in conceptual knowledge. Such integrated instruction may be an instructional design feature for simulation-based training aimed at improving transfer outcomes.

KEYWORDS:

Basic science; Cognition; Instructional design; Integration; Path analysis; Procedural skills; Simulation; Transfer

PMID:
 
28434131
 
DOI:
 
10.1007/s10459-017-9774-1


소크라테스가 소크라테스방법을 임상교육에 썼을까? (J Gen Intern Med. 2016)

Would Socrates Have Actually Used the "Socratic Method" for Clinical Teaching?

Hugh A. Stoddard, M.Ed., Ph.D.1 and David V. O’Dell, M.D.2

1Department of Medicine, Emory University School of Medicine, Atlanta, GA, USA; 2Department of Internal Medicine, University of Nebraska College of Medicine, Omaha, NE, USA.




연습생들에게 유난히 어려운 질문을 던지는 관행이 구어적으로 pimping이라 알려져 있는데, 1989년 JAMA 기사에서 처음 만들어졌던 tongue-in-cheek을 말하는 용어다.1

The practice of posing exceptionally difficult questions to trainees is colloquially known as pimping, a tongue-in-cheek term that was first coined in a JAMA article in 1989.1


pimping, "좋은 임상 교수", "소크라테스의 철학" 사이의 경계와 교차점은 모호하게 남아 있다.

the boundaries and intersections between "pimping", "good clinical teaching", and the "philosophy of Socrates" remain blurred.


배경

BACKGROUND


소크라테스와 그의 방법

Socrates and His Method


소크라테스와 플라톤은 진정한 지식은 인간 본성의 특징이라고 제안했다. 진정한 지식은 선천적이지만, 물질 세계에 대한 감각적 인식으로 인해 발생한 가짜 지식을 거부하고, 이상적인 세계에 존재하는 완벽에 대한 지식에 초점을 맞추어야만 실현될 수 있었다. 그러므로 소크라테스에게 가르치는 행위는 교사로부터 "학생"으로 정보를 전달하는 데 있는 것이 아니라, 학생들이 [불완전한 물질 세계에 대한 지각적 지식에 대한 의존을 중단]하도록 돕고, [논리와 추론을 통해 introspectively 진정한 지식을 발견하도록 자극]하는 운동이었다.5,6

Socrates and Plato proposed that true knowledge was a characteristic of human nature. Although true knowledge was innate, it could be actualized only by rejecting bogus knowledge—which occurred due to sensory perceptions of the material world—and focusing on knowledge of perfection which existed in an ideal world. Thus, to Socrates, the act of teaching did not consist in transmitting information from teacher" to "student," but was an exercise in helping students to cease their reliance on perceptual knowledge of the imperfect material world, and stimulating them to introspectively discover true knowledge through logic and reasoning.5,6


소크라테스에게 있어서, 교사는 정보를 전달하는 사람이 아니었다. 대신에, 가르침은 cross-examination을 통해 학생들이 자신의 오류을 인정하는 과정을 겪고, 그리고나면 provocative한 질문 던짐으로써 내면을 들여다보고introspection 진정한 지식을 실현할 수 있도록 하는 것으로 구성되었다. 소크라테스 자신의 교육학은 사실을 진술하는 것을 꺼렸다. 대신에, 그는 학생들에게 일련의 질문들을 제기함으로써, 그들이 스스로 지식을 추론하도록 직면하고 도전하도록 만들고자 했다.

For Socrates, a teacher should not deliver information. Instead, teaching consisted in prompting students, through cross-examination, into acknowledging their own fallacies and then asking them provocative questions to steer them towards realizing true knowledge via introspection. Socrates’ own pedagogy eschewed making statements of fact. Instead, he would pose a series of questions that confronted students and challenged themto deduce knowledge on their own.


그의 철학적 신념을 고려할 때 소크라테스식 질문은 지식을 향해 가는 길 중, 지식 자체의 본질과 조화를 이루는 유일한 방법이었다.5,7,8 요컨대 진정한 소크라테스식 방법은 뾰족한pointed 질문을 함으로서 가르치는 것을 의미하며, 소크라테스가 교육적 도구로서 질문들을 사용했던 것은 의학 교육자들과 관련이 있다.

Given his philosophical beliefs, Socratic questioning was the only path to knowledge that was harmonious with the nature of knowledge itself.5,7,8 In short, the genuine Socratic method means teaching by posing pointed questions, and Socrates’ deployment of questions as a pedagogical tool remains relevant to medical educators.


현대적 맥락에서 소크라테스적 방법

Socratic Teaching in a Contemporary Context


소크라테스식 교수법은 현대 교수법의 4가지 일반적인 범주 중 하나이다. 우리는 이러한 범주를 "가르침의 왕국"이라고 부를 것이다.9 이 네 개의 왕국은 질문을 하고 그 질문에 대한 답을 제공하는 측면에서 교사와 학생들이 수행하는 역할에 따라 묘사된다. 네 왕국은 강의식, 소크라테스식, 탐구식, 발견이다. 
The Socratic style of teaching is one of four general categories of contemporary teaching methods. We will refer to these categories as the "Kingdoms of Teaching."9 These four kingdoms are delineated according to the roles played by teachers and students in terms of posing questions and providing answers to those questions. The four kingdoms are: didactic, Socratic, inquiry, and discovery. 
    • 강의식 교육학생 참여는 최소화하고, 교사가 학생들에게 필요한 정보를 전달하는 것이다.
    • 소크라테스식 교육에서, 선생님에 의해 일련의 질문들이 제기되며, 학생들은 질문들에 대한 응답을 하게 된다. 
    • 탐구적 교육학생들이 스스로 자신의 지식 부족을 확인하게 되며, 그 결함을 해결하기 위한 guidance를 받기 위하여 선생님에게 질문을 한다. "Just-in-time Learning"은 이 왕국에 잘 들어맞는다. 12 
    • 발견적 교육은 탐구적 교육을 한층 더 확장하는데, 여기서는 학생들이 지식결손을 확인하고 스스로 문제를 고안해 낼 뿐만 아니라, 문제 기반 학습과 같이 독자적으로 답을 찾는 것을 강조한다.
    • Didactic instruction entails a teacher delivering the desired information to students with a minimum of student participation. 
    • In Socratic instruction, a series of questions is posed by the teacher, and responses to those questions are provided by students.10,11 
    • Inquiry instruction centers on the students identifying their own knowledge deficit and then asking questions of the teacher for guidance to resolve that deficit. "Just-in-time learning" fits into this kingdom. 12 
    • The discovery kingdom extends the inquiry kingdom by emphasizing that students not only identify knowledge deficits and devise their own questions, but that they find the answers independently, such as in problem-based learning.13

핌핑

Pimping


소크라테스식 강의 왕국과는 달리, 핌핑은 교사이 학습자에게 던지는 순차적인 질문을 이용한다.1

Not unlike the kingdom of Socratic instruction, pimping uses sequential questioning of learners by teachers.1


핌핑은 지식의 확장은 이루어지지 않은 체, 힘의 차이를 강화시하며, 위계를 고착화한다.14 핌핑 질문은 새로운 지식을 자극하기 보다는 무지를 드러내기 위한 것이다.

pimping reinforces power differentials and maintains hierarchies without expanding knowledge.14 Pimping questions are intended to expose ignorance rather than to stimulate new knowledge.


핌핑 vs 소크라테스 방법

Pimping vs. the Socratic Method


학생에게 질문을 던질 때, 학생이 질문에 어떻게 반응하는가가 소크라테스식 가르침과 핌핑을 구분하는 출발점이다.16,17

When a question is posed to trainees, how a particular individual reacts to those questions constitutes the departure point between Socratic teaching and pimping.16,17


소크라테스식 교육과 핌핑의 차이는 질문자의 의도에 있다. 예를 들어, 만약 선생님의 질문이 학습자들에게 새로운 지식의 합성을 촉진할 수 있는 기존의 지식을 표현할 수 있는 기회를 제공하려고 의도된 것이라면, 대화는 소크라테스식 방법을 나타낸다.

The differentiation between Socratic teaching and pimping lies in the intent of the questioner. For example, if a teacher’s questions are intended to offer learners an opportunity to express their existing knowledge, which will in turn promote the synthesis of new knowledge, the dialogue represents the Socratic method.

소크라테스식 질문을 효과적으로 사용한다면, 학습자의 현재 지식을 확인하고, 이를 근거로 학습자가 이해할 수 있는 수준에서 교육의 foundation을 제공해줄 것이다.19 학생의 현재 수준을 확인하는 단계는 교사가 학습자의 지식의 한계를 발견할 때까지 점점 더 어려운 질문들을 해나갈 수 있다.8,18,20 그러나 질문을 제대로 제시하지 않으면, 학습자들은 그러한 질문을 소크라테스식이라기 보다는 pimping으로 인식할 수 있다.

An effective use of Socratic questioning is to ascertain learners’ current knowledge18 and provide a foundation for teaching at a level that they can comprehend.19 This probing can be done by posing a series of increasingly difficult questions until the teacher finds the limits of the learners’ knowledge.8,18,20 If not presented properly, however, those questions can easily be perceived by learners as pimping rather than Socratic.


우리는, 의대 교수들 사이에 악의는 존재하지 않으며, 그들은 항상 학습을 촉진하기 위해 그들의 질문을 하려고 하기 때문에, pimping이 의도적으로 일어나는 것은 아니라고 가정할 것이다.

We will assume, that malevolence does not exist amongst medical school faculty and that they always intend for their questions to promote learning, so pimping would only occur unintentionally.


학습에서 심리적 안전

PSYCHOLOGICAL SAFETY IN LEARNING


학습에 대한 공포의 영향 

Impact of Fear on Learning


학습은 뇌의 신경 연결을 형성하는 것에 기초한다. 간단히 말해서, [기존의 정신적 개념]에 [감각적 입력이나 자기 생성적 성찰에서 제시되는 새로운 정보]를 관련시키면서 connection이 생성되고 활성화된다.21,22

Learning is founded on building neuronal connections in the brain. In brief, connections are created and activated to associate existing mental concepts with new information that is presented through sensory input or self-generated reflection.21,22


사람의 정서 상태는 학습의 생리적 과정에 영향을 미친다.23,24 더 깊게 그리고 더 영구적인 학습은 뇌의 모든 영역을 사용할 때 발생한다.22 학생들은 뇌의 긍정적인 중심이 활성화될 때 더 많이 배울 수 있다.24 Pimping이 학습자들 사이에서 두려움을 이끌어 낸다는 것은 자명하다. 또한 두려움이 학습에 영향을 미친다는 것은 인정되지만, 그 효과의 방향이 유익한지 해로운지 아니면 다른 요인에 대한 조건부인지는 완전히 명확하지 않다.25,26

A person’s emotional state affects the physiological processes of learning.23,24 Deeper and more permanent learning happens when all areas of the brain are used, including the emotional center.22 Students are more likely to learn when the positive centers of the brain are activated.24 It is axiomatic that pimping elicits fear amongst learners,1,3 and it is accepted that fear impacts learning, but whether its effect is beneficial, detrimental, or conditional on other factors is not completely clear.25,26



심리적 안전

Psychological Safety


비즈니스 세계에서 그룹 프로세스와 학습 행동을 포함하는 연구에서, Amy Edmondson은 그룹 학습 과정에서 감정의 역할로서의 심리적 안전성에 대해 토론했다.27 그녀는 집단 구성원들이 대인관계의 신뢰를 감지하고, 상호 존경을 즐기고, 가치를 인정받는다고 느끼고, 자기자신으로서 존재하는 것이 편안하다면 심리적으로 안전하다고 느낀다고 주장했다.27,28 더 중요한 것은 심리적 안전이, 특히 위계적 멤버십이 있는 집단에서, 학습의 증가로 이어진다는 것이다.

In her work involving group processes and learning behaviors in the business world, Amy Edmondson discussed psychological safety as the role of emotion in the group learning process.27 She maintained that group members feel psychologically safe if they sense interpersonal trust, enjoy mutual respect, feel valued, and are comfortable being themselves because the threats of humiliation and hostility are minimized.27,28 More importantly, psychological safety leads to increased learning, especially in groups with hierarchical membership.


예를 들어, Edmondson29는 수술팀에서 도전적인 새로운 기술의 구현은 [팀원들 간의 위계 차이와 상관 없이 팀원들이 의견을 내는 것을 편안하게 느낄 때] 더 성공적이라는 것을 발견했다.

For example, Edmondson29 found that implementing challenging new technology in surgery teams was more successful when members felt comfortable speaking up, regardless of hierarchal differences between team members.


심리적 안전과 학습자 수행능력

Psychological Safety and Learner Performance


심리적으로 안전한 환경이 학습자로부터 수준이하의 성과를 수용한다는 것을 의미하지는 않는다. 책임성은 심리적 안전을 위한 트레이드오프가 아니며, 부적절한 성과는 어떤 맥락, 교육적이든 그 밖의 맥락에서든 비난되어야 한다. 심리적인 안전의 환경에서 교사가 부적절한 수행을 간과하거나 무시하지 않는다. 그러나, 굴욕이나 원망을 일으키지 않고 결함을 명확하게 식별하는 compassionate한 방식으로 교정correction과 질책reprimand를 준다.

A psychologically safe environment does not mean accepting substandard performance from learners. Accountability is not a tradeoff for psychological safety, and inadequate performance should be denounced in any context, educational or otherwise30. In an environment of psychological safety, the teacher does not overlook or ignore inadequate performance; however, corrections or reprimands are applied in a compassionate manner that clearly identifies the failings without causing humiliation or resentment.


소크라테스적 방법의 임상적용

THE SOCRATIC METHOD APPLIED TO CLINICAL TEACHING


심리적 안전은 소크라테스적 교육과 핌핑의 차이이다

Psychological Safety is the Difference Between Socratic Teaching and Pimping


소크라테스 자신은 소크라테스식 방법을 구현할 때, 목표를 달성하기 위한 공포나 협박 전술에 의존하지 않았다. 심리적 안전이 제공되는 환경에서 교사들에 의한 공개적이고 탐색적인 질문의 사용은 학습자들이 그들 자신의 지식 결핍을 확인하도록 하고 그들이 그들 자신의 지식을 확장하도록 동기를 부여한다.

The Socratic method as embodied by Socrates himself does not rely on fear or intimidation tactics to accomplish its goals. The use of open-ended, probing questions by teachers in an environment of psychological safety leads learners to identify their own knowledge deficits and motivates them to expand their own knowledge.


의도적이든 아니든 간에, Pimping은 학습자와 교사 사이의 지위 차이를 enforce하는 것이며, 이것은 독립적이고, 분석적이며, 자기 주도적인 전문가를 양성하는 교육과는 전혀 맞지 않는다.

Pimping, whether intentional or not, enforces status differences between learners and teachers which are antithetical to educating professionals to become independent, analytical, self-directed practitioners.


Pimping이나 소크라테스식 방법 남용이 남용되어 학습자에게 수치를 주게 되면, 호기심을 억누를 것이며, 따라서 평생학습과 자기주도적학습의 필수적인 전문적 속성을 키울 수 수 없게 될 것이다.

Humiliation of learners through pimping or abuse of the Socratic method will stifle learners’ inquisitiveness during training, and thus cannot spawn the necessary professional attributes of lifelong, self-directed learning.


소크라테스적 교육을 가능하게 하는 심리적 안전 형성하기

Building Psychological Safety to Enable Socratic Teaching


교사들은 학습자들에게 규정된 학습 목표를 달성한 것에 대해 책임을 지되, 침묵을 강요하는 굴욕, 적대감 또는 협박에 의존하지 않아야 한다. 소크라테스식 교육은 학습자들에게 [계속 자신을 발전시키도록] 도전하게 만드는 한편, 동시에 [아직은 몰라도 괜찮다]는 것을 인식시킨다.

Teachers should hold learners accountable for achieving the stated learning objectives, but without resorting to humiliation, hostility, or intimidation to compel acquiescence. Socratic teaching constantly challenges learners to advance themselves while still recognizing that, for students, it’s okay to not know yet.


교사는 노력 부족을 해소하거나 오류를 간과하지 않고 학습자가 도전하고 지원하는 언어적, 비언어적 의사소통을 통해 심리적 안전의 환경을 구축해야 한다. 교사들은 도전적이지만 그들의 현재 발달 단계를 초과하지 않는 질문이나 문제를 제기하기 위해 학습자들의 기존 지식과 기술을 발견해야 한다. 질문을 던지는 것은 소크라테스식 방법의 기초가 되지만, 그러한 질문들은 학습자들에게 적절한 수준에서 질문되어야 한다.

Teachers should build an environment of psychological safety through verbal and non-verbal communication in which learners are challenged and supported, without excusing a lack of effort or overlooking errors. Teachers must uncover learners’ existing knowledge and skills in order to pose questions or problems to them that are challenging but do not surpass their current developmental stage. Posing questions is the foundation of the Socratic method, but those questions must be asked at an appropriate level for the learners.



표 1은 그러한 질문의 실제 예를 제시한다.

Table 1 presents practical examples of such questions


개념을 명확히 하기 위한 질문 Questions to clarify concepts 

1. Remember 

What is the nature of this?

What exactly does this mean?


2. Understand 

Can you give me an example?

What do we already know about this?

How does this relate to what we have been talking about?


근거, 이유 또는 증거를 조사하기 위한 질문 Questions to probe for rationale, reasons, or evidence

3. Apply 

Can you give me an example of that?

How do you know this?


4. Analyze 

Why is that happening?

What do you think causes that?

What evidence is there to support what you are saying?

How does _____ affect _____ ?

Then what would happen?


시사점 및 결과 탐색에 대한 질문 Questions to explore implications and consequences

5. Evaluate 

Why is that important?

How does that fit with what we learned before?

What are the implications of that?


6. Create 

Based on the history and physical, can you put this together for me?

What do we need to know to take care of "Mrs. Smith" today?


가장 효과적인 탐색 질문은 때때로 학습자의 지식의 한계를 초과할 것이며, 따라서 심리적인 안전이 확립되지 않은 경우 Pimping으로 인식될 수 있다. 이러한 지식 경계를 찾고 사용하는 것은 zone of proximal development를 형성한다.19,31,32

The most effective probing questions will occasionally exceed the bounds of learners’ knowledge, and may thus be perceived as pimping if psychological safety has not been established. Finding and using these knowledge boundaries forms the zone of proximal development.19,31,32


소크라테스식 교육은 심리적 안정을 촉진하는 지정된 시간과 장소에서 이루어져야 한다. 질문을 한 후 침묵이나 그득한 pause를 전략적으로 사용할 수 있도록 충분한 시간이 필요하다. 이 시간동안 학습자들은 질문을 생각해보고, 그들의 지식을 성찰하거나, think aloud할 기회를 갖는다. 또한 이 상황은 선생님이 통제하는 장소에서 이루어져야 한다. 그 목적은 산만함과 외부의 영향이 없어지고 심리적 안전이 유지되도록 하기 위해서이다.

Socratic teaching should take place at a designated time and place which fosters psychological safety. Sufficient time is needed to allow for the strategic use of silence or pregnant pauses after posing questions, during which learners have the opportunity to consider the question, reflect on their knowledge, or think aloud. This transaction should happen in a location where the teacher controls the environment, to ensure that distractions and outside influences are eliminated and psychological safety is maintained.


CONCLUSIONS


소크라테스식 방법을 올바르게 적용한다면, 교사들과 학습자들에게 매우 매력적이고 매우 보람이 있을 것이다. 하지만, 그것은 시간과 노력이 많이 소요되기 때문에, 사용할 때 신중해야 하며, 정확히 실행되어야 한다. 소크라테스식 교육의 적절한 실행은 심리적 안전이 보장된 환경에서만 일어날 수 있다.

When correctly applied, the Socratic method is very engaging and highly rewarding for teachers and learners; however, it is timeand effort-intensive, so its use should be judicious, and it must be executed correctly. Proper execution of Socratic teaching can occur only in an environment of psychological safety.


질문이 진정한 소크라테스적 방법에 부합하기 위해서는 질문을 던지기 전에 환경이 먼저 조성되어야 한다.

Socratic teachers by simply asking questions; the environment must be cultivated before their questioning can be defined as consistent with the authentic Socratic method.





 2016 Sep;31(9):1092-6. doi: 10.1007/s11606-016-3722-2. Epub 2016 Apr 29.

Would Socrates Have Actually Used the "Socratic Method" for Clinical Teaching?

Author information

1
Department of Medicine, Emory University School of Medicine, MS-1020-003-1AE 100 Woodruff Circle, P-378, Atlanta, GA, 30322, USA. hugh.stoddard@emory.edu.
2
Department of Internal Medicine, University of Nebraska College of Medicine, Omaha, NE, USA.

Abstract

Medical students and residents are familiar with clinical teaching methods in which a faculty member poses a series of questions to them. This technique is often called the "Socratic method," but it is frequently perceived by learners as an attempt to demean them, a practice that is colloquially known as "pimping." The distinction between Socratic teaching and pimping lies in the perception of "psychological safety." Psychological safety allows learners to answer questions or ask for help without threats to their dignity or worthiness. In a psychologically safe clinical teaching context, learners recognize that questions posed by attending physicians probe their current understanding and guide them to expand their knowledge. In pimping, questions are posed to embarrass the learner and to reinforce the teacher's position of power over them. Absent a threat of disparagement or condemnation, learners are able to focus on building schema for knowledge, skills, and attitudes, rather than worrying about shielding their self-worth. This article presents the proper Socratic method, as intended by Socrates, and contrasts it with pimping. This perspective defines psychological safety as the pivotal factor distinguishing Socratic teaching from pimping, and establishes the foundation for empirical studies of these common practices in medical education.

KEYWORDS:

Socratic methodclinical teaching; faculty development; psychological safety

PMID:
 
27130623
 
PMCID:
 
PMC4978680
 
DOI:
 
10.1007/s11606-016-3722-2
[Indexed for MEDLINE] 

Free PMC Article

배우고, 보고, 해보고, 증명하고, 하고, 유지하기: 근거기반 스킬훈련 프레임워크(Acad Med, 2015)

Learn, See, Practice, Prove, Do, Maintain: An Evidence-Based Pedagogical Framework for Procedural Skill Training in Medicine

Taylor Sawyer, DO, MEd, Marjorie White, MD, MPPM, MEd, Pavan Zaveri, MD, MEd, Todd Chang, MD, Anne Ades, MD, Heather French, MD, JoDee Anderson, MD, MEd, Marc Auerbach, MD, MSCI, Lindsay Johnston, MD, and David Kessler, MD, MSCI




잘 알려진 할스테디안 만트라(Halstedian mantra)인 "하나를 보고, 하나를 하고, 하나를 가르친다" 의학에서 절차적 기술을 가르치는 전통적인 패러다임이다. 이 패러다임에서 절차적 숙련도 훈련은 직접 환자 진료를 통해 수행되며, 연습생은 의료 견습 모델의 일부로 환자에게 프로시져procedures를 연습한다.

The well-known Halstedian mantra “see one, do one, teach one” is the traditional paradigm for teaching procedural skills in medicine. In this paradigm, procedural skill training is accomplished through direct patient care, with trainees practicing procedures on patients as part of a medical apprenticeship model.


시뮬레이션 기반 의학교육을 통해 "하나를 보고, 하나를 하고, 하나를 가르친다" 시대의 종말이 제안되었다.2

an end to the “see one, do one, teach one” era, through the use of simulation-based medical education, has been proposed.2


시뮬레이션 기반 의료교육은 훈련자가 환자에게 해를 끼치지 않고 안전하게 절차적 기술력을 습득할 수 있도록 하는 교육 기법이다. 그것의 사용은 더 나은 환자 치료와 환자 안전 개선과 관련이 있다.3–9

Simulation-based medical education is an instructional technique that enables trainees to safely gain competency in procedural skills without harm to patients. Its use has been associated with better patient care and improved patient safety.3–9


문헌 고찰과 통합

Literature Review and Synthesis


비체계적 중요 합성 접근방식에 따라, 두 단계에서 검토된 논문은 서술적/내러티브 보고서, 실험 및 준 실험 방법을 모두 사용한 정성적 및 정량적 연구, 문학 검토, 체계적 검토 및 메타 분석을 포함한 광범위한 자료를 구성했다.

In keeping with a nonsystematic critical synthesis approach, articles reviewed in both phases comprised a broad range of materials, including descriptive/narrative reports; qualitative and quantitative studies using both experimental and quasi- experimental methods; literature reviews; systematic reviews; and meta-analyses.


의학에서 절차적 기술을 가르치기 위한 가장 좋은  프레임워크는?

What is the best framework for teaching procedural skills in medicine?


절차적 스킬 발달

Procedural Skill Development


Procedural skill는 "Manual task 수행에 필요한 정신적, 운동적 활동"을 포함하는 것으로 정의한다.14 뇌수막 기술은 종기 배수 등 간단한 작업부터 기관내 삽관 같은 복잡한 작업에 이르기까지 다양하다. 하지만, 우리는 단순한 절차든 복잡한 절차든 배우는 것이 동일한 근본적인 과정을 따른다고 믿는다.

We define procedural skills to include “the mental and motor activities required to execute a manual task.”14 Procedural skills can range from simple tasks, such as drainage of an abscess, to complex tasks, such as endotracheal intubation. However, we believe that learning any procedure follows the same fundamental process,


"드레이퍼스 모델"은 초보자, 고급 초보자, 유능자, 숙련자, 전문가 등 5단계로 이어지는 의료 제공자의 시야 범위와 능력 범위를 상세히 기술하고 있다.15

The “Dreyfus model” details the development of a medical provider’s scope of vision and range of capabilities along a continuum of five stages: novice, advanced beginner, competent, proficient, and expert.15


심슨의 16과 Harrow's 17 정신운동영역의 분류법은 5단계의 연속을 통한 절차적 기술 발달의 진행을 설명한다.

Simpson’s16 and Harrow’s17 taxonomy of the psychomotor domain describes a progression of procedural skill development through a continuum of five stages:


1. Guided response은 기술을 배우는 데 있어 가장 이른 단계를 나타내며, 주로 모방과 시행착오를 포함한다.

1. Guided response indicates the earliest stage in learning a skill, and primarily includes imitation and trial and error.


2. 메커니즘은 기술 학습의 중간 단계로서 학습된 반응이 습관화되어 어느 정도 능숙하고 자신 있게 기술과 관련된 동작을 수행할 수 있는 상태를 기술한다.

2. Mechanism is an intermediate stage in skill learning and describes a state wherein learned responses have become habitual and the movements associated with the skill can be performed with some proficiency and confidence.


3. Complex overt response신속하고 정확하며 고도로 조정된 퍼포먼스로 절차를 능숙하게 수행할 수 있는 단계다. 이 단계에서 학습자는 절차와 함께 "유능한" 것으로 간주될 것이다.

3. Complex overt response is a stage at which a procedure can be performed competently with quick, accurate, and highly coordinated performance. At this stage the learner would be considered “competent” with the procedure.


4. 적응은 기술이 매우 잘 발달되어 있어서 어려운 상황에 맞게 움직임 패턴을 수정할 수 있다는 것을 나타낸다.

4. Adaptation indicates that skills are so well developed that the individual can modify movement patterns to fit difficult situations.


5. 창출Originating은 기술 개발의 마지막 단계로, 특정 상황이나 고유한 문제에 맞게 새로운 움직임 패턴을 만들 수 있을 정도로 기술이 숙달된 단계를 정의한다.

5. Originating, the final step in skill development, defines a phase in which the skill has been mastered to such an extent that new movement patterns can be created to fit a particular situation or unique problem.


Figure 1



근거기반 교육 프레임워크

An Evidence-Based Pedagogical Framework


우리는 Kovacs18에 의해 제공된 패러다임이 최고의 접근법 중 하나이며, 정신운동 학습 이론의 기초에 기초한 높은 타당도를 가진다고 보았다. 코박스에 따르면, 절차적 기술 훈련은 다음 네 단계를 포함해야 한다.

we felt the paradigm provided by Kovacs18 provided one of the best approaches and possessed a high degree of validity based in its foundation in psychomotor learning theory. According to Kovacs, procedural skill training should encompass four steps:



1. 배우기: 수련자는 절차에 대해 배우고 필요한 인지 지식을 습득해야 한다.

1. Learn: A trainee should learn about the procedure and acquire the requisite cognitive knowledge.

2. 보기: 학습자는 강사 또는 교관이 수행하는 절차를 확인해야 한다.

2. See: The trainee should then see the procedure performed by an instructor or preceptor.


3. 연습: 시술법을 익히고 수행되는 것을 관찰한 후에 수련자는 시술법을 연습해야 한다.

3. Practice: After learning the procedure and observing it being performed, the trainee should practice the procedure.


4. 하기: 마지막으로 수련자는 환자에게 시술하여 계속 연습해야 한다.

4. Do: Finally, the trainee should continue to practice the procedure by performing it on patients.


제안된 프레임워크는 학습, 보기, 실행, 입증, 실행, 유지 관리 입니다.

Our proposed framework is Learn, See, Practice, Prove, Do, Maintain.


교육학적 프레임워크의 개요는 그림 2에 제시되어 있다.

An overview of the pedagogical framework is presented in Figure 2



배우기

Learn


procedural skill을 가르치고 배우는 것은 인지 단계와 정신운동 단계라는 두 단계로 나눌 수 있다.18 인지 단계는 절차에 대해 학습하고 indication, contraindication을 이해하고, 필요한 motor action을 배우는 기간이다. 일부 복잡한 절차에는 상당한 인지 요소가 필요할 수 있지만, 단순한 절차 기술에는 최소한의 인식이 필요할 수 있다.

Teaching and learning procedural skills can be divided into two phases: the cognitive phase and the psychomotor phase.18 The cognitive phase is the period devoted to learning about the procedure and developing an understanding of the indications, contraindications, and motor actions involved. Some complex procedures may require a significant cognitive component, whereas simple procedural skills may require minimal cognition.


인지 단계는 개념화와 시각화라는 두 가지 하위 단계로 구성되었다.18

The cognitive phase comprised two subphases: conceptualization and visualization.18


절차적 기술 훈련의 첫 번째 단계에는 절차적 기술에 대한 필요한 인지적 지식을 얻는 것이 포함된다. 이 학습 단계는 개념화에 초점을 맞춘다.

the first phase of procedural skill training involves acquiring the required cognitive knowledge about the procedural skill. This Learn step focuses on conceptualization.


이 단계는 asynchronous or synchronous 모달리티를 통해 개별적 또는 그룹으로 수행할 수 있다. 인지지식의 검증은 표준화된 시험으로 할 수 있다.

This step can be conducted individually, or in a group, through either asynchronous or synchronous modalities. Verification of cognitive knowledge can be done with a standardized test,


보기

See


인지 단계가 완료된 후, 다음 단계인 procedural skill 교육은 강사가 학습자를 위한 절차를 시연하고 있다. '보기' 단계는 시각화에 초점을 맞춘다.18

After the cognitive phase has been completed, the next phase of procedural skill training involves an instructor demonstrating and modeling the procedure for the learner. The See step focuses on visualization.18


Skill의 시연에는 비언어적 지침과 언어적 지침이 모두 포함됨.26,30 

    • 비언어적 지침은 설명 없이 처음부터 끝까지 절차에 대한 데모를 포함한다. 

    • 언어적 지침은 Peyton에 의해 "해체"라고 불린 것으로, 절차의 각 단계에 대한 설명과 함께 시연하는 것을 포함한다. 

이러한 시연은 직접 교육 또는 비디오 시연에서 제공할 수 있다.28,29 

    • 세 번째 단계는 학습자가 각 단계를 설명하면 교사가 그것에 따라 절차를 수행하는 단계가 될 수 있다.

The demonstration of a skill is optimized by including both nonverbal and verbal instruction.26,30 The nonverbal instruction includes a demonstration of the procedure from start to finish without commentary. The verbal instruction, referred to as “deconstruction” by Peyton,30 includes a demonstration of each step in the procedure with accompanying verbal description. These demonstrations can be presented either through in-person training or in a video demonstration.28,29 A third step may involve the learner explaining each step of the procedure with the teacher following the instructions.30


적절한 시연을 위해서 필요한 것은 이상적인 수행 방법에 대한 합의를 도출하고, 절차의 주요 단계를 식별하는 것이다. 이는 Delphi 방법을 통해 검증된 절차 체크리스트의 개발을 통해 달성될 수 있다.34–40

A requirement for the proper demonstration of a procedure is to come to a consensus on the way the procedure is best performed and to identify the key steps of the procedure. This can be accomplished through the development of a validated procedural checklist via a Delphi method.34–40


연습하기

Practice


연습 단계는 신중한 연습DP을 통해 최적화된다. 에릭슨 외 연구진에서 정의한 바와 같이, 41–43의 DP는 전문가로서의 퍼포먼스를 습득하는 과정을 최적화하기 위해서 설계한 "effortful activity"의 regimen이다. DP의 주요 특징은 

    • 기 부여된 학습자, 

    • 잘 정의된 학습 목표, 

    • 집중적이고 반복적인 연습, 

    • 확한 성과 측정 및 

    • 형성적 피드백이다.

The Practice step is optimized by using deliberate practice. As defined by Ericsson et al,41–43 deliberate practice describes a regimen of effortful activity designed to optimize improvements in the acquisition of expert performance. The key features of deliberate practice are 

    • motivated learners, 

    • well-defined learning objectives, 

    • focused and repetitive practice, 

    • precise measurements of performance, and 

    • formative feedback.


연습 중 형성적 피드백의 목표는 성과를 개선하는 것이다. 형성적 피드백 중요성은 아담스의 44,45 폐쇄 루프 이론(그림 3 참조)에서도 나타나며, 여기서 피드백은 학습자의 결과 지식knowledge of results을 향상시키고 오류의 탐지 및 수정을 용이하게 한다.

The goal of formative feedback during practice is to improve performance. The importance of formative feedback is supported by Adams’s44,45 closed-loop theory (see Figure 3), wherein the feedback improves a learner’s knowledge of results and facilitates the detection and correction of errors.


이 단계에서의 평가는 본질적으로 형성적이며 성능을 극대화하기 위해 개선 및 수정을 위한 영역을 정의하는 것을 지시한다.

Evaluation at this phase is formative in nature and directed at defining areas for improvement and modification to maximize performance.


절차적 성능 향상에 대한 의도적인 실천요강의 이점을 설명하는 수많은 보고서가 의학 문헌에 존재한다.46–49 기타 지침 설계 특징은 다음과 같다. 

    • 다양한 범위의 난이도

    • 분산 연습, 

    • 더 긴 연습 시간, 

    • 여러 가지 학습 전략 사용

    • 임상적으로 다양한 상황

    • 개인화된 학습 

    • 숙달 학습

Numerous reports exist in the medical literature describing the benefits of deliberate practice at improving procedural performance.46–49 Other instructional design features include 

    • a range of difficulty, 

    • distributed practice, 

    • longer practice time, 

    • using multiple learning strategies, 

    • introducing clinical variation, 

    • individualized learning, and 

    • mastery learning.27


증명하기

Prove


입증 단계에서 학습자는 환자에게 절차를 수행하기 전에 절차적 역량이 달성되었는지 확인하기 위해 시뮬레이터를 활용하여 객관적 기술 평가를 수행한다. 

In the Prove step of our proposed framework, the learner undergoes objective skills assessment on a simulator, to ensure that procedural competency has been achieved, prior to performing the procedure on a patient. 


Prove 단계는 시뮬레이션 기반 마스터링 학습(SBML)을 사용한다. SBML의 7가지 주요 특징은 다음과 같다. 

The Prove step uses simulation-based mastery learning (SBML). The seven key characteristics of SBML include 


(1) 명확한 학습 목표 

(2) Baseline 기술 평가 

(3) 사전에 결정된 최소 합격 표준(예: "수도원 수준")을 가진 타당한 평가 도구 

(4) 숙련수준의 성과에 도달하는 데 초점을 맞춘 연습 

(5) 숙련수준의 성과 달성을 평가하기 위한 숙련도 시험, 

(6) 필요에 따라 마스터 레벨의 성과를 달성할 때까지 계속 연습

(7) 숙달된 표준이 달성된 후에 한하여 다음 단계의 훈련으로 진행.4

(1) clear learning objectives; 

(2) baseline skill assessment; 

(3) a valid assessment tool with a predetermined minimal passing standard (e.g., “mastery- level”); 

(4) practice that is focused on reaching mastery-level performance; 

(5) skill testing to assess achievement of mastery-level performance; 

(6) continued practice, as needed, until the mastery-level performance is achieved; and 

(7) progression to the next level of training only after achievement of the mastery standard.4


숙달된 학습은 숙달성을 정의하는 명확하게 기술된 수행 수준과 학습자가 숙달된 성과를 달성할 때까지 지속적인 연습에 대한 요구 사항을 추가함으로써 DP를 강화한다.51 이 사전 정의된 숙달 수준 성과는 학습자에게 제공되는 피드백에 대하여 많은 정보를 제공하고, knowledge of result를 명확히하는 것을 도와준다.

Mastery learning augments deliberate practice through the addition of a clearly delineated level of performance that defines mastery, and the requirement for continuous practice until the learner achieves mastery-level performance.51 This predefined mastery- level performance greatly informs the feedback provided to the learner and may assist with clarifying the knowledge of results, as defined by Adams.44,45


의료 시뮬레이션을 사용한 역량 기반 평가는 (환자 안전을 위한 modality로서) 시뮬레이션의 가장 중요한 역할 중 하나이다.152 이러한 유형의 "환자 전 교육"은 현재 많은 의료 훈련 프로그램에서 사용되고 있다.

Competency-based assessment using medical simulation, prior to the performance of the procedure on a patient, is one of the most important roles of simulation as a patient safety modality.1,52 This type of “pre-patient training” is currently used in many medical training programs.11,24,52



숙련된 수준의 성능을 평가하려면 높은 수준의 타당도 및 신뢰성을 갖춘 평가 도구가 필요하다. 절차적 기술에 대한 평가 도구는 일반적으로 체크리스트 또는 global rating scale의 형태를 취한다.20 체크리스트와 전 세계 등급 척도 모두 장점과 단점이 있다. 

The ability to evaluate mastery-level performance requires an assessment tool with a high level of validity and reliability. Assessment tools for procedural skills commonly take the form of either checklists or global rating scales.20 Both checklists and global rating scales have benefits and drawbacks. 


체크리스트의 이점은 구체적이고 객관적인 성격을 포함한다. 일반적으로 각 단계 옆에 간단한 "완료" 또는 "완료되지 않음" 확인란이 있는 절차의 순차적인 일련의 단계를 포함한다.65 체크리스트의 단점은 체크리스트만으로는 더 중요한 단계와 덜 중요한 단계의 차이를 전달하지 못할 수 있다는 사실이다. 그리고 어떤 절차를 성공적으로 완료하기 위해 체크리스트의 모든 단계가 필요한 것은 아니다.20

Benefits of checklists include their specific and objective nature, typically involving a sequential series of steps in the procedure with a simple “done” or “not done” check box next to each step.65 Drawbacks of checklists include the fact that sequential checklists may not convey a differentiation in status of critical versus less important steps, and that sometimes not all steps of a checklist are required to successfully complete a procedure.20


GRS는 절차적 역량에 대한 보다 광범위한 평가를 제공한다. 일반적으로 리커트형 척도를 포함하는 글로벌 등급 척도는 절차적 기술의 글로벌 등급(예: 1 = 초보, 3 = 유능, 5 = 전문가)을 제공하는 데 사용된다. 특정 행동 앵커를 사용하여 각 기술 수준을 나타내는 행동의 명확한 예를 제공하여 BARS로 알려진 GRS를 산출할 수 있다. GRS의 장점은 숙련도를 결정하기 위하여 사전에 정의된 단계에 의존하기보다는, 역량의 포괄적 인상으로 평가한다는 점이다.20 한계에는 세분성 상실과 잘못된 단계에 기초한 특정 피드백을 제공할 수 없는 능력이 포함된다.20

Global rating scales provide a more broad-based assessment of procedural competency. Global rating scales, typically involving a Likert-type scale, are used to provide a global rating of procedural skill (e.g., 1 = novice, 3 = competent, 5 = expert). Specific behavioral anchors can be used to provide explicit examples of the behaviors that are indicative of each skill level, yielding a type of global rating scale known as a behaviorally anchored rating scale. A benefit of a global rating scale is the comprehensive impression of competency it provides, without reliance on predefined steps to determine proficiency.20 Limitations include the loss of granularity and inability to provide specific feedback based on incorrect steps.20


체크리스트와 글로벌 평가 척도를 모두 포함하는 하이브리드 평가 도구를 권장한다.

we recommend a hybrid assessment tool that includes both a checklist and a global rating scale


그러한 하이브리드 절차 기술 점검표의 예시 템플릿은 부록 1에 제시되어 있다.

An example template of such a hybrid procedural skills checklist is provided in Appendix 1.



하기

Do


절차적 기술 교육을 결국 시뮬레이션 영역으로부터 임상 영역으로 이동해야 한다.

The teaching of procedural skills must eventually move from the simulation realm to the clinical realm.


연습생이 시뮬레이터에서 유능하다고 간주된 후에야 현장에서 실제 환자에게 시술 기술 개발 과정을 이어갈 수 있다.

only after a trainee is deemed competent on a simulator can he or she continue the process of procedural skill development on real patients in the workplace.


시뮬레이션과 실제 임상 사례 간의 내재적 차이 때문에, 시뮬레이션에서 보여준 능력이 authentic한 임상 역량의 증거로 간주되어서는 안 된다. Rethans 등 67은 역량 기반 평가를 테스트 상황(예: 시뮬레이션)에서 의사가 수행하는 작업의 척도로 정의했다. 그리고 이와 별개로 performance-based assessment를 언급하여, "의사가 실제로 수행하는 작업의 척도라고 하였다. PBA는 직접적인 감독 없이 독립적으로 절차를 수행할 수 있도록 학습자를 신뢰하기 위하여 필요하다.

Because of the inherent differences between simulation and real-life clinical practice, competency during simulation should never be considered adequate evidence of true clinical competency. Rethans et al67 defined competency- based assessment as measures of what doctors do in testing situations (e.g., simulation), and “performance-based assessment as measures of what doctors do in practice.”67 Performance-based assessment is required to ensure that the learner can be trusted to perform the procedure independently and without direct supervision.


제안된 프레임워크에서, 더 이상 감독받지 않아도 된다는 "졸업"이 Do 단계 동안 발생하며, 결국 위임을 거쳐 Maintenance 단계에서 지속적인 기술 유지보수로 이어진다.

In our proposed framework, graduated supervision occurs during the Do step, leading eventually to entrustment, and then to ongoing skill maintenance in the Maintain step.


Do 단계를 성공적으로 수행하려면 초기에는 학습자가 환자에게 시술하는 동안 직접 감독해야 하며, 기술에 대한 실시간 평가와 피드백을 받아야 한다이러한 유형의 직접적인 관찰은 "작업장 기반 평가", "실적 평가", 또는 "감독된 학습 이벤트"라고 언급되어 왔다. 이러한 평가는 성격상 형성적이며, 훈련자가 [환자에게 harm하지 않으면서 절차적 기술과 환자 결과를 최적화하도록] 훈련자에게 직접적인 피드백을 제공할 수 있는 기회를 제공한다.

For the Do step to be successful—and safe—the learner must initially be directly supervised during the performance of a procedure on a patient and receive real-time assessment and feedback on technique. This type of direct observation has been referred to as “workplace-based assessment,” “assessment of performance,” or a “supervised learning event.”70,71 These assessments are formative in nature and provide an opportunity for a preceptor to give direct feedback to a trainee to  optimize procedural skills and patient outcomes while avoiding harm.


절차적 기술에 대한 임상 역량을 결정하는 것은 어렵지만, 여러 가지 방법이 개별화된 선별 과정을 포함하여 임상 역량의 결정에 도움이 될 수 있다.

The determination of clinical competency with a procedural skill is challenging, but several methods may help determine clinical competency, including an 

    • individualized screening process, 

    • tracking the number of procedures performed by a trainee, and 

    • statistical analysis of procedural success and failure rates.


Rethans 등이 기술한 바와 같이, 임상 치료 중 절차적 역량에 대한 평가에는 모든 연습생이 참여하는 스크리닝 요소가 포함되어야 한다. 스크리닝 통과자에 대해서는 CQI 사이클이 필요하고, 스크리닝에서 제대로 수행하지 못하는 사람에 대한 진단 조사 및 후속 조치가 포함되어야 한다. 스크리닝 과정을 촉진하고 절차적 역량에 대한 정확한 평가를 제공하기 위해, Do 단계에서 사용된 동일한 체크리스트 또는 평가 도구를 사용할 수 있다. 이번에는 시뮬레이터가 아닌 환자에 대한 절차적 기술을 평가하기 위한 것이다.

As described by Rethans et al,67 assessment of procedural competency during clinical care should include a general screening component in which all trainees participate, followed by either a continuous quality improvement cycle for those who pass the screen, or a diagnostic investigation and follow-up for those who perform poorly on the screen. To facilitate the screening process and provide an accurate assessment of procedural competency, the same checklist or assessment tool used in the Prove step can be used in the Do step—this time to evaluate procedural skill on a patient, rather than a simulator.


미국에서는 여러 ACGME 전공의 검토 위원회가 전문 분야에 대한 구체적인 "key index procedure"를 개괄적으로 설명했으며, 졸업 전에 레지던트가 수행해야 하는 이러한 절차의 최소 숫자에 대한 지침을 발표하였다.77–80

In the United States, several ACGME resident review committees have outlined specific “key index procedures” for their specialty and have published guidelines on the minimum numbers of these procedures that a resident must perform prior to graduation.77–80


이 방법의 장점은 사례 로그라고도 하는 절차 로그를 사용하여 평가를 수행할 수 있는 상대적 용이성을 포함한다. 분명한 단점은 정해진 수의 절차의 수행이 역량의 달성에 대한 결정적인 증거를 제공하지 않는다는 것이다.

Benefits of this method include the relative ease with which the assessment can be done using procedure logs, also referred to as case logs. A clear drawback is that performance of a set number of procedures does not provide definitive evidence of achievement of competency


통계 관리도의 일종인 누적 종합(CUSUM) 분석은 특정 학습자 그룹 간의 역량 달성에 필요한 개별 능력과 평균 절차 수에 대한 객관적 정보를 얻기 위한 방법으로 탐구되었다.

Cumulative summative (CUSUM) analysis, a type of statistical control chart, has been explored as a method of obtaining objective information on both individual competency and the average number of procedures that are required to achieve competence amongst a given learner group.


유지하기

Maintain


일단 Do 단계까지 달성하였더라도, 절차를 정기적으로 수행하지 않으면 역량이 시간에 따라 저하될 것이다. "디 스킬링"이라는 용어는 빈번하지 않은 실습을 통한 점진적인 기술 저하를 의미하는 단어이다.84 초보 의사의 경우 이러한 디 스킬링이 더 빠른 속도로 발생할 가능성이 높다. 숙련된 제공자에서는, deskilling은 더 느리게 발생할 수 있다. 그러나 학습자 그룹과 경험에 기초한 절차적 능력의 저하 곡선은 아직 정의되지 않았다.

Once achieved, competency with a procedural skill will degrade with time if the procedure is not practiced regularly. The term “de-skilling” has been applied to the gradual loss of skills through infrequent practice.84 In novice providers, this de-skilling will likely occur rapidly. In experienced providers, de-skilling may occur more slowly. However, degradation curves for procedural skills, based on learner groups and experience, have yet to be defined.


그림 4와 같이, 기술 유지보수는 임상 실습과 시뮬레이션을 모두 포함할 수 있으며, 시뮬레이션은 자주 수행되지 않는 절차에 대한 보충 교육으로 작용하거나 임상 실습이 중단된 후 새로 고침 교육으로 작용할 수 있다.85 절차 추적(예: 절차 로그 포함) 또는 CUSUM 분석을 개별의 일부로 포함할 수 있다. 시뮬레이션 기반 리프레셔 교육의 잠재적 필요성에 대한 객관적인 정보를 제공하기 위한 지속적인 품질 개선 시뮬레이션 기반 유지관리 교육을 제공하기 위해 몇 가지 방법이 사용됨: "드레스 리허설", "롤링 리프레셔", "Just-in-Time" 교육 및 "booster" 교육.

As shown in Figure 4, skill maintenance could include both clinical practice and simulation, with simulation acting as supplemental training for infrequently performed procedures or as refresher training after breaks in clinical practice.85 Tracking of procedures (e.g., with procedure logs) or CUSUM analysis could be included as part of individual continuous quality improvement to provide objective information on the potential need for simulation-based refresher training. Several methods have been used to provide simulation-based maintenance training: “dress rehearsals,” “rolling  refreshers,” “just-in-time” training, and “booster” training.9,86–89 



Summary


62 Cook D, Beckman T. Current concepts in validity and reliability for psychomotor instruments: Theory and application. Am J Med. 2006;119:e7–e16.


63 Jelovsek JE, Kow N, Diwadkar GB. Tools for the direct observation and assessment of psychomotor skills in medical trainees: A systematic review. Med Educ. 2013;47:650–673. XXX











 2015 Aug;90(8):1025-33. doi: 10.1097/ACM.0000000000000734.

Learnseepracticeprove, do, maintain: an evidence-based pedagogical framework for procedural skill training in medicine.

Author information

1
T. Sawyer is assistant professor, Department of Pediatrics, University of Washington School of Medicine, Seattle, Washington. M. White is assistant professor, Department of Pediatrics, University of Alabama at Birmingham, Birmingham, Alabama. P. Zaveri is assistant professor, Division of Emergency Medicine, Children's National Health System, Washington, DC. T. Chang is assistant professor, Division of Emergency Medicine and Transport, Children's Hospital Los Angeles, Los Angeles, California. A. Ades is associate professor, Department of Pediatrics, Children's Hospital of Philadelphia, Philadelphia, Pennsylvania. H. French is assistant professor, Department of Pediatrics, Children's Hospital of Philadelphia, Philadelphia, Pennsylvania. J. Anderson is associate professor, Department of Pediatrics, Oregon Health Sciences University, Portland, Oregon. M. Auerbach is assistant professor, Department of Pediatrics, Yale School of Medicine, New Haven, Connecticut. L. Johnston is assistant professor, Department of Pediatrics, Yale School of Medicine, New Haven, Connecticut. D. Kessler is assistant professor, Department of Pediatrics, Columbia University College of Physicians and Surgeons, New York, New York.

Abstract

Acquisition of competency in procedural skills is a fundamental goal of medical training. In this Perspective, the authors propose an evidence-based pedagogical framework for procedural skill training. The framework was developed based on a review of the literature using a critical synthesis approach and builds on earlier models of procedural skill training in medicine. The authors begin by describing the fundamentals of procedural skill development. Then, a six-step pedagogical framework for procedural skills training is presented: LearnSeePracticeProve, Do, and Maintain. In this frameworkprocedural skill training begins with the learner acquiring requisite cognitive knowledge through didactic education (Learn) and observation of the procedure (See). The learner then progresses to the stage of psychomotor skill acquisition and is allowed to deliberately practice the procedure on a simulator (Practice). Simulation-based mastery learning is employed to allow the trainee to prove competency prior to performing the procedure on a patient (Prove). Once competency is demonstrated on a simulator, the trainee is allowed to perform the procedure on patients with direct supervision, until he or she can be entrusted to perform the procedure independently (Do). Maintenance of the skill is ensured through continued clinical practice, supplemented by simulation-based training as needed (Maintain). Evidence in support of each component of the framework is presented. Implementation of the proposed framework presents a paradigm shift in procedural skill training. However, the authors believe that adoption of the framework will improve procedural skill trainingand patient safety.

PMID:
 
25881645
 
DOI:
 
10.1097/ACM.0000000000000734


임상에서 복잡한 의사결정: 실천적 지혜를 키우는 데 핵심적 내적 외적 영향(Med Educ, 2019)

Complex decision making in medical training: key internal and external influences in developing practical wisdom

Paul Paes,1,2 David Leat3 & Jane Stewart1



도입

INTRODUCTION


복잡한 임상 의사결정에는 지식과 지성이 있어야 적절한 결정이 무엇인지 이해할 수 있다. '일반적으로 옳은 일'과 '이 특정한 경우에 가장 좋은 일' 사이의 결정을 위해서는 실천적 지혜가 필요하다. 실천적 지혜(처음 아리스토텔레스가 '프론시스'로 간주하고 카1에 의해 상세히 기술됨)는 서로 다른 상황에서 무엇을 해야 하는지에 대한 심의, 반성, 판단을 통합한 윤리적 추론의 형태에 주어지는 용어다.

Complex clinical decision making requires knowledge and intellect to understand what an appropriate decision would be. Practical wisdom adds to decide between ‘the right thing to do generally’ and ‘the best thing to do in this specific case’. Practical wisdom (first considered by Aristotle as ‘phronesis’ and elaborated on by Carr1) is the term given to a form of ethical reasoning that incorporates deliberation, reflection and judgement of what to do in different situations.


의사로서의 가치와 도덕적 나침반에 의해 mediate되는 의사는, 문제를 프레임화하고, 상황을 평가하고, 맥락적으로 민감한 타당한 결정을 할 수 있어야 한다.3

Mediated by the doctor’s values and moral compass, the clinician must be able to frame problems, assess situations and make sound decisions that are contextually sensitive.3


EBM을 향한 drive는 [암묵적 지식, 임상 경험 및 전문적인 판단의 역할을 강조하는 의사 결정에 대한 보다 직관적인 접근]과 상충되는 것으로 보일 수 있다.4

The drive towards evidence-based medicine may appear to be at odds with a more intuitive approach to decision making, stressing the role of tacit knowledge, clinical experience and professional judgement.4


이러한 disjunct는 공식적인 훈련과 일상적인 시스템에 대한 상당한 투자와 개발에도 불구하고 환자 안전이 명확하게 개선되지 않은 이유를 부분적으로 설명할 수 있다5

This disjunct may partly explain why, despite considerable investment in and development of formal training and routine systems, there has been no clear improvement in patient safety5


여러 연구에서 개인의 의사 결정의 많은 측면에서 약점을 밝혀냈다. 더 적지만 더 강도 높은 시간, 로테이션 단축,  역량에 기반한 학습, 훈련 내 독립성 감소는 의사결정 기술 개발에 더 큰 영향을 미칠 수 있다.

investigations have identified weaknesses in many aspects of an individual’s decision making. Fewer but more intense hours,5 shorter rotations,7 competency- based learning8 and less independence within training9 may further impact upon the development of decision-making skills.


의사들은 복잡한 임상 상황을 관리하기 위해 어떻게 실용적인 지혜를 개발하는가?

how doctors approach and develop practical wisdom, to manage complex clinical situations.



방법

METHODS


이 연구의 인식론적 틀은 해석주의적 패러다임 내의 사회적 구성주의였다. 조사적인 의사결정은 그 과정의 암묵적이고 다면적인 성격 때문에 어렵다. 이는 대규모의 실천요강 탐색을 시도하기 전에 작은 실천요강을 분석한 후 보다 넓은 실천요강에 대한 핵심 이슈를 이해하기 위해 분석을 개시함으로써 더 잘 고려된다.11 이 원칙은 탐구 전 특정 상황에서 개별 의사의 실천요강에 초점을 맞추어 연구의 설계에 적용되었다.더 큰 결과를 가져오게 될 겁니다 이 방법론은 이 분야에서 독창적이며, 주제에 관여하기 위한 구체적인 실천에 사람들의 마음을 집중시키기 위해 고안되었다.

The epistemological frame for this study was social constructivism within an interpretivist paradigm. Investigating decision making is challenging because of the tacit and multifaceted nature of the process. This is better considered by analysing a small piece of practice than attempting a large-scale exploration of practice, before then opening up the analysis to understand core issues about wider practice.11 This principle was applied in the design of the study by focusing on the practice of an individual doctor in specific circumstances before exploring the wider consequences. This methodology was original in this area and was designed to focus people’s minds on a specific piece of practice to engage with the topic.


인터뷰는 디지털로 기록되고 기록되었다. 분석은 Charmaz의 접근에 기초한 데이터 수집과 얽힌 반복적인 방식으로 이루어지는 구성주의 기반 이론 접근법과 일관되었다.12 공개 코딩은 라인별로 수행되었고, 카테고리가 무엇을 나타내고 무엇을 포함하고 있는지를 메모하여 카테고리 개발에 집중하였다. 저자의 회의(PP, DL, JS)는 아이디어를 공유하고, 성적표와 새로운 아이디어를 보고, '맹점'을 확인함으로써 품질 보증을 제공했다. 또한 주 수사관(PP)이 의학적 교육에 매우 관여하였기 때문에, 데이터에 대한 관여를 통해 이론화가 개발되었는지 확인하는 것도 중요했다. 이론적 충분성에 도달할 때까지 데이터 수집 및 분석은 계속되었다.13 12명의 의사가 인터뷰했다.

  • Interviews were digitally recorded and transcribed. 

  • Analysis was consistent with a constructivist grounded theory approach, taking place in an iterative way, intertwined with data collection based on the approach of Charmaz.12 

  • Open coding was carried out line by line and focused on developing categories, with memos of what the categories represented and contained. 

  • Meetings of the authors (PP, DL and JS) provided quality assurance by sharing ideas, looking at transcripts and emerging ideas, and checking for any ‘blind spots’. 

  • It was also important to make sure theorising was developed through engagement with the data, because the main investigator (PP) was very involved in medical education. 

  • Data collection and analysis continued until theoretical sufficiency was reached.13 

  • Twelve doctors were interviewed:


결과

RESULTS


'실용적 지혜'의 개발을 형성하는 요소들을 하나의 모델로 개념화하였다(그림 1): 수련자의 특징('내적 영향')은 수련자가 일하는 문화와 학습환경('외적 영향')에 영향을 받았으며, 궁극적으로는 '경험 쌓기'를 통해 발전하였다.

The factors shaping the development of ‘practical wisdom’ were conceptualised diagrammatically into a model (Fig. 1): features of the trainees (‘internal influences’) were impacted upon by the culture and learning environment in which the trainees worked (‘external influences’) and developed through ‘gaining experience’.



내적 영향

Internal influences


(i) 책임지기

(ii) 회복탄력성과 자존감

(iii) 의사 결정 

(iv) 레토릭 

(v) 공간 만들기 

(vi) 고차원적 사고, 

(vii) 메타 인식 

(viii) 포스트스크립트(그림 1).


(i) taking responsibility; 

(ii) resilience and self-esteem; 

(iii) making decisions; 

(iv) rhetoric; 

(v) creating space; 

(vi) higher thinking; 

(vii) meta- awareness; and 

(viii) post-script (Fig. 1).


    • 수련자는 학습기회를 만들거나 활용함으로써 학습에 대한 책임을 지는 데 관여할 필요가 있었다. 이것은 연습생들에게 자신의 개인적인 훈련 의제agenda가 자신의 직책에 어떻게 들어맞을 것인지에 대해 단호하고 명확해야 했다. 

    • 경험에 대한 긍정적인 접근법을 채택한다는 것은 불확실성을 용인하고 인내할 필요가 있다는 것을 의미했고, 긍정적이고 부정적인 경험으로부터 배울 때 자존감을 유지할 수 있는 능력이 필요했다(회복과 자존감) 

    • 그들은 또한 현실적이든 투사적이든 결정을 내릴 상황에 처할 필요가 있었다. 

    • 그들이 그들의 사고 과정을 설명하고, 합리화하며, 정당화시킬 수 있는 올바른 언어(레토릭)를 발견했을 때, 그들은 감독자들로부터 더 나은 반응을 받았다.

The trainee needed to be involved in taking responsibility for their learning by creating or taking advantage of learning opportunities. This required trainees to be assertive and have clarity in terms of their personal training agenda and how it would fit within their post. To adopt a positive approach to an experience meant they needed to tolerate uncertainty and persevere, necessitating an ability to maintain self-esteem when learning from both positive and negative experiences (resilience and self- esteem). They also needed to put themselves in situations where they would be making decisions, either real or projected. When they found the right language (rhetoric) to explain, rationalise and justify their thought processes they received a better response from supervisors.


    • 종종 단지 몇 분이라도, 시간이 필요했고, 더 명확한 생각이나 숙고를 위한 공간을 만들고 압력을 줄이는 것을 포함했다. 

    • 이것은 그들이 더 정교하거나 더 높은 수준의 인식을 사용하고 더 복잡한 결정을 할 수 있게 해주었다(고차원적 사고)

    • 자신의 가치와 의사결정이 다른 사람들에게 미치는 영향을 인식함으로써 환자 중심의 의사결정을 위한 더 큰 기회를 얻을 수 있었다(메타인지)

    • 동료, 노인, 환자, 가족과 어려운 사례를 통해 이야기를 나누는 것은 폐쇄에 도달하고 계속 나아가는 데 도움이 되었다(post-script).

Time, often just minutes, involved creating space for clearer thinking or deliberation and reduced pressure. This allowed them to use more sophisticated or higher levels of cognition (higher thinking) and make more complex decisions. Being aware of their own values and the impact their decision making had on others, allowed for greater opportunity for patient-centred decision making (meta-awareness). Talking through difficult cases with peers, seniors, patients and families helped reach closure and move on (post-script).


내부적인 영향은 각각의 학습 만남에서 자신에 대한 신념을 형성했고, 또한 그러한 사건을 긍정적이든 부정적이든 간에 어떻게 프레임할지도 형성했다. 놀랄 것도 없이, 경험은 의사마다 서로 다른 영향을 끼쳤다.

The internal influences shaped the trainees’ beliefs about themselves within each learning encounter and how they framed those events either positively or negatively. Unsurprisingly, experiences had different impacts for individual doctors.


외부 영향

External influences


(i) 감독 

(ii) 학습 환경, 

(iii) 통제된 자유 

(iv) 임상 대화 

(v) 피드백 

(vi) 역할 모델(그림 1).


(i) supervision; 

(ii) learning environment; 

(iii) controlled freedom; 

(iv) clinical conversations; 

(v) feedback; and 

(vi) role models (Fig.1).


    • 감독관시기적절하고 격려할 때 trainee를 성장시켰고, 조우encounter에 가치를 더했다. 

    • 팀 리더는 팀이 목적을 잃지 않고 학습 환경 내에서 토론, 질문 및 토론을 할 수 있도록 충분한 자신감을 갖춰야 했고, 훈련에 헌신할 필요가 있었다. 

    • 팀원들은 의사 결정 과정에 참여하기 위해 안전함을 느낄 필요가 있었다. 감독관들의 참여 부족은 훈련생들에게 부정적인 반응을 보이는 어떤 위협도 막아줬지만, 또한 발전의 기회도 막버렸다. 

    • 연습생에 대한 자유 조절은 trainer가 환자 요구와 그들 자신의 압력으로 개별 연습생들의 필요를 균형 있게 조정한다는 것을 의미했다. 처음에, trainer는 'hands on'해야 했지만, 계속 그렇게 하면 trainee 발달을 막을 수도 있었다

Supervision, when timely and encouraging, stretched the trainee and added value to the encounter. Team leaders needed to have enough self- confidence and commitment to training to allow debate, questioning and discussion within the learning environment without the teams losing purpose. Team members needed to feel safe to take part in the decision-making process. A lack of engagement by supervisors stopped any threat to trainees of a negative response, but also stopped the opportunities for development. Controlled freedom for the trainee meant the trainer balanced the needs of the individual trainee with patient needs and their own pressures. Initially, the trainer needed to be ‘hands on’, but to remain so stifled trainee development.


    • 사례 토론과 같은 임상적 대화는 의사결정의 뒤에 있는 생각을 명확히 하고 토론하는 장을 제공했다. 

    • 종합평가는 형성평가와 대조적으로 발달적 이득을 거의 나타내지 않았다. 그러나 형성적 피드백은 [피드백이 구체적이고 긍정적이며 stretching하지 않은 경우] 학습에 지나치게 informal할 수 있다. 

    • 피드백 외에도, 역할 모델은 연습생들이 자신과 연관될 수 있고 닮기를 열망하는 트레이너를 식별함에 따라 강력한 영향을 미쳤다.

Clinical conversations such as case discussion provided a forum to articulate and discuss thinking behind decisions. Summative assessment presented little developmental benefit, by contrast with formative assessment processes. The formative feedback, however, could be too informal to learn from unless the feedback was specific, affirmative and stretching. In addition to feedback, role models had a powerful influence as trainees identified trainers they could relate to and aspire to be like.


외부적인 영향은 연습생들이 마주치는 learning encounter를 shape했다. learning encounter가 긍정적일지 부정적일지에는 큰 차이가 있었다. 여기에는 주로 trainee가 상호작용하는 능력, 임상환경으로부터 배워내는 능력에 달려 있었으며, 외부적 임상 학습 환경의 교육적 풍토와도 관련되어 있었다. 따라서 연습생들이 얼마나 성공적으로 progress하는가를 결정하는 것은 마주친 외부 환경과 내부 영향의 조합이었다.

The external influences shaped the learning encounters that the trainees faced. There was significant variation in whether these were positive or negative experiences, depending on the ability of the doctor to interact with and get the most out of the clinical setting they found themselves in, combined with the educational climate of the external clinical learning environment. It was therefore the combination of the external environment encountered and the internal influences that determined how successful trainees were at progressing.


'경험 쌓기'

‘Gaining experience’


(i) 일상적인 의사 결정 

(ii) 사례를 장기간 추적하는 것. 

(iii) 복잡한 의사 결정 

(iv) 의사결정에 대한 교육 

(v) 결정적(또는 대표적) 사례 

(vi) 이전 경험의 재활성화 

(vii) 프로토콜로부터의 이탈(그림 1).


(i) routine decision making; 

(ii) following cases through; 

(iii) complex decision making; 

(iv) teaching about decision making; 

(v) critical (or seminal) cases; 

(vi) reactivating prior experiences; and 

(vii) deviating from protocols (Fig. 1).


이 과정은 대부분 시간 연속체를 따랐다. 

    • 다양한 사례를 많이 경험함으로서 일상적인 의사결정을 내리는 것. 이 때 명확한straightforward한 결정을 내려볼 기회가 있으며, 패턴을 인식하고, 즉각적 피드백을 받을 수 있다. 

    • 의사결정의 영향을 확인하기 위해 장기간에 걸쳐 더 복잡한 환자를 지속적으로 관리할 수 있는 사례 추적

    • 복잡한 의사 결정의 일부가 되는 것. 진짜 결정을 내리든, 결정을 내리도록 기대anticipated받든, 안전하게 서포트되는 방식으로 더 어려운 의사 결정을 수행하는 것

    • 의사결정에 대해 연습생들에게 가르치는 것자신의 의사결정을 인식하고 설명해야 한다.

This process largely followed a time continuum: 

    • routine decision making by seeing a large volume of varied cases, with the opportunity to make straightforward decisions, recognise patterns and get immediate feedback; 

    • following cases through, which ensured continuity in managing more complicated patients over a longer period to see the impact of decisions; 

    • being part of complex decision making and taking on more challenging decision making (real or anticipated) in a safe supported way; and 

    • teaching about decision making, where one needs to recognise and explain one’s decision- making rationales to trainees.


실용적인 지혜를 위한 다른 foundation은 훈련 연속체의 일부가 아니었다. 

    • 결정적(대표적) 사례들은 그들의 기억에 새겨졌고 그들의 미래 반응과 결정을 형성했다. 중요한 것은, 많은 사례들을 접함으로써 얻은 사례 간의 유사성 또는 차이를 인식함으로써 이전의 경험을 재기동reactivate하는 것이었다. 

    • 프로토콜에서 벗어난 경우, trainee들은 기존에 사용하던 자명했던 관리 계획을 그대로 실행할 수 없었으며, 특정한 환자 상황을 고려해야 했다. 이 때 의사결정을 안전하게 하기 위해서는, 정보를 공유하여 의사결정을 하고, 위험을 저울질하고, 결정에 편안해야 한다는 것을 의미했다.

Other foundations for practical wisdom were not part of a training continuum: critical (or seminal) cases were etched on their memories and shaped their future responses and decisions. A crucial element was reactivating prior experiences by recognising similarity or differences across cases, gained through encountering many cases. By deviating from protocols, trainees were challenged and prevented from implementing obvious management plans, having to take into account specific patient circumstances. For them to do so safely, meant sharing information to inform decision making, weighing up risks and being comfortable with the decision.


핵심 인에이블러

Key enablers


개인이 경험을 쌓을 때 내부 및 외부 영향을 완화한 두 가지 요소:

Two elements moderated the internal and external influences as individuals gained experience:


1 자기효능감: 특정 상황에서 성공할 수 있는 능력에 대한 개인의 신념.

1 Self-efficacy: an individual’s belief in their ability to succeed in a particular situation.


2 관계적 주체성: 타인과의 관계를 구축하여 타인으로부터 도움을 줄 뿐 아니라 도움을 받을 수 있는 능력(그림 1).

2 Relational agency: the ability to build relationships with others to gain from them as well as helping them (Fig. 1).


더 큰 자기효능감을 가진 훈련생 의사들은 외부 임상 학습 환경(구조)을 이용하여 다른 의사들과의 관계적 주체성을 통해 그들의 성장을 가속화할 수 있었다. 

    • 일부 의사들은 주요 관계를 형성하고, 관계로부터 기회를 인식하고, 그것을 이용할 수 있었다. 

    • 또 어떤 이들은 이러한 상황을 '위협적'으로 인식하고 회피했다. 

그러므로 자기 효율성과 관계적 주체성은 개인이 이용 가능한 기회를 최대한 활용하는 데 크게 책임이 있었다.

Trainee doctors who possessed greater self-efficacy were able to accelerate their progress by taking advantage of the external clinical learning environment (structure), through their relational agency with others. Some doctors were able to form key relationships, recognise the opportunities they presented and take advantage of them. Others avoided these situations because they were perceived as ‘threatening’. Self-efficacy and relational agency were therefore largely responsible for individuals getting the most from the opportunities available.


자기효능감이 높고 관계적 주체성이 높은 수련생 의사가 긍정적인 임상학습 환경을 접하게 되자 학습이 가속되는 듯 했다. '위협'을 인식하는 사람들에게 임상감독관은 tone을 설정하고, 토론을 장려하며, 수습 의사의 결정 뒤에 숨겨진 사고 과정에 대해 이해하는 것이 중요했다. 의사들은 새로운 사람들이 참여하도록 장려되고, 실수를 저지를 수 있고, 다른 사람들에게 질문할 수 있을 때 학습적 구조를 깨닫게 되었다. 반대로 감독관들이 [논쟁을 방해하고, 자신의 생각을 설명하지 않고, 모든 결정을 내려서] 토론과 개발을 억누르는 환경도 있었다.

When a trainee doctor with high self-efficacy and relational agency encountered a positive clinical learning environment, learning appeared to accelerate. For those who perceived ‘threat’, clinical supervisors were important in setting the tone, encouraging discussion and seeking an understanding of the thought processes behind a trainee doctor’s decisions. The doctors found learning structures where newcomers were encouraged to participate, could risk mistakes and question others. There were also environments that stifled discussion and development because supervisors discouraged debate, did not explain their thinking or made all the decisions.


더 큰 자기효능감과 관계적 주체성을 가진 의사들은 '경험의 획득'을 가속화하여 자기자신과 학습 환경 모두에서 더 많은 것을 추출했다. 내부 또는 외부적 영향력이 강하거나 이상적으로 둘 다 있으면 진보를 가속화한다. 반대로, 부정적인 영향은 발달을 늦추거나 반대로 할 수 있다.

Those doctors with greater self-efficacy and relational agency accelerated their ‘gaining of experience’, extracting more from both themselves and their learning environment. Having strong internal or external influences, or ideally both, accelerates progress. Conversely, negative influences could slow down development or reverse it.


고찰

DISCUSSION


본 연구의 독창성은 다음을 기반으로 한다.

The originality of the study is based on:


1 이 방법론은 주제를 탐구하고 실천 내에서 종종 암묵적이거나 암묵적인 것을 드러내는데 사용된다. 여기서는 수습 의사들의 평가와 사례의 논의를 이용한 의사결정 과정에 모델을 사용했고, 스텦의 발달에서 모델을 이용하여, 그들 자신의 사고를 자극하는 데 유용할 수 있다.

1 The methodology used to explore the subject and making overt what is often tacit or implicit within practice. This may be useful in the assessment of trainee doctors and their decision-making processes using discussion of cases, and in the development of staff members, using the model to stimulate their own thinking.


이 네러티브적 접근법은 경험으로부터 현실을 구성하는 수단으로서의 패러다임적 인식paradigmatic cognition과 대조된다;16 두 가지 학습 방식이 중요하며 전문가들은 둘을 연결할 수 있어야 한다.

This narrative approach contrasts with paradigmatic cognition as a means of constructing reality from experience;16 both modes of learning are important and professionals need to be able to connect the two.


자기효능감과 관계적 주체성은 개인이 자신에게 주어진 자원을 사용하고 환경을 최대한 활용할 수 있도록 지원하는 dynamic enabler이다

  • 낮은 자기효능감은, in practice에서 이뤄지는 학습의 성격을 고려할 때, 상황의 회피로 이어질 수 있고 따라서 개발 기회에 영향을 미칠 수 있기 때문에 문제가 있다.17 자기효능감이 낮은 사람들은 어려움에 직면하면 쉽게 노력이 무의미하다고 생각한다. 

  • 자기효능감이 높은 사람들은 장애를 극복할 수 있고, 역경에 탄력적으로 남아 있으며, 대개는 자기 조절적학습자로서, 목표를 향해 자신의 행동을 감시, 지시, 조절함하는 방식으로 학습과 행동을 통제한다.20 

Self-efficacy and relational agency are considered to be dynamic enablers through which individuals use their own resources and are supported to get the most out of their environment. 

  • Given the nature of learning in practice, low self-efficacy is problematic as it can lead to avoidance of situations and therefore impact upon development opportunities.17 People with self-efficacy are easily convinced of the futility of effort in the face of difficulties. 

  • Those with a sense of high self-efficacy view impediments as surmountable, remaining resilient to adversity,18 and are usually self-regulated learners19 taking control of their own learning and behaviours through monitoring, directing and regulating action towards their goals.20 


그 영향을 고려할 때, 자기효능감이 성과와 강하게 관련되어 있다는 것은 의심의 여지가 없다.21 그러나 그것은 고정된 것이 아니며, 시간이 지남에 따라, 또는 개입으로 개선될 수 있다.17

Given its impact, it is unsurprising that self-efficacy is strongly related to performance.21 However, it is not fixed and can be improved over time or with interventions.17


자기효능감이 높아지면 자신의 의지에 따라 더 많이 행동하고 더 많은 것을 성취할 수 있다면, 관계적 주체성은 자신의 환경 내에서 행동할 수 있는 능력에 관한 것이다. 이처럼 훈련생과 훈련 환경 사이의 locus of power는 중요하다.

Although a higher sense of self-efficacy enables someone to act more on their own will and achieve more, relational agency is about the capacity of a person to act within his or her environment. As such, the locus of power between the trainee and training environment is an important one. 


관계적 주체성은 '실무상의 문제를 해석하고, 그러한 해석에 대응하기 위해 자신의 생각과 행동을 다른 사람의 생각과 행동을 일치시킬 수 있는 능력'이다.22 관계적 주체성이란, 다른 사람과의 engagement를 통한 역동적 상호작용으로서, 새로운 관점을 발견하고, 그러한 관점을 자신의 실천에 통합하는 것이다.

Relational agency is ‘the capacity to align one’s thought and actions with those of others in order to interpret problems of practice and to respond to those interpretations’.22 It is a dynamic interaction between engagement with others to discover new perspectives and integrating those perspectives into one’s practice.23


훈련생들은 새로운 환경을 자주 경험한다. 새로운 장소의 일상적인 요소에 익숙해지게 되면 다른 기술의 발전을 늦출 수 있다(그 물건은 어디에 보관하는가?). New placement를 시작하는 것이 중요함을 활용하여, 임상훈련에서 이러한 '비판적으로 강렬한 학습 기간'을 관리하는 데 도움이 될 수 있다.24

Trainees experience new environments frequently. Getting used to the more mundane elements of new placements (where do they keep ...?) might slow down the development of other skills. Recognising the significance of starting new placements can help training settings manage these ‘critically intense learning periods’.24


수습 의사는 복수의 실천공동체 또는 'landscapes of practice'에 속하기 때문에, 임상팀은 신입자를 환영하고 지원하는 환경을 조성해야 한다. 멘토링이나 induction는 팀의 새로운 구성원의 학습 곡선을 줄일 수 있다.26 특정 문제 및 개별 환자에 대한 동기, 가치 및 범주(전문 언어)를 드러낼 수 있는 충분한 깊이의 전문가 간의 토론 기회가 필요하다. 이러한 기회를 통해서 의사들이 관련 정보를 교정하고 특정한 시나리오에서 가장 중요한 것의 균형을 맞출 수 있게 한다.

As trainee doctors are part of multiple communities of practice or ‘landscapes of practice’,25 clinical teams must create an environment that welcomes and supports newcomers. Mentoring or induction can lessen the learning curve of new members of a team.26 Opportunities for discussions between professionals of sufficient depth to reveal motives, values and categories (professional language) regarding particular issues and individual patients27 enable doctors to calibrate relevant information and balance what matters most in particular scenarios.


보다 일상적인 의사결정은 물론 어려운 케이스에 대해서도 논의를 가능하게 하는 정기적인 임상 대화의 중요성이 강조되었다. 수습 의사들의 경우 이러한 대화는 판단을 받는다는 두려움, 신뢰도를 떨어뜨릴 것이라는 두려움, 자신이 능력없어 보일 것이라는 두려움이 없는 조건에서 이뤄져야 한다.30 그렇지 않으면, 수습 의사는 자신을 보호하기 위해 이러한 상황을 피한다.

The importance of regular clinical conversations to enable case discussion has been emphasised, both for more routine decision making and when it is difficult. For trainee doctors, these conversations need to happen without fear of judgement,29 undermining of credibility28 or lowered perceptions of their competence.30 Otherwise, trainee doctors avoid these situations in order to protect themselves.


결과적으로, 구조나 임상 학습 환경이 중요하다. 의사결정에 있어 '경험을 쌓기' 위해서는, 초기 몇 년 동안에는 [즉각적인 피드백]을 통해 많은 경험을 쌓는 것이 도움이 되는 반면, 시간이 지나면later, 환자 관리와 감독 둘 다에 대해서 연속성continuity을 갖는 것이 더 복잡한 의사결정을 개발하는 데 도움이 된다. '통제된 자유'31과 '점진적 독립'은 환자 안전을 고려하여 우선순위를 정할 필요가 있다. 선배의 존재는 숨이 막히지 않는 한 학습에 도움이 된다.

Consequently, the structure or clinical learning environment is important. To ‘gain experience’ in decision making, in the early years of training a volume of experience with instant feedback is helpful, whereas later having continuity of both patient care and supervision helps to develop more complex decision making. ‘Controlled freedom’31 and ‘progressive independence’32 need to be prioritised alongside patient safety. A senior presence is helpful in learning, as long as it does not become stifling.


연습생들의 독립성을 높일 수 있는 피드백과 기회는 일상 작업의 일부가 될 수 있으며, 이 연구의 결과는 그들이 필수적이라는 것을 암시한다. 에라우트는 적절한 자극과 피드백을 제공하면서, 동시에 사람들이 지나치게 overstretched되는 것을 피하는 학습 환경의 중요성을 강조했다. 성장을 위한 도전에는 자극과 스트레칭이 필요하지만, 닿을 수 없는 정도여서는 안 되며, 학습자가 혼자서는 할 수는 없지만 guidance가 있으면 할 수 있는 활동을 포함하는 'ZPD'라는 아이디어와 일치한다.33 비공식적 기회, 시간 및 공간은 동료 지원 및 사례 개발에서 중요하다.

Feedback and opportunities for greater trainee independence can be part of everyday working and the results of this study suggest they are imperative. Eraut14 highlighted the importance of a learning environment that provides appropriate stimulus and feedback but avoids people being overstretched. The level of challenge needs to be stimulating and stretching, but not unachievable, consistent with the idea of learning within the ‘zone of proximal development’, which includes activities that learners cannot do on their own but can with guidance.33 Regarding informal opportunities, time and spaces are important for peer support and case development.



Supervisor에 대한 관심도 중요하다. 교육을 우선시하고, 교육에 필요한 적절한 기술을 갖추어야 한다. Supervision의 특징이 중요하다. 다음이 핵심 특징이다.

  • 다가기기 쉽고 접근하기 쉬운 것

  • 생각을 표현할 수 있는 능력을 갖추는 것

  • 안전과 개방의 환경을 조성하는 것

  • 융통성이 있는 것

Greater attention needs to be given to training supervisors, prioritising the teaching elements of the senior doctor role, to ensure they have the appropriate skills. The nature of supervision is important: 

  • being approachable and accessible, 

  • having the ability to articulate thinking, 

  • being able to create a climate of safety and openness and 

  • being flexible seem to be key traits.


Trainee가 성장함에 따라, Supervision의 역할은 Coaching의 역할로 전환하고, Trainee가 스스로를 개발하도록 서포트하는 것이 필요하다. 

Developing the role of supervision into more of a coaching role, supporting trainee doctors to develop themselves, is likely to be crucial as training evolves. 


리드는 'co-configuration'의 중요성을 고려하는데, 여기서 트레이너는 co-configuration의 agent로 활동하며, 

  • 커리큘럼을 해석하는 데 있어 전문성을 개발하고, 

  • 학습자가 전문가 지식과 지원에 접근하기 위해 필요한 관계를 파악하고, 

  • 학습자의 필요에 따라 학습을 조정한다.34

Reid considers the importance of ‘co-configuration’, where trainers act as agents of co-configuration, 

  • developing expertise in interpreting the curriculum, 

  • brokering the relationships learners need to access specialist knowledge and support, and 

  • tailoring learning to the needs of the learner.34


개별 의사의 목표와 임상 학습 환경의 목표를 동일하게 일치시키는 것은 매우 중요하다. 이는 예를 들어, 평가 프로세스를 바람직한 교육과정과 일치하도록 만드는 것이며, 이 때 임상 환경을 반영하고, 이것이 궁극적으로 개별 의사의 열망과 일치해야 한다.

Aligning the individual doctor and the clinical learning environment with the same goals is of crucial importance. This means, for example, having assessment processes consistent with the desired curriculum, reflected in the clinical setting, which in turn fits with the aspirations of the individual doctor.



결론

CONCLUSIONS


이 모델에서는 lived experience를 해체함으로써, 트레이너와 연습생들은 통찰력을 얻고 그들의 영향권 내에서 인식된 약점을 다루기 위한 행동 계획을 세울 수 있다.

From deconstructing the lived experiences against the model, trainers and trainees may gain insights and form action plans to address the perceived weaknesses within their sphere of influence.


둘 사이의 인터페이스와 둘 모두에 주의를 기울이는 것은 매우 중요하다. 훈련생 의사들이 그들 자신의 자기효능감과 관계적 주체성 때문에 그것을 이용할 수 없다면 세계에서 가장 좋은 학습 환경조차 비효율적일 것이다.

Paying attention to both and the interface between the two is crucially important. The best learning environment in the world will be ineffective if trainee doctors cannot take advantage of it because of their own self-efficacy and relational agency.





 2019 Feb;53(2):165-174. doi: 10.1111/medu.13767. Epub 2018 Nov 25.

Complex decision making in medical trainingkey internal and external influences in developingpractical wisdom.

Author information

1
School of Medical Education, Newcastle University, Newcastle upon Tyne, UK.
2
Palliative Care, Northumbria Healthcare NHS Foundation Trust, North Shields, UK.
3
School of Education, Communication and Language Sciences, Newcastle University, Newcastle upon Tyne, UK.

Abstract

CONTEXT:

Good judgement and the ability to make complex decisions are key attributes of a skilled professional. There has been limited study of doctors and their decision making, particularly in relation to making complex decisions. The study aims were to understand how trainee doctors develop practical wisdom through investigating their approach to difficult decision making, understanding the influences on the development of practical wisdom, and identifying potential interventions that may help develop this further.

METHODS:

Constructing an understanding of the process of developing practical wisdom was analysed within a social constructivist frame. The study investigated trainee doctors at different stages of their careers. Qualitative semi-structured interviews were used to explore the approaches doctors take to difficult decision making, as well as the key training influences in learning these skills. Constant comparative analysis was carried out within a grounded theory approach.

RESULTS:

Key elements emerged from the data regarding the doctors themselves and the environments they worked in that assisted in developing decision making. This led to the construction of a conceptual model setting out the development of practical wisdom among trainee doctors. The model describes a process of gaining experience in decision making, moderated by key external and internal influences. The important roles of self-efficacy and agency (relational) are highlighted as key enablers of the process.

DISCUSSION:

The implications of this model are considered in relation to postgraduate training of doctors. The importance of training doctors to be self-regulated learners in learning environments that support their development is highlighted. Aspects of the clinical learning environment (structure) such as rotation structures, the culture, supervision and feedback can all be enhanced. Self-efficacy and relational agency, alongside other internal influences, are key factors in accelerating development of practical wisdom. Other studies have shown that these factors can be improved with targeted interventions.

PMID:
 
30474254
 
DOI:
 
10.1111/medu.13767


지역사회기반의학교육: 성공이 유의미한 개인적 학습경험 때문인가? (Educ Health (Abingdon), 2014 )

Community-based Medical Education: Is Success a Result of Meaningful Personal Learning Experiences?

Len Kelly1, Lucie Walters2, David Rosenthal3

1Professor, Division of Clinical Sciences, Northern Ontario School of Medicine, Sioux Lookout, ON, Canada, 2Associate Professor, Academic Director,

3Senior Lecturer and Assessment Coordinator, Flinders University Rural Clinical School, Adelaide, South Australia




배경

Background


커뮤니티 기반 의학교육

Community-based medical education


지역사회 기반 의료 교육(CBME)은 학습자의 임상 훈련을 지역사회 환경에 배치하는 의료 교육을 말한다. 그것은 학생들을 가족, 사회, 지역사회에서 질병을 관리하고 있는 환자들에게 노출시킨다.[1-4]

Community-based medical education (CBME) refers to medical education, which situates the learner’s clinical training in a community setting. It exposes students to patients who are managing their illnesses within their own family, social and community contexts.[1-4]


본질적으로, 배움은 지역사회에서 일어난다.[3] 이러한 프로그램에는 일반적으로 학생이 환자를 따라 사무실에서 병원으로, 그리고 지역사회 기반 홈케어를 위해 집으로 돌아오는 과정을 따라간다.[5]

Essentially, learning occurs in the community.[3] Such programs typically include having the student follow the patient from office setting into hospital care and back home to community-based homecare.[5]


LIC 임상실습

Longitudinal integrated clinical clerkships


CBME의 최근 예 중 하나는 LIC이다. 1년간 진행되는 이러한 임상실습은 1990년대 후반에 호주에서 개척되었다.[3,5,6] 학생들은 강력한 의사소통 기술과 뛰어난 임상 추론 및 관리 기술을 습득하고 이후 1차 진료 및 시골지역 훈련 프로그램에 더 많이 적용될 가능성이 있다.[7]

One of the recent examples of CBME are longitudinal integrated clerkships (LICs). These year-long clinical placements were pioneered in Australia in the late 1990s.[3,5,6] Students gain strong communication skills and excellent clinical reasoning and management skills and are more likely to subsequently apply to primary care and rural training programs.[7]


핵심 요소: 학습을 위한 진정한 프로페셔널 맥락 및 사회 공동체 맥락. 

key elements : An authentic professional and social community context for learning. 


기존 학습이론

Existing learning theories


학습자가 의학 교육에 참여함에 따라 그들은 변한다. 배움은 감정적이기도 하고 사회적으로 내재되기도 한다.[8] 단순한 지식 습득 과정이 아니라 사회화 과정이다.[9] 임상 로테이션에 들어가 환자를 보는 임상 선생님들과 함께 정기적으로 일하면, 학생들이 의학의 하위문화subculture와 지역사회의 문화에 심취하게 됨으로써 학습이 촉진된다.

As learners participate in medical education they change. Learning is both emotional and socially embedded.[8] It is not merely a knowledge acquisition process, but also a socialization process.[9] Upon entering clinical rotations and working regularly alongside clinical teachers seeing patients, learning is facilitated by the students becoming embedded in the subculture of medical practice and the culture of the local community.


현존하는 두 가지 학습 이론은 우리의 토론과 관련이 있다. Kolb의 경험적 학습이론과 Lave and Wenger의 상황학습이론

Two existing learning theories are relevant to our discussion. Kolb’s Experiential Learning Theory and Lave and Wenger’s Situated Learning Theory


상황학습이론은 학습이란 [현실 세계에 'situated' 문제 해결에 관여함으로써 얻어지는 부산물]이고, 이 과정은 사회적 상호작용과 협력으로 강화된다고 말한다.[9] 이 견습 학습 모델은 학생들이 의학을 '하는do' 것이 아니며, 의사가 '되는be' 과정에서 preceptor와 멘토의 가치와 태도를 어떻게 습득하는지를 설명할 수 있다.

Situated Learning Theory suggests that learning is a by-product of engaging in problem solving ’situated’ in a real world environment, enhanced by social interaction and collaboration.[9] This apprenticeship learning model may explain how students adopt values and attitudes of their clinician preceptors and mentors as they seek to ‘be’ doctors rather than to ‘do’ medicine.


지역사회, 의사와의 관계, 점진적 책임

Community, relationships with clinicians and graded responsibility


학습자와 임상 감독자 사이의 긴밀한 업무 관계가 시간에 따라 견습생 관계apprenticeship relationship의 성숙을 가능하게 한다.

The close working relationships between learners and their clinical supervisors over time allows for the maturation of an apprenticeship relationship.[10]


임상 로테이션이 단기간동안 이루어질 경우, preceptor에 의해서 학생들은 shared enthusiasm과 social inclusion을 낳게 된다. 이에 비해 확장된 CBME 프로그램에서 학생들은 "sense of companionship"을 개발한다.[11] 3차 병원 환경보다 긴밀하게 협력하는 의료인력이 더 적기 때문에, 학생과 preceptor 사이의 개인적인 관계는 더 빨리 성숙할 수 있으며, 또한 working relationship도 대부분의 삼차병원보다 더 일관성이 있다.

While short term placements result in shared enthusiasm and social inclusion of students by preceptors, students in extended CBME programs describe developing a “sense of companionship”.[11] a personal relationship between student and preceptor, can mature more rapidly where there are fewer health professionals working closely together and working relationships are more consistent than in most tertiary hospital settings.


이와는 대조적으로, 3차 교육병원 에서 학생들은 팀이 아닌 'negotiated knotworks'으로 알려진 건강 전문가들의 모임들이 빠르게 바뀌는 것을 경험할 위험이 있다.[12] 역동적이고 비인간화된 이 맥락은 학생들이 스스로 비인간화를 경험하는 위험에 놓이게 한다.[13]

By contrast, in tertiary care medical education center, students risk experiencing rapidly changing collections of health professionals known as ‘negotiated knotworks’ rather than teams.[12] This dynamic, depersonalized context risks students experiencing depersonalization themselves.[13]


전문적·사회적 경계가 덜 배타적인 농촌에서는 학생의 소속감이 높아진다.[11] 이러한 관계는 더 긴 배치에서 강화되며,[15] 커뮤니티에서 LIC가 3차 진료 환경에서 성공하는 것을 설명할 수 있다.[7] 로테이션의 길이, 임상 및 교수팀의 연속성, 호의적 전문적 환경이 이 학습 환경의 핵심 요소들이다.

The student’s sense of belonging is enhanced in rural areas where professional and social boundaries are less exclusive.[11] These relationships are enhanced on longer placements,[15] which may explain the success of LICs in community versus tertiary care settings.[7] Length of rotation, continuity of the clinical and teaching team and a welcoming professional environment are key components in this learning environment.


지역사회, 환자와의 관계, 전문적 발달

Community, relationships with patients and professional development


학생들은 미래의 잠재적 의료 구성원으로 인정받으며, 그 도시에 온 것을 환영받는다.[11] 환자들은 대부분 학생을 자신의 care에 참여시키는 것을 기꺼이 받아들이고 있다.[17,18] 1차 진료의 맥락 안에서 학생들은 일반의사가 상담에 참여하기 전에 스스로 환자를 볼 수 있는 기회를 얻을 수 있다.

Students are recognized as potential future workforce members and are welcomed into the town.[11] Patients are mostly very accepting of having a student involved in their care.[17,18] Within the primary care context, students can be given the opportunity to see patients on their own before the general practitioner joins the consultation.


CBME 학생들은 그들의 삶의 맥락 안에서 사람들에게 치료의 제공에 대한 통찰력을 얻는 반면, 3차 병원의 학생들은 맥락이 소거된 기술로서 의학을 이해하게 될 위험이 있다.

CBME students gain insight into the provision of care to people within the context of their lives, while students in the tertiary hospital setting risk understanding medicine as a context-void skill.


CBME 배치에서는 의료 서비스를 개인의 건강 상태에 대한 전체적인 그림의 일부로 보고, 건강의 사회적 결정요소가 환자 결과에 어떻게 영향을 미치는지 인식하게 된다[그림 1].

CBME placements see medical care as a part of the holistic picture of a person’s health status and come to recognize how the social determinants of health impact on patient outcomes [Figure 1].




Conclusion








 2014 Jan-Apr;27(1):47-50. doi: 10.4103/1357-6283.134311.

Community-based medical education: is success a result of meaningful personal learningexperiences?

Author information

1
Professor, Division of Clinical Sciences, Northern Ontario School of Medicine, Sioux Lookout, ON, Canada.

Abstract

BACKGROUND:

Community-based medical education (CBME) is the delivery of medical education in a specific social context. Learners become a part of social and medical communities where their learning occurs. Longitudinal integrated clerkships (LICs) are year-long community-based placements where the curriculum and clinical experience is typically delivered by primary care physicians. These programs have proven to be robust learning environments, where learners develop strong communication skills and excellent clinical reasoning. To date, no learning model has been offered to describe CBME.

METHODS:

The characteristics of CBME are explored by the authors who suggest that the social and professional context provided in small communities enhances medical education. The authors postulate that meaningfulness is engendered by the authentic context, which develops over time. These relationships with preceptors, patients and the community provide meaningfulness, which in turn enhances learning.

RESULTS AND DISCUSSION:

The authors develop a novel learning model. They propose that the context-rich environment of CBME allows for meaningful relationships and experiences for students and that such meaningfulness enhances learning.

PMID:
 
24934943
 
DOI:
 
10.4103/1357-6283.134311


의학/보건의료인 교육에서 TBL 활동 보고 가이드라인(Acad Med, 2012)

Perspective: Guidelines for Reporting Team-Based Learning Activities in the Medical and Health Sciences Education Literature

Paul Haidet, MD, MPH, Ruth E. Levine, MD, Dean X. Parmelee, MD, Sheila Crow, PhD,

Frances Kennedy, PhD, P. Adam Kelly, PhD, MBA, Linda Perkowski, PhD,

Larry Michaelsen, PhD, and Boyd F. Richards, PhD



TBL은 1970년대 후반에 급속히 증가하는 학생수로 인해, 교실당 100명 이상의 학생들이 입학하게 되는 비즈니스 교육에서 문제 해결과 개념 응용 프로그램에 초점을 맞추는 수단으로 개발되었다.

TBL was developed in the late 1970s as a means of maintaining a focus on problemsolving and concept applications in business education, where rapidly rising enrollments resulted in more than 100 students per classroom.


1999년 이후 TBL은 "건강과 질병의 문제를 해결하기 위해 원칙과 기술을 현명하게 사용할 수 있는 [학습자의] 능력을 개발"하는 교육 전략을 요구하는 LCME의 입장에 부합하였기 때문에 보건의료계의 관심을 끌었다. 또한 리더십, 커뮤니케이션 및 팀워크 기술을 배양해야 한다는 요구에도 부합했다.2 또한, 교육과정 리더들은 TBL이 다른 소규모 그룹 교육 방법보다 더 적은 수의 교수진을 필요로 하기 한다는 점에서, 교수진의 시간이 지속적으로 감소하는 것을 고려할 때, TBL이 매력적이라고 생각한다.3

Since 1999, TBL has attracted interest in the health sciences because it is consistent with Liaison Committee on Medical Education accreditation standards that call for teaching strategies that “develop [learners’] ability to use principles and skills wisely in solving problems of health and disease”1 and because it helps address a growing need to cultivate learners’ leadership, communication, and teamwork skills.2 In addition, given ongoing erosion of faculty time for teaching, curriculum leaders find TBL attractive because it requires fewer faculty than other small-group instructional methods.3


점점 더 많은 수의 의과대학들이 TBL을 임상 전 및 임상 교육과정에 어떤 식으로든 채택하고 있다.5,6 2011년 11월 현재 MedEdPORTAL 온라인 커리큘럼 리소스는 다양한 기본 및 임상 과학에 걸친 40개 이상의 TBL 모듈과 자료가 올라와있다.

A growing number of medical schools are adopting TBL in some fashion in their preclinical and clinical curricula.5,6 As of November 2011, the MedEdPORTAL online curriculum resource offered more than 40 peer- reviewed TBL modules and materials spanning a variety of basic and clinical sciences.7


TBL은 다양한 조합과 순서가 있으며, 구현가능한 범위도 단일 세션부터 전체 과정까지 다양하다.38 이러한 가변성 때문에 TBL에 대한 발표된 논문을 이해, 비평, 복제 또는 비교하기가 어려울 수 있다.

TBL occurs in a variety of combinations and permutations; possible implementations range from single sessions3,37 to entire courses.38 Because of this variability, it may be difficult to understand, critique, replicate, or compare published reports about TBL


TBL의 구조

The Structure of TBL


TBL은 [실세계 시나리오에 담긴 내용의 유의미한 적용]을 강조하면서, 기초적 사실 습득 이상을 추구하고 있다. 여기에는 일반적으로 [복잡한 추론, 토론 및 "건설적 논쟁"]을 촉진하기 위해 특별히 준비된 문제에 대한 그룹 내 및 그룹 간 논의가 포함된다.

TBL moves beyond basic acquisition of facts to emphasize meaningful application of session or course content in real-world scenarios. This typically involves intra- and intergroup discussions of problems that are specifically prepared to foster complex reasoning, debate, and “constructive controversy.”48


권고안 개발

Developing the Recommendations



우리는 TBL에 대한 문헌 검색 결과와 자체 경험을 활용하여 12개 기사 각각에 대해 다음과 같은 질문을 함으로써 이러한 논의를 풍부하게 했다.

We used the results of our literature search and our own experiences with TBL to enrich these discussions by asking the following questions about each of the 12 articles:


  •   보고된 교수법을 TBL이라고 부를 수 있는가?

  •   그렇지 않다면 누락된 TBL 요소는?

  •   TBL이라고 부를 수 있다면, 어떤 요소가 특정 방법을 TBL로 정의하는 데 가장 중요한가?

  •   Can the teaching method described in the article accurately be called TBL?

  •   If not, which TBL elements are missing fromthe teaching method as described?

  •   If it can accurately be called TBL, which TBL elements as described are most instrumental in defining the teaching method as TBL?


TBL의 7가지 핵심 요소: 팀 구성, 준비 상태 보증(RA), 즉각적인 피드백, 동급 문제 해결 순서, "4 S", 인센티브 구조 및 안전 점검.

the seven core elements of TBL: 

  • team formation, 

  • readiness assurance (RA), 

  • immediate feedback, 

  • sequencing of in-class problem solving, 

  • the “four Ss,” 

  • incentive structure, and 

  • peer review.


우리의 개념 모델은 핵심 요소의 특성이 학습자 참여의 매개 변수를 통해 학습 성과와 간접적으로 연계된다고 가정한다. 이 모델은 

  • 텐츠에 대한 참여(예: 노출/사고/학습, 주제 적용)와 

  • 료와의 참여(예: 팀 내 상호작용의 효과)

...의 두 가지 유형의 상호 관련 학습자 참여를 가정한다.

This conceptual model (Figure 1) assumes that the characteristics of the employed core elements are indirectly linked to learning outcomes through the mediating factor of learner engagement. This model assumes two types of interrelated learner engagement: engagement with content (e.g., depth of exposure/thought/ learning, application of the subject matter) and engagement with peers (e.g., effectiveness of interactions within teams).


9명의 저자는 모두 58개 조항의 최종 목록을 검토하여 새 조항이 가이드라인을 변경해야 하는 문제를 제기했는지 여부를 평가하였다. (최종 기사 목록은 보충 디지털 부록 1 참조)

All nine authors reviewed the final list of 58 articles to evaluate whether the new articles raised issues that would necessitate a change in the guidelines. (For the final list of articles, see Supplemental Digital Appendix 1, http://links.lww.com/ACADMED/A72.)




TBL 보고 가이드라인

Guidelines for Reporting TBL Implementations in the Medical and Health Sciences Education Literature


우리는 

  • (1) TBL 구현의 일반적인 맥락과 범위를 기술하는 것

  • (2) 7가지 핵심 TBL 요소와 관련된 설계 결정을 기술하는 것

...의 두 개의 전체 섹션으로 지침을 정리했다. 우리는 저자들이 TBL 구현 결과를 보고하는 논문의 "방법" 또는 "교육과정 개발" 섹션에 이 지침을 사용할 수 있을 것으로 예상한다.


We have organized guidelines into two overall sections related to describing 

  • (1) the general context and scope of the TBL implementation and 

  • (2) the design decisions related to the seven core TBL elements. 

We anticipate that authors could use these guidelines to shape “method” or “curriculum development”50 sections of articles reporting results of TBL implementations.




TBL의 7가지 핵심 요소별 설계 결정 설명

Describe the design decisions specific to the seven core elements of TBL


TBL 구현의 맥락과 범위에 대한 설명에는 다음 항목에 대한 정보가 포함되어야 한다.

Descriptions of a TBL implementation’s context and scope should contain information about the following items:


  •   팀당 전체 클래스 크기 및 학습자 수

  •   관련 교직원의 수 및 전공(예: TBL에 대한 이전 경험)

  •   과목(TBL을 사용한 전체 과정 또는 세션 중 하나)

  •   구현 상황(예: 단일 세션, 과정 내 일련의 세션, 전체 과정)

  •   구현 전 TBL에 대한 학습자의 친숙성 추정

  •   Overall class size and number of learners per team

  •   Number and background (e.g., prior experience with TBL) of faculty involved

  •   Subject (either of the overall course or of the sessions that used TBL)
  •   Context of the implementation (e.g., single session, series of sessions in a course, entire course)

  •   Estimate of learners’ familiarity with TBL prior to the implementation



TBL 구현의 일반적인 컨텍스트 및 범위 설명

Describe the general context and scope of the TBL implementation



표 1은 7가지 핵심 요소에 대한 개요를 보여준다.

Table 1 presents an overview of the seven core elements,



7가지 핵심 요소에 대한 설명은 구현과 관련된 설계 결정의 내용, 시기, 시기, 방법 및 이유에 초점을 맞출 때 가장 유익할 것이다.

Descriptions of the seven core elements will be most informative when they focus on the what, when, who, how, and why of the design decisions related to the implementation.



팀 구성

Team formation.


TBL에서는 팀 간에 자원이 균등하게 배분되어야 한다. 학습자가 자신의 팀을 구성하도록 허용된 경우, 그러한 동등한 분포는 일반적으로 발생하지 않는다.

The TBL method calls for resources to be distributed equally across teams. Such equal distribution does not typically occur when learners are allowed to formtheir own teams,



프로세스

Processes

    •   팀이 자체 구성 또는 강사에 의해 구성되었는지 여부

    •   학습자에게 분류 프로세스가 투명했는지 여부

    •   Whether teams were self-formed or formed by the instructor

    •   Whether the sorting process was transparent to learners

요인

Factors

    •   코스 또는 세션 내용에 대한 사전 지식 및 학습자의 배경

    •   학습자의 전반적인 경험 수준(예: 3학년 의대생, 거주자)

    •   팀 구성 프로세스에 사용된 이러한 요인 또는 기타 요인에 대한 논리적 근거

    •   선택된 요소들이 팀 간에 균등하게 분포되었는지에 대한 추정치

    •   Learners’ background with and prior knowledge of course or session content

    •   Learners’ overall experience level (e.g., third-year medical students, residents)

    •   Rationales for these or other factors used in the team formation process

    •   Estimate of the success with which the selected factors were equally distributed among teams


준비도 확인

Readiness assurance.


RA 프로세스와 자료에 대한 적절한 설명은 학습자의 습득, 보존 및 지식 전달에서 관찰된 변화를 평가하는 데 도움이 될 것이다.

Adequate description of RA processes and materials will therefore help the reader evaluate observed changes in learners’ acquisition, retention, and transfer of knowledge.


구조

Structure

    •   사용된 일반 RA 프로세스에 대한 설명

    •   개별 학습자 및/또는 팀의 참여(예: 개별 RA 테스트 [RAT], 그룹 RAT)

    •   RA 프로세스 중에 책, 노트 또는 기타 자료의 사용 허용 여부 및 방법

    •   팀이 등급 결정에 이의를 제기할 수 있는지 여부 및 이를 위한 프로세스

    •   Description of the general RA process employed

    •   Involvement of individual learners and/ or teams (e.g., individual RA tests [RATs], group RATs)
    •   Whether and how use of books, notes, or other materials was permitted during the RA process

    •   Whether teams could appeal grading decisions, and the process for doing so


내용

Content

    •   RA 프로세스 중에 포함되는 콘텐츠의 양과 수준

    •   가능한 경우, 콘텐츠의 예

    •   The amount and level of content covered during the RA process

    •   Examples of content, where possible


즉각적 피드백

Immediate feedback.


RAT와 일반적인 퀴즈 간의 주요 차이점 중 하나는 성과에 대한 즉각적인 피드백이 개인과 팀 모두에게 제공되도록 하는 프로세스가 존재한다는 것이다.

One of the main differences between RATs and typical quizzes is the presence of a process to ensure that immediate feedback about performance is provided both to individuals and to teams.


따라서 즉각적인 피드백에 대한 다음 세부 사항은 중요하다.

The following details about immediate feedback are therefore important

    •   즉각적인 피드백이 제공되었는지 여부
    •   즉각적인 피드백을 제공하는 RA 프로세스(즉, 개별, 그룹)의 부분
    •   즉각적인 피드백을 제공하기 위해 사용되는 절차
    •   Whether immediate feedback was provided

    •   The portions of the RA process (i.e., individual, group) for which immediate feedback was given

    •   The procedures used to provide immediate feedback


수업 내 문제해결의 순서 

Sequencing of in-class problem solving.


문제 해결 또는 "응용 프로그램" 활동은 TBL 방법의 핵심이다. 응용 프로그램 활동의 순서는 과정 콘텐츠와 동급생 모두의 학습자 참여에 영향을 미칠 수 있기 때문에 중요하다.

Problem-solving, or “application,” activities represent the heart of the TBL method. The sequencing of application activities is important because it can affect learner engagement with both course content and their peers.

    •   팀 내 / 팀 간 토론의 존재여부와 순서

    •   각 유형의 토론에 할애된 시간의 상대적 비율

    •   수행된 application activities의 활동 수

    •   The presence and sequence of intrateam and interteam discussions

    •   The relative proportion of time devoted to each type of discussion

    •   The number of application activities performed


네 가지 S

The four Ss.


4개의 S는 팀 내 토론과 팀간 토론 모두에서 개념적 깊이를 창출하는 핵심이며, 따라서 학생의 이해, 지식 유지 및 참여와 매우 관련이 있다.

The four Ss are at the heart of creating conceptual depth in both intrateam and interteam discussions and are therefore critically related to student understanding, knowledge retention, and engagement.


    •   4개의 S를 구현한 방법

    •   학습자가 application activities를 수행하는 장소

    •   팀별 솔루션이 전체 클래스에 보고된 방법

    •   응용 프로그램 태스크의 컨텐츠 세부 정보(가능한 경우 대표 응용 프로그램 태스크 사용 가능)

    •   How the four Ss were implemented

    •   The location(s) where learners worked on application activities

    •   How team solutions were reported to the entire class

    •   Details of the application tasks’ content (where possible, make representative application tasks available)


인센티브 구조

Incentive structure.


학습자는 개별 준비, 개방된 팀 커뮤니케이션, 존중하는 의견 불일치 및 고품질 문제 해결과 같은 규범적 행동을 개발하기 위한 인센티브를 요구한다. 따라서 인센티브 구조는 학습 과정의 중요한 구성 요소다.

Learners require incentives to develop normative behaviors such as individual preparation, open team communication, respectful disagreement, and high-quality problemsolving. The incentive structure is therefore a critical component of the learning process.


    •   코스의 채점 절차(또는 성적과 관련이 없는 경우, 다른 인센티브 구조)

    •   인센티브의 성격과 시기

    •   인센티브가 주어지는 대상자(개인 또는 팀)

    •   복수의 인센티브를 사용한 경우 인센티브 가중치

    •   학습자가 인센티브 구조 결정에 영향을 미치는지 여부(예: 등급 가중치에 대해 요청된 클래스 입력)

    •   The grading procedures of the course (or, if grades are not relevant, any alternate incentive structures)

    •   The nature and timing of the incentives

    •   To whom the incentives were directed (individuals or teams)

    •   The weighting of incentives, if multiple incentives were used

    •   Whether learners had any influence in determining the incentive structure (e.g., class input solicited on grade weights)


동료평가

Peer review.


동료평가의 logistics를 관리하고, 학습자에게 의미 있고 정직한 피드백을 제공할 수 있는, 안전한 환경을 제공하기 위해 다양한 방법이 고안되었다.

A number of methods have been devised to manage logistics and provide learners with a safe environment in which they can provide meaningful and honest feedback to their peers.


    •   동료평가를 사용했는지 여부

    •   동료평가 절차의 구조 설명

    •   동료 검토 프로세스 결과에 대한 평가 데이터(예: 학습자 자기 성찰 수준, 행동 변화, 만족도)

    •   Whether peer-review methods were used

    •   Description of the structure of peer- review procedures

    •   Evaluation data regarding peer-review- process outcomes (e.g., levels of learner self-reflection, behavior changes, satisfaction)


현실에서의 가이드라인 적용

The Guidelines in Practice


예를 들어, 우리는 제안된 지침을 사용하여 TBL에 대한 3개의 초기 보고서, 338,51과 1개의 최근 보고서52를 비평했다. 우리의 비평 결과는 표 2에 나타나 있다.

As an example, we used our proposed guidelines to critique three early reports3,38,51 and one recent report52 about TBL. The results of our critique appear in Table 2.



2011년 문헌 검토에서, 우리는 팀 구성 프로세스에 관한 더 자세한 내용을 포함하고 동료 검토 프로세스를 포함하거나 포기하기로 결정한 뒤의 근거를 제공함으로써 많은 기사들이 개선될 수 있다는 점에 주목했다.

In our 2011 review of the literature, we noticed that many articles could be improved by including more detail regarding the teamformation process and by providing the rationale behind decisions to include or forgo a peer- review process.



결론

Conclusion


다른 대학원과 전문학교와 비교했을 때, 의료 및 보건과학 교육은 많은 차원에 따라 높은 수준의 가변성을 가진다. 이러한 차원의 예로는...

  • 과정과 관련된 교수의 수와 전공

  • 코스의 길이 

  • 코스의 성적이 매겨지는지 여부

  • 다양한 수준의 학습자 또는 코스 내용과 관련된 전문 지식이 있는지 여부 

  • 학습자가 코스 제공과 동시에 여러 개의 경쟁적 책임을 갖는지 여부(예: 거주 의사의 환자 관리 책임)

Compared with other graduate and professional schools, medical and health sciences education settings have a high level of variability along a number of dimensions. Examples of these dimensions include 

  • the number and background of faculty involved in a course, 

  • the length of a course, 

  • whether the course is graded, 

  • whether there are multiple levels of learners or of expertise relative to the course content, and 

  • whether learners have multiple competing responsibilities at the same time that the course is delivered (e.g., resident physicians’ patient care responsibilities). 


또한, 의료 및 보건 과학 교육자들은 리더십, 커뮤니케이션, 팀워크와 같은 기본적인 사실적 지식을 뛰어넘는 과정 콘텐츠에 점점 더 많이 통합되고 있다. 이 환경은 전통적으로 비건강 환경에서 사용되었던 교육 방법을 조정하여 혁신의 기회를 제공한다. 그러나 TBL과 같은 새로운 방법의 적응은 구현마다 다를 수 있으므로 특정 교수법의 효과와 결과에 대한 일반적인 결론을 도출하는 것이 어렵다.

In addition, medical and health sciences educators are increasingly incorporating into courses content that goes beyond basic factual knowledge, such as leadership, communication, and teamwork. This environment provides opportunities to innovate by adapting methods of instruction that traditionally have been used in nonhealth settings. However, adaptations of novel methods, such as TBL, may differ across implementations, making it difficult to draw general conclusions about the effect and outcomes of a particular teaching method.


예를 들어, 문제 기반 학습(PBL)의 경우, 불완전한 implementation과 교수들이 "PBL"이라는 용어를 해석하는 방식의 가변성으로 인하여 의학교육 문헌에서 모호성이 생겼으며, 이는 궁극적으로 성공적인 능동 학습 방식으로 판명된 것의 배포를 지연시켰을 수 있다.53

For example, in the case of problem-based learning (PBL), incomplete descriptions of implementations and variability in the way that faculty interpreted the term “PBL” created a degree of ambiguity in the medical education literature that may have slowed the dissemination of what ultimately proved to be a successful active-learning mode of instruction.53


17 Zgheib NK, Simaan JA, Sabra R. Using team- based learning to teach pharmacology to second year medical students improves student performance. Med Teach. 2010;32: 130–135.









 2012 Mar;87(3):292-9. doi: 10.1097/ACM.0b013e318244759e.

PerspectiveGuidelines for reporting team-based learning activities in the medical and healthsciences education literature.

Author information

1
Pennsylvania State University College of Medicine, Hershey, USA. phaidet@hmc.psu.edu

Abstract

Medical and health sciences educators are increasingly employing team-based learning (TBL) in their teaching activities. TBL is a comprehensive strategy for developing and using self-managed learning teams that has created a fertile area for medical educationscholarship. However, because this method can be implemented in a variety of ways, published reports about TBL may be difficult to understand, critique, replicate, or compare unless authors fully describe their interventions.The authors of this article offer a conceptual model and propose a set of guidelines for standardizing the way that the results of TBL implementations are reported and critiqued. They identify and articulate the seven core design elements that underlie the TBL method and relate them to educational principles that maximize student engagement and learning within teams. The guidelines underscore important principles relevant to many forms of small-group learning. The authors suggest that following these guidelines when writing articles about TBL implementations should help standardize descriptive information in the medical and health sciences education literature about the essential aspects of TBL activities and allow authors and reviewers to successfully replicate TBL implementations and draw meaningful conclusions about observed outcomes.

PMID:
 
22373620
 
DOI:
 
10.1097/ACM.0b013e318244759e


중국 의학교육에서 TBL의 효과성에 대한 메타분석 (BMC Med Educ, 2018)

Meta-analysis on the effectiveness of team-based learning on medical education in China

Minjian Chen1*, Chunhui Ni2, Yanhui Hu3, Meilin Wang1, Lu Liu4, Xiaoming Ji1, Haiyan Chu1, Wei Wu5, Chuncheng Lu1, Shouyu Wang1, Shoulin Wang1, Liping Zhao6, Zhong Li7, Huijuan Zhu4, Jianming Wang8, Yankai Xia5 and Xinru Wang5




배경

Background


방법

Methods


연구 설계

Study design


In this study, we planned and conducted meta-analysis following the guidelines of preferred reporting items for systematic review and meta-analysis protocols 2015 statement recommendations [14].


문헌 검색

Literature search


포함 기준

Inclusion criteria


자료 추출과 퀄리티 평가

Data extraction and quality assessment


통계적 풀링과 이질성 평가

Statistical pooling and evaluation of heterogeneity


민감도 분석
Sensitivity analyses


출판편향 평가

Publication bias evaluation



결과

Results


연구 특징과 퀄리티 평가

Study characteristics and quality assessment


The inclusion process of all studies is shown in Fig. 1.


Table 2 shows the methodological quality of the 13 included studies.











자료 통합

Data synthesis


The effectiveness of TBL on medical education was assessed by pooling theoretical examination scores, and the results on the learning attitude and self-directed learning skill are shown in the present study (Fig. 2, Table 3).


We found that TBL significantly increased students’ examination scores when compared with LBL in random-effects model (SMD= 2.46, 95% CI: 1.53–3.40, I2 =98.0%, Pheterogeneity < 0.001) (Fig. 2,Table3).




이질성 평가

Test of heterogeneity


Total methodological quality는 이질성의 원인이 아니다.

We used meta-regression method to explore the sources of heterogeneity. Table 4 shows that the total methodological quality could not explain the source of heterogeneity (P = 0.975).



educational classification이 원인일 수 있다.

Meta-regression analysis further showed that education classification might be a contributing factor of heterogeneity in nonrandomized group (P=0.073) (Table 5).


undergraduate students에서 heterogeneity가 크게 감소한다.

Figure 3 shows that the heterogeneity was dramatically decreased in nonrandomized studies of undergraduate students (5-year program)


TBL은 유의한 시험성적 향상을 가져온다.

we found TBL significantly increased examination scores in random-effects model (Fig. 3) (Table 5).


여학생만으로 구성된 medical college에서 heterogeneity는 없다.

There was no heterogeneity in the pooled analysis of the medical college students of only females (I2 = 9.4%, P heterogeneity = 0.332, Fig. 4, Table 5),













민감도 분석

Sensitivity analyses


When any research was removed from the model, the significant results of TBL effect on the students’ examination scores were unchanged in these models (SMD: 2. 26–2.67, 95% CI: 1.32–3.67, n = 13) (Fig. 5).


All the above results indicated that the findings were robust.




고찰

Discussion


보고서는 학생들이 TBL에 적극적으로 참여할 때 학습이 더 효과적이며, TBL은 미국에서 높은 학생 만족도를 야기한다고 밝히고 있다[33–35]. TBL은 능동적인 학습 교육학 접근법으로서, 교사와 교실의 부족 문제를 해결하기 위하여 학생-교사 비율이 허용된 중국 같은 의학교육에 적합하다[13].

Reports reveals that learning is more effective when students are actively involved in TBL, and TBL results in high student satisfaction in the USA [33–35]. TBL as an active learning pedagogical approach fits for the status of Chinese medical education, such as permission of a large student-teacher ratio to solve the problem of lack of teachers and classrooms [13].


우리는 TBL이 풀링된 분석에서 LBL 교육학에 비해 학생 이론 시험 점수, 학습 태도, 학습 능력을 향상시켰으며, 이론 시험 점수에 대한 TBL의 긍정적인 영향도 부분군 분석과 민감도 분석에서 검증되어 중국에서의 TBL 시행의 중요성을 나타냈다. 특히, TBL과 전통적인 LBL에 대한 이러한 연구 결과는 일본과 미국에서 수행된 연구[36–38]와도 비슷한데, 이는 본 연구에서 TBL의 긍정적 효과가 국가-특이적이진 않을 수 있음을 나타낸다.

We found that TBL improved student theoretical examination scores, learning attitude and learning skill compared to LBL pedagogy in the pooled analysis, and the positive effect of TBL on theoretical examination scores was also verified in sub-grouping analysis and sensitivity analysis, indicating the importance of the implement of TBL in China. Notably, these findings about TBL and traditional LBL were also supported by studies conducted in Japan and the USA [36–38], indicating the positive effectiveness of TBL in the present study may be not country-specific.


  • 중국에서는 undergraduate course(5년 과정)는 이론적이고 실용적인 가르침에 초점을 맞추고 있어서, 이 과정의 학생들은 종종 learning basis를 가지고 있다. 

  • 반면 medical college(3년 과정)은 실용적 가르침에 초점을 맞춘다. 

따라서 학생들의 이론적 시험 점수는 교육 수준과 긍정적으로 관련되는 것으로 나타나(계수 = 2.69, 95% CI:0.16–5.21, P = 0.041(표 4-5), learning basis와 learning objective가 의료 교육에 영향을 미칠 수 있음을 나타낸다.

In China, undergraduate course (5-year program) focuses on theoretical and practical teaching, and its students often have better learning basis, while medical college course (3-year program) focuses on practical teaching. The students’ theoretical examination scores appeared positively related to education levels (meta-regression for all studies, Coefficient = 2.69, 95% CI:0.16– 5.21, P = 0.041) (Fig. 3) (Tables 4-5), indicating the learning basis and learning objective may impact the effect of TBL on medical education.


이질성이 낮은 학부생에 대한 비랜덤화 연구(I2 = 57.5%, Pheterynthia = 0.052), 풀링된 분석(그림 3)에서 TBL이 중국의 undergraduate students에 대한 의학교육에 긍정적인 영향을 미치는 증거를 제공하였다.

in the nonrandomized studies of undergraduate students with lower heterogeneity (I2 = 57.5%, Pheterogeneity = 0.052), significant effect was observed in the pooled analysis (Fig. 3), providing the evidence about the positive effect of TBL on medical education in undergraduate students in China.



한계와 미래 연구

Limitations and future studies


중국에서는 편의상 서로 다른 학년을 비교하는 방식으로 대부분의 교육 연구가 실시되었다. 그러나, 우리는 무작위화되지 않은 이 설계가 그 결과를 손상시킬 수 있다는 것을 주목해야 한다. 이 메타 분석에서, 무작위화가 연구 결과(계수 =-4.28, 95% CI:-7.61–0.95, P =0.021)를 변화시키는 것으로 나타났으며, 무작위화된 연구 설계를 사용하여 교육적 연구 품질을 개선하는 것의 중요성을 강조했다.

In China, most educational studies were conducted based on the comparison of different classes for convenience. However, we should notice that this nonrandomized design may compromise the findings. In this meta-analysis, we observed that the randomization appeared to change the study results (meta-regression for all studies, Coefficient =−4.28, 95% CI:-7.61–0.95, P =0.021), emphasizing the importance of improving the educational study quality by using randomized study design.


LBL은 여전히 중국에서 의학 교육을 이론적으로 가르치는 데 가장 많이 사용되는 교육학이다. 따라서 어떤 새로운 교육학적 접근법의 효과성을 LBL과 참고자료로 비교해야 하는데, 이는 매우 실질적인 의미를 갖는다.

LBL is still the most commonly used pedagogy in theoretical teaching of medical education in China. Therefore, the effectiveness of any new pedagogical approach should be compared with LBL as a reference, which has a great practical significance.


이 연구는 학생 조사에 의한 학습 태도 및 숙련도 측정의 객관성뿐만 아니라 높은 인지 수준을 측정하기 보다는 암기를 테스트할 수 있는 연구들에서 이론적 시험에 여전히 제한되어 있었다.

the study was still limited in theoretical examination in those studies which might test memorization rather than measuring higher cognitive levels as well as the objectivity of measures of learning attitude and skill by student survey.



Conclusions






 2018 Apr 10;18(1):77. doi: 10.1186/s12909-018-1179-1.

Meta-analysis on the effectiveness of team-based learning on medical education in China.

Chen M1Ni C2Hu Y3Wang M4Liu L5Ji X4Chu H4Wu W6Lu C4Wang S4Wang S4Zhao L7Li Z8Zhu H5Wang J9Xia Y6Wang X6.

Author information

1
Department of Occupational Medicine and Environmental Health, School of Public Health, Nanjing Medical University, No. 101 Longmian Road, Nanjing, 211166, China. minjianchen@njmu.edu.cn.
2
Experimental Teaching Center of Preventive Medicine, Nanjing Medical University, Nanjing, 211166, China.
3
Safety Assessment and Research Center for Drug, Pesticide and Veterinary Drug of Jiangsu Province, Nanjing Medical University, Nanjing, 211166, China.
4
Department of Occupational Medicine and Environmental Health, School of Public Health, Nanjing Medical University, No. 101 Longmian Road, Nanjing, 211166, China.
5
Department of Student Affairs, School of Public Health, Nanjing Medical University, Nanjing, 211166, China.
6
Department of Toxicology, School of Public Health, Nanjing Medical University, Nanjing, 211166, China.
7
Office of School of Public Health, Nanjing Medical University, Nanjing, 211166, China.
8
Department of Nutrition and Food Hygiene, School of Public Health, Nanjing Medical University, Nanjing, 211166, China.
9
Department of Epidemiology, School of Public Health, Nanjing Medical University, Nanjing, 211166, China.

Abstract

BACKGROUND:

Team-based learning (TBL) has been adopted as a new medical pedagogical approach in China. However, there are no studies or reviews summarizing the effectiveness of TBL on medical education. This study aims to obtain an overall estimation of the effectiveness of TBL on outcomes of theoretical teaching of medical education in China.

METHODS:

We retrieved the studies from inception through December, 2015. Chinese National Knowledge Infrastructure, Chinese Biomedical Literature Database, Chinese Wanfang Database, Chinese Scientific Journal Database, PubMed, EMBASE and Cochrane Database were searched. The quality of included studies was assessed by the Newcastle-Ottawa scale. Standardized mean difference (SMD) was applied for the estimation of the pooled effects. Heterogeneity assumption was detected by I2 statistics, and was further explored by meta-regression analysis.

RESULTS:

A total of 13 articles including 1545 participants eventually entered into the meta-analysis. The quality scores of these studies ranged from 6 to 10. Altogether, TBL significantly increased students' theoretical examination scores when compared with lecture-based learning (LBL) (SMD = 2.46, 95% CI: 1.53-3.40). Additionally, TBL significantly increased students' learning attitude (SMD = 3.23, 95% CI: 2.27-4.20), and learning skill (SMD = 2.70, 95% CI: 1.33-4.07). The meta-regression results showed that randomization, educationclassification and gender diversity were the factors that caused heterogeneity.

CONCLUSIONS:

TBL in theoretical teaching of medical education seems to be more effective than LBL in improving the knowledge, attitude and skill of students in China, providing evidence for the implement of TBL in medical education in China. The medical schools should implement TBL with the consideration on the practical teaching situations such as students' education level.

KEYWORDS:

China; LBL; Medical educationMeta-analysis; TBL

PMID:
 
29636039
 
PMCID:
 
PMC5894173
 
DOI:
 
10.1186/s12909-018-1179-1


보건의료인 교육에서 TBL이 학습성과에 미치는 영향: BEME Guide No. 30 (Med Teach, 2013)

The effectiveness of team-based learning on learning outcomes in health professions education: BEME Guide No. 30

MIM FATMI, LISA HARTLING, TRACEY HILLIER, SANDRA CAMPBELL & ANNA E. OSWALD

University of Alberta, Edmonton, Canada




도입

Introduction


보건전문직 학생이 증가함에 따라, (능동적인 학습이 향상된 지식 유지와 기술 적용을 초래한다는 믿음으로 인해) 능동적인 학습 전략에 대한 관심이 증가하고 있다(Forsetlund 등). 2009). 전통적인 강의 기반 학습이 학생들에게 정보를 상기시키는 것을 가르치는 데는 성공할 수 있지만, 보건의료인은 비판적으로 생각하고 새로운 상황에 그들의 지식을 적용할 수 있어야 한다(Parmlee & Michaelsen 2010).

With increasing enrolment in health professions programmes, there is a growing interest in active learning strategies due to the belief that active learning results in enhanced knowledge retention and skills application (Forsetlund et al. 2009). While traditional lecture-based learning can be successful in teaching students to recall information, health professions students must also be able to think critically and apply their knowledge in novel situations (Parmelee & Michaelsen 2010).


문제 기반 학습(PBL) 사례 기반 그룹 토론, 워크샵 및 청중 응답 시스템

Problem-based learning (PBL) case-based group discussion, workshops and audience response systems.


이러한 방법들이 학생들의 참여를 증가시키는데 효과적인 것으로 입증되었지만, 그들은 또한 극도로 자원 집약적일 수 있다.

While these methods have proven to be effective in increasing student engagement, they can also be extremely resource-intensive.


팀 기반 학습(TBL)은 능동적 학습과 교수진 교육 시간의 이슈의 균형을 맞추려고 시도한다(Searle et al. 2003).

Team-based learning (TBL) attempts to balance the issues of active learning and faculty teaching time (Searle et al. 2003).


TBL은 래리 마이클슨 박사에 의해 1970년대 비즈니스 커리큘럼에서 개발되었다.

TBL was developed by Dr. Larry Michaelsen in a business curriculum in the 1970s.


Michaelsen은 TBL의 과정을 세 가지 주요 단계로 세분화하여, 

  • (1) 학생에 의한 사전 준비, 

  • (2) 개인 및 그룹 준비도 확인, 

  • (3) 전체 학급과의 토론 및 분석을 포함한 적용(Koles et al. 2010). 


또한

  • 같은 팀의 유지

  • 즉각적인 피드백 

  • 의미 있는 동료 평가 프로세스

...역시 TBL에서 학습자 중심의 교육 전략의 토대가 된다(Michaelsen & Parmelee, 개인 커뮤니케이션, 2011).

Michaelsen refined the process of TBL over the years to characterise it with three main phases: (1) advanced preparation by the students, (2) individual and group readiness assurance and (3) application, including discussion and the The analysis with entire class (Koles et al. 2010). permanence of teams, immediate feedback and a meaningful peer evaluation process are additional cornerstones of this learner-centred educational strategy (Michaelsen & Parmelee, personal communication, 2011).


보건전문직교육에서 TBL의 첫 번째 구현은 2001년 베일러 의과대학에서 보고되었다(Haidet et al. 2002). 그 후 1년이 지나지 않아 미국의 10개 의료기관이 TBL을 시범 운영하였다(Searle et al. 2003).

The first reported implementation of TBL in health professions education was at the Baylor College of Medicine in 2001 (Haidet et al. 2002). Within one year, 10 medical institutions in the United States piloted TBL (Searle et al. 2003).


임상 교육의 몇 가지 구체적인 특징은 보건의료인 교육에만 있는 특징이다. 예를 들어, 보건의료인이 될 학생들은 intense WBL에 준비가 되어있어야 하며, 종종 high stake상황으로, 팀워크와 협력같은 다양한 영역의 역량을 필요로 한다(Amin & Eng 2009). 또한, 임상추론, 환자 기반 교육, 학생-교사-환자 간의 삼각 상호작용과 같은 요소는 다른 교육 분야와는 보건의료인 교육을 구별짓는 부분이다(Amin & Eng 2009).

Some of the specific features of clinical teaching are unique to health professions education. For example, health professions students require preparation for intense workplace-based learning which is often in a high stakes setting that requires attention to multiple domains of competency such as team work and collaboration (Amin & Eng 2009). In addition, elements like clinical reasoning, patient-based teaching and tripartite interaction between students, teachers and patients set health professions education apart from other educational disciplines (Amin & Eng 2009).


연구 문제

Research question


TBL이 건강 전문가 교육에서 학습 성과를 개선하는 데 효과적인가?’’

‘‘Is TBL effective in improving learning outcomes in health professions education?’’


방법

Methods


검색 전략

Search strategy


We identified relevant studies from the electronic databases listed in Table 1. T


The specific terms and search strategies can be found for health-related databases in Table 2 and general databases in Table 3.




스크리닝과 연구 선택

Screening and selection of studies


The titles and abstracts generated from the electronic database searches were collated in a RefWorks reference management database.


방법론적 퀄리티 평가

Assessment of methodological quality


The methodological quality of included studies was evaluated independently by two reviewers (TH and MF) using 

    • the Cochrane Risk of Bias tool for controlled trials (Higgins & Green 2009) and 

    • the Newcastle–Ottawa Scale (NOS) for cohort studies (Wells et al. 2000).


자료 추출
Data extraction


Data were extracted and entered into an electronic data extraction form.


분석

Analysis


Our inclusion criteria allowed for a mixture of qualitative and quantitative studies. The data were synthesized with guidance from methods described by Ogawa and Malen (1991) who have developed a method for synthesis based on the exploratory case study method. Thus, evidence was iteratively synthesised by grouping studies by various constructs including by the population involved and nature of the comparison group, and summarised according to the reported outcomes which were grouped by Kirkpatrick level. The results of this synthesis were then described, categorised and summarised in Table 5.


Evidence tables detailing study characteristics (including population, intervention, comparison, outcomes, design and any modifications to classic TBL) (Table 6), results and authors’ conclusions are provided (Table 7).






결과

Results


그림 1은 연구 선택 과정의 흐름도를 나타낸다. 30030개의 연구가 확인되었고, 14개가 포함되었다(표 6).

Figure 1 presents a flow diagram of the study selection process. Three hundred and thirty studies were identified, and 14 were included (Table 6)






포함 14개 연구 중 12개가 미국에서, 1개는 레바논에서, 1개는 오스트리아에서 각각 실시되었다(위너 외 연구). 2009). 의과 8명, 약국 3명(Letcy et al. 2008; Conway et al. 2010; Zgheib et al. 2010), 치과의학(Pilegi & O'Neill 2008) 및 간호학(Menga 2010)을 포함한 13개의 학부 교육이 관련되었다.

Of the 14 included studies, 12 took place in the United States, 1 in Lebanon (Zgheib et al. 2010) and 1 in Austria (Wiener et al. 2009). Thirteen of the studies concerned undergraduate education, including eight in medicine, three in pharmacy (Letassy et al. 2008; Conway et al. 2010; Zgheib et al. 2010), one in dentistry (Pileggi & O’Neill 2008) and one in nursing (Mennenga 2010).


그 어떤 연구도 skill 향상이나 환자를 위한 개선과 같은 상위 성과를 평가하지 않았다.

None of the studies evaluated Kirkpatrick outcomes such as skills or improvements for patients.




포함된 연구의 방법론적 품질 및 편중 위험

Methodological quality and risk of bias of included studies


품질평가는 다양한 방법론적 단점을 드러내며 이는 표 8과 9의 연구에 의해 보고된다.

Quality assessment reveals various methodological shortcomings and these are reported by study in Tables 8 and 9.


11개의 코호트 연구 중 8개의 경우, 연구대상이 실제로 평균적인 보건의료전문직 학생을 대표했으며, 노출된 코호트와 노출되지 않은 코호트는 모두 동일한 커뮤니티에서 도출했다(Nieder et al. 2005; Levine et al. 2004; Letshy et al. 2008; Pilegi & O'Neill 2008; Conway et al. 2010; Mennenga 2010; Zgheib et al. 2010; Zingone et al. 2010. 한 연구는 다섯 명의 학생이 낙제로 lost되었고, 따라서 남은 코호트는 [대체로는 보건의료전문직 학생군을 대표하지만] 진정으로 대표하지는 않는다고 보았다.

For 8 of the 11 cohort studies, the learners were truly representative of the average health-care professions student, and both exposed and non-exposed cohorts were drawn from the same community (Nieder et al. 2005; Levine et al. 2004; Letassy et al. 2008; Pileggi & O’Neill 2008; Conway et al. 2010; Mennenga 2010; Zgheib et al. 2010; Zingone et al. 2010). One study lost five failing students, leading the reviewers to deem the remaining cohort somewhat, but not truly, representative of the average health professions class.


대부분의 연구는 학습 적합도, 이력 등과 관련하여 노출된 코호트와 노출되지 않은 코호트 사이의 잠재적 교란 요인에 대한 통제를 시도하지 않았다.

The majority of studies did not attempt to control for potential confounders between the exposed and non-exposed cohorts with regard to learning aptitudes, histories, etc.;


모든 연구에서는 수집 및 평가할 성과가 명확했는데, 하나는 지식 점수였고, 다른 하나는 학습자 반응이었다.

All studies had a clear definition of the outcome being assessed and collected the outcome data via record linkage for knowledge scores and via student self-reporting for learner reaction.


포함된 연구의 특징

Characteristics of included studies


표 5는 포함된 모든 연구의 중재, 대조군, 측정 결과 및 주요 결과에 대한 요약을 제공한다.

Table 5 provides a summary of the interventions, comparators, outcomes measured and main findings of all included studies.


TBL 정의와 연구에서 구현된 모델 사이의 사소한 불일치는 표 6에 설명되어 있다.

minor discrepancies between our definition of TBL and the model implemented in the study are described in Table 6.


표 6과 7은 포함된 모든 연구의 결과를 설명한다.

Tables 6 and 7 describe the results of all included studies.






지식

Knowledge


모든 14개의 연구는 TBL 그룹의 지식 기반 학습 성과를 보건 교육 커리큘럼의 non-TBL 그룹과 비교하여 평가했다.

All 14 studies evaluated knowledge-based learning outcomes in a TBL group compared with a non-TBL group in a health education curriculum,


모든 연구는 지식 결과를 보고했으며, 이러한 결과는 TBL이 시행된 학기 또는 과정 내에서 측정되었다. 7개 연구에서는 TBL 그룹의 지식 점수가 non-TBL에 비해 통계적으로 유의미하게 증가했다고 보고하였다(p50.05)

All studies reported knowledge outcomes and these were measured within the semester or course in which TBL was implemented. Seven studies reported a statistically significant increase (p50.05) in knowledge scores for the TBL group compared with a nonTBL group.


4개의 연구는 TBL과 비TBL 그룹의 지식 점수 사이에 통계적으로 유의한 차이가 없다고 보고했다(p40.05).

Four studies reported no statistically significant difference between knowledge scores of the TBL and non-TBL group (p40.05).


비교군

Comparison group


비교대상군을 어떻게 선택하는지는 TBL에서 지식 점수가 높은지 여부에 영향을 미치지 않는 것으로 보였다. 8개의 연구는 TBL을 전통적인 교육 강의와 비교했으며, 이 중 3개는 TBL 그룹의 지식 점수의 상당한 향상을 보고했다(Nieder 등, 2005; Levine 등). 2004; Koles 등 2010).

The choice of comparator did not appear to influence whether knowledge scores favoured TBL or any one alternate teaching method. Eight studies compared TBL to traditional didactic lectures, three of which reported significant improvements in knowledge scores for the TBL group (Nieder et al. 2005; Levine et al. 2004; Koles et al. 2010).


학습자 반응

Learner reaction


최소 1152명의 참가자를 포함한 7개 연구(726명 중 TBL을 받은 사람)는 TBL과 비 TBL 그룹 사이의 제어된 학습자 반응 점수를 보고했다(한 연구에서는 제어 그룹 참여자 수를 보고하지 않았다). 단 하나의 코호트 연구(p50.05)만이 TBL 그룹을 유의하게 선호한다고 보고했다(Levine 등). 2004).

Seven studies, involving at least 1152 participants (726 of whom received TBL), reported controlled learner reaction scores between a TBL and non-TBL group (one study did not report the number of control group participants). Only one (p50.05) cohort study reported a significant difference favouring the TBL group (Levine et al. 2004).


반복적인 TBL 커리큘럼이 시행된 연구는 문헌 검색에서 발견되지 않았으며, 따라서 학생들이 TBL이라는 새로운 학습 전략에 익숙해지면 reaction 점수가 시간에 따라 향상될지 여부는 불확실하다.

Studies in which a recurrent TBL curriculum was implemented were not found in the literature search, and therefore the authors were not able to determine if learner reaction scores might improve over time as students become familiar with this new learning strategy.


고찰

Discussion


여기서 제시된 연구는 TBL 커뮤니티의 설립자 및 리더와 함께 검증한 TBL의 정의를 준수했다.

the studies presented here complied with a definition of TBL that was verified with founders and leaders of the TBL community.


결과는 지식 점수에 대한 긍정적 효과와 중립적 효과를 모두 보여주며, 반면 TBL에 대한 학습자 반응은 엇갈렸다. 이러한 발견들은 TBL의 효과를 시사하는 증거를 찾는 사람들에게 유익하다. TBL이 반드시 더 나은 것은 아니지만, 적어도 전통적인 방법들과 동등한 수준의 지식 목표를 달성한다고 볼 수 있다. 단, TBL을 시행하는 커리큘럼 계획자는 학습자의 잠재적인 부정적 반응을 완화하기 위해 예방 조치를 취할 것을 권고한다.

The results show both positive and neutral effects on knowledge scores, while learner reaction towards TBL was mixed. These findings are beneficial to those who seek evidence suggesting the effectiveness of TBL in achieving the same, if not better, knowledge objectives as more traditional methods. However, curriculum planners who do implement TBL are advised to take precautions to mitigate potentially negative learner reactions to this teaching strategy.


14개의 연구가 분석에 포함되었고, 이 연구의 절반(7개)은 TBL을 선호하는 지식 점수의 통계적으로 유의한 증가(p50.05)를 보고했다.

Fourteen studies were included in the analysis and half (7) of these studies reported a statistically significant increase (p50.05) in knowledge scores favouring TBL


연구 그룹 간 통계적으로 유의한 차이가 없다고 보고된 네 가지 연구(p40.05)는 견고했고 품질 평가에서 높은 점수를 받았다(표 8과 9 참조).

The four studies reporting no statistically significant difference between the study groups (p40.05) were robust and scored high on quality assessment (see Tables 8 and 9).


학습자 반응의 통제된 비교를 보고한 7개 연구 중 단 1개만이 TBL을 선호하는 학습자 반응에서 통계적으로 유의한 차이를 보고했다(Levine 등). 2004), 한 연구는 대조군을 선호했다(Willett et al. 2011).

Of seven studies reporting a controlled comparison of learner reaction, only one reported a statistically significant difference in learner reaction favouring TBL (Levine et al. 2004), while one study favoured the comparator (Willett et al. 2011).


[TBL에서 지식 점수가 유의하게 증가했다는 것]과 [통제된 학습자 만족도 데이터]를 둘 다 보고한 네 개 연구 중 단 한 연구에서만 학습자 반응의 유의한 향상을 보고했다(Levine et al. 2004). 이러한 상충되는 지식과 학습자 만족도 결과는 TBL과 관련된 학습부하 증가(예: 사전 읽기 및 준비 필요)와 TBL에서 요구되는 동료평가에 대한 전문적 문화와 책무성 때문일 수 있다. 우리에서 대학의 근골격계 의학에 관한 임상 전 의과 학생 강좌에서 TBL을 시행한 몇몇 저자들의 최근 경험도 이러한 가설과 비슷하다.

Of the four studies that reported both a significant increase in knowledge scores for TBL and also reported controlled learner satisfaction data, only one study reported a significant increase in learner reaction (Levine et al. 2004). We hypothesise that these conflicting knowledge and learner satisfaction results may be due to the strain of increased workload associated with TBL (e.g. required advanced readings and preparation) and a change in the professional culture towards peer assessment and accountability that TBL introduces. These hypotheses are supported by some of the authors’ (AO and TH) recent experiences of TBL implementation in a preclinical medical student course on musculoskeletal medicine at our home university.


Knowledge outcome에 대한 성과는 대조군의 유형에 관계없이 일관성이 있는 것으로 보였다. 대부분의 비교 집단은 전통적인 강의로 구성되었고, CBGD와 SGL도 TBL에 대한 일반적인 대안 교육 방법이었다.

The results for knowledge outcomes appeared to be consistent regardless of the type of comparator used in the included studies. The majority of comparison groups were comprised of traditional lectures, while CBGD and SGL were also common alternative teaching methods to TBL.


이 검토의 주요 제한사항은 포함된 연구의 방법론적 품질 때문이다. 포함된 연구의 대부분은 코호트 설계였고, 대다수는 non-concurrent한 설계였다. 또한, 이러한 편의 연구의 저자들은 종종 통계적 비교를 허용하기에 충분한 통계 정보나 충분한 데이터를 보고하지 않았다.

The major limitations of this review are due to the methodological quality of the included studies. Most of the included studies were cohort designs, and the majority of them were non-concurrent. Further, the authors of these convenience studies often did not report full statistical information or sufficient data to allow for statistical comparisons.


두 번째 잠재적 제한은 이 검토에 대한 포함 기준의 제약과 관련이 있다. 한 가지 제약조건은 이 검토를 위해 등록된 프로토콜에서 수용된 TBL의 검증된 정의를 완전히 준수하는 연구에 대한 포함을 제한하는 것이었다.

A second potential limitation relates to the constraints of the inclusion criteria for this review. One constraint was restricting inclusion to studies that fully complied with the validated definition of TBL that was accepted in the registered protocol for this review.


TBL에서 강조하고자 하는 학습 전략이 지식의 적용을 강조한다는 점에서, 상위 수준의 application outcome이 보고되지 않았다는 점은 다소 실망스럽다. 우리는 TBL에 대한 미래 연구는 지식 보유와 같은 학문적 성과를 넘어서, 비판적 사고 능력과 같은 비학문적 결과를 똑같이 검토할 것을 권고한다.

This is somewhat disappointing as this learning strategy is meant to emphasise the application of knowledge, and these higher level application outcomes were not reported in the included studies. We recommend that future studies on TBL look at academic outcomes beyond knowledge retention, such as critical thinking abilities, and non-academic outcomes alike as studies of these outcomes were not found through our searches.


TBL이 학생들이 기존의 교육 전략보다 높은 지식 점수를 획득할 수 있도록 한다는 증거의 증가 외에도, 이 검토에서 포착되지 않은 TBL에 대한 다른 잠재적 이득도 존재한다. 여기에는 다음이 있다.

  • 학생들 간 그룹 활동에 대한 새로운 감사appreciation, 

  • 학생들이 스스로 학습에 대한 통제를 해야 한다는 요구, 

  • 다른 소규모 그룹 학습 방법에 비해 교수 시간의 현저한 감소 (Searle et al. 2003; Parmelee & Michaelsen 2010).

In addition to the growing body of evidence suggesting that TBL enables students to achieve knowledge scores as high as, or higher, than traditional teaching strategies, there also exist other potential benefits to TBL not captured in this review. These include 

  • a renewed appreciation for group work amongst students, 

  • a demand that students take control over their learning and 

  • significant reduction in faculty time as compared to many small group learning methods (Searle et al. 2003; Parmelee & Michaelsen 2010).


결론

Conclusions


어떤 연구도 TBL 그룹의 점수의 감소를 보고하지 않았으며, 우리는 이것이 이전에 습득한 지식의 적용을 강조하는 능동적인 학습 전략을 찾고 있는 커리큘럼 계획자들과 소규모 그룹 학습 활동에 대한 교수진의 수가 제한된 사람들에게 안도감을 준다.

no studies reported a decrease in scores in the TBL-group and we feel this is reassuring to curriculum planners who are looking for active learning strategies that emphasise the application of previously acquired knowledge and to those who have limited numbers of faculty for small group learning activities.


TBL에 대한 학습자 반응은 일반적으로 학생들의 지식 점수가 높아졌을 때에도 대조군 그룹보다 높지 않았다. 즉, 성적이 향상되었음에도 불구하고 학생들은 대체 교육 방법보다 TBL을 선호하지 않았다. 이는 학생들의 업무량 및 책임감이 증가했기 때문일 수 있다.

Learner reaction to TBL generally was not higher than the comparator group, even when students’ knowledge scores increased; that is, despite improved performance, students did not prefer TBL to the alternate teaching method. This may be due to the increased student workload and accountability


연구 함의

Implications for Research


(1) TBL에 대한 향후 연구는 특히 비판적 사고 능력 및 지식의 적용과 같이, 지식 보유 이상의 학문적 성과에 초점을 맞출 것을 권고한다. 이러한 결과가 있는 연구는 우리의 검색을 통해 발견되지 않았으며, 이러한 교육 전략의 기초가 되는 원칙에 핵심적이기 때문이다.

(1) We recommend that future research on TBL specifically focus on academic outcomes beyond knowledge retention, such as critical thinking abilities and application of knowledge, as studies with these outcomes were not found through our searches and are core to the principles underlying this teaching strategy.


(2) 보통 반응과 학습은 다른 학습 전략에서 유의한 상관관계를 가진다. 그런데 TBL에서는 학습자 반응이 혼합되어 있고 일반적으로 지식 보유의 명백한 증가와 비교했을 때 학습자 반응이 긍정적이지 않은 이유를 보다 자세히 검토하기 위해 향후 연구를 권고한다.

(2) We recommend future research to examine in more detail why learner reaction is mixed and generally not positive compared to evident increases in knowledge retention, as these two outcomes often have significant correlation in other learning strategies.


(3) TBL에서 철저하고 서술적인 보고를 통해 보다 강력한 1차 연구를 실시할 필요가 있음을 알게 된다. 우리는 이것이 통계적 메타분석이나 완전한 질적 메타합성 작용을 이 분야에서 수행할 수 있기를 바란다.

(3) We find that there is a definite need for more robust primary research to be conducted in TBL with thorough and descriptive reporting. We hope this will allow for statistical meta-analyses or full qualitative metasynthesis to be performed in this field.


(4) 학문적 학습 성과 향상에 관한 TBL의 효과에 대한 예비 증거를 확립한 후, TBL의 특정 요소가 어떻게, 그리고 왜 특정 방법에서 효과적이었는지에 대한 구체적인 연관성을 도출하기 위한 연구를 권고한다.

(4) Having established some preliminary evidence for the effectiveness of TBL on improving academic learning outcomes, we recommend that future research work towards drawing specific associations on how and why particular elements of TBL are effective in the way they are.



CBGD – 사례 기반 그룹 논의는 애플리케이션 문제를 중심으로 소규모 그룹 및 중심으로 이루어진다. 보건 직업 교육에서 약 5-15명의 학습자로 구성된 팀은 실제 임상 사례를 시뮬레이션하는 환자 사례를 연구한다.

CBGD – Case-based group discussion takes place in small groups and centres around application problems. In health professions education, a teamof about 5–15 learners works on a patient case simulating a real-life clinical case.


전통적 강의 – 일부 교육적 프레젠테이션 형식으로 학습자 그룹(규모에 따라 다름)에게 강의하는 강사로 정의됨. 학습자 상호 작용과 그룹 토론은 전통적인 강의에서 보통 미미하다.

Traditional Lecture – Defined as an instructor lecturing to a group of learners (varying in size) in some didactic presentation format. Learner interaction and group discussion is usually minimal in a traditional lecture.







 2013 Dec;35(12):e1608-24. doi: 10.3109/0142159X.2013.849802.

The effectiveness of team-based learning on learning outcomes in health professions educationBEME Guide No. 30.

Author information

1
University of Alberta , Edmonton , Canada.

Abstract

BACKGROUND:

Team-Based Learning (TBL) is a student-centred active learning method, requiring less faculty time than other active learning methods. While TBL may have pedagogical value, individual studies present inconsistent findings. The aim of this systematic review was to assess the effectiveness of TBL on improving learning outcomes in health professions education.

METHODS:

A peer-reviewed systematic review protocol was registered with the Best Evidence in Medical Education (BEME) organization. After comprehensive literature searching, title and full-text review were completed by two independent reviewers. Included studies assessed TBL and a valid comparator in health professions. Included studies were assessed for methodological quality by two independent reviewers. Studies were categorised by outcomes using the Kirkpatrick framework.

RESULTS:

Of 330 screened titles, 14 were included. Seven studies reported significant increase in knowledge scores for the TBL group, four reported no difference and three showed improvement but did not comment on statistical significance. Only one study reported significant improvement in learner reaction for the TBL group while another study reported a significant difference favouring the comparator.

CONCLUSIONS:

Despite improvement in knowledge scores, there was mixed learner reaction. This may reflect the increased demands on learners in this student-centred teaching strategy, although further study is needed.

PMID:
 
24245519
 
DOI:
 
10.3109/0142159X.2013.849802


기존의 확립된 가이드라인을 TBL 프로그램에 적용하기(Acad Med, 2014)

Applying Established Guidelines to Team-Based Learning Programs in Medical Schools: A Systematic Review

Annette W. Burgess, PhD, MBT, MEd, MMedEd, Deborah M. McGregor, MHSc(Ed), and

Craig M. Mellis, MD, MPH




Parmlee와 동료1은 팀 기반 학습(TBL)을 "[개별 학습, 팀 활동, 즉각적인 피드백]을 포함하는 일련의 활동을 통해 학생들에게 개념적 지식을 적용할 수 있는 기회를 제공하는 능동적 학습이자 소그룹 교육 전략"으로 정의했다.

Parmelee and colleagues1 defined team-based learning (TBL) as “an active learning and small group instructional strategy that provides students with opportunities to apply conceptual knowledge through a sequence of activities that includes individual work, team work, and immediate feedback.”


가장 순수한 형태의 TBL은 고도로 구조화되어있으며, 특정 단계를 구현해야 하고, 권장되는 핵심 설계 요소가 있다.

In its purest format, TBL is highly structured and requires the implementation of specific steps and recommended core design elements.1


TBL은 최근 몇 년 동안 의학 교육에서 인기를 얻었다.1 어떤 형태로든 TBL을 채택한 의과대학의 수가 증가하고 있다.2,3

TBL has gained popularity in medical education in recent years.1 A growing number of medical schools have adopted TBL in some format.2,3


하이데트와 동료4는 의학 및 보건과학 문헌에서 TBL이 보고되고 비평되는 방식을 표준화하기 위한 일련의 지침을 제안했다.

Haidet and colleagues4 proposed a set of guidelines for standardizing the way in which TBL is both reported and critiqued in the medical and health sciences literature.


이 지침에 따라, 연구자는 프로그램의 범위(클래스 크기, 주제 등)에 대해 개략적으로 설명하는 것 외에, "TBL 방법의 기반이 되는 7가지 핵심 설계 요소"에 대해서도 보고해야 한다.4

According to these guidelines, in addition to outlining the scope (class size, subject, etc.) of the program, researchers should also report on the “seven core design elements that underlie the TBL method.”4


이러한 요소는 팀 구성, 준비 상태 보증(RA), 즉각적인 피드백, 동급 문제 해결의 순서, 4개의 S(중대한 문제, 동일한 문제, 특정 선택 및 동시 보고), 인센티브 구조 및 안전 점검이다.

These elements are 

  • team formation, 

  • readiness assurance (RA), 

  • immediate feedback, 

  • sequencing of in-class problem solving, 

  • the four S’s (significant problem, same problem, specific choice, and simultaneous reporting), 

  • incentive structure, and 

  • peer review.


방법

Method


우리의 문헌 검색은 학부 의료 프로그램에서 TBL에 관한 147개의 잠재적 문헌을 산출했다(우리의 완전한 검색 및 연구 선택 전략은 그림 1 참조).

Our literature search yielded 147 potential publications on TBL in undergraduate medical programs (see Figure 1 for our complete search and study selection strategy).


이 전체 텍스트 분석에서 TBL 프로그램의 구현 컨텍스트 및 범위와 관련된 데이터를 추출했다(부록 1 참조).

From this full-text analysis, we extracted data related to the implementation context and scope of the TBL program (see Appendix 1),


그런 다음 우리는 하이데트와 동료4가 개발한 지침을 사용하여 TBL에 대한 문헌을 비평했다.

We then used the guidelines developed by Haidet and colleagues4 in critiquing the body of evidence on TBL.


우리는 (1) 사전 준비, (2) RA, (3) 응용 연습의 3단계를 포함하는 고전적인 TBL 프로그램을 고려했다.2

We considered a classic TBL program one that included three phases: 

  • (1) advanced preparation, 

  • (2) RA, and 

  • (3) application exercise.2




결과

Results


최종 검토에 포함시킨 20개 기사 중 14개는 고전적인 TBL 프로그램을, 6개는 변형된 것을 기술했다. 이 연구는 10개의 다른 국가에서 실시되었으며, 미국 내 7개 대학이 이 연구의 절반(10개)을 차지한다.

Of the 20 articles we included in our final review, 14 described a classic TBL program and 6 described modified ones. The studies were conducted in 10 different countries, with seven universities in the United States representing half (10) of the studies.


TBL 프로그램 맥락

Context of TBL programs


기초과학, 의학 윤리학, 신경학, 약학, 해부학, 증거 기반 의학, 보행 치료, 정신의학, 병리학, 생리학

basic sciences, medical ethics, neurology, pharmacology, anatomy, evidence-based medicine, ambulatory care, psychiatry, pathology, and physiology.


TBL 프로그램은 임상기간(6/20)보다 임상전기간(14/20)에 더 많이 적용되었다.

TBL programs were more commonly applied during the preclinical years (14/20) than the clinical years (6/20).


기간

Scope


대부분의 TBL 프로그램들은 1시간 반에서 2시간이었다.

the majority of TBL programs were one and a half to two hours long.


전체학생 및 팀 크기

Class and team size


학급 크기는 정신과 임상실습 학생 20명부터 기초 과학 임상 애플리케이션 과정 240명까지 다양했다.13 팀당 학생 수는 4명부터 최대 12명까지 다양했다.9

Class sizes ranged from 20 students in a psychiatry clerkship12 to 240 in a basic sciences clinical application course.13 The number of students per team ranged from as low as 4 members14 to up to 12 members.9


팀 구성

Team formation


무작위 또는 알파벳 순으로 할당하는 것은 팀 구성의 가장 일반적인 방법이었다.

Random or alphabetical allocations were the most commonly described methods of team formation.


니더와 동료들은 무작위 할당 전략을 적용하는 것 외에도, 니더와 동료들은 성별 혼합을 보장하기 위한 조치를 사용했다고 보고했고, 토머스와 보웬14는 성별 혼합과 경험적 혼합을 모두 보장하기 위한 조치를 사용했다고 보고했다.

In addition to applying a random allocation strategy, Nieder and colleagues17 reported using measures to ensure gender mix, whereas Thomas and Bowen14 reported using measures to ensure both gender and experience mix.


학생들이 자신의 그룹을 스스로 선택할 수 없도록 하라는 권고에도 불구하고, 한 연구에서는 이 방법을 사용하였다.

Despite recommendations to not allow students to self-select their groups,4 one article reported using this method.7



준비도 평가

Readiness assurance


RA는 학생 개개인과 팀 수준에서 모두 평가하였다. 대부분의 기사(15/20)는 RA 프로세스를 보고하고 설명했으며, 이는 대부분 권장사과 일치했다.

RA was assessed at both the individual student and team level. The majority of the articles (15/20) reported and described the RA process, which largely was in line with recommendations.1,4


RA평가문항의 숫자는 일반적으로 10에서 13개 까지였다. 저자들이 RA에 대한 시간 할당을 설명한 몇 가지 사례에서, 그것은 12분에서 30분 사이에 상당히 달랐다.

the number typically ranged from 10 to 13. In the few instances where the authors described the time allocation for RA, it varied considerably between 12 and 30 minutes.


즉각 피드백

Immediate feedback


11개 기사는 교수들이 수업 토론을 통해 tRAT에 이어 즉각적인 피드백을 제공했다고 보고했다.

Eleven articles reported that faculty provided immediate feedback following the tRAT using a class discussion,


즉각적인 피드백을 제공하는 대안적인 방법으로는 스크래치오프 답변서, 11,13,14 청중의 응답 시스템을 포함하는 즉각적인 피드백 평가 기법이 포함되었으며, 이는 모든 학생들이 볼 수 있도록 화면에 직접 결과를 표시했다.

Alternative methods of providing immediate feedback included the immediate feedback assessment technique, which involved scratch-off answer sheets,11,13,14 electronic audience response systems, which displayed results directly on a screen for all students to see,5,8


수업 내 문제해결의 순서

Sequencing of in-class problem solving


대다수의 기사들은 그룹 내 및 그룹간 논의의 순서를 명확히 논의했지만 문제의 길이나 수에 대한 자세한 내용은 제공하지 않았다.

The majority of articles clearly discussed the sequence of intra- and intergroup discussion but did not provide detail on the length or number of problems.


네 가지 S

The four S’s


    • Significance 측면에서, 몇몇 저자들은 응용application 질문이 RA 프로세스에서 일반적으로 적용되는 필수 지식 회상 질문보다 높은 수준의 사고와 문제 해결 능력을 요구한다고 강조했다.15,16,21 종종 문제는 관련성을 높이기 위해 복잡한 real-world 문제나 흔한 임상 시나리오에 기초했다. 

    • Same 측면에서, 한 경우를 제외하고, 9개 팀이 같은 문제를 연구했다. 

    • Specific 측면에서, MCQ는 대체로 팀이 하나의 답변을 나타낼 때 사용하는 특정 선택 방법이었다. 

    • Simultaneous 측면에서, 마지막으로, 대부분의 기사들은 동시 보고의 사용을 기술했다. 팀들이 그들의 반응을 동시에 나타낼 수 있도록 Color-coded and lettered placard를 일반적으로 사용했다.

In terms of significance, several authors emphasized that the application questions required higher-level thinking and problem-solving skills than the essential knowledge recall questions typically applied during the RA process.15,16,21 Often, problems were based on complex real-world issues or common clinical scenarios to increase relevance. Next, in all but one case,9 teams worked on the same problem. In addition, MCQs were by and large the method of specific choice used for teams to indicate their single- best-fit answer. Finally, the majority of the articles described the use of simultaneous reporting. Color-coded and lettered placards were commonly used so teams could simultaneously reveal their responses.


인센티브 구조

Incentive structure


세 가지 기사는 등급 가중치를 포함한 인센티브 구조에 대한 상세한 설명을 제공했다.13,22,23 대부분의 저자들은 점수가 수여된다고 언급했지만, 마크 분포mark distribution에 대한 설명은 제공하지 않았다.

Three articles provided detailed descriptions of incentive structures, including the weighting of grades.13,22,23 The majority of authors stated that grades were awarded, but they did not provide a description of the mark distribution.


동료평가

Peer review


동료평가의 다양한 요소로 '학습에 도움됨' '팀워크' '대인관계스킬' 등을 언급했다. 동료평가는 일반적으로 코스 마지막 날에 이루어졌지만, 니더와 동료들은 주요 시험을 보는 때에 함께 세 차례의 동료평가를 했다고 보고했다.

Several other articles reported evaluating various parameters of peer review, including helpfulness of team members in terms of learning and understanding19,22,23 and team members’ teamwork and interpersonal skills.23 Although peer review typically took place on the last day of the course, Nieder and colleagues17 reported a peer review that occurred at three points throughout the course coinciding with major examinations


고찰

Discussion


의대생 수가 증가하고 교직원 수가 감소함에 따라, TBL 프로그램의 시행은 의과대학에 자원 절약 대책을 제공한다.

with an increasing number of medical students and a decreasing number of teaching staff, the implementation of TBL programs offers resource-saving measures for medical schools.


TBL 프로그램 맥락

Context of TBL programs


우리는 임상 전 해에 TBL 프로그램의 dominance를 두 가지 요인 탓으로 돌린다. 즉, 전임상교육에서 종종 한 반에 숫자가 더 크기 때문이고, 소규모 그룹 학습에 자원을 활용한다면 이 기간 동안 큰 이익을 제공할 수 있다. 교수진이 임상실습 수행 중에 TBL을 사용한 경우는 주로 예정된 수업시간이나, 학생들이 teaching block이나 weekly academic half-days로 병원에서 학교로 왔을 때였다.

We attribute the dominance of TBL programs in the preclinical years to two factors—preclinical students often are placed in larger groups during this phase of their training, and the resource application of small-group learning could provide the greatest measurable benefit during this period. When faculty used TBL during a clinical rotation or clerkship


기간

Scope


우리는 TBL 세션의 범위가 넓음을 발견했다. Searle과 동료2는 TBL에 대한 노출이 매우 미미할 때(즉, 몇 번의 세션만 있을 경우) 부정적 편향이 발생하여 방법의 편익(수업 내 참여 및 콘텐츠의 적용 증가)이 실현되지 않을 수 있다고 제안했다.

We found a large range in the number of TBL sessions (from two to eight). Searle and colleagues2 suggested that a negative bias might result when exposure to TBL is so minimal (i.e., through only a few sessions) that benefits of the method may not be realized (i.e., increased in-class engagement and application of content).


전체 학생 및 팀 규모

Class and team size


위너와 동료 21은 RA 시험에서 숫자가 너무 적은 팀(즉, 학생 2명)이 정규 팀(즉, 학생 5~7명)보다 훨씬 낮은 점수를 받았다고 보고하여 학생들을 토론에 참여시키는 최적의 팀원이 존재할 수 있음을 시사했다. Michaelsen과 동료들에 따르면 26개 팀은 5명에서 7명 사이의 학생들로 구성되어야 한다. 팀원의 숫자는 프로세스의 발달과 팀 역동을 극대화할 수 있을 만큼 작으면서, 동시에 충분한 지적 자원과 토론을 포함할 수 있을 만큼 충분히 커야 한다.

Wiener and colleagues21 reported that undersized teams (i.e., two students) scored significantly lower than regular- sized teams (i.e., five to seven students) on RA tests, suggesting that an optimal number of team members to engage students in discussion may exist. According to Michaelsen and colleagues,26 teams should consist of between five and seven students—small enough to develop process and maximize team dynamics, yet large enough to include sufficient intellectual resources and discussion.


팀 구성

Team formation


학생들은 투명한 절차에 따라 교수에 의해 팀에 배정되어야 하며, 각 팀에 다양한 학생 조합을 제공하고 기존의 사회적 또는 우정관계에 기반한 그룹이 형성되지 않도록 해야 한다. 무작위적이고 알파벳순으로 할당하는 방법은 친구들의 팀이 자기 형성을 방해할 가능성이 있지만, 이러한 방법들은 학습자 특성의 선호 다양성을 충분히 달성하지 못할 수 있다.

students should be assigned to teams by the facilitator using a transparent process, giving each team a diverse mix of students and ensuring that no preexisting social or friendship-based groupings are formed. Although random and alphabetical allocation methods are likely to prevent teams of friends from self-forming, these methods may not adequately achieve the preferred diversity of learner characteristics.


가이드라인에서는 팀들이 "가능한 한 오래 함께 지내라"고 권고하지만, 라빈드라나스와 동료7은 각 TBL 세션이 시작될 때 팀 동역학의 확립과 발전을 허용하지 않는 팀들을 개혁했다.

although guidelines1 recommend that teams “stay together as long as possible,” Ravindranath and colleagues7 reformed their teams at the start of each TBL session, which did not allow for the establishment and development of team dynamics.


준비도 평가

Readiness assurance


우리는 개인에 대한 지식과 팀의 지식을 시험함으로써, 학생들이 그들의 팀을 실망시키지 않기 위해 동기부여를 받아 수업시간 내에 수업시간을 자유롭게 할 수 있을 것으로 기대한다.

We anticipate that, by testing the knowledge of individuals and then the knowledge of the team, students will come to class prepared, motivated by not wanting to let their team down, thus freeing up class time for in-class problem- solving activities.


인센티브 구조

Incentive structure


Michaelsen과 Sweet27은 tRAT 이후의 즉각적인 피드백학생들에게 콘텐츠 지식과 응용 능력을 이해시키기 위한 목적으로 TBL 프로세스에 본질적inherent한 것이라고 본다. 또한 즉각적인 피드백을 제공함으로써 

    • 개인과 팀 간의 경쟁을 촉진하고, 

    • 지식 획득과 보존의 핵심이 되며, 

    • 팀 발달에 영향을 미친다.27,28

Michaelsen and Sweet27 describe immediate feedback following the tRAT as being inherent to the TBL process to provide students with an understanding of their content knowledge and application ability. In addition, providing immediate feedback 

    • encourages competition between both individuals and teams, 

    • is key to knowledge acquisition and retention, and 

    • affects team development.27,28


프로그램 내 문제해결의 순서

Sequencing of in-class problem solving


문제 해결 활동 동안 학생들은 복잡한 현실 문제를 해결하기 위해 팀으로 일함으로써 수업내용에 대한 지식을 적용할 기회를 가졌다. 파르므리와 동료1이 지적한 바와 같이, 학생들은 응용활동 중에 특정한 선택을 하기 위해 정보를 해석, 분석, 합성해야 하며, 필요한 경우 전체 학생들에게 자신의 선택을 방어해야 한다.

During the problem-solving activities, students had the opportunity to apply their knowledge of course content by working in teams to solve complex, real- life problems. As Parmelee and colleagues1 noted, students must interpret, analyze, and synthesize information to make a specific choice during the activity, and they must defend their choice to the class if necessary.


어떤 연구자는 tAPP를 TBL의 심장이라고 설명했지만,4 이 설계 요소는 우리가 검토한 글에서 자세히 언급된 경우는 거의 없었다.

Although some have described the tAPP as the heart of TBL,4 this design element was rarely mentioned in detail in the articles we reviewed.


네 가지 S

The four S’s


문제는 중요할 필요가 있고, 모든 팀은 같은 문제를 해결해야 하며, 그들은 그들의 대답에 특정한 선택권을 제공해야 한다. 그들은 그들과 다른 팀들이 동시에 보고해야 한다. MCQ를 사용하는 것이 표준적이었으며, 이것은 TBL을 개방형 문항을 사용하는 사례 기반 학습CBL등의 다른 액션 기반 학습 기법과 구별해주는 점이다.

the problem needs to be significant, all teams need to have the same problem to solve, and they need to provide a specific choice in their answer, which they and the other teams need to report simultaneously. The standard use of MCQs differentiates TBL from  other action-based learning techniques, such as case-based learning,16 that use open-ended questions.


즉각적 피드백

Immediate feedback


평가는 학생들의 코스 목표 달성에 큰 영향을 미치며, TBL에서는 개인의 수업 외 준비와 팀 협업을 극대화하도록 설계된다.4 그러나 우리가 검토한 많은 논문에서 저자들은 인센티브 구조를 명확하게 기술하지 않았다.

Assessment has a large effect on students’ achievement of course objectives, and, in TBL, it is designed to maximize both individuals’ out-of-class preparation and team collaboration.4 Yet, in many of the articles we reviewed, the authors did not clearly describe the incentive structure.


Michaelsen과 Sweet27은 [개별적인 기여]와 [효과적인 팀워크]에 대한 보상을 제공하고 [그룹워크에 대한 학생들의 우려를 완화]시키기 위해 효과적인 평가제도가 필요하다고 주장했다. 따라서, IRAT, tRAT, tAPP 및 동료 검토에 대한 등급이 부여되어야 한다.1

Michaelsen and Sweet27 argued that an effective grading system is necessary to provide rewards for both individual contributions and effective teamwork and to allay students’ concerns about grading for group work. Thus, grades should be given for iRAT, tRAT, tAPP, and peer review.1


동료평가

Peer review


그 기사들의 거의 절반은 동료평가에 대해 보도하지 않았다. Michaelsen29는 학생 책임을 보장하는 데 도움이 되기 때문에 동료 평가를 TBL의 핵심 요소 중 하나로 간주했다. 또한 피드백을 주는 연습을 통해 학생들은 전문적인 역량을 개발하고 피어리뷰의 책임을 가진 임상의로서 그들의 전문직으로서의 삶을 준비할 수 있다.30,31

almost half of the articles did not report on peer review. Michaelsen29 considered peer assessment to be one of the key components of TBL, because it helps to ensure student accountability. In addition,  the practice of giving feedback allows students to develop professional competencies and prepare for their professional lives as clinicians with peer review responsibilities.30,31


한계

Limitations


2001년까지 TBL 프로그램의 실행이 의학 교육 내에서 인기를 얻지 못하였기 때문에, 우리는 이 검토에서 단지 10년의 자료에 대해 보고했다.

as the implementation of TBL programs did not gain popularity within medical education until 2001,1 we have reported on only 10 years of data in this review.


결론

Conclusions


비록 Parmlee와 Michaelsen이 TBL이 "모든 구성요소가 설계와 구현에 포함될 때 가장 잘 작동한다"고 지적했지만, 3 우리의 검토 결과 TBL 프로그램의 설계, 구현 및 보고마다 광범위한 차이variation가 나타났다.

Although Parmelee and Michaelsen noted that TBL “works best when all of the components are included in the design and implementation,”3 our review revealed extensive variations in the design, implementation, and reporting of TBL programs.


그러므로, 미래에는 교수진이 프로그램의 각 특징에 대한 영향과 상대적 장점을 더 잘 이해하기 위해 표준화된 TBL 프레임워크를 고수해야 한다.

Thus, in the future, faculty should adhere to a standardized TBL framework, to better understand the impact and relative merits of each feature of their program.


4 Haidet P, Levine RE, Parmelee DX, et al. Perspective: Guidelines for reporting team- based learning activities in the medical and health sciences education literature. Acad Med. 2012;87:292–299.












 2014 Apr;89(4):678-88. doi: 10.1097/ACM.0000000000000162.

Applying established guidelines to team-based learning programs in medical schools: a systematic review.

Author information

1
Dr. Burgess is executive officer, Central Clinical School, Faculty of Medicine, University of Sydney, Sydney, New South Wales, Australia. Ms. McGregor is research project officer, Workforce Education and Development Group, Faculty of Medicine, University of Sydney, Sydney, New South Wales, Australia. Professor Mellis is professor of medicine and associate dean, Central Clinical School, Faculty of Medicine, University of Sydney, Sydney, New South Wales, Australia.

Abstract

PURPOSE:

Team-based learning (TBL), a structured form of small-group learning, has gained popularity in medical education in recent years. A growing number of medical schools have adopted TBL in a variety of combinations and permutations across a diversity of settings, learners, and content areas. The authors conducted this systematic review to establish the extent, design, and practice of TBL programswithin medical schools to inform curriculum planners and education designers.

METHOD:

The authors searched the MEDLINE, PubMed, Web of Knowledge, and ERIC databases for articles on TBL in undergraduate medical education published between 2002 and 2012. They selected and reviewed articles that included original research on TBL programsand assessed the articles according to the seven core TBL design elements (team formation, readiness assurance, immediate feedback, sequencing of in-class problem solving, the four S's [significant problem, same problem, specific choice, and simultaneous reporting], incentive structure, and peer review) described in established guidelines.

RESULTS:

The authors identified 20 articles that satisfied the inclusion criteria. They found significant variability across the articles in terms of the application of the seven core design elements and the depth with which they were described. The majority of the articles, however, reported that TBL provided a positive learning experience for students.

CONCLUSIONS:

In the future, faculty should adhere to a standardized TBL framework to better understand the impact and relative merits of each feature of their program.

PMID:
 
24556770
 
PMCID:
 
PMC4885587
 
DOI:
 
10.1097/ACM.0000000000000162


TBL의 이론적 토대(Med Teach, 2012)

The educational theory basis of team-based learning

PATRICIA HRYNCHAK1 & HELEN BATTY2

1School of Optometry, University of Waterloo, 200 University Ave. Waterloo, ON, N2L 3G1, 2Department of Family and Community Medicine, Faculty of Medicine, University of Toronto, 500 University Ave. Toronto, ON, M5G 1V7





나는 결코 학생들을 가르치지 않는다. 나는 단지 그들이 배울 수 있는 조건들을 제공하려고 노력할 뿐이다.

알버트 아인슈타인

I never teach my pupils. I only attempt to provide the conditions in which they can learn.

Albert Einstein


도입

Introduction


의료제공자는 환자의 요구를 충족시키기 위한 공통의 능력 세트를 필요로한다.

Health care providers require a common set of abilities to meet the needs of their patients.


이 프레임워크에 포함된 두 가지 요소는 비판적으로 생각하는 능력(의료 전문가)과 팀으로 효과적으로 일하는 능력(협업자)이다(Frank 2005).

Two of the components embedded within this framework are the ability to think critically (medical expert) and work effectively in a team (collaborator) (Frank 2005).


보건 직업에서의 전통적인 교육은 선생님과 강좌의 내용을 중심으로 이루어진다(Peters 2000). 이 강의식 모델에서, 목표는 선생님으로부터 학생에게 정보를 전달하는 것이다.

Traditional education in the health professions is centered on the teacher and the content of the courses (Peters 2000). In this didactic model, the goal is to transfer information from the teacher to the student.


강의식 모델에서 학생의 역할은 그들이 배우고 있는 것에 대해서 [실질적인 적용을 이해하는 수준]보다는 [사실을 암기]하는 것이다(Michaelsen et al. 2008, p. 76). 사실을 recall하는 것은 그 과정에서 필수적인 단계지만, 학생들은 그렇게 함으로써 자료에 대해 진정으로 이해하게 되었으며, 새로운 맥락에서 정보를 적용할 수 있을 것이라고 잘못 생각하게 된다(Michaelsen et al. 2008, 페이지 77).

the role of the student is to memorize facts rather than work at the level of understanding the practical application of what they are learning (Michaelsen et al. 2008, p. 76). Recalling facts is a vital step in the process; however, students may mistakenly believe that by doing so they have gained a true understanding of the material and will be able to apply the information in a novel context (Michaelsen et al. 2008, p. 77).


TBL(Team-based Learning)은 래리 마이클슨이 개발하고 지난 20년 동안 의료 교육에 적응한 변증법 강의의 일종이다(Michaelsen et al. 2008, p. 5).

Team-based learning (TBL) is a form of dialectic teaching developed by Larry Michaelsen and adapted to health care education in the last two decades (Michaelsen et al. 2008, p. 5).


학생들은 [관점을 제시하기 전]에 [비판적 사고를 통해 얻은 추론reason의 힘을 배우고 적용]해야 하며, [다른 사람들의 진술을 평가할 때 이것과 동일한 접근법을 적용]할 필요가 있다. 이 과정을 얼마나 잘 수행하느냐가 해당 분야에서 능력이 어느 정도인지를 정의한다(Michaelsen et al. 2008, 페이지 80)

Students need to learn and apply the power of reason gained through critical thinking before offering viewpoints and to apply this same approach when evaluating statements made by others. The extent to which a person accomplishes this process defines his or her competency in a given field. (Michaelsen et al. 2008, p. 80)



표 1. 구성주의 학습의 주요 요소 요약(Kaufman 2003).

Table 1. Summary of the main elements in constructivist learning (Kaufman 2003).


1 선생님은 학습을 용이하게 하기 위한 지침이다.

2 가르침은 학습자의 현재 이해와 새로운 경험 사이의 불일치를 노출시킬 수 있는 기회를 제공함으로써 새로운 계획을 개발할 기회를 제공하는 것을 포함한다.

3 학습은 관련 문제 및 그룹 상호작용을 사용하여 활성화되어야 한다.

새로운 경험에 대한 성찰을 위해서는 시간이 필요하다. 


1 The teacher is a guide to facilitate learning.

2 Teaching involves providing opportunities to expose inconsistencies between learners’ current understandings and new experiences therefore providing the opportunity to develop new schemes.

3 Learning should be active using relevant problems and group interaction.

4 Time is needed for reflection on new experiences.


구성주의 이론

Constructivist theory


인식론은 지식의 본질을 조사하는 철학의 한 분야이다(Hunter 2008). 구성주의적 인식론에서 지식은 개인적 경험에 의해 구성되는 과정으로 간주된다. 새로운 경험은 이전의 이해에 더해져서 그존의 이해를 수정하기 위해 사용된다(Peelech & Piper 2010). [진리]의 개념은 [실제reality]의 개념으로 대체되는데, 이것은 [개인은 경험을 통해 쌓아간다]라고 세계를 보는 관점이다(Peters 2000). 따라서 이 이론에서 '지식은 자율적이고 주관적인 construction'이다(Peelech & Pieper 2010). 이와는 대조적으로 실증주의'지식과 진리는 개인의 마음 밖에 존재한다'고 주장한다. 따라서 실증주의에서 지식은 고정되어 있으며 한 개인에서 다른 개인으로 옮겨질 수 있다(Peters 2000).

Epistemology is the division of philosophy that examines the nature of knowledge (Hunter 2008). In constructivist epistemology, knowledge is viewed as a process that is structured by personal experiences. New experiences are used to add to and modify previous understandings (Pelech & Pieper 2010). The concept of truth is replaced by that of reality, which is a view of the world that the individual builds through experience (Peters 2000). Therefore, in this theory, ‘‘knowledge is an autonomous and subjective construction’’ (Pelech & Pieper 2010). In contrast, positivism purports that ‘‘knowledge and truth exist outside the mind of the individual’’ (Peters 2000). Positivist knowledge is, therefore, fixed and can be transferred from one individual to another (Peters 2000).


20세기 전반기 동안, 연구자들은 두 가지 주요 학습 이론을 개발했다. 하나는 행동주의 이론이며, 다른 하나는 인지 이론이다(Mohanna 2010, 페이지 45). 

  • 행동주의적 관점에 따르면, 학습자는 수동적이고 자극은 학습자에게 반응을 일으킨다. 

  • 인지적 관점에 따르면, 학습자는 정보에 대해 생각하고, 정보를 처리한 다음, 상황에 따라 다른 방식으로 행동한다(Mohanna 2010, 페이지 45).

During the first half of the twentieth century, researchers developed two main learning theories: The behaviorist and the cognitive theory (Mohanna 2010, p. 45). 

  • In the behaviorist view, learners are passive and a stimulus produces a reaction in the learner. 

  • In the cognitive view, the learners think about the information, process it, and then act upon it in different ways depending on the situation (Mohanna 2010, p. 45).


구성주의 학습 이론은 인지 학습 이론을 정교화한 것이다. 또한 구성주의적 인식론에서 도출된 것으로, "학습자에 의한 정보의 정신적 표현에 초점"을 맞추고 있다. 학습자는 환경과 경험의 새로운 정보와 일치하도록 장기 기억 표현을 재구성한다(Svinicki 2004). 이를 위해서는, 학습자가 새로운 자료를 처리하고 기존 이해와 통합하여 자신의 학습 과정을 바탕으로 자신에게 고유한 새로운 인지 구조를 형성해야 한다(문 2004).

Constructivist learning theory is a refinement of cognitive learning theory and is derived from constructivist epistemology where the ‘‘focus is on the mental representation of information by the learner’’ (Svinicki 2004, p. 242). The learner reconstructs long-term memory representations to be consistent with new information from the environment and experience (Svinicki 2004). For this to occur, learners must process the new material and integrate it with existing understandings to form a new cognitive structure that is unique to them based upon their own process of learning (Moon 2004).


구성론 이론을 교육 방법에 적용하는 4가지 주요 원칙은 표 1에 요약되어 있다.

The four main principles of applying the constructivist theory to educational methods are summarized in Table 1.


첫째, 학습의 초점은 교사보다는 학습자에게 있다. 학습자의 아이디어와 질문에 초점을 둘 수 있는 기회가 제공되어야 한다. 강사의 역할은 학생이 학습에 있어 적극적인 중심적 역할을 수행하는 전문적인 촉진자 중 하나이다(Hunter 2008). 이러한 환경은 평등주의적이고, 비위계적이며, 비권위주의적이다. '학습은 교사와 학습자 사이의 양방향 과정'이라는 인식이 있다(Davies 2000). 이전의 경험을 이해함으로써 지식이 쌓이기 때문에, 선생님의 역할은 이전에 가졌던 의견과 이해에 도전할 기회를 제공하는 것이다(Peters 2000; Torre et al. 2006). 강사는 또한 [커리큘럼과 학생 사이의 중재자] 역할을 하며, 두 사람이 의미 있는 방식으로 상호작용할 수 있도록 한다(Peters 2000).

First, the focus of the learning is on the learner rather than the teacher. An opportunity to focus on the learner’s ideas and questions should be provided. The instructor’s role is one of expert facilitator where the student takes the active central role in learning (Hunter 2008). These environments are egalitarian, nonhierarchic and nonauthoritarian. There is an acknowledgement that ‘‘learning is a two-way process between the teacher and the learner’’ (Davies 2000). As knowledge is built by making sense of prior experiences, the role of the teacher is to provide opportunities to challenge previously held opinions and understanding (Peters 2000; Torre et al. 2006). The instructor is also a mediator between the curriculum and the student, allowing the two to interact in a meaningful way (Peters 2000).


둘째, 구성주의 학습 이론에서 문제 해결은 중심적인 역할을 한다. 문제는 [학습자의 요구 및 이해 관계에 직접적 관련성]이 있어야 하며,  기존에 학습자가 갖고 있던 construct에 대한 도전에 challenge할 필요가 있다. 이전의 경험과 문제 해결에 기초한 학습은 학습자의 입장에서 자기 주도적 능력을 필요로 한다. 교사 또는 동료 학습자는 학습자가 완전한 자기 방향을 달성할 때까지 이를 지원할 수 있도록 비계를 제공할 수 있다(Davies 2000). 이 프레임워크 내에서 학습자는 학습 과정에 대해서 더 잘 이해하게 되고, 그러한 과정을 통제할 수 있는 능력이 향상된다. 이것을 메타 인식이라고 하며 학습의 자기 방향의 기초가 된다(Peters 2000).

Second, in constructivist learning theory, problem-solving plays a central role. The problems need to be of immediate relevance to the needs and interests of the learner and challenge on previously held constructs. Learning based previous experience and solving problems requires the ability for self-direction on the part of the learner. Guidance from teachers or fellow learners can provide scaffolding for learners to support them until they achieve full self-direction (Davies 2000). Within this framework, the learners’ awareness of their learning process and the ability to control those processes is enhanced. This is called metacognition and is the basis for selfdirection in learning (Peters 2000).


셋째, 사회 구성주의 이론에서는, 세계를 함께 경험함으로써 얻어지는 공통의 이해의 발달뿐만 아니라 다른 학습자와의 대화와 상호작용을 통한 학습에 대한 크게 강조한다(Svinicki 2004). 따라서 최고의 구성주의 교육 방법은 다른 학생들과 함께 일할 기회를 통해 새로운 경험을 제공할 것이다(Svinicki 2004). 예를 들어, 학생들은 관련된 실제 생활 경험에서 파생된 문제에 대해 소그룹으로 작업할 수 있다.

Third, in social constructivist theory, there is a strong emphasis on learning with dialogue and interaction with other learners as well as the development of a common understanding that is achieved by experiencing the world together (Svinicki 2004). The best constructivist instructional methods, therefore, will provide new experiences through opportunities to work with other students (Svinicki 2004). For example, students could work in small groups on problems derived from relevant real life experiences.


마지막으로, 학습자가 기존 지식을 수정하는 시기와 방법을 판단할 수 있도록 성찰이 필요하다. 성찰은 RIA와 ROA의 두 종류가 될 수 있다. 

  • "Reflection in action"은 현재와 과거의 경험을 현재와 현재 일어나고 있는 새로운 경험에 적용함으로써 즉시 발생한다. 

  • "Reflection on action"은 사람이 일어난 일, 그것에 기여한 일, 취한 조치가 최적인지 여부, 그리고 이 정보가 미래의 관행을 향상시키기 위해 어떻게 사용될 수 있는지를 상기할 때 발생한다(표 1).

Finally, reflection is required to allow the learners to make judgments on when and how to modify their existing knowledge. Reflection can be of two kinds: Reflection in action and reflection on action. 

  • ‘‘Reflection in action’’ occurs immediately by applying current and past experience to novel experiences as they are happening. 

  • ‘‘Reflection on action’’ occurs when the person recalls what happened, what contributed to it, whether the actions taken were optimal and how this information may used to enhance future practice (Mohanna 2010, p. 66) (Table 1).


학습에 대한 구성주의적 접근법의 원칙은 다양한 의료 교육 프로그램에 사용되어 왔다(Davies 2000). 고전적인 문제 기반 학습은 이 이론의 가장 초기 적용 사례 중 하나이다.

The principles of the constructivist approach to learning have been used in a variety of health care training programs (Davies 2000). Classic problem-based learning is one of the earliest applications of this theory.


문제 기반 학습은 소규모 그룹 프로세스에서 교수진 대 학생 비율이 낮기 때문에 자원이 집약적이다(Walton 1997).

problem-based learning is resource intensive due to the low faculty-to-student ratios in the small group process (Walton 1997).


TBL

Team-based learning


TBL은 원래 래리 마이클슨에 의해 1970년대에 경영학 학생들을 가르치기 위해 개발되었다(Michaelsen et al. 2008). TBL은 학습자 중심이지만 강사가 주도하는 능동적 학습 방법이다(Koles et al. 2010).

TBL was originally developed by Larry Michaelsen for instructing business students in the 1970s (Michaelsen et al. 2008). TBL is an active learning method that is learner centered but instructor led (Koles et al. 2010).


팀 내 다양성은 최대지만 팀 간의 상대적 균일성을 갖는 소규모 그룹(팀이라고 함)으로 나뉜 대규모 클래스에 활용할 수 있다. 이는 팀의 성공을 촉진할 개별 구성원의 주요 특성이 무엇인지를 결정한 다음 이러한 자질을 가진 사람들을 팀 간에 균등하게 배분함으로써 달성할 수 있다(Michaelsen et al. 2008). 이렇게 하면, 각 팀은 분석 문제를 협력적으로 해결할 때 도출할 수 있는 구성원의 지식과 경험에서 최대한의 다양성을 가진다.

This method is used for large classes that are divided into smaller groups (referred to as teams) that have maximal diversity within the teams but relative evenness between the teams. This is accomplished by deciding what the key characteristics of individual members are that would promote success of a team and then distributing people with these qualities evenly between the teams (Michaelsen et al. 2008). In that way, each team has a maximal diversity in the knowledge and experience of the members that can be drawn upon when collaboratively solving the analysis problems.


교수는 학습 목표를 설정하고 이러한 학습 목표를 다루는 모듈로 코스를 의도적으로 설계한다. 모듈은 세 개의 반복 단계로 구성된다(그림 1).

The instructor sets the learning objectives and purposefully designs the course into modules that will address those learning objectives. The modules consist of three repeating phases (Figure 1).


적용 연습. 이 문제는 다음과 같은 특성을 갖도록 설계되었다. 모든 그룹에 대해 동일하며, 문제는 학습자에게 중요하며, 그룹은 정확한 대답(예: 객관식 질문)에 대해 특정한 선택을 해야 하며, 결과는 모든 그룹에 의해 동시에 보고된다.

application exercises. The problems are designed to have the following characteristics; they are 

  • the same for all of the groups, 

  • the problems are significant for the learners, 

  • the groups must make a specific choice for the correct answer (e.g., a multiple choice question) and 

  • the results are simultaneously reported by all groups.


TBL의 중요한 구성요소는 동료 평가다. 팀 구성원은 코스 중 한두 번 다른 그룹 구성원에게 팀 성과에 대한 피드백을 제공한다.

An important component of TBL is the group evaluations. Team members give feedback to the other group members on team performance once or twice during the course.


TBL의 이론적 토대로서 구성주의

Theoretical grounding of TBL in constructivism


TBL에서 교사는 교육 목표를 설정하고, 그룹이 해결할 수 있는 학습 자료, 시험 및 적절한 문제를 개발함으로써 학습에 대한 지침 역할을 한다. 강사는 학습자에 의해 생성되는 토론을 안내한다. 강의와 같은 수동적 학습을 제공하는 전략은 이 과정에서 감소한다. 따라서, 구성주의 학습 이론에서 중요한 '학생 중심 원칙'과 '지지적 비계'는 일관되게 내재되어 있다.

In TBL, the teacher acts as a guide to learning by setting the educational objectives and developing study materials, tests, and appropriate problems for the groups to solve. The instructor guides discussion that is generated by the learners. Strategies providing passive learning such as lecturing are reduced in this process. Student centered principles and supportive scaffolding important in constructivist learning theory are consistently inherent.


TBL은 학습자가 그룹과 현재 이해도를 비교하고 GRAT 및 그룹 적용 연습에서 논란이 되는 사항에 대해 토론할 수 있도록 한다. 이것은 새로운 경험으로 얻은 정보를 기존의 정신 계획에 통합시킴으로써 학습이 일어난다는 구성주의적인 견해와 일치한다. 

TBL allows learners to compare their current understandings with those of the group and debate controversial points in the GRAT and group application exercises. This is consistent with a constructivist view that learning occurs by integrating information obtained by new experiences into existing mental schemes. 


응용 연습은 임상 실습에서 발생하는 실제적인 문제로 만들어진다. 비판적 사고는 이 능동적인 과정에서 모델링되고 학습된다.

The group application exercises are real world problems that occur in the clinical practice. Critical thinking is modeled and learned in this active process.


RIA는 GRAT 동안 그리고 애플리케이션 연습의 사례 문제를 해결할 때 학생들이 그룹의 이해도를 비교할 때 발생한다. 새로운 연결은 이해에 대한 불일치를 노출시킴으로써 이루어진다. 학생들이 모든 팀 구성원의 기여를 평가하는 순간도, ROA의 한 형태다. 학습자들은 또한 다른 그룹 멤버들로부터 받은 피드백을 활용하여 팀 멤버로서의 자신의 성과를 성찰해야 한다.

Reflection in action occurs when students compare their understanding to that of the group during the GRAT and in solving the case problems in the application exercises. New connections are made by exposing these inconsistencies in understandings. When the students are required to evaluate the contributions of all the team members it is a form of reflection on action. Learners also reflect on the feedback they receive from other group members on their own performance as team members.


보건의료인 교육에서 TBL

Team-based learning in healthcare education


"고-기능 팀"에는 몇 가지 특징이 있다. 여기에는 모든 구성원의 높은 참여 수준, 팀 식별복잡한 사고 프로세스 사용 능력이 포함된다(Thompson 등 2009). TBL은 목표 달성을 촉진하고 그룹 등급을 공유함으로써 공통 목표를 향한 진정한 팀워크를 촉진한다(Morrison et al. 2010). Davidson은 TBL을 사용하여 시간이 지남에 따라 학생들이 자신이 '집단작업group work의 원리를 얼마나 이해했는지'에 대한 추정이 상당히 증가했다는 것을 발견했다.

There are several features of high-functioning teams. These include high levels of involvement by all members, team identification and the ability to use complex thought processes (Thompson et al. 2009). TBL fosters these attributes by encouraging true teamwork toward a common goal with each student facilitated in contributing to that goal and by sharing a group grade (Morrison et al. 2010). Davidson found that there was a significant increase in the students’ estimation of their ‘‘understanding of the principles of group work’’ over time using TBL (Davidson 2011).


개별 학습자에게는 "사회적 태만(무임승차)"을 감소시켜야 할 책임이 있다(즉, 사전 준비와 그룹활동 참여를 통해서 '회피'할 기회를 줄이는 것). 교수진들은 일반적으로 학생들의 준비, 출석 그리고 수업 토론의 질이 향상되는 것을 관찰할 수 있다(Thompson et al. 2007a). 헌트 외 연구진(2003)은 TBL 세션 중 외부 관찰external observation을 사용했으며, TBL에서는 강의 기반 과정에 비해 학생들의 참여도가 상대적으로 높은 것으로 나타났다. 리바인 외 연구진(2004)은 학생들이 TBL을 '전통적인 수업didactics보다 훨씬 더 효과적이고 즐거운' 것으로 평가했다.

There is accountability on the part of the individual learners with a reduction in ‘‘social loafing’’ (i.e., reduced opportunity for avoidance by students of advance preparation and engagement in the group work) (Michaelsen et al. 2008, p. 104; Koles et al. 2010). Faculty members generally see an improvement in students’ preparation, attendance and quality of class discussions (Thompson et al. 2007a). Hunt et al. (2003) used external observations during the TBL sessions and found a relatively high level of engagement of the students compared to lecture based courses. Levine et al. (2004) found that students rated TBL ‘‘significantly more effective and enjoyable than traditional didactics.’’


TBL에 대한 긍정적 연구가 쌓이고 있지만, 일부 한계도 있다(Thompson et al. 2007b). TBL이 효과적이기 위해서는 교수, 학생, 행정부의 참여buy-in가 필요하다. 기술적 측면에서 전문지식과 TBL도입을 위한 훈련이 있어야 하며, 교육과정 내 시간이 확보되어야 하고, 교수들이 TBL을 개발해야 한다. CBL보다는 교수자원이 덜 들지만, 공간, 자료, 행정지원 등 다른 자원이 필요하다. 코스의 규모와 내용 또한 중요하다(Thompson 2007b).

While the research support for TBL is building, there are also some limitations (Thompson et al. 2007b). For TBL to be effective there must be buy-in from faculty, students and the administration. There must be expertise and training in the technique as well as time provided in the curriculum and for the faculty member to do the development. While teaching personnel resources are less than in case-based learning, other resources are required such as space, materials and administrative support. The size and content of the course is also important (Thompson 2007b).


TBL에서 적절한 복잡성을 갖추어 진정으로 유용한 assignment를 만들려면 교수의 상당한 노력이 필요하다(Parmlee 2010; Zgheib et al. 2010). 자원이 부족한 시스템에서 TBL을 적용하게 되면, 교수의 참여 부족이 발생할 수 있다(Thompson et al. 2007b).

TBL requires significant instructor effort to make the assignments useful with an optimal amount of complexity (Parmelee 2010; Zgheib et al. 2010). There may be a potential lack of engagement by instructors if the method is imposed on the system with insufficient resources (Thompson et al. 2007b).


몇몇 연구는 학생들이 소규모 그룹이나 강의와 같은 다른 교육 방법보다 TBL에 대한 만족도가 낮다는 것을 발견했다(Hunt et al. 2003; Haidet et al. 2004; Willett et al. 2011). 그러나 데이빗슨은 몇 년에 걸쳐서 적극적인 학습 전략의 수용이 증가할 수 있다는 것을 발견했다(Davidson 2011). 학생들은 특히 동료평가에서 어려움을 겪는데, 특히 그룹원 간 differentiate하도록 요구받을 경우, 그리고 동료평가가 성적에 들어갈 경우 그러하다.(Nieder et al. 2005; Thompson et al. 2007a; Parmelee et al. 2009).

Several studies have found that students have lower levels of satisfaction with TBL than other teaching methods such as small group or lecture (Hunt et al. 2003; Haidet et al. 2004; Willett et al. 2011). However, Davidson found that the acceptance of active learning strategies can increase over several years (Davidson 2011). Students can also have difficulty with the group evaluation process, especially when they are required to differentiate among group members and the evaluation counts towards their grade (Nieder et al. 2005; Thompson et al. 2007a; Parmelee et al. 2009).


또한, 이 방법은 커리큘럼에 있는 다른 과목들의 요구와 잘 통합되지 않을 수 있다. 예를 들어, 개인별 학습은 학생들이 커리큘럼의 다른 부분에서 해야 하는 다른 과제와 시험과 충돌할 수 있다(Thompson et al. 2007a).

Also, the method may not integrate well with the demands of other courses in the curriculum. For example, the individual study might conflict with other assignments and examinations that the students are required to do in other parts of the curriculum (Thompson et al. 2007a).


결론

Conclusions


TBL은 구성주의적 학습원리에 기초한 효과적이고 경제적인 교수법이다.

TBL is an effective and economical teaching method based on constructivist learning principles.





 2012;34(10):796-801. doi: 10.3109/0142159X.2012.687120. Epub 2012 May 30.

The educational theory basis of team-based learning.

Author information

1
School of Optometry, University of Waterloo, Waterloo, ON. hrynchak@uwaterloo.ca

Abstract

BACKGROUND:

Health care providers require the ability to use critical thinking skills and work effectively in a team as a part of an overall set of competencies. Therefore, educational programs should use appropriate methods based in educational theory to effectively graduate learners with these abilities. Team-based learning (TBL) is a method that has been introduced in healthcare education to foster critical thinking skills while students work in high functioning teams.

AIMS:

This article will show how TBL follows the principles of constructivist learning theory.

METHOD:

The principles of constructivist learning theory are discussed in relation to the teaching method of team-based learning. The effectiveness of TBL in healthcare education is then reviewed.

RESULTS:

TBL is learner centered with the teacher acting as an expert facilitator and also provides students with opportunities to expose inconsistencies between their current understandings and new experiences thus stimulating development of new personal mental frameworks built upon previous knowledge. The learning is active using relevant problems and group interaction. Teamwork skills are strengthened by focused reflection on new experiences during the group sessions and on teamwork success by providing feedback to group members.

CONCLUSION:

Since these aspects are all essential components of constructivist educational theory, TBL is solidly grounded in the theoryand is a promising method to strengthen healthcare education.

PMID:
 
22646301
 
DOI:
 
10.3109/0142159X.2012.687120


의과대학생의 학업성과에 TBL의 영향(Acad Med, 2010)

The Impact of Team-Based Learning on Medical Students’ Academic Performance

Paul G. Koles, MD, Adrienne Stolfi, MSPH, Nicole J. Borges, PhD, Stuart Nelson, PhD, and Dean X. Parmelee, MD




임상전 의학교육은 커리큘럼 딜레마의 진퇴양난에 빠져있다.

Preclinical medical education is increasingly impaled on the horns of a curricular dilemma.


이러한 딜레마를 해결하기 위해, 교육자들은 필수 지식을 교실 밖 독립적인 학습을 위한 접근 가능한 형식으로 구성하는 교과서, 강의록, 전자 자료 및 웹 기반 학습 단위에 점점 더 의존하고 있다. 학생들이 이러한 학습 도구에 적응함에 따라, 교수진은 강의 프리젠테이션을 위해 이전에 예약되었던 시간을 줄일 수 있으며, 면대면 시간은 능동적 교육 및 학습 전략에 더 많이 사용할 수 있다.

To address this dilemma, educators rely increasingly on textbooks, syllabi, electronic resources, and Web-based units of study that organize essential knowledge into accessible formats for independent learning outside class.1,2 As students acclimate to these learning tools,faculty may reduce hours previously reserved for lecture presentations, making face-to-face time more available for active teaching and learning strategies


그러한 능동적 학습 방법 중 하나인 문제 기반 학습(PBL)은 지난 40년 동안 학부 의대에서 그 유용성을 입증해 왔다.3 PBL은 커리큘럼 우선순위 변화에 적응할 수 있는 것처럼 보인다. 1969년 맥매스터 대학교에서 1차 학습 전략으로 도입되었으며, 두 차례의 교육과정 주요 개편에서도 살아남았다.4

Problem-based learning (PBL), one such active learning method, has demonstrated its usefulness in undergraduate medical education during the past 40 years.3 PBL seems to be adaptable to changing curricular priorities. It was introduced as the primary learning strategy at McMaster University in 1969 and has survived two major revisions of the curriculum.4


2001년 베일러 의대에 도입된 팀 기반 학습(TBL)은 의학 교육에서 PBL보다 그 역사가 훨씬 짧다. 능동적인 학습 전략으로 설계된 TBL은 학습자 중심이지만 강사 주도형이다.

Team-based learning (TBL), which was introduced at Baylor College of Medicine in 2001, has a much shorter track record than PBL in medical education.6,7 Designed as an active learning strategy, TBL is learner-centered but instructor- led.


TBL은 동료들이 서로 대화하고 경청하여 합의된 결정을 내리는 과정을 통해서, 동료들로부터 학습을 향상시킬 수 있는 여러 기회를 제공한다. 교수들은 각 팀이 자신들의 선택에 대해 공개적으로 설명하도록 요청하며, 여러 팀이 최선의 결정이 무엇인지 그 정당성에 대해 토론할 수 있도록 촉진한다.

TBL provides frequent opportunities for peers to enhance learning, as teammates talk and listen to one another to arrive at consensus decisions. Faculty invite teams to explain and support their choices publicly, and facilitate as teams debate justification for the best decision.


이상적으로, 응용 질문은 학생들이 단지 관련 지식을 얻는 것이 아니라 비판적 사고를 필요로한다. 잘 짜여진 응용 질문은 팀에게 "복잡한 문제의 분석을 기반으로 구체적인 결정을 내리도록 동기를 부여한다."10(p41)

Ideally, application questions require students to engage in critical thinking, rather than to merely retrieve relevant knowledge. Well- crafted application questions motivate teams to “make a concrete decision based on analysis of a complex issue.”10(p41)


TBL은 의대생들의 학습을 얼마나 효과적으로 촉진하는가?

How effectively does TBL promote medical students’ learning?


Nieder와 동료들은 TBL이 사용되기 전의 성과에 비해 평균 과정 시험 성과는 아무런 변화도 보이지 않았지만, TBL의 사용으로 인해 인간 구조 코스에 낙제하는 학생이 줄어들었다. Nieder와 동료들의 연구는 학업성취도가 낮은 학생들이 TBL로부터 이익을 얻을 수 있다는 것을 암시한다.

Nieder and colleagues11 showed no change in mean course examination performance compared with performance in years before TBL was used, but the use of TBL resulted in fewer students failing a human structure course. Nieder and colleagues’11 study suggests that academically weaker students may benefit fromTBL.



종합 과정 시험(CCE),
comprehensive course examinations (CCEs),


기존 문헌이 많지 않고, 일관되지 않은 이전 연구 결과를 고려하고, TBL에 대한 우리 자신의 축적된 경험을 고려할 때, 우리는 이 연구에서 다음과 같은 두 가지 질문을 받았다. 

(1) TBL에 참여하는 것이 과정 시험에서의 학생들의 성적에 영향을 미치는가? 

(2) TBL은 학업성취도가 낮은 학생 또는 더 높은 학생에게 우선적으로 혜택을 주는가?


Given the small amount of such literature, the mixed results of previous studies of academic outcomes, and our own accumulated experience with TBL, we were guided in this study by two questions: 

(1) Does participation in TBL affect students’ performance on course examinations? 

(2) Does TBL preferentially benefit academically lower- or higher-performing students?




방법

Method


분스호프트 2학년 교육과정

Boonshoft’s second-year curriculum


분쇼프트의 시스템 기반 2년 과정에서는 임상 의학에 적용할 수 있는 생리학, 병리학, 약리학의 기초지식을 강조하는 10개의 과정(두 개의 용어 사이로 구분)으로 구성되었다.

Boonshoft’s systems-based second-year curriculum consisted of 10 courses (divided between two terms) emphasizing foundational knowledge of physiology, pathology, and pharmacology applicable to clinical medicine.


표 1은 연구에 포함된 학술 용어, 과정, CCE 및 TBL 모듈을 요약한 것이다.

Table 1 summarizes the academic terms, courses, CCEs, and TBL modules included in the study.


5명에서 7명의 학생들로 구성된 팀은 학년 초에 무작위 분류에 의해 구성되었다; 학생들은 10개의 모든 과정 내내 같은 팀에 있었다.

Teams of five to seven students were formed by random sorting at the beginning of the academic year; students remained on the same teams throughout all 10 courses.


TBL 세션은 보통 2시간(RAT의 경우 40분, 응용 문제의 경우 80분)이었으며, 교수진 중 한 명이 모듈을 만들었다.

TBL sessions were usually two hours long (40 minutes for RATs, 80 minutes for the application exercise) and facilitated by two members of the faculty, one of whom had created the module.



자료 분석

Data analysis


우리는 이러한 CCE 문항 중 병리학적 기반 질문(PBQ)을 식별했다. 우리는 PBQ로 연구를 제한했다.

We identified these CCE questions as pathology-based questions (PBQs). We limited our study to PBQs


PBQ는 두 개의 하위 그룹으로 더 세분되었다. 

    • TBL 관련 PBQ(TR)로 지정된 한 그룹이 있다. 이 그룹은 TBL 모듈의 사전 학습자료에 포함되거나 TBL 애플리케이션 연습 중에 논의된 지식을 평가하는 질문을 포함했다. 

    • TBL과 무관한 PBQ(TU)로 지정된 두 번째 그룹은 TBL 모듈의 내용과 개념적으로 관련이 없는 질문들로 구성되었다.

PBQs were further divided into two subgroups . One subgroup, designated TBL-related PBQs (TRs), contained questions that assessed knowledge included in a TBL module’s advance assignment or discussed during aTBL application exercise. The second group, designated TBL-unrelated PBQs (TUs), consisted of questions that were conceptually unrelated to any TBL module’s content.


각 PBQ의 변별도는 질문 품질의 유용한 지표로서 CCE 항목 분석에서 얻었으며, TR과 TU에 대한 평균 차별 지수를 계산했다.

The discrimination index of each PBQ was obtained from CCE item analysis as a useful indicator of question quality, and we calculated mean discrimination indices for TRs and TUs.



결과

Results


이 705개의 PBQ는 2년간의 연구 동안 모든 CCE 질문의 26.4%를 차지했다(표 2).

These 705 PBQs accounted for 26.4%of all CCE questions during our two-year study (Table 2).




이 연구에 포함된 178명의 학생들의 점수는 표 3에 요약되어 있다.

Scores for the 178 students included in this study are summarized in Table 3.




학업성취도(표 4)를 기준으로 학생들의 성적을 분석한 결과 TU(P.001)와 비교했을 때 1/4분위 학생과 4/4분위 학생 모두 TR에서 훨씬 높은 점수를 받았다.

Analysis of students’ performance by academic quartiles (Table 4) revealed that students in both the highest (n  45) and lowest (n  45) quartiles scored significantly higher on TRs compared with TUs (P  .001).




토론 & 고찰

Discussion and Conclusions


우리의 생각에, 5.9% 더 높은 평균 점수는 학습 목표 달성이 공통적인 목표인 교육자와 학습자에게 의미가 있을 만큼 충분히 크다.

In our opinion, a 5.9%higher mean score is large enough to be meaningful for educators and learners whose common goal is achievement of learning objectives.


TBL 세션이 시작될 때 IRAT 시험이 있음을 아는 것은 학생들이 사전 과제에 포함된 지식을 독자적으로 습득하려고 노력함으로써 잘 준비하도록 동기를 부여한다. 이해하지 못한 것이나 어려웠던 내용은 동료들과 GRAT에 대한 합의를 도출하기 위해 노력하는 과정에서 향상된다. 각 팀별로 질문의 구체적인 답이 무엇인지에 대한 이유를 동료들에게 설명해야 하기 때문이다.

Knowing that the IRAT will be administered at the beginning of a TBL session motivates students to prepare well by attempting to independently master knowledge contained in the advance assignment. Gaps and deficiencies in understanding are improved as peers explain to their teammates why they favor specific answers to questions as the group works toward consensus for the GRAT.


최종 응용 연습은 각 팀이 교수가 설계한 문제를 해결하면서 응집된 지식을 활용해야 하는 과제를 주게 된다. 팀은 정보를 분석하고 단기간에 합의를 도출하기 위해 협상해야 한다. 팀들이 그들의 결정을 밝힌 후, 그룹간 토론은 각 팀들이 자신들의 결론을 뒷받침하는 증거와 추론을 반 학생들에게 설명하도록 요구한다.

The culminating application exercises challenge each team to use their aggregate knowledge as they wrestle with faculty-designed problems. Teams must analyze information and negotiate to achieve consensus within a short time. After teams reveal their decisions, the intergroup discussion requires teams to explain to the class the evidence and reasoning that support their conclusions.


TBL의 순차적 전략은 학습자들이 단순히 필수적인 사실들을 숙달하는 것을 넘어설 수 있도록 동기를 부여한다. 잘 구성된 응용 연습은 팀들이 특정 환자에게 가장 적합하거나 가능성이 높은 현실적인 상황에 지식을 적용하도록 요구한다. 합의에 도달하는 과정은 학생들은 듣기, 가르치기, 활발한 협상 기술을 개발하고 보여줄 것을 요구한다. 이어지는 팀간 논의는 모든 팀에게 그 결론에 관한 즉각적인 비교 피드백을 제공한다.

TBL’s sequential strategy motivates learners to go beyond mere mastery of essential facts. A well-crafted application exercise requires teams to apply knowledge to realistic situations, is most likely or most appropriate for a particular patient. The process of arriving at consensus demands that students develop and demonstrate listening, teaching, and vigorous negotiation skills. The interteam discussion that follows provides every team with immediate comparative feedback regarding its conclusions.


프랭크 스미스16(p87)은 장기 학습을 향상시키는 활동의 종류를 기술하면서 "우리는 우리 자신에게 흥미롭고 이해할 수 있는comprehensible 활동으로부터만 배울 수 있다. 다시 말해서, 만족스러운satisfying 활동에서 배울 수 있다"고 주장한다. "그렇지 않다면 비효율적인 암기, 즉 암기만 있을 뿐이며, 망각은 불가피하다"고 말했다.

In describing the kinds of activities that enhance long-term learning, Frank Smith16(p87) argues that “we can only learn from activities that are interesting and comprehensible to us; in other words, activities that are satisfying. If this is not the case, only inefficient rote learning, or memorization, is available to us and forgetting is inevitable.”


사분위수가 가장 낮은 학생들의 시험 성적에 더 큰 이점은 TBL의 전략과 관련이 있다. GRAT 및 애플리케이션 연습 동안 이뤄지는 [동료들 간의 날카로운 exchange]는 팀간 논의 시간에 [교수들의 management와 결합]하여 학생들이 지식의 기준을 달성하도록 돕는 [orchestrated 학습 연구소]로 볼 수 있다. 동료들은 합의된 답변에 도달하기 위하여 서로를 가르치고 있기 때문에, TBL 시작시점에서 내용 숙달력이 적은 사람들이 학습 이득이 더 클 가능성이 있는 것으로 보인다.

The larger beneficial effect on examination performance for lowest-quartile students compared with highest- quartile students correlates with TBL’s strategy. Pointed exchange among peers during the GRAT and application exercises, combined with faculty management of the interteam discussions, may be viewed as an orchestrated learning laboratory that helps students achieve a baseline of knowledge. Because peers are teaching each other while arriving at consensus answers, it seems reasonable that learning gains are likely to be greater for those who have less content mastery at the start of a TBL session.


이와 달리, 잘 준비된well-prepared 학생들은 다른 학생들과 대화하고 협상함으로써 그들 자신의 지식을 명확히 하고, 그들의 개인과 팀워크에 대한 점수를 받는다.

Well-prepared students clarify their own knowledge by verbalizing and negotiating with peers, are rewarded with grades for their individual and team efforts,


그러나 준비가 덜 된 학생들이 [동료들의 지식과 비판적 사고력]으로만 배우는 것이 아니다. 준비가 덜 된 학생이라고 해도 두 가지 요소에 의해서 앞으로 더 철저하게 준비해야 할 동기부여가 된다. 하나는, [IRAT에서 더 좋은 점수를 얻고자 하는 열망]이며, 다른 하나는 [이들도 조별 논의에 귀중한 기여를 할 것이라는 동료들의 기대]이다. intragroup teaching에서 드러나는 peer influence와, 잘 준비해와야 한다는 사회적 압력이 학업적으로 어려움을 겪는 학생도 수업 내용을 숙달하는 데 도움을 준다.17

However, students who arrive less prepared are not just enriched by their teammates’ knowledge and critical thinking skills. They are also motivated by two factors to prepare more thoroughly for future sessions: the desire to achieve a better grade on the IRAT, and their peers’ expectations that they will make valuable contributions to intrateam discussions. Peer influence, expressed through intragroup teaching and social pressure to prepare well, assists the academically challenged student in mastering course content.17


TBL이 효과적으로 구현되면 학업적으로 "위험한" 학생들도 과목의 상당 부분을 배울 수 있도록 한다.

Effective implementation of TBL enables students who are academically “at risk” to learn significant portions of course


그러나 peer tutoring과 같은 다른 교육 전략은 보건 직업 교육에서 학업 성과를 향상시키기 위해 문헌에 제시되었다.18 그러나, peer tutoring을 하기 위해서는 수업 외 시간에 상당한 시간적 헌신이 필요하다.

Other educational strategies, such as peer tutoring, have been shown in the literature to improve academic performance in health professions education.18 Peer tutoring, however, requires significant time commitments outside class.


TBL 관련 학습 편익에 대한 우리의 결론은 다른 의학 분야에는 적용되지 않을 수 있다.

our conclusions about TBL-related learning benefits may not apply to other medical science disciplines.


[TBL 모듈이 종료된 후 수 개월 이후에 시행되는 검사] 또는 [TBL을 사용한 여러 과정으로부터 얻은 지식을 평가하는 종합 시험]에 대한 수행 등을 통해서 장기 학습에 대한 잠재적 편익을 평가할 필요가 있다.

Potential benefits for longer-term learning need to be evaluated, such as performance on examinations administered several months after a TBL module or performance on comprehensive examinations assessing knowledge gained from several courses in which TBL was used.


마지막으로, 그리고 아마도 가장 중요한 한계는 콘텐츠 관련 TBL 모듈 이후 4주 이내에 검사 성과를 측정한 것이다. 따라서, 우리의 결과는 비교적 단기적인 학습에 대한 이점을 보여준다.

Finally, and perhaps the most important limitation, examination performance was measured within four weeks after content-related TBL modules. Therefore, our results show benefits for relatively short-term learning.






 2010 Nov;85(11):1739-45. doi: 10.1097/ACM.0b013e3181f52bed.

The impact of team-based learning on medical students' academic performance.

Author information

1
Department of Pathology, Boonshoft School of Medicine, Wright State University, Dayton, Ohio 45435-0001, USA. paul.koles@wright.edu

Abstract

PURPOSE:

Since team-based learning (TBL) was introduced as a medical education strategy in 2001, few studies have explored its impacton learning outcomes, particularly as measured by performance on examinations. Educators considering implementing TBL need evidence of its effectiveness. This study was conducted to determine whether student performance on examinations is affected by participation in TBL and whether TBL benefits lower- or higher-performing students.

METHOD:

The authors analyzed the performance of second-year medical students on 28 comprehensive course examinations over two consecutive academic years (2003-2004, 2004-2005) at the Boonshoft School of Medicine.

RESULTS:

The 178 students (86 men, 92 women) included in the study achieved 5.9% (standard deviation [SD] 5.5) higher mean scores on examination questions that assessed their knowledge of pathology-based content learned using the TBL strategy compared with questions assessing pathology-based content learned via other methods (P < .001, t test). Students whose overall academic performance placed them in the lowest quartile of the class benefited more from TBL than did those in the highest quartile. Lowest-quartile students' mean scores were 7.9% (SD 6.0) higher on examination questions related to TBL modules than examination questions not related to TBL modules, whereas highest-quartile students' mean scores were 3.8% (SD 5.4) higher (P = .001, two-way analysis of variance).

CONCLUSIONS:

Medical students' higher performance on examination questions related to course content learned through TBL suggests that TBL enhances mastery of course content. Students in the lowest academic quartile may benefit more than highest-quartile students from the TBL strategy.

PMID:
 
20881827
 
DOI:
 
10.1097/ACM.0b013e3181f52bed


맥락과 임상추론: 전문가의 관점에서 이해(Med Educ, 2011)

Context and clinical reasoning: understanding the perspective of the expert’s voice

Steven Durning1, Anthony R Artino Jr.1, Louis Pangaro1, Cees PM van der Vleuten2 & Lambert Schuwirth2





도입

INTRODUCTION


임상적 추론은 진단을 확립하는 것(진단적 추론)과 환자의 상황과 선호에 특정한 행동 계획을 결정하는 것(치료적 추론) 모두를 포함한다.

Clinical reasoning involves both establishing the diagnosis (diagnostic reasoning) and deciding on a plan for action that is specific to the patient’s circumstances and preferences (therapeutic reasoning).


임상 추론은 의사들이 특정한 상황이나 맥락에서 가장 잘 판단되는 행동을 선택함으로써 '현명한' 행동을 취할 수 있게 한다.3,4

Clinical reasoning enables doctors to take ‘wise’ action by selecting the best-judged action in a specific situation or context.3,4


임상 추론의 복잡한 성질은 앞에서 설명한 바 있다.2 추론에는 판단, 통찰, 경험이 필요하며, 이 모든 것은 부분적으로 암묵적인 지식에 의존한다. 암묵적 지식은 눈에 보이지도 않고 유형도 없으며, 평가하기도 어렵다.5 게다가, 연구에 따르면 지식, 경험, 추론을 분리하는 것은 쉬운 일이 아니다.6-8 더 나아가 의사는 상황(또는 사례)마다 서로 다른  퍼포먼스를 보여준다. 이것은 종종 맥락 특이성의 문제라고 언급된다.17 실제로 많은 학자들은 임상 추론은 행동을 통해서만 드러난다고 주장해왔다. 9,10 그리고 그러한 행동은 반드시 개별 임상상황에 고유한 맥락에 잠재적으로 영향 받게 된다.

The complex nature of clinical reasoning has been previously described.2 Reasoning involves judgement, insight and experience, all of which depend, in part, on tacit knowledge. Tacit knowledge is neither visible nor tangible, and is difficult to evaluate.5 Additionally, studies have found it challenging to disentangle knowledge, experience and reasoning.6–8 Further, doctor performance across situations (or cases) has been shown to vary; this is often referred to as a problem of context specificity.1,7 Indeed, many scholars have argued that clinical reasoning is revealed only in action9,10 and that such action necessarily incorporates the potential influence of the unique context of the clinical encounter.


맥락특이성은 우선 임상 추론에 대한 우리의 이해에 도전을 제기한다. 실제 세계에서의 추론은 매우 복잡하고 특정 환자의 문제와 환자를 진료하는 세팅에 따라 달라질 수 있다. 의료 이외의 분야의 연구 결과에 따르면, 그러한 authentic한 상황에서 추론은 상당부분 환경에 의존한다는 것을 발견했다.11,12

Context specificity poses challenges to our understanding of clinical reasoning Firstly, reasoning in the real world (versus a controlled experimental setting) can be highly complex and dependent upon the specific patient’s problems and the setting in which the patient is evaluated. Work outside medicine has found that reasoning in such authentic situations places significant reliance on the environment.11,12


더욱이, 최근의 연구는 의사마다 동일한 임상 사건에 대해 유사하지만 약간씩은 다른 해석을 할 수 있다는 것을 보여주었다.13 이 발견은 또한 맥락이 임상 추론에 매우 중요하다는 것을 암시한다.

What is more, recent work has shown that different participant groups can have similar, yet slightly different, interpretations of the same clinical event.13 This finding also suggests that context is critically important to clinical reasoning.


상황의존적 인지situated cognition과 생태 심리학이라는 두 개의 현대 심리 이론은 교육과 임상적 모두에서 맥락을 고려하는데 유용한 프레임워크를 제안한다.12,15–17 이 이론들은 지식, 추론, 학습이 모두 경험에 situated or located 되어있다고 주장한다. '경험'은 참가자들뿐만 아니라, 물리적 환경이나 환경도 가리킨다.

Two contemporary psychological theories, situated cognition and ecological psychology, propose frameworks for considering context in both education and the clinical encounter.12,15–17 These theories argue that knowledge, reasoning and learning are situated, or located, in experience. Experience refers to not only the participants, but also to the physical environment or setting.


Situated cognition은 개별 의사와 환자 성과(이 경우 환자 치료) 사이에 복잡한 상호작용이 있다고 주장한다. 임상상황의 구성요소를 의사, 환자, 상황 요인으로 나누는 것은 이들 요인 사이의 잠재적 복잡한 상호작용을 조명하는 데 도움이 될 수 있다.

Situated cognition argues that there are complex interactions between the individual participants and the outcome (in this case, patient care) in the medical encounter. Dividing components of the clinical encounter into doctor, patient and setting factors, as supported by situated cognition, can help to illuminate the potential complex interactions between these factors.


생태심리학에서는 어포던스(Aff, 환경이 제공하는 것)이펙티비티(Eff, 참여자가 해당 환경에서 잠재적으로 할 수 있는 것) 측면에서 주체(의사)-환경 상호작용의 개념을 제안한다. Aff와 Eff는 (상호 의존적이기 때문에) 완전히 분리될 수 없으며, 구체적인 상황에 따라 달라진다. 예를 들어, 성인은 차에 대한 Eff가 있기 때문에 운전이 가능하지만, 어린 아이는 Eff가 부족하므로 운전을 할 수 없다.

ecological psychology proposes agent (participant)– environment interaction in terms of affordances (what the environment provides) and effectivities (what the participant can potentially do in that environment). Affordances and effectivities cannot be completely separated (as they are interdependent) and are predicated on the specific situation. For example, a car is drivable by an adult because the adult has the necessary effectivities, but a car is not drivable by a young child who lacks these effectivities.


마지막으로, 이 두 이론은 "환경"이란 최소화하고 일반적으로 무시해야 하는 '소음'의 일부라기보다는 측정할 신호signal, 즉 의미 있는 분산의 하나라고 제안한다. 즉, 추론이 당면한 경험의 세부사항(참여자, 세팅, 이 둘의 상호 작용)에 따라 달라지기 때문에 그 발생 상황이나 맥락을 고려하지 않고서 임상추론을 충분히 평가할 수 없다.

Finally, these two theories propose that the environment is a part of the signal, or meaningful variance, to be measured, rather than part of the ‘noise’, which is to be minimised and generally ignored. In other words, we cannot fully appreciate clinical reasoning without considering the context or situation in which it occurs because reasoning is located in the details of the experience at hand (participants, setting and their interactions).


(그림 1).

(Fig. 1).


본 연구에서는 선택된 상황 요인이 임상 추론에 어떤 영향을 미쳤는지와 관련하여 이사회 인증을 받은 내과전문의(전문가)의 구두적 관점을 탐구하였다.

In this study, we explored the verbalised views of board-certified internists (experts) in relation to how selected contextual factors influenced their clinical reasoning.



METHODS


참여자

Participants


설계

Design


임상 추론에 대한 맥락의 영향을 풀기 위해 정성적 분석적 접근법을 사용했다.

To untangle the influence of context on clinical reasoning, we used a qualitative analytic approach.


우리는 선택된 환자와 접점 요인(표 1)을 수정하여 전문가의 진단 및 치료 추론에 대한 컨텍스트의 영향을 탐구하였다. 우리는 특별히 두 가지 환자 요인을 변화시켰다. 

    • (i) 정서적 변동성(의사 자격 증명에 도전하는 것으로 입증됨) 및 

    • (ii) 영어 능력의 수준 또한 다음과 같은 두 가지 접점 요인을 명시적으로 탐구했다. 

    • (i) 잘못된 진단 또는 치료(잘못된 제안)를 제안하는 환자 

    • (ii) 일반적인 조건 대 비정상적인 상태 표시.

We modified selected patient and encounter factors (Table 1) to explore the influence of context on experts’ diagnostic and therapeutic reasoning. We specifically varied two patient factors: 

(i) emotional volatility (manifested as challenging the doctor’s credentials), and 

(ii) level of English language proficiency. We also explicitly explored two encounter factors: 

(i) the patient suggesting an incorrect diagnosis or therapy (incorrect suggestion), and 

(ii) a typical versus atypical presentation of the condition.


따라서 환자 요인 비디오테이프의 경우, 비디오 1은 의사의 자격 증명에 도전하는 환자를, 비디오 2는 환자의 낮은 영어 실력을, 비디오 3은 의사의 자격 증명에 도전하는 것과 낮은 영어 실력을 모두 묘사했다(표 1).

Thus, for patient factor videotapes, video 1 depicted a patient challenging the doctor’s credentials, video 2 depicted low English proficiency of the patient, and video 3 depicted both challenging the doctor’s credentials and low English proficiency (Table 1).





참가자들은 비디오테이프를 시청한 후, 진단 및 관리 계획을 적어 종전에 검증된 PEF를 완성했다.13,18 PEF를 작성한 직후, 참가자들은 연구 보조원이 지원하는 사고-알람 프로토콜을 사용하여 동일한 비디오 테이프 조회를 검토했다. 비디오 테이프 모두에 대한 PEF와 think-aloud (T-A) 프로토콜을 마친 후,  참가자들은 선택된 환자의 영향과 비디오 테이프에서 수정된 요인에 대해서 성찰하도록 하는 설문 조사(개방형 질문)를 완료했다. 그러나, 참가자들은 이러한 요소들이 연구에서 수정되었다는 것을 듣지 못했다.

Participants watched a videotape and then completed a previously validated post-encounter form by writing down their diagnosis and management plan.13,18 Immediately after completing the post-encounter form, participants reviewed the same videotape encounter using a think-aloud protocol facilitated by a research assistant.6 After completing the post-encounter forms and think-aloud protocols for all three videotapes, participants completed a survey (open-ended questions) in which they were asked to reflect on the influence of the selected patient and encounter factors modified in the videotapes. However, the participants were not told that these factors were modified in the study.


    • 요인 x(예: 영어 실력이 낮은 환자)가 진단 결정에 영향을 미치는지 여부에 대해 어떻게 생각하십니까? 왜 또는 왜 아닌가? 

    • 요인 x(예: 잘못된 진단을 제안하는 환자)가 치료 결정에 영향을 미치는지에 대한 당신의 생각은 무엇인가? 왜 그런가요? 혹은 왜 그렇지 않은가요?

    • What are your thoughts about whether factor x (e.g. a patient with low English proficiency) influences your diagnostic decisions? Why or why not? 

    • What are your thoughts about whether factor x (e.g. a patient who suggests an incorrect diagnosis) influences your therapeutic decisions? Why or why not?


자료 분석

Data analysis



결과

RESULTS



맥락요인의 영향에 영향을 주는 요인

Components influencing the impact of contextual factors


"추가 자원 필요"라는 주제에 따르면, 네 가지 상황적 요인의 존재(표 1)에 따라 참가자가 진단을 확립하거나 치료를 제공하기 위해 추가 시간, 추가 면담, 추가 테스트의 필요성을 구두로 설명하는 방법에 포함되었다. 특히, 참여자들은 추가 자원의 사용을 초래한 germane 또는 더 많은 peripheral 문제(표 2)를 구두로 표현했다.

The requirement for additional resources theme pertained to how the presence of the four contextual factors under study (Table 1) often led the participant to verbalise the need for additional time, additional consultation or additional testing to establish the diagnosis or provide therapy. Notably, participants verbalised either germane or more peripheral issues (Table 2) that led to their use of additional resources;


Germane 이슈란 문제는 진단 또는 치료의 확립과 직접 관련된 문제를 말한다

Germane issues were those that were directly related to establishing the diagnosis or treatment:


'이 환자는 쉽지 않았다. 나는 내 최종 진단은 추가 workup에 따라 크게 달라질 것이다.' (생각할 만한 해설; 비정형적인 프레젠테이션)

‘This one is tough, and I am not sure so my final diagnosis would rest heavily on additional workup.’ (Think-aloud comment; atypical presentation)


주변 문제는 진단이나 치료의 달성에 필수적이지는 않지만, 여전히 추가적인 자원 사용으로 이어지는 이슈이다. Volatility와 잘못된 제안은 종종 주변적인 문제가 발생시켜 리소스 사용을 증가시켰다.

Peripheral issues referred to issues that were deemed not to be essential to achieving a diagnosis or therapy, but that still led to additional resource use. Volatility and incorrect suggestion often resulted in a peripheral issue that led to increased resource use:


특히, 연구된 네 가지 상황적 요인은 모두 자원 사용 증가로 이어지는 germane 또는 peripheral 문제를 야기할 수 있다.

Notably, all four of the contextual factors studied could result in either germane or peripheral issues leading to increased resource use.



"맥락 요인을 무시하거나 사용하는 것"은 맥락적 요인을 다루는 방법과 관련된 하위 주제 중 하나였다(표 2). 여기의 subtheme에는 

    • 상황적 요인의 출처에 대한 신뢰도, 

    • 맥락적 요인에 의해 유발된 감정, 

    • 환자면담의 목표였다.

Dismissing or using the contextual factor was a theme in which experts also voiced several sub-themes related to how they deal with the contextual factor (Table 2). These sub-themes were: 

    • credibility of the source of the contextual factor; 

    • emotions invoked by the contextual factor, and 

    • goals for the appointment.


예를 들어, 환자가 잘못된 진단을 제안하는 경우 출처의 신뢰성을 판단하였다.

For example, participants did not fully agree on the credibility of the source of the incorrect diagnostic suggestion:


'환자 진단 또는 치료사상이 WebMD와 같은 유효한 외부 기관이나 의사 가족 구성원 또는 친구로부터 온 경우, 제공된 정보를 고려할 가능성이 높다.')

‘When the patient’s diagnostic or therapeutic ideas are from a valid external authority such as WebMD or physician family member or friend, I am more likely to consider the information provided.’ (Free-text comment)


맥락적 요인은 진료에 도움이 되거나 문제가 될 수 있다.

Using one of the four contextual factors could be either beneficial to the encounter or potentially problematic:


'포기하고 싶었다' (자유 텍스트 코멘트, volatility, 문제적 사용)

‘I want to give up…’ (Free-text comment; volatility, problematic use)


맥락적 요인을 무시하는 경우도 관찰되었다.

Dismissing or disregarding the contextual factor was also observed in both analyses:


참가자들은 면담 상황의 다양한 목표를 언급했다. 두 가지 범주였는데, 하나는 실용적 목표가 있었고, 다른 하나는 학습 지향적 목표가 있었다.

Participants verbalised different goals for the appointment in both think-aloud and free-text material (Table 2). Verbalised goals fell into two categories according to whether they were pragmatic or oriented toward learning:


환자를 어떤 상황에서 만나느냐도 영향을 주었다. 환자를 만난 상황이 volatility에 대한 인식을 약화시키거나 확대시킬 수 있는 것으로 나타났다.

The influence of the encounter setting (Table 2) was evident only in think-aloud material. it appeared that encounter setting could dampen or magnify the participant’s perception of volatility:


'환자가 응급실에 있기 때문에 더욱 주의를 기울인다. 환자에게 더 신경을 써야 한다.' (생각하는 듯한 논평, 변동성)

‘It gets more of my attention because the patient is in the emergency room – it must be more concerning to the patient…’ (Think-aloud comment; volatility)




맥락적 요인을 해결하는 기전

Mechanisms for addressing contextual factors


참가자들은 이러한 네 가지 상황적 요인을 다루기 위한 메커니즘으로 두 가지 주제를 제시했다(표). 하나는 명시적 접근법(환자와 의사의 목적의 균형)에 관한 것이고, 다른 하나는 때때로 암묵적(요인의 상호작용)인 것처럼 보였다.

Participants voiced two themes that pertain to general mechanisms for addressing these four contextual factors (Table 2). One concerned an explicit approach (balancing the goals of the patient and doctor) and the other appeared to be at times implicit (interaction of factors).


예를 들어, 가능성이 낮은 진단에 대해서도 workup을 고려하는 것은 아마도 환자와의 치료적 동맹(목표)을 확립하는 수단일 것이다. 의사와 환자의 목표의 균형을 맞추는 이 주제는 일부 참가자들에 의해 분명히 언급되었다.

For example, giving consideration to a workup for an unlikely diagnosis is perhaps a means of establishing a therapeutic alliance (a goal) with the patient. This theme of balancing doctor and patient goals was explicitly mentioned by some participants:


'이러한 [환경적 요인]이 내 사고과정에 미치는 영향은... 나는 나의 목표와 그들의 목표 사이에서 균형을 맞춰야 하며, 결국 종종 어딘가에서 중간지점에서 만나는 것을 발견한다.' 라고 말했다.

‘With these [contextual factors], their influence on my thinking depends… I need to balance my goals and their goals and I often find myself meeting somewhere in the middle.’ (Think-aloud comment)


'나는 진료를 보러 온 환자들의 목표를 알기 전에는 환자의 생각이나 요청에 어떻게 반응할지 알 수 없다. 그러나 알게 되면 그에 따라 조정하면 된다. 환자들의 목표들은 예측할 수 없고, 진료가 진행되면서 종종 바뀌는 것 같다.' (생각하는 듯한 논평)

‘I don’t know how I will respond to a patient’s ideas or requests until I know what their goals for the appointment are and I will adjust my goals accordingly…these goals are unpredictable and often seem to change as the appointment goes on.’ (Think-aloud comment)


"요인 간의 상호작용"이라는 주제는 상황적 요인을 다루는 두 번째 일반적인 메커니즘이었다. 상황 요인의 상호작용이 어떻게 우리의 네 가지 상황 요인을 다루기 위한 일반적인 메커니즘이 되는지를 보여주었다.

The theme of interaction among factors was a second general mechanism for addressing contextual factors. Multiple examples from both the free-text responses as well as the think-aloud data demonstrated how contextual factors’ interactions represent a general mechanism for addressing our four contextual factors.


'그래서 환자는 전형적이지 않았으며, 의사에 대한 의구심을 표하며 10,000가지 일을 짧은 시간에 처리하기를 원했다... 여러가지 요구들이 서로 경쟁상태에 있을 때, 모든 것에 집중하는 것은 어렵다. 이러한 상황에서는 오히려 중요한 것이 혼란스러워질 수 있다. (자유 텍스트 코멘트)

‘So the patient presents in non-classic fashion and wants 10 000 things done in a short appointment time while challenging your credentials…it’s hard to get everything done and focus when people have all these competing demands – important things can, and do, get confused when this happens.’ (Free-text comment)


환자 진료에 대한 맥락적 요인의 영향

Consequences of contextual factors for patient care


데이터에서 두 가지 주제, 즉 핵심 발견의 누락과 보정(표 2)이 나왔다. 주요 발견을 간과하는 것은 참가자들이 사상적 자료에서 4가지 상황적 요인 중 2개 이상의 존재를 인정할 때 특히 발생할 가능성이 높았다. 중요한 것은, 사소한 finding만 누락되는 것은 아니라는 것이다. 대신에, 핵심 진단 정보나 치료 정보도 꾸준히 누락되었다.

Two themes emerged from the data: the missing of key findings, and calibration (Table 2). The overlooking of key findings was particularly likely to occur when participants acknowledged the presence of two or more of the four contextual factors in thinkaloud material. Importantly, the missed data did not pertain to trivial findings; instead, the data consistently represented key diagnostic or therapeutic information, which the participant acknowledged when watching the video (the second time) in the think-aloud activity.


'처음에 타키프노아, 저산소증을 놓쳤다...'

‘I missed the tachycardia, tachypnoea, and hypoxia the first time…’


이러한 데이터는 여러 상황적 요인을 인식하는 것이 내과전문의의 집중력에 영향을 미칠 수 있음을 시사한다. 예측에 부합하지 않는 방식으로 요인이 나타날 경우, 맥락 요인은 더 어려운 것이 되어서, 처리하는 데 더 많은 노력을 들여야 했다.

These data suggest that recognising multiple contextual factors can influence the attention of the expert internist. This was supported by the finding that participants found the contextual factor more difficult when the factor presented in a way that did not meet their expectations, a circumstance that may invoke more effortful processing:



'이런 [요인]은 환자가 일반적인 패턴이나 나의 기대에 맞지 않을 때 특히 다루기 어렵다. 예를 들어, 영어 실력이 낮은 고학력 환자와 같은 경우.... (자유 텍스트 코멘트)

‘I find these [contextual factors] particularly difficult to deal with when the patient doesn’t fit the usual pattern for the factor or my expectation… for example, a very educated patient with low English proficiency…’ (Free-text comment)



Calibration이라는 주제(표 2)는 환자 치료에 대한 맥락적 요인의 영향에 대한 practitioner의 의견을 말한다. 이에 따른 영향은 치료에 유익하거나 환자 치료에 대한 장벽이 되었다. 특히, 두 개 이상의 맥락적 요인이 존재할 때, 둘 다 유익하지 않았다. 이는 단독으로 존재하는 요인일 경우에 잠재적으로 유익했던 경우에도 발생한다. 따라서, 복수의 요인의 존재는 지속적으로 전문 내과 의사들에 의해 효과적인 환자 치료의 제공에 문제를 일으키는 것으로 간주되었다.

The theme of calibration (Table 2) referred to the practitioner’s opinion of the impact of the contextual factor on patient care. The perceived impact was described as either beneficial to care or as a barrier against or problematic for patient care. Notably, when more than one contextual factor was described, none of them were viewed as beneficial. This occurred even when a specific participant mentioned one of those factors as being potentially beneficial when it was the only contextual factor present. Thus, the presence of multiple factors was consistently viewed by expert internists as problematic to the provision of effective patient care.



의사들은 환자의 부정확한 진단 제안보다 부정확한 치료 제안서을 더 무시하였다. 이는 불필요한 workup으로 인해 생길 수 있는 위험이 부적절한 치료에 의한 위험보다 적다는 가정에 근거할 수 있다. 또한, 참가자들은 환자가 잘못된 진단을 제안하더라도 그것을 pursue할 가능성이 매우 낮으며, 환자가 잘못된 진단을 제안했을 때 1차 진단 고려사항을 변경하지 않았다고 말했다.

Participants were less likely to incorporate the patient’s incorrect treatment suggestions than diagnostic suggestions. This may be based on the assumption that the risk to the patient of an unneeded workup is often less than that of inappropriate treatment. In addition, participants stated that they were ‘less likely to very unlikely’ to pursue a suggested incorrect diagnosis and did not change their primary diagnostic consideration when the patient suggested an incorrect diagnosis:


'그 진단 아이디어는 내 차이에 비해 낮지만 좀 더 탐구하고 싶다...' (생각-알람된 논평)

‘I’d like to explore that diagnostic idea further though it’s low on my differential…’ (Think-aloud comment)


인지 부하 이론에 따르면 작동 메모리에서 정보를 처리할 수 있는 우리의 능력이 제한되어 있다

the cognitive load theory notion that our capacity to process information in working memory is limited


두 개 이상의 요인이 있을 때, calibration은 (도움이 되는 것이 아니라) 환자 진료에 대한 장벽으로 간주되었다. 예를 들어, 네 가지 요소 중 두 개 이상의 존재가 특히 문제였으며, 종종 추가 workup을 촉발할 수 있다는 의견이 제시되었다.

when more than one factor was present, the themes were viewed as a barrier to patient care (as opposed to being helpful). For example, several comments suggested that the presence of more than one of these four factors was particularly problematic and would often trigger additional workup:


또한, 환자가 진단을 제안하게 되면, goal-free problem이 goal-specific problem으로 바뀐다. 인지 부하 이론에 따르면, GSP가 되면 인지 부하가 상당히 증가한다.20,21

Further, the suggestion of a diagnosis changes a goalfree problem into a goal-specific problem. The principles of cognitive load theory predict that changing to a goal-specific problem results in a significant increase in cognitive load.20,21


앞에서 설명한 모델의 일반화를 지지한다고 믿는 몇 가지 결과가 나왔다. 첫째, 우리의 구체적인 맥락 요인은 지속적으로 구두로 표현되었고, 내과의사 실무에서 일반적이거나 널리 퍼져있다.

Several findings emerged that we believe support the generalisability of the model described above. Firstly, our specific contextual factors were consistently verbalised as being common or prevalent in internal medicine practice:


두 번째 발견은, 때때로 이러한 상황별 이슈를 다루기 어렵다는 것을 반영했다.

A second finding reflected the difficulty, at times, of dealing with these contextual issues:


세 번째 결과는, 네 가지 상황 요인이 임상 추론에 미칠 수 있는 부정적인 일반적인 영향에 대한 것이다.

A third finding referred to the negative general influence the four contextual factors can have on clinical reasoning.


'...진단의 딜레마로 이어질 수 있다...' (자유 텍스트 코멘트, 잘못된 제안)

‘…can lead to diagnostic dilemmas…’ (Free-text comment; incorrect suggestion)


DISCUSSION


우리의 분석에서 4가지 중요한 발견이 나왔다. 

Four major findings emerged from our analysis.


첫째, 맥락적 요인들은 서로 상호작용할 수 있으며, 이러한 상호작용이 맥락적 요인이 임상 추론에 영향을 미치는 방식을 결정하는 중요한 메커니즘이다. 이러한 상호작용은 주요 데이터를 누락시키거나 calibration하도록 하며, 또는 극성을 유발한다(인자를 유익한 것 또는 진료의 장애물로 인식하게 함). 또한, 우리의 데이터는 calibration은 둘 이상의 요인이 존재한다면 변화할 수 있으며, 실제로 변화함을 시사한다. 맥락적 요인 간의 상호작용 개념은 situated cognition및 생태 심리학 이론의 핵심 개념과 일치한다(그림 1). 예를 들어, 의사들이 T-A 활동에서 둘 이상의 요인을 식별했을 때, 이러한 요소들은 언제나 문제가 되는 것으로 생각했으며, 결코 환자 치료에 이로운 것이 아니라고 간주하였다. 그러나 이것은 의사가 T-A 활동에서 복수의 요인을 인식했다고 말한 경우에만 사실이었다. 즉, 둘 이상의 요인을 묘사하는 비디오 테이프에서, 의사가 하나의 요인만을 인식했을 경우, 이 요인은 환자 치료에 유익하다고 여겨지기도 하였다.

 Firstly, contextual factors can interact and this interaction is an important mechanism determining how contextual factors influence clinical reasoning. This interaction can result in either the missing of key data or in calibration or polarity (the perception of the factor as beneficial or a barrier to care). Further, our data suggest that calibration can and does change based on the presence of more than one factor. This notion of interaction among contextual factors is consistent with core tenets of situated cognition and ecological psychology theories (Fig. 1). For example, when participants identified more than one factor in the think-aloud activity, these factors were consistently seen as problematic and never as beneficial to patient care. However, this was true only when the participant voiced the presence of multiple factors in the think-aloud activity; on videotapes portraying more than one factor (but for which the participant acknowledged only a single factor), the verbalised factor could be seen as beneficial to patient care.


복수의 요인이 함께 존재할 경우, 요인들은 긍정적으로 인식되지 않았는데, 왜냐하면 요인들에 의해 유발되는 인지 부하가 증가하기 때문이다. 복수의 요인이 존재하는 상황은 우선 부정적인 인식(참가자가 인지 부하를 인지할 수 있는 경우)으로 이어질 수 있으며, 이 요인이 해결되지 않으면, 나중에 (인식 자원이 과부하될 때) 주요 데이터를 놓치게 만들 수 있다.

factors are not viewed as positive when multiple factors are known to coexist because of the increased cognitive load induced by these factors. This situation may first lead to a negative perception (when the participant may be aware of cognitive load), which, if not addressed, may subsequently lead to the missing of key data in the encounter (when cognitive resources are overloaded).


중요한 함의; 장기 기억에 스키마가 덜 발달된 novice들은 이러한 현상에 훨씬 더 취약할 것이다.

important implications ; non-experts may be even more susceptible to this phenomenon because the schemas they hold in long-term memory are less developed. 


의사들이 임상 상황에서 작업기억 자원이 한계에 도달했음을 인지하도록 돕는 것은 이러한 상황 요인 효과의 부정적인 결과를 줄이거나 예방하는 데 도움이 될 수 있다. [근무시간 규정에 따라 적절한 길이로 진료를 보장하고, 인지보조장치(즉, 임상 검색 엔진에 접근할 수 있는 컴퓨터)를 설정하는 것과 같은] 실질적인 조치는 인지 부하를 줄이는 데 도움이 될 수 있다. 또한 '속도를 늦춰야 할 때 속도를 늦추는' 결정을 내리면 얻을 수 있는 잠재적 이득이 있다.22

Helping doctors to recognise when working memory resources are being stressed in the clinical situation might help to reduce or prevent the negative consequences of this contextual factor effect. Practical measures such as ensuring appointments are of adequate length, following duty hour regulations and setting aides (i.e. computers with access to clinical search engines) may help to reduce cognitive load. In addition, the potential benefits of ‘slowing down’ decision making ‘when you should’ have been discussed elsewhere.22


둘째로, 우리의 결과는 상황 요인이 임상 추론 성과에 영향을 미친다는 것을 시사하며, 전문가들은 역시 이러한 영향을 알고 있는 것 같다. 한 가지 관점에서 보면, 의사들이 이러한 요소들 중 많은 것들이 그들의 임상적 추론에 영향을 미칠 수 있는 정도를 알고 있는 것처럼 보인다는 것을 알게 되면 안심이 된다. 그러나 반대로, 의사에게 복수의 상황적 요인이 존재하면 주요 정보를 놓치는 결과로 이어질 수 있다는 것을 인식하지 못하는 것은 걱정스러운 점이다

Secondly, our results suggest that contextual factors influence clinical reasoning performance – and experts seem to be aware of this influence . From one perspective, it is reassuring to find that doctors appear to be aware of the extent to which many of these factors may influence their clinical reasoning. By contrast, it is concerning that participants did not recognise that the presence of one or more factors might lead to themissing of key presenting information. 


이러한 결과는 자기평가 분야의 결과와 유사하며, 이는 능력 없는 의사들도 자신의 어려움을 덜 인식하는 경향이 있다는 것을 보여준다.23,24 다시 말해서, 우리의 데이터에 따르면, 높은 인지부하가 발생하면, 의사들은 스스로의 어려움과 관련하여 이용가능한 퍼포먼스 데이터를 '놓칠' 수 있음을 시사한다. 이러한 발견은 비전문가들(즉, 레지던트나 의대생) 사이에 데이터가 누락되는 행위가 훨씬 더 만연할 수 있다는 것을 의미한다.

This finding is similar to outcomes in the field of self-assessment, which have shown that doctors who are not competent also tend to be less aware of their difficulties.23,24 In other words, our data would suggest that doctors may ‘miss’ available performance data regarding their own difficulties (a potential reason for being less aware of their own difficulties) as a result of high cognitive load. This finding implies that the act of missing data may be even more prevalent among non-experts (i.e. residents or medical students).


또한, 우리는 전문가들이, 후향적으로, 자기가 데이터를 놓친 것을 깨달을 수 있으며, 상황을 혼란스럽게 만드는 맥락적 요인을 명확히 할 수 있다는 것을 발견했다. 따라서, 우리는 trainee가 임상사례를 발표할 때 이러한 요소를 이상을 명확히 인지하는 연습을 통해 전문지식을 개발할 수 있다는 가설을 제시한다. 추가 탐색을 통한 질문을 통해, 수습자의 임상 감독자는 연습자가 핵심 정보를 놓치지 않을 가능성을 개선할 수 있다.

Further, we have found that experts can articulate, in retrospect, their awareness of having overlooked data and of confounding contextual factors. Therefore, we would hypothesise that a trainee’s explicit awareness of one or more of these factors during their presentations may be a manifestation of developing expertise. Through the use of additional probing questions, a trainee’s clinical supervisor could improve the chances that the trainee will not miss key information.


셋째로, 조작한 네 가지 요소 각각이 유사한 주제로 이어졌음에, 우리의 데이터는 또한 요인별로 테마의 '패턴'이 다를 수 있음을 시사한다. 예를 들어, "자료의 신뢰성"이라는 요인은 잘못된 제안과 volatility에서만 나타난 주제였다.

Thirdly, although each of the four manipulated factors resulted in the generation of similar themes, our data also suggest that the ‘pattern’ of the themes can differ by factor. For example, credibility of the source of the factor was a theme unique to incorrect suggestion and volatility.


넷째, 주어진 맥락적 요소에 대한 전문가들의 견해는 복잡해 보인다. 잠재적으로 시사하는 바는 이러한 다양한 관점이 교수개발을 통해 수정될 수 있다는 것이다. 예를 들면, 

  • 상황별 요인의 잠재적 영향에 대한 인식 증대 (예: 연습생 회의를 통해) 

  • 이러한 요인을 처리하기 위한 효과적인 전략 제공 및 교육 (예: 연습생을 가르칠 때 스크립트로 작성된 케이스를 사용하여), 

  • 의료행위 전반에 걸쳐 자기조절의 중요성 강화 (예: 감독자 모델링)

Fourthly, experts’ views of a given contextual factor appear complex. A potential implication is that these views of the contextual factor may be modifiable by faculty development efforts. Practical implications could include 

  • improving awareness of the potential impact of contextual factors (e.g. through trainee conferences), 

  • providing and teaching effective strategies for dealing with these factors (e.g. by using scripted cases while precepting trainees), and 

  • reinforcing the importance of self-regulation throughout a doctor’s practice (e.g. by supervisor modelling)


예를 들어, [인식의 향상]에 관해서, 모든 전문가가 맥락적 요인의 존재를 인식하는 것은 아니다. 실제로 특정 상황에 대한 인식recognition 뿐만 아니라 그에 대한 반응reaction은 그 상황에 특이적인 다른 요인에 크게 의존하는 것으로 보인다. 즉, 이는 맥락이 오늘날의 환자 치료에 복잡하고 중요한 역할을 한다는 개념을 확증한다.

For example, with regard to improving awareness, not all experts recognise when a contextual factor is present. Indeed, an expert’s recognition of as well as reaction to a particular contextual factor appear to be highly dependent upon other factors unique to the particular situation, corroborating the notion that context plays a complex and significant role in day-today patient care:


우리의 데이터는 또한 수면 부족과 피로와 같이 인식을 방해할 수 있는 의사 요인을 다루는 이니셔티브가 상황 요인에 대한 처리능력을 개선할 뿐만 아니라, 상황 요인에 대한 인식능력을 개선할 수 있다는 것을 시사한다.

Our data would also suggest that initiatives addressing doctor factors that may hinder awareness, such as sleep deprivation and burnout, might not only improve doctor processing of contextual factors, but might also improve doctor recognition of contextual factors.


또한, 임상상황이 벌어지는 setting이 중요하다. 예를 들어, 우리의 연구결과에 따르면, 동일한 진단에 대해서도, 의사들은 클리닉에서는 심각성을 과소평가하고, 응급실에서의 심각성을 과대평가할 수 있다는 것을 시사한다. 이 주제는 의료에서 원치 않는 variance의 근원이 될 수 있다. 이러한 맥락적 현상이 임상 추론에 미치는 잠재적 영향에 대해 의사들에게 교육시키면 그 효과가 완화될 수 있다.

Additionally, the voiced influence of the encounter setting has important implications. For example, our findings would suggest that, for a given diagnosis, doctors may underestimate the seriousness of a presentation in the clinic and overestimate its seriousness in the emergency department; this theme may represent a source of unwanted variance in medical care. Educating doctors on the potential influence of this contextual phenomenon on clinical reasoning may mitigate its effect.


임상추론과 맥락의 이론을 향하여

Toward a theory of context and clinical reasoning


전반적으로, 이러한 발견들은 전문가의 이러한 요소들에 대한 견해가 상황에 매우 구체적이며, 만남의 참가자들, 그들의 목표와 설정에 영향을 받는다는 것을 암시한다.

In all, these findings suggest that an expert’s view of these factors is very specific to the situation and is influenced by the participants in the encounter, their goals and the setting.


이번 연구 결과가 임상 추론 맥락특이성을 뒷받침하는 잠재적 메커니즘에 대한 이해를 증진시킨다고 믿는다. 생태 심리학은 의사가 상황 요인의 영향을 인지하고 있을 때의 행동을 설명할 근거를 제공한다. 또한 [사람들이 여러 가지, 종종 경쟁적인 목표를 어떻게 균형을 맞추는지], [주어진 맥락에서 임상의사가 인식하는 Aff and Eff에 기반하여, 이러한 목표가 어떻게 변할 수 있는지]를 설명해준다. 또한 이러한 Aff와 Eff는 [개별 의사의 특성]과 [상황에 대한 추가 세부사항]에 따라 달라질 것으로 예상된다(그림 1).

We believe our findings enhance our understanding of potential mechanisms underpinning clinical reasoning context specificity. Ecological psychology provides a rationale to describe behaviour when a doctor is aware of the influence of contextual factors and elucidates how people balance multiple, often competing goals and how these goals can change based on affordances and effectivities perceived by the clinician in the context of the current environment, which includes the clinician’s interactions with other participants in the environment. Further, these affordances and effectivities would be anticipated to differ according to the characteristics of the individual doctor and additional specifics of the situation (Fig. 1).


인지 부하 이론은 의사가 상황 요인의 영향을 알지 못할 때(핵심 정보의 누락과 상호작용의 메커니즘이 존재할 때) 어떤 일이 일어나는지에 대한 근거를 제공한다. 인지적 부하 이론은 또한 상황적 요인을 germane 또는 peripheral 문제로 해석할 수 있다는 개념과 일치하며, 이는 [추가 자원의 필요성]이라는 theme으로 이어진다. 인지 부하 이론은 세 가지 형태의 부하를 제안한다. 이 중 두 가지(germane 및 extraneous)는 각각 germane 및 peripheral 문제에 관한 우리의 조사 결과와 일치한다.20,21

Cognitive load theory provides a rationale for what happens when the doctor is unaware of the influence of contextual factors (through the missing of key information and at times when the mechanism of interaction is present). Cognitive load theory is also consistent with the notion that contextual factors may be interpreted as germane or peripheral issues, which leads to the theme concerning the requirement for resources. Cognitive load theory proposes three forms of load; two of these (germane and extraneous) are consistent with our findings regarding germane and peripheral issues, respectively.20,21


전문가 수준의 체스 마스터가 체스판을 빨리 평가하고, 중요한 패턴을 확인하며, 따라서 비전문가보다 더 나은 움직임을 할 수 있는 것처럼, clinical encounter의 전문가인 의사는 특정 의사, 환자, 조우자의 nesting을 더 잘 인식하고 적절하게 주의를 기울일 수 있다고 본다. 요인과 그 상호작용은 합리적인 진단과 치료 계획에 더 잘 도달할 수 있다.

We would suggest that just as a chess master who demonstrates expert performance is able to quickly assess the chess board, identify important patterns and thus make better moves than a non-expert,6 an expert doctor in a clinical encounter is better able to recognise and appropriately attend to the nesting of specific doctor, patient and encounter factors and their interactions and thus is better able to arrive at reasonable diagnostic and therapeutic plans.


우리의 연구결과는 

  • 전문의들이 임상적 추론을 특정한 상황에 situated된 것으로 봄을 시사한다. 

  • 우리의 결과는 또한 특정한 환자와 임상 요인들이 의사의 임상 추론 과정에 영향을 미칠 수 있고, 실제로 영향을 미친다는 것을 보여준다.

  • 또한, 우리의 자료에 따르면 특정 요인이 의사에게 미치는 영향은 균일하지 않으며, 복수의 요인의 존재는 임상 추론에 영향을 미치는 복잡한 상호작용을 초래할 수 있다. 

  • 또한, 임상적 조우에 적용되는 situated cognition, ecological psychology, CLT의 개념을 뒷받침할 수 있는 증거를 찾아냈고, 맥락이 임상 추론에 영향을 미칠 수 있는 방법에 대한 모델을 제안했다. 

마지막으로, 우리의 데이터는 다음을 보여준다.

  • 의사가 종종 이러한 영향을 인지하고 있으며, 가끔은 그렇지 않은 경우도 있다

  • 목표가 상충하게 되면 이러한 요소들이 임상적 추론에 영향을 미치는 방식에 중요한 역할을 할 수 있다.

  • our findings suggest that expert doctors see clinical reasoning as situated in a specific situation. 

  • Our results also suggest that specific patient and encounter factors can and do influence the doctor’s clinical reasoning process. 

  • Further, our data suggest that the influence of factors on any given doctor is not uniform, andthe presence of multiple factors may lead to complex interactions which impact on clinical reasoning. 

  • Additionally, we found evidence to support tenets of situated cognition, ecological psychology and cognitive load theories as applied to the clinical encounter, and we have proposed a model based on how context may influence clinical reasoning. 

  • Finally, our data suggest 

  • that sometimes the doctor is aware of this influence (themes seen in both the think-aloud and free-text analyses) and sometimes he or she is not (as evident in the themes of overlooked key data and calibration), and 

  • that competing goals may play an important role in how these factors impact on the clinical reasoning of experts.






 2011 Sep;45(9):927-38. doi: 10.1111/j.1365-2923.2011.04053.x.

Context and clinical reasoningunderstanding the perspective of the expert's voice.

Author information

1
Department of Medicine, Uniformed Services University of the Health Sciences (USUHS), 4301 JonesBridge Road, Bethesda, MD 20814, USA. sdurning@usuhs.mil

Abstract

OBJECTIVES:

Prior work has found that a doctor's clinical reasoning performance varies on a case-by-case (situation) basis; this is often referred to as 'context specificity'. To explore the influence of context on diagnostic and therapeutic clinical reasoning, we constructed a series of videotapes to which doctors were asked to respond, modifying different contextual factors (patient, doctor, setting). We explored how these contextual factors, as displayed by videotape encounters, may have influenced the clinical reasoning of board-certified internists (experts). Our purpose was to clarify the influence of context on reasoning, to build upon education theory and to generate implications for education practice.

METHODS:

Qualitative data about experts were gathered from two sources: think-aloud protocols reflecting concurrent thought processes that occurred while board-certified internists viewed videotape encounters, and free-text responses to queries that explicitly asked these experts to comment on the influence of selected contextual factors on their clinical reasoning processes. These data sources provided both actual performance data (think-aloud responses) and opinions on reflection (free-text answers) regarding the influence of context on reasoning. Results for each data source were analysed for emergent themes and then combined into a unified theoretical model.

RESULTS:

Several themes emerged from our data and were broadly classified as components influencing the impact of contextual factors, mechanisms for addressing contextual factors, and consequences of contextual factors for patient care. Themes from both data sources had good overlap, indicating that experts are somewhat cognisant of the potential influences of context on their reasoning processes; notable exceptions concerned the themes of missed key findings, balancing of goals and the influence of encounter setting, which emerged in the think-aloud but not the free-text analysis.

CONCLUSIONS:

Our unified model is consistent with the tenets of cognitive load, situated cognition and ecological psychology theories. A number of potentially modifiable influences on clinical reasoning were identified. Implications for doctor training and practice are discussed.

Comment in


임상현장에서 피훈련자 감독과 학습의 필수요소로서 신뢰(Adv in Health Sci Educ, 2013)

Understanding trust as an essential element of trainee supervision and learning in the workplace

Karen E. Hauer • Olle ten Cate • Christy Boscardin • David M. Irby • William Iobst • Patricia S. O’Sullivan




임상 교사들은 매일 환자 치료를 위해 연습생들에게 얼마나 많은 자율성을 부여해야 하는지를 놓고 씨름한다.

Clinical teachers wrestle daily with how much autonomy to grant trainees for patient care.


[환자 관리]와 [학습]을 일치시키는 데 있어 중요한 변수 중 하나는 지도 의사와 trainee 사이의 신뢰다. 우리는 신뢰가 학습자의 참여와 책임을 점진적으로 높이는 것에 대한 문지기 역할을 한다고 주장한다.

One key variable in aligning the goals of patient care and learning is trust between the supervising physician and trainee. We argue that trust acts as a gatekeeper to the learner’s increasing level of participation and responsibility in the workplace.


  • 신뢰는 누군가를 믿거나 신뢰하는 것을 수반한다(Oxford Dictories n.d., a). 

  • 개인에게 어떤 것을 위임하는 것은 '누군가에게 어떤 것을 보살피게 하거나 책임을 할당하거나 것'이다.(Oxford Dictories n.d, b) 

  • 뢰는 감독자와 피훈련자 사이에서 발생하며, 일종의 "emergent state"이다. 여기에는 상호 작용, 맥락, 상황이 영향을 줄 뿐만 아니라, 개개인의 정보처리방식, 사고, 동기도 영향을 준다.

  • Trust entails believing or having confidence in someone or something (Oxford Dictionaries n.d., a). 

  • To entrust an individual with something is to ‘‘assign a responsibility to or put something into someone’s care.’’ (Oxford Dictionaries n.d., b) 

  • Trust develops between supervisor and trainee as ‘‘an emergent state’’ influenced by the interactions, context, and situation (Burke et al. 2007), as well as individuals’ information processing, thoughts, and motivations.


비록 의학은 역사적으로 환자 진료에 대한 개인의 자율성을 중시했지만(Cruess and Cruess 1997; Pont 2000), 임상 훈련 환경에서 감독자 의사는 훈련생들과 환자 돌봄 활동에 대해서 공유할 뿐만 아니라, 심지어 책임의 일부는 포기해야 한다. Trainee에게 위임하기 위해서는 연습생들의 역량을 인정해야 할 뿐만 아니라, 미래의 임상 상황에서 어떻게 행동할지를 예측하게 해주는 내면의 습관habit of mind과 전문직업성도 인정해야 한다(Dijksterhuis 등). 2009).

Although medicine as a profession historically has valued individual autonomy in service to one’s patients (Cruess and Cruess 1997; Pont 2000), clinical training environments necessitate that supervising physicians share and even relinquish some autonomous responsibility to trainees for patient care activities. Entrustment recognizes not only trainees’ competence, but also their habits of mind and professional traits that predict how they will behave in future clinical situations (Dijksterhuis et al. 2009).


훈련생마다 경험하는 감독관의 유형도 다르고, 감독관이 unsupervised activities에 대해서 신뢰하는 정도도 다르다(Kennedy 등, 2007; Wimmers 등, 2006). 

  • 신뢰받지 못한다면, 연습생들은 영구히 보조적 또는 관찰적 역할로 소외될 수 있으며, 궁극적으로 수행해야 하는 unsupervised practice에 대비할 수 없다. 

  • 과잉신뢰는, 어떤 사람을 적정 수준 이상으로 더 신뢰하는 경우를 말하는데, 이것은 trainee의 능력에 대한 부정확한 평가가 지속되게 하며, 안전하지 않은 환자 관리로 이어질 수 있다(Goel et al. 2005).

Trainees experience variation in how they are supervised and the amount of trust their supervisors have in them for unsupervised activities (Kennedy et al. 2007; Wimmers et al. 2006). 

  • Without trust, trainees can be perpetually marginalized to an assisting or observational role and left unprepared for eventual unsupervised practice. 

  • Over-trust, which occurs when someone trusts an individual more than is appropriate for the situation, can perpetuate inaccurate assessment of trainee ability and risk unsafe patient care (Goel et al. 2005).


감독자-훈련자 사이의 역동과 그들 사이의 신뢰는 사회문화 이론이라는 이론적 렌즈와 실천 공동체에서의 [합법적인 주변적 참여]를 통해 보다 잘 살펴볼 수 있다(Lave and Wenger 1991). 

  • 근무지 학습은 [학습자가 다른 의료 팀 구성원과 함께 환자관리를 advance하는 authentic한 역할]을 맡을 때 발생한다(Dornan et al. 2007). 

  • 근무지에서 참여도가 높아질수록 학습자는 지식을 쌓게 되고, 환경 및 여러 관계자와 친숙해지며, 다양한 범위의 과제와 문제에 노출될 수 있다(Billett 2000). 

  • 학습자가 근무지에서 필요한 지식을 습득함에 따라, 감독자들은 그들에게 더 독립적인 책임을 맡길 수 있다.

The supervisor–trainee dynamic and the trust between them can be productively examined through the theoretical lens of sociocultural theory and legitimate peripheral participation in communities of practice (Lave and Wenger 1991). Workplace learning occurs as learners assume authentic roles that advance patients’ care together with other health care team members (Dornan et al. 2007). Participating in the workplace builds knowledge, familiarizes learners with the setting and people involved, and provides exposure to the range of tasks and problems (Billett 2000). As learners acquire workplace knowledge, supervisors can afford them more independent responsibility.


두 개의 연구에서 독립적으로 의료 훈련생에 대한 감독자의 신뢰에 영향을 미치는 네 가지 광범위한 요인을 식별했다. 즉, 

  • 독자, 

  • 피훈련자, 

  • 상황 

  • (Stterksterhuis et al. 2010; Dijksterhuis et al. 2009). 

Two studies have independently identified four broad factors that influence supervisors’ trust in medical trainees: supervisor, trainee, context, and task (Sterkenburg et al. 2010; Dijksterhuis et al. 2009). 


임상수련의 경우, 감독자와의 상호작용과 관계는 학습에 중요한 요소로서, 이러한 직장 관계의 맥락 안에서 신뢰가 형성된다.

For clinical trainees, interactions and relationships with supervisors are critical ingredients for learning, and trust is formed within the context of these workplace relationships.


우리는 신뢰가 감독자, 수습자, 감독자-훈련자 관계, 상황 및 과제 등 다섯 가지 요소를 통해 임상 참여를 가능하게 하는 방법을 설명하는 모델을 제안한다(그림 1).

We propose a model that explains how trust enables clinical participation through these five factors—supervisor, trainee, supervisor–trainee relationship, context and task (Fig. 1).



(Table 1)


의학 교육, 간호, 심리학, 비즈니스 환경에서의 신뢰에 관한 연구에 초점을 맞춘 영문학을 비체계적인 문헌 검색을 실시했다.

We conducted a non-systematic literature search of the English-language literature focused on studies of trust in medical education, nursing, psychology, and business settings.








감독자의 기여

Supervisor contributions to trust


임상 감독자는 학습 기회를 찾아내서, Trainee가 학습을 할 수 있도록 점진적으로 책임 수준을 높여주는 empowering을 한다. 그러나, [훈련생에게 얼마나 더 많은 자율적 의료행위에 대한 책임]을 지우도록 신뢰할 것인가에 대해서는 감독의사마다 threshold에 차이가 있다(Stterkenburg et al. 2010).

The clinical supervisor identifies learning opportunities and empowers the trainee to take on increasing levels of responsibility to enable learning. However, supervising clinicians vary in their threshold for trusting trainees with responsibility for more autonomous practice (Sterkenburg et al. 2010).



전문성

Expertise


감독자 자신의 임상적 역량과 경험이 피훈련자의 임상적 기술에 대한 평가(Kogan et al. 2010)에 영향을 미치며, 이것은 결과적으로 피훈련자에 대한 신뢰에 영향을 미친다. 

    • 초보 감독자는 행동을 (해석하기 보다는) 보고reporting하는 것에 초점을 두는데 비하여, 

    • 경험이 많은 감독자들은 추론을 하고, 맥락적 요인을 통합하여서 위임 결정에 필요한 인상과 판단을 내린다(Govaerts et al. 2011).

Supervisors’ own clinical competence and experience influence their rating of trainees’ clinical skills (Kogan et al. 2010), and in turn their trust in those trainees. 

    • Compared with novice supervisors, who focus on reporting rather than interpreting discrete behaviors, 

    • experienced supervisors make inferences and incorporate contextual factors into impressions and judgments that can inform entrustment decisions (Govaerts et al. 2011).


감독자가 학습자의 역량 수준을 얼마나 잘 진단할 수 있는지가 학습자의 발달을 이해하고 다음 단계를 계획하는 데 필수적이다(Irrby 1994). 훈련자의 행동을 해석하는 이 능력은 (임상 추론과정과 마찬가지로) 감독자의 이전 경험에서 도출된다(Govaerts et al. 2011).

Supervisors’ skill in diagnosing a learner’s level of competence is essential for understanding performance and planning next steps in the learner’s development (Irby 1994). This ability to interpret the trainee’s actions is derived from the supervisor’s prior experience, similar to the process of clinical reasoning (Govaerts et al. 2011).


감독자가 연습생을 관찰할 때, 보통 자신의 예상 또는 미리 결정된 기대치와 비교하여 성과를 분석한다(Irby 1992). 그들은 

    • 분석적이고 체크리스트적인 접근법[예: miniCEX(Holmboe et al. 2003)]을 사용하기도 하고, 

    • 임상 진단에서 패턴 인식과 유사한 인상을 기반으로 하는 전체적인 접근법, 그리고 전문 평가자의 총체적 인상을 활용한다(Norman et al. 2007).

Supervisors observing trainees analyze performance against their own or predetermined and validated expectations (Irby 1992). They use either 

    • an analytical, checklist approach [e.g. miniCEX (Holmboe et al. 2003)] or, as described in a review of several studies, 

    • a holistic approach based on impressions analogous to pattern recognition in clinical diagnosis and the global impression of expert raters (Norman et al. 2007).


경험

Experience


교육 및 헬스케어 시스템에서 감독자의 역할도 감독자의 행동과 학습자의 기대에 영향을 미친다(Biddle 1996).

Supervisors’ roles in the educational and heath care system also affect their supervisory behaviors and expectations of learners (Biddle 1996).


감독자들은 [연습생들의 퍼포먼스에 대한 직접적인 지식]과 [graded levels of supervision에 대한 자신의 지식]을 결합하여, 학습자의 발달적 요구 맞도록 학습 기회를 조절한다(Ashton 2004; Irby 1994). 이상적으로는, 감독자들은 일work을 통한 학습을 촉진하기 위해 [적절하게 도전적인 작업]이 무엇인지 식별해야 한다. 그러나 때로는 환자 진료에는 도움이 되지만, 학습자의 발달 요구에는 그다지 적합하지 않은 업무를 우선해야 한다는 부담을 느낄 수 있다(Deketelaere et al. 2006; Billett 1996).

Supervisors combine direct knowledge of trainees’ performance with their knowledge about graded levels of supervision to adapt learning opportunities to learners’ developmental needs (Ashton 2004; Irby 1994). Supervisors ideally identify appropriately challenging tasks to promote learning through work. At times, though, they may feel pressure to prioritize work tasks that help advance patient care but are less optimally suited to learners’ developmental needs (Deketelaere et al. 2006; Billett 1996).


감독자가 어떤 맥락을 처음 접하게 되면 학습자를 효과적으로 감독하는 기술을 습득하는 데 지원이 필요하다. 초보 교사들은 [학습자에게 얼마나 많은 통제력을 발휘해야 하는지에 대한 자신의 가르침과 결정]을 자신있게 내리는데 고군분투하고 있다. 임상 환경에서는 경험이 적은 감독자일수록 이미 자격을 갖춘 훈련생에게조차 책임을 위임하는 것을 주저할 수 있다. 'resintern'(인턴 일을 하는 레지던트) 또는 'resattending(레지던트 일을 하는 주치의)'이라는 용어는 상급 의사로서 하급 의사에게 맡겨져야 할 일을 하게되는지를 묘사하는 용어이다.

Supervisors new to a context need support to gain skill in supervising learners effectively. Novice teachers struggle with self-confidence in their teaching and decisions about how much control to try to exert over their learners (Onafowora 2004). In clinical settings, more junior supervisors may hesitate to relinquish responsibilities to even qualified trainees. The terms ‘resintern’ (resident doing intern work) or ‘resattending’ (attending doing resident work) pejoratively describe how more senior physicians can do the work that should be entrusted to more junior team members.


새로운 감독자들은 파트너쉽을 통해 이익을 얻을 수 있다. 예를 들어, 주니어 교사와 시니어 교사는 협업을 통해 더 나은 학습 성과를 달성할 수 있다. (Johnson 등, 2001년) 또한 임상 감독자는 [학습자에 대한 지역적 기대, 의료인 사이의 상호작용 패턴, 감독자에게 필요한 규범]이 익숙한 환경일수록 훈련자의 신뢰도에 대해서 더 잘 평가할 수 있다.

New supervisors may benefit from being partnered; for example, collaboration between junior and senior schoolteachers achieves better learner outcomes (Johnson et al. 2001). Clinical supervisors might also be expected to assess more capably trainees’ trustworthiness in a work environment where they are familiar with local expectations of learners, patterns of interaction among care providers, and norms around supervision.


태도/습관

Attitude/Habits


감독자가 trainee를 신뢰하고자 하는 성향은 의지의 문제이며, 대체로 어느 정도는 타고나는 특성이(Costa et al. 2001). 이러한 성격은 경험과 문화의 영향을 받아 신뢰에 대한 경향성을 형성한다. 교육 및 진료에 대해 긍정적인 태도와 열정을 보여주는 감독자일수록 trainee가 교육자와 안전한 관계를 형성하고 발전시킬 수 있는 긍정적인 학습 환경을 조성한다(Irby 1978; Skeff 등 1992).Sutkinetal.2008).

Propensity to trust is the willingness to trust, which is largely a dispositional characteristic (Costa et al. 2001). Personality, along with influences of experience and culture, shapes propensity to trust. Supervisors who impart positive attitudes and enthusiasm toward teaching and clinical care create positive learning environments that allow trainees to thrive and develop secure relationships with them (Irby 1978; Skeff et al. 1992;Sutkinetal.2008).


자신의 행동의 영향에 대한 인식을 나타내는 성찰을 보여주고, 의문을 공유함으로써 개방성을 보여주는 것은 훈련자들로 하여금 비슷한 태도와 습관을 기르게 도와주며, 이로써 감독자의 신뢰를 얻을 수 있게 된다.

Demonstrating reflection, awareness of the impact of one’s actions, and openness to sharing one’s questions can enable trainees to develop similar attitudes and habits that will earn supervisors’ trust.


책무성

Accountability


임상 감독자는 [환자 안전]과 [점진적 학습자 자율성 증대]라는 두 가지 목표를 균형 있게 조정해가며 위임 결정을 내려야 한다(Ulmer 등 2008). 궁극적으로, 관리자들은 양질의, 안전한 진료를 희생하지 않는(보다 바람직하게는 이것을 증진시키는) 학습 환경을 만들어야 한다.

Clinical supervisors modulate their entrustment decisions by balancing goals for patientsafety with progressively greater learner autonomy (Ulmer et al. 2008). Ultimately,supervisors aim to create a learning environment that does not sacrifice, and ideally enhances, high quality, safe patient care. 


[연습생과 환자에 대한 위임의 의미]를 충분히 이해하지 못할 경우, 연습생의 약점을 정직하게 판단하고자 하는 감독자의 동기가 감소하게 된다(Dudek et al. 2005; Cleland et al. 2008). 예를 들어, 감독자는 trainee의 반발에도 불구하고 수행능력 중 문제가 되는 부분을 지적하는 것보다, 그냥 'pass'를 줘버리는 것이 더 손쉬운 길임을 알게 될 것이다. 물론 trainee의 문제를 해결하는 것이 미래의 환자 진료를 위해서 필요함은 말할 것도 없다.

Insufficient appreciation of the implications of entrustment for trainees and patients can diminish a supervisor’s motivation to render honest judgments about a trainee’s weaknesses (Dudek et al. 2005; Cleland et al. 2008). For instance, a supervisor may find it simpler to ‘pass’ a trainee than to call out a major performance concern against trainee protests, even though addressing the concern would clearly prepare the trainee to provide better patient care in the future.


연습생이 어떤 직무를 잘 수행하는지/수행할 능력이 되는지/적정 수준의 감독이 필요한지에 대한 명확한 이해가 부족하면 학습을 저해시킬 수 있다(Babbott 2010). 반대로 책임질 수 없는 사람에 대한 과도한 신뢰는 오류에 취약한 불안정한 상황을 만든다(Burke et al. 2007).

Supervisors who lack clarity about the tasks the trainee is performing or is capable of performing, and the appropriate level of supervision needed, can hinder learning (Babbott 2010). Conversely, high trust in others with low accountability creates a precarious situation vulnerable to errors (Burke et al. 2007).


교수개발은 교수들로 하여금 unsupervised activity에 대한 신뢰를 유의미하게 평가할 수 있는 표준을 명시해준다(표 2).

Faculty development that articulates expected performance standards can guide faculty members in implementing meaningful assessment of learners’ trustworthiness for unsupervised activity (Table 2),


피훈련자의 기여

Trainee contributions to trust


근무지 학습과 합법적인 주변적 참여의 관점으로 연습생들의 참여를 바라본다면, trainee의 engagement란 참여를 위한 그들의 노력을 나타내며, trainee의 기술과 태도는 그들에게 참여의 추가적인 기회를 준다(Billett 2001; Lave and Wenger 1991).

Through the lens of workplace learning and legitimate peripheral participation, trainees’ engagement represents their efforts to participate, and their skills and attitudes earn them additional opportunities for participation (Billett 2001; Lave and Wenger 1991).


역량

Competence


Trainee의 역량, 즉 적성, 사전 경험, 임상 추론 등이 모두 위임 결정에 도움이 된다(Kennedy 등, 2008; 10 Cate 등, 2010). 비지니스 및 심리분야에서의여러 연구에 따르면, Trainee의 역량은 감독자로부터의 신뢰를 키워나가는 데 중요한 것으로 확인되었다(Brower 등). 2000, 2009; McAllister 1995; Mayer et al. 1995). 자율적으로, 그리고 성공적으로 행동할 수 있음을 trainee가 입증할 때 더 높은 신뢰가 생긴다(Brower et al. 2009년, Seppa ̈la ̈la et al. 2011).

Trainees’ competence, which encompasses their aptitude, prior experience, and clinical reasoning, informs entrustment (Kennedy et al. 2008; ten Cate et al. 2010). Trustees’ competence has been identified as critical to development of trust from a supervisor across the fields of business and psychology (Brower et al. 2000, 2009; McAllister 1995; Mayer et al. 1995). Trainees’ demonstrated ability to act autonomously and successfully engenders trust (Brower et al. 2009, Seppa¨la¨ et al. 2011).


태도/습관

Attitudes/habits


훈련자의 마음가짐과 습관은 감독자가 trainee를 얼마나 신뢰할지에 영향을 미치는 professional formation의 필수 요소이다(Cooke et al. 2010). 위임을 위해 중요한 다른 professional qualities에는 자기 인식과 평생학습의 습관이 있다. 예측적 성찰, 행동 중 성찰, 행동 후 성찰 등은 훈련과정을 통해서, 그리고 훈련 이후에도 지속적으로 발달시켜야 하는 자기 모니터링 습관이다(Sargeant et al. 2010).

Trainees’ attitudes and habits of mind are essential elements of professional formation (Cooke et al. 2010) that influence supervisors’ willingness to trust them with clinical work. Other professional qualities important for entrustment include self-awareness and habits of lifelong learning. Anticipatory reflection, reflection-in-action and reflection-on-action are habits of self-monitoring that should develop during training and continue into clinical practice (Sargeant et al. 2010).


태도와 습관이 올바른 trainee라면, 표준화된 실제 환자(Blatt et al. 2007; Mamede et al. 2008)를 사용한 교육에서 함께 더 나은 성과를 낼 것이다. 피드백을 적극적으로 구하는 훈련자는 [피드백이 학습에 유익]하며 [performance goal보다 learning goal에 더 중점]을 둔다(Tunissen et al. 2009). 반대로 피드백과 자기반성을 회피하며, 경험으로부터 배우지 못하는 학습자는 면허를 잃을 확률이 높아진다(Papadakis et al. 2005). 감독자들은 자기자신의 강점과 한계에 대한 통찰력을 보이는 trainee일수록 도전적인 상황에서 도움을 구하기를 주저하지 않으며, 피드백을 더 잘 수용할 것이라고 추측한다(Ginsburg et al. 2010).

Trainees exhibiting these behaviors perform better with standardized and actual patients (Blatt et al. 2007; Mamede et al. 2008) Trainees who seek feedback perceive that it benefits their learning and are more oriented toward learning than performance goals (Teunissen et al. 2009). Conversely, trainees who avoid feedback and self-reflection and fail to learn from experience are subsequently more likely to lose their license (Papadakis et al. 2005). Supervisors infer that trainees who show insight into personal strengths and limitations will more readily seek help in challenging situations and incorporate feedback (Ginsburg et al. 2010).


연습생들은 스스로에 대한 신뢰도를 유지하고자 하는 욕구가 있으므로, [적절한 supervisory support를 요청하도록 trainee를 engage시키는 학습환경]신뢰도를 더욱 향상시킬 것이다(Kennedy 등). 2009). 신뢰를 얻을 수 있는 기회 자체가 (자율적이고 수행에 대한 자신감과 전문직으로의 성숙을 비롯한) 바람직한 성과 달성을 위한 동기부여로 작동한다(Dornan et al. 2007; 10 Cate et al. 2011).

Given trainees’ desire to maintain their own credibility, educational climates that engage trainees in appropriate requests for supervisory support may enhance their trustworthiness (Kennedy et al. 2009). The opportunity to earn trust itself motivates desired outcomes of training, including confidence in performing autonomously and professional maturation (Dornan et al. 2007; ten Cate et al. 2011).


자신감

Self-confidence


훈련생들의 자신감과 자기조절학습은 학습자들로 하여금 도전을 수용하게 만들고, 익숙하지 않거나 불리한 상황에서도 자신 있게 접근하도록 동기를 부여하며, 이 모든 것들이 감독자의 신뢰를 얻는데 도움이 된다(Be'nabou and Tirole 2003; Bandura 2001; Grant and Dweck 2003). 연습생들의 두려움이나 과신은 감독관의 신뢰를 얻는 데 장애가 될 수 있다.

Trainees’ self-confidence and self-regulation of their learning motivate them to embrace new challenges and approach unfamiliar or adverse situations with confidence, all of which can earn them supervisors’ trust (Be´nabou and Tirole 2003; Bandura 2001; Grant and Dweck 2003). Barriers to earning supervisors’ trust can stem from trainees’ fear and/or overconfidence.


[평가의 결과에 대한 두려움]이나 [평가자의 의도에 대한 부정적 인식]은 trainee에게 의심, 타인의 시선의식, 소극적 자세를 유발할 수 있으며, 이 모든 것이 trainee에 대한 신뢰를 낮추는 요인이 된다(Kramer 1998). Trainee는 [건설적인 피드백]이 발전을 촉진하기 보다는 미래의 기회를 방해할 것이라고 우려할 수 있다(Bing-You and Trowbridge 2009; Mann et al. 2011). 문헌을 검토한 결과, 지나치게 자신만만한 연습생들은 

    • 특정 정보를 무시하거나 

    • 도움을 구하지 못하거나 

    • 충분한 정보의 수집 및 통합에 실패하거나 anchoring으로 인하여 임상 진단에서 인지적 편견을 겪을 수 있으며, 이 모든 것은 신뢰 형성을 감소시킬 수 있다(크로스커리 2003).

Fear of the consequences of assessment or a perception of negative intent of evaluators can prompt trainee suspicion, self-consciousness, and withdrawal, all of which would lead a supervisor to deem the trainee untrustworthy (Kramer 1998). Trainees may worry that constructive feedback will inhibit future opportunities rather than facilitate development (Bing-You and Trowbridge 2009; Mann et al. 2011). A reviewof the literature shows that over-confident trainees may 

    • ignore certain information, 

    • fail to seek help, or 

    • suffer cognitive biases in clinical diagnosis such as failing to gather or incorporate sufficient information and anchoring, 

all of which can also diminish trust formation (Croskerry 2003).


감독자와 피훈련자의 관계의 기여

Relationship between supervisor and trainee contributions to trust


효과적인 감독에는 반드시 감독자와 연습생 사이의 신뢰 관계의 개발이 포함되며, 이는 상대방의 말이나 행동에 대한 믿음과 행동에 기초한 행동 의지로 정의된다(Severinsson과 Borgenhammar 1997; Hosmer 1995; Chambers and Long 1995).

Effective supervision necessarily involves development of a trusting relationship between supervisor and trainee, defined as belief in the other’s word and willingness to act based on that individual’s words or actions (Severinsson and Borgenhammar 1997; Hosmer 1995; Chambers and Long 1995).


대인관계 역학

Interpersonal dynamic


감독자-훈련자 관계는 위임을 용이하게 하거나 방해할 수 있다. 관계형 신호 이론은 [연습생이 보내고 감독자가 받는 신호(통신과 행동)]가 어떻게 [공동의 목표를 향한 정렬]을 통해 [관계를 형성하고 유지하려는 욕구]를 전달하는지 설명한다(Six and Skinner 2010). 환자를 돌보는 공동의 목표는 감독자와 수습자 둘 다 환자의 이익을 위해 행동하도록 이끈다.

The supervisor–trainee relationship can either facilitate or impede entrustment. Relational signaling theory explains how signals (communications and actions) from trainee to supervisor convey a desire to form and sustain a relationship through alignment toward shared goals (Six and Skinner 2010). The shared goal of caring for patients leads supervisor and trainee both to act in the best interest of the patient.



관계 신호는 감독자와 수습자의 서로에 대한 반응에 영향을 미치는데, 이상적으로는 

    • 서로의 관점에 감사하고, 

    • 진실성을 보여주며, 

    • 필요할 때 유연성을 보여주는 

...등의 신뢰구축행위로 작용한다. 

Relational signaling also influences the supervisor’s and trainee’s response to each other, ideally with trust-building behaviors such as 

    • appreciating each other’s perspectives, 

    • showing integrity, and 

    • demonstrating flexibility when indicated. 

감독자들은 아마도 자신과 유사한 방식으로 임상 의학에 접근하는 연습생들을 칭찬하고, 신뢰하게 될 것이다(Ginsburg et al. 2010). 신뢰는 [개인적 감정이 강력한 상황]이나 [transference가 강력한 상황에서처럼] 인지적 요소를 완전히 압도할 수 있는 감정적 요소와도 관련되어 있다(Lewicki et al. 2006).

Supervisors are more likely to praise, and perhaps trust, trainees who approach clinical medicine in similar fashion to their own (Ginsburg et al. 2010). Trust entails an affective component that can potentially overwhelm the cognitive component of entrustment, as in the situation of intense personal feelings or transference (Lewicki et al. 2006).


강한 관계는 또한 진솔한 의사소통을 방해하거나 편견을 불러일으킴으로써 강력한 판단을 방해할 수 있다(Govaerts et al. 2011; Cavalcanti and Detsky 2011). [역량 개발을 촉진하는 advocate나 coach로서의 역할]과 [수행능력을 판단하는 평가자로서의 역할] 사이에 모호함이 존재할 경우, 미래 성과를 예측하려는 의지에 영향을 미칠 수 있다(Cavalcanti 및 Detsky 2011; Regehr et al. 2007). 학습자는 감독자가 가지는 이러한 역할 충돌에 대해 (Deketelaere et al. 2006). 감독자는 학습자에게 좋은 인상을 남기고 싶으며, 감독자로서의 역할갈등을 회피하고 싶기 때문에 struggling learner를 찾는 것을 벗어나려고 한다. (Dudek et al. 2005)

A strong relationship can also hinder a robust judgment by impeding honest communication or introducing bias (Govaerts et al. 2011; Cavalcanti and Detsky 2011). Ambiguity regarding the supervisor’s role as advocate or coach who promotes development of competence versus evaluator who judges performance can influence willingness to predict future performance (Cavalcanti and Detsky 2011; Regehr et al. 2007). Learners are particularly sensitive to this role conflict in their supervisors (Deketelaere et al. 2006). Supervisors may wish to be viewed favorably by learners and avoid the consequences, both interpersonal and legal, from identification of struggling learners. (Dudek et al. 2005).


상호 부합도

Concordance


[수행 과제의 필요성]과 [수행 과제의 환자 치료와의 관련성]에 대한 학습자와 감독자 사이의 기대치가 공유되어있는 경우 신뢰의 기반을 확립할 수 있다(Kramer 1998; Landy et al. 1978; Webb 1997). 문헌검토에서 보듯이, 이러한 기대치에 근거하여 [학습자를 피드백과 재평가의 반복적인 과정에 참여시키는 감독자]는 학습자가 [경험을 통해 배우는, 신뢰할 수 있는 전문가]로 발전하게끔 유도한다(Smith and Irby 1997).

Shared understanding of expectations between learners and supervisors regarding requirements of the activity being performed and its relevance to patient care establishes a foundation for trust (Kramer 1998; Landy et al. 1978; Webb 1997). As shown in a literature review, supervisors who engage learners in an iterative process of feedback and reassessment based on those expectations promote learners’ development into trustworthy professionals who learn through their experiences (Smith and Irby 1997).


부적절하게 표현된 피드백의 한 가지 원인은 감독자가 개별 학습자의 성과 수준 또는 훈련 단계에 대한 expectation에 익숙하지 못하기 때문일 수 있다(Stterkenburg et al. 2010).

One cause for inadequately articulated feedback can be supervisors’ lack of familiarity with individual learners’ performance level or expectations for their stage of training (Sterkenburg et al. 2010).


접촉량

Amount of contact


연습생과 감독자 사이의 접촉량은 의료 교육에서 정확하고 성공적인 평가를 위한 종종 권장되는 요인이다(Hauer 등). 2009). 감독자가 특정 연습생에 대해 얼마나 친숙한지는 [거의 지식이 없는 상태]에서 [약간의 인상을 기반으로 한 평가], 그리고 [광범위한extensive 지식]에 이르는 연속체에 놓여있다. 연습생과 상호작용한 지 몇 분 안에, 감독관은 인상을 형성하기 시작하며, 이러한 인상은 trainee의 특성과 함께 맡은 work의 특성에 영향을 받는다. 

The amount of contact between trainee and supervisor is an oft-cited ingredient for accurate, successful assessment in medical education (Hauer et al. 2009). Supervisor familiarity with a trainee falls on a continuum from almost no knowledge, with assessment based on brief impressions, to extensive knowledge. Within minutes of interacting with a trainee, a supervisor begins to form impressions influenced by trainee characteristics and the nature of their work together. 


초기 인상이 중요한 판단을 구성할 수 있다. 예를 들어, 처음 3분 내에 나타난 역사 인식 행동은 15분 간의 조우에서 임상 추론의 global 등급과 관련이 있다(Hasnain et al. 2001). 심리학 분야에서 훈련받은 또는 훈련받지 않은 관찰자들은 3분간의 의사소통 관찰에서 나타난 영향을 바탕으로 6년 동안 결혼의 결과를 예측했다(Carrerere와 Gottman 1999).

Initial impressions may constitute important judgments; for example, history-taking behaviors manifested within the first 3 min correlate with global ratings of clinical reasoning over a 15-min encounter (Hasnain et al. 2001). In the psychology field, trained and untrained observers predicted outcomes of marriages over a 6-year period based on affect manifested in 3-min observations of communication (Carre`re and Gottman 1999).


반대로, [연습생에 대한 지속적인 지식]을 가진 감독자는 종적 관계가 신뢰를 쌓는데 필요한 정보 변화시키기 때문에 판단을 다르게 해야 한다(Hafferty 1998). 관계 초기에 신뢰 형성은 종종 두 개인 간의 인구학적 유사성을 인식하는 것에 기초한다. 시간이 지나면서, 신뢰 형성은 공유된 경험과 지식에 영향을 받는다(Levin et al. 2006). 

Conversely, supervisors with ongoing knowledge of their trainees render judgments differently, as longitudinal relationships change the information that informs trust (Hafferty 1998). Early in a relationship, trust formation is often based on recognition of demographic similarities between two individuals; over time, shared experiences and knowledge inform trust formation (Levin et al. 2006). 


지속적인 관계는 [과거의 성과]와 [개선이 필요한 분야를 대상으로 한 상세한 형성적 피드백]를 중심으로 trainee의 성과를 해석하게 도와준다. LIC모델과 같이 충분한 형성적 피드백이 제공되는 종단적 접촉은 [친숙성 결여]로 인한 평가의 우려를 완화시켜준다(Mazotti et al. 2011).

An ongoing relationship allows interpretation of trainee performance in relation to past performance and detailed formative feedback targeted to areas needing improvement. Longitudinal integrated clerkships model such a system where longitudinal contact (and hence relationship) with ample formative feedback mitigate evaluation concerns stemming from lack of familiarity (Mazotti et al. 2011).


맥락의 기여

Context contributions to trust


근무지 어포던스

Workplace affordances


[작업장이 진정한 업무 활동에 참여할 기회를 제공하는 정도]는 학습(Billett 2001), 성과 및 감독자의 성과 평가에 강력하게 영향을 미친다. 감독자들이 trustworthiness를 판단하기 위해서는 연습생들의 직장 내 합법적인 참여와 자율성을 판단할 수 있는 기회가 필요하다(Billett 2001; Govaerts et al. 2011; Lave and Wenger 1991; Grant and Dweck 2003).

The degree to which the workplace affords or offers opportunities for participation in authentic work activities powerfully affects learning (Billett 2001), performance, and supervisors’ assessment of that performance. Opportunities for trainees’ legitimate participation and autonomy in the workplace are necessary for supervisors to judge trustworthiness (Billett 2001; Govaerts et al. 2011; Lave and Wenger 1991; Grant and Dweck 2003).


근무 환경

Work environment


작업 환경도 신뢰 형성을 가능케 하거나 저지할 수 있다. 인프라나 인력이 부족한 저자원 임상 환경은 [연습자가 임상 업무를 완수하지 못하게] 하거나, 또는 [연습자가 더 높은 수준의 책임을 갖고 수행하도록] 요구할 수 있다(Gourevitch et al. 2008).

The work environment can enable or deter trust formation. An under-resourced clinical environment with insufficient infrastructure or personnel could impede trainees’ completion of clinical tasks, or alternatively require the trainee to perform at higher levels of responsibility (Gourevitch et al. 2008).


예를 들어, 밤에 혼자 병원에 있는 동안 연습생은 현장 감독관 없이 독립적으로 불안정한 환자를 돌보게 될 수도 있다. 이 시나리오에서, 감독자가 연습생이 그러한 신뢰를 얻었다고 의식적으로 결정한 적이 없을지라도 신뢰는 제공된다. 어느 정도 이러한 상황에서 스트레스를 받으면 성능이 향상될 수 있지만, independence가 excessive하게 되면 너무 overwhelming하여 퍼포먼스 퀄리티를 떨어뜨릴 수 있다(Wilkerson and Doyle 2011).

For example, while alone in a hospital at night, a trainee might manage an unstable patient independently without an on-site supervisor. In this scenario, trust is afforded even though a supervisor may never have consciously decided that the trainee earned that trust. To a point, the stress in these situations may enhance performance, but excessive independence can become overwhelming and reduce performance quality (Wilkerson and Doyle 2011).


더 잘 정비된 의료 시스템에서, 일부 작업은 다른 사람에 의해 완료되기도 하며, 이렇게 되면 학습자가 잠재적으로 그것을 수행할 기회를 박탈하는 것일 수 있지만, 반대로 연습자가 더 어려운 작업에 시간을 할애할 수 있도록 해주기도 한다. 예를 들어, ancillary staff가 항상 도와줄 수 있는 상황이라면, 연습생들은 venipuncture를 배우지 못할 수도 있다.

In more well-resourced health care systems, some tasks are completed by others, potentially depriving the learner of those opportunities or alternatively enabling the trainee to spend time on more challenging tasks. For instance, trainees may not learn to do venipuncture if ancillary staff are always available to do so.


감독자는 작업 수행에 대한 연습생의 신뢰도를 판단하기 때문에 다른 설정으로 위탁이 일반화하는 정도를 결정해야 한다(Tjosvold 및 Tao 1989). 따라서 위임은 맥락적이지만, 연습생들은 궁극적으로 다양한 환경에서 이론적 지식과 실제적 지식을 모두 적용할 수 있어야 한다.

As supervisors judge trainees’ trustworthiness to perform tasks, they must determine the extent to which the entrustment generalizes to other settings (Tjosvold and Tsao 1989). Entrustment is thus contextual, but trainees must ultimately be able to apply both theoretical and practical knowledge across a range of settings.


시스템 문제

Systems issues


맥락에 익숙해지면 의료 시스템과 마이크로 시스템에 대한 연습생의 미묘한 이해가 형성되고, 강력한 팀워크와 학제간 의사소통이 촉진된다(Hauer 등). 2009; Hirsh 등 2007). 그러나 연습생은 오늘날의 임상 환경에서 빈번한 전환에 신속하게 적응해야 한다(Bernabeo et al. 2011).

Familiarity with a context builds trainees’ nuanced understanding of the healthcare system and microsystems, and promotes robust teamwork and interdisciplinary communication (Hauer et al. 2009; Hirsh et al. 2007). Yet, trainees must adapt quickly to frequent transitions in today’s clinical environment (Bernabeo et al. 2011).


미국에서 major transition은 매년 7월 미국의 의료 훈련생들이 동시에 더 상위 수련단계로 진출할 때 발생한다. 한 최근 리뷰는 이 시기에 환자 성과와 치료 효율이 얼마나 떨어지는지를 보여준다(Young et al. 2011). 감독관들은 연수생들이 아직 위임을 위해 평가와 평가를 받지 않았기 때문에 더 많은 감독이 필요할 것으로 기대하고 있다.

A major transition occurs each July when United States medical trainees simultaneously advance to higher levels of responsibility, and a recent review shows how patient outcomes and care efficiency can suffer (Young et al. 2011). Supervisors expect that more supervision will be required because trainees have not yet been assessed and evaluated for entrustment.


업무량

Workload


trainee의 근무시간과 작업부하로 인해 과도한 근무 시간 및 복수의 야간 교대 근무는 피로와 피로와 관련이 있으며, 이는 성능을 저하시킬 수 있다는 것을 보여주는 연구가 보고된 바 있다(Dyrby et al. 2010). 진료 스케줄은 위임 여부를 결정하는 데 필요한 훈련생에 대한 감독자의 관찰을 용이하게 할 수도, 방해할 수도 있다. 자주 관찰하고 적시에 평가하면 역량에 대해 더 잘 결정내릴 수 있다. 잦은 handoffs와 staggered shift(엇갈린 교대)는 팀 구성원들이 서로의 작업을 거의 보지 못한다는 것을 의미할 수 있다.

Trainees’ work hours and workload have prompted studies showing that working excessive hours and/or multiple night shifts is associated with fatigue and burnout that can compromise performance (Dyrbye et al. 2010). Clinical schedules may facilitate or impede supervisors’ observations of trainees that are necessary to determine entrustment. Frequent observations and timely ratings enable determination of competence; frequent handoffs and staggered shifts can mean that team members rarely see each other’s work.


직장 문화

Workplace culture


특정 직장 문화 내에서 신뢰가 생긴다. 숨겨진 커리큘럼은 감독관들과 연습생들의 전문적인 행동과 받아들일 수 있는 의사소통 방법에 대한 이해를 알려준다.

Entrustment occurs within a particular workplace culture. The hidden curriculum informs supervisors’ and trainees’ understanding of professional behavior and acceptable methods of communication.


감독자들은 연습생들이 집단규범, 가치관, 행동을 준수하는지 여부를 모델링하고 관찰하며(Stern and Papadakis 2006), 집단기준 위반은 위탁을 감소시킬 것이다.

Supervisors both model and observe whether trainees adhere to group norms, values, and behaviors (Stern and Papadakis 2006), and violations of group standards will diminish entrustment.


과제의 기여

Task contributions to trust


순서, 복잡성 및 위험에 기초한 직무 선택은 훈련자의 참여와 위탁 판단을 용이하게 하도록 설계될 수 있다.

Task selection based on sequencing, complexity and risk can be designed to facilitate trainees’ participation and a judgment of entrustment.


순서

Sequencing


성공적인 근무지 학습이 되려면 supported and guided 참여가 필요하다. 즉, 연습생은 자신에게 주어진 작업에 적극적으로 참여할 수 있어야 하며, 감독자는 trainee를 점진적으로 더 높은 수준의 직무를 수행하도록 도전하게 해주어야 한다(Dornan et al. 2007). Trainee가 수행할 과제는 임상 사례의 의미 있는 부분이어야 하며, 자주 일어나는 것이든 가끔 일어나는 것이든 환자 치료 결과에 큰 영향을 미치는 것이어야 한다.

Successful workplace learning requires supported and guided participation, such that trainees can actively engage in the tasks afforded to them, and their supervisors can challenge them to perform at successively higher levels (Dornan et al. 2007). Tasks to be performed and judged should be meaningful parts of clinical practice that arise frequently or, for infrequently occurring activities, have high impact on patient care outcomes.


학습이란 학습자가 점진적으로 참여 기회를 높여가는 발달적 과정일 때 이상적이다. 과제는 ZPD 범위에 들어가야 해서, [독립적으로 수행할 수 있는 과제]와 [도움을 받아야만 수행할 수 있는 과제] 사이에 속해야 한다. 이 영역 내에서의 직무 수행은 점진적 skill building에 기여할 수 있다(Vygotzsky 1978).

Learning is optimized as a developmental process in which learners have graded opportunities for participation. A task can fall within a zone of proximal development, between tasks that they can perform independently and tasks they are only able to perform with assistance. Within this zone, task performance can contribute to progressive skill building (Vygotzsky 1978).


정의된 역량과 이정표는 개발적으로 순서화된 학습 활동 및 평가를 안내할 수 있다(Carraccio 등, 2002; Green 등). 2009) (표 2)

Defined competencies and milestones can guide developmentally sequenced learning activities and assessments (Carraccio et al. 2002; Green et al. 2009) (Table 2).


과제 복잡성

Task complexity


Trainee에게 할당된 작업의 [인지적 및 심리운동적 복잡성]은 Trainee가 과제를 수행할 준비가 얼마나 되어있는지에 맞아야 하며, 이를 통해 더 많은 신뢰를 얻어야 한다. 직선적 상황에서 간단한 작업을 성공적으로 실행할 경우, 감독자는 trainee가 해당 작업을 앞으로도 반복해서 해도 된다는 평가 판단을 쉽게 내릴 수 있다. 그러나 더 복잡한 과제의 수행에 대한 판단은 더 많은 관찰과 정보를 필요로 할 것이다(Moloy and Parasuraman 1996; Lee and See 2004).

The cognitive and psychomotor complexity of the task assigned to the trainee should align with the trainee’s readiness to perform the task and earn further trust. Successful execution of a simple task in a straightforward situation could readily prompt an evaluator to render a judgment to trust the trainee to repeat that task. However, a judgment about performance with a more complex task would likely require more observation and information (Molloy and Parasuraman 1996; Lee and See 2004).


리스크

Risk


임상의 task는 언제나 환자에게 일정 수준의 위험을 수반하며, 감독자는 연습생이 고위험 절차와 활동을 수행할 수 있는 수준의 높은 신뢰를 원할 것이다(Stterkenburg et al. 2010). 복잡한 정신사회적 또는 의학적 임상표현을 보이는 환자들은 trainee가 가진 대인관계 기술(잭슨과 크런케 1999)의 경계를 시험해볼 기회로서, 위임 결정을 복잡하게 만든다. 생명을 위협하는 질병을 앓고 있는 high-acuity 환자는 더 발전된 학습자를 위한 별도의 위탁 결정 범주로 구성될 수 있다(Quirke et al. 2011).

A task carries a certain degree of risk for the patient, and supervisors will want higher degrees of trust to allow trainees to perform high-risk procedures and activities (Sterkenburg et al. 2010). Patients with complex psychosocial or medical presentations may test the boundaries of a trainee’s interpersonal skills (Jackson and Kroenke 1999) and complicate entrustment decisions. High-acuity patients with life-threatening illness may comprise a separate category of entrustment decision for more advanced learners (Quirke et al. 2011).


위임 결정을 서포트하기 위한 설계 원칙

Design principles to support entrustment decisions


신뢰는 덜 감독되고 자율적인 작업장 활동에 대한 훈련생들의 준비 상태에 관한 판단에 필수적이다.

Trust is essential for informing judgments regarding trainees’ readiness for less supervised, autonomous workplace activity.


위임은 학습자에게 바람직한 행동과 태도에 대한 동기를 부여할 수 있다. 환자 치료에 참여하는 경험을 통해 학습에 어려움을 겪는 훈련생들은 업무 성취에 기여한 보상을 경험하게 될 것이다. [신뢰를 얻을 수 있는 기회]는 전략적으로 [더 많은 신뢰를 얻을 수 있는 방식]으로 수행하게 학습자를 동기부여하며, 의료행위라는 역동적이고 상황적인 맥락에서 교육자는 위임을 획득한 연습생들이 unsupervised practice에 필요한 새로운 기회를 경험하게 해주는 것을 목표로 해야 한다.

For learners, entrustment can motivate desirable behaviors and attitudes. Trainees who are challenged to learn through the experience of participating in patient care will experience the rewards of contributing to work accomplishment. The opportunity to earn trust can strategically motivate learners to perform in ways that earn them further trust, and in the dynamic and highly situational context of medical practice, educators should aim to ensure that trainees who earn entrustment can experience new opportunities for unsupervised practice afterward.


그러므로 위임에 초점을 맞추면 현재와 미래의 학습과 환자 치료에 대한 공동의 목표에 초점을 맞춘 협력적인 감독 관계를 촉진한다.

A focus on entrustment therefore promotes collaborative supervisory relationships focused on shared goals for learning and patient care in the present and future.


임상적 전문성과 감독자로서의 전문성을 가진 의사는 미래 의료를 위한 [책무성의 맥락] 속에서 위임 결정 프레임에 대한 책임이 있다. 훈련생들은 점진적으로 자신의 장점을 인식하고 반성하고 필요에 따라 감독을 하도록 유도하는 환경에서 마음의 습관을 기르면서 개인의 기술 수준에 맞춘 더 큰 독립적 책임을 떠맡는다. 훈련생들은 (환자와 동료의 신뢰를 얻어야 하는 의사라는 전문직이 필요로 하는) 전문직업성을 주입하는 커리큘럼을 통해 "신뢰할 수 있는" 임상의로 발전하는 것의 가치를 배운다(Cruess et al. 2010).

Faculty with clinical and supervisory expertise prepared to assume responsibility for entrustment decisions frame this decision-making in the context of accountability for future patient care. Trainees progressively assume greater independent responsibility aligned with their individual skill levels while developing habits of mind, in a climate that prompts them to recognize and reflect on their own strengths and invite supervision as needed. Trainees learn the value of developing into ‘‘trustworthy’’ clinicians through a curriculum that inculcates the professionalism necessary for a career that entails earning the trust of patients and colleagues (Cruess et al. 2010).


Wijnen-Meijer, M., van der Schaaf, M., Nillessen, K., Harendza, S., & ten Cate, O. (in press). Essential facets of competence that enable trust in medical graduates: A ranking study among physician educators in two countries. Perspectives on Medical Education. XXX










 2014 Aug;19(3):435-56. doi: 10.1007/s10459-013-9474-4. Epub 2013 Jul 27.

Understanding trust as an essential element of trainee supervision and learning in the workplace.

Author information

1
Department of Medicine, School of Medicine, University of California at San Francisco, 505 Parnassus Ave, M1078, Box 0120, San Francisco, CA, 94143-0120, USA, karen.hauer@ucsf.edu.

Abstract

Clinical supervision requires that supervisors make decisions about how much independence to allow their trainees for patient care tasks. The simultaneous goals of ensuring quality patient care and affording trainees appropriate and progressively greater responsibility require that the supervising physician trusts the traineeTrust allows the trainee to experience increasing levels of participation and responsibility in the workplace in a way that builds competence for future practice. The factors influencing a supervisor's trust in a trainee are related to the supervisor, trainee, the supervisor-trainee relationship, task, and context. This literature-based overview of these five factors informs design principles for clinical education that support the granting of entrustment. Entrustable professional activities offer promise as an example of a novel supervision and assessment strategy based on trust. Informed by the design principles offered here, entrustment can support supervisors' accountability for the outcomes of training by maintaining focus on future patient care outcomes.

PMID:
 
23892689
 
DOI:
 
10.1007/s10459-013-9474-4


맥락적 요인이 전문가의 임상추론에 미치는 영향은? (Adv in Health Sci Educ, 2012)

The impact of selected contextual factors on experts’ clinical reasoning performance (does context impact clinical reasoning performance in experts?)

Steven J. Durning • Anthony R. Artino • John R. Boulet • Kevin Dorrance • Cees van der Vleuten • Lambert Schuwirth




도입

Introduction


임상적 추론은 진단을 확립하는 것(진단적 추론)과 환자의 상황과 선호에 특정한 행동 계획을 결정하는 것(치료적 추론) 모두를 포함한다. 임상 환경에서 추론을 평가하는데 많은 어려움이 있다. 예를 들어, 여러 연구에서 상황(사례)에 따라 퍼포먼스가 크게 달라질 수 있다는 것을 발견했다. 이는 흔히 맥락특이성의 문제라고 한다(Norman et al. 1995; Eva et al. 1998). 즉, 맥락특이성은 특정 의사나 의대생이, 서로 다른 임상 문제에 대한 퍼포먼스 사이의 낮은 상관관계를 설명하기 위해 도입된 현상이다.

Clinical reasoning involves both establishing the diagnosis (diagnostic reasoning) and deciding on a plan of action that is specific to the patient’s circumstances and preferences (therapeutic reasoning). There are many challenges to evaluating reasoning in the clinical setting. For example, multiple studies have found that performance across situations (cases) can vary greatly—this is often referred to as the problem of context specificity (Norman et al. 1995; Eva et al. 1998). In other words, context specificity is the phenomenon invoked to explain the low correlations in performance across different clinical problems for a given physician or medical student.


예를 들어, 노먼 외 연구진(1995)은 이전에 레지던트와 의대생에게 일련의 모의 환자 문제를 제시했던 경우, 진단이 동일하고 주소가 다른 경우 문제 전반에 걸쳐 낮은 상관관계가 발견되었음을 입증했다. 실제로, "맥락특이성"이라는 이름은 '내용'만으로는 이 문제를 설명하기에 불충분하다는 것을 상기시키기 위해 부여되었다(Eva 등, 1998; Elstein 등, 1990). 게다가, 일부 연구자들은 맥락특이성이 "의학 교육 연구의 유일한 진실"이라고 말했다.

For example, Norman et al. (1995) previously demonstrated that for residents and medical students presented with a series of simulated patient problems, low correlations were found across problems with the exact same diagnosis and a different chief complaint. Indeed, the name ‘‘context specificity’’ was given to this phenomenon to serve as a reminder that content is an insufficient explanation for this problem (Eva et al. 1998; Elstein et al. 1990). Further, some researchers have remarked that context specificity is the ‘‘one truth in medical education research’’ (Eva 2011).



맥락과 이론 프레임워크

Context defined and theoretic frameworks


컨텍스트는 임상에서 participants와 setting사이에 "짜여진 직물weaving together"로 정의할 수 있다(Durning et al. 2010a). 이 짜임새, 즉 상호 작용으로 인한 의미는 조우encounter하는 동안 계속 진화한다. 따라서 맥락은 임상적 만남의 개별 참가자의 수, 또는 만남이 발생하는 setting의 수보다 늘 더 많을 수 밖에 없다. 즉, 의사, 환자, setting 및 세 가지 모두의 상호작용을 수반한다(Durning et al. 2010a).

Context can be defined as ‘‘the weaving together’’ of the participants and the setting in the clinical encounter (Durning et al. 2010a). This weaving together, or interaction, creates meaning that evolves during the encounter. Thus, context is more than the individual participants in the clinical encounter or the setting where the encounter occurs—it entails the physician, the patient, the setting, and the interactions of all three (Durning et al. 2010a).


상황화된 인지는 현대의 교육 이론이다; 맥락은 참여자와 상황의 상호작용에서 나타난다고 주장한다. 이 이론적 프레임워크(그림 1)에서 맥락은 [상호작용을 통해 진화하는 의미를 만들기 위하여, 주어진 상황 내에서 참가자(환자, 의사 및 훈련생 및/또는 가족)사이의 weaving together]라고 정의된다(Durning et al. 2010a). 더욱이, 이 프레임워크에서, 조우encounter의 결과는 복수의 상호작용 입력(참여자와 설정)에 기초한다. 그러므로, 상황화된 인지는 맥락특이성의 문제를 볼 수 있는 독특한 렌즈를 제공한다.

Situated cognition is a contemporary educational theory; it argues that context emerges fromparticipant and setting interactions. In this theoretical framework (Fig. 1), context can be defined as the weaving together of participants (patient, physician and trainees, and/or family, as applicable), within a setting, to create meaning which evolves through interactions (Durning et al. 2010a). Furthermore, in this framework, the outcome of the encounter is based on multiple interacting inputs (participants and setting). Thus, situated cognition provides a unique lens through which to view the problem of context specificity.


인지 부하 이론(Cognitive Load 이론, CLT)은 작업기억용량의 한계와 교육적 개입과의 관계를 다루는 현대의 정보 처리 이론이다. CLT는 인지 과정에 대한 조사를 위한 선도적인 이론 중 하나이다(van Merrienboer and Sweller 2010; Paas 등, 2003; Plass 등, 2010). CLT의 중요한 원칙은 요소간 상호작용element interactivity이다. 여러 차원에 따라 의사가 처리해야 하는 정보가 다양하지만, [관련된 정보 요소가 서로 상호 작용하는 정도]가 결정적 특징임이 밝혀졌다. 특정 정보는 요소간 상호작용의 연속체에서 낮은 상호작용부터 높은 상호작용까지의 범위를 갖는다. 

    • [낮은 요소간 상호작용 정보]는 다른 정보 요소를 고려하지 않고 개별적으로 처리하고 이해할 수 있다. 

    • [높은 요소간 상호작용 정보]는 그것을 처리하고 이해할 때 다른 요소들을 고려해야 한다(van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010). 따라서 [높은 요소간 상호작용 정보]는 인지 부하를 증가시킨다. 즉, 인지 처리에 대한 수요가 더 크다(Paas et al. 2003).

Cognitive load theory (CLT) is a contemporary information processing theory that addresses the limits of working memory capacity and its relationship to instructional interventions. CLT is one of the leading theories for investigations into cognitive processes (van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010). An important tenet of CLT is element interactivity. Although the information that physicians must process varies on many dimensions, the extent to which relevant informational elements interact has been found to be a critical feature. Information varies on a continuum from low to high in element interactivity. 

    • Each piece of low-element interactivity information can be processed and understood individually without consideration of any other information elements. 

    • Each piece of high-element interactivity information requires consideration of other elements to be processed and understood (van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010). As such, high-element interactivity information results in greater cognitive load; that is, it places greater demands on cognitive processing (Paas et al. 2003).



CLT는 상황화된 인지와 관련이 있다. Situated cognition 프레임워크의 관점(그림 1; Durning et al. 2010a, b)에서는 임상적 조우에 내재된 다수의 맥락적 요인이 [높은 요소간 상호작용성]을 가질 것으로 예측되므로 높은 인지 부하로 이어질 것으로 예상된다. 즉, 그림 1의 세 가지 요인(환자, 의사, 설정) 각각에 대해 나열된 요소는 의사에게 추가적인 인지 부하를 일으킬 것으로 예상된다.

CLT relates to situated cognition. From the situated cognition framework’s perspective (Fig. 1; Durning et al. 2010a, b), the multiple contextual factors inherent to a clinical encounter, would be predicted to have high element interactivity and thus would be expected to lead to high cognitive load. In other words, elements listed for each of the three factors (patient, physician, setting) in Fig. 1 would be expected to engender additional cognitive load in the physician.


열거할 수 있는 요인 요소의 수를 고려할 때(예는 그림 1에 표시),

    • [높은 요인요소간 상호작용] 또는 [하나 이상의 요소에 의해 유발되는 높은 인지부하]로 인해 의사에게 높은 인지 부하를 일으킬 것으로 예상할 수 있다. 

    • 또한 의사-환자-상황 간의 상호작용(그림 1)은 새로운 목표를 이끌어내며, 이렇게 만들어진 새로운 목표는 또다시 인지부하를 증가시킬 것이라고 예측할 수 있다(goal-free to goal-specific principle) (van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010). 

따라서 CLT는 situated cognition을 보완해준다. 즉, CLT는 situated cognition의 일반적인 프레임워크(그림 1)가 임상 추론의 특정 과제에 대해 어떻게 나타날 수 있는지를 예측하는 방법을 알려준다.

Given the number of factor elements that could be listed (examples are shown in Fig. 1), high cognitive load for the physician would be expected in many situations due to high factor element interactivity or high load induced by one or more elements. Further, these interactions between participants (Fig. 1) lead to emerging goals, and CLT would predict that emerging goals (goal-free to goal-specific principle) would increase cognitive load for the participants in the encounter (van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010). Thus, CLT complements situated cognition by providing a means to predict how the more general framework of situated cognition (Fig. 1) could be manifest for the specific task of clinical reasoning.


의미적 한정자는 추상적이고, 종종 이항적으로서, 환자의 임상표현을 특징짓거나 분류하는 데 사용되는 용어들이다(Bordage and Lemieux 1991). 의미 한정자의 예로는 급성, 양측, 만성 등이 있다. 그러한 한정자들은 의사들이 기억 속에 지식을 연결하거나 구성하는데 도움을 줄 수 있다고 여겨진다. 의미적 한정자는 CLT와 관련되는데, 인지 부하 감소를 위한 잠재적 메커니즘을 보여주기 때문이다. 예를 들어, CLT에 따르면, 의미적 한정자를 사용하게 되면, [정보 요소 상호작용성]을 감소시킬 것으로 예상된다.

Semantic qualifiers are abstract, often binary, terms used to characterize or classify a patient’s presentation (Bordage and Lemieux 1991). Examples of semantic qualifiers include acute, bilateral, and chronic. It is believed that such qualifiers may help physicians associate or organize knowledge in memory. Semantic qualifiers relate to CLT, representing a potential mechanism for decreasing cognitive load. For example, one expected manifestation of the use of semantic qualifiers, according to CLT, would be decreased information element interactivity.


또한 [임상에서 익숙한 문제를 진단하고 치료해야 하는 과제가 주어진] 전문가가 의미적 한정자를 부적절하게(또는 부정확하게) 사용한다는 것은, 높은 인지 부하를 나타내는 것으로 간주될 수 있다. 의미적 한정자의 부정확한 사용에 해당하는 표현 오류, 삭제, 대체와 같은 disfluencies는 높은 인지 부하와 관련이 있다고 보고된 바 있다(Lindstom et al. 2008; Villing 2009).

Also, the improper (or incorrect) use of semantic qualifiers in experts who are given the task to diagnose and treat problems familiar to their practice therefore could be considered as a manifestation of high cognitive load. Disfluencies, such as articulation errors, deletions, and substitutions which are akin to incorrect use of semantic qualifiers, as well as increased pauses, have been associated with high cognitive load in other fields (Lindstom et al. 2008; Villing 2009).


우리는 비디오테이프를 임상 추론에 대한 상황 요인의 잠재적 영향을 조사하기 위한 최적의 방법이라고 생각한다. 비디오테이프는 모든 참가자들에게 연구 중인 상황 요인과 동일한 사례 내용에 대한 동일한 "노출"을 제공할 수 있게 했다. 또한, 이 연구 설계는 조사 중 참가자의 정신적 과정을 측정하는 공식적인 think-aloud 절차의 사용을 용이하게 했다. 좀 더 구체적으로 말하자면, think-aloud 프로토콜은 우리가 선택한 상황적 요인과 인지 부하 표시가 임상적 추론 성과와 관련이 있는지를 탐구할 수 있게 해주었다. 더욱이, 비디오테이프는 종이 케이스보다 더 authentic한 방식으로 사례를 보여줄 수단을 제공했다(La Rockhelle et al. 2011).

We consider videotapes to be an optimal method to investigate the potential influence of contextual factors on clinical reasoning. Videotapes allowed us to provide all participants with the same ‘‘exposure’’ to the contextual factors under study and identical case content. Further, this study design facilitated the use of a formal think-aloud procedure, which provided a measure of participants’ mental processes during the investigation. More specifically, the think-aloud protocol allowed us to explore if the selected contextual factors and our markers of cognitive load were associated clinical reasoning performance. Moreover, the videotapes provided a means to represent cases in a more authentic way than paper cases (La Rochelle et al. 2011).


맥락적 요인의 잠재적 영향을 탐구하기 위해서, 상황화된 인식situated cognition에 따르면 실제 임상 현장에 존재하는 의사-환자-상황의 상호작용성(따라서 정보간 상호작용성)을 제시하기 위해서는 authenticity가 필요하다. 따라서, 참가자들에게 각 비디오 테이프의 authenticity 수준을 평가하도록 하는 한편, 비디오 테이프에 묘사된 상황 요인을 체계적으로 변화시켰다(표 1).

To explore the potential influence of contextual factors, situated cognition (Durning et al. 2010a, b) would support the notion of the need for authenticity to provide a means for participant and setting interactivity (and thus information interactivity) that is present in actual clinical practice. Thus, we also asked participants to rate the authenticity of each videotape, while we systematically varied the contextual factors portrayed in the videotapes (Table 1).


본 연구의 목적을 달성하기 위해, 우리는 우선 PEF(Postcounter Form)로 측정된 임상 추론 성과를 비교함으로써 맥락특이성의 문제를 입증하고자 하였다. 이 PEF는 참가자에게 추가적인 이력 및 신체검사 문제를 나열하고, 문제목록, 차등진단, 선행진단, 지원자료 및 치료계획서를 제공하도록 하는 자유 텍스트 양식이다(Durning et al. 2010b, 2011a).

To achieve the aims of this study, we first sought to demonstrate the problem of context specificity by comparing clinical reasoning performance as measured by our postencounter form (PEF). This PEF is a free-text form that asks participants to 

    • list additional history and 

    • physical examination questions, 

    • provide a problem list, 

    • differential diagnosis, 

    • leading diagnosis, 

    • supporting data, and 

    • treatment plan (Durning et al. 2010b, 2011a).


우리는 하나 이상의 요인이 존재하면 인지 부하 증가로 인한 임상 추론 수행을 방해할 것이라는 가설을 세웠다.

we hypothesized that the presence of one or more factors would impede clinical reasoning performance due to increased cognitive load.


방법

Methods


임상 추론 성과를 측정하기 위해, 내과 전문의(보드 인증 내과)가 실제로 보는 세 가지 일반적인 조건에 대한 비디오테이프를 사용했다. 이러한 각각의 묘사 내에서, 우리는 선택된 상황적 요인(표 1)을 수정했다. 그림 2는 우리의 연구 설계에 대한 개요를 보여준다. 임상 추론 성과는 자유 텍스트 PEF를 통해 포착되었으며, 이 연구에서 우리의 종속의존 변수 역할을 했다. 임상 추론 평가에 PEF의 사용을 뒷받침하는 신뢰성 및 유효성 증거는 이미 확립되었다(Durning et al. 2010b, 2011a). 이 PEF는 참가자들에게 진료상황을 보여주는 환자와 의사의 비디오 테이프에서 관찰된 내용을 바탕으로 자신의 생각을 나열할 것을 요구한다. PEF 질문에는 추가적인 이력 및 신체 검사 데이터 제공, 문제 목록 구성, 차등 진단 및 선행 진단 생성, 주요 진단 및 치료 계획에 대한 증거 제공 등이 포함된다.

To measure clinical reasoning performance, we used videotape portrayals of three common conditions that internal medicine experts (board-certified internists) see in practice. Within each of these portrayals, we modified selected contextual factors (Table 1). Figure 2 outlines our study design. Clinical reasoning performance was captured through a free-text PEF, which served as our main dependent variable in this study. Reliability and validity evidence to support the use of the PEF for assessing clinical reasoning has been previously established (Durning et al. 2010b, 2011a). This PEF asks participants to list their thoughts based on what was observed in the videotape encounter of a patient and a physician. The PEF questions entail 

  • providing additional history and physical exam data; 

  • constructing a problem list, 

  • creating a differential diagnosis and leading diagnosis; and 

  • providing supporting evidence for their leading diagnosis and treatment plan.



비디오테이프 개발

Videotape development


본 연구에서 조사된 맥락적 요인으로는 다음이 있다.

For the contextual factors investigated in this study, 

    • 제2외국어로서의 영어는 환자에게 번역기를 요청하게 하고, 의사에게 질문을 반복하게 하고, 그들의 기본 언어와 일치하는 억양으로 말하게 함으로써 그려졌다. 

    • Volatility 상황 요인에 대해 환자는 다음과 같은 문구로 의사의 자격 증명에 도전했다. '의사 생활한 지 얼마나 됐나' '의사 주치의인가, 수련생인가?' 

    • 부정확한 진단이나 치료의 제안은 환자 상태의 부적절한 진단이나 그들이 의사였던 가족 구성원으로부터 받은 치료로 묘사되었다. 

    • 비전형적인 표현는 고전적인 주요 특징들을 제거하거나 조건에 대해 덜 일반적인 표시 특징들을 삽입함으로써 묘사되었다.

    • English as a second language was portrayed by having the patient ask for a translator, asking the physician to repeat questions, and speak with an accent consistent with their primary language. 

    • For the volatility contextual factor, the patient challenged the physician’s credentials with phrases such as ‘‘how long have you been a doctor’’ and ‘‘are you an attending physician or a trainee’’. '

    • Suggestion of an incorrect diagnosis or therapy was portrayed by having the patient state inappropriate diagnoses or treatments that they received from a source such as a family member who was a physician. 

    • Atypical presentation was depicted by either eliminating classic key features or inserting less common presenting features for a condition.



진료후작성서식

Post-encounter form


각 비디오테이프를 본 후(각 참가자는 세션당 3개 또는 6개의 비디오테이프를 보았다; 그림 2), 보드 인증을 받은 내부자(전문가)에게 PEF를 작성하도록 요청하였다(부록 1). 비디오테이프 세션(3개 또는 6개 비디오테이프 보기)을 마치자 참가자들에게 나머지 비디오테이프(9개 비디오테이프 모두 보기 위해 돌아가라는 요청을 받았다. 일부 참가자는 9개 비디오테이프를 모두 완성하지 못했다.

After viewing each videotape (each participant viewed 3 or 6 videotapes per session; Fig. 2), board-certified internists (experts) were asked to complete a free-text Postencounter form (PEF) (appendix 1). Upon completing a videotape session (viewed 3 or 6 videotapes), participants were asked to return to view the remainder of the videotapes (all nine videotapes); some participants did not complete all nine videotapes.


PEF(부록 1)는 참가자들에게 추가 병력 및 신체검사 데이터를 나열하고, 우선순위화된 문제 목록을 작성하고, 차등 진단을 나열하고, 선행 진단을 위한 지원 데이터를 제공하며, 간단한 비디오 테이프에 제공된 정보를 바탕으로 추진할 치료 계획을 나열할 것을 요청하였다.Nario. 

The PEF (appendix 1) asked participants to 

    • list additional history and physical examination data, 

    • construct a prioritized problem list, 

    • list a differential diagnosis, 

    • list a leading diagnosis, 

    • provide supporting data for the leading diagnosis, and 

    • list a treatment plan that they would pursue given the information provided in the brief videotape scenario. 


PEF 섹션 점수는 한 조사자(SJD)에 의해 계산되었다. 각각의 서술형 답변은 별도의 전문가 패널(보드 인증 인턴)에 근거한 정답(1점), 부정확(0점), 부분적으로 정답(0.5점)으로 점수를 매겼다. 이 채점 키에 존재하지 않는 응답을 열거한 참가자들은 두 명의 조사관(SJD, KD)이 조사를 받았다. 참가자는 병력 5개, 신체검사 5개, 차등진단 7개 항목을 나열할 수 있다. 참가자들은 무작위로 PEF를 완료할 수 있는 시간에 제한을 두거나(최대 5분) 또는 제한이 없게 했다(최대 20분). PEF를 완료하는 데 필요한 시간(초)이 기록되었다. 이 PEF는 전문가의 임상 추론 성과에 대한 1차 결과 측정의 역할을 했다.

PEF section scores were calculated by one investigator (SJD). Each free-text answer (each additional history item, each additional physical exam item, problem list, each differential diagnosis item, leading diagnosis, and treatment plan) was scored as correct (1 point), incorrect (0 points), or partially correct (.5 points) response based on a separate panel of experts (board-certified internists) responses. Participants listing responses that were not present on this scoring key were vetted by two investigators (SJD and KD). Participants could list up to 5 history, 5 physical exam, and 7 differential diagnosis items. Participants were also given either limited (up to 5 min) or unlimited (up to 20 min) time to complete the PEF in a random fashion. The time, in seconds, needed to complete the PEF was recorded. This PEF served as a primary outcome measurement of expert’s clinical reasoning performance.


Think-Aloud 프로토콜

Think-aloud protocol


각 PEF를 완료한 후 참가자들은 공식적인 think-aloud 절차를 완료했다think-aloud 절차는 think-aloud 발언이 상황별 요인과 일치하는지 여부를 판단할 수 있도록 연구 설계에 통합되었으며(즉, 이러한 요인 중 하나 이상의 존재를 말로서 표현하는지), 아래에서 설명한 우리의 인지 부하 측정은 PEF가 측정한 임상 추론 성과와 관련이 있다. 이와 같이, 우리의 think-aloud 척도는 PEF 성과와 상관관계가 있는 독립변수로 작용했다.

After completing each PEF, participants completed a formal think-aloud procedure. The think-aloud procedure was incorporated into our study design so that we could determine if think-aloud utterances consistent with the contextual factors (i.e. verbalizing the presence of one or more of these factors) and our cognitive load measures, described below, were associated with clinical reasoning performance as measured by our PEF. As such, our think-aloud measures served as independent variables that were correlated with PEF performance.


좀 더 구체적으로, 참가자들은 비디오 테이프를 다시 보면서, 묘사된 환자에 대한 진단 및 치료 계획을 수립하는 과제를 수행하면서 "think-aloud"하였다. 우리는 think-aloud 프로토콜에 표준 절차를 사용했다(Ericsson et al. 2006). 참가자들은 프로토콜을 완료하기 전에 이 방법론(Ericsson et al. 2006)에서 초기 교육을 받았다. 모든 사고 방식 프로토콜은 비디오와 오디오 테이프로 녹화되었다. think-aloud 절차에서 참가자는 작업 중 자신이 생각하는 모든 생각을 구두로 표현하고 자신의 사고 과정을 분석하지 않도록 명시적으로 지시 받는다think-aloud procedure는 여러 연구로부터 과제를 수행하는 동안의 이뤄지는 정신 과정을 신뢰성 있게 보여준다는 점이 밝혀졌다(Ericsson et al. 2006).

More specifically, participants re-watched each videotape while ‘‘thinking aloud’’ with the task of establishing a diagnosis and treatment plan for the patient portrayed in the videotape. We used a standard procedure for the think-aloud protocol (Ericsson et al. 2006). Participants received initial training in this methodology (Ericsson et al. 2006) prior to completing the protocol. All think-aloud protocols were video and audio taped. In the think-aloud procedure, participants verbalize whatever thoughts they have during a task and are explicitly instructed to not analyze their thought processes. Importantly, the thinkaloud procedure has been shown in several studies to reliably reflect concurrent mental processes while performing a task (Ericsson et al. 2006).


PEF와 조사 대책과의 비교를 용이하게 하기 위해 참가자의 인지 부하를 반영하기 위해 3명의 선동자(SJD, CVderV, LS)가 고안한 연역 코딩 시스템에 따라 think-aloud 프로토콜을 분석하였다. 기존의 평가 항목을 활용하여 인지 부하를 측정하려면, 이것을 위해 think-aloud 프로세스를 일시 중단해야 했고, 이는 think-aloud 절차를 훼손할 것으로 예상되었기 때문에, 우리는 작업을 수행하는 동안 실시간으로 인지 부하를 확인하기 위한 코딩 시스템을 만들었다.

To facilitate comparison with PEF and survey measures, think-aloud protocols were analyzed according to a deductive coding system devised by three instigators (SJD, CVderV, LS) to reflect participant’s cognitive load. Because pausing the think-aloud process to measure cognitive load with traditional assessment items (van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010) would be expected to compromise the think-aloud procedure (Ericsson et al. 2006), we created a coding system to ascertain realtime cognitive load while performing the task (thinking-aloud).


인지부하 측정

Measuring cognitive load


전문성은 데이터의 chunking 과 관련되어있다. 이 chunking은 작업기억자원을 free-up하는 것, 그리고 장기 메모리에 저장된 정보를 사용하는 것으로 알려져있다(Ericsson et al. 2006). 이 두 가지 전략은 모두 인지 부하를 감소시키는 것으로 생각된다. 우리는 think-aloud 절차에서 적절한 의미론적 한정자, 깊은 문제 표현 및 조기 진단 확립을 사용하는 것이 인지 부하를 낮추는 것과 동일할 것으로 기대했다.

Expertise is believed to be associated with both the ‘‘chunking’’ of data, which is thought to free up working memory resources and by using information stored in long-term memory (Ericsson et al. 2006). Both of these strategies are believed to reduce cognitive load. We expected that 

    • use of proper semantic qualifiers, 

    • deep problem representation, and 

    • early establishment of diagnosis in the think-aloud procedure would equate with lower cognitive load.


반면에, 

    • 의미적 한정자의 부정확한 사용, 

    • 피상적인 문제 표현, 

    • 일시 중지, 

    • think-aloud 중 진단 확립을 위한 시간 지연 

...은 더 높은 인지 부하를 으미하는 것으로 보았다. 위와 같은 행동을 보이는 것은 장기 작업기억리소스를 invoke하지 않기 때문에, 작업기억에 더 많은 정보처리를 요구할 것으로 예상된다.(Ericsson 등, 2006년).

On the other hand, incorrect use of semantic qualifiers, superficial problem representation, pauses, and late time to establishing the diagnosis during the think-aloud would be predicted to equate with higher cognitive load; by not invoking long-term working memory resources, these measures would be expected to involve greater information processing demands on working memory (Ericsson et al. 2006).


마찬가지로, think-aloud에서 말로서 맥락적 요인이 존재한다는 것을 인식함을 보여주는 것이 더 높은 인지 부하와 관련이 있을 것이다. 말로 표현했다는 것은 그 맥락적 요인이 작업기억 공간을 차지했다는 것을 보여줄 수 있기 때문이다. 앞선 연구에서는 우리는 [think-aloud 절차 중 상황 요인을 말로 표현했다는 것]이 [핵심적 사항을 발견하지 못하고 누락하는 것]과 관련이 있음을 발견했는데, 이는 높은 인지 부하가 전문가의 임상 추론 성과와 부정적으로 연관될 수 있다는 우리의 입장을 더욱 뒷받침한다(Durning et al. 2011b).

Likewise, verbally recognizing the presence of a contextual factor would be associated with higher cognitive load, as verbalization could be associated with the contextual factor taking up working memory space. In a previous study, we found that verbalizing one or more contextual factors during a think-aloud procedure was associated with missing key findings, which further supports our stance that high cognitive load may be negatively associated with expert’s clinical reasoning performance (Durning et al. 2011b).


따라서 인지 부하를 추론하기 위해 우리의 think-aloud 코딩 체계에 다음과 같은 문구가 포함되었다:

Therefore, the presence of the following utterances were included in our think-aloud coding scheme to infer cognitive load: 

    • 의미 한정자(연속 데이터로 처리됨, 양 또는 올바른 사용, 음 또는 잘못된 사용) 

    • 심층적 대 피상적 문제 표현(이진 점수) 

    • 하나 이상의 상황별 요인의 존재를 구두로 표시 (각 요소에 대해 예 또는 아니오)

    • 한 번 이상 think-aloud를 잠시 멈춘다. (그렇든 아니든) 

    • 진단을 내리는 데 까지의 시간(think-aloud에서 초기 또는 think-aloud 후기)

semantic qualifiers (treated as continuous data; positive or correct use, negative or incorrect use), 

deep versus superficial problem representation (binary score), 

verbalizing the presence of one or more of the contextual factors (yes or no for each factor), 

the presence of one or more participant pauses during the think aloud (yes or no), and 

time to establishing the diagnosis (coded as early on in the think-aloud or late during the think-aloud). 


우리는 인지부하점수가 높은 것이 낮은 PEF 섹션 점수와 유의하게 연관될 것으로 예상했다.

We anticipated that coding scheme of high cognitive load would be significantly associated with lower PEF section scores and vice versa.


자료분석

Data analysis


결과

Results


PEF의 각 섹션(추가 이력, 추가 신체검사, 문제목록, 차등진단, 선행진단, 선행진단 정당성, 치료계획)에 대한 성과는 0%에서 100%까지 크게 다양했다. 또한 섹션 점수는 각 섹션의 개별 참가자 수준에 따라 달랐다(범위 0~100%) 표 2에 표시된 모든 참가자의 평균 점수

Performance on each section of the PEF (additional history, additional physical exam, problem list, differential diagnosis, leading diagnosis, justification for leading diagnosis, treatment plan) varied widely, ranging from 0% to 100%. Also, section scores varied on the individual participant level for each section (range 0–100%). Mean scores for all participants are shown in Table 2



맥락특이성의 확인

Demonstrating context specificity


각 PEF 섹션의 퍼포먼스를 모든 비디오 테이프(9개 총)에 걸쳐 비교하고, 공변량(Covariate)으로 시간을 사용하여 섹션 점수가 사례마다 다른지 여부를 결정했다.

We compared performance of each PEF section across all videotapes (9 total), using timeas a covariate, to determine if section scores differed across cases.


PEF 양식을 완료하는 시간은 신체검사(.35), 차등진단(.34), 보조증거(.40), 치료계획(.20)과 낮은 상관관계를 가진 대부분의 PEF 섹션 점수와 유의미하게 관련되었다. (오래 걸릴수록 섹션별 점수가 높음)

time to complete the PEF form was significantly related to most PEF section scores with low to moderate correlations (r values): 

    • physical exam (.35), 

    • differential diagnosis (.34), 

    • supporting evidence (.40), 

    • treatment plans (.20).


그런 다음 각 케이스를 진단에 따라 묶고, PEF 섹션 점수와 관련성을 보았다.

We then grouped cases by diagnosis (3 videotapes for each diagnosis) and correlated PEF section scores within each diagnosis.


병력과 총점을 제외하면, 모든 PEF 섹션 점수에서 상당한 차이가 관찰되었다 (표 3).

Significant differences across every PEF section score were seen with the exception of history and total score (Table 3).



맥락적 요인과 맥락 특이성

Contextual factors and context specificity


인지 부하에 대한 PEF 섹션 점수와 think-aloud 측정 간의 유의한 상관관계가 관찰되었다. 물론, 이러한 상관들 중 많은 것들이 부정적이었다. 즉, 인지부하(think aloud)가 높으면 PEF점수가 낮았다. 상관관계는 그들의 방향(긍정적이든 부정적이든)에서 우리의 예상과 일치했다.

Significant correlations between PEF section scores and think-aloud measures of cognitive load were seen. Of note, many of these correlations were negative. Correlations were consistent with our theoretic expectations in their direction (positive or negative).


    • 제2외국어로 영어의 존재를 인정한 참가자는 PEF 이력(r =-.38)과 신체검사(r =-.28)에서 상당히 낮은 점수를 받았다. 

    • 진단 제안을 인정하는 참가자들은 차등 진단(r =-.30)과 선행 진단(r =-.34)에 대한 PEF 점수가 현저히 낮았다. 

    • 진단 확립에 시간이 오래 걸리는 것 역시 PEF 차등 진단(r =-.20), 선행 진단(r =-.23) 및 뒷받침 증거(r =-.20)에 대한 점수가 현저히 낮았다. 

    • 깊이 있는 문제 표현은 진단 점수를 lead하는 것과 상당히 긍정적 방향으로 관련이 있다(r = .34). 

    • 의료 용어의 부정확한 사용(부정 의미 능력)은 낮은 PEF 선행 진단(r =-.50) 및 총 점수(r =-.61)와 유의하게 연관되었다고 생각한다. 

    • 특히 인지 부하 think-aloud 점수와 PEF 치료 계획 사이의 유의한 상관관계는 발견되지 않았다.

    • participants who acknowledged the presence of English as a second language had significantly lower scores on PEF history (r =-.38) and physical examination (r =-.28). 

    • Participants acknowledging diagnostic suggestion had significantly lower PEF scores on differential diagnosis (r =-.30) and leading diagnosis (r =-.34). 

    • Late time in establishing the diagnosis during the think-aloud protocol was also associated with significantly lower scores on PEF differential diagnosis (r =-.20), leading diagnosis (r =-.23), and supporting evidence (r =-.20). 

    • Think aloud deep problem representation was significantly associated with leading diagnosis score in a positive fashion (r = .34). 

    • Finally think aloud incorrect use of medical terminology (negative semantic competence) was significantly associated with lower PEF leading diagnosis (r =-.50) and total score (r =-.61). 

    • Notably, no significant correlations between cognitive load think-aloud scores and PEF treatment plan were found.


think-aloud 에 대한 연구된 상황 요인 중 하나와 think-aloud 에 대한 기타 인지 부하 측정 간에 유의한 상관관계가 발견되었다. 즉, 비디오에 포함시킨 상황요인은 인지부하(think aloud)를 높였다. 상관관계는 방향(긍정적이든 부정적이든)에 대한 우리의 예상과 일치했다.

Significant correlations were also found between mentioning one of the studied contextual factors on think-aloud and other cognitive load measures on think-aloud. Again, correlations were consistent with our theoretic expectations in direction (positive or negative).


    • 진단 제안은 진단 지연 시간(r = .35) 및 피상적인 문제 표현(r = .26)과 연관되었다. 

    • 제2언어로서의 영어는 변동성(r = .38)과 부정적인 의미역량(r = .58)과 연관되어 있었다. 

    • Volatility은 또한 부정적인 의미 역량과 연관되었고(r = .43) 전체 의미 역량과 부정적으로 연관되었다(r =-.26). 

    • 깊은 문제 표현은 진단 지연 시간(r =-.40) 및 일시 중단 존재(-.35)와 부정적으로 연관되었다. 

    • 의사가 스스로 보고한 exposure 추정치(지난 주 및 지난 달에 본 진단과 관련된 사례 수)로 PEF 섹션 또는 사고-알람 인식 부하 측정과 유의미하게 관련되지 않았다.

    • Diagnostic suggestion was associated with late time to diagnosis (r = .35) and superficial problem representation (r = .26). 

    • English as a second language was associated with volatility (r = .38), and negative semantic competence (r = .58). 

    • Volatility was also associated with negative semantic competence (r = .43) and was negatively associated with total semantic competence (r =-.26).

    • Finally, deep problem representation was negatively associated with late time to diagnosis (r =-.40) and the presence of pauses (-.35). 

    • Physician self-reported estimate of exposure, by number of cases with the diagnosis seen in the last week and last month, did not significantly correlate with any PEF section or any think-aloud cognitive load measure.


고찰

Discussion


우리는 PEF 성능에 대한 맥락특이성을 입증했다. PEF 섹션 점수는 비디오 테이프에서 동일한 진단을 묘사하였는지는 상관관계가 없었다. 우리의 연구결과는 상황별 특이성에 관한 초기 작업에 추가되었다(Norman et al.1995). 특히, 전문가 집단의 경우, 동일한 진단 내에서도 대부분의 PEF 섹션에서 유의미한 차이를 발견하였다.

We demonstrated context specificity on PEF performance. PEF section scores did not highly correlate for videotapes portraying the same diagnosis. Our findings adds to earlier work on context specificity (Norman et al.1995). In particular, for a group of experts, we found significant differences across most sections of the PEF within a given diagnosis.


더욱이, 우리는 맥락특이성의 문제에 부분적으로 책임이 있을 수 있는 특정 상황 요인의 잠재적 영향을 연구했다. 문가들이 이러한 상황적 요인에 의해 영향을 받는 것처럼 보이는 사실은 주목할 만하며, 이렇기 때문에 중간단계 학습자(레지던트 또는 펠로우)와 초보자(학생) 역시 이러한 상황적 요인의 영향력에 훨씬 더 민감할 것으로 예상한다. 비디오테이프의 일부 측면은 맥락특이성을 유도했다.

Moreover, we studied the potential impact of specific contextual factors that could be partly responsible for the problem of context specificity . The fact that experts appear to be influenced by these contextual factors is noteworthy, and we hypothesize that intermediates (residents or registrars) and novices(students) may be even more susceptible to the influence of these and other contextual factors. Some aspect of the videotapes resulted in the phenomenon of context specificity;


본 연구에서 사용된 상황 요인은 소규모에서 중간 정도의 효과로 전문가 성과에 영향을 미치는 것으로 나타났다. 이것은 위치 인식 및 인지 부하 이론의 원칙에 부합한다. 이러한 영향은 PEF 수행점수가 think-aloud 절차에서 상황 요인이 언급되었을 때 더 낮아진 것에서 명백하게 드러난다.

The contextual factors used in our study did appear to impact expert performance, with small to moderate effects, in accordance with the tenets of situated cognition and cognitive load theories. This impact was evident in the univariate negative correlations when contextual factors were mentioned during the think-aloud procedure with PEF performance.


당연히, 시간제한(의사 요인) 대부분의 섹션에서 PEF 성능에 영향을 미쳤다. 전자 진료 기록을 사용하는 바쁜 의사들이 환자 한 명당 3-5분 안에 노트를 완성할 것으로 예상할 수 있기 때문에, 시간 효과에 대한 우리의 발견은 관련이 있다.

Not surprisingly, the physician factor of limited time impacted PEF performance on most sections. As busy physicians using electronic medical records can be expected to complete their notes in 3–5 min per patient, our finding of the effect of time has relevance.


CLT에서 예상되는 바와 같이, 상황 요인은 PEF는 think-aloud 척도와 상관관계가 있었다. 상황 요인이 PEF에 미치는 영향은 섹션마다 다양했다. 예를 들어, 제2외국어로서의 영어는 다른 맥락적 요인보다 역사와 신체검사 성과에 더 큰 영향을 미쳤다.

The selected contextual factors studied correlated, as predicted by CLT, with our PEF and think-aloud measures. The correlations between selected contextual factors and PEF section performance varied. For example, English as a second language had a greater effect on history and physical exam performance than the other contextual factors.


또한, 영어와 음의 의미론적 한정자 사용의 상관관계는 CLT와 일치할 수 있다. 전문가의 음성 의미 한정자 사용은 높은 인지 부하를 나타내는 것으로 예상되기 때문이다. 제2언어로서의 영어가 [진단 및/또는 치료적 결정]에 영향을 미치지 않았다는 것은 주목할 만하다. 이는 전문가가 이러한 일반적인 조건에 친숙하기 때문이거나, 또는 진단 및 치료결정을 내리는 과제는 작업기억의 다른 영역을 invoke하기 때문일 수 있다. 다른 영역을 invoke하면 추가적 작업기억자원을 확보하여 인지 부하 증가로 인한 영향을 경감시킬 수 있다.

Additionally, the correlation of English as a second language with negative semantic qualifiers use may also be consistent with CLT, as an expert’s use of negative semantic qualifiers is an expected manifestation of high cognitive load. It is notable that the English as a second language factor did not have more of an impact on diagnostic and/or therapeutic decisions. This may be due to the experts’ familiarity with these common conditions in practice and/or that the task of establishing the diagnosis and treatment invoke different areas of working memory, and thus additional working memory resources could be recruited to mitigate increased cognitive load.


[잘못된 진단 또는 치료 제안]은 다른 PEF 섹션보다 [감별진단 및 최우선진단leading diagnosis 점수]에 더 많은 영향을 미쳤다. CLT의 관점에서, 잘못된 진단을 제안하는 것은, 만약 제안된 진단을 고려해야 할 합당한 이유가 있다면, 진단의 확립 과제와 관련된 추가적인 정보처리 부담을 제공할 것으로 예상된다.

Incorrect diagnostic or treatment suggestion impacted differential diagnosis and leading diagnosis scores more than other PEF sections. From a CLT standpoint, suggesting an incorrect diagnosis would be expected to provide additional information processing burden related to the task of establishing the diagnosis if the diagnosis was believed to be reasonable to consider.


우리는 이 발견들이 몇 가지 잠재적인 의미를 가지고 있다고 믿는다. 

  • 첫째, 정확한 병력청취와 신체검사를 받는 것은 정확한 진단과 치료에 도달하는 데 필수적이다. 본 연구에서는 제2외국어로서의 영어는 진단과 치료에 영향을 미치지 않았지만, 병력과 신체진찰의 본질적 특성을 감안할 때 실제로는 영향을 줄 수도 있다. 

  • 둘째로, 진단 및 치료 제안의 영향은 [환자가 잠재적 진단 및 치료 방법을 검색하여 의사와 논의할 수 있는 인터넷 및 TV 자원이 증가]했기 때문에 중요하다. 

  • 셋째, 연구되지 않은 다른 상황 요인(환자, 의사 및 설정)도 마찬가지로 인지 부하 증가 또는 기타 수단을 통해 의사의 추론에 영향을 미칠 수 있다.

We believe these findings have several potential implications. 

  • First, obtaining an accurate history and physical examination is essential to arriving at the correct diagnosis and therapy. Though English as a second language did not impact diagnosis and therapy in this study, it could be expected do so in practice given the essential nature of history and physical. 

  • Second, the impact of diagnostic and/or treatment suggestion is relevant given the increasing Internet and television resources for patients to search for potential diagnoses and treatments to then discuss with their physician. 

  • Third, other contextual factors (patient, physician, and setting) that were not studied (Fig. 1) may likewise have effects on physician reasoning, either through increased cognitive load or other means.


또한 음성 의미 한정자 점수가 PEF 수행의 여러 섹션과 크고 유의한 부정적 연관성을 가지고 있다는 것도 주목할 만하다. 우리의 결과에 따르면, 전문가들에 의한 [부적절한 의미적 한정자 사용]은 [의미적 한정자의 적절한 사용]보다 임상적 추론 성과에 더 큰 영향을 미치는 것으로 나타났다. 의미적 한정자는 참가자가 다른 정보에 주의를 기울일 수 있도록 인지 자원을 free up해주는 방식으로 지식을 조직화하거나 "청킹"하는 방법을 나타내는 듯 하다.

It is also notable that negative semantic qualifier score had large, significant negative associations with several sections of PEF performance. Our results revealed that inappropriate use of semantic qualifiers (negative semantic competence) by experts appears to have a greater impact on clinical reasoning performance than proper use of semantic qualifiers. Semantic qualifiers are believed to represent a way to organize or ‘‘chunk’’ knowledge, enabling the participant to free up cognitive resources to attend to other information.


이 연구에서 탐구된 맥락적 요인들이 [치료적 추론]보다 [진단적 추론]에 더 큰 영향을 미치는 것으로 나타난 것은 흥미롭다. 비록 이것이 본 연구의 초점은 아니었지만, 이 영향은 몇 가지 원인의 결과일 수 있다. 

It is interesting that the contextual factors explored in this study appeared to impact diagnostic more than therapeutic reasoning. Though this was not a focus of the present study, this effect may be the result of several causes. 

  • 첫째, 많은 사람들은 [진단추론과 치료추론이] 종종 같은 '기술'의 다른 발현이라고 믿지만, 진단추론과 치료추론은 실제로 다를 수 있다. 예를 들어, 병력청취 및 신체검사에 대한 최근 연구에 따르면, 오랫동안 이 두가지가 하나의 "기술"을 나타내는 것으로 가정되어왔지만, 사실 두 가지 요소가 서로 다르다는 것을 제시한다(Clauser et al.). 2009).

First, though often believed by many to be different manifestations of the same ‘‘skill’’, diagnostic and therapeutic reasoning may actually be different. For example, recent studies of the history and physical exam, two components of the clinical encounter that were long assumed to represent one ‘‘skill’’—history taking and physical examination—suggest that the two are different (Clauser et al. 2009).


진단적 추론과 치료적 추론은 분리되어 있으나 관련되는 실체라는 이 개념은 해석(진단적 추론)을 관리(치료 추론; 판가로 1999)와는 다른 발달 단계로 보는 RIME(Reporter Interpreter Manager Educator) 평가 프레임워크와 일치한다. RIME 프레임워크에서 이력 및 신체 검사는 진단과 치료적 추론 모두에 중요하다. 그러나 우선 리포터(정확히 역사와 신체검사 데이터를 입수하는 것)가 되지 않으면 인터프리터나 매니저가 될 수 없다.

This notion of diagnostic and therapeutic reasoning as being separate but related entities is consistent with the Reporter Interpreter Manager Educator (RIME) evaluation framework, which considers interpreting (diagnostic reasoning) as a different developmental step than managing (treatment reasoning; Pangaro 1999). In the RIME framework, history and physical examination are important to both diagnostic and therapeutic reasoning. Indeed, one cannot be an Interpreter or Manager without first being a Reporter (accurately obtain history and physical examination data).


참가자가 지난 주와 지난달에 진단에 대해 스스로 보고한 경험은 성과와 상관관계가 없었다. 이는 최근 초보자 작업과 대조된다(Durning et al. 2011c). 경험의 영향은 확립된 전문가보다 전문성 획득(의사 학생 초보자) 동안 더 중요할 수 있다. 후자는 연구에서 사용되는 일반적인 진단에 대한 강력한 스크립트를 가지고 있다.

Participant’s self-reported experience with the diagnosis in the last week and last month was not correlated with performance. This contrasts with recent work of novices (Durning et al. 2011c). This effect of experience may be more important during expertise acquisition (medical student novices) than in established experts; the latter having robust scripts for the common diagnoses used in the study.


이론적 함의

Theoretic implications


몇 가지 발견은 인지 부하가 상황 요인이 전문가 성과에 영향을 미치는 이유일 수 있다는 생각을 뒷받침한다. Situated cognition은 encounter에서 발생하는 다른 요소(표 1)들도 인지 부하를 유도할 수 있음을 예측하게 해준다.

    • 첫째, 비디오테이프에서 제시된 상황 요인의 부정적인 영향은 참가자가 think-aloud 절차 중에 요소를 구두로 인정했을 때 더 유의적일 수 있었다. 

    • 둘째, 인지 부하에 대한 우리의 다른 몇 가지 사고-알람된 척도는 상당히 낮은 PEF 섹션 성능, 특히 부정적인 의미적 한정자의 사용과 관련이 있어 큰 효과를 보였다. 

    • 셋째, 인지 부하 측정의 몇 가지는 상황 인자의 구두적 인정verbal acknowledgment과 유의하게 연관되어 있었다. 이러한 연구 결과는 인지 부하를 감소시킬 수 있는 조치(van Merrienboer and Sweller 2010; Paas 등, 2003; Plass 등, 2010)가 진단 및 치료 추론에 대한 상황 요인의 잠재적인 부정적 영향을 감소시킬 수 있음을 시사한다.

Several findings support the idea that cognitive load may be a reason why contextual factors impacted expert performance. Situated cognition would predict that other factors in the encounter (Table 1) could induce cognitive load. 

    • First, the negative impact of contextual factors modified in the videotapes was more likely to be significant when the participant verbally acknowledged the factor during think-aloud procedure. 

    • Second, several of our other think-aloud measures for cognitive load were associated with significantly lower PEF section performance, most notably the use of negative semantic qualifiers, which showed a large effect. 

    • Third, several of our cognitive load measures were significantly associated with the verbal acknowledgment of a contextual factor. These findings would suggest that measures taken that may reduce cognitive load (van Merrienboer and Sweller 2010; Paas et al. 2003; Plass et al. 2010) could dampen the potential negative impact of contextual factors on diagnostic and therapeutic reasoning.


Durning, S. J., Artino, A. R., Pangaro, L. N., van der Vleuten, C., & Schuwirth, L. (2010a). Redefining context in the clinical encounter: Implications for research and training in medical education. Academic Medicine, 85, 894–901.


Durning, S. J., Artino, A. R., van der Vleuten, C. P. M., Pangaro, L., & Schuwirth, L. (2011b). Context and clinical reasoning: understanding the situation from the perspective of the expert’s voice. Medical Education (accepted).


van Merrienboer, J. J. G., & Sweller, J. (2010). Cognitive load theory in health professional education: Design principles and strategies. Medical Education, 44, 85–93.













 2012 Mar;17(1):65-79. doi: 10.1007/s10459-011-9294-3. Epub 2011 Apr 20.

The impact of selected contextual factors on expertsclinical reasoning performance (does context impact clinical reasoning performance in experts?).

Author information

1
Department of Medicine (NEP), Uniformed Services University of the Health Sciences (USU), 4301 Jones Bridge Road, Bethesda, MD 20814, USA. sdurning@usuhs.mil

Abstract

Context specificity, or the variation in a participant's performance from one case, or situation, to the next, is a recognized problem in medical education. However, studies have not explored the potential reasons for context specificity in experts using the lens of situated cognition and cognitive load theories (CLT). Using these theories, we explored the influence of selected contextual factors on clinical reasoningperformance in internal medicine experts. We constructed and validated a series of videotapes portraying different chief complaints for three common diagnoses seen in internal medicine. Using the situated cognition framework, we modified selected contextual factors--patient, encounter, and/or physician--in each videotape. Following each videotape, participants completed a post-encounter form (PEF) and a think-aloud protocol. A survey estimating recent exposure from their practice to the correct videotape diagnoses was also completed. The time given to complete the PEF was randomly varied with each videotape. Qualitative utterances from the think-aloud procedure were converted to numeric measures of cognitive load. Survey and cognitive load measures were correlated with PEF performance. Pearson correlations were used to assess relations between the independent variables (cognitive load, survey of experience, contextual factors modified) and PEF performance. To further explore context specificity, analysis of covariance (ANCOVA) was used to assess differences in PEF scores, by diagnosis, after controlling for time. Low correlations between PEF sections, both across diagnoses and within each diagnosis, were observed (r values ranged from -.63 to .60). Limiting the time to complete the PEF impacted PEF performance (r = .2 to .4). Contextspecificity was further substantiated by demonstrating significant differences on most PEF section scores with a diagnosis (ANCOVA). Cognitive load measures were negatively correlated with PEF scores. The presence of selected contextual factors appeared to influence diagnostic more than therapeutic reasoning (r = -.2 to -.38). Contextual factors appear to impact expert physician performance. The impactobserved is consistent with situated cognition and CLT's predictions. These findings have potential implications for educational theory and clinical practice.

PMID:
 
21505841
 
DOI:
 
10.1007/s10459-011-9294-3


임상술기 습득에 있어서 숙고 연습(DP)의 역할(BMC Med Educ, 2011)

The role of deliberate practice in the acquisition of clinical skills

Robbert J Duvivier1*, Jan van Dalen1, Arno M Muijtjens2, Véronique RMP Moulaert3, Cees PM van der Vleuten2 and Albert JJA Scherpbier4





배경

Background


예를 들어 체이스와 사이먼은 특정 분야의 전문가 수준에 도달하려면 10년의 집중적인 연습이 필요하다고 주장했다[4].

Chase and Simon, for example, argued that it takes ten years of intensive practice to reach expert level in a particular field [4].


에릭슨은 일, 놀이, 훈련을 구별했다[5]. 

  • 일은 주로 즉각적인 금전 및/또는 사회적 보상으로 이어지는 활동을 수반한다. 

  • 놀이는 명백한 목표가 없고 본질적으로 즐거운 활동을 포함한다. 

  • 훈련은 특정 영역의 성능 개선을 명시적으로 지시하는 고도로 구조화된 활동으로 특징지으며 "숙고 연습"의 개념을 도입했다[6].

Ericsson made a distinction between work, play and training [5]. Work entails activities that primarily lead to immediate monetary and/or social rewards. Play involves activities that have no explicit goal and are inherently enjoyable. For training Ericsson introduced the concept of “deliberate practice”, characterising training as a highly structured activity explicitly directed at improvement of performance in a particular domain [6].


구체적인 과제는 약점을 극복하기 위해 고안되며, 퍼포먼스는 더 많은 개선을 달성하기 위한 단서들을 제공하기 위해 세심하게 모니터된다. DP는 단순히 어떤 과제의 무념무상의 반복이 아니라, 잘 정의된 목표에 도달하기 위한 훈련의 집중적인focused 접근이다. DP의 실제 구현은 몇 가지 설계 원리에 기초한다[7].

Specific tasks are invented to overcome weaknesses and performance is carefully monitored to provide cues for ways to achieve further improvement. Deliberate practice is not mere mindless repetition of a certain task, but a focused approach to training aimed at reaching a welldefined goal. Practical implementation of the theoretical construct is based on several design principles [7]:


(a) 의도된 인지 또는 정신운동 기술의 반복적 성능

(b) 엄격한 기술 평가

(c) 특정 정보 피드백

(d) 더 나은 기술 수행

(a) repetitive performance of intended cognitive or psychomotor skills

(b) rigorous skills assessment

(c) specific informative feedback

(d) better skills performance


Moulaert 외 연구진은 Ericsson의 이론적 원리가 학부 의대생들의 연구 습관에서 확인될 수 있는지를 탐구했다[16]. DP의 측면들은 지식과 기술 테스트의 결과와 긍정적인 상관관계가 있었다.

Moulaert et al. explored whether the theoretical principles of Ericsson could be identified in the study habits of undergraduate medical students [16]. Aspects of deliberate practice were positively correlated with results on knowledge and skills tests.


다른 분야의 연구에 따르면 에릭슨 이론의 원리가 테니스와 골프와 같은 정신운동 기술 훈련[17]에 적용 가능한 것으로 나타났기 때문에, DP가 임상 기술 학습 분야에서도 유익할 수 있는지 조사하는 것이 가치가 있는 것 같다.

Since research in other domains has shown that the principles of Ericsson’s theory are applicable to training in psychomotor skills such as tennis and golf[17],it seems worthwhile to investigate whether deliberate practice can be of benefit in the area of clinical skills learning too.


우리는 DP에 기반을 둔 훈련 활동이 학부 임상 기술 훈련에 효과적일 수 있다는 가설을 세웠다.

we hypothesised that training activities grounded in deliberate practice can be effective in undergraduate clinical skill training.



방법

Methods


세팅

Setting


학생들은 1, 2, 3, 5학년 말에 스킬 시험을 본다. 이것은 학생들이 서로 다른 임상 시나리오(OSCE)를 제시하는 여러 스테이션으로 구성된 수행능력기반 시험이다. 각 학생은 동일한 일련의 과제를 수행하며, 성능은 스테이션별 표준 체크리스트를 사용하여 숙련된 의사들에 의해 등급이 매겨진다. 각 체크리스트에는 학생이 만족스러운 점수를 얻기 위해 수행해야 하는 주요 항목이 포함되어 있다. 전체 OSCE 결과는 정확하게 수행된 주요 체크리스트 항목의 총 수에 기초한다.

Students take a skills test at the end of years 1, 2, 3 and 5. This is a performance-based test consisting of multiple stations where students are presented with different clinical scenarios (OSCE). Each student undertakes the same series of tasks, and performance is graded by trained physicians using station-specific standardised checklists. Each checklist contains key items that the student must perform to gain a satisfactory rating. The overall OSCE result is based on the total number of correctly performed key checklist items.


설문

Questionnaire


물라에르트가 개발한 설문은 전문지식 개발에 관한 문헌을 바탕으로 8명의 의대생과 8명의 인지심리학 및 교육과학 전문가들에 의해 검토되었다. 우리는 이 설문지를 기술 교육에 적합하도록 조정하고, 이 도메인에 대한 전송 가능성을 보증하기 위해 콘텐츠 유효성을 정당화했다. 그것은 네 명의 의대생들 사이에서 조종되었고, 네 명의 의과 교육 전문가들에 의해 검토되었고, 그들의 논평에 따라 수정되었다. 최종 설문지는 완료하는 데 약 10분이 걸렸고 리커트 5점 척도(1 = never, 5 = always)(추가 파일 1)에 대한 응답이 필요한 34개 항목으로 구성. 학생들은 설문지의 목적에 대한 구두 및 서면 정보를 받았다. 모든 학생들이 사전 동의를 했다.

Moulaert’s questionnaire was based on the literature on expertise development and reviewed by eight medical students and eight experts in cognitive psychology and educational science. We adapted this questionnaire to fit skills training, and justified the content validity to guarantee transferability to this domain. It was piloted among four medical students, reviewed by four medical education experts and modified in response to their comments. The final questionnaire took approximately ten minutes to complete and consisted of 34 items requiring a response on a five-point Likert scale (1 = never, 5 = always) (additional file 1). Students received oral and written information about the purpose of the questionnaire. All students gave informed consent.


자료 분석

Data analysis


연구질문 1

Research Question 1


우리는 적응된 설문지를 검증하기 위해 탐색 요인 분석과 신뢰성 분석을 수행했다. 추출된 요인은 의도적인 실무 측면의 결합으로 구성되었다.

We performed exploratory factor analysis and reliability analysis to validate the adapted questionnaire. Extracted factors constituted subscales of aspects of deliberate practice.


연구질문 2

Research Question 2


두 번째 연구 질문의 해답을 얻기 위해, 의도적인 실천의 측면에서 연도간 차이를 조사하기 위해 분산 분석(ANOVA)을 실시했다. 각 요인에 대한 평균 항목 점수를 계산한 후, 우리는 유형 I 오류로부터 보호하기 위해 Bonferroni 보정을 사용했다. 

In order to answer the second research question, we conducted analysis of variance (ANOVA) to investigate between-year differences in aspects of deliberate practice. After calculating mean item scores for each factor we used Bonferroni correction to safeguard against type I errors. 


우리는 코헨의 d로 표현된 모든 비교에 대한 효과 크기(ES)를 계산했다. Hojat과 Xi는 효과 크기의 실질적인 중요성을 다음과 같이 정의한다. 

ES ≈ .20: 무시할 수 있는 실질적인 중요도의 작은 효과 크기. 

ES ≈ .50: 중간 효과 크기(중간 효과 크기) 

ES ≈ .80: 중요한 실제 중요도의 큰 효과 크기 [19].

We calculated effect sizes (ES) for all comparisons expressed as Cohen’s d. Hojat and Xi define the practical importance of effects sizes as ES ≈ .20: small effect size of negligible practical importance; ES ≈ .50: medium effect size of moderate practical importance; and ES ≈ .80: large effect size of crucial practical importance [19].


연구질문 3

Research Question 3


세 번째 연구 질문에 답하기 위해, 우리는 회귀 분석을 사용하여 OSCE 결과와 어떤 측면의 의도적인 실행이 연관되어 있는지를 조사하였다.

In order to answer the third research question we used regression analysis to investigate which aspects of deliberate practice were associated with OSCE results.


우리는 3년마다 OSCE 결과의 평균 z-점수를 계산했다.

We calculated mean z-scores for the OSCE results in each of the three years.



결과

Results


기술통계

Descriptive statistics


연구질문 1: DP의 측면들

Research Question 1: Aspects of deliberate practice


표 1은 내림차 고유값의 순서로 항목을 표시한다. 요인 분석에서 네 가지 요인을 도출했다.

Table 1 shows the items in order of descending eigenvalues. The factor analysis yielded four factors:


1. 계획(높은 점수는 구조화된 방식으로 작업을 조직하는 경향이 더 강함을 나타낸다.)

2. 집중/헌신(높은 점수는 주의력 기간이 짧음을 나타냄);

3. 반복/개선(점수가 높을수록 실천 경향이 강함을 나타냄);

4. 공부 스타일/자기성찰(점수가 높을수록 자기조절 학습 경향이 강함을 나타냄)


1. planning (higher scores indicate a stronger tendency to organise work in a structured way);

2. concentration/dedication (higher scores indicate a shorter attention span);

3. repetition/revision (higher scores indicate a stronger tendency to practise);

4. study style/self reflection (higher scores indicate a stronger tendency to self-regulate learning).




연구질문 2: 서로 다른 학년간 비교

Research Question 2: Comparison between students in different years


데이터 분석 결과 계획과 반복/개정(표 2)의 두 항목별 연도 간 통계적으로 유의미한 차이가 나타났다.

The data analysis revealed statistically significant differ-ences between the years for two subscales: planning and repetition/revision (table 2).




연구질문 3: DP와 시험결과 사이의 관계

Research Question 3: Relationships between aspects of deliberate practice and test results


요인 점수와 시험 결과의 유의한 양성 상관관계는 1학년과 3학년에 small to medium 효과 크기(표 3)를 적용한 계획에서 발견되었다. 

Significant positive correlations of factor scores with test results were found for planning in Years 1 and 3 with small to medium effect sizes (table 3). 


집중력/헌신 점수는 몇 년 동안 감소하여 주의력 지속시간이 증가했음을 표시하였다. 그들은 3학년 시험 결과와 작은 효과와 중간 효과의 상당한 부정적인 상관관계를 보여주었다. 반복/개선에 대한 점수는 1학년 시험 결과와 상당히 긍정적인 상관관계를 가지며 중간 효과를 보였다.

Concentration/ dedication scores decreased over the years indicating increased attention span. They showed a significant negative correlation with test results in Year 3 with a small to medium effect. Scores on repetition/revision were significantly positively correlated with test results in Year 1, with a medium effect.



고찰

Discussion


학부 의과대학 교육 첫 3년 동안 임상 기술과 관련하여 몇 가지 측면에서 DP의 사용이 증가된 것을 보여주었다. 더 구체적으로 말하면, 학생들은 점진적으로 더 많은 계획적 행동을 보여주었으며, 업무를 구조화하는 경향을 보여주었다.

The use of deliberate practice in relation to clinical skills in the first three years of undergraduate medical education showed an increase in several aspects. More specifically, students showed progressively more planning behaviour and an increased tendency to structure their work.


학생들은 점차적으로 그들의 시간, 에너지, 자원을 더 효율적으로 사용하는 방법을 배우는 것으로 보인다. 요컨대, 그들은 배우는 법을 배우는 것 같다.

it appears that students gradually learn how to make more efficient use of their time, energy and resources. In short, they seem to learn how to learn.


주로 에릭슨과 동료들에 의한 다른 영역의 연구에 따르면, 전문 수행자들의 성공의 주요 결정요인은 [연습에 소요되는 시간]이 아니라 [개선이 필요한 수행의 측면을 특별히 겨냥한 활동에 할애하는 시간]이라는 것을 보여주었다[20]. 기본적인 기술을 처음 숙달한 후에, 어떤 유형의 연습, 예를 들어 일상적인 작업의 능숙한 실행은 더 이상의 개선으로 이어질 것 같지 않다. 다시 말해 반복 그 자체로는 충분하지 않다. 성과의 특정 측면을 의도적으로 향상시키기 위한 지속적인 노력이 있어야만 발전progress이 있다. 이 원리는 우리가 반복repetition과 시험 결과 사이에서 발견한 양성 연관성이 1년 후에도 지속되지 않은 이유를 설명할 수 있을 것이다.

Research in other domains, mostly by Ericsson and colleagues, has shown that the main determinant of success in expert performers is not the amount of time spent practising, but the amount of time devoted to activities specifically targeted at aspects of performance that need improvement [20]. After initial mastery of basic skills, some types of practice, the proficient execution of routine tasks for example, are unlikely to lead to further improvement. In other words, repetition in itself is not enough. Progress depends on sustained efforts to purposefully enhance particular aspects of performance. This principle might explain why the positive association we found between repetition and test results was not sustained after Year 1.


1학년 학생들은 이제 막 기술을 배우기 시작한 학생들은 구조와 조직에 상관없이 어떤 연습 노력으로부터 이익을 얻을 가능성이 높은 반면, 1학년 이후에는 확인된 약점에 초점을 맞추지 못하면 학습에 방해가 되는 것으로 보인다. 이것은 3학년이 되면, 노력이 효과적이기 위해서는 focused and well planned 되어야 한다는 것을 시사한다.

First year students who are just beginning to learn skills are likely to benefit from any practice effort, regardless of structure and organisation, whereas it seems plausible that a lack of focus on identified weaknesses would hamper learning after Year 1. This would suggest that efforts in Year 3 have to be focused and well planned in order to be effective.


우리가 지금까지 설명한 대부분의 학습 습관은 본질적으로 자기 주도적이며 전적으로 학생들의 학습 능력에 의존한다. 피드백은 DP의 모든 측면에 있어서 전제조건이며, 학생들의 연습practice 습관의 발달에 있어 촉진적인 역할을 한다. 그러나, 학생들이 항상 추가 연습이 필요한 영역을 인식할 수 있는 것은 아니며 [21,22]에 숙달될 다음 단계를 식별하는 데 지침이 필요할 수 있다. 에릭슨은 코치, 트레이너, 교사(스포츠, 음악, 학계에서든)가 항상 연습 활동의 선택, 순서, 형태를 지도하는 데 필수적인 역할을 할 것이라고 주장해 왔다.

Most of the study habits we have described so far are intrinsically self-directed and depend entirely on students’ ability to shape their own learning. Feedback is a prerequisite for all identified aspects of deliberate practice and plays a facilitative role in the development of students’ practice habits. It has been pointed out, however, that students are not always capable of recognising areas where further practising is needed [21,22], and may require guidance in identifying the next steps to be mastered. Ericsson has argued that coaches, trainers and teachers (whether in sport, music or academia) will always play an essential role in guiding the selection, sequencing and form of practice activities.


이것은 우리에게 이 연구의 실질적인 의미를 가져다 준다. 교육자들이 학생들에게 의도적인 연습을 할 수 있는 기술을 갖춰줌equipping함으로써 임상 기술 개발을 촉진할 수 있다는 잠정적인 결론은 정당해 보인다. 따라서 임상 기술의 가르침에는 이를 실천하기 위한 효율적인 전략의 사용이 포함되어야 한다[23,24].

This brings us to the practical implications of this study. The tentative conclusion seems justified that educators can facilitate clinical skill development by equipping students with skills to use (aspects of) deliberate practice. Thus the teaching of clinical skills should incorporate the use of efficient strategies to practise them [23,24].


이런 종류의 학습은 학생들의 완전한 협력이 있어야만 가능하다. 즉, 학생들의 적극적인 학습 참여가 요구된다. 학생들은 그들의 [기술 연습 습관skill practice habit]을 향상시키기 위해, 학습 계획과 현재 기술 및 바람직한 기술 수행능력에 평가에 도움이 되는 태도와 전략을 받아들일 필요가 있다. 이는 코스 설계자가 이러한 특성을 통합한 학습 환경을 목표로 하여 이 과정을 수용해야 함을 의미한다.

This type of learning is only possible with students’ full cooperation. In other words, it requires students’ active participation in their learning. Students need to adopt attitudes and strategies that are conducive to the planning of their learning and evaluation of their current and desired skill performance so as to enhance their habits of skill practice. This implies that course designers should accommodate this process by aiming for a learning environment that incorporates these characteristics.


여기서 유의해야 할 것은 DP(그리고 덜 자기 주도적인 학습)의 개념은 [학습자가 자신의 성과와 지식의 약점을 확인하고 이를 해결하기 위한 조치를 취할 수 있다는 가정]에 의존한다는 점이다. 이러한 기술들을 습득하기 위해서는, 관찰과 피드백이 있어야 하는데, 이것은 점차적으로 자기평가로 대체될 수 있다. 초기에, 자신의 약점은 빈번하고 적절한 (외부)평가에 의해 확인할 수 있다. 하지만, 학생들이 평생 학습자가 되기 위해서는, 그들은 차차 자기 평가 기술을 개발할 필요가 있다. 자체 평가에 관한 문헌은 의대생, 거주자 및 의사가 자신의 성과를 정확하게 판단할 수 있는 능력이 제한되어 있다고 지적했다[26-28].

It must be noted here that the concept of deliberate practice (and to a lesser extent self-directed learning) relies on the assumption that learners are able to identify weaknesses in their own performance and knowledge and take measures to address these. These skills need to be acquired through observation and feedback, which can gradually be replaced by self-assessment. Initially, this can be seen to by frequent and adequate assessment. However, for students to become lifelong learners, they need to develop self-assessment skills along the way during their training. The literature on self-assessment has pointed out that medical students, residents and physicians have limited ability to accurately judge their own performance [26-28].


최근 연구는 유능한 성과를 달성하기 위한 자기 평가의 중요성을 확인했다. Mavis 등은 현실적 자기 평가를 할 수 있고 자기 효능감이 높은 2학년 학생들은 낮은 자기 평가 학생들에 비해 OSCE에서 평균 이상의 성과를 낼 가능성이 더 높았다[29].

A recent study confirmed the importance of selfassessment for achieving competent performance. Mavis et al. showed that second-year students who were capable of realistic self-appraisal and had high self-efficacy were more likely to perform above average on OSCEs compared to low self-rated students [29].


결론들

Conclusions


이 연구는 의대생들의 초보자에서 임상 전 기술 훈련을 위한 전문가로 발전하는 데 있어 고의적인 실천의 역할을 조사했다. 1~3년차 875명(전체 학생 인구의 90%)이 작성한 이전의 연구에 근거한 설문지를 사용했다.

This study investigated the role of deliberate practice in medical students’ development from novice to expert for preclinical skill training. We used a questionnaire based on previous research, which was completed by 875 students in years 1-3 (90% of total student population).









 2011 Dec 6;11:101. doi: 10.1186/1472-6920-11-101.

The role of deliberate practice in the acquisition of clinical skills.

Author information

1
Skillslab, Faculty of Health Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands. r.duvivier@maastrichtuniversity.nl

Abstract

BACKGROUND:

The role of deliberate practice in medical students' development from novice to expert was examined for preclinical skill training.

METHODS:

Students in years 1-3 completed 34 Likert type items, adapted from a questionnaire about the use of deliberate practice in cognitive learning. Exploratory factor analysis and reliability analysis were used to validate the questionnaire. Analysis of variance examined differences between years and regression analysis the relationship between deliberate practice and skill test results.

RESULTS:

875 students participated (90%). Factor analysis yielded four factors: planning, concentration/dedication, repetition/revision, study style/self reflection. Student scores on 'Planning' increased over time, score on sub-scale 'repetition/revision' decreased. Student results on the clinical skill test correlated positively with scores on subscales 'planning' and 'concentration/dedication' in years 1 and 3, and with scores on subscale 'repetition/revision' in year 1.

CONCLUSIONS:

The positive effects on test results suggest that the role of deliberate practice in medical education merits further study. The cross-sectional design is a limitation, the large representative sample a strength of the study. The vanishing effect of repetition/revision may be attributable to inadequate feedback. Deliberate practice advocates sustained practice to address weaknesses, identified by (self-)assessment and stimulated by feedback. Further studies should use a longitudinal prospective design and extend the scope to expertise development during residency and beyond.

PMID:
 
22141427
 
PMCID:
 
PMC3293754
 
DOI:
 
10.1186/1472-6920-11-101


설문조사에서 응답률과 비응답오차 (JAMA, 2012)

Response Rates and Nonresponse Errors in Surveys

Timothy P. Johnson, PhD

Joseph S. Wislar, MS



응답률 추정

Estimating Response Rates


응답률은 역사적으로 설문조사 품질을 문서화하기 위한 일순위 방법이었고, 많은 저널들은 저자들이 조사와 관련된 응답률을 보고할 것을 요구한다. 응답률은 일반적으로 [표본에 적합하며, 궁극적으로는 조사에 참여한, 표본으로 선정된 개인(예: 환자, 관행, 병원)의 비율]로 정의될 수 있다. 응답률이 높으면 관심 집단을 더 대표하는 결과가 나온다는 전제 하에, 응답률은 설문조사의 품질을 평가하기 위한 지표로 사용된다. 응답률의 매력적인 특징으로는 직관적인 호소력과 어떤 조사에서도 쉽게 계산할 수 있다는 점이다.

Response rates have historically been the method of choice for documenting survey quality and many journals require authors to report the response rates associated with their surveys. Aresponse rate can be generally defined as the proportion of individuals (eg, patients, practices, hospitals) selected into a sample who are eligible and ultimately participate in the survey. Response rates are used as a common metric for evaluating survey quality under the premise that a higher response rate will produce findings that are more representative of the population of interest. Among the attractive features of response rates are their intuitive appeal and that they can be easily calculated for any survey.


역사적으로, 응답률을 정의하고 계산하는 최선의 방법에 대해 일반적인 의견의 불일치가 있었다. 인된 표준절차가 없었기 때문에 문헌에 보고된 설문조사 응답률에는 그때그때의 임시방편으로 계산한, 그래서 때로는 불합리할 정도로 과대평가된 추정치가 사용되었다.1 그럴 만도 하다. 왜냐하면 연구자들은 다른 조건이 같으면, 응답률이 높을수록 원고가 출판될 가능성이 더 높다는 것을 알기 때문이다.

Historically, there has been a general lack of consensus regarding best practices for defining and calculating response rates. Lack of standard accepted procedures has led to the use of ad hoc and sometimes unreasonably optimistic estimations of survey response rates in the professional literature.1 This is easy to understand, because investigators are well aware that manuscripts reporting higher survey response rates are more likely to be published, everything else being equal.


조사연구의 과학이 성숙함에 따라 응답률 추정을 표준화하려는 노력이 보급되었다. 이 중 가장 포괄적인 것은 조사 연구를 위한 표준 정의로, 미국 여론 조사 협회(AAPOR)가 개발하고 지속적으로 업데이트하는 응답률 공식(및 기타 결과 통계)을 포함한다.2

As the science of survey research has matured, efforts to standardize the estimation of response rates have been disseminated. The most comprehensive of these are the Standard Definitions for survey research, which include response rate formulas (and other outcome statistics) developed and continually updated by the American Association for Public Opinion Research (AAPOR).2


그러나 어떻게 계산하든, 설문조사 응답률은 미국을 비롯한 여러 나라에서 수십 년 동안 가파른 하락세를 보여 왔다.4 과학적으로 보았을 때, 최소한의 허용 가능한 응답률이란 것은 없다. 응답률 60%는 일부에 의해 수용성의 기준으로 사용되어 왔으며 조사 품질의 척도로서 안면타당도는 있다. 그러나 통계검증에서 0.05가 의미하는 바와 같이, 60%는 더 복잡한 문제를 감추는 "주먹구구식 규칙"에 불과하다.

However calculated, survey response rates have been in steep decline in the United States and other nations for several decades.4 There is no scientifically proven minimally acceptable response rate. A response rate of 60% has been used as the threshold of acceptability by some and has face validity as a measure of survey quality; however, similar to P .05 in statistical comparisons, 60% is only a “rule of thumb” that masks a more complex issue.


지난 10년간의 경험을 평가해본 결과, 설문 조사의 응답률이 일반적으로 믿어온 [설문조사의 품질 또는 대표성]과 강하게 연관되지 않을 수 있다는 결론을 내렸다.5 이 연구는 응답률 자체보다는 "[표본 응답자]가 [조사 모집단]과 전체적으로 얼마나 다른지(즉, 비응답 편향)"가 조사의 대표성을 평가하는 데 중심적이라는 인식을 증가시켰다. 실제로 응답자가 비응답자와 응답자가 매우 다른 경우에는, 응답률이 상대적으로 낮더라도 응답자 그룹이 진정으로 무작위적이고 대표적인 조사보다 훨씬 더 편향된 결과를 얻을 수 있다.

Empirical assessments over the past decade have concluded that the response rate of a survey may not be as strongly associated with the quality or representativeness of the survey as had been generally believed.5 This research has led to an increasing recognition that the degree to which sampled respondents differ fromthe survey population as a whole (ie, nonresponse bias) is central to evaluating the representativeness of a survey, rather than response rates per se. Indeed, a survey with a relatively high response rate, albeit one in which nonrespondents are very different from respondents, might produce far more biased results than a survey with a lower response rate froma truly randomand representative group of respondents.


무응답 편차 평가

Evaluating Nonresponse Bias


무응답 편견을 평가하기 위한 접근방식은 다양하며, 그 중 어느 것도 완벽하지 않지만, 각각은 가치 있는 통찰력을 제공할 수 있다.

There are a variety of approaches to evaluating nonresponse bias, none of them perfect, but each can provide valuable insights.


초기 비응답자를 대상으로 후속 조사 수행

Conducting a Follow-up Survey With Initial Nonrespondents.

This approach involves the use of multiple and sometimes intensive strategies, including substantial incentives, to contact and complete abbreviated interviews (that include key measures of interest) with previous nonrespondents after formal data collection has been completed.6


샘플링 프레임에서 데이터를 사용하여 분석한다.

Analyses Using Data in Sampling Frame.

A cost-efficient approach that can sometimes be used is to leverage data that may be available in the complete frame used for sampling to compare survey respondents with nonrespondents and with the full population.4 


다른 데이터 소스와 조사 표본의 비교.

Comparisons of the Survey Sample With Other Data Sources.

In other cases, survey estimates will be contrasted with comparable information obtained from other sources to evaluate potential bias.7



외부 데이터 소스를 사용하여 분석.

Analyses Using External Data Sources.

This approach links auxiliary data from sources that offer complete coverage of the population being surveyed (eg, US Census) to compare respondents with nonrespondents and with the full population.8


초기 응답자 대 후기 응답자 비교.

Comparing Early vs Late Respondents.


이 전략은 [후기 응답자(및 그들의 답변)가 응답하지 않는 응답자와 가장 비슷하다는 가정] 하에 후기 응답자를 이전 응답자와 비교한다.9 이 전략의 다른 방식은, 처음에 참여를 거부했던(결국 동의한) 응답자와 다른 모든 응답자를 비교하는 것이다. 이는 이전에 참여를 거부했던 사람들이 무응답자와 더 비슷하다고 가정한다.

This strategy compares later respondents (and their answers to survey questions) with earlier respondents under the assumption that later respondents are most similar to nonrespondents.9 A variation of this strategy is to compare respondents who initially declined to participate (but eventually consented) with all other respondents. This assumes that those who had previously declined to participate are more similar to nonrespondents.



무응답 비율 보고

Reporting Nonresponse Rate


조사를 수행하는 연구자의 책임은 조사 과정과 이러한 잠재적 차이가 의사결정에 어떻게 영향을 미칠 수 있는지 신중하게 고려하고 보고해야 한다.

It is the responsibility of researchers who conduct surveys to carefully consider and report how their respondents and nonrespondents may vary in terms of the processes being investigated and how these potential differences might influence the conclusions being made.







 2012 May 2;307(17):1805-6. doi: 10.1001/jama.2012.3532.

Response rates and nonresponse errors in surveys.

Author information

1
Survey Research Laboratory, University of Illinois, 412 S Peoria St, Chicago, IL 60607, USA. timj@uic.edu
PMID:
 
22550194
 
DOI:
 
10.1001/jama.2012.3532


설문 체크리스트(성명서) (Acad Med, 2018)

The Survey Checklist (Manifesto) 

Hunter Gehlbach, PhD, and Anthony R. Artino Jr, PhD



표준 프로토콜의 일부로서, 체크리스트의 사용은 수술 중 equity를 향상시킬 수 있다(예: 체크리스트는 간호사들이 의사들에게 어떤 단계를 잊었는지를 상기시킬 수 있는 권한을 갖게 해준다). 기본적으로 체크리스트는 알림 역할을 한다. 그들은 전문가들이 이미 알고 있지만 위기의 순간에 잊을 수 있는 것을 두드러지게 만드는 것을 돕는다. 이 강화reinforcement 과정은 절차상의 오류, 잘못된 의사소통, 감염, 심지어 사망까지도 줄일 수 있다.1–3

As part of a standard protocol, the use of checklists can improve equity during surgeries (e.g., checklists may help nurses feel empowered to remind doctors that they are forgetting a step). Primarily, checklists serve as reminders. They help make salient what professionals already know but may forget in moments of crisis. This reinforcement process can reduce procedural errors, miscommunications, infections, and even deaths.1–3


설문조사 오류는 커버리지, 샘플링, 무응답, 측정 오류 등 복수의 출처에서 발생한다. 여기서는 체계적 측정 오류 또는 잘못된 질문 표현, 형식, 응답 옵션 및 질문 순서에서 발생하는 오류의 최종 범주에 초점을 맞춘다.4 최근의 한 연구는 의학교육 조사연구의 95%가 하나 이상의 조사 설계 모범 사례를 위반했다는 것을 발견했다.5

Survey error arises from multiple sources—coverage, sampling, nonresponse, and measurement error. Here, we focus on this final category: systematic measurement error, or error arising from poor question wording, formatting, response options, and the order of questions.4 A recent study found that 95% of medical education surveys violated one or more survey design best practices.5


본 관점에서는, "오류를 줄이는 것"을 목적으로, 수술 체크리스트와 동일한 핵심 기능을 수행하도록 설계된 설문조사 체크리스트를 제시한다.

In this Perspective, we present a survey checklist designed to serve the same core function as surgical checklists: to reduce error.


응답을 홀수개로 할 것인지 짝수개로 할 것인지의 문제는 자주 제기되지만, 명백한 해결책은 존재하지 않는다 (양측에 대한 합리적인 주장이 존재한다). 또한 몇 개로 하든지 그 결과가 크게 차이나지 않는다.

whether or not to include a midpoint by presenting an odd versus even number of response options. Although this issue comes up frequently and lacks an obvious solution (reasonable arguments exist on both sides), the research is equivocal and the consequences of this choice are small.6


문항 구성하기

Formulating Items



동의-부동의 정도를 묻는 보기를 사용하지 마시오.

Avoid formatting items as statements with agree–disagree response options…


동의여부를 묻는 보기를 사용하는 빈도는 높지만, 설문조사 연구에 따르면 여러 이론적 이유로 일관되게 이러한 방식을 최악의 방법 중 하나로 본다. 이러한 유형의 질문은 다음의 문제가 있다.

    • 편향의 묵인: 응답자가 무슨 말이 써있든지 소극적으로 동의할 가능성

    • 만족화: 그들은 응답자들이 최적의 노력을 기울이도록 유도하지 않는다.

Despite the frequency with which questions with agree–disagree response options are used, survey researchers consistently identify this format as one of the worst ways to present items—for multiple theoretical reasons. This type of question increases both 

    • acquiescence bias (the likelihood that respondents will passively agree with whatever statement is presented) and 

    • satisficing (i.e., they encourage respondents to put forth suboptimal effort). 


또한 응답자가 선택한 옵션의 정확한 의미가 모호한 경향이 있다.

Further, the precise meaning of the response options tends to be ambiguous.


그리고 구인 특이적 보기 옵션을 사용하시오

…And use questions with construct- specific response options instead


구인-특이적 응답 옵션을 사용해야 한다.

the central focus of the question with “construct-specific” response options.4,12


• Did not enjoy at all 

• Enjoyed a little bit 

• Enjoyed somewhat 

• Enjoyed quite a bit 

• Enjoyed a tremendous amount


한 번에 하나만 물어보시오

Ask one item at a time (thereby avoiding multibarreled items)


한 개인이 질문의 한 부분은 지지하지만 다른 부분은 거부할 수 있기 때문에, 이중 또는 다중 질문을 던지는 문항은 catch-22에 빠지게 한다.4,5

Double- or multibarreled items put respondents in a catch-22 because an individual may endorse one part of a question but reject another.4,5


    • 두 개로 항목을 분리하여 물어볼 수 있다. 

    • 더 중요한 질문만을 선택하여 물어볼 수도 있다. 

    • 두 가지 아이디어를 모두 압축하는 더 높은 수준의 추상적 수준에서 질문하는 것이다. 

survey designers can ask two separate items . Researchers may also select and ask only the more important question. Another solution is to pose the question at a higher level of abstraction that encapsulates both ideas 


긍정문을 사용하시오

Use positive language


부정적인 표현은 두 가지 면에서 문제가 된다. 

    • 첫째, 부정적인 것은 단 몇 글자로 의미가 달라지는 경우가 많기 때문에 설문조사를 서두르는 응답자들에 의해 쉽게 간과될 수 있다. 

    • 둘째, 응답자들이 읽더라도 무언가의 부재나 반대라는 정신적 이미지를 떠올리는 것은 인지적으로 어려운 일이다.

Negative wording proves challenging for respondents in two ways. First, because negatives are often signaled by just a few letters, they can be easily overlooked by respondents who are rushing through a survey. Second, even if respondents do read them, conjuring up the mental image of the absence or opposite of something is cognitively challenging.


아이러니한 프로세스에 대한 Wegner의 연구13은 이 과제를 다음과 같이 설명한다. 그의 연구에 따르면, 사람들에게 "분홍 코끼리에 대해 생각하지 말라"고 말하면 더욱 분홍 코끼리의 이미지를 떠올리게 할 가능성이 높다는 것"을 보여준다. 따라서 부정적인 단어 조사 항목은 응답자가 항목을 읽고, 고려하고, 응답할 때 쉽게 피할 수 있는 오류를 범하게 한다. 예를 들어, "회진 중에 레지던트를 핀잔주는pimping 기술을 사용하는 것은 얼마나 부적절한가?"라고 질문하는 것보다 "회진 중에 레지던트를 핀잔주는 기술을 사용하는 것은 얼마나 적절한가?"로 수정될 수 있다.

Wegner’s work13 on ironic processes illustrates this challenge: His research shows that telling people, “Don’t think about pink elephants” is especially likely to cause them to conjure up images of pink elephants. Thus, negatively worded survey items often cause respondents to make easily avoidable errors in reading, considering, and answering items. For instance, an item such as “How inappropriate is it for attending physicians to use the technique of resident pimping during bedside rounds?” might be reworded to “How appropriate is it for attending physicians to use the technique of resident pimping during bedside rounds?”


"역채점" 문항을 지양하시오.

Avoid “reverse-scored” items


위와 관련하여, 일부 설문조사 설계자는 평가 대상자들에게 주의를 환기시키는 수단으로 역점수 항목을 사용하는 것을 옹호한다. 예를 들어, "클리닉 방문 중 얼마나 자주 짜증이 났는가?"와 같은 항목을 방문 만족도 척도 내에 넣는 것이다.

In a related practice, some survey designers advocate the use of reverse- scored items as a means of keeping survey takers alert. For example, imagine the item “How often were you annoyed during your clinic visit?” within a visit satisfaction scale


이론적으로, 이러한 역점수 항목은 응답자가 주의 깊게 초점을 맞출 필요가 있다는 것을 깨닫도록 도와야 한다. 즉, 자동 조종autopilot 모드에 들어갈 수 없다. 그러나 현실에서는 이러한 항목이 일반적으로 전체 규모의 신뢰성을 떨어뜨린다14. 특히 교육을 덜 받은 응답자(예: 어린이)에게 특히 그러하다.

In theory, these reverse- scored items should help respondents realize that they need to focus carefully; they cannot slip into autopilot mode. However, in practice, these items typically diminish the reliability of the overall scale14—especially when used with less- educated respondents (such as children15).


관심내용에 적합한 포맷을 고르시오

Choose item formats that answer the questions of interest


예를 들어, "해당하는 것을 모두 고르세요"와 같은 문항은 통상적으로 응답자가 목록의 위쪽에 있는 항목을 더 많이 선택하게 하고, 이후 항목을 불균형적으로 무시하게 된다. 결과적으로 특정 항목이 적용되지 않아서 고르지 않은 것인지, 또는 그저 무관심한 응답자가 건너뛰었는지가 불분명하다.10 더 나은 접근방식은 강제 선택 형식이며, 이는 응답자가 보다 완전하고 고품질 데이터를 제공하도록 권장한다. 상자 1 참조 

For example, check-all-that-apply items routinely result in respondents picking more items toward the top of the list and disproportionately ignoring later items. As a result, whether particular items do not apply or whether an inattentive respondent skipped them is unclear.10 A better approach is a forced-choice format, which encourages respondents to provide more complete, high-quality data. See Box 1 


이러한 유형의 강제 선택 형식을 사용하면, 연구자들은 응답자가 특정 항목에 응답하는지 아니면 생략했는지 항상 알 수 있을 것이다.

Using this type of forced- choice format, researchers will always know whether a respondent answered or skipped a particular item.


때때로, 연구원들은 개방형/무응답 항목이 폐쇄형 질문보다 그들의 연구 문제와 더 잘 일치한다는 것을 깨닫게 될 것이다.

Sometimes, researchers may realize that open-ended/free-response items better match their research questions than closed-ended questions. 



보기 만들기

Crafting Response Options


적절한 수의 선택지

Choose an appropriate number of response options


평가 항목의 경우, 응답 옵션의 수는 [참가자가 자신의 의견, 태도 또는 행동을 정확하게 나타낼 수 있도록 충분히 많은 옵션을 제공하는 것]과 [참가자가 각각의 의미를 명확히 구별할 수 있는 충분히 적은 옵션]을 제공하는 것 사이에 균형을 이루도록 요구한다.

For rating items, the number of response options requires striking a balance between providing enough options for participants to precisely represent their opinions, attitudes, or behaviors and providing few enough options for participants to clearly distinguish the meaning of each.


일부 학자들은 최적의 대응 옵션의 수가 일반적으로 4개에서 7개 사이라고 제안했다. 크로스닉과 파브리가르16은 

    • 극 연속체(즉, 개념 0점부터 무한점까지)의 경우 5개, 

    • 극 연속체(즉, 양 또는 음의 태도와 같이 음에서 양의 무한으로 배열하는 연속체)의 경우 7개 옵션이 최적일 수 있다고 제안한다. 

이와 관련하여, '의 연구결과17은 네 가지 대응방안만이 너무 적을 수 있다는 것을 시사한다(최소한 대학생 응답자의 경우). 

some scholars have proposed that the optimal number of response options typically lies between four and seven. Krosnick and Fabrigar16 suggest that the optimal number of options may be five for unipolar continua (i.e., from a conceptual zero point to infinity ) and seven for bipolar continua (i.e., continua that array from negative to positive infinity, such as positive or negative attitudes). Relatedly, Weng’s findings17 suggest that only four response options may be too few (at least for college-aged respondents). 


항목 순위를 매기는 경우, 응답 옵션의 적절한 개수는 응답자의 인지적 정교함에 따라 달라진다. 예를 들어, 교육을 잘 받은 성인은 6가지 다른 반응(예: 그들의 식단 선호도에 대해)을 순위를 매길 수 있지만, 이 과제는 많은 소아 환자 능력의 범위를 벗어날 수 있다. 일부 연구 질문의 경우 응답 옵션의 일부만 순위를 매기도록 요청하는 것이 합리적인 대안이 될 수 있다.4,18

For ranking items, the appropriate number of response options is more a function of the cognitive sophistication of respondents. For example, well-educated adults may be able to rank six different responses (e.g., about their dietary preferences), but this task may exceed the capacities of many pediatric patients. For some research questions, asking respondents to rank only a portion of the response options (e.g., please rank the top three) may be a reasonable alternative.4,18


모든 보기에 라벨하기

Label all response options


문자 라벨은 각 옵션이 동일하게 중요하게 보이도록 도와주며, 또한 각 옵션의 의미를 명확하게 해준다.19 모든 응답 옵션에 라벨링을 한다면 모든 응답자가 동일한 방식으로 각 응답 옵션을 해석할 확률을 개선할 것이다. 상자 2 참조 

a verbal label help each option seem equally viable but also ensure that the meaning of each option is clear.19 Labeling all response options will improve the odds that all respondents will interpret each response option in the same way. See Box 2 



숫자 라벨 사용하지 않기

Use only verbal labels


직관적으로 생각할 때, 숫자가 단어보다 더 정밀해보일 수 있다; 그러나, 연구들은 자기보고식 조사에서 구두 라벨이 숫자 라벨보다 사람마다 더 일관된 의미를 갖는다는 것을 보여준다.19 다시 말하면, 한 사람의 "4"는 다른 사람의 것과 상당히 다를 수 있지만, 한 사람이 "매우 고통스럽다"는 것은 일반적으로 다른 사람이 의미하는 것과 매우 비슷할 것이다.


Intuition might dictate that numbers provide greater precision than words; however, studies have shown that in self- administered surveys, verbal labels hold more consistent meanings from person to person than numbers.19 In other words, one person’s “4” may be quite different than another’s, but what one person means by “quite painful” is typically close to what someone else means.


시각/수치/개념적 중간점의 균형 이루기

Balance the visual, numeric, and conceptual midpoint of the response options


조사 설계자가 시각적으로 대응 옵션을 배치하는 방법은 사람들이 선택하는 옵션에 영향을 미친다. 예를 들어, 박스 3의 첫 번째 대응 옵션 블록에 대해 응답자는 아래의 세 가지로 모두 합리적으로 해석이 가능하다.

How survey designers visually array response options influences which option people choose. For example, the first block of response options in Box 3 allows respondents to reasonably conclude any of the following:


• "좋은"과 "매우 좋은" 사이의 경계가 중간점

• "좋은"이 중간 지점

• "공정한"은 중간 지점이다(개념적으로 "공정한"은 좋고 나쁨을 의미하지 않는다).

• The line between “good” and “very good” is the midpoint

• “good” is the midpoint

•  “fair” is the midpoint (conceptually “fair” connotes neither good nor bad).


따라서, 핵심은 박스 3의 두 번째 블록에서처럼 옵션 집합의 시각적, 수치적, 개념적 중간점이 모두 일치하는지 확인하는 것이다.

The key, then, is to ensure that the visual, numeric, and conceptual midpoint of a set of response options all align, as in the second block of response options in Box 3.



"해당 없음" 보기는 시각적으로 분리해두기

Visually separate “nonsubstantive” choices from the other response options


응답자들은 이러한 옵션과 추가 공간을 포함한 주요 실제 응답의 일부를 시각적으로 구분함으로써 어떤 반응이 평가 척도 상의 연속체의 일부인지, 그리고 해당 연속체의 중간점이 어디에 있는지를 명확히 추론할 수 있다.20 박스 4의 그림을 참조하십시오.

By visually distinguishing these options from the main substantive responses with extra space, respondents can clearly infer which responses are part of the underlying continuum on a rating scale and where the midpoint of that continuum lies.20 See the illustration in Box 4.



한 열 또는 한 행으로 보기 배치하기

Format your response options into only one row or only one column


응답자에게 보기를 rate 또는 rank하게 할 때, 위에서 아래로 읽으면서 동시에 왼쪽에서 오른쪽으로 읽도록 강요하는 것은 혼란을 증가시키고 더 많은 오류를 야기한다. 대신, 조사 설계자는 응답 옵션을 배열하기 위해 단일 행 또는 단일 열을 사용해야 한다.21 행 또는 열의 명확한 차등 편익을 제안하는 현존 연구에서는 나타나지 않지만, 응답자가 스마트폰에 대해 점점 더 많은 설문조사를 실시함에 따라 칼럼이 선호될 수 있으며 스마트폰 화면은 기본적으로 수직 방향이다.22

Whether asking respondents to rate or rank response options, forcing them to read from both top to bottom and left to right increases confusion and causes more error. Instead, survey designers should use a single row or a single column to array the response options.21 Although no extant research appears to suggest a clear differential benefit of either rows or columns, columns may be preferable as respondents increasingly take surveys on their smartphones and smartphone screens are, by default, vertically oriented.22


전체 설문의 포맷과 구조

Putting It All Together: Formatting and Organizing the Whole Survey


더 중요한 문항을 초반에 배치하기

Ask the more important items earlier in the survey


설문조사의 시작에 가장 중요한 항목을 배치하면 응답자가 충분한 에너지와 집중력을 가지고 있을 때 응답할 가능성이 높아진다.4 더욱이, 설문조사에 대한 첫 번째 질문이 초청받은 참가자가 설문조사를 완료할지 여부를 결정하는 경우가 많기 때문에, 특히 인터넷 기반 조사에서는 초반의 질문은 거의 틀림없이 가장 중요하다.4 좋은 첫 번째 질문은 꽤 간단하다. 모든 응답자에게 적용되고, 읽고, 이해하고, 대답하기 쉬워야 한다. 그리고 설문 조사의 목적에 부합해야 한다.4

Placing the most important items at the beginning of the survey increases the odds that respondents will answer these items while they have ample energy and focus.4 Moreover, the first question on a survey is arguably the most important, especially on Internet-based surveys, because it often determines whether or not invited participants complete the survey.4 A good first question is fairly simple; applies to all respondents; is easy to read, comprehend, and answer; and aligns with the purpose of the survey as described in the invitation.4


각각의 문항이 모든 응답자에게 적용되게 하기

Ensure that each item applies to every respondent


응답자들과의 라뽀를 설정하고 유지하는 것은 매우 중요하다.

Establishing and maintaining rapport with respondents is immensely important.


설문 조사 설계자가 무심코 응답자를 소외시키는 흔한 실수는 응답자에게 적용되지 않는 수많은 항목을 묻는 것이다. 관련성이 낮은 항목을 물어서 생기는 문제는 설문 초반에 특히 더 큰데, 응답자가 설문조사를 완전히 중단할 가능성이 더 높기 때문이다. 응답자를 관련 항목으로만 연결하는 분기branching 항목을 사용하는 것이 일반적으로 더 나은 전략이다.4

One way a survey designer may inadvertently alienate respondents is by asking numerous items that do not apply to them. The cost of asking low- relevance items tends to be higher at the beginning of surveys where respondents may be more likely to quit the survey altogether. Using branching items that route respondents to only relevant items is typically a better strategy.4


예를 들어, "의료 도서관에서 이용할 수 있는 자원에 대해 얼마나 만족했는가"라고 묻고 응답자에게 "해당되지 않는" 선택권을 주기 보다는, "의료 도서관의 자원을 사용했는가?"라고 먼저 질문한다.

For example, rather than asking, “How satisfied were you with the resources available in the medical library” and giving respondents a “not applicable” option, ask them first, “Have you used the medical library’s resources?”


가능하다면 단일 설문문항보다는 다문항 척도 사용하기

Use scales rather than single items when possible (especially for more complex topics)


척도scale란 [동일한 기초 아이디어 또는 구인를 측정하도록 설계되고 구성된 여러 설문조사 문항의 그룹]이다.23–25 Scale로 하게 되면, 설문의 숫자에 따라 응답자가 완료하는 데 시간이 더 걸리지만, scale을 사용하면(오류가 발생하기 쉬운 single item에 비교하였을 때)복잡한 주제를 평가할 때 정확성이 높아진다.

A scale consists of several related survey items that, as a group, are designed to measure the same underlying idea or construct.23–25 Although scales take longer for respondents to complete, they bolster accuracy (compared with error-prone single items), particularly when assessing complex topics.


예를 들어, 환자의 전반적인 진료 경험을 평가하는 경우, "클리닉 경험 중 의사가 얼마나 우호적이었는가?"라는 질문은 관심 구인construct의 일부만 측정한다. 반면, 경험의 대표적인 단면을 평가하는 5항목 만족도 척도는 측정을 개선해야 한다.

For example, if assessing a patient’s overall clinic experience, the question “How friendly was your doctor during your clinic experience?” measures only a portion of the construct of interest. On the other hand, a five- item satisfaction scale that assesses a representative cross-section of the experience should improve measurement.


    • 1. 프런트 직원들은 얼마나 환영해주었는가?

    • 2. 방문 중에 진료소의 청결함에 얼마나 만족하셨습니까?

    • 3. 의사와의 상호 작용이 얼마나 도움이 되었는가?

    • 4. 일반적으로 전체 진료소 방문의 효율성은 어느 정도였는가?

    • 5. 전반적으로 임상 치료에 얼마나 만족하셨습니까?


    • 1. How welcoming were the front desk personnel?

    • 2. During your visit, how satisfied were you with the cleanliness of the clinic?

    • 3. How helpful was the interaction you had with your physician?

    • 4. In general, how efficient was the entire clinic visit?

    • 5. Overall, how satisfied were you with your clinical care?



시각적 레이아웃의 일관성

Ensure that the visual layout of the survey is consistent


일관된 시각적 레이아웃은 응답자에게 빠르고 효율적인 방식으로 설문 조사에서 중요한 정보를 찾을 수 있는 위치를 가르쳐 준다.4 본질적으로 일관성은 응답자가 설문조사를 처리하는 가장 능숙한 방법을 가르쳐준다. 시각적 레이아웃이나 지침이 바뀌는 경우 응답자들은 질문하는 내용과 답변을 어떻게 해야 하는지를 다시 배우기 위해 또다시 시간을 들여야 한다.

A consistent visual layout teaches respondents where to look for vital information on a survey in a quick, efficient fashion.4 In essence, consistency teaches them the most proficient way to process the survey. Changes in visual layout or instructions force respondents to take time to relearn what is being asked and how they should answer.


일반적으로, 설문 조사 설계자들은 가능한 한 많은 내용을 한 페이지에 주입하기 위해 조사의 시각적 레이아웃을 바꾸는 경우가 많다. 설문을 짧게 유지하는 것은 칭찬할 만한 목표지만, [균형 있게, 일관된 시각적 레이아웃을 유지해야 하며, 차라리 필요한 경우 더 많은 페이지를 사용하는 것]이 설문조사를 직소퍼즐처럼 포맷하여 명확성을 희생하는 것보다 낫다.

Commonly, survey designers find themselves changing the visual layout of their survey in an effort to cram as much content as possible onto a single page. Although keeping a survey short is a laudable goal, on balance, using a consistent visual layout—and, if necessary, more pages—is better than sacrificing clarity by formatting a survey like a jigsaw puzzle.


인구통계적 정보같은 민감한 문항은 후반부에 배치

Place sensitive items, such as demographic questions, later in the survey


많은 응답자들은 자신의 인구통계학적 정보를 누설하는 것을 불편하게 생각한다. 더욱이 일부 응답자들은 (고정관념 위협의 부산물로 인해) 인종, 성별 또는 사회적 계층이 두드러진 경우 후속 항목에 대해 다르게 반응할 수 있다.27 따라서 설문조사 설계 전문가들은 일관되게 설문 말미에 인구통계 데이터(또는 기타 민감한 정보)를 포함할 것을 권고한다.4 개인 데이터를 설문 후반에 넣음으로써, 응답자들이 (특정한 민감한 개인 데이터 질문이 먼저 나온 이유로) 응답을 변경하지 않도록 하는 데 도움이 된다. 더욱이, 이 전략은 응답자가 민감한 항목에 불쾌감을 느끼고 조사를 일찍 종료하더라도 대부분의 다른 데이터를 수집할 수 있게 한다.

Many respondents feel uncomfortable divulging demographic information. Furthermore, some respondents might respond differently on subsequent items if their race, gender, or social class is made salient, as a by-product of stereotype threat.27 Consequently, the consistent recommendation from survey design experts is to ask for demographic data (or other sensitive information) toward the end of surveys.4 Collecting personal data later helps ensure that respondents do not alter their answers as a result of particular sensitive items being asked first. Furthermore, this strategy allows most other data to be collected—even if a respondent takes offense at the sensitive items and quits the survey early.


명백히 민감한 질문은 [응답자들이 조사에 더 관심을 갖고 참여함에 따라 더 많은 관계와 신뢰가 구축될 때까지는] 해서는 안 된다.6

clearly sensitive question should not be asked until more rapport and trust have been built as respondents become more interested and engaged with the survey.6


한계, 기타 고려사항

Limitations and Other Considerations


맥락 효과(즉, 특정 조사항목이 주변 항목에 대한 응답자의 답변에 영향을 미치는 방식)는 조사 연구 내에서 매우 주목할 만한 주제가 되어 일부 학자들이 개입으로 보기 시작했다. 그러나, 그들은 매우 특이하고 조사의 특정 맥락에 너무 많이 의존하기 때문에, 이러한 효과를 피하는 것은 현재 과학보다 더 예술적인 것으로 남아 있다.

context effects—that is, the way certain survey items influence respondents’ answers to surrounding items—have become such a notable topic within survey research4,8,33 that some scholars have turned them into interventions.34 However, because they are so idiosyncratic and depend so much on the specific context of the survey, avoiding these effects remains more art than science at present.


종합

In Sum


비록 필기 조사의 판돈이 수술의 판돈만큼 높은 경우는 드물지만, 우리는 이 체크리스트와 같은 체크리스트를 현명하게 사용하면 측정 오차를 줄일 수 있다고 믿는다.

Although the stakes for writing surveys are rarely as high as those for performing surgery, we believe the smart use of a checklist such as this one can reduce measurement error











 2018 Mar;93(3):360-366. doi: 10.1097/ACM.0000000000002083.

The Survey Checklist (Manifesto).

Author information

1
H. Gehlbach is associate professor, Department of Education, Gevirtz Graduate School of Education, University of California, Santa Barbara, Santa Barbara, California; ORCID: http://orcid.org/0000-0002-2852-2666. A.R. Artino Jr is professor of medicine and deputy director, Graduate Programs in Health Professions Education, Department of Medicine, F. Edward Hébert School of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland; ORCID: http://orcid.org/0000-0003-2661-7853.

Abstract

Checklists can mitigate a multitude of high-cost mistakes in fields ranging from surgery to aviation. As part of a standard protocol, checklists may provide many benefits, including improved equity and communication among team members and more efficient integration of different processes during complex tasks. Mostly, though, checklists serve as easy, efficient means to remind professionals of what they already know but can easily forget. By improving processes, checklists can reduce procedural errors, miscommunications, and even deaths. Although the stakes of writing a survey are rarely as high as they are for performing surgery or piloting a plane, checklists can improve the quality of surveys in medical education. In this Perspective, the authors propose a survey checklist to serve the same core function as surgical checklists-to reduce error. That is, a survey checklist can help medical education practitioners and researchers gather more accurate responses. Designers can use the checklist in the appendix to guide item creation processes or to help evaluate the quality of existing surveys. The checklist focuses on formulating items, crafting response options, and formatting/organizing the whole survey.

PMID:
 
29210756
 
DOI:
 
10.1097/ACM.0000000000002083


설문 기반 연구를 보고할 때의 가이드라인(Acad Med, 2018)

Guidelines for Reporting Survey-Based Research Submitted to Academic Medicine



신중하게 설계되고 시행될 때, 조사는 다른 어떤 연구 방법도 할 수 없는 질문에 답할 수 있다.5

When designed and implemented carefully, surveys can answer questions that no other research method can.5


설문 조사에 대해서 완전히 기술하지 못한 것은 여러 가지 이유로 문제가 있다. (구인, 또는 수정, 사용 전 테스트 방법, 데이터 분석 방법)

The failure to fully describe a survey study—including the survey’s construction or adaptation, how it was tested prior to use, and how the data were analyzed—is problematic for several reasons.


첫째, 불충분한 보고는 리뷰어들로 하여금 그 연구가 얼마나 신뢰할 수 있고, 믿을 수 있는 데이터를 도출할 수 있는지를 정확히 평가하기 어렵게 만든다. 이러한 이해가 없으면 검토자는 출판을 위한 조사 연구를 거부할 가능성이 더 높다.

First, inadequate reporting challenges our reviewers, making it difficult for them to accurately assess how well the survey might yield reliable, credible data from which valid inferences can be made. Without this understanding, reviewers are more likely to reject a survey study for publication.


둘째, 부적절한 보고는 HPE의 과학 분야 성장을 억제한다. 비록 논문이 불완전하거나 그렇지 않으면 형편없는 조사 설명으로 출판되는 경우가 있지만, 그러한 보고서는 해석하기 더 어렵고 독자들에게 무엇이 행해지고 어떻게 되고 어떤 목적을 달성했는지에 대한 해답이 없는 많은 질문들을 남긴다.

Second, inadequate reporting stifles the growth of HPE as a scientific field. Although articles sometimes do get published with incomplete or otherwise poor survey descriptions, such reports are more difficult to interpret and leave readers with many unanswered questions about what was done, how, and to what end.


마지막으로, 다른 학자들이 자신의 의료 교육 맥락에 얼마나 관련될지, 신뢰할 수 있을지와 같은 정도를 적절하게 판단할 수 없다. 따라서 부적절한 보고는 조사 채택adoption이나 적응adaptation을 의심dubious스럽게 만든다.

Finally, inadequate reporting makes survey adoption or adaptation dubious because other scholars cannot appropriately judge the degree to which the survey is trustworthy and relevant to their own medical education contexts.


설문연구보고지침

Selected Reporting Guidelines for Survey Studies


설문 조사의 설계, 형식화, 구현 및 분석 방법에 대한 작은 차이는 설문 결과의 큰 차이로 이어질 수 있다.7 이 기본 원칙은 인지심리학이나 여론 조사와 같은 분야에서 40년간의 조사 연구를 이끌어 왔다. 조사 디자인 효과의 가장 강력한 예 중 하나는 2000년 미국 대선 당시 플로리다주 팜비치 카운티에서 사용된 악명 높은 "버터플라이 투표"이다.

Small differences in how a survey is designed, formatted, implemented, and analyzed can lead to large differences in survey results.7 This fundamental principle has guided four decades of survey research in fields like cognitive psychology and public opinion polling. One of the most powerful examples of the effects of survey design is the infamous “butterfly ballot” used in Palm Beach County, Florida, during the 2000 U.S. presidential election.


나비 투표 케이스는 조사 설계의 중요성을 강조하고, 연구 보급의 목적으로, 조사의 설계, 구현 및 분석을 정확하고 완전하게 보고하는 것의 중요성을 강조한다.

the butterfly ballot case emphasizes the importance of survey design and, for the purposes of research dissemination, the significance of accurately and completely reporting a survey’s design, implementation, and analysis.



1. 설문을 사용하는 rationale를 제공함

1. Provide a rationale for using a survey


설문조사는 태도, 의견, 신념 등 직접적으로 관찰할 수 없는 것들을 측정하는 데 이상적이다.3(코치의 피드백에 대한 레지던트의 만족도 등) 조사는 또한 사람들에게 과거의 행동에 대해 물어보거나 이전의 사실과 사건들을 상기시키는 데 사용될 수 있지만, 이렇게 사용하는 것이 골치 아픈 여러 이유가 있다.

Surveys are ideal for measuring things that are not directly observable, including attitudes, opinions, and beliefs, such as residents’ satisfaction with feedback from coaches.3 Surveys can also be used to ask people about their past behaviors or to recall previous facts and events, but these uses are thorny for a variety of reasons.


첫째로, 개인들에게 과거의 행동에 대해 물어보는 것은 응답자들이 그 정보를 공유하는 것을 편안하게 느끼는 경우에만 효과가 있다. 그러나 종종 응답자들은 어떤 경우에는 불법적인 행동을 포함한 민감한 주제에 대한 데이터를 공유하기를 원하지 않는다. 또는 응답자들이 그저 자신이 무슨 행동을 했고 왜 그렇게 했는지를 인식하지 못할 수 있다. 또한 과거의 사건을 상기하는 경우, 회상편견과 다른 기억적 한계가 정확한 반응을 수집하기 어렵게 만들 수 있다.

First, asking individuals about their past behavior only works if respondents feel comfortable sharing that information. Often, however, respondents do not want to share data about sensitive topics, including, in some cases, illicit behaviors. At other times, respondents are simply unaware of how they have behaved and why. 5 And when it comes to recalling past events, recall bias and other memory limitations can make it difficult to gather and estimate accurate responses.


이러한 제한과 그 밖의 제한사항에 비추어, 저자들이 설문조사를 데이터 수집 방법으로 사용하기 위한 근거를 프로젝트 초기에 명확히 밝히는 것이 중요하다.

In light of these and other limitations, it is important that authors articulate, early in the project, their rationale for using a survey as a data collection method.


더욱이 이 근거는 독자들이 설문조사가 적절한지를 결정할 수 있도록 원고에서 분명히 명시되어야 한다.

Moreover, this rationale should be prominently stated in the manuscript so readers can determine whether a survey is appropriate.


2. 기존 설문을 사용했는지 아니면 어떻게 만들었는지 묘사

2. Describe how the survey was created or adapted from existing survey(s)


설문조사를 어떻게 새로 만들었는지 또는 이전에 기존에 발표된 설문조사를 어떻게 수정하였는지에 대한 완전하고 철저한 설명은 모든 조사 원고에 중요한 요소다.

A complete and thorough description of how a survey was created, or how it was adapted from a previously published survey, is a critical component to any survey manuscript.


저자들이 설문조사를 만들 때 사용한 과정을 기술하는 것은 가능한 한 철저해야 한다.

we note that authors should be as thorough as possible when describing the processes they used to create their surveys.


이미 문헌에 발표된 설문조사도 반드시 저자에 의해 면밀하게 검토되어야 하며, 필요하다면 개선되어야 한다. 조사의 맥락은 처음에 개발된 상황과 다를 수 있기 때문이다. 또한, 문헌에서 추출하여 "있는 그대로" 사용하는 설문도구 조차도 새로운 맥락에서 사용하기 전에 추가적인 사전 시험이 필요할 수 있다.

Even surveys that are adapted from the literature must be closely reviewed by authors and improved upon, where appropriate, since the context for the survey may differ from the circumstances under which it was initially developed. In addition, even instruments pulled from the literature and used “as is” may require additional pretesting prior to use in a new context.


3. 어떻게 설문을 사전검사했는지 

3. Discuss how the survey was pretested prior to full implementation


일부 저자들은 사용하기 전에 조사를 미리 시험하지 않지만, 원칙적으로는 그렇게 해야 한다. 사전 테스트는 전문가 검토, 인지 인터뷰, 파일럿 테스트와 같은 활동을 포함하며, 이는 내용타당도 및 응답 프로세스 타당도를 확립하는 데 도움이 될 수 있다. 

  • 전문가들은 특히 조사에서 누락될 수 있는 주요 주제를 파악하는 데 도움이 될 수 있다. 

  • 인지 면접은 응답자가 설문조사 설계자가 의도한 방식으로 질문을 이해하도록 하는 방법이다.11 

Some authors do not pretest their surveys prior to use, but they should. Pretesting includes activities like expert reviews, cognitive interviewing, and pilot testing, which can help to establish content and response process validity. 

  • Experts can be particularly helpful in identifying key topics that might be missing from a survey. 

  • Cognitive interviewing, on the other hand, is a way to ensure that respondents understand the questions in the way the survey designer intended.11 

기본적인 아이디어는 설문조사를 통해 질문이 명확한지 확인한 다음, 이 과정이 어떻게 이루어졌는지 명확하지 않은 질문을 수정하고 철저히 설명하는 것이다.

The basic idea is to try out the survey to ascertain whether the questions are clear, and then to modify those that are not and thoroughly describe how this process was done.


가능하다면, 설문 조사 시행 전 마지막 단계는 시범 테스트를 수행하는 것이다. 최선의 노력에도 불구하고, 실제 사람들로부터 실제 데이터를 수집하기 전까지는 조사가 어떻게 작동할지 결코 알지 못한다. 파일럿 테스트는 대상 모집단의 구성원이 계획된 전달 모드(예: 웹 또는 종이 기반)에서 조사를 완료하도록 해야 한다.

When possible, the final step before survey implementation is to conduct a pilot test. Despite best efforts, one never knows how a survey will function until it is used to collect actual data from real people. Pilot testing entails having members of the target population complete the survey in the planned delivery mode (e.g., web- or paper- based).


저자는 사전 테스트 활동을 충분히 보고해야 한다. 여기에는 전문가 검토와 인지 인터뷰에 도움을 준 사람에 대한 설명과 수행된 모든 파일럿 테스트를 포함한다. 또한 이러한 설명에는 전문가의 자격과 검토 및/또는 인지 인터뷰가 수행된 방법이 포함되어야 한다.

authors should fully report pretesting activities, including, for example, descriptions of those who helped with the expert reviews and cognitive interviews, as well as any pilot testing that was conducted. Such descriptions should contain the qualifications of the experts and how the reviews and/or cognitive interviews were conducted.


궁극적으로, 사전 테스트 활동은 설문을 full implementation하기에 앞서 조사를 더 많이 관찰할 수 있는 체계적인 방법이며, 성공적인 설문조사에 매우 중요하다. 작가들은 수백 명의 바쁜 동료, 학생, 거주자 또는 환자들에게 그들의 설문지를 보내기 전에 다른 사람들에게 세심하게 검토하도록 해야 한다.

Ultimately, pretesting activities are systematic ways of getting more eyes on a survey prior to full implementation, and they are critical to survey success. Authors should have others carefully review their surveys before sending them out to hundreds of busy colleagues, students, residents, or patients.



4. 최종 설문도구 기술(언제 어떻게 시행하였는지)

4. Describe the final survey instrument, including how and when it was administered


(조사 항목 수와 항목 유형 및 응답 옵션을 )포함한 최종 설문조사 도구에 대한 전체 설명은 독자의 이해를 위해 필수적이다. 또한, 조사의 실시 방법과 시기에 대한 설명은 모두 조사 결과를 맥락에 배치하는 데 핵심적이다. 예를 들어, 수업의 질에 대한 조사에 대해서는

  • 실명으로 기말고사 전날에 시행되었는지

  • 수업이 끝난 다음날 익명으로 시행되었는지 아는 것이 중요하다.

A full description of the final survey instrument, including the number of survey items and types of items and response options, is essential for reader comprehension. Additionally, descriptions of how and when a survey was administered are both key to placing survey findings in context. For example, it would be important to know that a survey about course quality was administered anonymously to students the day after a course ended, as opposed to being administered the day before the final exam in a way that students could be identified.


보고해야 할 중요한 세부사항으로는 

  • 조사 형식(웹 기반, 종이 기반 또는 인터뷰), 

  • 익명이었는지 실명이었는지

  • 응답자에게 설문지를 보낸 시점, 

  • 설문조사를 완료하기 위해 주어진 시간, 

  • 리마인더 수, 

  • 인센티브 제공 여부 등이 있다. 

  • 또한, 저자는 부록에 포함시킬 수 있도록 조사 도구의 완전한 형식 사본을 제공해야 한다.

Important administration details to report include 

  • the survey format (web-based, paper- based, or interview), 

  • whether responses were anonymous, 

  • when the survey was sent to respondents, 

  • how much time they were given to complete the survey, 

  • how many reminders were sent, and 

  • whether incentives were offered. 

  • In addition, authors should provide a complete, formatted copy of their survey instrument for inclusion in the article’s appendix.


5. 응답자, 응답률, 비응답 편향 등 기술

5. Describe the respondents, response rate, and how nonresponse bias was assessed


표본의 전체 설명, 표본 크기 및 응답률 계산은 조사 결과를 해석하고 그러한 결과가 관심 집단을 반영하는지 확인하는 데 중요하다. 따라서, 이 정보는 조사 원고에 포함되어야 한다. 응답률을 계산하는 방법에는 여러 가지가 있으며, Academic medicine에서는 저자에게 최소 응답률을 달성하도록 요구하지 않는다. 그러나 매우 낮은 응답률은 더 큰 무응답 편중과 관련이 있으므로 검토자에 의해 신중하게 고려된다(다만, 최근 연구는 응답률이 한때 학자들이 생각했던 만큼 설문조사의 퀄리티나 대표성과 강하게 연관되지 않을 수 있음을 시사한다).13

Full descriptions of the sample, the sample size, and response rate calculations are important for interpreting survey results and ensuring that those results reflect the population of interest. Thus, this information should be included in survey manuscripts. There are a number of ways to calculate a response rate,12 and Academic Medicine does not require that authors achieve a minimum response rate. However, very low response rates are related to greater nonresponse bias and thus are carefully considered by reviewers (although recent research suggests that response rates may not be as strongly associated with survey quality or representativeness as scholars once thought).13


만약 무응답자가 참여했다면, 결과는 현저하게 달랐을까? 따라서 가능한 경우 저자는 무응답 편견을 어떻게 평가했는지, 그리고 해당되는 경우 이를 수정하기 위해 어떤 조치가 취했는지(예: 계층화된 표본을 사용하거나 시간의 경과에 따른 응답자의 패턴을 분석) 보고해야 한다.13

if nonresponders had participated, would the results have been markedly different? Thus, where possible, authors should report how they assessed nonresponse bias and, where applicable, whether anything was done to correct for it (e.g., using a stratified sample or analyzing respondents’ patterns over time).13


6. 어떻게 신뢰도와 타당도를 평가했는지 설명

6. Describe how score reliability and validity were assessed


기본적으로, 조사는 평가 도구다.14 따라서, 평가의 신뢰성과 타당성은 저자들이 고려해야 할 두 가지 가장 중요한 요인이다. 점수의 신뢰성(또는 재현성)을 평가하는 방법은 

  • 평가자 간 일관성(인터레이터 신뢰성), 

  • 시간에 따른 일관성(테스트-재테스트 신뢰성), 

  • 내부 일관성 신뢰성(전통적으로 Cronbach의 알파로 보고됨) 

...등 다양하다.

At its core, a survey is an assessment tool.14 Therefore, score reliability and validity are arguably the two most important factors for authors to consider when developing and using a survey. There are many different ways to assess score reliability (or reproducibility), including consistency between raters (interrater reliability), consistency over time (test–retest reliability), and internal consistency reliability (classically reported as Cronbach’s alpha).


타당도는 근거와 이론이 조사 데이터의 해석과 사용을 지원하는 정도라고 생각할 수 있다. 따라서 저자는 다양한 출처에서 증거를 수집하고, 조사 도구가 의도된 용도와 관련이 있는 이유 및 결과 데이터를 독자가 믿어야 하는 이유에 대한 주장을 구성해야 한다.

Validity can be thought of as the extent to which evidence and theory support the interpretations and proposed uses of the survey data. Therefore, authors should collect evidence from various sources and construct an argument about why the survey tool is relevant for the intended use and why the resulting data should be believed by the reader.


아주 간단한 의미에서 타당성은 저자들이 측정하고자 했던 것을 측정하는 정도로 볼 수 있다. 종종, 조사 개발과정에서도 상당한 양의 타당도 증거를 수집하게 된다. 

  • 내용전문가로부터 문항을 검토하는 과정(내용)

  • 설문을 본격 시행하기 전에 일부 응답자로부터 질문을 테스트하는 것(응답 프로세스)

  • 다른 타당도 근거의 출처는 국가 시험 점수(다른 변수에 대한 관계)와 같이 조사 결과와 관련하여 이미 존재할 수 있는 정보의 검토 및 분석을 요구한다. 

In a very simple sense, validity can be seen as the degree to which the survey measures what the authors intended it to measure. Often, a fair amount of validity evidence is collected during the development of the survey through 

  • the inclusion of content experts to review the questions (content) and 

  • the testing of the questions by a sample of individuals prior to sending out the survey (response process). 

  • Other sources of validity evidence require examination and analysis of information that may already exist related to the results of the survey, such as scores on national tests (relationship to other variables). 


궁극적으로 저자는 메시크15 또는 케인16에서 설명한 것과 같은 일부 유형의 타당성 프레임워크를 사용하여 독자들에게 자신의 조사와 결과 데이터가 신뢰할 수 있다는 주장을 제시해야 한다. 

Ultimately, authors should use some type of validity framework, such as those described by Messick15 or Kane,16 to help make a case to readers that their survey and the resulting data are credible. 


고려해야 할 요소가 줄어드는 경우

Mitigating Factors to Consider


예를 들어, 재난 피해자에 대한 조사는 조사의 다른 측면보다 적시성을 우선시해야 할 수 있다. 이러한 경우 질문을 테스트할 시간이 없을 수 있다.

For instance, surveys of disaster victims may need to prioritize timeliness over other aspects of the survey. In such cases, there may not be time to test questions


특히 연습생이 개발한 설문조사에 대해서는 극복하기 어려울 수 있는 조사 설계의 많은 요소를 수행하기 위한 자금 조달에 한계가 있다.

There also are limitations in funding to carry out many of the elements of survey design that may be difficult to overcome, particularly for surveys developed by trainees.


결론

Concluding Thoughts


13 Johnson TP, Wislar JS. Response rates and nonresponse errors in surveys. JAMA. 2012;307:1805–1806.


18 Cook DA, Brydges R, Ginsburg S, Hatala R. A contemporary approach to validity arguments: A practical guide to Kane’s framework. Med Educ. 2015;49:560–575.






 2018 Mar;93(3):337-340. doi: 10.1097/ACM.0000000000002094.

Guidelines for Reporting Survey-Based Research Submitted to Academic Medicine.

Author information

1
Assistant editor for AM Last Pages Deputy editor for research Editor-in-chief.
PMID:
 
29485492
 
DOI:
 
10.1097/ACM.0000000000002094


측정은 늘리고, 에러는 줄이고: 설문척도의 타당도 향상 프로세스(Review of General Psychology, 2011)

Measure Twice, Cut Down Error: A Process for Enhancing the Validity of Survey Scales

Hunter Gehlbach and Maureen E. Brinkworth

Harvard Graduate School of Education





설문조사 설계에 대한 대학원 교육의 부족이 원인일 수 있다. 설문지 개발에 대한 학문적 가이드는 너무 많이 존재하지만, 그저 방법론 저널에 고립되어 있으며, 실제로 설문조사를 설계하는 사람들은 이것을 알지 못하고, 또는 리커트 접근법만을 통해 척도를 개발하는 오랜 습관은 새로운 기술이 등장하였음에도 불구하고 죽지 않는다(McIver & Carmines, 1981). 

Perhaps a paucity of graduate training on survey design is to blame; perhaps too much of the scholarly guidance on questionnaire development remains sequestered in methodology journals thereby eluding those who actually design surveys; or perhaps longstanding habits of developing scales through the solitary Likert approach (McIver & Carmines, 1981) die hard, despite the availability of new techniques.


알려진 여러 설문조사 설계 관행을 종합하기 위해 노력하기보다는, 오히려 우리는 이전 프로세스와 다른 새로운 프로세스를 만들고자 한다(예: Clark & Watson, 1995; Comrey, 1988; Simms, 2008) 

Rather we strive to synthesize several known (though not necessarily widely known) survey design practices to create a new process that differs importantly from previous processes (e.g., Clark & Watson, 1995; Comrey, 1988; Simms, 2008)


비록 우리가 기술하는 많은 기법이 개별 설문조사 항목의 개발에 적용되지만, 우리는 척도 개발에 초점을 맞춘다. 즉, 척도 개발이란, [동일한 underlying construct를 평가하기 위해 설계된 일련의 유사한 항목]에 대한 점수를 합산하여 참여자의 construct에 대한 점수를 나타내는 것이다(DeVellis, 2003).

Although many of the techniques we describe apply to the development of individual survey items, we focus on scale development—that is, a series of similar items designed to assess the same underlying construct that are then summed to represent a participant’s score on the construct (DeVellis, 2003).


"전형적인" 설문 설계 과정

A “Typical” Survey Design Process


몇몇 저자들이 학자들을 위한 훌륭한 가이드를 제공했다.

Several authors have provided excellent guidance for scholars


첫째, 이러한 프로세스의 목표는 일반적으로 동일하다. 즉, 구인타당도의 증거를 입증하는 척도를 만드는 것이다. 구인타당도는 내용, 실질, 구조, 일반화성, 외부화 및 결과적 등 다양한 형태로 존재한다.

First, the goal of these processes is generally the same—to produce a scale that demonstrates evidence of construct validity. Construct validity comes in many forms—content, substantive, structural, generalizability, external, and consequential—


구인타당도는 다음의 함수이다

  • 평가 척도 내의 문항들, 

  • 응답자 집단, 

  • 응답자가 설문조사를 하는 맥락 

  • 설문조사에서 도출한 점수의 최종 사용(Messick, 1995). 

Construct validity is a function of 

  • the items within a survey scale, 

  • the population of respondents, 

  • the context in which they are taking the survey, and 

  • the ultimate use of the scores derived from the survey (Messick, 1995). 


그러므로 타당도는 척도의 고유한 성질이라기 보다는(즉, "validated scale"은 잘못된 명칭이다), 점수 사용의 목적에 따라서, 맥락마다, 응답자마다, 수집된 결과에 대한 근거를 학자들이 증거를 찾아야 하는 것이다.

Thus, validity is not so much an endstate (i.e., the idea of a “validated scale” is a misnomer) as a property of scales, which scholars can find increasing amounts of evidence for (or against) for different respondents in different contexts and for different uses of the resultant scores.


둘째로, 설문조사를 설계하기 위한 이러한 과정을 살펴보면, 많은 권고사항들이 유사하다. 일반적인 템플릿은 

  • (a) 설문 설계자가 문제의 구인을 명확히 결정하고, 

  • (b) 문헌을 참고하여 새로운 척도가 필요한지 확인하고, 

  • (c) 문항 풀을 개발하며(이 때는 문항이 overly inclusive해도 된다)

  • (d) 항목에 대한 적절한 응답 형식을 선택하고, 

  • (e) 파일럿 시험을 여러 번 반복해야 한다고 제안한다.

Second, looking across these processes for designing surveys, many recommendations are similar. The general template suggests that survey designers should 

  • (a) clearly determine the construct in question, 

  • (b) consult the literature to ascertain whether a new scale is needed, 

  • (c) develop an item pool (that should be overly inclusive), 

  • (d) select appropriate response formats for items, and 

  • (e) conduct several iterations of pilot testing.


이러한 프로세스의 대부분은 예비 표본에서 파일럿 데이터를 수집한 후 연구자가 취할 수 있는 분석적 접근방식에 초점을 맞춘다. 이 정신측정 도구 키트에는 평가하기 위한 분석

The bulk of these processes center on the analytic approaches a researcher can take after having collected pilot data from a preliminary sample. This psychometric toolkit includes analyses to assess: 

  • item-level means and variability; 

  • inter-item and item-total correlations; 

  • reliability (e.g., coefficient alpha or test–retest); 

  • factor structure (e.g., exploratory and/or confirmatory factor analysis); 

  • multi-trait, multi-method matrix approaches to establishing validity; 

  • item-response theory; and so on. 


요약하자면, 이러한 프로세스들은 문항 개발에는 중점을 덜 두고 있으며, 척도가 개발된 이후의 작업(back-end), 즉 어떻게 문항을 선택할 것인가를 더 강조한다.

In sum, these processes emphasize the back-end of scale development—that is, the selection of items—while focusing less on the development of items.


우리는 이 "일반적인" 조사 설계 과정이 개선될 수 있다고 주장한다.

we argue that this “typical” survey design process could be improved.


1단계: 문헌 고찰

Step 1: Literature Review


대부분의 척도개발 프로세스와 마찬가지로, 우리의 프로세스도 철저한 문헌 검토로부터 시작된다.

Congruent with most scale construction processes, our scale construction process begins with a thorough literature review.


이 단계에는 두 가지 목표가 있다: 문헌과 관련하여 구인을 정확하게 정의하고, 구인(또는 관련 구인)의 기존 척도가 얼마나 유용할 수 있는지를 식별하는 것이다. 첫째, 문헌에 대한 지식은 조사 설계자가 자신의 구조를 정의하여 이를 내부에 배치하고, 연결하며, 관련 개념과 구별하는 데 도움이 된다. 일부 연구자들이 도움이 될 수 있는 새로운 방법 중 하나는 관심 구인와 관련되지만 구별되는 구인들 사이에서 중첩 정도를 보여주는 벤다이어그램을 그려보는 것이다.

This step has two goals: to precisely define the construct in relation to literature and to identify how existing measures of the construct (or related constructs) might be useful. First, knowledge of the literature helps survey designers define their construct so as to situate it within, connect it to, and differentiate it from related concepts. A new practice that some researchers may find helpful is to sketch Venn diagrams that illustrate the degree of overlap between their construct of interest and related, but distinct, constructs.


특히, 이러한 도표는 학자들이 그들의 구성의 적절한 "grain size" 즉, 그들의 구성을 측정할 추상화 수준을 결정하는 데 도움을 줄 수 있다. 예를 들어, 학부생들의 사회적 성향을 조사하기 위해, 사람들은 (연속체의 작은 결말에서) 데이트를 하거나, 친구들과 시간을 보내거나, 다른 사람들과 상호작용하는 그들의 성향을 평가하기 위해 척도를 개발할 수 있다.

Of particular importance, these diagrams can help scholars determine the appropriate “grain size” of their construct, that is, the level of abstraction at which to measure their construct. For example, to investigate the social proclivities of undergraduates, one could develop scales to assess their propensity to go on dates (at the small-grain end of the continuum), spend time with friends, or interact with others (at the large-grain end of the continuum).


일단 연구자들이 그들의 관심 구인를 명확히 하면, 문헌을 검토함으로써 잠재적으로 사용가능한 기존 척도를 평가하는 데 도움이 된다. 척도 타당성 검사 연구, 방법 섹션, 부록 등이 일반적으로 표본 항목, 전체 척도, 척도의 심리측정적 특성을 제공한다. 어떤 경우에는 학자들이 관심구인과 밀접하게 일치하고 사소한 수정만으로 사용할 수 있는 척도를 발견할 수도 있다. 그러나 많은 경우에 문항 자체는 사용할 수 없을 수 있다(예: 항목의 판독 수준이 부적절하거나 항목이 모범 사례와 일치하지 않음). 그러나 이러한 문항도 새로운 항목을 개발하는 데 유용할 수 있다.

Once researchers clarify their construct of interest, reviewing the literature also serves to evaluate previous measures for potential use. Scale validation studies, methods sections, and appendixes typically provide sample items, the full scale, or both, as well as psychometric properties of the scale. In some instances, scholars may find scales that closely match their construct of interest and can use them with only minor modifications. In many cases, the items themselves might be unusable (e.g., the reading level of the items is inappropriate or the items do not comport with best practices). However, the content these items address might be valuable in developing new items.


2단계: 인터뷰 및 포커스 그룹

Step 2: Interviews and Focus Groups


문헌 검토가 완료되면 연구자들은 관심 모집단에 관심을 돌릴 수 있다. 즉, 여기부터가 기존에 권고된 설문조사 개발 과정에서 달라지는 점이다. 구체적으로, 연구자는 그들이 새로이 정교화한 개념이 잠재적 응답자들이 그 구인을 생각하는 방식과 일치하는지 확인할 필요가 있다. 

  • 응답자는 문헌에 있는 것과 동일한 범주를 포함하거나 제외하는가? 

  • 응답자는 관련 현상을 기술할 때 어떤 용어를 사용하는가? 

이러한 질문에 답하기 위해, 연구원들은 보통 관심 집단을 거의 닮은 개인들로부터 직접 데이터를 수집하기를 원할 것이다.

With the literature review completed, researchers can turn their attention to the population of interest—an important deviation from most traditional survey construction processes. Specifically, scholars need to ascertain whether their newly refined conceptualization of the construct matches the way their prospective respondents think about it. Do respondents include and exclude the same categories as those in the literature? What terminology do respondents use in describing relevant phenomena? To answer these questions, researchers will usually want to collect data directly from individuals who closely resemble their population of interest.


두 가지 주요 목표. 

  • 첫째, 연구자들은 참가자들이 자신의 언어로 관심구인에 대해 어떻게 생각하는지 들을 필요가 있으며, 연구자의 유도심문prompting은 최소화해야 한다. 

  • 둘째로, 가능한 한 많은 unprompted 정보를 얻은 후에, 설문 설계자들은 잠재적 응답자들이 문헌에 언급된 구인의 특정 특성에 동의하는지 여부를 평가하기 위해 더 많은 탐색질문을 할 수 있다.

two main objectives. 

  • First, researchers need to hear how participants think about the focal construct in their own words, with minimal prompting from the researcher. 

  • Second, after getting as much unprompted information as possible, survey designers can ask more directed, probing questions to assess whether respondents agree with certain characteristics of the construct noted in the literature.


구인이 다면적이었기 때문에, 우리는 문헌 검토에서 학생과 교사들이 중요하다고 느끼는 범주를 효율적으로 배우기 위해 Q-sort 기법의 적응을 고안했다. 인터뷰가 끝날 무렵, 참가자들은 우리가 문헌 리뷰에서 삭제한 TSR의 측면이 표시된 카드를 분류하는 Q-sort 절차를 완료했다. 구체적으로, 그들은 "이런 특징들이 각각 선생님/학생들과 긍정적인 관계를 발전시키는데 얼마나 중요한가?"라는 질문에 응답했다. 이에 대응하기 위해 참가자들은 카드를 매우 중요한/필수적인, 다소 중요한/상관없는 범주로 분류했다.

Because our construct was multifaceted, we devised an adaptation of the Q-sort technique to efficiently learn which categories from our literature review students and teachers felt were important. Toward the end of the interviews, participants completed a Q-sort procedure in which they sorted cards labeled with aspects of TSR that we had culled from our literature review. Specifically, they responded to the question, “How important are each of these characteristics to developing a positive relationship with your teacher/students?” To respond, participants grouped cards into the following categories: extremely important/essential, somewhat important, and not important/doesn’t matter.



3단계: 인터뷰와 문헌 고찰 통합–Focus 그룹 데이터

Step 3: Synthesizing the Literature Review With Interview–Focus Group Data


척도 개발 과정의 세 번째 단계는 해당 구조의 학문적 개념과 일반적 개념 사이에서 발생하는 차이를 조정하기 위한 초기 시도이다. 구체적으로, 이 단계의 목표는 [양측 모두 합의할 수 있는] 구인에 대한 완전한 개념을 제공하는 것이다. 문헌 검토 및 인터뷰-포커스 그룹 데이터로부터, 설문 설계자는 자신의 구인에 대한 포괄적인 지표 목록을 개발할 수 있다(4단계에서 초기 항목을 개발할 것이다). 이러한 데이터 출처의 병합과정은 기존 문헌과 의견제출자들이 특정 지표에 대한 합의가 이루어지면 쉬워진다.

The third step of this scale development process represents an initial attempt to reconcile differences that emerge between academic and lay conceptualizations of the construct in question. Specifically, the goal of this step is to provide a full conception of the construct with which both parties are likely to agree. From the literature review and the interview–focus group data, survey designers can develop a comprehensive list of indicators for their construct (from which they will develop initial items in Step 4). The merging of these sources of data is straightforward when prior literature and respondents agree on particular indicators.


개념적으로 서로 일치하더라도, 설명하는 방식이 서로 다를 때에는, 설문 설계자는 응답자의 언어를 사용할 수 있다. 만약 어떤 indicator가 한 가지 출처에서는 언급되지만, 다른 출처에서는 언급되지 않는 경우, 대부분의 연구자들은 우선은 지표를 유지하기를 원할 것이다. 후속 단계에서 해당 지표를 반영하는 항목이 적절한지 여부를 확인하는 검사를 제공할 것이다.

When they agree conceptually but describe the indicators in different ways, survey designers can use the vocabulary of their respondents. At this stage, when an indicator is mentioned from one source but not the other, most researchers will want to retain the indicator for the time being—later steps in the process will provide checks to see whether items that reflect that indicator seem appropriate.


4단계: 문항 개발

Step 4: Developing Items


목록을 종합한 후, 설문 개발자는 예비 문항을 작성할 수 있다. 이 단계의 목표는 3단계에서 확인된 indicator를 적절히 나타내는 항목을 개발하는 동시에, 잠재적 응답자에게 의미 있는 용어를 사용하는 문항을 개발하는 것이다(2단계부터). 이 단계에서는 두 가지 어려움이 있다.

After synthesizing their lists, survey designers can write preliminary items. The goal of this step is to develop items that adequately represent the indicators from Step 3 while using terminology that is meaningful to potential respondents (from Step 2). Two challenges predominate during this phase of scale development.


첫 번째 과제는 생성할 항목의 수를 결정하는 것이다. large-grain 구인의 경우, 각 지표에 해당하는 항목을 갖는 것은 불가능할 수 있다. 항목 수를 결정하는 것은 궁극적으로 연구자의 전문적인 판단에 달려 있으며, 전체 구성의 더 큰 부분을 나타내는 항목을 개발하는 것에 대한 친숙도facility에 달려있다. 그러나 보수적인 방식은, 최종 척도에 필요한 것보다 더 많은 항목을 개발하는 것이다(예: 궁극적으로는 8항목 척도를 개발하고자 15개의 잠재적 항목 개발). 또한 1단계에서 개발된 벤다이어그램과 비교하는 것도 이러한 항목을 점검하는 데 도움이 될 수 있다.

The first challenge lies in determining the number of items to generate. For large-grain constructs, having an item that corresponds to each indicator may be impossible. Deciding on the number of items ultimately rests with the professional judgment of researchers and (as we illustrate below) their facility in developing items that represent larger portions of the whole construct. However, the conservative path is to develop more items than are needed for the final scale (e.g., perhaps developing 15 potential items in the hopes of ultimately developing an eight-item scale). It may also help to check these items against the Venn diagrams developed in Step 1.


이 단계의 두 번째 도전은 각 항목을 실제로 표현하는데 있다. 일반적인 설문 조사 구성 접근방식의 단어 항목에 대한 지침은 다음에 대해 이야기한다.

  • 명확하고 모호하지 않은 언어를 사용한다. 

  • 편견을 방지한다. 

  • 품목의 스템이 반응 앵커와 일치하는지 확인한다. 

  • 민감한 정보를 요청할 때 응답자에게 불쾌감을 주지 않도록 주의한다. 

  • double-barreled item를 피하다

The second challenge of this step lies in actually wording each item. Much of the guidance on wording items in the typical survey construction approaches describes how designers should 

  • use clear, unambiguous language; 

  • guard against bias; 

  • ensure that the item stems cohere with the response anchors; 

  • be wary of offending respondents when asking for sensitive information; 

  • avoid double-barreled items; and so on. 


이것들은 중요한 기억장치들이지만, 아마도 많은 설문 조사 설계자들에게는 직관적일 것이다. 반대로, 똑같이 중요한 여러 문제은 조사 설계자들 사이에서 잘 알려져 있지 않은 것으로 보인다. 표 1은 그러한 다섯 가지 문제를 보여준다.

Although these are important reminders, they are probably intuitive for many survey designers. Conversely, a wide array of equally important issues appears to be less wellknown among survey designers. Table 1 illustrates five such issues


문항을 만드는 기술이 점점 과학화됨에 따라, 척도를 새롭게 만들 때는 이러한 경험적 연구결과에 대한 집합적 지식을 반영할 필요가 있다.

However, as the art of crafting items is increasingly becomes a science, new scales need to reflect the field’s collective knowledge of this empirical work.




5단계: 전문가 검토

Step 5: Expert Validation


잠재 문항 목록을 만든 후에, 설문 조사 설계자들은 그들의 초점을 그들의 학문적 청중에게 돌려줄 수 있다. 전문가 검증 단계를 통해 설문조사 설계자는 개별 항목의 construct relevance를 확인하는 데이터를 수집하고, 누락된 주요 지표가 있는지에 대해 이중 검사를 수행할 수 있다. 이를 위해, 설문조사 설계자는 해당 분야의 전문가를 찾아야 하며, 이들에게 문항의 집합이 특정 구조를 얼마나 잘 나타내는지를 검토를 요청해야 한다. 전문가들은 

  • 설문에 대한 평가 설계자의 정의를 읽고 설문에 응답한 뒤, 

  • 설문조사 설계자가 관심을 갖을 construct relevance, 명확성, 기타 특성에 대해 각 항목을 평가하고

  • 개별 항목에 대한 추가 의견을 작성하고, 

  • underrepresent되었거나 누락되었다고 판단되는 중요한 지표를 식별한다.

With a list of potential items in hand, survey designers can return their focus to their academic audience. The expert validation step allows survey designers to collect data that establishes the construct relevance of individual items and double checks for key omitted indicators. Toward this end, survey designers can identify experts in the field and invite them to judge how well a set of items represents a particular construct. Those judges then 

  • complete a survey in which they read the survey designers’ definition of the construct; 

  • rate each potential item on construct relevance, clarity, or other characteristics of concern to the survey designer; 

  • write-in additional comments about individual items; and 

  • identify any important indicators that they perceive to be underrepresented or absent.


또한 이 프로세스는 설계자가 자신의 규모에 대한 내용타당도를 정량화할 수 있는 기회를 제공한다.

This process also offers designers the chance to quantify thecontent validity of their scale


복수의 관련 척도를 작성하는 설계자에게 또 다른 유용한 기법은 전문가에게 각각의 문항을 구인(또는 "기타" 범주)에 match해보도록 요청하는 것이다. 이 프로세스는 해당 항목이 얼마나 차별적 타당성을 나타내는지를 조기에 제시한다(Hinkin, 1995).

Another useful technique for designers who are creating multiple related scales is to ask experts to match items to the construct they belong to (or to an “other” category)—this process provides an early indication of how well the items manifest discriminant validity (Hinkin, 1995).



6단계: 인지적 사전테스트

Step 6: Cognitive Pretesting


더 큰 규모의 파일럿 연구를 수행하기 전에 2차 리트머스 테스트는 잠재적 응답자들이 각 항목을 어떻게 이해하고 반응하는지 알아보는 것이다. "인지적 사전 시험" 또는 "인지적 인터뷰"의 관행은 응답자가 항목을 해석하는 방법을 배우기 위한 구조화된 접근법을 제공한다(Presser et al., 2004; Willis, 2005). 구체적인 접근방식은 다르지만, 이 기법의 핵심은 일반적으로 조사 설계자가 잠재적 응답자를 인터뷰하면서

  • (1) 질문에 포함된 단어를 응답자의 언어로 반복하게 하고(심지어 문항에 있는 단어는 하나도 쓰지 않게 하면서)

  • (2) 질문에 답할 때 하게 된 모든 생각을 보고하여 큰 소리로 생각하도록 한다. 

The penultimate litmus test, before conducting a larger scale pilot study, is to learn how potential respondents understand and respond to each item. The practice of “cognitive pretesting” or “cognitive interviewing” provides a structured approach for learning how respondents interpret items (Presser et al., 2004; Willis, 2005). Though specific approaches differ, the core of this technique usually entails the survey designer to interview potential respondents and ask them

  • (a) to repeat the question in their own words—sometimes without repeating any words from the question itself and 

  • (b) to think out loud by reporting every thought they have as they answer the question. 


인터뷰 도중 또는 인터뷰 말미에서 평가 설계자는 응답자가 각 항목을 어떻게 이해하고 있는지를 명확히 하기 위해 보통 탐색용probing 후속 질문을 한다. 이 프로세스의 상세한 예시를 위한 자세한 내용은 카라베닉 등을 참조하십시오. (2007) 

During or at the end of the interview the survey designer usually asks follow-up, probing questions to clarify how respondents understand each item. See Karabenick et al. (2007) for a detailed illustration of this process.


이 기법의 두 가지 측면이 중요하다. 

  • 첫째, 인지적 사전 테스트는 대부분의 응답자들에게 이상하고 부자연스럽다. 특히 자신의 내면의 독백을 외부 세계에 말로 표현해야 한다. 따라서, 연구자들은 응답자들에게 연습항목을 통해서 이러한 비통상적인 과정에 대해 연습하고 피드백을 받을 수 있게 한 뒤, 인지 사전 테스트 인터뷰를 시작한다. 

  • 째로, 이 기법은 또한 조사 설계자들이 자신이 만든 문항에 대해서 과도하게 생각하도록overthink 만들 수 있다(Willis, 2005). 즉, 설문응답자가 응답하는 도중에 질문을 해석하고 답변하는 방식은, 인지적 사전 시험 세션과 같이 오랜 시간에 걸쳐 고정된 항목에 대해 생각하는 때의 해석과 일치하지 않는 경우가 있다. 따라서 전문가들은 종종 문항을 수정하기에 앞서서, 그 항목에 대한 복수의 의견제출자들의 명확한 추세trends를 확인하도록 조언한다(Willis, 2005).

Two aspects of this technique are important to recognize. 

  • First, cognitive pretesting is strange and unnatural for most respondents—especially having to verbalize one’s inner monologue to the outside world. Thus, many researchers begin their cognitive pretesting interviews with a practice item that allows respondents to practice and receive feedback on this unusual process. 

  • Second, this technique can also lead survey designers to overthink their items (Willis, 2005). In other words, how respondents interpret and answer questions during a survey is sometimes incongruent with their interpretations when they fixate on an item for a protracted period of time during a cognitive pretesting session. Thus, experts often advise identifying clear trends from multiple respondents about a potentially problematic item before making changes (Willis, 2005).


파일럿테스트

Pilot Testing


조사 설계자의 최선의 노력과 이전 6단계의 엄격한 준수에도 불구하고 일부 항목은 여전히 문제가 될 수 있다. 그러나 이 단계에서 대부분의 문제는 더 큰 표본의 데이터가 없으면 탐지하기 어렵다. 따라서, 파일럿 시험의 목표는 규모가 더 많은 참가자들에게 규모를 관리하여 척도 내에서 어떻게 기능하는지 시험하고 척도가 다른 척도에 비해 어떻게 기능하는지 결정하는 것이다.

Despite the best efforts of survey designers and rigorous adherence to the previous six steps, some items may remain problematic. However, at this stage most problems are hard to detect without data from a larger sample. Thus, the goal of pilot testing is to administer the scale to a larger population of participants to test how items function within the scale and to determine how the scale functions relative to other measures.


일반적으로, 연구원들은 핵심 문항군을 찾을 때까지(즉, 최소한 몇 가지 서로다른 방법으로 신뢰도, 응집도, construct validity를 잘 보여줌) 관심집단과 닮은 표본으로부터 파일럿 테스트를 반복한다.

Usually, researchers iterate through pilot testing until they have a core group of items that function well (i.e., a reliable, cohesive group of items that manifest construct validity in at least a couple different ways) on a sample that closely resembles their population of interest.


예를 들어, 만약 우리가 문헌검토를 마무리하고 단순히 우리의 현존하는 지식에 의존했다면, 우리는 선생님과 같은 미묘한 점들을 우리의 관심의 구성 밖으로 떨어지는 인격적 특성으로 구별하지 않고, 특정한 학생을 우리의 관심의 구성으로 보살피는 선생님들의 행위와 같은 구별할 수 있었을 것이다. 

For example, if we had finessed the review of the literature and simply relied on our existing knowledge, we would not have distinguished subtleties such as teacher caring as a personality trait falling outside of our construct of interest but the act of a teacher caring about a particular student as being germane to our construct of interest. 


2단계와 3단계가 없었다면 우리는 학생들의 반응성, 그리고 학생들이 그들의 관계에 있어 중요한 측면으로서 그들의 선생님에 대한 합리적인 기대를 가지고 있는 것과 같은 중요한 지표를 놓쳤을 것이다. 

Without Steps 2 and 3 we would have missed important indicators such as student responsiveness and students having reasonable expectations for their teachers as important facets of the relationship. 


4단계에서 모범 사례를 알지 못하면 특정 문항에서 더 많은 응답 오류를 발생시킬 것이 거의 확실하다. 예를 들어, 일부 선행 조치에서 발견한 동의-불합리 대응 앵커와 함께 항목을 사용하려는 유혹을 받았을 수 있다. 

Ignorance of the best practices in Step 4 would almost certainly have introduced more respondent error into specific items, for example, we might have been tempted to use items with agree–disagree response anchors that we found in some prior measures without adapting them. 


5단계는 측량 건설에 대한 전형적인 접근방식에 비추어 특히 중요하다. 일반적인 접근방식에 따르면, 매우 큰 항목 풀을 초기에 구성하고, 그 다음에 파일럿 테스트를 통해 항목들을 정리한다(특히 척도의 요인 구조에 문제가 있는 것으로 판명될 때). 그러나 이러한 분리는 구조물의 중요한 측면을 생략할 수 있다. 우리가 수행한 전문가 테스트는 우리가 교사-학생 관계에서 학생 학습의 역할을 충분히 나타내지 못할 위험에 처해 있다는 것을 깨닫도록 도와주었다. 

Step 5 is especially important in light of the typical approaches to survey construction. Through the typical approach, very large item pools are often constructed initially and then items are pruned through pilot tests (often when they prove problematic for the factor structure of the scale). However, this pruning can result in the omission of critical aspects of the construct. The expert testing that we conducted helped us to realize that we were in danger of underrepresenting the role of student learning in teacher–student relationships. 


마지막으로, 6단계는 우리가 최선을 다했음에도 불구하고 일부 응답자들에게는 너무 어려운 어휘를 포함시켰다는 것을 깨닫게 해주었다. 다시 말하지만, 이 중요한 정보는 파일럿 테스트를 통해 쉽게 탐지되지 않을 수 있다.

Finally, Step 6 helped us realize that, despite our best efforts, we had still included some vocabulary that was too difficult for some of our respondents. Again, this important information could easily go undetected through pilot testing.


위협, 마지막 생각

Caveats and Concluding Thoughts


대표 표본, 응답률 극대화, 인센티브 사용, 배치 형식 조사, 양식(예: 종이와 연필 대 웹)은 다른 문헌에서 검토된 중요한 주제다(예: 딜먼, 스마이트, 2009).

Representative samples, maximizing return rates, use of incentives, layout–formatting of surveys, and modality (e.g., paper and pencil vs. web) are all critical topics reviewed elsewhere (e.g., Dillman, Smyth, & Christian, 2009).






For years psychologists across many subfields have undertaken the formidable challenge of designing survey scales to assess attitudes, opinions, and behaviors. Correspondingly, scholars have written much to guide researchers in this undertaking. Yet, many new scales violate established best practices in survey design, suggesting the need for a new approach to designing surveys. This article presents 6 steps to facilitate the construction of questionnaire scales. Unlike previous processes, this one front loads input from other academics and potential respondents in the item-development and revision phase with the goal of achieving credibility across both populations. Specifically, the article describes how (a) a literature review and (b) focus group–interview data can be (c) synthesized into a comprehensive list to facilitate (d) the development of items. Next, survey designers can subject the items to (e) an expert review and (f) cognitive pretesting before executing a pilot test.


연구 - 백인중산층을 넘어(BMJ, 2004)

Reaching beyond the white middle classes

Petra M Boynton, Gary W Wood, Trisha Greenhalgh




이해와 의미

Understanding and meaning


질문의 의미는 여러분과 여러분의 연구진에게 분명할 수 있지만, 그렇다고 해서 모든 응답자들이 그것을 비슷하게 해석한다는 것을 의미하지는 않는다. 모호한 질문은 참가자의 견해를 정확하게 파악하지 못하는 응답2 또는 응답하는 것을 방해하지 않는 응답으로 이어질 것이다.5

The meaning of a question may be obvious to you and your research staff, but this does not mean all participants will interpret it similarly. Ambiguous questions will lead to responses that do not accurately capture participants’ views2 or to them not bothering to respond.5


연구자와 참가자 사이의 사회적 거리가 클수록 오해의 위험이 커진다. 예를 들어, 감정적 웰빙을 측정하기 위한 설문지에는 "are you blue?"라는 질문이 포함될 수 있지만, 일부 참가자들은 이를 신체적 건강에 대한 질문(피부색이나 몸에 표시를 나타내는 파란색)으로 해석할 수 있다.

The greater the social distance between researcher and participant, the greater the risk of misunderstandings. For example, a questionnaire seeking to measure emotional wellbeing might include a question “Are you blue?” but some participants may interpret this as an inquiry about their physical health (with blue referring to skin colour or a mark on the body).


연구자들이 일상적으로 사용하는 단어들은 참가자들에게 익숙하지 않을 수도 있고 현실 세계에서 대체적인(그리고 심지어 반대되는) 의미를 가질 수도 있다. 대부분의 사람들은 동성애라는 단어를 이해하지만, 이성애자heterosexual이라는 단어는 그보다는 덜 널리 사용되고 있으며, 심지어는 동성애자의 동의어로 잘 못 해석될 수도 있다(어떤 사람들에게는 정상일 수도 있다). 간단한 설명자(동성애자 대신 남성과 성관계를 가지는 남성)는 당신의 도구에 대한 접근성을 확장시킬 것이다.

Phrases that researchers use routinely may not be familiar to participants or may have alternative (and even opposite) meanings in the real world. Most people understand the word homosexual, but heterosexual is less widely used and may be wrongly with interpreted as synonymous homosexual (the alternative of be which, for some people, would normal). A simple descriptor (such as men who have sex with men, instead of homosexual) will extend the accessibility of your instrument.


설문지 항목에는 종종 사람들이 어떻게 사는지에 대한 무의식적인 가정이 포함된다. 예를 들어, 노인들의 음주량을 조사한 소규모 조사는 응답자 중 5%가 하루에 음주 횟수를 기준으로 질문을 했을 때 과음한 것으로 분류했다. 그러나 (응답자들이 일반적으로 음료로 계산하지 않은) 차와 커피에 첨가된 알코올에 대한 질문이 포함되었을 때, 과도한 음주자의 유행이 두 배로 증가하여 10%가 되었다.6

Questionnaire items often include unconscious assumptions about how people live. A small survey of elderly people’s alcohol intake, for example, classified 5% of respondents as drinking excessively when questions were framed in terms of number of drinks per day. But when a question was included on tots of alcohol added to tea and coffee (which respondents generally did not count as a drink), the prevalence of excessive drinkers doubled to 10%.6


심지어 "텔레비전을 몇 일 보느냐?"와 같은 간단한 것조차도 여러 가지 방법으로 해석될 수 있다. (주중 며칠은 주말을 포함한다; "너"는 나와 나만을 의미하는가, 아니면 내 가족만을 의미하는가?; 텔레비전을 백그라운드에서 켜는 것인가?7)

Even something as simple as “how many days of the week do you watch television?” can be interpreted in several ways (does days of the week include weekends; does “you” mean just me, or me and my family; does having the television on in the background count?7).


복잡한 설문 번호 이동 지침(아니면 질문 3으로 이동, 예일 경우 질문 12로 이동)은 동기부여를 줄이고 무차별적인 상자 체크 표시를 유발할 수 있다. 참가자가 올바른 경로를 따르지 않을 경우 추가 통계 분석이 필요할 수 있다.

Complex routing instructions (if no, go to question 3; if yes, go to question 12) reduce motivation and may lead to indiscriminate box ticking. If participants do not follow the correct routing, additional statistical analysis may be required.


취약한 참가자

Disempowered participants


응답자는 [부끄러움이나 당혹감이나 보복에 대한 두려움 없이] 질문에 대답하고 감정을 공개적으로 표현하는데 자신감을 가질 수 있어야 한다. 위협, 오명, 사회적 압력은 모두 이 목표를 달성하는 데 심각한 장벽을 초래할 수 있으며, 만약 도구를 연구자에게 숨길 것이 없는 "당당한" 응답자에게만 파일럿 조사를 해본다면, 연구자들은 이러한 영향을 알 수 없을 것이다.

People should feel confident to answer questions and express feelings openly, without shame, embarrassment, or fear of retribution. Perceived threat, stigma, and social pressure can all pose serious barriers to achieving this goal, and such influences will be hidden from researchers if the instrument is piloted only on articulate respondents with nothing to hide.


한 가지 핵심 원칙은 설문지를 작성할 때 프라이버시를 보장하고, 위협적이지 않은 환경을 보장하고, 응답 분석을 할 때 완전한 익명성을 보장하는 것이다. 물리적 위치는 결과에 영향을 미칠 수 있다. 한 연구에서 참가자들은 직장 내에서 같은 질문을 받았을 때와 문 앞에서 답변을 할 때는 다른 대답을 했다.8 참가자들에게 설문지를 작성하고 싶은 곳을 물어보십시오. 적어도, 호기심어린 눈을 피할 수 있는 조용한 한 쪽 구석을 제공해라.

One key principle is to assure privacy and non-threatening surroundings when completing the questionnaire and total anonymity when analysing the responses. Geographical location may influence outcomes. In one study, participants gave different answers if they were asked questions on their doorstep than they did when asked the same questions within their workplace.8 Ask participants where they would prefer to complete the questionnaire. At the very least, offer a quiet corner away fromcurious eyes.



참가자가 설문을 완료하도록 돕기

Helping participants to complete questionnaires


연구자가 작성한 설문지는 연구 프로토콜의 계획된 부분인 경우 정당한 접근방식이 될 수 있지만, 연구자들은 목소리, 얼굴 표정 또는 몸짓의 반사에 의해 반응에 미묘하게 영향을 미칠 수 있다.10 예를 들어, 응답자가 무의식적으로 불편함을 느끼거나, 설문이 중요하지 않은 것으로 느껴질 경우 대충 응답할 수 있다. 연구자가 지루하거나 피곤해보이면 열의가 부족해보일 것이고, 이는 "대답이 별로 중요하지 않다"라고 해석될 수도 있다.

Questionnaires completed by researchers can be a legitimate approach if they are a planned part of the study protocol,9 but researchers can subtly influence responses by inflections of the voice, facial expressions, or gestures.10 For example, they may unconsciously hurry through questions they find uncomfortable or perceive as unimportant. A bored or tired researcher will convey a lack of enthusiasm, which might be interpreted as “it doesn’t really matter which answer you choose.”


질문 순서나 표현을 변경하면 설문도구의 타당도에 영향을 줄 수 있다.9 그러나 한편으로는 응답자가 모든 문항을 순서대로 작성하는 경우도 별로 없다. 이들은 지침 페이지를 여러 번 참조하고 나중에 작성한 질문으로 되돌아가는 경향이 있다. 연구자가 참가자가 표준화된 조치를 완료하도록 돕고 있는 경우, 표준화된 스크립트에 너무 집착하는 것은 역효과를 초래할 수 있다.10

Changing the order or wording of questions could render the instrument invalid.9 But participants rarely work through self completed questionnaires in a linear fashion. They tend to refer to the instructions page several times and return to previous questions once they have completed later ones. If a researcher is helping participants to complete a standardised measure, sticking too closely to a standardised script can be counterproductive.10


우편 조사는 높은 수의 참여자에 도달할 수 있지만 낮은 응답률의 위험을 수반한다.4 연구원이 직접 실시하는 설문지는 노동 집약적일 수 있지만, 우편조사보다 총 표본은 적더라도 궁극적으로는 더 많은 응답으로 이어질 수 있다.

Postal surveys are able to reach high numbers of participants but carry the risk of low response rates.4 Researcher administered questionnaires may be more labour intensive, but do lead to more responses, albeit in a smaller sample than that used in postal surveys.


인구통계적 정보

Background demographic data


연구원들은 종종 설문지의 인구통계 부분을 가장 덜 위협적이고 설계하기 쉬운 것으로 본다. 결국, 나이, 성별, 결혼 여부, 직업, 사회경제적 지위, 우편번호 또는 민족성을 완성하라는 요구를 받았을 때 누가 불쾌해 할 수 있었는가? 그러나 사실, 이러한 항목들은 매우 예민하며, 불쾌하게 만들 수도 있다.

Researchers often see the demographics section of a questionnaire as the least threatening and easiest to design—after all, who could be offended when asked to complete their age, sex, marital status, occupation, socioeconomic status, postcode, or ethnicity? In fact, these items may be perceived as highly sensitive and upsetting


Table A on bmj.com lists


참가자에 대한 위협을 최소화하기 위해 인구통계학적 질문을 맨 뒤에 배치하고, 3 이러한 세부 정보가 필요한 이유, 어떤 용도로 사용될 것인지, 그리고 이 개인 정보가 어떻게 보호될 것인지에 대한 명확한 정보를 제공해야한다.

Place demographic questions at the end to minimise the threat to participants,3 and give clear information about why these details are required, what they will be used for, and how this personal information will be protected.


소수인종

Minority ethnic groups


전형적인 서양 사람들은 대부분의 다른 집단들보다 일반적으로 평가 척도와 선호도나 선택을 나타내는 것에 더 익숙하다. 그렇다고 다른 인종의 사람들이 설문지를 이해할 수 없다는 것은 아니지만, 그 항목들은 그들에게 다른 의미를 가질 수도 있고, 그들은 상호 배타적인 응답의 개념을 이해할 수 없을 수도 있다.

Indigenous Western people are generally more familiar with rating scales and indicating preferences or choices than most other groups. That is not to say people from other groups cannot understand questionnaires, but the items may have different meanings to them,11 and they may find the notion of mutually exclusive responses incomprehensible.


어떤 사람이 영어로 매우 읽고 쓸 줄 아는 것처럼 보일지라도, 그들의 보건의료정보에 대한 이해력(건강 정보를 이해하고 처리하는 능력)은 훨씬 더 낮아질 수 있다.12 부족하고 교육받지 못한 민족 집단의 구성원들에 의한 증상의 과소 보고로 이어질 수 있다.12 전문적인 번역과 해석 서비스는 필수적이지만, 그렇게 한다고 해서 의미에 대한 완전하고 충실한 번역을 보장하지는 않는다. 번역 자체가 불가능할 수 있기 때문이다(box 2)

Even when someone seems highly literate in English, their functional health literacy (the ability to understand and process health information) may be much lower, leading to underreporting of symptoms by the poor and uneducated members of ethnic groups.12 Professional translation and interpreting services are essential,13 but these do not necessarily ensure full and faithful translation of meaning,14 since direct translations of words may simply not exist (box 2).


소수 민족 집단의 참가자들은 다중의 위험을 경험할 수 있다; 그들은 가난하고, 사회적으로 배제되고, 만성적으로 병들고, 어떤 언어에서도 문맹일 수 있다. 그들은 그것이 쓰여진 어떤 언어로든 설문지를 말하거나 읽을 수 없거나, 평가 척도나 질문 라우팅을 이해하지 못하거나, 연구의 목적에 대한 잘못된 인식을 이해하지 못하기 때문에 연구에서 제외될 수 있다.

Participants from minority ethnic groups may experience multiple jeopardy; they may also be poor, socially excluded, chronically sick, and illiterate in any language. They risk being excluded from research because of inability to speak or read the questionnaire in whatever language it is written, failure to comprehend rating scales or question routing, or misconceptions about the purpose of the study.


또한 [질문을 한다는 것이 무엇을 나타내는지]에 대한 문제도 있다. 예를 들어, 일부 참가자는 여성 연구자가 남성에게 질문을 하는 것을 받아들일 수 없을 수도 있고, 반대도 마찬가지다. 이러한 모든 어려움은 설계 단계에서 지역사회 대표들과 긴밀히 협력하고 신중한 조종을 통해 최소화될 수 있다.

There is also the issue of what someone asking questions represents. For example, some participants may find a female researcher asking questions to a man, or vice versa, unacceptable916; All these difficulties can be minimised by working closely with representatives of the community at design stage and by careful piloting.


질병 특이적 이슈

Disease specific issues


특정한 건강 문제나 위험 프로필을 가진 사람들은 일반 인구에서 "비정상"으로 간주될 수 있는 믿음을 가지거나 행동을 할 수 있다.

People who have a particular health problem or risk profile may hold beliefs or engage in behaviours that would be considered “abnormal” in the general population.


사회적 상호작용으로서 설문 인터뷰

Questionnaire interview as social interaction


연구자와 참가자 사이의 만남은 사회적 상호작용이다. 또한 이러한 만남은 외롭거나, 집에 묶여 있거나, 사회적으로 소외된 사람들에게 특히 중요하다. 다른 사회적 연구와 마찬가지로, 참가자들은 설문인터뷰 진행자를 냉정한dispassionate 과학자(박스 3)로 보는 경우가 거의 없으며, 의료 제공 조직으로 잘못 연관시킬 수도 있다. 응답자의 이러한 인식과 사회적 상호작용의 질은 의심할 여지 없이 응답에 영향을 미친다.

A meeting between a researcher and a participant is a social interaction91018and often particularly important for people who are lonely, housebound, or socially excluded. As with other social research, participants rarely view the interviewer as a dispassionate scientist (box 3) and may erroneously associate them with the organisation that delivers care. These perceptions, and the quality of social interaction, undoubtedly influence responses.


연구자 훈련과 서포트

Researcher training and support


실제로 설문지를 전달하는 사람들은 종종 연구팀에서 경험이 가장 적은 구성원들이다.20 그러나 이들이 관련 학위를 보유하였더라도 데이터 기록, 청소 및 분석의 기본 원칙, 표준화의 개념 또는 시간 압박, 당황, 소진 및 지루함의 데이터 품질에 대한 위험을 이해하지 못할 수 있다.39

The people who actually deliver questionnaires are often the least experienced members of the research team.20 Even if they hold a relevant degree, they may not understand basic principles of recording, cleaning, and analysing data, the concept of standardisation, or the dangers to data quality of time pressures, embarrassment, burnout, and boredom(box 4).39


개인적인 질문들은 그 정의상 물어보기 어렵다. 그리고 사람에 따라서는 신체 기능에 대해 질문하는 것 뿐만 아니라, 민족성, 성별 또는 소득에 관한 질문들을 불편하게 여길 수도 있다. 감독자들은 이러한 차이를 정당한 것으로 인식하고 적절한 확신과 지원을 제공해야 한다. 단지 진료시에 그러한 질문을 할 수 있다고 해서, 연구 환경에서도 동일한 질문을 하기 쉽다는 것을 의미하지는 않는다. 그들이 사용할 설문지를 가지고 연구자들을 훈련시키는 것은 필수적이다.

Personal questions are by definition difficult to ask, and whereas one person might recoil from asking about bodily functions, another might find questions about ethnicity, sexuality, or income uncomfortable. Supervisors must recognise these differences as legitimate and provide appropriate reassurance and support. Just because someone asks intimate questions in their clinical work does not mean they will find the same questions easy to ask in a research setting. Training researchers with the questionnaire they will be using is essential.


설문지 연구에서 종종 무시되는 문제는 중 하나는 연구자들의 행복과 안전이다. 응답자들은 응답을 요청받으면 불쾌해하거나, 분노, 흥분, 좌절 또는 낙담으로 등의 반응을 보일 수 있다. 참가자에게 방해 없이 프라이버시를 가질 것임을 알리는 것은 베일에 싸인 성적 제안으로 오해될 수 있다. 전문가처럼 보이게 준비하고(이름 배지, 소개서, 관습적인 복장 코드 등), 인터뷰에 할당된 시간을 명확하게 나타내며, 참가자에게 특정 질문이 개인적이거나 민감한 성격임을 미리 경고하는 것은 그러한 반응을 줄일 수 있다.9 지원 기관 또는 의뢰 서비스 목록을 제공해야 한다. 그러나 우리는 결코 인간의 반응의 범위나 깊이를 완전히 예측할 수 없다는 것을 기억해야 한다.2 연구 감독자는 연구자들이 참가자들에게 다양한 감정(스트레스, 각성, 당혹감)을 기대하게 하고 이에 대처하기 위한 구체적인 전략을 가질 수 있도록 준비해야 한다.

An under-researched and often neglected issue in questionnaire research is the wellbeing and safety of the researchers. Participants may react to the invitation to participate with a somewhat unnerving appreciation of the warmth of human contact or with anger, arousal, frustration, or dismay. Informing the participant that they will have privacy without interruption can be misconstrued as a veiled sexual proposition. Professionalising cues (such as a name badge, letter of introduction, conventional dress code, and so on), a clear indication of the time allocated for the interview, and forewarning the participant that certain questions are of a personal or sensitive nature, can reduce such reactions.9 A list of help organisations or referral services should be available. Remember, though, that we can never fully predict the range or depth of human response to our efforts.2 research The research supervisor should prepare researchers to expect a range of emotions (distress, arousal, embarrassment) in participants and to have specific strategies for dealing with these.


결론

Conclusions


설문지 연구는 전통적인 중류층을 넘어서야 한다. 무능력자, 문맹자, 사회적으로 배제된, 비영어권 참여자들과 함께 일하고 민감한 주제에 대해 질문을 하는 것은 힘든 일과 시간이 소요되며 참가자와 연구원 모두에게 잠재적인 건강 위험을 수반한다. 연구자는 설문지 부수가 아니라 시간 단위로 인건비를 지불받아야 하며, 데이터 수집으로부터 정기적으로 휴식을 취하여 refresh와 reflection을 할 수 있어야 한다.21 특정 취약 계층의 참여자는 자신과 유사한 면접관이 필요할 수 있다. 연구 프로토콜에서는 설문이 완료된 후 연구자가 참가자와 대화할 수 있도록 허용해야 한다. 이러한 모든 조치는 프로젝트 계획, 일정 및 예산에 반영되어야 하며, 진정으로 설문지 연구에서 발생할 수 있는 편견을 최소화하려면, 자금 제공자는 그 필요성에 민감해야 한다.9

Questionnaire research needs to move beyond its traditional focus on the white middle classes. Working with disempowered, illiterate, socially excluded, and non-English speaking participants and asking questions about sensitive topics is hard work and time consuming and carries potential health risks for both participants and researchers. Researchers should be paid by the hour rather than by piecework and should take regular breaks from data collection to allow refreshment and reflection.21 Participants from particular vulnerable groups may need an interviewer who is similar to them. Study protocols should allow time for researchers to talk to the participant after the instrument has been completed. All these measures should be reflected in the project plan, timescale, and budget, and funders who are serious about redressing the gross bias in questionnaire research should be sensitive to the need for them.9






 2004 Jun 12;328(7453):1433-6.

Reaching beyond the white middle classes.

Author information

1
Department of Primary Care and Population Sciences, University College London, London N19 5LW. p.boynton@pcps.ucl.ac.uk
PMID:
 
15191985
 
PMCID:
 
PMC421793
 
DOI:
 
10.1136/bmj.328.7453.1433


"질문이 답의 형태를 결정한다": 보건전문직교육 연구에서 사용된 설문도구의 퀄리티 평가(Acad Med, 2018)

“The Questions Shape the Answers”: Assessing the Quality of Published Survey Instruments in Health Professions Education Research

Anthony R. Artino Jr, PhD, Andrew W. Phillips, MD, MEd, Amol Utrankar, Andrew Q. Ta, and Steven J. Durning, MD, PhD



자기보고되는 행동과 태도는 질문의 표현, 형식, 맥락과 같은 연구 도구의 특징에 의해 강하게 영향을 받는다.

—노버트 슈바르츠, 19991

Self-reports of behaviors and attitudes are strongly influenced by features of the research instrument, including question wording, format, and context. 

—Norbert Schwarz, 19991


이 분야에서 가장 영향력이 큰 3개 학술지에 대한 최근 연구에 따르면, 모든 원저 중 52%가 적어도 1개의 설문조사를 채택했다.2 조사는 종종 다른 이해하기 어려운 개념에 대한 정보를 수집하는 가장 좋은 방법이기 때문에, 부분적으로 인기가 있다.3,4 특히, survey는 일반적으로 "구인construct"이라고 불리는 관측할 수 없는 변수를 평가하는데 유용하다.5,6 HPE에서 Construct는 매우 여러가지가 있다(예: 학생 동기 부여, 환자 만족, 의사 공감).

A recent study of the three highest-impact journals in the field found that 52% of all original research studies employed at least one survey.2 Surveys are popular, in part, because they are often the best way to collect information about otherwise elusive concepts.3,4 In particular, surveys are useful for assessing nonobservable variables, commonly referred to as constructs.5,6 Constructs abound in HPE (e.g., student motivation, patient satisfaction, physician empathy).


불명확하거나 서식이 불량한 문항을 포함한 설문이나 형식적으로 문제가 있는 설문은 응답자가 해석하고 대답하기 어려워 질 수 있다.1,6,7 응답자가 문항을 이해하는 데 어려움을 겪는 경우, 이것은 결과적으로 나타나는 점수에 대한 신뢰도를 저하시킬 수 있는 측정오차가 된다.6,8–10, 궁극적으로, 설문의 설계가 문제가 있을 경우 그 도구는 연구자에게 신뢰할 수 있고 해석할 수 있는 데이터를 제공하지 못할 수 있기에, 타당성 주장을 방어하거나 결과를 해석하는 것도 어렵게 할 수 있다.11,12

Poorly designed survey instruments containing unclear or poorly formatted items can be difficult for respondents to interpret and answer, yielding low-quality data.1,6,7 When respondents have difficulty processing survey items, the result is measurement error that can degrade the reliability of the scores that emerge.6,8–10 Ultimately, poorly designed survey instruments may fail to provide researchers with reliable, interpretable data, thereby making validity arguments difficult to defend and study results hard to interpret.11,12


HPE 분야에서 연구자들은 종종 새로운 조사 도구를 개발하는데, 그 때 설문 점수와 그 설문의 의도된 용도와 관련하여 [타당성 및 신뢰성 증거를 수집하거나 철저히 보고하지 않는 경우가 많다.13~15 대안으로, 일부 HPE 연구자들은 추가적인 타당도 및 신뢰도 분석을 수행하기보다는, 이전에 발표된 조사 도구를 자신의 표집 형태에 맞춰서 조금 변경하여 사용한다. 이렇게 하는 이유는 그 설문 도구가 피어리뷰된 문헌에 발표되다는 것에 근거한다.

In the field of HPE, researchers often develop new survey tools without collecting or thoroughly reporting validity and reliability evidence for the survey scores and their intended use.13–15 Alternatively, some HPE researchers use or adapt previously published survey instruments without conducting additional validity and reliability analyses for their specific sampling frame, presumably because they are published in the peer-reviewed literature


그러나 이러한 행동은 적어도 두 가지 이유로 문제가 있다. 

  • 첫째, 연구자들은 흔히 이러한 도구를 "validated survey"라고 부르는데, 타당도와 신뢰도는 평가 점수 및 평가 도구 자체의 특성이 아니라 주어진 맥락에서 제안된 해석의 속성이기 때문에 이러한 표현은 부정확하다.16 

  • 째로, 이미 출판된 설문도구에 의존한다면, 그 도구와 그 안에 있는 문항들이 잘 설계되고, 잘 쓰여지고, 잘 포맷되어 있다고 가정할 가능성이 높다. 불행하게도, 과연 그러한지에 대한 평가는 잘 이뤄지지 않는다.13–15

This latter behavior is problematic for at least two reasons. First, researchers often refer to such instruments as “validated surveys,” which is inaccurate because validity and reliability are properties of the survey scores and their proposed interpretations in a given context, not properties of the survey instrument itself.16 Second, a researcher who chooses to rely on a published survey is likely assuming the instrument, and the items therein, are well designed, well written, and well formatted. Unfortunately, the veracity of this assumption often goes unassessed.13–15


현재 HPE 연구에 사용되는 조사 도구의 품질에 대한 통찰력이 부족하다.

Currently, we lack insight into the quality of the survey instruments used in HPE research.



방법

Method


연구방법의 일부로 적어도 1개의 자체관리 조사기구를 사용한 모든 독창적인 연구기사를 포함시켰다(그림 1).

We included all original research articles that used at least one self- administered survey instrument as part of the research method (Figure 1).



코딩 루브릭

Coding rubric


특정 코딩 기준 및 예를 포함한 전체 코딩 루브릭은 보충 부록 1( http://links.lww.com/ACADMED/A499)에 수록되어 있다.

A copy of the full coding rubric, including specific coding criteria and examples, is provided in Supplemental Digital Appendix 1 (at http://links.lww.com/ACADMED/A499).



또한 이 루브릭의 부분을 사용하여, 코더들은 저자들이 내용, 인지 과정, 내부 구조, 다른 변수와의 관계 및 결과에 기초한 증거, 교육 및 심리 테스트 표준에 명시된 다섯 가지 근거 출처에 부합하는 타당성 증거를 보고했는지와 어떻게 보고했는지를 평가했다.16

Using this portion of the rubric, the coders also assessed if and how authors reported validity evidence that aligned with the five sources of evidence articulated in Standards for Educational and Psychological Testing: evidence based on 

      • content, 

      • cognitive processes, 

      • internal structure, 

      • relationships with other variables, and 

      • consequences.16


타당성 근거와 무관하게 신뢰성 증거를 평가했지만, 신뢰도란 타당도에 대한 함의를 가지고 있음(신뢰도는 타당도의 일부임을) 인정한다(예를 들어 internal structure의 근거이다).16

Although we assessed reliability evidence independent of validity evidence, we recognize that score reliability has implications for validity (e.g., as evidence of internal structure).16


설계 및 시각적 레이아웃에서 널리 인정되는 모범 사례 또는 설계 원칙 위반.

    • (1) 동의 응답지, 

    • (2) 다중 질문 항목, 

    • (3) 라벨이 없는 응답지, 

    • (4) 불균일한 간격의 응답지

    • (5) substantive한 응답지와 구분이 어렵게 제시된 nonsubstantive 응답지

a violation of widely accepted best practices, or design tenets, in the design and visual layout of Likert-type rating items: (1) agreement response items, (2) multibarreled items, (3) unlabeled response options, (4) unevenly spaced response options, and (5) nonsubstantive response options formatted together with substantive response options.


설계 함정으로 표시된 5가지 조사 설계 원칙의 설명과 예는 표 1과 보충 디지털 부록 1( http://links.lww.com/ACADMED/A499)에 수록되어 있다.

Descriptions and examples of the five survey design tenets, framed as design pitfalls, are provided in Table 1 and Supplemental Digital Appendix 1 (at http://links.lww.com/ACADMED/A499).



통계 분석

Statistical analysis


결과

Results


2013년 3개 학술지에 게재된 732편의 논문 중 376편이 독창적인 연구 논문이 아니었으며, 171편의 원조사 논문은 설문조사를 사용하지 않았다(그림 1).

Of 732 articles published in the three journals in 2013, 376 were not original research articles, and 171 original research articles did not use a survey (Figure 1).



타당도와 신뢰도 근거

Validity and reliability evidence


표 2는 저자가 보고한 타당성 및 신뢰성 증거를 요약한 것이다.

Table 2 summarizes the validity and reliability evidence reported by authors.



문항 퀄리티 평가

Item-quality assessment


문항의 품질 평가 결과는 표 3에 제시되어 있으며, 아래에 요약되어 있다.

Results of the item-quality assessment are presented in Table 3 and summarized below:


원칙별로 각각을 위반한 항목의 비율에 대한 분포는 그림 2에 제시되어 있다.

The distributions of the percentage of items that violated a given tenet, per survey instrument, are provided in Figure 2.





고찰

Discussion


결함이 있는 문항이 실제로 응답자에게 부정적인 영향을 미쳤는지 또는 어떻게 영향을 미쳤는지는 알 수 없지만, 우리는 수십 년간의 경험적 연구에 근거하여, 이러한 문항이 응답자에 의해 잘못 해석되거나, 부정확한 데이터로 이어질 수 있다고 추측한다.

Although we do not know whether or how such flawed items may have negatively affected respondents, we speculate, on the basis of decades of empirical research,8,10,21,22 that these items could have been misinterpreted by respondents or otherwise led to inaccurate data.


신뢰도나 타당도에 대한 공격을 방어하는 방법 중 하나는 연구의 특정 맥락에 근거하여 조사한 점수에 대한 신뢰도 및 타당도 증거를 수집하고 보고하는 것이다.16 불행하게도, 새로 개발된 도구이든 기존에 출판된 도구를 변형하여 사용하였든 대다수의 연구자들은 그러한 증거를 보고하지 않았다. 더욱이, 증거를 보고한 저자들 조차, 대체로 그 방법이 부적절했다. 예를 들어, 가장 흔히 기술된 타당도 근거의 출처는 전문가에 의한 내용 검토였으며, 보통 약 6개 연구 중 1개에서만 보고되었다. 그러나 타당도 근거가 보고되었다 하더라도 저자는 전문가의 자격이나 검토 과정의 구성요소를 충분히 기술하지 않았기 때문에, 검토 과정의 세부사항을 알 수 없었다. 또한 가장 일반적으로 보고된 신뢰성 근거의 출처는 내부 일관성 계수(Cronbach alpha)이다. Cronbach's alpha에 대해 잘 알려진 한계점이나 이를 부적절하게 사용하는 여러 관행을 고려할 때, 신뢰도를 보고하기 위해 연구자들이 alpha만을 거의 독점적으로 사용하는 것은 당혹스럽다.

One way to guard against unreliable scores and flawed validity arguments is to collect and report validity and reliability evidence for survey scores based on a study’s specific context.16 Unfortunately, our results indicate that the majority of investigators failed to report such evidence, whether their survey tool was newly developed or appropriated or adapted from a previously published instrument. Moreover, those authors who did report evidence typically did so inadequately. For example, the most common source of validity evidence described was content reviews by experts, reported for approximately one in six surveys. However, even in those cases, the reporting lacked detail, with authors not fully describing the qualifications of their experts or the components of the review process. In addition, the most commonly reported source of reliability evidence was an internal consistency coefficient (Cronbach alpha). Considering the well- known limitations24,25 and inappropriate uses26,27 of this metric, its almost exclusive use by investigators to report reliability is disconcerting.


Wetzel13이 HPE의 조사 개발 기사에 대한 리뷰에서 지적한 바와 같이, "이용가능한 증거들을 주의 깊게 고려하지 않은 상태에서는, 연구자든 교육자든 문헌에 발표된 도구를 채택하고 적용하는 데 신중해야 한다."

As Wetzel13 noted in her review of survey development articles in HPE, “researchers and educators should be cautious in adopting and applying instruments from the literature without carefully considering the available supporting evidence.”


우리는 연구자들이 직접 저자들에게 연락하여 타당성 및 신뢰성 증거를 문의하거나, 또는 조사 시행 전에 그들 자신의 파일럿 데이터를 수집할 것을 권고한다.

we recommend that researchers attempt to contact the authors directly to inquire about validity and reliability evidence or, alternatively, collect their own pilot data prior to survey implementation.


문항 퀄리티

Item-quality tenets


예를 들어, 자기보고식 설문 도구를 사용한 연구의 3분의 2 이상이 설문 문항을 제공하지 않아 코딩할 수 없었다. 조사 항목이 나열된 36개 연구에서도 전체 형식 조사의 전체 사본을 포함하면 절반에 불과했다. 이러한 보고 세부사항의 부족이 잘 드러나는 부분은 연구중 1/5에서는 설문조사의 총 항목 수조차 나타내지 않은 것으로 확인되었다.

For instance, more than two-thirds of the research articles that used self- administered survey instruments did not provide their survey items and thus could not be coded. Even for the 36 studies with survey items listed, only half included a complete copy of the fully formatted survey. This lack of reporting detail is epitomized by the finding that approximately one in five surveys coded did not even indicate the total number of items on the survey.


본 연구의 기본적인 가정은 설계가 미흡한 조사 항목이 응답자가 설문 질문을 해석하고 응답하는 방식에 부정적인 영향을 미칠 수 있으며, 종종 그렇게 한다는 것이다.8,10,22

A fundamental assumption in the present study is that poorly designed survey items can, and often do, negatively affect how respondents interpret and respond to survey questions.8,10,22


이 가정을 명시적으로 테스트하지는 않았지만, 이 원칙은 조사 설계 분야에서 무수한 연구에 기초한다.1 즉, 질문 표현, 형식, 맥락(예: 질문 순서)과 같은 설문조사 도구의 특징들이 응답자가 어떻게 설문을 해석하고 응답할지를 결정한다는 것이다. 뿐만 아니라, 연구자가 의도한 방식과 응답자가 해석한 방식이 일치할지 여부에도 영향을 미친다.

Although we did not explicitly test this assumption, it is based on a central principle that has emerged from the large corpus of research in the field of survey design: “The questions shape the answers.”1 In other words, features of the survey instrument, such as question wording, format, and context (e.g., question order), chiefly determine how respondents interpret and respond to survey questions, as well as whether their interpretations match what the researcher had in mind.1,10,22


본 연구에서는 Likert형 등급 항목의 설계 및 시각적 배치와 관련된 5개의 함정에 대해 코딩하였다. 이러한 함정은 모두 측정 오류를 증가시키거나 다른 방법으로 편향된 답변으로 유도하기 위해 경험적으로 보여졌다. 한 가지 예는 "동의수준"을 물어보는 응답지가 있다.

In the present study, we coded for five pitfalls related to the design and visual layout of Likert-type rating items; all of these pitfalls have been shown empirically to increase measurement error or otherwiselead to biased answers.1,9,21,22 For example, agreement response options.


"동의 수준"을 물어보는 것은 설문도구를 개발 할 때 작성과 관리가 쉽기 때문에 연구자에게 매력적이지만, "묵인acquiescence으로 인한 편향이 생기기 쉽다. 문항에서 무슨 내용을 물어보든, 그냥 동의하는 경향이 생긴다".22 측정 오류를 최소화하기 위해, 대부분의 전문가들은 측정 대상의 underlying construct를 강조하는 설문문항과 선택지를 강조한다.8,10,22 추가적으로, 최근의 경험적 증거에 따르면, "연구자들은 어떤 상황에서도 동의수준을 묻는 설문 질문을 하지 말 것"을 권고하는 설문연구의 대가 크로스닉의 권고를 지지한다.

Although appealing to researchers because they are easy to write and administer, survey design experts have long disparaged such items because “they are susceptible to bias due to acquiescence—the tendency to endorse any assertion made in a question, regardless of its content.”22 To  minimize measurement error, most experts instead favor survey questions and corresponding response options that emphasize the underlying construct being measured.8,10,22 Additionally, recent empirical evidence9,21 supports the long- standing recommendation of Krosnick,22 a leading survey design scholar, who advises researchers to never, under any circumstances, ask a survey question using agreement response options. 



이중 문항

the use of multibarreled items,


그러나, 모든 이중 조사 항목이 똑같이 문제가 되는 것은 아니다. 예를 들어, "당신의 주치의가 예의바르고 예의바르게 행동했는가?"라는 설문 항목은 이중으로 표시되지만, "polite"와 "courteous"라는 단어는 동의어다. 따라서 질문이 필요 이상으로 단어적이지만, 응답자에게 어려움을 주지 않을 수 있다.

However, not all multi-barreled survey items are equally problematic. For example, the survey item “To what degree was your physician polite and courteous?” is double-barreled, yet the words “polite” and “courteous” are synonyms. So, while the question is wordier than necessary, it may not cause difficulty for respondents.


해결책은 간단하다. 두 가지 질문으로 나누어 풀어놓거나, 가장 중요한 요소에 대해 한 가지 질문만 할 수 있다. 그러나 이 연구에서 관찰한 바와 같이, 이 문제는 종종 수정되지 않는다.

Although the solution is simple—untangle the original item by asking two questions or only ask one question about the most important component—such problems often go uncorrected, as we observed in this study.


레이블이 지정되지 않은 응답 옵션 또는 불균일한 간격의 응답 옵션 사용 또는 실질적인 응답 옵션과 함께 비실제적인 응답 옵션 배치

using unlabeled response options or unevenly spaced response options, or placing nonsubstantive response options together with substantive response options,


따라서 설문이라는 방법을 사용할 연구자는 문항 작성방법과 모범 사례에 익숙해져야 한다.5,6 이 권고사항은 일반적으로 [측정 오차가 결과를 왜곡할 가능성이 더 큰] 상대적으로 작은 표본에서 데이터를 수집하는 HPE 맥락에서 훨씬 더 중요하다.29 .7

Therefore, we encourage HPE investigators who intend to use surveys for research to become familiar with item- writing and pretesting best practices.5,6 This recommendation is even more important in HPE contexts where we typically collect data from relatively small samples,29 which gives measurement error greater potential to skew results.7



한계와 미래 방향

Limitations and future directions 


우리 연구의 중요한 한계쩜은, "명확하지 않거나 잘못 포맷된 조사 항목이 응답자의 응답 프로세스에 부정적인 영향을 미쳐 측정 오류로 이어진다"는 우리의 기본 가정과 관련이 있다.1,6,8–10,22 그러나 본 연구에서는 항목 품질과 점수 신뢰성 및 유효성 사이의 관계를 명시적으로 평가하지 않았다.

A second important limitation relates to our underlying assumption that unclear and/or poorly formatted survey items negatively affect respondents’ response processes, thus leading to measurement error.1,6,8–10,22 However, in the present study, we did not explicitly assess the relationship between item quality and score reliability and validity.


권고와 결론

Recommendations and conclusions


첫째, 연구실행시 연구자들은 기존 도구를 사용하는 경우 뿐만 아니라 새롭게 개발하고 사전 시험을 함으로써 체계적으로 수행할 수 있도록, 그리고 근거에 기반하여 수행할 수 있도록 더 많은 노력을 기울여야 한다.

First, from a research conduct perspective, investigators should do more to ensure that they are systematic and evidence based in their approach to survey design and pretesting, as well as in their adaptation of existing tools.


다음으로, 연구자들은 사용한 설문조사 도구에 대한 타당성 및 신뢰성 증거를 더 잘 보고해야 한다.

Next, researchers must do a better job reporting validity and reliability evidence for the survey tools they employ, whether those instruments are de novo or adopted from a previous study.


우리는 기존에 발표된 설문조사 도구를 차용한 연구자들은 자신의 연구 맥락과 관련된 추가적인 타당성 및 신뢰성 증거를 수집하고 보고할 것을 권고한다. 우리는 저자들이 그러한 증거를 보고하지 않는 연구는 불완전한 조사일 뿐이며 조사 결과의 진실성에 대해 회의적으로 읽혀져야 한다고 주장할 것이다.

We recommend, as others6,13,30 have, that investigators adopting previously published survey tools collect and report additional validity and reliability evidence relevant to their own study context. We would argue that studies whose authors do not report such evidence are incomplete investigations and should be read with skepticism with regard to the veracity of the findings.


출판의 관점에서, HPE 저널 편집자들에게는, 저자들이 사용한 설문도구를 본문이나 온라인 부록을 사용하여, 설문도구의 전체 버전을 제공하도록 요구할 것을 권고한다.

From a publishing perspective, we recommend that HPE journal editors require authors to provide complete, fully formatted versions of their survey instruments in their published papers, either within the main body of the text or in an online appendix.


마지막으로, 조사 연구를 위한 보고 가이드라인이 시급하다고 본다. Bennett과 동료 31은 보고지침에 대한 체계적인 검토에서 지적했듯이 "조사 연구의 최적 보고에 관한 지침은 제한적이고 합의는 없다"고 말했다.

Finally, we believe that reporting guidelines for survey research are urgently needed. As Bennett and colleagues31 noted in their systematic review of reporting guidance, “there is limited guidance and no consensus regarding the optimal reporting of survey research.”





22 Krosnick JA. Survey research. Annu Rev Psychol. 1999;50:537–567.


 13  Wetzel AP. Factor analysis methods and validity evidence: A review of instrument development across the medical education continuum. Acad Med. 2012;87:1060–1069.


25 Tavakol M, Dennick R. Making sense of Cronbach’s alpha. Int J Med Educ. 2011;2:53–55.


29 Picho K, Artino AR Jr. 7 deadly sins in educational research. J Grad Med Educ. 2016;8:483–487.


6 Gehlbach H, Brinkworth ME. Measure twice, cut down error: A process for enhancing the validity of survey scales. Rev Gen Psychol. 2011;15:380–387.










 2018 Mar;93(3):456-463. doi: 10.1097/ACM.0000000000002002.

"The Questions Shape the Answers": Assessing the Quality of Published Survey Instruments in Health Professions Education Research.

Author information

1
A.R. Artino Jr is professor of medicine and deputy director of graduate programs in health professions education, Department of Medicine, F. Edward Hébert School of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland; ORCID: http://orcid.org/0000-0003-2661-7853. A.W. Phillips is adjunct clinical professor of emergency medicine, Department of Emergency Medicine, University of North Carolina, Chapel Hill, North Carolina. A. Utrankar is a fourth-year medical student, Vanderbilt University School of Medicine, Nashville, Tennessee. A.Q. Ta is a second-year medical student, University of Illinois College of Medicine, Chicago, Illinois. S.J. Durning is professor of medicine and pathology and director of graduate programs in health professions education, Department of Medicine, F. Edward Hébert School of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland.

Abstract

PURPOSE:

Surveys are widely used in health professions education (HPE) research, yet little is known about the quality of the instrumentsemployed. Poorly designed survey tools containing unclear or poorly formatted items can be difficult for respondents to interpret and answer, yielding low-quality data. This study assessed the quality of published survey instruments in HPE.

METHOD:

In 2017, the authors performed an analysis of HPE research articles published in three high-impact journals in 2013. They included articles that employed at least one self-administered survey. They designed a coding rubric addressing five violations of established best practices for survey item design and used it to collect descriptive data on the validity and reliability evidence reported and to assess the quality of available survey items.

RESULTS:

Thirty-six articles met inclusion criteria and included the instrument for coding, with one article using 2 surveys, yielding 37 unique surveys. Authors reported validity and reliability evidence for 13 (35.1%) and 8 (21.6%) surveys, respectively. Results of the item-qualityassessment revealed that a substantial proportion of published survey instruments violated established best practices in the design and visual layout of Likert-type rating items. Overall, 35 (94.6%) of the 37 survey instruments analyzed contained at least one violation of best practices.

CONCLUSIONS:

The majority of articles failed to report validity and reliability evidence, and a substantial proportion of the survey instrumentsviolated established best practices in survey design. The authors suggest areas of future inquiry and provide several improvement recommendations for HPE researchers, reviewers, and journal editors.

PMID:
 
29095172
 
DOI:
 
10.1097/ACM.0000000000002002


효과크기 - 큰, 중간의, 작은 (Perspect Med Educ, 2016)

Effect size – large, medium, and small

Jimmie Leppink1 · Patricia O’Sullivan2 · KalWinston3



사례

Example study


평균 시험 성적이 그룹 A에서는 50점, 그룹 B에서는 55점이라고 가정하자. 즉 평균의 차이는 5점(55–50)이다. 시험 점수의 표준 편차는 두 그룹에서 모두 약 10점이라고 가정하자. 표준 편차로 표현되는 그룹 차이는 0.5: 평균 차이/표준 편차 = 5/10이다. 이는 '중간' 크기 차이를 나타낸다. 관례상 0.2, 0.5 및 0.8 표준 편차의 차이는 각각 '소형', '중간', '대형' 효과 크기로 간주된다[1].

Suppose, the average exam performance is 50 points in group A and 55 points in group B. In other words, the difference between means is 5 points (55–50). Suppose, the standard deviation of exam scores is about 10 points in both groups. Expressed in standard deviations, the group difference is 0.5: mean difference/standard deviation = 5/10. This indicates a ‘medium’ size difference: by convention, differences of 0.2, 0.5, and 0.8 standard deviations are considered ‘small’, ‘medium’, and ‘large’ effect sizes respectively [1].


척도 차이

Different scales


효과크기의 개념을 이해하기 위해서는 다른 규모의 문제를 이해할 필요가 있다. 교육연구에서, 우리는 종종 다른 경험적 연구에서 질문의 수가 다른 시험과 같이 설문지와 평가에서 서로 다른 척도로 얻은 차이에 대해 염려한다. 18 °F의 차이가 10 °C의 차이에 해당하는 온도 등의 변수와 대조적으로, 앞에서 언급한 0 ~ 80의 척도에서 시험 점수의 차이가 반드시 0 ~ 160 사이의 척도에서 시험 점수의 10 포인트와 일치하는 것은 아니다.

In order to understand the idea of effect sizes, we need to understand the problem of different scales. In educational research, we are often concerned with differences obtained on different scales in questionnaires and assessments, such as exams with different numbers of questions in different empirical studies. In contrast to a variable such as temperature, where a difference of 18 °F corresponds with a difference of 10 °C, the aforementioned 5 points of difference in exam score on a scale from 0 to 80 does not necessarily correspond with 10 points of difference in exam score on a scale that ranges from 0 to 160.


효과크기란?

What are effect sizes?


연구자는 표준 편차와 같은 통계 단위로 표현되는 차이, 즉 효과 크기를 계산할 수 있다[1].

researchers can calculate so-called effect sizes, that is: differences of interest expressed in statistical units such as standard deviations [1].


효과크기는, 다른 통계치처럼, 연구마다 변동이 있다.

Effect sizes, like other statistics, fluctuate from study to study


연구마다 참여자는 모두 다르다. 따라서 모든 통계치와 마찬가지로 평균과 표준 편차는 연구마다 변동한다[2–4]. 따라서 시험 점수의 차이를 0에서 80까지의 척도로 보고하든(표준편차가 10인 점수) 표준편차(0.5)로 보고하든, 연구마다의 변동으로 인한 추정치 주변의 불확실성을 인지해야 한다. 따라서 연구 결과를 모집단에 일반화하고자 할 때마다 표본으로 추출한 참가자에 대하여 효과크기에 대한 신뢰 구간을 보고해야 한다. 


Different empirical studies include different participants. Therefore, means and standard deviations – like all statistics – fluctuate from study to study [2–4]. Thus, whether we report a difference in exam score on a scale from 0 to 80 (5 points with a standard deviation of 10) or in standard deviations (0.5), we should be aware of the uncertainty around these estimates due to these fluctuations, and report confidence intervals around them whenever we intend to generalize study findings to the population we sampled our participants from [4].


효과크기의 신뢰구간

Confidence intervals around effect sizes


평균 간의 차이와 같은 통계치가 연구마다 변동하는 정도는 표준 오차[2]로 표현된다. 이 표준 오차는 통계 검증과 신뢰 구간에서 중요한 역할을 한다. 평균 간의 차이와 같은 통계 주변의 95% 신뢰 구간은 통계량의 어느 한 쪽에 표준 오차(즉, margin of error)의 약 2배까지 확장된다[2]. 예를 들어 오차범위가 7인 경우 평균 간 차이에 대한 95% 신뢰 구간이 –2에서 12까지 확장된다(예: 5+/-7). 평균 5점의 차이가 표준 편차 0.5의 차이임을 감안할 때, 표준 편차(즉, 효과 크기)에 표현된 차이에 대한 95% 신뢰 구간은 –0.2에서 1.2(각각 -2와 12를 10으로 나눈 값)까지 확장된다.

The extent to which a statistic, such as a difference between means, fluctuates from study to study is expressed by the standard error [2]. This standard error plays an important role in statistical tests and in confidence intervals. A 95 % confidence interval around a statistic, such as a difference between means, extends to about twice the standard error (i. e. margin of error) to either side of the statistic [2]. If, for instance, the margin of error is 7, the 95 % confidence interval for the difference between means extends from –2 to 12 (i. e. 5+/–7). Given that a difference between means of 5 points is a difference of 0.5 standard deviations, the 95 % confidence interval for the difference expressed in standard deviations (i. e. effect size) extends from –0.2 to 1.2 (i. e. dividing –2 and 12 by 10, respectively).


0을 포함하는 신뢰구간

Confidence intervals that include the value ‘0’


다시 말해서, 차이를 [효과 크기]로 표시한다고 해서 작은 표본의 문제가 해결되는 것은 아니다[2].

In other words, labelling differences in terms of effect size does not resolve the problem of small samples [2].


효과크기에 대한 유의미한 해석 

Meaningful interpretation of an effect size


예를 들어, 두 그룹의 평균이 50과 51이고 각 그룹에서 표준 편차가 약 2인 경우, 효과 크기가 0.5 표준 편차일 것이다. 그러나 50과 51의 차이는 실질적으로는 또는 향후 연구에 있어서는 유용한 영향을 미치지 않을 수 있다. 따라서 특정 연구 질문에서 효과 크기(예: 표준 편차의 절반)가 필요한지, 실제 차이(예: 표준 편차가 10인 5점)가 필요한지 신중하게 고려할 것을 권고한다. [실제 차이가 실용적 목적에 비해 너무 작다면] 효과 크기가 큰 의미가 없다.

For instance, had the means of the two groups been 50 and 51, with a standard deviation of about 2 in each group, that would also have resulted in an effect size of 0.5 standard deviations. However, a difference between 50 and 51 may or may not have useful implications for educational practice or further research. Thus, we recommend to carefully consider if a particular research question calls for an effect size (e. g. half a standard deviation) and, if so, to report the actual difference (e. g. 5 points with a standard deviation of 10) as well. Effect sizes do not mean a lot when the actual difference is too small for practical purposes.


결론

To conclude


실제 차이로부터 계산한 효과 크기는 마찬가지로 연구마다 변동을 일으키므로, 연구 결과를 더 넓은 모집단으로 일반화할 때 신뢰 구간으로 보고해야 한다.

Calculated from actual differences, effect sizes are subject to the same study-to-study fluctuation, and should thus be reported with confidence intervals when generalizing study findings to a broader population.


Note


6. Wilson DB. Practical meta-analysis effect size calculator. http://www.campbellcollaboration.org/resources/effect_size_input.php. Accessed 16 August 2016.





 2016 Dec;5(6):347-349.

Effect size - largemedium, and small.

Author information

1
University Maastricht, Maastricht, The Netherlands. jimmie.leppink@maastrichtuniversity.nl.
2
University of California, San Francisco, USA.
3
The Commonwealth Medical College, Pennsylvania, USA.

Abstract

The overall purpose of the 'Statistical Points and Pitfalls' series is to help readers and researchers alike increase awareness of how to use statistics and why/how we fall into inappropriate choices or interpretations. We hope to help readers understand common misconceptions and give clear guidance on how to avoid common pitfalls by offering simple tips to improve your reporting of quantitative research findings. Each entry discusses a commonly encountered inappropriate practice and alternatives from a pragmatic perspective with minimal mathematics involved. We encourage readers to share comments on or suggestions for this section on Twitter, using the hashtag: #mededstats.

PMID:
 
27752936
 
PMCID:
 
PMC5122517
 
DOI:
 
10.1007/s40037-016-0308-y


1988년부터 2010년까지 의학교육연구의 핵심 주제, 기관, 사람 (Adv in Health Sci Educ, 2012)

The themes, institutions, and people of medical education research 1988–2010: content analysis of abstracts from six journals

Jerome I. Rotgans




최초의 의학교육학과는 거의 반세기 전에 미국에서 설립되었다. 의학 교육은 연구 분야로, 체계적인 연구를 할 자격이 있는 분야로 부상했다. 학과, 교수직, 저널, 컨퍼런스의 수를 성숙의 지표로 삼는다면, 분명 이 분야는 번창하고 있다. 예를 들어, 80년대 초에 의학교육학을 다루는 저널은 두개 뿐이었다. 이제 보건전문직교육을 다루는 16개 이상의 저널이 있다. 이 분야의 검소성의 또 다른 예: 의료 교육 분야의 최고 6개 학술지는 1988년에서 2010년 사이에 10,000개 이상의 연구 논문을 출판했으며, 이는 교육 심리학을 포함한 광범위한 교육 연구 분야에서 최고 6개 저널이 출판한 약 4,000개의 논문보다 많은 수이다.

Almost half a century ago, the first departments of medical education were established in the United States. Medical education emerged as a field of research and as a domain deserving systematic study. If the numbers of departments, professorial positions, journals, or conferences are to be used as indicators of its maturity, the field is thriving. For instance, in the early eighties the field was covered by two journals. Now there are no less than sixteen journals dealing with health professions education. Another example of the frugality of the field: the best six journals in medical education have contributed more than 10,000 research articles to the literature between 1988 and 2010, the best six in the broader domain of educational research, including educational psychology, about 4,000.


하지만 의학 교육의 질은 어떤가? 최근에, 많은 저자들이 우리 분야가 선호하는 연구 방법론의 관점에서 의학 교육 연구의 상태를 비판하였다(Albanese 2009; Davis and Ponnamperuma 2006; Eva 2009). 이들은 우리가 지금보다 더 엄격해야 한다고 주장한다. 자기보고식 도구를 덜 사용하고 실제 성능에 대한 척도를 더 많이 사용해야 하며, 관찰보다는 실험을 해야 한다.

But what about the quality of the science of medical education? Recently, a number of authors have criticized the state of the art in medical education research from the perspective of the research methodologies our field preferably employs (Albanese 2009; Davis and Ponnamperuma 2006; Eva 2009). The suggestion is that we should be more rigorous than we are. Use less self-report instruments and more measures of actual performance. Experiment rather than observe.


의학 교육의 중심 주제를 연구해야 할 많은 이유가 있다. 

There are a number of reasons to study the central themes of medical education. 


  • 첫번째는 순전히 호기심이다. 무엇이 그 오랜 세월 동안 그 분야를 몰두하게 했는지 보는 것은 그야말로 흥미롭다. 가장 인기 있는 주제, 가장 시급한 이슈는 무엇이었습니까?어떤 기관, 어느 과학자가 이 주제를 가장 자주 다루었는가? 과학은 익명의 작업이 아니다. 그것은 연구 노력에 기여하는 데 다소 성공할 수 있는 사람들과 연구 부서들을 포함한다. 

  • 두 번째 이유는 연구 주제가 정말로 이 분야의 요구에 근거하여 우선순위를 나타내는지 여부를 자문할 수 있기 때문이다. 우리는 그 분야의 수요의 관점에서 '올바른 일'에 관여해 왔는가? 

  • 셋째, 그러한 분석을 통해 미래에 대한 연구 우선순위의 형성이 가능할까? 테마가 누락되었거나 충분히 다루어지지 않았는가? 

  • 넷째, 역사적 관점에서 보면, 지난 20년 동안 어떤 테마가 등장했고 어떤 테마가 사라졌는가?어떤 주제들이 일관된 관심을 보였는가?새로운 테마가 있는가?어떤 연구 영역은 효과적으로 '죽은'가 되는가?이 말은 들판의 상태에 대해 뭐라고 하는가? 

  • 그리고 다섯째, 대륙마다 발행되는 저널들은 다른 이슈들을 강조하는가? 뚜렷한 '유럽'의학교육이나 '북미' 의학 교육이 따로 있는가?

  • The first is sheer curiosity. It is simply interesting to see what has kept the field preoccupied all those years. What were the most popular topics, the most urgent issues?Which institutions,which scientists addressed these themes most often? Science is not an anonymous affair. It involves people and research departments that can be more or less successful in contributing to the research effort. 

  • The second reason is that we can ask ourselves whether these themes really represented priorities based on the informational needs of the domain. Have we been involved in the ‘‘right stuff’’ from the perspective of the wants of the field? 

  • Third, would such analysis allow for the formulation of research priorities for the future? Are themes missing or insufficiently covered? 

  • Fourth, taking a historical perspective, which themes have emerged throughout the last 20 years and which have disappeared?Have some themes shown consistent interest?Are there emerging themes?Are some areas of research effectively ‘‘dead’’?What does this say about the state of the field? 

  • And fifth, do journals published on different continents emphasize different issues? Is there a distinctively ‘‘European’’ or a ‘‘North-American’’ medical education?



방법

Method


자료

Materials


(1) Academic Medicine, 

(2) Advances in Health Sciences Education, 

(3) Medical Education, 

(4) Medical Teacher, 

(5) Advances in Physiology Education, and 

(6) Teaching and Learning in Medicine.


절차

Procedure


유럽에서는 의학 교사 및 의학 교육(데이터에 반영되는 총 추상 수: 4,416개) 저널을 선택한 반면, 북미에서는 학술 의학(데이터에 반영되는 총 추상 수: 3,653개)을 선택했다.

For Europe we selected the journals Medical Teacher and Medical Education (total number of abstracts reflected in our data: 4,416), whereas for North America we chose Academic Medicine (total number of abstracts reflected in our data: 3,653).


분석

Analysis


SPSS 텍스트 분석에서 설문조사를 위해 적용한 언어 텍스트 분석 기술을 사용하여 10,168개의 제목과 초록을 분석하였다.TM 2.1 소프트웨어(SPSS 2006).

The 10,168 titles and abstracts were analyzed using linguistic text analytical technologies applied by the SPSS Text Analysis for SurveysTM 2.1 software (SPSS 2006).


예를 들어, '학생 평가' '평가에 접근' '평가 방법' '서면 평가'라는 용어는 '평가'라는 용어로 분류될 것이다. 이와 같이 '평가'는 하나의 범주를 구성하는데, 이 범주는 "평가"라는 근본용어와 그 이전의 모든 단어 조합, 그 이후의 모든 단어 조합을 포함한다.

For instance, the terms ‘‘student assessment’’, ‘‘approach to assessment’’, ‘‘method of assessment’’ ‘‘written assessment’’ would be grouped under the root term ‘‘assessment’’. As such, ‘‘assessment’’ forms a category, which includes the root term ‘‘assessment’’ and all word combinations before it, after it, or both.


예를 들어, no not good better 같은 한정자가 제거되었다. 또한 유사한 개념들을 보다 일반적인 초좌표 범주 이름으로 수동으로 분류하였다. 예를 들어, '시험', '다중 선택 질문', '포트폴리오 사용', '학생 평가 방법'의 개념들은 '평가 방법'이라는 범주 이름으로 분류되었다.

For instance, qualifiers like ‘‘no’’, ‘‘not’’, ‘‘good’’ or ‘‘better’’ were removed. In addition, similar concepts were manually grouped under a more generic super-ordinate category name. For instance, the concepts of ‘‘examination’’, ‘‘multiple-choice questions’’, ‘‘use of portfolio’’, and ‘‘method of student assessment’’ were grouped under the category name ‘‘methods of assessment’’.


결과

Results


표 1의 처음 4개 항은 내용 분석 결과를 요약한다.

The first four columns of Table 1 summarize the results of the content analysis.





그림 1은 주제 중 하나인 임상 사무국의 주제 중 하나가 시간이 지남에 따라 발생 빈도가 어떻게 변했는지와 다른 저널에서 어떻게 다르게 표현되었는지를 보여 주는 그림이다.

Figure 1 is an illustration of how one of the themes, that of the clinical clerkships, changed in frequency of occurrence over time and how it was differently represented in the different journals.



표 2는 6개 초점 저널에 나타낸 바와 같이 1988년에서 2010년 사이에 의학 교육에서 가장 많은 수의 출판물을 생산하는 10개 대학의 이름을 나열한 것이다.

Table 2 displays a listing of the names of the ten universities producing the highest number of publications in medical education between 1988 and 2010 as represented in the six focal journals.




표 3은 의학 교육 분야에 가장 많은 논문을 기여한 10명의 연구자들의 이름을 담고 있다.

Table 3 contains the names of the ten researchers who have contributed the largest number of articles to the field of medical education.





표 4는 현장에서 가장 인용된 상위 10개 논문을 보여준다.

Table 4 shows the top-ten of most cited articles in the field.





표 5는 문헌에서 가장 많이 인용된 연구자 10명의 목록을 포함하고 있다.

Table 5 contains a listing of the ten researchers whose work was cited most in the literature.




고찰

Discussion


첫째, 의학교육 연구의 주요 주제 29개가 확인되었는데, 이 중 학생 평가, 임상 및 커뮤니케이션 기술, 임상실습, 문제 기반 학습(PBL)이 가장 두드러졌다. 특히 학생들의 평가는 최우선 관심사로 보인다. 기사들 중 26%는 이 문제를 이런저런 방법으로 다루고 있다고 평가했다. 채택된 조치의 신뢰성과 타당성은 반복되는 우려사항이다. 연구 대상으로서의 필기시험과 구술시험이 큰 관심을 끌지 못한다는 점은 흥미롭다. 이러한 것들은 지난 20년 동안 광범위하게 연구되었고 더 이상 문제가 없다고 여겨지지 않았을 가능성이 있다. 60년대와 70년대에 의료 교육에서 핵심 이슈인 MCQ에도 동일한 사항이 적용될 수 있다. 흥미롭게도, 자기 평가, 성과에 대한 전문가의 판단, 포트폴리오와 같은 새로운 방법들이 주목할 만한 접근법으로 등장하고 있다. 더 넓은 평가 범주 내에서 대부분의 논문은 performance assessment에 많이 할애되고 있는데, 여기에는 임상 기술 평가,더 넓게는 임상 능력 평가, OSCE 등이 있다.

First, twenty-nine major themes of medical education research were identified, of which student assessment, clinical and communication skills, clinical clerkships, and problem-based learning (PBL) were the most prominent. Assessment of students in particular seems to be an overriding concern. Twenty-six percent of the articles counted deals with this issue in one way or another. Reliability and validity of the measures employed are recurrent concerns. It is interesting to note that written and oral examinations as object of study do not attract much attention. It is possible that these have been studied extensively in bygone eras and have not any longer been considered problematic in the last 20 years. The same may apply to the use multiple-choice tests, in the sixties and seventies a core issue in medical education. Interestingly, new methods such as self-assessment, expert judgment of performance, and portfolio now emerge as approaches deserving notice. Within the broader assessment category most articles have been devoted to performance assessment, as witnessed by the frequencies by which concepts such as clinical skills assessment and, broader, clinical competence assessment, and objective structured clinical examinations occur in the literature.


교수방법에 관해서는, 의학교육의 임상 단계, 즉 임상 및 커뮤니케이션 기술의 교육(17%)과 임상실습(13%)에 다시 초점을 맞추고 있다. 3위는 PBL(7%)이다. 이것을 강의, 컴퓨터 지원 강의에 대한 상대적으로 강조가 부족한 것과 비교해보라. 이 주제들의 시간은 이제 지난 것 같다.

With regard to teaching methods, focus is again on the clinical phase of medical education: the teaching of clinical and communication skills (17%) and the clinical clerkships (13%). A good third is here PBL (7%). Compare this with the relative lack of emphasis on lectures and computer-assisted instruction. These topics seem to have had their time.


둘째로, 미국의과대학들이 의학 교육 연구의 대부분을 생산한다. 이것은 미국의 의과대학의 수가 상당히 많고 의학교육 연구가 먼저 이 나라에서 개발되었기 때문에 예상된 것이었다. 게다가, 미국의 의과대학들은 연구집중적인 경향이 있고 이러한 태도는 의학교육학교실로도 흘러가는 경향이 있다. 그러므로, 두 개의 캐나다 대학과 두 개의 유럽 대학이 가장 다재다능한 기관의 상위 10위 안에 든다는 것은 놀라운 일이다. 네덜란드의 마스트리히트 대학의 의학 교육학과는 사실 가장 생산적이다. 이러한 상황은 표 3에 요약된 조사 결과에 의해 강화된다. 여기 11명의 연구원 중 8명이 유럽인이나 캐나다인이다. 분명히, 의료 교육 연구는 다른 많은 의학 분야보다 더 국제적인 노력이다.

Second, US schools produce most of the research in medical education. This was to be expected because the number of medical schools in the US is sizable and medical education research developed in this country first. In addition, US medical schools tend to be research intensive and this attitude tends to spill over to the departments of medical education. It is, therefore, surprising to note that two Canadian and two European universities appear in the top-ten of most versatile institutions. The department of medical education of Maastricht University, The Netherlands, is in fact the most productive of all. This state of affairs is reinforced by the findings summarized in Table 3. Here eight out of eleven researchers are either European or Canadian. Clearly, medical education research is a more international endeavor than many other medical domains.


셋째로, PBL에 대한 관심은 평가에 대한 것보다 상당히 작아 보인다. 그러나, PBL을 다룬 핵심 논문은 표 4에 나타난 바와 같이 가장 많이 인용되는 것들 중 하나이다. 가장 인용된 기사 중 10개 중 4개는 PBL에 관한 것이고 20개 중 3개가 더 있다. 아마도 이러한 의학적 접근방식이 둘러싸고 있는 열정과 논쟁의 양에 대한 증인이 될 것이다. 가장 많이 인용된 논문은 모두 연구 논문이라기보다는 문헌에 대한 평론이다. 가장 많이 인용된 25개 논문 중 3개만이 original research이라는 점에서, 의학교육학은 review와 같은 문헌에 상당히 크게 의존하고 있는 것으로 보인다. 가장 많이 인용된 논문은 OSCE 형태의 시험에서 체크리스트와 글로벌평정 사이의 심리측정 특성 비교이다 (Regehr et al. 1998).

Third, PBL represents a considerably smaller domain of attention than assessment. However, its core articles are among the most cited in the field, as displayed in Table 4. Among the top-ten of most cited articles four are about PBL and among the top-twenty, there are another three. It is perhaps witness of the amount of enthusiasm and controversy that this approach to medical education surrounds. The most cited papers are all reviews of the literature rather than research articles. The field seems to quite heavily rely on such reviews because among the top 25 most cited articles only three present original research. The first appears on position twelve, involving a comparison between psychometric properties of checklists and global ratings in OSCE-format examinations (Regehr et al. 1998).


넷째, 의학 교육 문헌은 학생들의 전문적인 실습에 대한 직접적인 준비를 압도적으로 강조하고 있다. 거의 60%의 논문은 전문직으로서 학생의 문제를 직간접적으로 다루고 있다. 이것에는 아무 문제가 없다. 의사가 되기 위한 훈련은 높은 평가를 받는 교육이다. 학생들이 전문직으로서의 실천에 대한 준비가 제대로 되어 있지 않으면, 환자는 고통받거나 심지어는 죽을 수도 있다. 따라서 진단 및 관리 측면과 임상 및 대인 관계 기술 측면에서 임상 역량을 최적화하는 문제는 그러한 교육에 관련된 사람들에게 필수적이다. 그러나 대부분의 국가에서 임상 전 교육이 의료 훈련의 큰 부분을 차지하고 있지만, 임상 전 교육이 상당히 덜 광범위하게 연구된다는 것은 다소 실망스러운 일이다.

Fourth, the medical education literature shows an overwhelming emphasis on the direct preparation of students for professional practice. Almost 60% of the articles assessed deal with the issue of the student as professional in a direct or indirect way. There is nothing wrong with this. Training to become a doctor is high-stakes education: if students are poorly prepared for professional practice, patients may suffer or even die. Therefore, issues of optimizing clinical competence, both in terms of diagnosis and management and in terms of the clinical and interpersonal skills, are vital to those involved in such education. However, it is somewhat disappointing to note that preclinical education is studied considerably less extensively although in most countries it constitutes the larger part of medical training.


이런 주제들이 있을 것이다. 이런 문제들은 대부분 해결되지 않았고 의학적 교육을 개선하기 위한 해결책을 고려해야 마땅하다.

  • 기초과학이 임상과학보다 앞서야 하는가, 아니면 첫날부터 통합이 가능한가? 

  • 의학에서 가르치는 것은 다학문이어야 하는가 아니면 건강과 질병에 대한 깊은 이해를 위한 단일학문적인 것인가? 

  • 학생들이 효과적으로 배우기 위해서는 강의를 통한 교육이 얼마나 필요한가? 

  • 기초과학을 깊이 이해하면 진단추론이 어느 정도 개선되는가? 

  • 어떻게 해부학, 생리학 또는 생화학에서 실용성을 학습에 최적화할 수 있는가? 

  • 진단 전문지식에 사용되는 지식의 본질은 무엇인가?

Issues such as: 

  • Do the basic sciences need to precede the clinical sciences or is integration possible from day one? 

  • Should teaching in medicine be multidisciplinary or is a disciplinary approach essential for deep understanding of health and disease? 

  • How much guidance through lecturing do students need in order to learn effectively? 

  • To what extent does deep understanding of the basic sciences improve diagnostic reasoning? 

  • How can practicals in anatomy, physiology or biochemistry be optimized for learning? 

  • What is the nature of the knowledge used in diagnostic expertise? 

...are largely unresolved and deserve resolution to improve medical education.


다섯 번째 관찰은 의학 교육 연구가 거의 전적으로 학생 개개인과 그의 학습에 맞춰져 있는 것처럼 보인다는 것이다. 사실 이 두 개념은 초록에서 가장 빈도가 높은 개념들이었다. 동기, 학습 스타일, 학업 성취도, 추론능력, 그리고 시험에서의 학생간의 차이의 타당성은 이 점에서 중요한 개념이다. 의학 교육 연구는 철저히 '심리학化된' 것처럼 보인다."지난 20년 동안 이 분야를 지배해 온 과학자들이 누군지를 생각한다면 이는 그리 놀랄 일이 아니다. 표3과 표5에 기재된 연구자의 거의 절반이 심리학자로, 심리학자들은 개별화된 외관유리를 통해 세상을 보는 경향이 있다. 이 수사관들은 좋은 아이디어와 많은 엄격함을 현장에 가져왔으나 현실에 대한 시야도 좁혔을 것이다.

A fifth observation is that medical education research seems almost exclusively geared toward the individual student and his learning. In fact these two concepts were among those with the highest frequency in the abstracts. Motivation, learning styles, academic achievement, reasoning skills, and validity of differences between students on tests are important concepts in this respect. Medical education research seems thoroughly ‘‘psychologized.’’ This may come as no big surprise if one considers the scientists who have dominated the field for the past 20 years. Almost half of the researchers listed in Tables 3 and 5 are psychologists, and psychologists tend to see the world through an individualizing looking glass. These investigators have brought good ideas and much rigor to the field, but may have also narrowed its view on reality.


의학적 교육과 상당히 관련이 있어 보이는 다른 관점(분야)에서 출발할 수 있는 질문을 만드는 것은 어렵지 않다. 예를 들어: 

It is not difficult to formulate questions provoked by other perspectives that seem quite relevant to medical education. For instance: 


(1) 시스템 관점. 우리는 평균적으로 의대생들은 명목상 가능한 것보다 졸업할 시간이 더 필요하다는 것을 안다(Schmidt et al. 2010). 특히 유럽에서는 학생들이 공부를 미루는 경향이 큰 문제다. 우리는 또한 시험이 학습을 촉진한다는 것을 알고 있다(Van der Vleuten 2000). 왜 아무도 학습 기간을 최적화하기 위해 체계적으로 시험 시스템을 실험하지 않는가? 일련의 순차 모듈로 커리큘럼을 구성하면 병렬로 가르치는 과목에 비해 학습이 상당히 향상되는 것 같다(Jansen 2004). 이것은 왜 그런 것인가요?

(1) A systems view. We know that medical students on average need more time to graduate than is nominally available (Schmidt et al. 2010). In particular in Europe, students tending to postpone studying is a big problem. We also knowthat examinations drive learning (Van der Vleuten 2000). Why is nobody systematically experimenting with examination systems to optimize study duration? Organizing the curriculum in a series of sequential modules seems to improve learning considerably as compared with teaching subjects in parallel (Jansen 2004). Why is this so?


(2) 사회학적 관점. 의대에 입학한 사람들은 더 상위권 중산층 가정에서 오는 경향이 있다. 졸업생으로서 이러한 학생들은 인구의 큰 부분의 삶의 도전에 대한 경험이 제한되어 있다고 가정할 수 있다. 실제로 그러한가? 그리고 이 제한된 경험이 해당 인구집단을 serve하는 능력에 영향을 미치는가?

(2) A sociological view. Those admitted to medical school tend to come from higher middle class families. One may assume that these students as graduates have only limited experience with the kinds of life challenges of large segments of the population. Is this so? And does this limited experience affect their ability to serve those segments?


(3) 경제적 관점. 짧은 시간에 더 많은 의사들을 훈련시키는 것이 가능한가? 우리는 여러 나라에서 의료 교육을 줄이려는 시도가 있었다는 것을 알고 있다. 이 시도들의 결과는 무엇인가? 어떤 경우에는 12년 동안 훈련을 받고 있는 고학력 전문직 종사자들의 훈련이 정말 필요한 것인가? 덜 훈련된 건강 전문가를 의료 실무에 참여시키는 것이 가능한가? 의료훈련에 어떤 결과가 나올까?

(3) An economic perspective. Is it possible to train more doctors in a shorter time? We know that there have been attempts to shorten medical education in several countries. What are the results of these attempts? Is the training of highly qualified professionals who are in training in some cases for 12 years really what is needed? Is it possible to involve lesser-trained health professionals in medical practice? What would be the consequences for medical training?


(4) 생태학적 관점. 의사들의 초기 훈련을 위해 3차 진료 병원이 어느 정도 필요한가? 1961년에 이미 이러한 병원에서는 인구의 질병 패턴의 변동의 1% 미만으로 구성된 가장 아픈 환자만을 치료한다는 것을 알게 되었다(White et al. 1961). 게다가, 교육병원마다 임상실습동안 학생들에게 경험을 제공하는 능력에 있어서 상당히 편차가 크다. (Wimmers 등, 2006) 그러므로 주로 1차 진료 환경에서 사무직을 수행하는 것이 더 효과적이지 않을까?

(4) An ecological perspective. To what extent do we need tertiary care hospitals for the initial training of doctors? It was already noticed in 1961 that these hospitals treat only the most ill patients comprising less than 1% of the variation in disease patterns in the population (White et al. 1961). In addition, teaching hospitals vary considerably in their ability to provide student during clerkships with an all round experience (Wimmers et al. 2006). Would it therefore not be more effective to conduct clerkships largely in primary-care contexts?


이러한 문제들을 다루는 더 많은, 그리고 더 결정적인 연구를 의료 교육 및 의료 관행의 질에 중요한 것으로 보인다.

It seems important to initiate more, and more conclusive, research dealing with these issues important to the quality of medical education and medical practice.


여섯 번째 관찰은 의학 교육에서 행해지는 대부분의 연구가 발견 중심적이기 보다는 효과 중심인 것처럼 보인다는 것, 즉 새로운 접근법을 발견하기 보다는 기존 접근법의 상대적 효과를 연구한다는 것이다. 60년대부터 다섯 가지 혁신이 의학 교육 연구로부터 나타났다고 주장할 수 있다: 

  • (1) 내용 특이성 현상, 그리고 임상적 추론이 넓은 범위의 지식에 기초하고 있다는 밀접하게 관련된 발견, 

  • (2) 문제 기반 학습, 

  • (3) 전문 기술의 훈련에 대한 체계적인 접근, 

  • (4) OSCE, 그리고 

  • (5) 글로벌 평정 등급이 세부 체크리스트보다 타당하다는 확인. 

A sixth observation is that most research conducted in medical education seems to be effectiveness-driven rather than discovery-driven, that is: it studies the relative effectiveness of existing approaches rather than to discover new ones. One could argue that, since the sixties five innovations have emerged from medical education research: 

  • (1) the content specificity phenomenon, and the closely related finding that clinical reasoning is to a large extent knowledge based; 

  • (2) problem-based learning, 

  • (3) a systematic approach to the training of professional skills, 

  • (4) the OSCE, and 

  • (5) the finding that global ratings of performance are more valid than detailed checklists. 

1만 개 이상의 연구결과를 생산하기 위해 들어간 에너지와 인력의 양으로 볼 때 이것은 상당히 빈곤한 수확으로 보인다.

This seems to be a fairly limited harvest given the amount of energy and manpower that has gone into producing the 10,000 or more articles.


게다가, 이러한 혁신들은 대부분의 다른 주제들과 같은 효과성 바이러스의 희생양이 되었다. 그 대표적인 예가 문제 기반 학습이다. 이 영역에서 대부분의 연구 노력은 다양한 종류의 전통적인 교육(Albanese and Mitchell 1993; Colliver 2000; Dochy et al. 2003; Gijbels et al. 2005; Khoo 2003; Vernon and Blake 1993)과 비교하여 PBL의 상대적 효과에 대한 연구에 들어갔다. 반면에, 다음과 같은 질문에 대한 대답을 찾으려는 연구는 매우 적었다. 왜 효과가 있을까? 어떻게 개선할 수 있을까? 이러한 발견 지향적인 질문들은 대부분 해답이 없다. 지나치게 많은 연구가 사상의 정당성을 목표로 하고 있고 명확화를 목표로 하는 것은 너무 적은 것 같다.

In addition, these innovations have been fallen prey to the same effectiveness virus as most other topics. A case in point is problem-based learning. Most of the research effort in this domain went into studying the relative effectiveness of PBL compared to various kinds of conventional education (Albanese and Mitchell 1993; Colliver 2000; Dochy et al. 2003; Gijbels et al. 2005; Khoo 2003; Vernon and Blake 1993). On the other hand, very limited research has been dedicated to answering questions such as: What works in PBL? Why does it work? How can it be improved? These discovery-oriented questions remain largely unanswered. It seems that too much research is aimed at justification of ideas and too little aimed at clarification.


일곱째, 시간이 지남에 따라 다양한 영역의 변화를 조사하면 이 분야에 대한 관점이 다소 달라진다. 분명히 임상적 추론과 같은 일부 영역이 계속 관심을 끌고 있다. 컴퓨터 보조 교육 같은 다른 것들은 '전성기'를 지나고 있는 것처럼 보인다. 이러한 추세에 대한 관찰은 쉬우며, 해석은 더욱 어렵다. 애초에, 무엇이 바람직한지 또는 바람직하지 않은지를 판단하는 것이 명확하지 않다. 위에서 설명한 바와 같이 대부분의 연구가 효과 중심이라면, 한 분야가 나타나고 활동의 초점을 보여준 다음, 필요에 따라 사라지는 패턴을 잘 볼 수 있을 것이다. 질문이 제기되고, 답변을 얻는다. 이런 관점에서 보자면, 체계적인 검토는 효과성 연구의 최종 산물이다.

Seventh, examining the changes in various areas over time yields a somewhat different perspective on the field. Clearly some areas, such as clinical reasoning, continue to attract interest. Others such as computer-assisted instruction, appear to have ‘‘had their day’’. Observation of these trends is easy; interpretation is more difficult. From the outset, it is not clear what should be viewed as desirable or undesirable. If, as described above, most research is effectiveness-driven, then one might well view a pattern where a field emerges, shows a focus of activity, then disappears, as desirable. The question has been raised, then answered. The systematic reviews are the final product from such a perspective.


반면 과학철학적 관점에서 보자면, 어떤 분야가 진보한다는 것은 새로운 의문이 끊임없이 제기된다는 뜻이다. 쿤이 말한 '과학 혁명'은 [질문이 고갈된 죽어가는 퇴보적인 연구 패러다임]에서 [새롭고 흥미로운 질문이 제기되는 새로운 패러다임]으로 바꾸는 것을 의미한다. 라카토스는 어떤 프로그램의 진보성에 대해서 "더 세련된 질문들을 계속해서 만들 수 있는 정도에 따라 "퇴보적" 또는 "진보적"이라고 판단한다(Lakatos and Musgrave 1974). 많은 교육 지도자들이 이 분야가 이론적으로 저개발되어 있다고 보는 점(Albert et al. 2006)을 고려할 때, 20년 동안 지속적이고 꾸준한 성장을 보여 온 임상 추론과 같은 영역이 진보적인 연구 영역의 원형이라고 가정할 수 있다.

On the other hand, from a philosophy of science perspective, a field is progressive to the extent that new questions are constantly arising. Kuhn’s ‘‘scientific revolutions’’ (Kuhn 1962) arise from a change from dying, regressive research paradigms that have run out of questions to new paradigms that create new and interesting questions. Lakatos directly describes programs as ‘‘regressive’’ or ‘‘progressive’’ to the extent that they can continue to create new and more refined questions (Lakatos and Musgrave 1974). Given the perspective on many educational leaders that the field is underdeveloped in theory (Albert et al. 2006), one could presume that a domain such as clinical reasoning, which has shown consistent and monotonic growth over two decades, is a prototype of a progressive, research domain.


여덟째, 강조의 관점에서, "북미"와 "유럽" 의학교육 사이의 약간의 차이가 나타난다. 이러한 차이점들은 주로 new world와 old world 사이의 정치-문화적 차이에서 기인하는 것 같다. 고등교육에서 소수민족 학생들의 위치는 그러한 이슈 중 하나이다. 미국의 고등교육은 어떻게 하면 인종적 측면에서 접근을 공정하게 할 것인가와 씨름하고 있지만, 아직 유럽은 이 문제에 도달하지 못했다. 하지만 유럽이 점점 다양해지면서 그러한 방향으로 갈 것이다있다. 문화적 역량에 대해서도 마찬가지다. 여성의 건강에 대한 강조가 저조한 것은 이 운동이 모국보다 해외에서 더 성공적이었음을 시사하는 것 같다.

Eighth, in terms of emphasis some differences between ‘‘North-American’’ and ‘‘European’’ medical education emerge. These differences seem to be largely due to politico-cultural distinctions between the new and the old world. The position of minority students in higher education is such an issue. While US higher education wrestles with how to make access fair in terms of ethnicity, this issue has not yet reached Europe, but it may, as Europe becomes more diverse. The same applies for cultural competence. Differential emphasis on woman’s health seems to suggest that this movement has been more successful abroad than on the mother continent.




 2012 Oct;17(4):515-27. doi: 10.1007/s10459-011-9328-x. Epub 2011 Oct 5.

The themesinstitutions, and people of medical education research 1988-2010content analysisof abstracts from six journals.

Author information

1
Centre for Research in Pedagogy and Practice, National Institute of Education, Nanyang Technological University, 1 Nanyang Walk, Singapore 637616, Singapore. rotgans@gmail.com

Abstract

The present study aimed at providing an overview of the most common themes of research into medical education. Changes in frequency of occurrence of these themes over time and differences between US and European journals were studied. The most productive institutions and researchers in the field were examined. A content analysis was carried out on 10,168 abstracts extracted from the six most influential journalsin medical education published since 1988. Twenty-nine major themes were identified, of which student assessment, clinical and communication skills, clinical clerkships, and problem-based learning were the most prominent ones. Some of these themes, such as multiple-choice examinations or computer-assisted instruction seemed to have had their day, whereas other topics, such as the study of clinical clerkships, clinical reasoning, and scholarship in education were on their way up. Medical education research turned out to be a thoroughly international affair to which both US and European research centers contribute. The medical education literature shows an overwhelming emphasis on the preparation of medical students for professional practice. Moreover, the emphasis is very much on the individual student; most research seems to have been conducted with a psychological perspective in mind. It is argued that medicaleducation research would profit from broadening its scope, including sociological, economical, ecological, and system perspectives. These perspectives might bring answers to new questions relevant to the quality of medical education. It is suggested that medical education is in need of moving beyond the conventional effectiveness-driven research approach to a more theory- and discovery-driven approach.

PMID:
 
21971993
 
DOI:
 
10.1007/s10459-011-9328-x


+ Recent posts